CN111796710B - 一种在触摸屏上再现图像轮廓特征的方法 - Google Patents

一种在触摸屏上再现图像轮廓特征的方法 Download PDF

Info

Publication number
CN111796710B
CN111796710B CN202010489198.XA CN202010489198A CN111796710B CN 111796710 B CN111796710 B CN 111796710B CN 202010489198 A CN202010489198 A CN 202010489198A CN 111796710 B CN111796710 B CN 111796710B
Authority
CN
China
Prior art keywords
image
touch screen
features
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010489198.XA
Other languages
English (en)
Other versions
CN111796710A (zh
Inventor
陈大鹏
刘佳
宋爱国
陈旭
魏李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010489198.XA priority Critical patent/CN111796710B/zh
Publication of CN111796710A publication Critical patent/CN111796710A/zh
Application granted granted Critical
Publication of CN111796710B publication Critical patent/CN111796710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在触摸屏上再现图像轮廓特征的方法；所述方法包括以下步骤：(1)构建能去除图像的细节特征而保留虚拟物体主要结构特征的深度学习模型；(2)开发应用软件，将训练好的深度学习模型移植到触摸屏设备上运行；(3)对触摸屏中显示的新图像，先使用深度学习模型对其进行平滑，再利用Sobel算子从平滑图像中提取出物体的轮廓特征；(4)使用指套式或手持式力触觉装置通过具有方向引导功能的振动触觉反馈来再现图像的轮廓特征。本发明可对图像进行快速平滑和轮廓提取，能保证交互的实时性和真实感，并为用户感知图像轮廓提供便捷的实现途径。

Description

一种在触摸屏上再现图像轮廓特征的方法
技术领域
本发明涉及图像处理及人机交互，特别涉及一种在触摸屏上再现图像轮廓特征的方法。
背景技术
图像中通常包含着丰富的以混叠方式呈现的物体结构(形状和轮廓)和表面细节(纹理和小的轮廓)等特征信息。当触觉感知物体时，物体的结构特征是人们识别物体的基础，过多的细节信息不但无助于对物体的整体感知，还会给空间信息的整合带来混乱。因此，供人们通过触觉感知的图像一般需要在保持结构特征的情况下，对物体表面进行平滑和纹理去除，从而生成符合触觉低带宽特性的触觉图像。这种需求恰好与图像平滑的目标相一致。
图像平滑作为一种基本的图像处理技术，已经被广泛的研究。传统的图像平滑方法主要包括局部滤波的方法和全局优化的方法。局部滤波的方法与输入图像的局部统计特征高度相关，并利用局部空间邻域过滤图像的每一个像素，但由于其无法在任意尺度上判断是否需要对某些边缘进行平滑，因此不能很好地提取出触觉上可用的物体结构特征。全局优化的方法通过求解由数据保真项和正则化项组成的目标函数的最优解来获得期望的图像边缘识别和滤波效果。例如，相对全变分滤波器可有效的提取图像的结构特征，并抑制具有强梯度的纹理，从而获得结构清晰和表面平滑的图像。然而，由于目标函数需要经过多次的迭代操作才能获得最优解，全局优化的方法普遍存在计算开销大和耗时长的问题。这些缺点为实时的交互操作带来很大挑战。特别地，对于在计算能力有限的触摸屏设备上需要对图像进行平滑的应用，这些传统方法将更加难以快速有效地实现。
除了以上问题，通过力触觉反馈在触摸屏上表达图像的轮廓特征也面临着一些挑战。这是因为常见的再现图像轮廓特征的方法需要先使用某种设备将图像的信息呈现出来，人的手指或其他部位在触摸设备的过程中，获得与图像特征信息相对应的皮肤刺激。在触摸和跟随轮廓运动过程中，人们需要结合动觉提示和串行记忆逐步在大脑中对提取的信息进行整合，从而建立物体布局和空间分布的“心理图”。大量的研究已经利用探针、振动元件、记忆合金执行器和微电极等作为触点，组合成尺寸较大的静态可刷新显示器，帮助人们通过在设备上的主动探索来感知虚拟物体的轮廓信息。触摸屏虽然可以为人们提供大量可刷新的可视化数据，但由于是一种平坦的、无特征的表面，它无法为人们提供像触摸真实物体或可刷新显示器一样的直观触感。因此，在触摸屏设备上对图像的轮廓特征进行具有真实感的力触觉再现，一方面需要快速提取出符合人的触觉感知特性的图像轮廓特征，另一方面需要为触摸屏交互提供丰富的力触觉反馈，以便对人感知真实物体轮廓的过程进行模拟。
发明内容
发明目的：本发明的目的在于提供一种利用振动触觉反馈在触摸屏上再现图像轮廓特征的方法。
技术方案：本发明所述的一种在触摸屏上再现图像轮廓特征的方法，包括以下步骤：
(1)利用公开的图像数据库，构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
(2)开发适用于Android系统的应用软件，将训练好的深度学习模型移植到触摸屏设备的应用软件里；
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
(4)使用应用软件里的深度学习模型对触摸屏中显示的新图像进行平滑，再利用Sobel算子从平滑图像中提取出物体的轮廓特征；使用力触觉装置在触摸屏上滑动时，利用具有方向引导功能的振动触觉反馈来再现图像的轮廓特征。
进一步的，步骤(1)中，所述深度学习模型为基于卷积神经网络构建的，该模型以公开的图像数据库为训练样本，并以相对全变分滤波器对每幅图像的平滑结果作为groundtruth来训练网络。
进一步的，步骤(2)中，所述触摸屏设备是基于Android操作系统的。
进一步的，步骤(2)中，所述深度学习模型采用TensorFlow框架构建，将训练好的深度学习模型移植到触摸屏设备的应用软件里后，Android应用程序通过JNI技术调用深度学习模型中，由C++实现的方法。
进一步的，步骤(3)中，所述力触觉装置为指套式或手持式。
进一步的，步骤(4)中，所述Sobel算子从平滑图像中提取出物体的轮廓特征后，再通过膨胀处理将轮廓线加粗到2mm。
有益效果：与现有技术相比，本发明具有以下显著效果：(1)本发明借助触摸屏设备具有便携、使用广泛和成本低等优势。提出一种便捷的向用户再现图像轮廓特征的方法，该方法不但能实现人对图像中物体轮廓的触觉感知，还为视障者感知图像的轮廓特征和与数字世界的无障碍交流提供了一条重要途径。(2)本发明构建的能够模拟相对全变分滤波器图像平滑效果的深度学习模型具有较快的运行速度、较小的计算量需求和很好的泛化能力，可在计算能力有限的触摸屏设备上对图像进行快速平滑，为后续使用Sobel算子快速提取出干净、连续的物体轮廓特征打下了基础，并很好地满足了力触觉交互对实时性的需求。(3)本发明设计的符合触摸屏交互特点的小型指套式和手持式力触觉装置通过基于振动触觉反馈的力触觉表达方法来再现图像的轮廓特征，可对人感知真实物体轮廓的过程进行模拟，解决了日常使用的触摸屏设备由于缺乏丰富的力触觉反馈能力而无法有效地向用户传达图像的轮廓特征的问题。
附图说明
图1为本发明中方法流程图；
图2为本发明中深度学习模型工作流程图；
图3为本发明中指套式力触觉装置结构示意图；
图4为本发明中指套式力触觉装置在触摸屏上滑动示意图；
图5为本发明中手持式力触觉装置结构示意图；
图6为本发明中手持式力触觉装置在触摸屏上滑动示意图；
具体实施方式
下面结合实施例对本发明做详细说明。
如图1所示，本发明所述方法基于Android操作系统，包括以下步骤：
(1)利用公开的图像数据库，在外部服务器上构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
如图2所示，深度学习模型为基于卷积神经网络构建的，该模型以公开的图像数据库为训练样本，并以相对全变分滤波器对每幅图像的平滑结果作为ground truth来训练网络；上述具体过程为：对于一个彩色输入图像I，其在相对全变分滤波器的过滤下得到平滑图像L(I)，其中L(·)表示相对全变分滤波器的非线性滤波过程。任何输入图像I通过基于卷积神经网络的前馈深度网络FW(I)都能近似获得L(I)的平滑效果，其中F表示卷积神经网络的结构，W表示控制前馈过程的网络参数。
输入层是输入图像I在水平和垂直方向的梯度图
Figure BDA0002520401960000041
和/>
Figure BDA0002520401960000042
其中/>
Figure BDA0002520401960000043
表梯度图。卷积层1包含256个特征图，其是由一个大小为16×16的卷积核对梯度图/>
Figure BDA0002520401960000044
进行卷积，再经过tanh函数的计算得到的。卷积层1的作用是将梯度图/>
Figure BDA0002520401960000045
中的每个局部色块映射成256维的像素矢量。接着，卷积层2由大小为1×1的卷积核与卷积层1中的所有特征面进行卷积，并经过tanh函数的计算得到。故卷积层2也包含256个特征面。该过程的作用是对卷积层1中经处理的像素矢量进行加权平均，以执行“平滑”操作。最后，使用一个大小为8×8的卷积核对卷积层2进行卷积运算，用于恢复尖锐边缘，即“边缘识别”处理，从而得到最终平滑后的梯度图。图2中的卷积神经网络没有使用池化层，这是因为池化层对图像的位置特征可能会有弱化的作用，这对于图像平滑来说是不利的。
(2)开发适用于Android系统的应用软件，将在外部服务器上训练好的深度学习模型移植到触摸屏设备的应用软件里；
深度学习模型采用TensorFlow框架构建，将训练好的深度学习模型向触摸屏设备进行移植包括以下几个步骤：首先，将由Python语言编写的应用程序在安装有TensorFlow深度学习框架的服务器上进行训练，训练好的模型被保存为pb格式的文件。该pb文件需要被放到Android开发项目的assets文件夹内，并通过AssetManager工具类进行读取。其次，虽然TensorFlow提供了加载和运行模型的C++方法，并提供了调用这些方法的java实现类，但仍需要使用Bazel工具将这些方法编译成Android程序能够使用的.so链接库和依赖jar包。最后，将编译好的.so文件和.jar文件分别放入Android开发项目的jniLibs和libs路径法，分别用于读取图像数据、执行基于卷积神经网络的图像平滑过程，以及输出平滑后的图像。
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
如图3-6所示，指套式力触觉装置或手持式力触觉装置均为独立系统，包括电容笔头2、压电执行器3、惯性测量单元5、蓝牙模块、控制电路和可充电电池。电容笔头2与触摸屏7接触，使触摸屏7能实时检测到交互发生的位置；惯性测量单元5实时监测装置的姿态；装置通过蓝牙模块与触摸屏设备进行数据通信；根据图像的轮廓走势和装置的姿态，装置内的控制电路驱动安装在装置中不同方位的压电执行器3产生具有方向提示性的振动触觉反馈，从而引导用户使用装置在触摸屏7上正确地跟随图像的轮廓而运动。
具体的，如图3、4所示，指套式力触觉装置将惯性测量单元5固定于装置主体1的上方；装置主体1中设有圆孔6，用于手指插入和穿戴；圆孔6的上下左右四个方向各嵌入了一个压电执行器3；电容笔头2集成于装置的下部。蓝牙模块、控制电路和可充电电池均集成于控制单元4中，控制单元4上设有腕带8，可将控制单元4固定于手腕上。
如图5所示，手持式力触觉装置中的四个压电执行器3分别嵌入装置主体1中，电容笔头2集成于装置的下部，蓝牙模块、控制电路和可充电电池均集成于控制单元4中。
(3)使用应用软件里的深度学习模型对触摸屏中显示的新图像进行平滑，再利用Sobel算子从平滑图像中提取出物体的轮廓特征，并通过膨胀处理将轮廓线加粗到约2mm，将轮廓线加粗一方面可让用户能更准确的在触摸屏上判断不同的轮廓线之间的位置关系，另一方面是为了让提取的轮廓线更加连续，以免用户丢失对物体轮廓的跟随和追踪。
(4)用户使用指套式或手持式力触觉装置在触摸屏上滑动时，装置中不同方向分布的压电执行器根据图像轮廓线的走势向手指反馈具有方向性的振动提示，从而引导用户的手或手指在触摸屏上正确地跟随图像轮廓运动。

Claims (6)

1.一种在触摸屏上再现图像轮廓特征的方法，其特征在于：包括以下步骤：
(1)利用公开的图像数据库，构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
(2)开发适用于Android系统的应用软件，将训练好的深度学习模型移植到触摸屏设备的应用软件里；
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
(4)使用应用软件里的深度学习模型对触摸屏中显示的新图像进行平滑，再利用Sobel算子从平滑图像中提取出物体的轮廓特征；使用力触觉装置在触摸屏上滑动时，利用具有方向引导功能的振动触觉反馈来再现图像的轮廓特征。
2.根据权利要求1所述的在触摸屏上再现图像轮廓特征的方法，其特征在于：步骤(1)中，所述深度学习模型为基于卷积神经网络构建的，该模型以公开的图像数据库为训练样本，并以相对全变分滤波器对每幅图像的平滑结果作为ground truth来训练网络。
3.根据权利要求1所述的在触摸屏上再现图像轮廓特征的方法，其特征在于：步骤(2)中，所述触摸屏设备基于Android操作系统。
4.根据权利要求1所述的在触摸屏上再现图像轮廓特征的方法，其特征在于：步骤(2)中，所述深度学习模型采用TensorFlow框架构建，将训练好的深度学习模型移植到触摸屏设备的应用软件里后，Android应用程序通过JNI技术调用深度学习模型中，由C++实现的方法。
5.根据权利要求1所述的在触摸屏上再现图像轮廓特征的方法，其特征在于：步骤(3)中，所述力触觉装置为指套式或手持式。
6.根据权利要求1所述的在触摸屏上再现图像轮廓特征的方法，其特征在于：步骤(4)中，所述Sobel算子从平滑图像中提取出物体的轮廓特征后，再通过膨胀处理将轮廓线加粗到2mm。
CN202010489198.XA 2020-06-02 2020-06-02 一种在触摸屏上再现图像轮廓特征的方法 Active CN111796710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010489198.XA CN111796710B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像轮廓特征的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010489198.XA CN111796710B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像轮廓特征的方法

Publications (2)

Publication Number Publication Date
CN111796710A CN111796710A (zh) 2020-10-20
CN111796710B true CN111796710B (zh) 2023-05-23

Family

ID=72806363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010489198.XA Active CN111796710B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像轮廓特征的方法

Country Status (1)

Country Link
CN (1) CN111796710B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311946B (zh) * 2021-07-29 2021-09-28 南京信息工程大学 一种面向移动终端应用的多模式指套式装置
CN114067638B (zh) * 2022-01-17 2022-04-15 南京信息工程大学 一种用于盲人在触摸屏上感知虚拟信息的绳驱动装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法
CN108956614A (zh) * 2018-05-08 2018-12-07 太原理工大学 一种基于机器视觉的矿用钢丝绳动态探伤检测方法和装置
CN109064478A (zh) * 2018-07-17 2018-12-21 暨南大学 一种基于极限学习机的天文图像轮廓提取方法
CN109559758A (zh) * 2018-11-05 2019-04-02 清华大学 一种基于深度学习的将纹理图像转换成触觉信号的方法
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
CN110849828A (zh) * 2019-12-13 2020-02-28 嘉兴职业技术学院 一种基于高光谱图像技术的藏红花分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262876A1 (en) * 2004-08-26 2006-11-23 Ladue Christoph K Wave matrix mechanics method & apparatus
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法
CN108956614A (zh) * 2018-05-08 2018-12-07 太原理工大学 一种基于机器视觉的矿用钢丝绳动态探伤检测方法和装置
CN109064478A (zh) * 2018-07-17 2018-12-21 暨南大学 一种基于极限学习机的天文图像轮廓提取方法
CN109559758A (zh) * 2018-11-05 2019-04-02 清华大学 一种基于深度学习的将纹理图像转换成触觉信号的方法
CN110849828A (zh) * 2019-12-13 2020-02-28 嘉兴职业技术学院 一种基于高光谱图像技术的藏红花分类方法

Also Published As

Publication number Publication date
CN111796710A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Yang et al. Gesture interaction in virtual reality
US10133370B2 (en) Haptic stylus
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
US11908483B2 (en) Inter-channel feature extraction method, audio separation method and apparatus, and computing device
EP4009282A1 (en) Animation processing method and apparatus, and computer storage medium and electronic device
CN111680562A (zh) 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
CN111796710B (zh) 一种在触摸屏上再现图像轮廓特征的方法
CN108369478A (zh) 用于交互反馈的手部跟踪
CN114630738B (zh) 用于模拟感测数据和创建感知的系统和方法
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN106293099A (zh) 手势识别方法及系统
Tao et al. Manufacturing assembly simulations in virtual and augmented reality
Zhao et al. Comparing head gesture, hand gesture and gamepad interfaces for answering Yes/No questions in virtual environments
Baig et al. Qualitative analysis of a multimodal interface system using speech/gesture
CN111796708B (zh) 一种在触摸屏上再现图像三维形状特征的方法
Pomboza-Junez et al. Toward the gestural interface: comparative analysis between touch user interfaces versus gesture-based user interfaces on mobile devices
Fang et al. Wearable technology for robotic manipulation and learning
Piovarči et al. Perception-aware modeling and fabrication of digital drawing tools
Salim et al. A review on hand gesture and sign language techniques for hearing impaired person
Vishal et al. Sign language to speech conversion
Besnea et al. Experiments regarding implementation of a virtual training environment for automotive industry
CN111796709B (zh) 一种在触摸屏上再现图像纹理特征的方法
Sagardia Virtual manipulations with force feedback in complex interaction scenarios
Argelaguet Sanz et al. Complexity and scientific challenges
AU2021104072A4 (en) Hand shape and sign recognition from video using deep convolution network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant