CN112380976A - 基于神经网络视觉触觉传感器融合的手势识别系统及方法 - Google Patents
基于神经网络视觉触觉传感器融合的手势识别系统及方法 Download PDFInfo
- Publication number
- CN112380976A CN112380976A CN202011262611.5A CN202011262611A CN112380976A CN 112380976 A CN112380976 A CN 112380976A CN 202011262611 A CN202011262611 A CN 202011262611A CN 112380976 A CN112380976 A CN 112380976A
- Authority
- CN
- China
- Prior art keywords
- gesture recognition
- neural network
- sensor
- visual
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 91
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 23
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 26
- 238000005452 bending Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 230000036544 posture Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000006698 induction Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 244000060701 Kaempferia pandurata Species 0.000 claims description 4
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001617 migratory effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于神经网络视觉触觉传感器融合的手势识别系统，所述手势识别系统包括:视觉传感器、体感传感器、手套和手势识别模块；所述体感传感器设置于手套内，所述视觉传感器和所述体感传感器分别与所述手势识别模块连接；所述手势识别模块用于根据所述视觉传感器采集的视觉数据和所述体感传感器采集的体感数据，采用神经网络算法进行手势识别。本发明将视觉传感器采集的视觉数据和体感传感器采集的体感数据结合进行手势识别，提高了手势识别的准确度。
Description
技术领域
本发明涉及手势识别技术领域，特别涉及基于神经网络视觉触觉传感器融合的手势识别系统及方法。
背景技术
随着计算机在社会中的普及，人机交互的技术对于计算机的应用产生了积极的影响。人们越来越重视研究用于跨越人机障碍的新技术，并且使人机交互变得更自然。长期以来，手势一直被认为是一种更直观、更便捷的与计算机进行通信的交互技术。
目前的手势识别的途径通常分为接触式传感器和非接触式传感器两类。采用接触式传感器进行手势识别时，存在准确率不高的技术缺陷，采用非接触式传感器进行手势识别时，会因为环境的影响而造成准确率不高的技术缺陷。
如何提高手势识别的准确度成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供基于神经网络视觉触觉传感器融合的手势识别系统及方法，以提高手势识别的准确度。
为实现上述目的，本发明提供了如下方案：
一种基于神经网络视觉触觉传感器融合的手势识别系统，所述手势识别系统包括:
视觉传感器、体感传感器、手套和手势识别模块；
所述体感传感器设置于手套内，所述视觉传感器和所述体感传感器分别与所述手势识别模块连接；
所述手势识别模块用于根据所述视觉传感器采集的视觉数据和所述体感传感器采集的体感数据，采用神经网络算法进行手势识别。
可选的，所述视觉传感器包括摄像头和嵌入式芯片；
所述摄像头与所述嵌入式芯片连接，所述嵌入式芯片与所述手势识别模块连接，所述嵌入式芯片用于对摄像头采集的图像进行预处理，获得视觉数据，并将所述视觉数据传输给所述手势识别模块。
可选的，所述体感传感器包括多个弯曲度感应模块和多个九轴姿态角度传感器；
多个所述弯曲度感应模块分别设置在所述手套内的手背部的每个手指的指关节位置；多个所述九轴姿态角度传感器设置在手套内的手背部的每个手指的指根位置和手背部的中央位置；
多个所述弯曲度感应模块和多个所述九轴姿态角度传感器分别与所述手势识别模块连接。
可选的，所述弯曲度感应模块包括电源级联模块和弯曲度传感器；
所述电源级联模块包括电源和定值电阻，所述定值电阻与所述弯曲度传感器串联连接，组成串联分压电路，所述定值电阻与弯曲度传感器的连接点作为串联分压电路的分压点，所述分压点与手势识别模块连接；
所述电源的正极端和负极端分别与所述串联分压电路的两端连接。
可选的，所述手势识别模块，具体包括：视觉数据处理子模块、体感数据处理子模块、数据拼接子模块和手势识别子模块；
所述视觉数据处理子模块，用于根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果；
所述体感数据处理子模块，用于根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果；
所述数据拼接子模块，用于将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵；
所述手势识别子模块用于根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。
可选的，所述手势识别系统还包括通讯模块；
所述视觉传感器和所述体感传感器分别通过所述通讯模块与所述手势识别模块连接。
一种基于神经网络视觉触觉传感器融合的手势识别方法，所述手势识别方法包括如下步骤：
获取人手的视觉数据和体感数据；
根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果；
根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果；
将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵；
根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。
可选的，所述卷积神经网络模型为基于迁移学习的MobileNet V2结构，所述MobileNet V2结构包括深度可分离卷积层、归一化处理层、线性激活函数层、最大池化层和全连接层；
所述多层感知网络模型包括1层输入层、2层隐藏层和1层输出层；
所述稀疏神经网络模型包括1层输入层、2层隐藏层和1层输出层。
可选的，所述根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果，之前还包括：
以不同姿势下的视觉数据作为第一训练集，采用fine-tuning算法训练卷积神经网络模型中的全连接层参数，获得训练好的卷积神经网络模型；
以不同姿势下的体感数据作为第二训练集，采用误差反向传播算法训练多层感知网络模型的参数，获得训练后的多层感知网络模型；
以不同姿势下的第一识别结果和第二识别结果拼接成的拼接矩阵，作为第三训练集，采用误差反向传播算法训练稀疏神经网络模型的参数，获得训练后的稀疏神经网络模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了基于神经网络视觉触觉传感器融合的手势识别系统，所述手势识别系统包括:视觉传感器、体感传感器、手套和手势识别模块；所述体感传感器设置于手套内，所述视觉传感器和所述体感传感器分别与所述手势识别模块连接；所述手势识别模块用于根据所述视觉传感器采集的视觉数据和所述体感传感器采集的体感数据，采用神经网络算法进行手势识别。本发明将视觉传感器采集的视觉数据和体感传感器采集的体感数据结合进行手势识别，提高了手势识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于神经网络视觉触觉传感器融合的手势识别系统的结构图；
图2为本发明提供的体感传感器的分布图。
具体实施方式
本发明的目的是提供基于神经网络视觉触觉传感器融合的手势识别系统及方法，以提高手势识别的准确度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。
如图1所示，本发明提供一种基于神经网络视觉触觉传感器融合的手势识别系统，所述手势识别系统包括:视觉传感器1、体感传感器2、手套和手势识别模块3；所述体感传感器1设置于手套内，所述视觉传感器1和所述体感传感器2分别与所述手势识别模块3连接；所述手势识别模块3用于根据所述视觉传感器采集的视觉数据和所述体感传感器采集的体感数据，采用神经网络算法进行手势识别。所述手势识别系统还包括通讯模块；所述视觉传感器和所述体感传感器分别通过所述通讯模块与所述手势识别模块连接。
其中，所述视觉传感器1包括摄像头和嵌入式芯片；所述摄像头与所述嵌入式芯片连接，所述嵌入式芯片与所述手势识别模块3连接，所述嵌入式芯片用于对摄像头采集的图像进行预处理，获得视觉数据，并将所述视觉数据传输给所述手势识别模块3。摄像头位于手部的正下方，摄像头内部通过感光矩阵，将光信号转化为电信号，摄像头的控制模块通过I2C接口对摄像头的控制寄存器进行配置，随后摄像头根据控制寄存器的配置结果对信号进行处理，如白平衡、饱和度、色彩等基础处理。图像输出格式为JPEG，通过嵌入式芯片与通讯模块的并行数据总线相连接，通过并行数据总线将视觉数据传输至手势识别模块3。具体的，使用摄像头采集手势图像：在嵌入式开发板上安装的摄像头模块可以采集实时的手势图像；运用自带嵌入式微处理器的OV5640摄像头，其具有500W像素和2592*1944的分辨率的优质产品参数，来进行视觉数据的采集。
如图2所示，所述体感传感器2包括多个弯曲度感应模块21和多个九轴姿态角度传感器22；多个所述弯曲度感应模块21分别设置在所述手套内的手背部的每个手指的指关节位置；多个所述九轴姿态角度传感器22设置在手套内的手背部的每个手指的指根位置和手背部的中央位置；多个所述弯曲度感应模块21和多个所述九轴姿态角度传感器22分别与所述手势识别模块连接。所述弯曲度感应模块21包括电源级联模块21a和弯曲度传感器21b；所述电源级联模块21a包括电源和定值电阻，所述定值电阻与所述弯曲度传感器21b串联连接，组成串联分压电路，所述定值电阻与弯曲度传感器21b的连接点作为串联分压电路的分压点，所述分压点与手势识别模块3连接；所述电源的正极端和负极端分别与所述串联分压电路的两端连接。弯曲度传感器和九轴姿态角度传感器与通讯模块相连接，通过通讯模块中的I2C接口将反映手部姿态的角度数据和反映手指弯曲度的分压数据传输给手势识别模块3，手势识别模块3首先对获取的图像数据、角度数据和分压数据分别进行处理。
所述弯曲度传感器21b为测量弯曲角度或偏转量的装置，通过不同弯曲角度改变传感器的电阻值来判断弯曲角度。具有2-Pin金属引脚(间距0.1”，其中“””表示0.1英寸)的电源级联接口，可供多模块级联使用，兼容5V、3.3V测量系统。所述九轴姿态角度传感器22设置在可穿戴手套的手背每个指根和手背中央处，能够随着手部姿态的变化，利用微处理器和先进动力学解算与卡尔曼动态滤波算法快速求解出实时运动状态，其内部自带电压稳定电路工作电压兼容3.3V～5V系统。手套五指内均具有弯曲度传感器，手势变化导致的手指弯曲张合时，会产生相应的传感器电阻阻值的变化；其接口类型为2-Pin的金属引脚；其中传感器笔直状态的电阻的阻值为25kΩ，弯曲电阻的变化为10kΩ～125kΩ，只有向印字方向弯曲时会产生弯曲电阻的可靠数据变化，其在-35℃到80℃的工作温度下可以达到一百万次以上的弯曲寿命。
九轴姿态角度传感器设置在可穿戴手套的手背每个指根和手背中央处，其利用集成的高精度的陀螺仪、加速度计、地磁场传感器，采用高性能的微处理器和先进的动力学解算与卡尔曼动态滤波算法，能够快速求解出当前的实时运动姿态。姿态测量精度静态0.05度，动态0.1度，稳定性极高。
所述手势识别模块3，具体包括：视觉数据处理子模块、体感数据处理子模块、数据拼接子模块和手势识别子模块；所述视觉数据处理子模块，用于根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果；所述体感数据处理子模块，用于根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果；所述数据拼接子模块，用于将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵；所述手势识别子模块用于根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。具体的，通过稀疏神经网络实现多模态识别，采用BSV(Bioinspired somatosensory–visual，基于生物仿生的视触觉)机器学习方法对视觉数据和传感器数据进行融合，具有更好的抗噪声和抗过曝、低曝光的能力。最终多模态融合识别，得出最终的手势识别结果。
具体的，视觉数据处理子模块主体为卷积神经网络，网络结构为采用迁移学习的MobileNet V2结构，网络输出为视觉数据分类结果的可能性。
本发明所采用的卷积神经网络为基于迁移学习的MobileNet V2结构，网络主体部分参考了谷歌提出的MobileNet V2结构，其主要由深度可分离卷积层、归一化处理、线性激活函数层和最大池化层组成。基于这个主体部分，在网络的最后输出部分即全连接层中，自主定义了层结构。网络的训练采用了fine-tuning的方法，仅对自定义的层结构参数进行训练，采用这种方法训练后的网络，非常好的保留了已训练好的主体部分的图像分类能力。
体感数据处理子模块主体为多层感知机网络，网络结构包含1层输入层、2层隐藏层和1层输出层。网络的输出为对体感数据分类结果的可能性。
网络结构包含1层输入层、2层隐藏层和1层输出层。输入层的输入为呈矩阵的体感数据内容，隐藏层为连接多个特征值的线性组合单元，输出层为对不同体感数据分类结果的可能性矩阵。训练过程包括：基于已有的体感数据和相应标签，采用BP算法迭代网络参数，将表现最优的参数集保存，得到训练好的针对于本例的神经网络。
手势识别子模块主体为稀疏神经网络，稀疏神经网络模拟了人脑在处理不同类型的传感信息时的融合机制。通过稀疏神经网络，对视觉数据处理子模块和体感数据处理子模块的结果进行相互融合。
网络结构包含1层输入层、2层隐藏层和1层输出层。输入层的输入为两个单独数据处理模块的输出矩阵拼接，拼接过程中进行了数据归一化处理，将两者的数据映射到统一的范围内，通过这种形式，两者的数据进行了融合。融合的结果为包含视觉分类(第一识别结果)和体感分类结果(第二识别结果)的拼接矩阵。
隐藏层为连接多个特征值的线性组合单元，输出层为对融合数据分类结果的可能性。网络训练过程包括：基于已有的融合数据和相应标签，采用BP(Error BackPropagation，误差反向传播)算法迭代网络参数以及稀疏算法，将处于稀疏阈值以上并且表现最优的参数集保存，得到训练好的稀疏神经网络。
本发明将视觉数据和置有弯曲度传感器和九轴姿态角度传感器的智能触感手套采集的手部体感数据结合起来，运用生物启发的数据融合结构，通过卷积神经网络来进行视觉处理，在特征层面实现由一个稀疏神经网络进行的视觉数据和体感数据的融合和识别。通过这种多模态融合方式，当视觉数据受到复杂环境(如图像噪声干扰和低或过曝光情况)的干扰时，可以提高识别准确率，以此来进行复杂情况下的手势识别应用，也可用于通过手势行进的机器人导航。
本发明还提供一种基于神经网络视觉触觉传感器融合的手势识别方法，所述手势识别方法包括如下步骤：
获取人手的视觉数据和体感数据。
根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果。
根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果。
将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵。
根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。
其中，所述卷积神经网络模型为基于迁移学习的MobileNet V2结构，所述MobileNet V2结构包括深度可分离卷积层、归一化处理层、线性激活函数层、最大池化层和全连接层；所述多层感知网络模型包括1层输入层、2层隐藏层和1层输出层；所述稀疏神经网络模型包括1层输入层、2层隐藏层和1层输出层。
所述根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果，之前还包括：以不同姿势下的视觉数据作为第一训练集，采用fine-tuning算法训练卷积神经网络模型中的全连接层参数，获得训练好的卷积神经网络模型；以不同姿势下的体感数据作为第二训练集，采用误差反向传播算法训练多层感知网络模型的参数，获得训练后的多层感知网络模型；以不同姿势下的第一识别结果和第二识别结果拼接成的拼接矩阵，作为第三训练集，采用误差反向传播算法训练稀疏神经网络模型的参数，获得训练后的稀疏神经网络模型。
本发明基于多模态融合识别手势的智能系统，在采用接触式的传感器同时，应用非接触式的图像识别，利用生物启发的神经网络结构，在感知决策中融合视觉数据以及躯体可穿戴设备的体感数据，以提高识别任务的准确性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (9)
1.一种基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述手势识别系统包括:
视觉传感器、体感传感器、手套和手势识别模块；
所述体感传感器设置于手套内，所述视觉传感器和所述体感传感器分别与所述手势识别模块连接；
所述手势识别模块用于根据所述视觉传感器采集的视觉数据和所述体感传感器采集的体感数据，采用神经网络算法进行手势识别。
2.根据权利要求1所述的基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述视觉传感器包括摄像头和嵌入式芯片；
所述摄像头与所述嵌入式芯片连接，所述嵌入式芯片与所述手势识别模块连接，所述嵌入式芯片用于对摄像头采集的图像进行预处理，获得视觉数据，并将所述视觉数据传输给所述手势识别模块。
3.根据权利要求1所述的基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述体感传感器包括多个弯曲度感应模块和多个九轴姿态角度传感器；
多个所述弯曲度感应模块分别设置在所述手套内的手背部的每个手指的指关节位置；多个所述九轴姿态角度传感器设置在手套内的手背部的每个手指的指根位置和手背部的中央位置；
多个所述弯曲度感应模块和多个所述九轴姿态角度传感器分别与所述手势识别模块连接。
4.根据权利要求3所述的基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述弯曲度感应模块包括电源级联模块和弯曲度传感器；
所述电源级联模块包括电源和定值电阻，所述定值电阻与所述弯曲度传感器串联连接，组成串联分压电路，所述定值电阻与弯曲度传感器的连接点作为串联分压电路的分压点，所述分压点与手势识别模块连接；
所述电源的正极端和负极端分别与所述串联分压电路的两端连接。
5.根据权利要求1所述的基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述手势识别模块，具体包括：视觉数据处理子模块、体感数据处理子模块、数据拼接子模块和手势识别子模块；
所述视觉数据处理子模块，用于根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果；
所述体感数据处理子模块，用于根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果；
所述数据拼接子模块，用于将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵；
所述手势识别子模块，用于根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。
6.根据权利要求1所述的基于神经网络视觉触觉传感器融合的手势识别系统，其特征在于，所述手势识别系统还包括通讯模块；
所述视觉传感器和所述体感传感器分别通过所述通讯模块与所述手势识别模块连接。
7.一种基于神经网络视觉触觉传感器融合的手势识别方法，其特征在于，所述手势识别方法包括如下步骤：
获取人手的视觉数据和体感数据；
根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果；
根据体感数据利用训练好的多层感知网络模型进行姿势识别，获得第二识别结果；
将所述第一识别结果和所述第二识别结果进行归一化和拼接，获得拼接矩阵；
根据拼接矩阵利用训练好的稀疏神经网络模型进行姿势识别，获得第三识别结果，作为手势识别结果。
8.根据权利要求7所述的基于神经网络视觉触觉传感器融合的手势识别方法，其特征在于，所述卷积神经网络模型为基于迁移学习的MobileNet V2结构，所述MobileNetV2结构包括深度可分离卷积层、归一化处理层、线性激活函数层、最大池化层和全连接层；
所述多层感知网络模型包括1层输入层、2层隐藏层和1层输出层；
所述稀疏神经网络模型包括1层输入层、2层隐藏层和1层输出层。
9.根据权利要求7所述的基于神经网络视觉触觉传感器融合的手势识别方法，其特征在于，所述根据视觉数据利用训练好的卷积神经网络模型进行姿势识别，获得第一识别结果，之前还包括：
以不同姿势下的视觉数据作为第一训练集，采用fine-tuning算法训练卷积神经网络模型中的全连接层参数，获得训练好的卷积神经网络模型；
以不同姿势下的体感数据作为第二训练集，采用误差反向传播算法训练多层感知网络模型的参数，获得训练后的多层感知网络模型；
以不同姿势下的第一识别结果和第二识别结果拼接成的拼接矩阵，作为第三训练集，采用误差反向传播算法训练稀疏神经网络模型的参数，获得训练后的稀疏神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011262611.5A CN112380976A (zh) | 2020-11-12 | 2020-11-12 | 基于神经网络视觉触觉传感器融合的手势识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011262611.5A CN112380976A (zh) | 2020-11-12 | 2020-11-12 | 基于神经网络视觉触觉传感器融合的手势识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380976A true CN112380976A (zh) | 2021-02-19 |
Family
ID=74583401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011262611.5A Pending CN112380976A (zh) | 2020-11-12 | 2020-11-12 | 基于神经网络视觉触觉传感器融合的手势识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380976A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112971773A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌弯曲信息的人手运动模式识别系统 |
| CN113407032A (zh) * | 2021-06-30 | 2021-09-17 | 哈尔滨商业大学 | 一种计算机视觉识别装置 |
| CN113591615A (zh) * | 2021-07-14 | 2021-11-02 | 广州敏视数码科技有限公司 | 一种基于多模型的驾驶员抽烟检测方法 |
| CN115070797A (zh) * | 2022-07-21 | 2022-09-20 | 广东海洋大学 | 一种基于仿生机械臂的水下控制装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886061A (zh) * | 2017-11-02 | 2018-04-06 | 华南理工大学 | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 |
| CN108664129A (zh) * | 2018-07-04 | 2018-10-16 | 北京工业大学 | 一种基于手势识别手套的可学习数据采集系统及实现方法 |
| CN110909637A (zh) * | 2019-11-08 | 2020-03-24 | 清华大学 | 一种基于视触融合的室外移动机器人地形识别方法 |
| CN111476161A (zh) * | 2020-04-07 | 2020-07-31 | 金陵科技学院 | 一种融合图像和生理信号双通道的体感动态手势识别方法 |
| CN111651035A (zh) * | 2020-04-13 | 2020-09-11 | 济南大学 | 一种基于多模态交互的虚拟实验系统及方法 |
-
2020
- 2020-11-12 CN CN202011262611.5A patent/CN112380976A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886061A (zh) * | 2017-11-02 | 2018-04-06 | 华南理工大学 | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 |
| CN108664129A (zh) * | 2018-07-04 | 2018-10-16 | 北京工业大学 | 一种基于手势识别手套的可学习数据采集系统及实现方法 |
| CN110909637A (zh) * | 2019-11-08 | 2020-03-24 | 清华大学 | 一种基于视触融合的室外移动机器人地形识别方法 |
| CN111476161A (zh) * | 2020-04-07 | 2020-07-31 | 金陵科技学院 | 一种融合图像和生理信号双通道的体感动态手势识别方法 |
| CN111651035A (zh) * | 2020-04-13 | 2020-09-11 | 济南大学 | 一种基于多模态交互的虚拟实验系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王文会，陈香，阳平，李云，杨基海: "基于多传感器信息检测和融合的中国手语识别研究", 《中国生物医学工程学报》, vol. 29, no. 5, 20 October 2010 (2010-10-20), pages 1 * |
| 阳平，陈香，李云，王文会，杨基海: "一种基于融合多传感器信息的手语手势识别方法", 《航天医学与医学工程》, vol. 25, no. 4, 15 August 2012 (2012-08-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112971773A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌弯曲信息的人手运动模式识别系统 |
| CN113407032A (zh) * | 2021-06-30 | 2021-09-17 | 哈尔滨商业大学 | 一种计算机视觉识别装置 |
| CN113591615A (zh) * | 2021-07-14 | 2021-11-02 | 广州敏视数码科技有限公司 | 一种基于多模型的驾驶员抽烟检测方法 |
| CN115070797A (zh) * | 2022-07-21 | 2022-09-20 | 广东海洋大学 | 一种基于仿生机械臂的水下控制装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380976A (zh) | 基于神经网络视觉触觉传感器融合的手势识别系统及方法 | |
| Xue et al. | Multimodal human hand motion sensing and analysis—A review | |
| JP7248799B2 (ja) | 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 | |
| Sagayam et al. | Hand posture and gesture recognition techniques for virtual reality applications: a survey | |
| Shukor et al. | A new data glove approach for Malaysian sign language detection | |
| Sun et al. | Retracted: Gesture recognition algorithm based on multi‐scale feature fusion in RGB‐D images | |
| Kakoty et al. | Recognition of sign language alphabets and numbers based on hand kinematics using a data glove | |
| CN110008839B (zh) | 一种自适应手势识别的智能手语交互系统及方法 | |
| CN112148128B (zh) | 一种实时手势识别方法、装置及人机交互系统 | |
| CN102053702A (zh) | 动态手势控制系统与方法 | |
| CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
| Qi et al. | Computer vision-based hand gesture recognition for human-robot interaction: a review | |
| Diliberti et al. | Real-time gesture recognition using 3D sensory data and a light convolutional neural network | |
| Song et al. | Dynamic hand gesture recognition using improved spatio-temporal graph convolutional network | |
| Pan et al. | State-of-the-art in data gloves: a review of hardware, algorithms, and applications | |
| Ji et al. | Flexible strain sensor-based data glove for gesture interaction in the Metaverse: A review | |
| Baumgartl et al. | Vision-based hand gesture recognition for human-computer interaction using MobileNetV2 | |
| Wang et al. | Multimodal Human–Robot Interaction for Human‐Centric Smart Manufacturing: A Survey | |
| Lin et al. | An event-triggered low-cost tactile perception system for social robot’s whole body interaction | |
| KR20220135914A (ko) | 학습 기반의 필기 입력을 처리하는 전자 장치, 그 동작 방법 및 저장매체 | |
| CN110209270B (zh) | 一种数据手套、数据手套系统、校正方法及存储介质 | |
| CN116185195A (zh) | 一种基于多模态柔性传感的可穿戴手势交互系统及其方法 | |
| Tao et al. | A Convolved Self-Attention Model for IMU-based Gait Detection and Human Activity Recognition | |
| Wameed et al. | Hand gestures robotic control based on computer vision | |
| CN211241839U (zh) | 一种用于手势识别的数据手套 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
| RJ01 | Rejection of invention patent application after publication |