CN113076928A - 一种基于神经网络的手势数据采集手套及识别方法 - Google Patents

一种基于神经网络的手势数据采集手套及识别方法 Download PDF

Info

Publication number
CN113076928A
CN113076928A CN202110454322.3A CN202110454322A CN113076928A CN 113076928 A CN113076928 A CN 113076928A CN 202110454322 A CN202110454322 A CN 202110454322A CN 113076928 A CN113076928 A CN 113076928A
Authority
CN
China
Prior art keywords
neural network
finger
sensor module
rocker
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110454322.3A
Other languages
English (en)
Inventor
黎飞
王海鹏
许璞凡
敖郑欣
刘子炫
蒋奥宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110454322.3A priority Critical patent/CN113076928A/zh
Publication of CN113076928A publication Critical patent/CN113076928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Abstract

本发明提供了一种基于神经网络的手势数据采集手套及识别方法，包括向计算平台发送手部数据的数据采集手套和根据手部数据的基于神经网络的手势识别方法；装置采集的数据首先经过MATLAB平台预处理后，传送到卷积神经网络进行学习，得到相应的计算模型；之后应用此模型对新的手部数据进行识别，得到手势类别。本发明传感器等电子元件不搭建在皮革或织物手套上，采用“骨架”式手套设计方式。该设计方式易于手套穿脱、拆卸组装，不易产生污垢，易于清洁，且清洁风险与成本小；采用电子设计的方式以及柔性FPC线材，相比于现有机械结构，可大大减小设备体积和重量，增强手指运动灵活性，便于长时间穿戴。

Description

一种基于神经网络的手势数据采集手套及识别方法
技术领域
本发明属于神经网络深度学习以及柔性电子领域，尤其涉及一种基于神经网络的手势数据采集手套及识别方法。
背景技术
手势姿态识别在医疗康复领域起着至关重要的作用，是复健过程中的关键参考因素，不同的实现方式、不同的设备都会让用户得到不同的体验。目前数据手套现有代表性的商业成熟产品是Cyberglove和5DT。Cyberglove产品至今已有20年的积累经验，在这20年间的不断研究与进步中打造出了性能越发优质的数据手套产品。Cyberglove产品主要基于弯曲传感器进行实现，工作原理是基于应变效应制作的。将弯曲传感器安布在手套的关节处，当关节弯曲时，传感器阻值发生变化，终端接收到的信号也会发生相应的变化。通过对不断变化的信号进行分析，可以得到手部大致的活动情况。发展后期逐渐产生新的产品，CyberGlove II-18 Sensors数据手套。18-传感器型号产品的每根手指处配有两个曲度传感器，此外还有四个外展传感器、以及测量拇指交叉截面、手掌拱度、腕关节弯曲和外展的传感器。5DT数据手套在发展初期同样是采用了以弯曲传感器为主的设计方式。而新版的5DT数据手套系列产品基于纤维光学曲型传感器。5DT Data Glove Ultra系列包括5个传感器和14个传感器两种型号。5传感器型号每个手指配有一个传感器，测量指节和第一关节；14传感器型号每个手指两个传感器，一个测量指节，另一个测量关节，且在手指之间展开了传感器。
目前现有产品存在以下缺点。第一，数据手套作为商品价格高昂，且后续维护成本费用极高。第二，手套在使用时注意事项多，使用步骤繁琐，穿戴使用过程不便利，体验不佳。第三，数据手套除了抓取数据外，没有成熟便利的手势判断方法。现有的手势判断步骤需要先利用数据手套传感器采集的相关数据绘制出手部姿势模型，再根据手部姿势、手指间位置关系来判断当前手部姿势以及相关状态，步骤略繁琐。第四，现有数据手套产品多以皮革手套或其他织物手套为主题，在上面排布传感器等其他电子元件。使用者频繁穿脱后将留下污垢，而手套上排布的电子元件将阻碍清洗工作，不管是手套内部还是外部都将难以保持清洁。
发明内容
本发明目的在于提供一种基于神经网络的手势数据采集手套及识别方法,为解决上述技术问题，本发明的具体技术方案如下：
一种基于神经网络的手势数据采集手套，包括手指关节模块、连接杆、连接键、盖板、掌托、主传感器模块和弹力带；
所述手指关节模块的末端与连接杆连接；
所述盖板通过连接键与连接杆连接；
所述主传感器模块设置在盖板的上表面；
所述掌托通过所述弹力带与盖板连接；
所述主传感器模块包括微处理器，无线发送模块和主惯性传感器；
所述微处理器汇总手指关节模块采集到的指关节角度和运动信息，进行姿态拟合；
所述无线发送模块将处理后的数据发送给上位机，进行进一步的处理；
所述主惯性传感器采集手掌的运动信息。
进一步的，所述手指关节模块包括第一指套、活动关节、第二指套、第三指套、第一传感器模块、第二传感器模块和第三传感器模块；所述第一指套和第二指套之间通过活动关节连接；
所述第二指套和第三指套之间通过活动关节连接；
所述第一指套上设置第一传感器模块；
所述第二指套上设置第二传感器模块；
所述第三指套上设置第三传感器模块；
所述第一传感器模块、第二传感器模块和第三传感器模块分别负责采集指尖、指中、指根三个关节的角度和运动信息，通过FPC线材相连，汇总到微处理器中。
进一步的，所述盖板的前端设置有五个连接键，所述连接键穿透盖板。
进一步的，所述盖板大于所述掌托。
进一步的，所述活动关节包括第一摇杆、第一转轴、第二摇杆、第三摇杆、固定轴、第二转轴、主动轴和从动轴；
所述第一摇杆的一端通过第一转轴连接第一指套或者第二指套，第一摇杆的另一端通过主动轴和从动轴分别连接第二摇杆和第三摇杆的一端，所述第二摇杆和第三摇杆的另一端连接所述第二转轴；
所述第二转轴穿过固定轴；
所述固定轴设置在第二摇杆和第三摇杆之间；
所述固定轴固定在所述第二指套或者第三指套上；
所述活动关节保证使用者的指关节可以自由的活动。
一种基于神经网络的手势识别方法，其特征在于，包括以下步骤：
步骤1、将基于神经网络的手势识别的数据手套采集的数据经过MATLAB平台进行窗格提取函数处理，加窗后的数据长度为192，传送到卷积神经网络进行学习，得到计算模型，利用新模型进行新手势的识别预测；
步骤2、所述卷积神经网络建立在AlexNet的基础之上，将卷积神经网络CNN模型进行多分类问题的识别和预测，得到手势类别。
进一步的，所述卷积神经网络共有22层，包含1个输入层，5个Convex2D卷积层，5个线性整流层，5个批量标准化层，3个最大池化层，1个全连接层，1个softmax激活层，1个输出层；
所述5个Convex2D卷积层的卷积核个数分别为16、32、64、64、16，卷积核大小为3×3；
所述最大池化层的区域大小为2×2，步长为2；
所述全连接层神经元个数为64。
进一步的，所述模型采用的优化器是带动量的随机梯度下降算法，并使用牛顿动量，为了防止过拟合，采用L2正则化方法。本发明的一种基于神经网络的手势数据采集手套及识别方法具有以下优点：
1、本发明采用“骨架”式手套设计方式，易于手套穿脱、拆卸组装，不易产生污垢，易于清洁，且清洁风险与成本小。
2、本发明采用电子设计的方式，相比于现有机械结构，可大大减小设备体积和重量，增强手指运动灵活性，便于长时间穿戴。
3、本发明方法更充分的利用原始数据，在获取手指位姿数据的同时分析手势，且分类识别和预测的准确率高。
4、本发明方法极大提高运算效率，简化数据处理步骤，更能满足低延时需求。
5、本发明通过计算机学习得到模型，省略复杂的人工操作过程；可得到更为精确的量化分类信息。
附图说明
图1为本发明原理图；
图2为卷积神经网络结构框图；
图3为卷积神经网络预测结果分析图；
图4为姿态融合解算原理图；
图5为姿态融合解算算法流程图；
图6为基于神经网络的手势识别的数据采集手套的第一种视角下结构示意图；
图7为基于神经网络的手势识别的数据采集手套的第二种视角下结构示意图；
图8为基于神经网络的手势识别的数据采集手套的底面示意图；
图9为基于神经网络的手势识别的数据采集手套的爆炸图示意图；
图10为基于神经网络的手势识别的数据采集手套活动关节的爆炸图。
图中：1、手指关节模块；2、盖板；3、掌托；4、主传感器模块；5、活动关节；6、第一指套；7、第二指套；8、第一传感器模块；9、第二传感器模块；10、第三传感器模块；11、第一摇杆；12、第一转轴；13、第二摇杆；14、第三摇杆；15、固定轴；16、第二转轴；17、主动轴；18、从动轴；19、连接杆；20、连接键；21、弹力带；22、第三指套。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明的实施例做进一步详细的描述。
如图9所示，一种基于神经网络的手势数据采集手套包括手指关节模块1、连接杆19、连接键20、盖板2、掌托3、主传感器模块4和弹力带21；所述手指关节模块1的末端连接所述连接杆19，与所述盖板2之间通过所述连接键20连接；所述盖板2的上表面设置有所述主传感器模块4，所述盖板2与所述掌托3之间通过所述弹力带21连接。
主传感器模块4包括微处理器，无线发送模块和主惯性传感器。微处理器汇总手指关节模块1采集到的指关节角度和运动信息，进行姿态拟合。无线发送模块将处理后的数据发送给上位机，进行进一步的处理。主惯性传感器采集手掌的运动信息。
如图6，图10所示，手指关节模块1包括第一指套6、活动关节5、第二指套7、第三指套22、第一传感器模块8、第二传感器模块9和第三传感器模块10；所述第一指套6和第二指套7，第二指套7和第三指套22之间通过所述活动关节5连接；所述第一指套6、第二指套7和第三指套22上分别设置有所述第一传感器模块8、第二传感器模块9和第三传感器模块10。所述手指关节模块1包含五个不同的规格，分别对应五个手指，套在大拇指上的所述手指关节模块1只包括第一指套6和第二指套7，其他的都包含三个指套；所述第一传感器模块8、第二传感器模块9和第三传感器模块10分别采集指尖、指中、指根三个关节的角度和运动信息，通过FPC线材相连，汇总到微处理器中。第一传感器模块8、第二传感器模块9和第三传感器模块10都包括一个惯性传感器和一个数字运动处理器。
如图9所示，所述盖板2的前端设置有五个连接键20，所述连接键20穿透所述盖板2，所述盖板2大于所述掌托3。
如图10所示，所述活动关节5包括第一摇杆11、第一转轴12、第二摇杆13、第三摇杆14、固定轴15、第二转轴16、主动轴17和从动轴18；所述第一摇杆11的一端通过所述第一转轴12连接所述第一指套6或者第二指套7，所述第一摇杆11的另一端通过所述主动轴17和从动轴18连接所述第二摇杆13和第三摇杆14的一端，所述第二摇杆13和第三摇杆14的另一端连接所述第二转轴16，所述第二转轴16穿过所述固定轴15，所述固定轴15位于所述第二摇杆13和第三摇杆14之间，所述固定轴15固定在所述第二指套7或者第三指套22上。所述活动关节5保证使用者的指关节可以自由的活动。
采用一主多从的数据手套布局来实现手指数据的采集。本装置利用惯性传感器采集数据，相比于传统弯曲传感器，其数据精度更高，且数据形式有利于后续神经网络处理；采用无线发送模块进行数据传输，该模块可以与本发明的微处理器进行连接，将微处理器完成姿态拟合的数据传输到上位机，实现了与上位机的实时通讯；采用电子设计的方式和柔性FPC线材，相比于现有手套结构，可大大减小设备体积和重量，便于长时间穿戴。
各指尖、指中与指根的惯性传感器通过排针与各自位置上的中继板连接。
指尖、指中与指根的惯性传感器链通过FPC线材和中继板上的FPC连接器相接，并逐一增加排针数，减少线材体积，增强易用性与灵活性。
一种基于神经网络的手势数据采集手套包括用于实时获取指关节的角度和运动信息的六轴惯性传感器MPU6050，将原始数据转换成四元数输出并计算出欧拉角的数字运动处理器DMP，用于姿态拟合的微处理器STM32F4，将完成姿态拟合的数据无线传输到上位机的无线发送模块ATK-HC05，用于五路惯性传感器链连接的FPC及FPC连接器。所述卷积神经网络方法包括MATLAB平台下的窗格提取算法，基于AlexNet的22层CNN网络模型。
一种基于神经网络的手势识别方法，包括以下步骤：
S1：使用MATLAB平台进行窗格提取函数；
S2：基于AlexNet的卷积神经网络CNN模型进行多分类问题的识别和预测。
所述S1还包括：
利用数据手套设备测量处理得到数据，在上位机中经过MATLAB平台进行数据处理，加窗后的数据长度为192，输入卷积神经网络中进行学习，得到相应的模型后，利用新模型进行新手势的识别预测。
采用卷积神经网络的预测方式，相比于传统的机器人运动学分析方法，可极大降低数据处理的复杂程度，提升运算效率，极大提高准确率，并且有很大的优化空间和应用前景。
所述S2还包括：
神经网络共有22层，包含1个输入层，5个Convex2D卷积层，5个线性整流层，5个批量标准化层，3个最大池化层，1个全连接层，1个softmax激活层，1个输出层。五层卷积层的卷积核个数分别为16、32、64、64、16，卷积核大小为3×3。最大池化层的区域大小为2×2，步长为2。全连接层神经元个数为64。
本模型采用的优化器是带动量的随机梯度下降算法(SGDM)，并使用牛顿动量，为了防止过拟合，采用L2正则化方法。
首先说明较为传统的DH矩阵建模公式及推导，该方法可以代替欧拉角、四元数，较为简便的分析手指末端的运动学特征，但无法实现手势识别：(DH算法公式)
任意坐标系中，空间位置可用如下矩阵表示：
空间位置：
Figure BDA0003040027500000081
其中x，y，z为三维方向标。
参照空间位置的表述形式，任意坐标系在固定参考坐标系中的表示为以下形式：
坐标系：
Figure BDA0003040027500000082
其中，n、o、a代表固定参考坐标系的坐标轴。
根据机器人运动学中的相关知识，经过变换的新坐标系可表示为原坐标系右乘转换矩阵的形式，坐标系的变换公式为：
Fnew＝F×T
T为时间；
其中坐标系平移变换的转换矩阵为：
Figure BDA0003040027500000091
绕x、y、z轴旋转的转换矩阵为：
Figure BDA0003040027500000092
Figure BDA0003040027500000093
Figure BDA0003040027500000094
其中，cθ为cosθ的简写形式，sθ为sinθ的简写形式。
而复合变换的转换矩阵可以通过一系列转换矩阵相乘表示，推导过程如下：
Figure BDA0003040027500000095
其中，i代表对应的坐标系。
在DH方法中，坐标系的变换可以通过以下步骤完成：
沿着Xi-1轴，将坐标系平移ai-1的距离
围绕Xi-1轴，按照Zi-1至Zi的方向旋转αi-1的角度
沿着Zi轴，将坐标系平移di的距离
围绕Zi轴，按照Xi-1至Xi的方向旋转θi的角度
结合上述坐标变换矩阵以及复合变换矩阵的相应公式，可以得出DH方法中坐标系的DH转换矩阵如下：
Figure BDA0003040027500000101
推导过程如下：
Figure BDA0003040027500000102
DH矩阵提供了一种较为新颖、方便的指尖坐标系的运动学分析方法，但是无法解决手势识别的问题，由此我们提出了卷积神经网络的分类方法，本创新型的CNN网络涉及到的相关公式如下：
Conv卷积公式：
Figure BDA0003040027500000103
其中，输入矩阵的空间坐标为i、j，卷积核大小是p×q，卷积核权重为w，角度值或特征值为x。
ReLU激活函数公式：
relui，j＝max{0，convi，j+b}
其中，ReLU层的偏移量为b。
BN批量标准化公式：
Figure BDA0003040027500000111
Figure BDA0003040027500000112
Figure BDA0003040027500000113
Figure BDA0003040027500000114
其中，μB为输入批量标准化层数据平均值，
Figure BDA0003040027500000115
为输入批量标准化层数据方差，
Figure BDA0003040027500000116
为归一化数据，n为输入批量标准化层的矩阵的元素个数，∈为一小量，γ为尺度变换，β为偏移参数。
loss损失函数公式：
Figure BDA0003040027500000117
其中，原始分类结果为y，神经网络计算出来的分类结果为
Figure BDA0003040027500000118
L2正则化公式：
Figure BDA0003040027500000119
其中，Loss为上述损失函数值，λ是正则化参数。本创新型中，λ＝0.0001。
SGDM带动量的随机梯度下降公式：
Figure BDA00030400275000001110
wk+1＝wk+vk+1
其中，动量参数为m，学习率为lr。本创新型中，m＝0.9，lr＝0.001。
FC全连接层公式：
Figure BDA00030400275000001111
其中，x为输入全连接层的矩阵的元素，全连接层权重为w，偏移量为b。
Softmax层公式：
Figure BDA0003040027500000121
其中，x为输入softmax层的矩阵的元素。
如图1所示，是本发明第一实施例中一种基于神经网络的手势数据采集手套及识别方法的原理图，利用机器学习实现由传感器数据直接判断手部姿态，省去繁琐的中间过程。针对不同的手势收集多组传感器数据，利用深度神经网络进行机器学习。利用机器学习成果可以实现由传感器数据直接识别手部姿势的过程。
本发明包括基于神经网络的手势识别的数据采集手套和位于上位机的卷积神经网络模型的手势识别方法，手势数据采集手套和上位机通过无线发送模块ATK-HC05进行信息交互。使用时，手势数据采集手套用于采集人手部的手指弯曲度、加速度、角速度等数据并向上位机发送该数据，位于上位机中的手势识别方法对数据进行和识别和预测，得到手势类别。利用机器学习实现由传感器数据直接判断手部姿态，省去繁琐的中间过程。针对不同的手势收集多组传感器数据，利用深度神经网络进行机器学习。利用机器学习成果可以实现由传感器数据直接识别手部姿势的过程，结合数据手套的便捷性和神经网络的高效性，为手势识别提供了硬件装置和计算方法。
传感器模块有五路，除拇指有两个传感器模块外，其余每路有三个传感器模块。每路传感器模块均通过柔性线材连接，且用转接板实现传感器模块间的线材整理工作。并最终都连接到微处理器上，再由微处理器对数据进行处理后经无线发送模块发送。
手势识别方法包括MATLAB平台下的窗格提取函数、基于AlexNet的CNN网络模型。上述装置采集的数据首先经过MATLAB平台预处理后，传送到卷积神经网络进行学习，得到相应的计算模型。之后应用此模型对新的手部数据进行识别，得到手势类别。
本方案采用电子设计的方式和柔性FPC线材，相比于现有机械结构，可大大减小设备体积和重量，增强手指运动灵活性，便于长时间穿戴。
第二实施例在第一实施例的基础上对手势识别方法的结构进行细化。
本方法包含的窗格提取算法，将一系列随时间变化的原始数据进行加窗处理，将其维度拓展至二维。每一个窗口包含192个数据点，窗口沿时间维度的移动步长为50。
本方法包含的卷积神经网络模型建立在AlexNet的基础之上，结构如图3所示。神经网络共有22层，包含1个输入层，5个Convex2D卷积层，5个线性整流层，5个批量标准化层，3个最大池化层，1个全连接层，1个softmax激活层，1个输出层。每一个卷积层都进行了零填充操作，五层卷积层的卷积核个数分别为16、32、64、64、16，卷积核大小为3×3。最大池化层的区域大小为2×2，步长为2。输出时先进行数据压平，全连接层神经元个数为64，随机丢弃0.5的神经元，进行输出。
本模型采用的优化器是带动量的随机梯度下降算法(SGDM)，设置初始学习率为0.01，并使用牛顿动量。为了防止过拟合，本模型采用L2正则化的方法，并设定正则化参数为10^(-4)。
本模型的训练样本数量为128，训练轮次为60，并且在训练过程中使用随机排序。
训练结束后，本模型使用测试集的数据对模型结果进行评估，输出损失值和准确率，具体结果如图3所示。
基于第一实施例，第三实施例对MPU6050-DMP姿态融合解算进行结构细化。MPU6050可以提供加速度角速度传感器的原始数据，本装置通过DMP将原始数据进行姿态融合结算，转换成四元数输出，进而计算欧拉角，如图4所示。
具体的，本装置引入融合解算的姿态更新算法，将加速度计的数据用于纠正陀螺仪在积分过程中产生的零偏误差，具体的算法流程图如图5所示。
基于实施例1，第四实施例对硬件实物连接结构细化。微处理器以及无线发送模块设置在手腕上，便于佩戴也减少模块随手部动作的运动。使用时，绑带采用有一定弹性的PVC材料，绑在使用者手腕或小臂前端。
手势数据采集手套设置在手指关节上，同样采用有一定弹性的PVC材料，将环状PVC带与中继板相连，可穿戴在手指上，使用时将惯性传感器模块1、惯性传感器模块2、惯性传感器模块3分别插接在各自中继板，可提高穿戴牢固性与数据采集可靠性。采用柔性线材FPC连接各部分，进一步避免设备过于笨重的缺陷，实现功能的同时有效的降低了重量使得穿戴的舒适感得到提高。
传感器等电子元件不搭建在皮革或织物手套上，采用“骨架”式手套设计方式。该设计方式易于手套穿脱、拆卸组装，不易产生污垢，易于清洁，且清洁风险与成本小。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (8)

1.一种基于神经网络的手势数据采集手套，其特征在于，包括手指关节模块(1)、连接杆(19)、连接键(20)、盖板(2)、掌托(3)、主传感器模块(4)和弹力带(21)；
所述手指关节模块(1)的末端与连接杆(19)连接；
所述盖板(2)通过连接键(20)与连接杆(19)连接；
所述主传感器模块(4)设置在盖板(2)的上表面；
所述掌托(3)通过所述弹力带(21)与盖板(2)连接；
所述主传感器模块(4)包括微处理器，无线发送模块和主惯性传感器；
所述微处理器汇总手指关节模块(1)采集到的指关节角度和运动信息，进行姿态拟合；
所述无线发送模块将处理后的数据发送给上位机，进行进一步的处理；
所述主惯性传感器采集手掌的运动信息。
2.根据权利要求1所述的基于神经网络的手势数据采集手套，其特征在于，所述手指关节模块(1)包括第一指套(6)、活动关节(5)、第二指套(7)、第三指套(22)、第一传感器模块(8)、第二传感器模块(9)和第三传感器模块(10)；所述第一指套(6)和第二指套(7)之间通过活动关节(5)连接；
所述第二指套(7)和第三指套(22)之间通过活动关节(5)连接；
所述第一指套(6)上设置第一传感器模块(8)；
所述第二指套(7)上设置第二传感器模块(9)；
所述第三指套(22)上设置第三传感器模块(10)；
所述第一传感器模块(8)、第二传感器模块(9)和第三传感器模块(10)分别负责采集指尖、指中、指根三个关节的角度和运动信息，通过FPC线材相连，汇总到微处理器中；
所述第一传感器模块(8)、第二传感器模块(9)和第三传感器模块(10)都包括惯性传感器和数字运动处理器。
3.根据权利要求2所述的基于神经网络的手势数据采集手套，其特征在于，所述盖板(2)的前端设置有五个连接键(20)，所述连接键(20)穿透盖板(2)。
4.根据权利要求3所述的基于神经网络的手势数据采集手套，其特征在于，所述盖板(2)大于所述掌托(3)。
5.根据权利要求4所述的基于神经网络的手势数据采集手套，其特征在于，所述活动关节(5)包括第一摇杆(11)、第一转轴(12)、第二摇杆(13)、第三摇杆(14)、固定轴(15)、第二转轴(16)、主动轴(17)和从动轴(18)；
所述第一摇杆(11)的一端通过第一转轴(12)连接第一指套(6)或者第二指套(7)，第一摇杆(11)的另一端通过主动轴(17)和从动轴(18)分别连接第二摇杆(13)和第三摇杆(14)的一端，所述第二摇杆(13)和第三摇杆(14)的另一端连接所述第二转轴(16)；
所述第二转轴(16)穿过固定轴(15)；
所述固定轴(15)设置在第二摇杆(13)和第三摇杆(14)之间；
所述固定轴(15)固定在所述第二指套(7)或者第三指套(22)上；
所述活动关节(5)保证使用者的指关节可以自由的活动。
6.根据权利要求1-5任一项所述的一种基于神经网络的手势识别方法，其特征在于，包括以下步骤：
步骤1、将基于神经网络的手势识别的数据手套采集的数据经过MATLAB平台进行窗格提取函数处理，加窗后的数据长度为192，传送到卷积神经网络进行学习，得到计算模型，利用新模型进行新手势的识别预测；
步骤2、所述卷积神经网络建立在AlexNet的基础之上，将卷积神经网络CNN模型进行多分类问题的识别和预测，得到手势类别。
7.根据权利要求6所述的基于神经网络的手势识别方法，其特征在于，所述卷积神经网络共有22层，包含1个输入层，5个Convex2D卷积层，5个线性整流层，5个批量标准化层，3个最大池化层，1个全连接层，1个softmax激活层，1个输出层；
所述5个Convex2D卷积层的卷积核个数分别为16、32、64、64、16，卷积核大小为3×3；
所述最大池化层的区域大小为2×2，步长为2；
所述全连接层神经元个数为64。
8.根据权利要求6所述的基于神经网络的手势识别方法，其特征在于，所述模型采用的优化器是带动量的随机梯度下降算法，并使用牛顿动量，为了防止过拟合，采用L2正则化方法。
CN202110454322.3A 2021-04-26 2021-04-26 一种基于神经网络的手势数据采集手套及识别方法 Pending CN113076928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110454322.3A CN113076928A (zh) 2021-04-26 2021-04-26 一种基于神经网络的手势数据采集手套及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454322.3A CN113076928A (zh) 2021-04-26 2021-04-26 一种基于神经网络的手势数据采集手套及识别方法

Publications (1)

Publication Number Publication Date
CN113076928A true CN113076928A (zh) 2021-07-06

Family

ID=76618742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454322.3A Pending CN113076928A (zh) 2021-04-26 2021-04-26 一种基于神经网络的手势数据采集手套及识别方法

Country Status (1)

Country Link
CN (1) CN113076928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套
CN116520990B (zh) * 2023-04-28 2023-11-24 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套

Similar Documents

Publication Publication Date Title
CN106527738B (zh) 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Liu et al. A glove-based system for studying hand-object manipulation via joint pose and force sensing
Ben-Tzvi et al. Sensing and force-feedback exoskeleton (SAFE) robotic glove
EP3742961A1 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
CN111902847A (zh) 手部状态表示模型估计的实时处理
CN112005198A (zh) 基于多个输入的手部状态重建
CN112470009A (zh) 用于使游泳者的动作的表现度量公式化的系统和方法
CN112074225A (zh) 用于减轻神经肌肉信号伪像的方法和装置
Tognetti et al. Body segment position reconstruction and posture classification by smart textiles
US10890970B2 (en) Flex force smart glove for measuring sensorimotor stimulation
CN104571837B (zh) 一种实现人机交互的方法及系统
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
CN105446485B (zh) 基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法
CN114503057A (zh) 基于图像和惯性测量单元两者的取向确定
CN111419237A (zh) 脑卒中手部运动功能Carroll评分预测方法
CN110478860B (zh) 基于手物自然交互的手部功能障碍虚拟康复系统
CN113076928A (zh) 一种基于神经网络的手势数据采集手套及识别方法
Liu et al. A new IMMU-based data glove for hand motion capture with optimized sensor layout
Zakia et al. Deep learning technique in recognizing hand grasps using FMG signals
CN102023707A (zh) 基于dsp-pc机器视觉系统的斑纹式数据手套
CN105260029A (zh) 基于人手运动功能复现的仿人手结构实现方法
CN110624217A (zh) 一种基于多传感器融合的复健手套及其实现方法
CN111767932A (zh) 动作判定方法及装置、计算机设备及计算机可读存储介质
CN205608660U (zh) 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination