CN112971773A - 基于手掌弯曲信息的人手运动模式识别系统 - Google Patents

Abstract

本发明公开了一种基于手掌弯曲信息的人手运动模式识别系统，所述人手运动模式识别系统包括传感手套、信号采集电路、计算机和显示器系统，其中：所述传感手套的手心布置有数个弯曲度传感器，每个弯曲度传感器通过导线与信号采集电路相连接；所述信号采集电路与计算机相连接，计算机对信号采集电路的信号进行信号的采集和处理，并在显示器上显示相关信息。本发明采用的电路系统简单可靠，对信号的处理方法快速准确，识别率较高并且稳定。在一次试验中，对数据库中有的9种常用手势进行识别，总体识别率能够突破80%，对于一些动作的识别率甚至能够接近100%，可以满足对人手部动作的实时识别和后续进行假手控制的要求。

Description

基于手掌弯曲信息的人手运动模式识别系统

技术领域

本发明属于生物机电一体化（Biomechatronics）技术领域，涉及一种基于手掌弯曲信息的人手运动模式识别系统。

背景技术

假手是生物和机器融合领域最鲜明的代表，是结合了多种高新技术的机器人产品。假手的主要应用场景是帮助先天或者后天手部残缺者补全手部外形和功能。面对这一使用场景，人类在数千年的文明历史中始终在努力着，假手也由最初的装饰性假手逐渐向功能性假手转变，特别是随着近几十年计算机等相关学科的进步，假手的功能也愈发强大了。

假手功能性的支撑之一便是人类意图的识别，能够准确识别人类希望进行的手部动作是完成假手控制的基础，近些年也成为相关领域的研究热点。目前的研究中主要采用非侵入性的控制方式，主要分为脑电、肌电和肌力三种方式。脑电识别方式是检测大脑在控制身体执行动作时大脑皮层形成的特殊生物电反应得到脑电图，通过对脑电图信号进行分析识别出大脑发出的最初指令。肌电识别也是应用很广泛的控制方式，也是最成熟的控制方式，该方式通过监测皮肤表面电信号的变化，来判断人类对肌肉的控制意图。此外，肌力信号识别同样具备自己独特的优势，这种方式通过贴在皮肤上的压力传感器获取肌肉压力信号，并以此判断意图的手势。

在手掌残缺中，有一种特殊的情况是半掌残缺，半掌假手也应运而生。而残存的手掌为假手的设计提出挑战的同时也为手部动作识别提出了新的可能性，一些研究者希望能够将信号采集位置从小臂、手腕等传统的位置向残存的手掌转移，将肌力传感器布置在手心和手背上是一种不错的尝试，但这种方式也存在着识别率不高、穿戴不适等缺陷。目前市场上还没有识别稳定、技术成熟的针对手掌的人类手部动作识别的装置或者方法。

发明内容

针对国内外现有的用于假手的手部动作识别方法识别率波动较大、结构复杂、穿戴舒适性不佳的问题，本发明提供了一种基于手掌弯曲信息的人手运动模式识别系统。本发明可以实现对人手在工作时手掌弯曲信息的采集和分析，并且在此基础上完成对全手动作的分类识别。

本发明的目的是通过以下技术方案实现的：

一种基于手掌弯曲信息的人手运动模式识别系统，包括传感手套、信号采集电路、计算机和显示器系统，其中：

所述传感手套的手心布置有数个弯曲度传感器（分布如图1 所示），弯曲度传感器的布置方向是沿与手部动作相关的关键弯曲方向，分别在小指、无名指、中指、无名指的手指根部和相连手掌部以及与第一掌骨和第二掌骨垂直的方向（反映拇指运动)，各手指对应传感器布置方向与手指方向大致相同（拇指处除外），能够反应对应手指的动作，每个弯曲度传感器通过导线与信号采集电路相连接；

所述信号采集电路由电源、分压电阻、电位限制电阻、多路复用器、可编程增益放大器、A/D转化器、缓存器构成，弯曲度传感器的一个引脚与电源负极连接，弯曲度传感器的另一引脚串接一个分压电阻后与电源正极连接，弯曲度传感器和分压电阻之间通过导线将电位信号引出，通过电位限制电阻对电位进行限制；多路信号进入后通过多路复用器多路复用至可编程增益放大器中，后再交于A/D转换器转换为数字信号经缓存后交给计算机；

所述信号采集电路与计算机相连接，计算机对信号采集电路的信号进行信号的采集和处理，并在显示器上显示相关信息。

本发明中，计算机担负着数据采集写入、机器学习处理、处理结果显示的任务，这些任务是依托计算机内的软件进行的，这些软件系统包括了训练样本采集系统、机器学习系统、实时采集显示系统，其中：训练样本采集系统为机器学习系统提供训练数据，机器学习系统为实时采集显示系统提供分类的计算服务，实时采集系统则为机器学习系统采集数据并将最终结果通过显示器向操作者进行显示。

本发明中，训练样本采集系统担负起数据采集的任务，采集电路将处理后的数字电位信号交给计算机后，训练样本采集系统进行采集工作，操作者在这个系统对采集模式等进行设置，该系统按照相应的设置对采集状态进行显示对采集的数据进行存储。存储的数据被机器学习系统调用，该系统将原始数据进行处理并且构建出训练样本集，并等待被实时采集显示系统调用，被调用后该系统要进行相应的分类计算。实时采集显示系统则是在实际进行识别时工作的系统，操作者在该系统进行识别工作及其系统设置，该系统可调用机器学习系统中的部分功能，获得机器学习系统的分类结果后进行显示。

一种利用上述系统进行基于保护基于手掌弯曲信息的人手运动模式识别方法，包括如下步骤：

步骤一、电路硬件连接：将各个设备通过接口进行连接，检查保证连接的正确和稳固；

步骤二、佩戴手套：将手套佩戴于手掌上，调整手套位置使得弯曲度传感器处于合适位置，并且佩戴舒适，佩戴好后使手套与手掌的连接牢固，并且对弯曲度传感器有一定的预压力，完成后进行尝试性的动作，根据实际情况进行调整；

步骤三、测试调整：打开训练样本采集系统，对弯曲度传感器的实时波形进行监测，以此判断弯曲度传感器状态是否合适，并且进行相应的调整；

步骤四、样本采集：在步骤三的基础之上开始进行采集工作，在手部完全放松的情况下，对弯曲度传感器的初值进行采集，初始值采集结束后，对需要进行识别的数个动作的对应传感器数据进行采集；

步骤五、动作识别：将步骤四中采取的数据交给机器学习系统，机器学习系统构建训练集，打开实时采集显示系统，首先进行初值的采取，结束后自由活动手部，做出样本集中的动作，通过机器学习进行分类，并反馈出动作至显示屏。

相比于现有技术，本发明具有如下优点：

1、本发明提供的对人手部动作的识别方式，形式新颖简洁，工作的稳定性和可靠性高，设备与人体的协作性好，亲和力高，佩戴简单舒适，能实现采集和识别一体化。

2、本发明通过机器学习的方法实现了对多种手势的识别，同时也具备比较好的灵活性，可以比较轻松切换至多种机器学习的方法，也能够轻松向训练集添加数据和手势从而增减或者更新手势训练集。

3、本发明采用的电路系统简单可靠，对信号的处理方法快速准确，通过算法上的滤波、归一化等数据处理后，识别率较高并且稳定。在一次试验中，对数据库中有的9种常用手势进行识别，总体识别率能够突破80%，对于一些动作的识别率甚至能够接近100%，可以满足对人手部动作的实时识别和后续进行假手控制的要求。

附图说明

图1为本发明的传感器分布示意图；

图2为本发明的硬件结构示意图；

图3为工作软件系统的结构示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于手掌弯曲信息的人手运动模式识别系统，所述系统在硬件上由传感手套、信号采集电路、计算机和显示器系统组成，在软件上由训练样本采集系统、机器学习系统、实时采集显示系统组成。

传感手套的基底是普通织物纤维，在手套的手心的织物外布置数个弯曲度传感器，弯曲度传感器的布置方向是沿与手部动作相关的几个关键弯曲方向，弯曲度传感器通过固连装置和张紧装置做到与手套和人手的紧密贴合从而能够较为准确的反映手掌的变形情况。每个弯曲度传感器上连接有两根导线将弯曲度传感器与信号采集电路相连接。信号采集电路的主要构成元件由电源、分压电阻、电位限制电阻、多路复用器、可编程增益放大器、A/D转化器、缓存器等构成。弯曲度传感器的一个引脚与电源负极连接，并在弯曲度传感器的另一引脚串接一个分压电阻后连接回电源正极。在弯曲度传感器和分压电阻之间通过导线将电位信号引出，通过电位限制电阻对电位进行限制。每个弯曲度传感器都通过这样的方式与信号采集电路进行连接，多路信号进入后通过多路复用器多路复用至可编程增益放大器中，后再交于A/D转换器转换为数字信号后缓存后交给计算机，计算机进行信号的采集和处理，并在显示器上显示相关信息。

软件方面担负起数据采集的任务是训练样本采集系统，采集电路将处理后的数字电位信号交给计算机。计算机整合成为动态数组，并在开始记录时将初始值进行存储，之后将这个动态数组的5个通道进行剥离，形成5个动态波形并在显示屏上向操作者进行展示，与此同时在计算机在一个采样频率内对动态数据采取平均值以此作为数字滤波的一部分，由此可以得到一个具有5个元素的动态数组，这个数组数被减掉初始数组后被动态的显示给操作者，并在一个波形图内进行显示并反馈给操作者，这个数组被动态的刷新，当开始采集后，如若系统在采集模式下则动态数组会被保留至计算机，在进行不同手势动作时切换不同的路径分别保存，而在测试模式下则仅产生波形而不会有相应的数据被保存。进行实时识别前，先使用机器学习系统导入并构建训练集，而后启动实时采集显示系统，识别过程中需不断调用机器学习系统。试验开始后，实时采集显示系统首先采集到放松手势的初值，之后便进行动态数组的采集，将数组5个通道部分进行剥离并且在一个采样频率内对动态数据采取平均值以此作为数字滤波的一部分由此可以得到一个具有5个元素的动态数组，这个数组数被减掉初始数组后作为测试数组交给机器学习系统，机器学习系统接受和分类处理后将分类结果交还，而后模块将分类结果以编号和图形的模式显示。机器学习系统首先调用来自训练样本采集系统生成的数据，将这些数据建立成为同一的数组，对全部数据进行归一化处理，处理完成的数据作为训练集，训练集进入分类算法中，等待被调用，接受到来自实时采集显示系统的事实数据后进行分类运算，运算结束后将返回值交还。

正确佩戴手套并正确连接后即可开始进行训练和识别的过程。在不同手势之下采集信号，通过训练样本采集系统进行采集并存储于计算机中。实时识别时，操作者做出已经被采集过的几种手势，实时信号被采集和机器学习分类以后生成识别结果，反馈给操作者。具体步骤如下：

步骤一、电路硬件连接：将各个设备通过接口进行连接，使得电路元件按照图2所示正确连接后链接至计算机上，检查保证连接的正确和稳固；

步骤二、佩戴手套：将手套佩戴于手掌上，调整手套位置使得弯曲度传感器处于合适位置，并且佩戴舒适，佩戴好后收紧张紧装置，使手套与手掌的连接牢固，并且对弯曲度传感器有一定的预压力，完成后进行尝试性的动作，根据实际情况进行调整；

步骤三、测试调整：打开训练样本采集系统，利用系统中的显示控件对弯曲度传感器的实时波形进行监测，以此判断弯曲度传感器状态是否合适，并且进行相应的调整；

步骤四、样本采集：在步骤三的基础之上开始进行采集工作，在手部完全放松的情况下，对弯曲度传感器的初值进行采集，初始值采集结束后，对需要进行识别的数个动作的对应传感器数据进行采集，各个动作的数据采集是依次进行的，采集数据的数量按照实际需要确定，在一个动作的采集过程中，要按照实际情况进行力度的幅度调整，令数据采集能够涵盖尽量多的情况；

步骤五、动作识别：将步骤四中采取的数据交给机器学习系统，机器学习系统构建训练集，打开实时采集显示系统，首先进行的是初值的采取，结束后便可以自由活动手部，做出样本集中的几种动作，系统通过机器学习进行分类，并反馈出动作至显示屏。

上述步骤三至步骤五是在计算机上进行采集和识别，其具体过程和逻辑如图3 所示：在训练样本采集系统中开始采集后，首先判断开始按键是否为真值，是则开始采集初值并记录，判断是否在采集模式下，若否则仅分通道显示波形，若是则进一步进行均值的计算并计算与初值的差距，保存结果至计算机等待机器学习系统调用，后再判断是否继续循环，是则继续采集，否则停止。机器学习系统接受到来自训练样本采集系统的数据后进行归一化等数学处理后建立样本和分类器并建立起能够对实时数据进行归一化和分类的子函数。实时采集显示系统判断开始后进行初值的采集后进行实时的采样并计算均值和差值交给机器学习系统的分类子函数，得到运算的返回值后进行显示，之后判断是否继续循环，是则重复实时识别过程，否则停止。

实施例：

本实施例的硬件实施方式可以参见图2。在与手部接触的部分使用的是传统的织物手套作为基底，在基底之上通过粘接和线缝等方式将传感器固定在手套上，手心处分布有5个弯曲薄膜传感器，传感器的固定位置是分别沿5根手指的变形方向，传感器末端位置与手指根部变形较大的位置相重合，来保证能够获得比较好的变形信息。传感器采用的是Sparkfun公司生产的薄膜弯曲传感器，该传感器在平直状态下的电阻为25K欧，在弯曲状态下，电阻可达10~125K欧，传感器阻值随弯曲程度的增加而增加。在传感器和手套外侧通过一根抓紧带在测试时将这根带拉紧来固定传感器，从而实现传感器与人手心的贴合以采到更精准的数据。传感器的两个引脚通过导线与基本电路进行连接，一个引脚与电源的负极连接，另一引脚与该传感器所属分压电阻连接，分压电阻另一端与电源正极连接，由此构成了基本的电位显示电路，对于该类型传感器所有的分压电阻均为100K欧，传感器和分压电阻两端接5伏电源，5个分压电路并联在电源两端，在每个传感器与分压电阻之间，通过导线将电位信号引出至信号处理的电路，首先是电位限位电阻（流经127K欧后，经30.9欧接2.5V电源，39.2K欧接地）对电位信号进行限制作用，之后信号通过多路复用器多路复用，并通过可编程增益放大器进行放大，放大后的信号通过模数转换器将模拟量信号转换为数字量信号，而后相关信号被传输至计算机并缓存在缓存器中。信号处理的电路采用的是NIUSB6008信号采集卡的内置电路，该采集卡有8个模拟量输入通道，在本实施例中只使用了5个，后续仍然可以将其他物理参量通过剩余三个通道输入作为识别的参考。

本实施例中，训练样本采集系统使用LabVIEW进行程序的编写。前面板的组成有手部的图片以及对应各传感器的波形示波器，实时反馈传感器数值与零点差异的数组显示模块和它的波形图。输入控件上有文件保存路径选择器、开始按钮、采集按钮、停止按钮以及模式选择按钮。主体程序有一个while循环包络，从而实现不间断显示和文件写入，在这个主体的循环外有一个小循环中执行断电的操作。主循环内包络一个条件结构，当开始按钮为真值时进入主程序，条件结构内部则为顺序结构，首先是将各个显示控件以及按键返回初始值，然后开始采集后由DAQ助手采集一个初始值并形成一个初始值数组。在顺序结构的下一部分中嵌套一个while循环，循环内执行的是这个程序的核心部分，这一部分中将从DAQ助手中不断向程序内提取信息，采样频率为1000赫兹，采样方式为N采样，进入程序内的信号是包含了5列信息的数组，将这个数组拆分并通过波形图分别进行显示，由此可以向操作者反馈各传感器的波形。各通道数组分离后，分开进入嵌套的条件结构，该条件结构可以判断测试模式和采集模式。系统为采集模式时执行该条件结构，条件结构内将一个采样频率内的数据求取均值过程中用到了数组求和的命令，结束后各通道将在一个采样频率内输出一个数将5个通道内的5个数合并成为一个数组，用先前的初始值数组建这个数组，可以得到各通道与初始值的差值。将这个差值通过数组显示控件反馈给前面板，同时创建一个波形图表将这个数组作为Y坐标，创建一个由1~5的数组常量作为X坐标，由此可以得到完整图形，将其显示。在下一个顺序结构中嵌套一个条件机构，当系统为采集模式时，进入这个条件结构，在条件结构内将平均数数组通过写入测量文件控件写入指定路径下的表格文件。表格文件将作为下一步进行训练的材料。手势识别软件部分核心内容是机器学习系统，这一模块使用的是Python进行编译，首先将所需要调用的，例如nunpy、pandas、sklearn等模块载入，通过open命令打开表格文件（共有9个文件，每个文件代表了一种手势，每个文件内有5列，每一列代表的是一个传感器的数据），打开表格文件后，通过list命令将表格内的数据导出，之后通过numpy函数库的array命令将数据数字化，再通过numpy函数库的vstack将各子数组的首行去掉后，粘贴形成一个大数组作为训练集合，再通过shape将粘贴前的数组大小统计出来后，按顺序由0~8给训练数组添加标签并形成标签数组。将训练数组和标签数组中的数据全部进行浮点化处理，并且在训练数组中将每一列最大值和最小值以及他们的差求出，将每一个元素减掉最小之后除这个差完成归一化处理后的数据。将最终的数据复制给支持向量机（可以替代为其他分类器），并指定支持向量机为线性分类核。后续再定义一个专用的函数等待来自LabVIEW的调用，将实时数据作为这个函数的输入，按照训练样本的最大值、最小值对这个实时数据进行同样的归一化处理后，调用先前的机器学习模型进行训练并得出分类结果作为这个函数的返回值。在实时的数据采集过程中与操作者直接进行交互的是实时识别和显示系统，这个系统同样用LabVIEW进行编写，前面板包括了指示灯、开始按键返回值的显示控件以及用下拉列表制作的手势的显示控件，系统的程序框图中仍然采用while循环作为程序主体，其中嵌套顺序结构，在顺序结构的第1部分中，用DAQ助手采集本次数据的初始并保存为初始值数组，顺序结构的后半部分也与采样系统的程序类似，使用DAQ助手将数据采入后，直接进行采样频率内的平均值计算，并将这个平均值输出为有5个元素的动态数组，调用Python模块，并且将这个数组作为输入值输入到Python模块中，将Python模块的输出也就是机器学习系统中子函数的返回值引出到显示控件对这个返回值进行显示，并且作为下拉列表的输入，将对应的图片显示出来。

使用时，首先打开样本数据采集模块，佩戴好传感手套，点击开始、开始采集，程序首先采集数据的初值，在绿灯亮起后表明数据初始采集完成，此时点击使得系统由测试状态转入采集状态，开始采集此时的手势信息，采集时应该维持该动作约30秒期间可以通过力量的变换，小臂位置的变换等来提供更复杂情况下这一手势的信息，从而降低整体的错误率。完成一个手势的采集后，按照同样的方法更改文件保存目录后进行余下8种数据的采集最终形成9个表格文件，分别代表了9种手势，在实验中采用了如下的9种手势：放松、拇指弯曲、食指弯曲、三指弯曲、五指伸、食指伸、握拳、手掌展开、三指捏取。这些动作代表了在日常生活中经常使用到的手势。完成样本采集后，打开实时识别和显示模块，进入活动阶段。保存活动阶段的文件路径并保持手部放松后点击开始，此时系统开始采取初值，采取完成后绿灯亮起可以进入自由活动阶段。自由活动阶段后可以看到显示屏上的图片是对当前手势识别的结果。使用时可以根据实际的使用环境调整采样频率和采样时间来控制采样结果的刷新速度和准确程度。在此基础上对整个系统的准确率进行了实验，实验方法是在识别和显示模块中，做出样本集中包含的9种手势，每种手势做出20次，如果识别成其他手势或是长时间不能识别，则视为识别错误，由此统计出系统的识别正确率，综合正确率达到了82.5%。

Claims (6)

1.一种基于手掌弯曲信息的人手运动模式识别系统，其特征在于所述人手运动模式识别系统包括传感手套、信号采集电路、计算机和显示器系统，其中：

所述传感手套的手心布置有数个弯曲度传感器，每个弯曲度传感器通过导线与信号采集电路相连接；

所述信号采集电路与计算机相连接，计算机对信号采集电路的信号进行信号的采集和处理，并在显示器上显示相关信息。

2.根据权利要求1所述的基于手掌弯曲信息的人手运动模式识别系统，其特征在于所述弯曲度传感器的布置方向是沿与手部动作相关的关键弯曲方向。

3.根据权利要求2所述的基于手掌弯曲信息的人手运动模式识别系统，其特征在于所述弯曲度传感器分别在小指、无名指、中指、无名指的手指根部和相连手掌部以及与第一掌骨和第二掌骨垂直的方向。

4.根据权利要求1所述的基于手掌弯曲信息的人手运动模式识别系统，其特征在于所述信号采集电路由电源、分压电阻、电位限制电阻、多路复用器、可编程增益放大器、A/D转化器、缓存器构成，弯曲度传感器的一个引脚与电源负极连接，弯曲度传感器的另一引脚串接一个分压电阻后与电源正极连接，弯曲度传感器和分压电阻之间通过导线将电位信号引出，通过电位限制电阻对电位进行限制；多路信号进入后通过多路复用器多路复用至可编程增益放大器中，后再交于A/D转换器转换为数字信号经缓存后交给计算机。

5.根据权利要求1所述的基于手掌弯曲信息的人手运动模式识别系统，其特征在于所述计算机包括训练样本采集系统、机器学习系统、实时采集显示系统，其中：训练样本采集系统为机器学习系统提供训练数据，机器学习系统为实时采集显示系统提供分类的计算服务，实时采集系统为机器学习系统采集数据并将最终结果通过显示器向操作者进行显示。

6.一种利用权利要求1-5任一项所述人手运动模式识别系统进行基于手掌弯曲信息的人手运动模式识别非法，其特征在于所述方法包括如下步骤：

步骤一、电路硬件连接：将各个设备通过接口进行连接，检查保证连接的正确和稳固；

步骤二、佩戴手套：将手套佩戴于手掌上，调整手套位置使得弯曲度传感器处于合适位置，并且佩戴舒适，佩戴好后使手套与手掌的连接牢固，并且对弯曲度传感器有一定的预压力，完成后进行尝试性的动作，根据实际情况进行调整；

步骤三、测试调整：打开训练样本采集系统，对弯曲度传感器的实时波形进行监测，以此判断弯曲度传感器状态是否合适，并且进行相应的调整；

步骤四、样本采集：在步骤三的基础之上开始进行采集工作，在手部完全放松的情况下，对弯曲度传感器的初值进行采集，初始值采集结束后，对需要进行识别的数个动作的对应传感器数据进行采集；

步骤五、动作识别：将步骤四中采取的数据交给机器学习系统，机器学习系统构建训练集，打开实时采集显示系统，首先进行初值的采取，结束后自由活动手部，做出样本集中的动作，通过机器学习进行分类，并反馈出动作至显示屏。

Images