CN104856707A - 基于机器视觉的压力传感数据手套及其抓握过程判断方法 - Google Patents

Abstract

本发明提供一种基于机器视觉的压力传感数据手套及其抓握过程判断方法，该手套包括彩色摄像头模块、工作台面板、PC机和数据手套本体；彩色摄像头模块置于工作台面板的上方，通过视频USB传输线与PC机相连；数据手套本体置于彩色摄像头模块和工作台面板中间，通过高速USB传输线与PC机相连。本发明更准确地进行跟踪和判断，并且价格低廉，携带方便，便于在用户群中推广。

Description

基于机器视觉的压力传感数据手套及其抓握过程判断方法

技术领域

本发明涉及机械电子与信息处理技术，尤其涉及一种基于机器视觉的压力传感数据手套及其抓握过程判断方法。

背景技术

手部主要负责运动功能中精细的活动和工作，其灵活程度和运动准确性，与人体日常生活能力、生活质量以及社会活动密切相关。在医疗康复中，脑卒中偏瘫患者存在手部运动功能障碍，帕金森病患者伴有的手部震颤、运动迟缓也会导致手部运动功能障碍；在工程中，流水线作业工人的手部疲劳机理以及人对各种劳动负荷的适应能力检测也是至关重要的。

针对脑卒中和帕金森患者，传统的临床治疗和评估方法为治疗师对患者进行一对一的康复训练，由于检测师和治疗师的缺乏，以及居家重复性训练需要专业人员的指导与评估，进而调整训练治疗方案，信息化技术辅助检测和康复治疗应运而生。

近年来亦出现了一些能够进行手部跟踪的手套申请专利，一种为依靠光纤或压电传感器实现测量的（申请号为201310149065.8的中国发明专利和申请号为200810222477.9的中国发明专利），另一种是依靠摄像头捕捉手套上标志点实现测量（申请号为201010507844.7的中国发明专利），尽管这些系统也可以跟踪手部运动，但前者存在触觉信息的局部性，需要通过增加传感器的数目提高测量的精度，而传感器数目的增加，将大大提高数据手套的制造难度；后者存在视觉空间信息因受光线和遮挡等导致的跟踪精准性问题。要提高捕捉精度需要增多摄像头数目，摄像头数目的增多使整个处理系统变得更加复杂，处理效率低，对PC机要求高，增加开发成本，导致价格昂贵，不适合在用户群中推广。

发明内容

针对上述问题，本发明提供一种基于机器视觉的压力传感数据手套及其抓握过程判断方法，其更准确地进行跟踪和判断，并且价格低廉，携带方便，便于在用户群中推广。

为了达到上述目的，本发明提供的技术方案是：本发明提供一种基于机器视觉的压力传感数据手套，其特征在于，其包括彩色摄像头模块、工作台面板、PC机和数据手套本体；彩色摄像头模块置于工作台面板的上方，通过视频USB传输线与PC机相连；数据手套本体置于彩色摄像头模块和工作台面板中间，通过高速USB传输线与PC机相连。

优选地，所述数据手套本体包括封装于数据手套本体内部手背一侧的数据采集和控制模块、封装于数据手套本体内手背一侧的振动传感器片、标志点和封装于数据手套本体内手掌一侧的压力传感器片，压力传感器片位于抓握物体时手与物体相接触的指节节点上，振动传感器片位于数据手套本体内手掌背一侧的皮肤敏感区域上，压力传感器片、振动传感器片的引出线封装于数据手套本体内部经手背一侧与数据采集和控制模块相连。

优选地，所述数据采集和控制模块包括放大器模块、数据采集处理模块和振动传感器控制模块；放大器模块对压力传感器的压力数据进行转换和放大，数据采集处理模块对数据进行检测、处理和转换，并通过高速USB传输线将数据处理结果传输到PC机；所述振动传感器控制模块接收PC机的反馈信息，对反馈信息进行处理并驱动振动传感器片产生振动。

优选地，所述放大器模块包括电压放大芯片和Vi口，电压放大芯片可将压力传感器片所采集到的微弱信号进行放大，通过Vi口输入数据采集处理模块。

优选地，所述数据采集处理模块包括第一单片机、USB host控制器、高速RAM和FLASH数据存储，第一单片机控制整个压力信号的采集、处理， USB host控制器用来控制USB总线接口与传感器片进行命令以及数据交换，同时告诉RAM可以用来数据缓冲，而FLASH数据存储可以用来保存传感器片数据。

优选地，所述振动传感器控制模块包括第二单片机和传感器控制电路板，第二单片机通过传感器控制电路板控制振动传感器片的起振时间、振动时间和振动量大小。

本发明还提供一种基于机器视觉的压力传感数据手套的抓握过程判断方法，其特征在于，其包括如下步骤：

步骤一，系统初始化步骤：手部带好数据手套本体，手和标准物放在指定位置，视觉模块启动并且初始化，触觉模块启动并且初始化；

步骤二，视觉数据采集步骤，视觉模块获取标准物和手套上标志点的质心，实现标准物和数据手套上的标志点的位置跟踪；

步骤三，触觉数据采集步骤，触觉模块获取压力数据；

步骤四，计算机数据处理步骤，压力数据与接触压力阈值比较；压力数据小于接触压力阈值，若是，进入步骤二；否则进入下一步骤，并且记录数据，包括抓握操作时间、抓握速度、抓握加速度、抓握路径和位移等；

步骤五，压力数据小于抓握阈值，若不是，抓握成功，振动传感器产生振动，开始抓握；若是，进入步骤三；

步骤六，开始抓握，完成抓握：在规定的时间里完成抓握动作；

步骤七，结束。

本发明与现有技术相比，具有如下突出的实质性特点和显著的优点：

一，本发明由于将视觉空间信息的广域性，以及触觉的局部信息的精准性相结合，可以更准确地进行跟踪和判断，并且价格低廉，携带方便，便于在用户群中推广。

二，本发明采用特殊弹性布料制作，且传感器均具有柔性、可弯曲特点，传感器连接线内置，可使用户在进行手部康复训练过程中几乎没有任何机械阻力，实现“准自然状态”下检测手部运动信息，符合人机工程学理念。

三，本发明带有振动反馈功能，给患者和测试者以真切的体验感觉。

附图说明

图1是联合机器视觉的压力传感数据手套系统结构示意图。

图2是数据手套本体的结构图。

图3是手套手指截面图。

图4是手套手掌截面图。

图5是数据采集和控制模块硬件架构图。

图6是联合机器视觉的压力传感数据手套的抓握判断方法流程图。

具体实施方式

以下结合实施例和附图对本发明作进一步说明：

参照图1所示，本发明基于机器视觉的压力传感数据手套包括彩色摄像头模块1、工作台面板3、PC机（或称为“电脑”）4和数据手套本体5；彩色摄像头模块1置于工作台面板3的上方，通过视频USB传输线2与PC机4相连；数据手套本体5置于彩色摄像头模块1和工作台面板3中间，通过高速USB传输线7与PC机4相连。

数据手套本体5包括封装于数据手套本体5内部手背一侧的数据采集和控制模块5-1、封装于数据手套本体5内手背一侧的振动传感器片5-2、标志点5-3和封装于数据手套本体5内手掌一侧的压力传感器片5-4，压力传感器片5-4位于抓握物体时手与物体相接触的指节节点上，振动传感器片5-2位于数据手套本体5内手掌背一侧的皮肤敏感区域上，压力传感器片5-4、振动传感器片5-2的引出线封装于数据手套本体5内部经手背一侧与数据采集和控制模块5-1相连。

彩色摄像头模块1作为视觉输入设备，是实现手部运动跟踪的硬件基础，彩色摄像头模块1安装在工作台面板3的上方，距离工作台面板3的安装位置根据视觉捕捉范围确定。彩色摄像头模块1捕捉到带有标志点5-3的数据手套本体5的图像通过视频USB传输线2上传实时图像到PC机4，最后通过PC机4将得到的图像信息计算处理，实现标志点5-3的检测、识别和跟踪，获取手部关键点的位置信息，用户手部的活动空间限制在工作台面板3的范围内。

图2是压力传感数据手套结构图，数据手套本体5采用白色柔软材质，以便系统识别、跟踪和适应用户手部运动，系统的图像处理模块是根据图2的标志点5-3颜色特征进行工作的。标志点为分别采用3~5种不同的颜色的标志点，封装在数据手套的各指尖处，比如拇指及四指尖均用红、绿、黄等不同颜色标识，标志点的形状采用圆环形状，避免遮挡，用户的手部旋转可能是任意的，圆环形状标志点增加了在任意角度捕捉成功的可能性。压力传感器采用柔性传感器组，提高手部运动舒适度。振动传感器采用频率范围宽、动态范围大、体积小和重量轻的振动传感器，以适应不同敏感程度的用户对于振动力大小的需求。数据采集和传感器控制模块5-1将接受到的压力信号进行处理后上传到PC机4，并且接受PC机4的反馈信号并且驱动振动传感器5-2产生振动。

压力传感器片5-4包括3~5个封装于数据手套本体5内手掌一侧且位于拇指、食指、中指、无名指及小拇指的远节指骨等处的压力传感器片5-4，实现压力数据的采集。压力传感器片位于数据手套与物体相接触的指节节点上，其引出导线封装于数据手套内部经手背一侧汇聚到数据手套背部，并且和数据采集和控制模块相连。

振动传感器片5-2包括一个封装于数据手套本体5内手背一侧的皮肤敏感区域处的振动传感器，实现提示手指与抓取物是否接触，形成系统的反馈部分。振动传感器片接收数据采集和控制模块的命令信号。

图3是手套手指截面图，图3显示标志点5-3、人造革层8、压力传感器片5-4、尼龙和棉混纺材料9和手指皮肤10。所述标志点5-3位于手套最外层与人造革8相接触。所述压力传感器5-4位于人造革8与尼龙和棉混纺材料9中间。尼龙和棉混纺材料9与手指皮肤层10相接触。

图4是手套手掌截面图，图4显示手掌皮肤11、尼龙和棉混纺材料9、振动传感器片5-2、数据采集和控制模块5-1和人造革8。振动传感器片5-2及数据采集和控制模块5-1位于尼龙和棉混纺材料9与人造革8中间。尼龙和棉混纺材料9与手掌皮肤11相接触。所述人造革8位于手套最外层。

图5是数据采集和控制模块硬件架构图，数据采集和控制模块包括放大器模块5-1-1、数据采集处理模块5-1-2和振动传感器控制模块5-1-3；放大器模块对压力传感器的压力数据进行转换和放大，数据采集处理模块对数据进行检测、处理和转换，并通过高速USB传输线将数据处理结果传输到PC机；所述振动传感器控制模块接收PC机的反馈信息，对反馈信息进行处理并驱动振动传感器片产生振动。

所述放大器模块5-1-1包括电压放大芯片5-1-1-1和Vi口5-1-1-2，电压放大芯片5-1-1-1可将压力传感器片5-4所采集到的微弱信号进行放大，通过Vi口5-1-1-2输入数据采集处理模块5-1-2。数据采集处理模块5-1-2包括第一单片机5-1-2-1、USB host控制器5-1-2-2、高速RAM5-1-2-3和FLASH数据存储5-1-2-4，第一单片机5-1-2-1控制整个压力信号的采集、处理， USB host控制器5-1-2-2用来控制USB总线接口与传感器片进行命令以及数据交换，同时告诉RAM5-1-2-3可以用来数据缓冲，而FLASH数据存储5-1-2-4可以用来保存传感器片数据。所述振动传感器控制模块5-1-3包括第二单片机5-1-3-1和传感器控制电路板5-1-3-2，第二单片机5-1-3-1通过传感器控制电路板5-1-3-2控制振动传感器片5-2的起振时间、振动时间和振动量大小。

本发明使用视觉传感器和压力传感器对手部运动信息采集，提出一种适合于多用户舒适佩戴、具有标志点特征又含有反馈功能的柔软手套。数据手套嵌入了实时压力数据采集处理模块，通过高速USB口将压力信息传输到PC机。彩色摄像头通过视频USB口将图像传输到PC机，实现手套标志点及抓取目标物的检测、识别和跟踪以及提供一种将视觉和触觉信息融合的抓握判断方式。本发明采用1个摄像头和多个标志点作为机器视觉模块，传感器和柔软手套作为触觉模块。机器视觉模块实现手部运动过程的全局信息采集，触觉模块实现手部运动过程的局部信息采集。工作台面板为一般写字台的桌面，标准物可为各种形状大小不一的物块或工件。

如图6所示，本发明基于机器视觉的压力传感数据手套的抓握过程判断方法，包括如下步骤：

步骤一，系统初始化步骤：手部带好数据手套本体5，手和标准物6放在指定位置，视觉模块启动并且初始化，触觉模块启动并且初始化；

步骤二，视觉数据采集步骤，视觉模块获取标准物和手套上标志点的质心，实现标准物和数据手套上的标志点的位置跟踪；

步骤三，触觉数据采集步骤，触觉模块获取压力数据；

步骤四，计算机数据处理步骤，压力数据与接触压力阈值比较；压力数据小于接触压力阈值，若是，进入步骤二；否则进入下一步骤，并且记录数据，包括抓握操作时间、抓握速度、抓握加速度、抓握路径和位移等；

步骤五，压力数据小于抓握阈值，若不是，抓握成功，振动传感器产生振动，开始抓握；若是，进入步骤三；

步骤六，开始抓握，完成抓握：在规定的时间里完成抓握动作；

步骤七，结束。

Claims (7)

1.一种基于机器视觉的压力传感数据手套，其特征在于，其包括彩色摄像头模块、工作台面板、PC机和数据手套本体；彩色摄像头模块置于工作台面板的上方，通过视频USB传输线与PC机相连；数据手套本体置于彩色摄像头模块和工作台面板中间，通过高速USB传输线与PC机相连。

2.根据权利要求1所述的基于机器视觉的压力传感数据手套，其特征在于，所述数据手套本体包括封装于数据手套本体内部手背一侧的数据采集和控制模块、封装于数据手套本体内手背一侧的振动传感器片、标志点和封装于数据手套本体内手掌一侧的压力传感器片，压力传感器片位于抓握物体时手与物体相接触的指节节点上，振动传感器片位于数据手套本体内手掌背一侧的皮肤敏感区域上，压力传感器片、振动传感器片的引出线封装于数据手套本体内部经手背一侧与数据采集和控制模块相连。

3.根据权利要求2所述的基于机器视觉的压力传感数据手套，其特征在于，所述数据采集和控制模块包括放大器模块、数据采集处理模块和振动传感器控制模块；放大器模块对压力传感器的压力数据进行转换和放大，数据采集处理模块对数据进行检测、处理和转换，并通过高速USB传输线将数据处理结果传输到PC机；所述振动传感器控制模块接收PC机的反馈信息，对反馈信息进行处理并驱动振动传感器片产生振动。

4.根据权利要求3所述的基于机器视觉的压力传感数据手套，其特征在于，所述放大器模块包括电压放大芯片和Vi口，电压放大芯片可将压力传感器片所采集到的微弱信号进行放大，通过Vi口输入数据采集处理模块。

5.根据权利要求4所述的基于机器视觉的压力传感数据手套，其特征在于，所述数据采集处理模块包括第一单片机、USB host控制器、高速RAM和FLASH数据存储，第一单片机控制整个压力信号的采集、处理， USB host控制器用来控制USB总线接口与传感器片进行命令以及数据交换，同时告诉RAM可以用来数据缓冲，而FLASH数据存储可以用来保存传感器片数据。

6.根据权利要求5所述的基于机器视觉的压力传感数据手套，其特征在于，所述振动传感器控制模块包括第二单片机和传感器控制电路板，第二单片机通过传感器控制电路板控制振动传感器片的起振时间、振动时间和振动量大小。

7.一种基于机器视觉的压力传感数据手套的抓握过程判断方法，其特征在于，其包括如下步骤：

步骤一，系统初始化步骤：手部带好数据手套本体，手和标准物放在指定位置，视觉模块启动并且初始化，触觉模块启动并且初始化；

步骤二，视觉数据采集步骤，视觉模块获取标准物和手套上标志点的质心，实现标准物和数据手套上的标志点的位置跟踪；

步骤三，触觉数据采集步骤，触觉模块获取压力数据；

步骤四，计算机数据处理步骤，压力数据与接触压力阈值比较；压力数据小于接触压力阈值，若是，进入步骤二；否则进入下一步骤，并且记录数据，包括抓握操作时间、抓握速度、抓握加速度、抓握路径和位移等；

步骤五，压力数据小于抓握阈值，若不是，抓握成功，振动传感器产生振动，开始抓握；若是，进入步骤三；

步骤六，开始抓握，完成抓握：在规定的时间里完成抓握动作；

步骤七，结束。