CN215769664U - 一种对手部抓取物品状态进行识别的采集装置及分析系统 - Google Patents

Abstract

本实用新型涉及虚拟现实与机器感知技术领域，具体涉及一种对手部抓取物品状态进行识别的采集装置及分析系统。采集装置包括手部穿戴式模块、感应单元、物品标识模块；分析系统包括：采集装置、通信模块、上位机；本实用新型的采集装置采集手指和手掌的角度，以及操作人的手是否接触物品来判断是否有抓取的动作，简单易行，准确率高。公安、消防、医疗、建筑等领域在进行虚拟现实环境进行模拟训练时，采集装置对手部抓取到的物品进行识别将采集的信息传输到上位机，上位机根据电子信息判断操作人是否抓取对应真实物品以及物品的种类，相较以往的在虚拟现实环境还原人真实抓取状态的解决方案，更具真实性、实用性、准确性与低成本化。

Description

一种对手部抓取物品状态进行识别的采集装置及分析系统

技术领域

本实用新型涉及虚拟现实与机器感知技术领域，具体涉及一种对手部抓取物品状态进行识别的采集装置及分析系统。

背景技术

目前公安、消防、医疗、建筑等通过计算机虚拟现实环境进行模拟训练时，操作人手部只能抓握手柄操作按钮进行物品抓取或放下或通过触感手套进行抓握，这与人真实世界的体验完全不同，导致在进行计算机虚拟现实环境进行模拟训练效果大打折扣。

发明内容

为了解决上述问题，本实用新型提供了一种对手部抓取物品状态进行识别的采集装置及分析系统，具体技术方案如下：

一种对手部抓取物品状态进行识别的采集装置，包括手部穿戴式模块、物品电子标识模块；所述手部穿戴式模块包括2-5个手指姿态信息采集单元、物品电子标识感应单元、手掌姿态信息采集单元、MCU处理单元；所述手指姿态信息采集单元分别固定在手指末梢背面；所述感应单元固定在掌心处；所述手掌姿态信息采集单元、MCU处理单元固定在手掌背面；所述手指姿态信息采集单元、感应单元、手掌姿态信息采集单元分别与MCU处理单元柔性连接；

所述物品电子标识模块固定在待识别物品上；所述手指姿态信息采集单元用于采集手指的角度数据，并将采集的数据传输至MCU处理单元；所述手掌姿态信息采集单元用于采集手掌的角度数据，并将采集的数据传输至MCU处理单元；所述感应单元用于采集物品标识模块中的信息并将采集的信息传输至MCU处理单元；所述MCU处理单元用于采集手指、手掌的角度数据以及采集对应物品电子标识模块中的信息，以供判断对应物品是否被抓取。

优选地，所述手指姿态信息采集单元、手掌姿态信息采集单元包括陀螺仪模块。

优选地，所述手指姿态信息采集单元设置3个，分别固定在大拇指末梢背面、食指末梢背面、中指末梢背面。

优选地，所述物品电子标识模块包括RFID电子标签，所述RFID电子标签固定在待识别物品上。

优选地，所述感应单元包括RF射频模块，所述RF射频模块用于采集RFID电子标签的信息。

优选地，所述手部穿戴式模块还包括供电模块，所述供电模块与MCU处理单元连接，用于为手部穿戴式模块提供电源。

优选地，所述手部穿戴式模块还包括手套，所述手指姿态信息采集单元分别固定在手套的大拇指末梢背面、食指末梢背面、中指末梢背面；所述感应单元固定在手套的掌心处；所述手掌姿态信息采集单元、MCU处理单元分别固定在手套背面。

一种对手部抓取物品状态进行识别的分析系统，包括采集装置，还包括通信模块、上位机；所述通信模块分别与采集装置、上位机通信连接，用于实现采集装置与上位机之间的数据交互；所述上位机用于根据采集装置采集的信息判断操作人的手部是否抓到物品以及物品的类别。

优选地，所述通信模块为GPRS模块、WIFI模块、4G/5G模块、蓝牙、USB有线通信模块中的一种。

本实用新型的有益效果为：本实用新型的采集装置可以准确识别是否抓取物品，并且判断出是抓取什么物品，且通过采集手指和手掌的角度，以及操作人的手是否接触物品来判断是否有抓取的动作，简单易行，准确率高。

公安、消防、医疗、建筑等领域在进行虚拟现实环境进行模拟训练时，通过本实用新型的分析系统，操作人在真实世界中手部抓取物品后，采集装置对手部抓取到的物品进行识别，并转化为对应的电子信息，传输到上位机，上位机根据电子信息判断操作人是否抓取对应真实物品以及物品的种类，操作人实际抓取真实世界中的物品，可真实感受相应物品的真实触感和重量，使虚拟现实训练更令人身临其境，大幅提高计算机虚拟现实环境进行模拟训练时的真实性。相较以往的在虚拟现实环境还原人真实抓取状态的解决方案，更具真实性、实用性、准确性与低成本化。

若是上位机与VR显示设备连接，还可将该物品的三维图像呈现在虚拟现实环境中，实现真实世界的抓取状态，在虚拟环境中真实、实时呈现。

附图说明

图1为本实用新型的采集装置的运行流程图；

图2为本实用的采集装置的手指姿态信息采集单元、MCU处理单元的安装结构示意图；

图3为陀螺仪模块的接口电路原理图；

图4为MCU处理单元的电路原理图；

图5为陀螺仪模块的电路原理图；

图6为供电模块的充电管理单元的电路原理图；

图7为电源稳压单元的电路原理图；

图8为MCU处理单元的USB接口的原理示意图；

图9为分析系统的总体架构图；

图10为分析系统的应用示例图。

具体实施方式

为了更好的理解本实用新型，下面结合附图和具体实施例对本实用新型作进一步说明：

如图1-2所示，一种对手部抓取物品状态进行识别的采集装置及分析系统，包括手部穿戴式模块、物品电子标识模块；手部穿戴式模块包括2-5个手指姿态信息采集单元、物品电子标识感应单元、手掌姿态信息采集单元、MCU处理单元；手指姿态信息采集单元分别固定在手指末梢背面；感应单元固定在掌心处；手掌姿态信息采集单元、MCU处理单元固定在手掌背面；手指姿态信息采集单元、感应单元、手掌姿态信息采集单元分别与MCU处理单元柔性连接；物品电子标识模块固定在待识别物品上；手指姿态信息采集单元用于采集手指的角度数据，并将采集的数据传输至MCU处理单元；手掌姿态信息采集单元用于采集手掌的角度数据，并将采集的数据传输至MCU处理单元；物品电子标识感应单元用于采集物品电子标识模块中的信息并将采集的信息传输至MCU处理单元；MCU处理单元用于采集手指、手掌的角度数据以及采集对应物品标识模块中的信息，以供判断对应物品是否被抓取。手部穿戴式模块还包括手套，手指姿态信息采集单元分别固定在手套的大拇指末梢背面、食指末梢背面、中指末梢背面；感应单元固定在手套的掌心处；手掌姿态信息采集单元、MCU处理单元分别固定在手套背面。

手指姿态信息采集单元、手掌姿态信息采集单元包括陀螺仪模块。陀螺仪模块选择MPU-6050陀螺仪模块。在本实施例中，手指姿态信息采集单元设置3个，分别固定在大拇指末梢背面、食指末梢背面、中指末梢背面。MCU处理单元选择ESP32-SOLO-1模块，3个MPU-6050陀螺仪模块分别通过MicroSP USB接口、连接线与ESP32-SOLO-1模块柔性连接。图3为陀螺仪模块与MCU处理单元的接口电路图，图4为MCU处理单元的电路原理图，如图3所示，MUP1-MUP3可接mup6050陀螺仪模块，MUP4可接RF射频模块；接口卡座使用的是FPC连接；MCU处理单元可直接挂载一颗MUP6050陀螺仪模块和MAX30102传感器模块，MUP1-MUP3可以挂载所有I2C设备，MUP4可挂载TTL和I2C设备。图5为MUP6050陀螺仪模块的原理图。

物品标识模块包括RFID电子标签，RFID电子标签固定在待识别物品上。RFID电子标签包括EM4100芯片。感应单元包括RF射频模块，RF射频模块用于采集RFID电子标签的信息。RF射频模块选择MFRC-522 RC522 RFID模块。待识别物品可为杯子、消防斧、灭火器等。本实用新型通过安装在手部的感应单元与实物上安装可被感知的物品标识模块，通过两者的接触和分离进行分析判定操作人的手是否接触到真实物品。

如图6所示，供电模块包括可充电锂电池、充电管理单元、电源稳压单元，可充电锂电池、充电管理单元、电源稳压单元依次连接，充电管理单元包括TP4054模块，是一款完整的单节锂离子电池采用恒定电流/恒定电压线性充电器，充电电流可达500mA，其SOT－25封装与较少的外部元件数目使得TP4054成为便携式应用的理想选择。TP4054可以适合USB电源和适配器电源工作。由于采用了内部PMOSFET架构，加上防倒充电路，所以不需要外部检测电阻器和隔离二极管。热反馈可对充电电流进行调节，以便在大功率操作或高环境温度条件下对芯片温度加以限制。充电电压固定于4.2V，而充电电流可通过一个电阻器进行外部设置。当充电电流在达到最终浮充电压之后降至设定值1/10时，TP4054将自动终止充电循环。 当输入电压（交流适配器或USB电源）被拿掉时，TP4054自动进入一个低电流状态，将电池漏电流降至2uA以下。也可将TP4054置于停机模式，以而将供电电流降至45uA。TP4054的其他特点包括充电电流监控器、欠压闭锁、自动再充电和一个用于指示充电结束和输入电压接入的状态引脚，可单灯或双灯指示。

如图7所示，电源稳压单元包括LT1117模块，用于将5V电源转换为3.3V电源，为MCU处理单元提供工作电源。

图8为MCU处理单元的USB接口的原理示意图，MCU处理单元通过USB接口与陀螺仪模块连接。

通过本实用新型的采集装置，在进行“计算机虚拟现实环境”模式时，在“真实环境”中放置可抓取的物品，如：杯子、锤子、桌椅、手机、训练用手枪、消防斧子、灭火器等。通过在真实物品上置入RFID电子标签，装置上的物品电子标识感应单元和MCU处理单元开始工作，识别出手部抓取的物品类别（即识别物品上的RFID电子标签信息），MCU处理单元采集手指姿态信息采集单元采集的手掌与手指的角度信息、感应单元感应的电子标签信息。RFID电子标签的作用一是可以检测手部穿戴式模块是否接近真实物品，二是与感应单元配合，识别出操作者抓取的配置有RFID电子标签的物品，将识别信息比对数据库，确定操作者抓取的物品类型，如此提高了采集数据的准确性。

如图9和图10所示，一种对手部抓取物品状态进行识别的分析系统，包括采集装置、通信模块、上位机；通信模块分别与采集装置、上位机通信连接，用于实现采集装置与上位机之间的数据交互；上位机用于根据采集装置采集的信息判断操作人的手部是否抓到物品以及物品的类别。通信模块为GPRS模块、WIFI模块、4G/5G模块、蓝牙模块、USB有线通信模块中的一种。

分析装置的MCU处理单元将采集的信息传输给上位机，上位机通过对这三组信息进行分析，确定操作人拿的是什么物品、抓取动作是否完整、抓取角度变化情况、放置情况，并将分析结果（分析结果包括：实体物品所对应的虚拟物品三维信息、角度变化信息、抓取放置状态）呈现在计算机系统中，如计算机屏幕、VR显示设备等。

具体地，本实用新型的采集分析装置配置有四个陀螺仪传感器模块，陀螺仪分布方式为：手掌一个、大拇指和食指、中指各一个，通过自定义的MicroUSB接口进行连接，通过手掌上的陀螺仪判断目前手掌的角度与手指的角度，即：航向角yaw、横滚角roll、俯仰角pitch，当三个手指的角度与手掌角度达到特定数值时，MCU处理单元获得数据之后，通过通信模块传输数据到上位机进行分析和姿态融合解算，上位机可确认操作人进行了握紧操作还是张手操作。与此同时，感应单元有感应到物品内置的RFID电子标签，则判断为操作人已经拿到了物品。反之则视为无抓取状态（即：空手握拳状态）。本实用新型的分析系统通过采集手指和手掌的角度，来判断是否有抓取的动作，简单易行，准确率高。

本装置应用在虚拟现实系统时，操作人将在计算机虚拟现实环境中感受到完全真实的物品抓取或放下的体验，做到在计算机虚拟现实见到的、抓取的、放下的感受和真实世界完全一致。

公安、消防、医疗、建筑等领域在进行虚拟现实环境进行模拟训练时，通过本实用新型的信息采集分析装置，操作人手部抓取物品后可呈现在虚拟现实环境中，并且操作人实际抓取现实中的物品，操作人可真实感受相应物品的真实触感和重量，大幅提高计算机虚拟现实环境进行模拟训练时的真实性。将彻底解决通过计算机虚拟现实环境进行模拟训练对虚拟物品抓取无真实触感、无真实重量体现的问题。即：通过本实用新型的呈现系统，操作人将获得真实世界拿起什么，计算机虚拟现实环境中就如何呈现。

另外，分析装置还包括压力检测传感器，压力检测传感器设置在手套的掌心位置，压力检测传感器与MCU处理单元连接，用于检测掌心侧所受到的压力的大小，如果检测到的压力的大小超过预设值，结合感应单元采集RFID电子标签的信号，以及手掌、手指的角度，上位机可以更加准确的判断操作人抓取到相应的物体。

虽然上面结合本实用新型的优选实施例对本实用新型的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本实用新型的示意性实现方式的解释，并非对本实用新型包含范围的限定。实施例中的细节并不构成对本实用新型范围的限制。本实用新型不局限于以上的具体实施方式，以上仅为本实用新型的较佳实施案例而已，并不用以限制本实用新型，本实用新型的精神和原则，即：通过安装在手部的传感器与实物上安装可被感知的传感器，通过两者的相对位置关系，进行分析判定真实环境中手掌是否接触到了该物品。凡在本实用新型的精神和原则之内所作的任何元器件修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (9)

1.一种对手部抓取物品状态进行识别的姿态采集装置，其特征在于：包括手部穿戴式模块、物品电子标识模块；所述手部穿戴式模块包括2-5个手指姿态信息采集单元、物品电子标识感应单元、手掌姿态信息采集单元、MCU处理单元；所述手指姿态信息采集单元分别固定在手指末梢背面；所述感应单元固定在掌心处；所述手掌姿态信息采集单元、MCU处理单元固定在手掌背面；所述手指姿态信息采集单元、感应单元、手掌姿态信息采集单元分别与MCU处理单元柔性连接；

所述物品电子标识模块固定在待识别物品上；所述手指姿态信息采集单元用于采集手指的空间角度数据，并将采集的数据传输至MCU处理单元；所述手掌姿态信息采集单元用于采集手掌的空间角度数据，并将采集的数据传输至MCU处理单元；所述感应单元用于采集物品标识模块中的信息并将采集的信息传输至MCU处理单元；所述MCU处理单元用于采集手指、手掌的空间角度数据以及采集对应物品电子标识模块中的信息，以供判断对应物品是否被抓取。

2.根据权利要求1所述的一种对手部抓取物品状态进行识别的姿态采集装置，其特征在于：所述手指姿态信息采集单元、手掌姿态信息采集单元包括陀螺仪模块。

3.根据权利要求1所述的一种对手部抓取物品状态进行识别的姿态采集装置，其特征在于：所述手指姿态信息采集单元设置3个，分别固定在大拇指末梢背面、食指末梢背面、中指末梢背面。

4.根据权利要求1所述的一种对手部抓取物品状态进行识别的采集装置，其特征在于：所述物品电子标识模块包括RFID电子标签，所述RFID电子标签固定在待识别物品上。

5.根据权利要求4所述的一种对手部抓取物品状态进行识别的采集装置，其特征在于：所述感应单元包括RF射频模块，所述RF射频模块用于采集RFID电子标签的信息。

6.根据权利要求1所述的一种对手部抓取物品状态进行识别的采集装置，其特征在于：所述手部穿戴式模块还包括供电模块，所述供电模块与MCU处理单元连接，用于为手部穿戴式模块提供电源。

7.根据权利要求3所述的一种对手部抓取物品状态进行识别的采集装置，其特征在于：所述手部穿戴式模块还包括手套，所述手指姿态信息采集单元分别固定在手套的大拇指末梢背面、食指末梢背面、中指末梢背面；所述感应单元固定在手套的掌心处；所述手掌姿态信息采集单元、MCU处理单元分别固定在手套背面。

8.一种对手部抓取物品状态进行识别的分析系统，其特征在于：包括权利要求1-7任一所述的采集装置，还包括通信模块、上位机；所述通信模块分别与采集装置、上位机通信连接，用于实现采集装置与上位机之间的数据交互；所述上位机用于根据采集装置采集的信息判断操作人的手部是否抓到物品以及物品的类别。

9.根据权利要求8所述的一种对手部抓取物品状态进行识别的分析系统，其特征在于：所述通信模块为GPRS模块、WIFI模块、4G/5G模块、蓝牙、USB有线通信模块中的一种。

Images