CN109801709A - 一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统 - Google Patents

Abstract

本发明涉及计算机虚拟仿真中的智能体感设备技术领域，具体涉及一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，具体包括手套本体、手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块、上位机，采用本发明能够捕捉或识别手部握持、并拢姿态、空间高度、角度信息以及获得人类心率、血氧、血压信息，并能将这些信息在计算机绘制的虚拟仿真环境内进行呈现，也能对真实世界的机器手臂进行高精度同步操控，同时还能通过模拟热感应模块、振动发生器反馈使用者在计算机虚拟环境中的温度信息、抓取物件时的振动信息，使得使用者体验更佳。

Description

一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统

技术领域

本发明涉及计算机虚拟仿真中的智能体感设备技术领域，具体涉及一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统。

背景技术

国内市场上现有的手指动作姿态识别产品在进行相关软件、游戏的交互操作时，并不能实现五指在伸直状态下的并拢功能，在精密实验相关的虚拟现实这类实时渲染的游戏和通过动作姿态捕捉系统进行机器手臂的操作中不能发挥作用，且无热感应功能、无法感知人体健康数据，使得使用者在体验游戏中不能更好的获得最佳体验，虚拟仿真系统也无法更精确的获得使用者人体信息，从而不能提供更贴近真实感受体验，现有的手指动作姿态识别产品也无法进行更精确的虚拟仿真操作。

针对虚拟现实中人体手部，特别是手指实时动作捕捉（五指握持、并拢姿态）的问题以及温度感知、触觉模拟问题，目前国内的相关游戏开发商家并没有相关的解决方案。因此，现有技术方案存在的问题和缺点：该类产品不能实现五指在伸直状态下的并拢功能、不能实现人体健康信息的获取、不能实现人类对虚拟环境中模拟的体感状态进行反馈。

而与此同时，计算机虚拟仿真技术的快速发展，亟待应用于游戏、工业生产培训、应急救援培训、仿真机器手臂操作、虚拟仿真教室等领域，具有精确手部动作姿态捕捉与健康状态感知的体感信息双向反馈系统，将能极大促进虚拟仿真技术的应用落地。

发明内容

为了解决上述问题，本发明提供了一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，具体技术方案如下：

一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统包括手套本体、手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块、上位机；所述手套本体包括手掌、手腕、手背、5个对应人体手指部位的指套，所述主控制器包括数据传输模块；所述手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块分别固定在手套本体上，所述手套本体穿戴在使用者的手上；所述手部姿态检测模块用于检测使用者的手部动作姿态；所述生理状态检测模块用于检测使用者的生理状态；所述状态反馈模块用于反馈使用者在计算机虚拟环境中的情景状态；所述主控制器用于接收处理手部姿态检测模块、生理状态检测模块的检测数据，并将处理后的检测数据通过数据传输模块上传至上位机；所述上位机用于根据主控制器处理后的检测数据分析使用者的手部状态与生理状态，并根据分析结果判定使用者的手部动作姿态和根据对分析结果在计算机虚拟环境中对使用者的手部动作进行还原，以及将计算机虚拟环境中的情景状态通过状态反馈模块反馈给使用者；所述电源模块用于为手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器提供电源；所述手部姿态检测模块、生理状态检测模块、状态反馈模块分别与主控制器连接，所述主控制器与上位机连接，所述电源模块分别与手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器连接。

优选地，所述手部姿态检测模块包括姿态传感器、弯曲传感器；所述姿态传感器固定在手套本体的手背处，用于检测使用者位于现实环境中的手部的空间位置和角度姿态；所述弯曲传感器分别固定在手套本体的5个指套侧面和背面，用于检测使用者位于现实环境中的手部的弯曲数据；所述姿态传感器、弯曲传感器分别与主控制器、电源模块连接。

优选地，所述生理状态检测模块包括心率传感器、血氧传感器、血压传感器，所述心率传感器用于实时检测使用者使用阶段的心率数据；所述血氧传感器用于实时检测使用者使用阶段的血氧数据；所述血压传感器用于实时检测使用者使用阶段的血压数据；所述心率传感器、血氧传感器、血压传感器分别固定在手套本体的手腕处；所述心率传感器、血氧传感器、血压传感器分别与主控制器、电源模块连接。

优选地，所述状态反馈模块包括模拟热感应模块、振动传感器；所述振动传感器用于根据使用者在计算机虚拟环境中抓取物品时发出振动；所述模拟热感应模块用于向使用者反馈在计算机虚拟环境中的情景状态的温度信息；所述模拟热感应模块固定设置在手套本体的手掌内侧；所述振动传感器固定设置在手套本体的5个指套的指尖处；所述模拟热感应模块、振动传感器分别与主控制器、电源模块连接。

本发明的有益效果为：本发明提供了一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，采用本发明能够捕捉或识别手部握持、并拢姿态、空间高度、角度信息以及获得人类心率、血氧、血压信息，并能将这些信息在计算机绘制的虚拟仿真环境内进行呈现，也能对真实世界的机器手臂进行高精度同步操控，同时还能通过模拟热感应模块、振动发生器反馈使用者在计算机虚拟环境中的温度信息、抓取物件时的振动信息，使得使用者体验更佳。

附图说明

图1为本发明的结构示意图；

图2为本发明的手套本体的主视图；

图3为手套本体的后视图；

图4为安装有姿态传感器的手套本体的侧视图；

其中，1：手套本体、2：弯曲传感器、3：主控制器与姿态传感器、4：振动传感器、5：加热板、6：电源模块。

具体实施方式

为了更好的理解本发明，下面结合附图和具体实施例对本发明作进一步说明：

如图1-图4所示，一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统包括手套本体1、手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块6、上位机；手套本体1包括手掌、手腕、手背、5个对应人体手指部位的指套，主控制器包括数据传输模块，用于实现主控制器与上位机之间的数据传输；手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块分别固定在手套本体1上，手套本体1穿戴在使用者的手上；手部姿态检测模块用于检测使用者的手部动作姿态；生理状态检测模块用于检测使用者的生理状态；状态反馈模块用于反馈使用者在计算机虚拟环境中的情景状态；主控制器用于接收处理手部姿态检测模块、生理状态检测模块的检测数据，并将处理后的检测数据通过数据传输模块上传至上位机；上位机用于根据主控制器处理后的检测数据分析使用者的手部状态与生理状态，并根据分析结果判定使用者的手部动作姿态和根据对分析结果在计算机虚拟环境中对使用者的手部动作进行还原，以及将计算机虚拟环境中的情景状态通过状态反馈模块反馈给使用者；电源模块6用于为手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器提供电源；手部姿态检测模块、生理状态检测模块、状态反馈模块分别与主控制器连接，主控制器与上位机连接，电源模块分别与手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器连接，其中电源模块6包括电池。

其中，手部姿态检测模块包括姿态传感器、弯曲传感器2；姿态传感器与主控制器为一体结构，固定于手背处，用于检测使用者位于现实环境中的手部的空间位置和角度姿态；弯曲传感器2分别固定在手套本体1的5个指套侧面和背面，用于检测使用者位于现实环境中的手部的弯曲数据；姿态传感器、弯曲传感器2分别与主控制器、电源模块连接。姿态传感器3、弯曲传感器2将检测到使用者的手部数据传输至主控制器，上位机处理、分析弯曲传感器2和姿态传感器检测的数据并判定手指的动作姿势、所处的空间位置和角度姿态信息，并在计算机虚拟环境中准确呈现使用者的手部动作，具体如下：

（1）上位机在计算机虚拟仿真环境中绘制手部模型，并设定关节标记点和手部空间姿态的初始信息；

（2）上位机设定虚拟仿真环境中的手部模型各个关节标记点和空间姿态的数据变量；

（3）主控制器采集弯曲传感器2与姿态传感器的数据变化，并将数据通过数据传输模块传输至上位机，上位机赋值给手部模型各关节标记点和空间姿态的数据变量；

（4）在虚拟仿真环境中，上位机将手部模型抓握状态与弯曲传感器2不同的数据进行匹配。将结果呈现在虚拟仿真环境中，完成手指的握持、并拢姿态以及手掌空间姿态的捕获以及在虚拟环境中测呈现。

生理状态检测模块包括心率传感器、血氧传感器、血压传感器，心率传感器用于实时检测使用者使用阶段的心率数据；血氧传感器用于实时检测使用者使用阶段的血氧数据；血压传感器用于实时检测使用者使用阶段的血压数据；心率传感器、血氧传感器、血压传感器分别固定在手套本体1的手腕处；心率传感器、血氧传感器、血压传感器分别与主控制器、电源模块6连接。心率传感器、血氧传感器、血压传感器将检测到的使用者的生理状态数据传输至主控制器，主控制器捕获使用者心率传感器、血氧传感器、血压传感器数据，并呈现捕获结果，具体如下：

（1）上位机设定人体的心率、血氧、血压三个数据变量；

（2）主控制器采集心率传感器、血氧传感器、血压传感器的数据变化，并将数据通过数据传输模块发送至上位机，上位机将数据值赋给上位机设定的心率、血氧、血压三个数据变量，完成数据捕获。

状态反馈模块包括模拟热感应模块、振动传感器4；振动传感器4用于根据使用者在计算机虚拟环境中抓取物品时发出振动；模拟热感应模块用于向使用者反馈在计算机虚拟环境中的情景状态的温度信息；模拟热感应模块固定设置在手套本体1的手掌内侧；振动传感器4固定设置在手套本体1的5个指套的指尖处；模拟热感应模块、振动传感器4分别与主控制器、电源模块6连接。其中，模拟热感应模块包括加热板5。上位机根据使用者处于的计算机虚拟仿真环境中所抓取物品和所处环境的温度，选择让振动传感器4、模拟热感应模块启动工作或停止工作，具体如下：

（1）上位机绘制计算机虚拟仿真环境：火灾、风雪、高温天气、高温室内环境等非常温环境；

（2）上位机设计计算机虚拟仿真环境中的虚拟物品，如：门、墙壁、茶具、灭火器、砖块等物品；

（3）主控制器监听使用者的操作情况，如使用者进入计算机虚拟仿真环境中的高温区域，则上位机通过数据传输模块向主控器传递指令，启动模拟热感应传感器，使用者手部将能感受到温度升高的体感信息反馈；

（4）主控器监听使用者的操作情况，如使用者在计算机仿真环境抓取或碰触物品，则上位机通过数据传输模块向主控器传递指令，使振动传感器4开始工作，让使用者产生振动感受。

（5）通过以上两个方式，实现将计算机虚拟仿真环境信息向使用者手部进行反馈的效果。

本发明不局限于以上所述的具体实施方式，以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，其特征在于：包括手套本体、手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块、上位机；所述手套本体包括手掌、手腕、手背、5个对应人体手指部位的指套，所述主控制器包括数据传输模块；所述手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器、电源模块分别固定在手套本体上，所述手套本体穿戴在使用者的手上；所述手部姿态检测模块用于检测使用者的手部动作姿态；所述生理状态检测模块用于检测使用者的生理状态；所述状态反馈模块用于反馈使用者在计算机虚拟环境中的情景状态；所述主控制器用于接收处理手部姿态检测模块、生理状态检测模块的检测数据，并将处理后的检测数据通过数据传输模块上传至上位机；所述上位机用于根据主控制器处理后的检测数据分析使用者的手部状态与生理状态，并根据分析结果判定使用者的手部动作姿态和根据对分析结果在计算机虚拟环境中对使用者的手部动作进行还原，以及将计算机虚拟环境中的情景状态通过状态反馈模块反馈给使用者；所述电源模块用于为手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器提供电源；所述手部姿态检测模块、生理状态检测模块、状态反馈模块分别与主控制器连接，所述主控制器与上位机连接，所述电源模块分别与手部姿态检测模块、生理状态检测模块、状态反馈模块、主控制器连接。

2.根据权利要求1所述的一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，其特征在于：所述手部姿态检测模块包括姿态传感器、弯曲传感器；所述姿态传感器固定在手套本体的手背处，用于检测使用者位于现实环境中的手部的空间位置和角度姿态；所述弯曲传感器分别固定在手套本体的5个指套侧面和背面，用于检测使用者位于现实环境中的手部的弯曲数据；所述姿态传感器、弯曲传感器分别与主控制器、电源模块连接。

3.根据权利要求1所述的一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，其特征在于：所述生理状态检测模块包括心率传感器、血氧传感器、血压传感器，所述心率传感器用于实时检测使用者使用阶段的心率数据；所述血氧传感器用于实时检测使用者使用阶段的血氧数据；所述血压传感器用于实时检测使用者使用阶段的血压数据；所述心率传感器、血氧传感器、血压传感器分别固定在手套本体的手腕处；所述心率传感器、血氧传感器、血压传感器分别与主控制器、电源模块连接。

4.根据权利要求1所述的一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统，其特征在于：所述状态反馈模块包括模拟热感应模块、振动传感器；所述振动传感器用于根据使用者在计算机虚拟环境中抓取物品时发出振动；所述模拟热感应模块用于向使用者反馈在计算机虚拟环境中的情景状态的温度信息；所述模拟热感应模块固定设置在手套本体的手掌内侧；所述振动传感器固定设置在手套本体的5个指套的指尖处；所述模拟热感应模块、振动传感器分别与主控制器、电源模块连接。