CN111596767B - 一种基于虚拟现实的姿态捕获方法和装置 - Google Patents

一种基于虚拟现实的姿态捕获方法和装置 Download PDF

Info

Publication number
CN111596767B
CN111596767B CN202010457881.5A CN202010457881A CN111596767B CN 111596767 B CN111596767 B CN 111596767B CN 202010457881 A CN202010457881 A CN 202010457881A CN 111596767 B CN111596767 B CN 111596767B
Authority
CN
China
Prior art keywords
information
hand
gesture
training
motion sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010457881.5A
Other languages
English (en)
Other versions
CN111596767A (zh
Inventor
张炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dawan District Virtual Reality Research Institute
Original Assignee
Guangzhou Dawan District Virtual Reality Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dawan District Virtual Reality Research Institute filed Critical Guangzhou Dawan District Virtual Reality Research Institute
Priority to CN202010457881.5A priority Critical patent/CN111596767B/zh
Publication of CN111596767A publication Critical patent/CN111596767A/zh
Application granted granted Critical
Publication of CN111596767B publication Critical patent/CN111596767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供了一种基于虚拟现实的姿态捕获方法和装置，涉及人工智能技术领域，通过获得第一手部姿态信息；将第一手部姿态信息输入训练模型，其中，训练模型通过多组训练数据训练获得，多组中的训练数据中的每一组训练数据均包括：第一手部姿态信息、深度图像；获得训练模型的输出信息，其中，输出信息包括手部区域轮廓信息；根据随机森林对手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。

Description

一种基于虚拟现实的姿态捕获方法和装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于虚拟现实的姿态捕获方法和装置。
背景技术
当前虚拟化身素材制作过程中，皮肤材质的获取方式复杂，依赖于大量手工操作以及专业人员的经验，面部表情的捕获需要复杂预处理操作以获取面部基模型与图像的映射数据；佩戴头盔情况下用户表情及手势数据难以获取，虚拟现实头盔会在一定程度上遮挡用户面部，增加了用户表情获取的难度。目前虚拟化身交互模式简单，缺乏整体解决方案，虚拟化身的概念虽然早已出现但鲜有成型的可交互系统，尚缺乏整体解决方案将手势识别、眼动识别、动作捕捉等各通道数据融合处理。
但本发明申请人发现现有技术至少存在如下技术问题：
现有的虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低。
发明内容
本发明实施例提供了一种基于虚拟现实的姿态捕获方法和装置，解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。
鉴于上述问题，提出了本申请实施例以便提供一种基于虚拟现实的姿态捕获方法和装置。
第一方面，本发明提供了一种基于虚拟现实的姿态捕获方法，所述方法包括：获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。
优选地，所述离线训练包括：
获得手部3D姿态基础数据库；根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。
优选地，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：
将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。
优选地，所述方法还包括：
判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。
优选地，所述判断所述第一手部部位运动序列是否符合第一预设条件，包括：
当所述第一手部部位运动序列不符合第一预设条件时，根据隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息。
优选地，所述根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：
根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
第二方面，本发明提供了一种基于虚拟现实的姿态捕获装置，所述装置包括：
第一获得单元，所述第一获得单元用于获得第一手部姿态信息；
第一训练单元，所述第一训练单元用于将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；
第二获得单元，所述第二获得单元用于获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；
第三获得单元，所述第三获得单元用于根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；
第四获得单元，所述第四获得单元用于对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；
第五获得单元，所述第五获得单元用于根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。
优选地，所述第三获得单元中离线训练包括：
第六获得单元，所述第六获得单元用于获得手部3D姿态基础数据库；
第一确定单元，所述第一确定单元用于根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；
第一构建单元，所述第一构建单元用于将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。
优选地，所述第三获得单元中根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：
第七获得单元，所述第七获得单元用于将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；
第八获得单元，所述第八获得单元用于将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。
优选地，所述装置还包括：
第一判断单元，所述第一判断单元用于判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；
第二确定单元，所述第二确定单元用于当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。
优选地，所述第一判断单元中判断所述第一手部部位运动序列是否符合第一预设条件，包括：
第三确定单元，所述第三确定单元用于当所述第一手部部位运动序列不符合第一预设条件时，根据模板法结合隐马尔可夫模型、神经网络、支持向量机联合预测，确定第二手势姿态重建信息。
优选地，所述第五获得单元中根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：
第四确定单元，所述第四确定单元用于根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；
第九获得单元，所述第九获得单元用于根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
第三方面，本发明提供了一种基于虚拟现实的姿态捕获装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明实施例提供的一种基于虚拟现实的姿态捕获方法和装置，通过获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，从而解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例中一种基于虚拟现实的姿态捕获方法的流程示意图；
图2为本发明实施例中一种基于虚拟现实的姿态捕获装置的结构示意图；
图3为本发明实施例中另一种基于虚拟现实的姿态捕获装置的结构示意图。
附图标记说明：第一获得单元11，第一训练单元12，第二获得单元13，第三获得单元14，第四获得单元15，第五获得单元16，总线300，接收器301，处理器302，发送器303，存储器304，总线接口306。
具体实施方式
本发明实施例提供了一种基于虚拟现实的姿态捕获方法和装置，用于解决现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题。
本发明提供的技术方案总体思路如下：获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，从而达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
实施例一
图1为本发明实施例中一种基于虚拟现实的姿态捕获方法的流程示意图。如图1所示，本发明实施例提供了一种基于虚拟现实的姿态捕获方法，所述方法包括：
步骤110：获得第一手部姿态信息。
具体而言，为实现手势识别，首先要实现基于深度信息的手指跟踪与识别，这是实现非接触式人机交互的关键技术。本申请实施例中身体重建又分为四肢和手部的重建。身体重建中，使用红外光学定位技术，利用多个红外发射器、对室内定位空间进行覆盖，在被追踪的用户身上放置光学跟踪器，用于接收发射器发射出的红外信号，通过波形解算得出跟踪器的横纵坐标，然后通过wifi发送至位姿跟踪服务器中，类似于多台摄像机从不同角度采集到的目标二维位置信息，再通过多视图几何的相关算法计算得出目标位置，达到虚拟模型骨骼重建的目的。为提高算法稳定性，在光学跟踪的基础上添加惯性跟踪系统，光学跟踪技术精度高，鲁棒性强，可扩展性强，能应用到大范围跟踪场景，但在遮挡情况下容易产生误差。而惯性跟踪技术抗遮挡性较强，但是会随着使用时间的增加产生漂移。通过结合这两种跟踪方式，能达到高精度，高鲁棒性，大范围的身体捕获。惯性跟踪器模块包含17个惯性处理单元(IMU)，它记录了人体各个关节的朝向信息，通过wifi将数据发送到服务器端，服务器接收到光学和惯性数据之后，对二者进行数据融合，计算人体的动作姿态。第一手部姿态信息是用户的手部形态动作信息。通过设置于头盔上方的外部图像采集模块，用于捕获视场范围内的手部图像并提取出手部姿态，即捕获第一手部姿态信息。
步骤120：将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像。
步骤130：获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息。
具体而言，将第一手部姿态信息输入训练模型进行训练，其中，训练模型通过多组训练数据训练获得，多组中的训练数据中的每一组训练数据均包括：第一手部姿态信息、深度图像。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，即特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)。目前，深度图像的获取方法有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等，深度图像是物体的三维表示形式，一般通过立体照相机或者TOF照相机获取。如果具备照相机的内标定参数，可将深度图像转换为点云。在深度图像中，手部是一片位于近景的深度连续区域，使用基于区域生长的种子算法，结合深度特征、色彩特征、深度阈值等，能够快速准确地提取出手部整体轮廓。即将第一手部姿态信息、深度图像输入训练模型中，根据深度图像的深度特征、色彩特征、深度阈值处理第一手部姿态信息，可以精确输出手部区域轮廓信息，手部区域轮廓信息可以是深度图像中的某一帧图像。
步骤140：根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息。
进一步的，所述离线训练包括：获得手部3D姿态基础数据库；根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。进一步的，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。
具体而言，由于手部的姿态与手掌的朝向、手指的位置密切相关，因此能否准确快速地对这些部位进行识别，将直接决定手势识别的效果。针对手部关节数量多、姿态复杂的特性，本申请实施例采用机器学习中训练随机森林进行决策的方法。随机森林是一种由多棵独立训练的决策树组合而成的联合预测分类模型，是一种有效的非参数学习方法，并能较大程度地避免过拟合；同时，在训练样本数目充足的情况下，这一方法具有稳定的准确率，且准确率高。使用随机森林进行手部精确识别分为离线训练与实时识别两个阶段。在离线训练阶段，首先需构建手部3D姿态基础数据库。第一训练数据信息由手部深度轮廓图与标定像素点所属手部区域的标识模板图组成，其中，标识模板图即部位区域标记图，如大拇指第一关节、第二关节等。第一训练数据是通过标识模板图对应手部3D姿态基础数据库中的手部深度轮廓图而获得。将第一训练数据信息进行离线训练，生成判别用随机森林。在实时识别阶段，将手部区域轮廓信息输入随机森林进行分类识别，随机森林将会对属于手部区域轮廓内的每个像素进行分类，标识其所属的具体分类，即手部区域的第一像素分类信息，其中，第一像素分类信息包含第一像素点与第二像素点。也就是说，随机森林对属于手部区域轮廓内的每个像素进行分类，将属于同一类的像素点分为一类。并将第一像素点与第二像素点进行聚合，即将同一类的像素点进行聚类，获得手部骨架信息。将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
步骤150：对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列。
进一步的，所述方法还包括：判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。进一步的，所述判断所述第一手部部位运动序列是否符合第一预设条件，包括：当所述第一手部部位运动序列不符合第一预设条件时，根据隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息。
具体而言，根据手部骨架信息，使用CAMSHIFT算法实现手部的跟踪，获得连续的手部各部位运动情况序列，即第一手部部位运动序列。CAMSHIFT算法(ContinuouslyAdaptive Mean Shift)，即目标跟踪方法，能够自动调节搜索窗口大小来适应目标的大小，可以跟踪视频中尺寸变化的目标。它也是一种半自动跟踪算法，需要手动标定跟踪目标。CAMSHIFT算法是以视频图像中运动物体的颜色信息作为特征，对输入图像的每一帧分别作Mean-Shift运算，并将上一帧的目标中心和搜索窗口大小(核函数带宽)作为下一帧Meanshift算法的中心和搜索窗口大小的初始值，如此迭代下去，就可以实现对目标的跟踪。因为在每次搜索前将搜索窗口的位置和大小设置为运动目标当前中心的位置和大小，而运动目标通常在这区域附近，缩短了搜索时间；另外，在目标运动过程中，颜色变化不大，故该算法具有良好的鲁棒性。设定第一预设条件为第一手部部位运动序列的动作时间低于第一预设阈值且第一手部部位运动序列满足第一手势特征，其中，第一预设条件为轻量化的手势的预设条件；第一预设阈值为第一手部部位运动序列的动作时间短，如动作时间低于5s等；第一手势特征为特征明显的手势，只存在一个或两个手势动作，如挥手、摆手、拳头等。当第一手部部位运动序列符合第一预设条件时，使用角度量化(Angle Quantization)等基于模板的轻量级算法处理第一手部部位运动序列确定第一手势姿态重建信息。当第一手部部位运动序列不符合第一预设条件时，也就是说，第一手部部位运动序列的手势动作为复杂的手势，则可使用模板方法结合隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息。
步骤160：根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。
进一步的，所述根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
具体而言，根据第一手势姿态重建信息或第二手势姿态重建信息结合应用层的第一手势反馈信息，可以合理地缩小可能的手势种类，即确定第一手势种类信息。根据第一手部部位运动序列与第一手势种类信息，获得第一手势识别信息，提高手势识别率，识别精度以及提升手势的可靠性。
因此，通过本实施例中的基于虚拟现实的姿态捕获方法可以针对第一手部姿态信息与深度图像进行训练提取手部区域轮廓信息，并根据随机森林对手部区域轮廓信息进行离线训练与实时识别，进而获得手部骨架信息，跟踪手部移动信息确定连续的第一手部部位运动序列，最终获得第一手势识别信息，从而达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果，解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题。
实施例二
基于与前述实施例中一种基于虚拟现实的姿态捕获方法同样的发明构思，本发明还提供一种基于虚拟现实的姿态捕获方法装置，如图2所示，所述装置包括：
第一获得单元11，所述第一获得单元11用于获得第一手部姿态信息；
第一训练单元12，所述第一训练单元12用于将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；
第二获得单元13，所述第二获得单元13用于获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；
第三获得单元14，所述第三获得单元14用于根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；
第四获得单元15，所述第四获得单元15用于对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；
第五获得单元16，所述第五获得单元16用于根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。
进一步的，所述第三获得单元中离线训练包括：
第六获得单元，所述第六获得单元用于获得手部3D姿态基础数据库；
第一确定单元，所述第一确定单元用于根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；
第一构建单元，所述第一构建单元用于将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。
进一步的，所述第三获得单元中根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：
第七获得单元，所述第七获得单元用于将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；
第八获得单元，所述第八获得单元用于将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。
进一步的，所述装置还包括：
第一判断单元，所述第一判断单元用于判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；
第二确定单元，所述第二确定单元用于当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息。
进一步的，所述第一判断单元中判断所述第一手部部位运动序列是否符合第一预设条件，包括：
第三确定单元，所述第三确定单元用于当所述第一手部部位运动序列不符合第一预设条件时，根据模板法结合隐马尔可夫模型、神经网络、支持向量机联合预测，确定第二手势姿态重建信息。
进一步的，所述第五获得单元中根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：
第四确定单元，所述第四确定单元用于根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；
第九获得单元，所述第九获得单元用于根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
前述图1实施例一中的一种基于虚拟现实的姿态捕获方法的各种变化方式和具体实例同样适用于本实施例的一种基于虚拟现实的姿态捕获装置，通过前述对一种基于虚拟现实的姿态捕获方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于虚拟现实的姿态捕获装置的实施方法，所以为了说明书的简洁，在此不再详述。
实施例三
基于与前述实施例中一种基于虚拟现实的姿态捕获方法同样的发明构思，本发明还提供一种基于虚拟现实的姿态捕获装置，如图3所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现前文所述基于虚拟现实的姿态捕获方法的任一方法的步骤。
其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
实施例四
基于与前述实施例中一种基于虚拟现实的姿态捕获方法同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息。
在具体实施过程中，该程序被处理器执行时，还可以实现实施例一中的任一方法步骤。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明实施例提供的一种基于虚拟现实的姿态捕获方法和装置，通过获得第一手部姿态信息；将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，从而解决了现有技术中虚拟化身素材制作过程复杂、真实感不足，佩戴头盔情况下获取用户手势数据精度低的技术问题，达到了便于捕获手势姿态数据，提高手势识别率与识别精度，提升虚拟化身的真实感的技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于虚拟现实的姿态捕获方法，其特征在于，所述方法包括：
获得第一手部姿态信息；
将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；
获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；
根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；
对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；
根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息；
判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；
当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息；
其中，所述判断所述第一手部部位运动序列是否符合第一预设条件，包括：
当所述第一手部部位运动序列不符合第一预设条件时，根据隐马尔可夫模型、神经网络、支持向量机进行联合预测，确定第二手势姿态重建信息；
所述根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：
根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；
根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
2.如权利要求1所述的方法，其特征在于，所述离线训练包括：
获得手部3D姿态基础数据库；
根据手部深度轮廓图与标定像素点所属手部区域的标识模板图确定第一训练数据信息；
将所述第一训练数据信息结合所述手部3D姿态基础数据库进行离线训练，生成随机森林。
3.如权利要求2所述的方法，其特征在于，所述根据随机森林对所述手部区域轮廓信息进行实时识别，获得手部骨架信息，包括：
将所述手部区域轮廓信息输入所述随机森林进行分类识别，获得所述手部区域的第一像素分类信息，其中，所述第一像素分类信息包含第一像素点与第二像素点；
将所述第一像素点与所述第二像素点进行聚合，获得手部骨架信息。
4.一种基于虚拟现实的姿态捕获装置，其特征在于，所述装置包括：
第一获得单元，所述第一获得单元用于获得第一手部姿态信息；
第一训练单元，所述第一训练单元用于将所述第一手部姿态信息输入训练模型，其中，所述训练模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一手部姿态信息、深度图像；
第二获得单元，所述第二获得单元用于获得所述训练模型的输出信息，其中，所述输出信息包括手部区域轮廓信息；
第三获得单元，所述第三获得单元用于根据随机森林对所述手部区域轮廓信息进行离线训练与实时识别，获得手部骨架信息；
第四获得单元，所述第四获得单元用于对所述手部骨架信息进行手部跟踪，获得连续的第一手部部位运动序列；
第五获得单元，所述第五获得单元用于根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息；
第一判断单元，所述第一判断单元用于判断所述第一手部部位运动序列是否符合第一预设条件，其中，所述第一预设条件为所述第一手部部位运动序列的动作时间低于第一预设阈值且所述第一手部部位运动序列满足第一手势特征；
第二确定单元，所述第二确定单元用于当所述第一手部部位运动序列符合第一预设条件时，根据轻量级算法处理所述第一手部部位运动序列确定第一手势姿态重建信息；
所述第一判断单元中判断所述第一手部部位运动序列是否符合第一预设条件，包括：
第三确定单元，所述第三确定单元用于当所述第一手部部位运动序列不符合第一预设条件时，根据模板法结合隐马尔可夫模型、神经网络、支持向量机联合预测，确定第二手势姿态重建信息；
进一步的，所述第五获得单元中根据所述第一手部部位运动序列与第一手势反馈信息，获得第一手势识别信息，包括：
第四确定单元，所述第四确定单元用于根据所述第一手势姿态重建信息或所述第二手势姿态重建信息结合应用层的第一手势反馈信息，确定第一手势种类信息；
第九获得单元，所述第九获得单元用于根据所述第一手部部位运动序列与所述第一手势种类信息，获得第一手势识别信息。
5.一种基于虚拟现实的姿态捕获装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3任一项所述方法的步骤。
CN202010457881.5A 2020-05-27 2020-05-27 一种基于虚拟现实的姿态捕获方法和装置 Active CN111596767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457881.5A CN111596767B (zh) 2020-05-27 2020-05-27 一种基于虚拟现实的姿态捕获方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457881.5A CN111596767B (zh) 2020-05-27 2020-05-27 一种基于虚拟现实的姿态捕获方法和装置

Publications (2)

Publication Number Publication Date
CN111596767A CN111596767A (zh) 2020-08-28
CN111596767B true CN111596767B (zh) 2023-05-30

Family

ID=72181357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457881.5A Active CN111596767B (zh) 2020-05-27 2020-05-27 一种基于虚拟现实的姿态捕获方法和装置

Country Status (1)

Country Link
CN (1) CN111596767B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101219B (zh) * 2020-09-15 2022-11-04 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112263376A (zh) * 2020-10-27 2021-01-26 南通市第一人民医院 一种患者造口的智能管理方法和系统
CN112381925B (zh) * 2020-11-13 2023-05-26 广州引力波科技创新发展有限公司 一种基于激光编码的全身跟踪定位方法及系统
CN113674335B (zh) * 2021-08-19 2022-05-31 合肥的卢深视科技有限公司 深度成像方法、电子设备及存储介质
CN113838177B (zh) * 2021-09-22 2023-08-01 上海拾衷信息科技有限公司 一种手部动画制作方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
CN108170270A (zh) * 2017-12-28 2018-06-15 武汉市陆刻科技有限公司 一种vr头戴设备的手势跟踪方法
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN110443884A (zh) * 2019-07-17 2019-11-12 清华大学 手部运动重建方法和装置
CN110688965A (zh) * 2019-09-30 2020-01-14 北京航空航天大学青岛研究院 基于双目视觉的ipt模拟训练手势识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN105205475A (zh) * 2015-10-20 2015-12-30 北京工业大学 一种动态手势识别方法
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置
CN108170270A (zh) * 2017-12-28 2018-06-15 武汉市陆刻科技有限公司 一种vr头戴设备的手势跟踪方法
CN109992107A (zh) * 2019-02-28 2019-07-09 济南大学 虚拟操控装置及其操控方法
CN110443884A (zh) * 2019-07-17 2019-11-12 清华大学 手部运动重建方法和装置
CN110688965A (zh) * 2019-09-30 2020-01-14 北京航空航天大学青岛研究院 基于双目视觉的ipt模拟训练手势识别方法

Also Published As

Publication number Publication date
CN111596767A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111596767B (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN107466411B (zh) 二维红外深度感测
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
Zhang et al. Real-time human motion tracking using multiple depth cameras
CN110533687B (zh) 多目标三维轨迹跟踪方法及装置
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
Ding et al. STFC: Spatio-temporal feature chain for skeleton-based human action recognition
Tulyakov et al. Robust real-time extreme head pose estimation
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
EP4215932A1 (en) Posture determination system based on radar point clouds
CN113449570A (zh) 图像处理方法和装置
Amrutha et al. Human Body Pose Estimation and Applications
Zhang et al. 3D human pose estimation from range images with depth difference and geodesic distance
D'Eusanio et al. Refinet: 3d human pose refinement with depth maps
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
Khan et al. Skeleton based human action recognition using a structured-tree neural network
CN115223240A (zh) 基于动态时间规整算法的运动实时计数方法和系统
CN111754543B (zh) 图像处理方法、装置及系统
CN115205737A (zh) 基于Transformer模型的运动实时计数方法和系统
Yu et al. Real time fingertip detection with kinect depth image sequences
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
Huang et al. 3D object detection incorporating instance segmentation and image restoration
Qian et al. An improved ORB-SLAM2 in dynamic scene with instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant