CN110197531A - 基于深度学习的角色骨骼点映射技术 - Google Patents

基于深度学习的角色骨骼点映射技术 Download PDF

Info

Publication number
CN110197531A
CN110197531A CN201910396953.7A CN201910396953A CN110197531A CN 110197531 A CN110197531 A CN 110197531A CN 201910396953 A CN201910396953 A CN 201910396953A CN 110197531 A CN110197531 A CN 110197531A
Authority
CN
China
Prior art keywords
depth
bone
skeleton
role
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910396953.7A
Other languages
English (en)
Inventor
池前程
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Obesavi Digital Technology Co Ltd
Original Assignee
Wuhan Obesavi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Obesavi Digital Technology Co Ltd filed Critical Wuhan Obesavi Digital Technology Co Ltd
Priority to CN201910396953.7A priority Critical patent/CN110197531A/zh
Publication of CN110197531A publication Critical patent/CN110197531A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了基于深度学习的角色骨骼点映射技术，包括以下步骤：步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；步骤二、对深度图像进行特征提取；步骤三、对骨骼图节点进行坐标转换；步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；步骤五、提取关键帧的三个模型组成骨骼特征；步骤六、将深度特征与骨骼特征导入3D角色模型；步骤七、骨骼跟踪矫正。本发明通过将深度图像进行降噪处理和背景消除后，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位，有效的减少了骨骼跟踪点的坐标在动态跟踪过程中出现偏差，不易受外界环境的干扰，具有跟踪准确、工作量少等优点。

Description

基于深度学习的角色骨骼点映射技术
技术领域
本发明涉及及虚拟现实3D交互技术以及计算机图形技术领域，特别涉及基于深度学习的角色骨骼点映射技术。
背景技术
随着科学技术的发展，运动捕捉技术已经在动画，电影，运动教学等领域得到了广泛的应用，运动捕捉技术是一种用于准确测量运动物体在三维空间运动状况的技术，它通过运动捕捉设备把运动物体的运动状况以数字的形式记录下来，然后使用计算机对运动数据进行处理，得到不同时间计量单位上物体的空间坐标，当前的运动捕捉技术主要包括以下几种方式：机械式运动捕捉、电磁式运动捕捉、声学式运动捕捉、光学式运动捕捉、惯性传感器运动捕捉等。
光学运动捕捉使用多台相机从不同的角度拍摄对象，将采集到的图像送入计算机计算出每个标记点的空间位置，进而根据已知的骨骼信息得到关节点的旋转角度和人体的运动信息，其优点是精度高、具备捕捉关节、手指甚至面部表情的细微变化能力，缺点是受场景限制，相机必须有较高的拍摄速率，购买专业的标定和软件，价格昂贵。惯性运动捕捉通过加速度计、陀螺仪、磁力计采集数据，经过滤波和数据融合之后得到连续的姿态数据，此外通过角速度和加速度可以计算出被测点的运动轨迹；为了捕捉人体的运动，需要在人体的多个关节点布置惯性节点，多个节点数据的汇总形成整个人体的运动信息，惯性传感器的优点是成本低廉，采集的数据精度较高且不受场景限制，缺点是数据会收到磁场和电子设备的干扰，且存在累积误差。
虚拟现实交互技术是一种新兴的综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。近年来，体感交互技术蓬勃发展，渐渐走进人们的生活。Kinect体感设备的传感深度范围在0.8米到4.0米之间，而立体显示器中的自由立体显示器的最佳观看距离一般在2米左右，两者之间的适应距离范围存在匹配关系。通过立体显示器，用户可观看到立体画面，同时通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与立体显示器中的虚拟3D图像进行沟通的“语言”，自然地实现人与虚拟空间的交互。
现有的大多数基于Kinect体感设备的交互应用中，如基于Kinect体感设备的3D立体试衣装置，多是将人体3D坐标转换为以二维坐标为基准的数据，控制虚拟物体在二维方向上移动，然而这种方法在实际操作过程中经常容易出现偏差，受外界环境的影响因素较大，因此很有必要提供一种基于深度学习的角色骨骼点映射技术来解决这些问题。
发明内容
本发明的主要目的在于提供基于深度学习的角色骨骼点映射技术，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
基于深度学习的角色骨骼点映射技术，包括以下步骤：
步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；
步骤二、对深度图像进行特征提取；
步骤三、对骨骼图节点进行坐标转换；
步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
步骤五、提取关键帧的三个模型组成骨骼特征；
步骤六、将深度特征与骨骼特征导入3D角色模型；
步骤七、骨骼跟踪矫正。
作为本发明的一种优选技术方案，所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。
作为本发明的一种优选技术方案，所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征，对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下。
作为本发明的一种优选技术方案，所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型、当前运动模型、全局偏移模型，将三个模型得到的特征组成一帧骨骼图的底层特征，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征。
作为本发明的一种优选技术方案，所述步骤六将深度特征与骨骼特征导入3D角色模型就是将深度特征与骨骼特征通过电脑软件分别输入到3D角色模型中，得到与骨骼跟踪的20个骨骼点运动轨迹一致的处于运动状态的角色模型。
作为本发明的一种优选技术方案，所述步骤七的骨骼跟踪矫正就是利用样本库，提取出人体表面特征的不同梯度值，通过随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位。
与现有技术相比，本发明具有如下有益效果：本发明通过将深度图像进行降噪处理和背景消除后，再将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应，利用随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位，有效的减少了骨骼跟踪点的坐标在动态跟踪过程中出现偏差，不易受外界环境的干扰，具有跟踪准确、工作量少等优点。
附图说明
图1为本发明基于深度学习的角色骨骼点映射技术的整体流程示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
实施例1：
基于深度学习的角色骨骼点映射技术，包括以下步骤：
步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；
步骤二、对深度图像进行特征提取；
步骤三、对骨骼图节点进行坐标转换；
步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
步骤五、提取关键帧的三个模型组成骨骼特征；
步骤六、将深度特征与骨骼特征导入3D角色模型；
步骤七、骨骼跟踪矫正。
实施例2：
所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。
实施例3：
所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征，对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下。
实施例4：
所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型、当前运动模型、全局偏移模型，将三个模型得到的特征组成一帧骨骼图的底层特征，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征。
实施例5：
所述步骤六将深度特征与骨骼特征导入3D角色模型就是将深度特征与骨骼特征通过电脑软件分别输入到3D角色模型中，得到与骨骼跟踪的20个骨骼点运动轨迹一致的处于运动状态的角色模型。
实施例6：
所述步骤七的骨骼跟踪矫正就是利用样本库，提取出人体表面特征的不同梯度值，通过随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于深度学习的角色骨骼点映射技术，其特征在于：所述技术包括以下步骤：
步骤一、使用Kinect设备获取人体的深度图像和骨骼图像；
步骤二、对深度图像进行特征提取；
步骤三、对骨骼图节点进行坐标转换；
步骤四、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
步骤五、提取关键帧的三个模型组成骨骼特征；
步骤六、将深度特征与骨骼特征导入3D角色模型；
步骤七、骨骼跟踪矫正。
2.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤一的使用Kinect设备获取人体的深度图像和骨骼图像具体为：利用Kinect传感器收集多幅深度图像样本，建立样本库，样本库中包含各种不同身材和不同的人体常规动作的深度图像，利用这些深度图像，提取深度数据，然后将人体划分为20个部分与骨骼跟踪的20个骨骼点一一对应。
3.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤二对深度图像进行特征提取就是将深度图像进行降噪处理和背景消除后，将具有时间信息的深度图像序列投影到正交的笛卡儿积平面上，获得3个视角的投影图，对深度运动图进行截取感兴趣区域操作，用以保证并保证相同角度的投影图大小一致，然后从时间和空间上通过深度运动图上像素的梯度大小和方向获得2D、3D深度特征，对骨骼图节点进行坐标转换，就是以脊柱点为原点统一新的坐标系，将骨骼图节点统一到该坐标系下。
4.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述提取关键帧的三个模型组成骨骼特征，就是提取静态姿态模型、当前运动模型、全局偏移模型，将三个模型得到的特征组成一帧骨骼图的底层特征，对求得的特征进行归一化，避免一些较小元素范围中的较大元素占主导地位的情况，由于每个骨骼图序列获得关键帧的数量是不同的，故用基于高斯混合模型的费希尔向量处理不同长度的特征，得到骨骼特征。
5.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤六将深度特征与骨骼特征导入3D角色模型就是将深度特征与骨骼特征通过电脑软件分别输入到3D角色模型中，得到与骨骼跟踪的20个骨骼点运动轨迹一致的处于运动状态的角色模型。
6.根据权利要求1所述的基于深度学习的角色骨骼点映射技术，其特征在于：所述步骤七的骨骼跟踪矫正就是利用样本库，提取出人体表面特征的不同梯度值，通过随机森林训练得到阈值，将深度特征与骨骼特征作为输入数据输入分类器，最终得到其归属部位。
CN201910396953.7A 2019-05-14 2019-05-14 基于深度学习的角色骨骼点映射技术 Pending CN110197531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910396953.7A CN110197531A (zh) 2019-05-14 2019-05-14 基于深度学习的角色骨骼点映射技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910396953.7A CN110197531A (zh) 2019-05-14 2019-05-14 基于深度学习的角色骨骼点映射技术

Publications (1)

Publication Number Publication Date
CN110197531A true CN110197531A (zh) 2019-09-03

Family

ID=67752682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396953.7A Pending CN110197531A (zh) 2019-05-14 2019-05-14 基于深度学习的角色骨骼点映射技术

Country Status (1)

Country Link
CN (1) CN110197531A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215829A (zh) * 2020-10-21 2021-01-12 深圳度影医疗科技有限公司 一种髋关节标准切面的定位方法和计算机设备
CN113058261A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于现实场景和游戏场景的体感动作识别方法及系统
CN113505662A (zh) * 2021-06-23 2021-10-15 广州大学 一种健身指导方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102487A (zh) * 2014-07-17 2014-10-15 福建天趣网络科技有限公司 一种3D游戏角色Avatar的可视化编辑方法及编辑器
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108776775A (zh) * 2018-05-24 2018-11-09 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102487A (zh) * 2014-07-17 2014-10-15 福建天趣网络科技有限公司 一种3D游戏角色Avatar的可视化编辑方法及编辑器
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108776775A (zh) * 2018-05-24 2018-11-09 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘从文等: "基于骨骼特征和手部关联物体特征的人的姿态识别", 《工业控制计算机》 *
许艳等: "深度图像与骨骼数据的多特征融合人体行为识别", 《小型微型计算机系统》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215829A (zh) * 2020-10-21 2021-01-12 深圳度影医疗科技有限公司 一种髋关节标准切面的定位方法和计算机设备
CN112215829B (zh) * 2020-10-21 2021-12-14 深圳度影医疗科技有限公司 一种髋关节标准切面的定位方法和计算机设备
CN113058261A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于现实场景和游戏场景的体感动作识别方法及系统
CN113058261B (zh) * 2021-04-22 2024-04-19 杭州当贝网络科技有限公司 基于现实场景和游戏场景的体感动作识别方法及系统
CN113505662A (zh) * 2021-06-23 2021-10-15 广州大学 一种健身指导方法、装置及存储介质
CN113505662B (zh) * 2021-06-23 2024-03-01 广州大学 一种健身指导方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112509151B (zh) 一种教学场景中虚拟对象的真实感生成方法
CN108256504A (zh) 一种基于深度学习的三维动态手势识别方法
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN110197531A (zh) 基于深度学习的角色骨骼点映射技术
US10825197B2 (en) Three dimensional position estimation mechanism
CN102848389A (zh) 基于视觉运动捕捉的机械臂标定及跟踪系统实现方法
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
Chen et al. A particle filtering framework for joint video tracking and pose estimation
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
Caarls et al. Augmented reality for art, design and cultural heritage—system design and evaluation
Ning Design and research of motion video image analysis system in sports training
Lin et al. Extracting 3D facial animation parameters from multiview video clips
Afif et al. Vision-based tracking technology for augmented reality: a survey
CN112907633A (zh) 动态特征点识别方法及其应用
Rana et al. Augmented reality engine applications: a survey
Wang et al. Research and implementation of the sports analysis system based on 3D image technology
Ercan et al. On sensor fusion for head tracking in augmented reality applications
Deshpande et al. Augmented reality: technology merging computer vision and image processing by experimental techniques
Lu et al. A real-time motion capture framework for synchronized neural decoding
Peng Research on dance teaching based on motion capture system
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars
CN110728054A (zh) 一种大型游乐设施乘客位姿数据提取方法及应用方法
Rao Application of Motion Capture Based on Digital Filtering Algorithm in Sports Dance Teaching
CN116958450B (zh) 一种面向二维数据的人体三维重建方法
Dong Study on badminton system with auxiliary training based on Kinect motion capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190903

RJ01 Rejection of invention patent application after publication