CN108154551B - 实时动态重建三维人体模型的方法及系统 - Google Patents

实时动态重建三维人体模型的方法及系统 Download PDF

Info

Publication number
CN108154551B
CN108154551B CN201711229894.1A CN201711229894A CN108154551B CN 108154551 B CN108154551 B CN 108154551B CN 201711229894 A CN201711229894 A CN 201711229894A CN 108154551 B CN108154551 B CN 108154551B
Authority
CN
China
Prior art keywords
human body
skeleton
image sequence
motion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711229894.1A
Other languages
English (en)
Other versions
CN108154551A (zh
Inventor
刘烨斌
苏肇祺
黄源浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN201711229894.1A priority Critical patent/CN108154551B/zh
Publication of CN108154551A publication Critical patent/CN108154551A/zh
Application granted granted Critical
Publication of CN108154551B publication Critical patent/CN108154551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提出一种实时动态重建三维人体模型的方法，包括步骤：S1：获取运动人体的彩色RGB和深度D图像序列；S2：在所述彩色RGB图像序列中提取人体骨架信息；S3：配准每一帧的所述彩色RGB图像序列和所述深度D图像序列，形成RGBD图像序列，并将提取出的所述人体骨架信息嵌入到所述RGBD图像序列中；S4：将提取的所述骨架信息加入到骨架运动跟踪能量项中，从而指导骨架运动符合采集到的人体运动；S5：使用基于动态融合方法求解的非刚性场对人体表面点云运动进行进一步完善，从而重建出当前人体模型。本发明实时动态重建三维人体模型的方法及系统，能够使用单个传感装置实时动态地重建当前人体三维模型。

Description

实时动态重建三维人体模型的方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种实时动态重建三维人体模型的方法及系统。
背景技术
三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。而关于人体三维重建方法，由于人本身运动情况的复杂多变、表面非刚性运动较多，因此是三维重建领域的一个较大的难题。尤其是单个传感装置采集的人体信息，由于人体信息采集不全，则更难对人体的模型进行很好地跟踪和重建。现有的已完成的工作当中，DynamicFusion方法能够较好地实时重建人体的表面模型，但难以跟踪较快的人体运动。
发明内容
本发明的目的是为了解决现有技术不能利用单个传感装置实时动态地重建人体三维模型的问题，提出一种实时动态重建三维人体模型的方法及系统。
本发明实时动态重建三维人体模型的方法，包括以下步骤：S1：获取运动人体的彩色RGB图像序列和深度D图像序列；S2：利用深度学习方法在所述彩色RGB图像序列中提取人体骨架信息；S3：配准每一帧的所述彩色RGB图像序列和所述深度D图像序列，形成RGBD图像序列，并将提取出的所述人体骨架信息嵌入到所述RGBD图像序列中；S4：将提取的所述骨架信息加入到骨架运动跟踪能量项中，从而指导骨架运动符合采集到的人体运动；S5：使用基于动态融合方法求解的非刚性场对人体表面点云运动进行进一步完善，从而重建出当前人体模型。
优选地，所述步骤S2中在所述彩色RGB图像序列中提取人体骨架信息，是指结合深度学习算法，将所述彩色RGB图像序列数据进行降采样处理，并输入到给定算法的CNN网络中，通过已经经过深度学习训练出的网络结果，从输入的图片中提取出所述人体的骨架信息。
优选地，所述步骤S4中的能量项Eskeleton为：
Eskeleton＝λtrackingEtracking+λjointEjoint
其中，Etracking是骨架驱动的点云运动约束；Ejoint是骨架运动与检测并嵌入的骨架信息进行配准的约束，两者的计算公式分别如下：
Figure BDA0001488012740000021
Figure BDA0001488012740000022
其中，
Figure BDA0001488012740000023
为模型表面点在骨架驱动变形之后的法向量；
Figure BDA0001488012740000024
为模型表面点在骨架驱动变形之后的位置；ui为模型表面点在深度图上的对应点；ji_detect为检测到的关节点信息；ji_cal为计算出的关节点信息。
基于上述实时动态重建三维人体模型的方法，本发明还提出一种实时动态重建三维人体模型的系统，包括存储器，存放程序；处理器，运行所述程序，以控制所述实时动态重建三维人体模型的系统执行上面任一所述的实时动态重建三维人体模型的方法。
本发明还提出一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上面任一所述的实时动态重建三维人体模型的方法。
与现有技术相比，本发明的有益效果有：
本发明实时动态重建三维人体模型的方法及系统，通过单个RGBD传感装置获取运动人体的彩色RGB图像序列、深度D图像序列，并将从中提取的骨架信息加入到骨架运动跟踪能量项中，指导骨架运动符合采集到的人体运动，并且使用基于动态融合方法求解的非刚性场对人体表面点云运动进行进一步完善，从而能够使用单个传感装置实时动态地重建当前人体三维模型。
附图说明
图1是本发明的一个实施例的实时动态重建三维人体模型的方法流程图。
图2是本发明实施例对单个人体运动序列进行采集得到的彩色RGB图像和深度D图像示意图。
图3是本发明实施例从彩色RGB图像中提取出的人体骨架信息示意图。
图4是本发明实施例中将提取出的骨架信息嵌入到深度图后的结构示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
图1是根据本发明的一个实施例的实时动态重建三维人体模型的方法框架图。先通过RGBD相机获取运动人体的彩色RGB图像序列和深度D图像序列，将其中的RGB图像序列利用深度学习方法提取人体骨架信息；其次将提取出的所述人体骨架信息嵌入到深度图像序列中，并对每一帧输入数据，利用提取到的骨架信息对骨架运动跟踪进行约束；最后根据骨架信息以及深度图像序列利用动态融合方法实时重建出人体模型。
具体步骤如下：
(1)搭建RGBD传感装置，如Kinect、深度相机等，并对该装置进行参数标定(使用黑白标定板，手动撰写标定代码或者调用装置内置软件开发工具包SDK)，来确定彩色相机和深度相机的外部参数矩阵R、T和内部参数fx,fy,cx,cy，其中R和T分别是相机的外部变换旋转矩阵和平移信息，而内部参数fx,fy是相机在水平和竖直两个方向的焦距，而cx,cy是相机在两个方向的光心。
(2)用标定好的RGBD传感装置对单个人体运动序列进行采集，要求人体站在采集装置正前方，全身处于装置的视场内部并在视场中占据合适的大小。当采集开始时，人体可以在采集装置前做一定的肢体和全身运动，并全程保持人体处于装置视场之内。在人体做运动的同时，系统采集到的RGBD信号通过采集装置向电脑的USB接口进行数据传输，以将数据结果保存在电脑中。如图2所示，该数据结果中包含单个人体的彩色RGB图像信息和深度D图像信息。
(3)利用数据结果中的彩色RGB图像信息，结合深度学习算法(如Pose Machines算法)，将RGB数据进行一定的降采样处理，并输入到给定算法的CNN网络中，通过已经经过深度学习训练出的网络结果，从输入的图片中提取出人体的骨架信息，如图3所示。
(4)用传感装置的内置SDK或是手动标定好的深度和彩色相机位置参数，对每一帧的彩色RGB图像信息和深度D图像信息进行配准，形成RGBD图像信息，并将提取出的骨架信息嵌入到深度图上。将嵌入后的骨架信息作为深度图提取的人体运动的骨架模型，用来指导每一帧中的人体的骨骼运动，如图4所示。
(5)对每一帧输入数据，使用提取到的骨架信息对骨架运动跟踪进行约束，即：将骨架信息加入到骨架运动跟踪能量项中，从而指导骨架运动符合采集到的人体运动。能量项的形式如下：
Eskeleton＝λtrackongEtracking+λjointEjoint
其中，Etracking是骨架驱动的点云运动约束，它保证了人体模型的点云与当前帧深度图尽可能匹配；而Ejoint是骨架运动与嵌入的骨架信息进行配准的约束，它保证了帧与帧之间较大的运动，模型能够与深度图匹配得较好。
其中，两个能量项具体形式分别如下：
Figure BDA0001488012740000041
Figure BDA0001488012740000042
其中，
Figure BDA0001488012740000043
为模型表面点在骨架驱动变形之后的法向量；
Figure BDA0001488012740000044
为模型表面点在骨架驱动变形之后的位置；ui为模型表面点在深度图上的对应点；ji_detect为检测到的关节点信息；ji_cal为计算出的关节点信息。
在加入了各个能量项之后，系统采用高斯-牛顿梯度下降方法，对骨架运动的各个旋转分量进行迭代优化和求解，并将求解得到的骨架运动结果叠加在之前计算好的结果上，并应用到模型中，使得模型在该骨架运动指导下获得该帧大致的运动结果。
(6)使用基于动态融合方法求解的非刚性场，对人体表面点云运动进行进一步完善。即同样使用优化能量方程使得能量项达到极小值的优化求解方法，使得人体模型与该帧的深度图尽可能匹配，并且约束人体表面点云运动符合物理变形。求解完非刚性场之后，将求解的非刚性场作用在前一帧的人体模型中，从而重建出当前帧人体模型。
需要指出，根据实施的需要，可将本发明中描述的各个步骤拆分为更多步骤，也可将两个或多个步骤或者步骤的部分操作组合成新的步骤，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种实时动态重建三维人体模型的方法，其特征在于，包括以下步骤：
S1：获取运动人体的彩色RGB图像序列和深度D图像序列；
S2：在所述彩色RGB图像序列中提取人体骨架信息；
S3：配准每一帧的所述彩色RGB图像序列和所述深度D图像序列，形成RGBD图像序列，并将提取出的所述人体骨架信息嵌入到所述RGBD图像序列中；
S4：将提取的所述骨架信息加入到骨架运动跟踪能量项中，从而指导骨架运动符合采集到的人体运动；
所述骨架运动跟踪能量项通过以下公式计算得出：
Eskeleton＝λtrackingEtracking+λjointEjoint
其中，Eskeleton是骨架运动跟踪能量项，Etracking是骨架驱动的点云运动约束；Ejoint是骨架运动与嵌入的骨架信息进行配准的约束；
S5：使用基于动态融合方法求解的非刚性场对人体表面点云运动进行进一步完善，从而重建出当前人体模型。
2.根据权利要求1所述的实时动态重建三维人体模型的方法，其特征在于，所述步骤S2中在所述彩色RGB图像序列中提取人体骨架信息，是指结合深度学习算法，将所述彩色RGB图像序列数据进行降采样处理，并输入到给定算法的CNN网络中，通过已经经过深度学习训练出的网络结果，从输入的图片中提取出所述人体的骨架信息。
3.根据权利要求1所述的实时动态重建三维人体模型的方法，其特征在于，所述骨架驱动的点云运动约束Etracking为：
Figure FDA0002885109190000011
其中，
Figure FDA0002885109190000012
为模型表面点vi在骨架驱动变形之后的法向量；
Figure FDA0002885109190000013
为模型表面点在骨架驱动变形之后的位置；ui为模型表面点vi在深度图上的对应点。
4.根据权利要求1所述的实时动态重建三维人体模型的方法，其特征在于，所述骨架运动与嵌入的骨架信息进行配准的约束Ejoint为：
Figure FDA0002885109190000021
其中，ji_detect为检测到的关节点信息；ji_cal为计算出的关节点信息。
5.一种实时动态重建三维人体模型的系统，其特征在于，包括存储器，存放程序；处理器，运行所述程序，以控制所述实时动态重建三维人体模型的系统执行如权利要求1-4任一所述的方法。
6.一种包含计算机程序的计算机可读存储介质，其特征在于，所述计算机程序可操作来使计算机执行如权利要求1-4任一所述的方法。
CN201711229894.1A 2017-11-29 2017-11-29 实时动态重建三维人体模型的方法及系统 Active CN108154551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711229894.1A CN108154551B (zh) 2017-11-29 2017-11-29 实时动态重建三维人体模型的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711229894.1A CN108154551B (zh) 2017-11-29 2017-11-29 实时动态重建三维人体模型的方法及系统

Publications (2)

Publication Number Publication Date
CN108154551A CN108154551A (zh) 2018-06-12
CN108154551B true CN108154551B (zh) 2021-04-30

Family

ID=62469238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711229894.1A Active CN108154551B (zh) 2017-11-29 2017-11-29 实时动态重建三维人体模型的方法及系统

Country Status (1)

Country Link
CN (1) CN108154551B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634177A (zh) 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
CN109035393B (zh) * 2018-07-27 2023-01-03 东方梦幻文化产业投资有限公司 一种重建三维动画的方法及装置
CN109448105B (zh) * 2018-10-15 2020-06-26 山东大学 基于多深度图像传感器的三维人体骨架生成方法及系统
WO2020102977A1 (zh) * 2018-11-20 2020-05-28 深圳市欢太科技有限公司 图像处理方法及相关产品
CN109829972B (zh) * 2019-01-19 2023-06-02 北京工业大学 一种面向连续帧点云的三维人体标准骨架提取方法
CN110335343B (zh) * 2019-06-13 2021-04-06 清华大学 基于rgbd单视角图像人体三维重建方法及装置
CN111862139B (zh) * 2019-08-16 2023-08-18 中山大学 一种基于彩色-深度相机的动态物体参数化建模方法
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN111968169B (zh) * 2020-08-19 2024-01-19 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质
CN111968165B (zh) * 2020-08-19 2024-01-23 北京拙河科技有限公司 动态人体三维模型补全方法、装置、设备和介质
CN114373018A (zh) * 2021-12-06 2022-04-19 聚好看科技股份有限公司 一种实时驱动方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428922B1 (ko) * 2013-04-19 2014-08-11 한밭대학교 산학협력단 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428922B1 (ko) * 2013-04-19 2014-08-11 한밭대학교 산학협력단 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN106952302A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 人体模型自动创建方法及三维试衣系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Geometry,Albedo,and Motion Reconstruction Using a Single RGB-D Camera;K.Guo et al.;《ACM Transactions on Graphics》;20170630;第36卷(第3期);第1-13页 *

Also Published As

Publication number Publication date
CN108154551A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN108154551B (zh) 实时动态重建三维人体模型的方法及系统
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
US10685454B2 (en) Apparatus and method for generating synthetic training data for motion recognition
CN106503671B (zh) 确定人脸姿态的方法和装置
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
US8885920B2 (en) Image processing apparatus and method
CN109255813A (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN109410316B (zh) 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN103024281A (zh) 红外与可见光视频融合系统
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
CN106200914A (zh) 增强现实的触发方法、装置及拍照设备
CN109389634A (zh) 基于三维重建和增强现实的虚拟购物系统
TW202145146A (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
CN106599806A (zh) 一种基于局部曲面几何特征的人体动作识别方法
CN110264527A (zh) 基于zynq的实时双目立体视觉输出方法
CN111080776A (zh) 人体动作三维数据采集和复现的处理方法及系统
CN114863037A (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN105869115A (zh) 一种基于kinect2.0的深度图像超分辨率方法
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN103632372A (zh) 一种视频显著图提取方法
CN115830663A (zh) 人脸三维关键点提取方法及装置、模型创建方法及系统
CN114612352A (zh) 多聚焦图像融合方法、存储介质和计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: A808, Zhongdi building, industry university research base, China University of Geosciences, No.8, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant