CN111932670A - 基于单个rgbd相机的三维人体自画像重建方法及系统 - Google Patents
基于单个rgbd相机的三维人体自画像重建方法及系统 Download PDFInfo
- Publication number
- CN111932670A CN111932670A CN202010810525.7A CN202010810525A CN111932670A CN 111932670 A CN111932670 A CN 111932670A CN 202010810525 A CN202010810525 A CN 202010810525A CN 111932670 A CN111932670 A CN 111932670A
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- expression
- portrait
- rgbd camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出了基于单个RGBD相机的三维人体自画像重建方法,该方法首先输入人体面对相机的第一帧图像,通过神经网络推测出形状先验,基于该形状先验实现双层非刚性运动跟踪,生成局部扫描,最后通过轻量级捆绑调整算法生成几何细节丰富、且具有纹理的三维人体自画像。该方法所需的输入信息非常容易采集,并且可以快速地获取三维人体自画像。该方法求解准确、快速,简单易行,可以在PC机或工作站等硬件系统上快速实现,还可以为用户提供良好的交互式三维重建体验,拥有广阔的应用前景。本发明还提出了基于单个RGBD相机的三维人体自画像重建系统,该系统包括单个RGBD相机、深度神经网络模块、运动跟踪模以及捆绑调整模块。
Description
技术领域
本发明涉及到计算机视觉与计算机图形学技术领域,尤其涉及到基于单个RGBD相机的三维人体自画像重建方法及系统。
背景技术
三维人体自画像重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现,虽然精度较高,但是也显著存在着一些缺点:第一,设备复杂,这些方法往往需要多相机阵列的搭建;第二,速度慢,往往重建一个三维人体模型需要至少10分钟到数小时的时间。
发明内容
本发明的目的是为了克服现有技术的不足,提供了基于单个RGBD相机的三维人体自画像重建方法及系统。
本发明是通过以下技术方案实现:
首先,本发明提供了基于单个RGBD相机的三维人体自画像重建方法,该基于单个RGBD相机的三维人体自画像重建方法包括以下步骤:
S1:通过单个RGBD相机对单个人体拍摄RGBD图像序列;
S2:通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验;
S3:基于形状先验构建双层对应点对,通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数,并融合出一系列局部扫描;
S4:构建闭环、深度以及轮廓项,通过捆绑调整模块最优化更新局部扫描,最后将局部扫描融合在一起生成完整的三维模型,并通过投影计算顶点颜色。
优选的,步骤S3中,将每张深度图投影到三维空间得到三维点云,寻找点云与重建模型顶点及形状先验之间的对应点,以此构建双层对应点对,并根据对应点建立能量函数。
优选的,所述能量函数的表达式为:
优选的,基于融合表面对内部形状先验进行更新,得到和融合表面匹配的形状先验,从而为下一帧跟踪提供更精确的对应点,依此能量函数的表达式变为:
优选的,对局部扫描构建能量函数来执行捆绑调整,得到的表达式为:
根据本发明实施例的基于单个RGBD相机的三维人体自画像重建方法,利用单个RGBD相机对人体进行拍摄以采集RGBD图像序列,并基于该序列快速、准确地重建三维人体自画像。该方法所需的输入信息非常容易采集,并且可以快速地获取三维人体自画像。该方法求解准确、快速,简单易行,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。不仅如此,由于该方法为快速重建方法,可以为用户提供良好的交互式三维重建体验,拥有广阔的应用前景。
本发明还提供了基于单个RGBD相机的三维人体自画像重建系统,该基于单个RGBD相机的三维人体自画像重建系统包括:
单个RGBD相机,用来拍摄人体RGBD图像;
深度神经网络模块,用于推断人体三维形状先验;
运动跟踪模块,用于求解模型每个顶点的非刚性运动参数并融合局部扫描;
捆绑调整模块,用于优化局部扫描并融合成一个完整模型,并计算顶点颜色,得到几何细节丰富、具有纹理的人体三维自画像。
附图说明
图1是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法的流程图;
图2是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法及系统,下面结合附图及具体的实施例对其进行详细说明。
请参考图1, 图1是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法的流程图。
如图1所示,本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法包括以下步骤:
S1:通过单个RGBD相机对单个人体拍摄RGBD图像序列;
S2:通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验;
S3:基于形状先验构建双层对应点对,通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数,并融合出一系列局部扫描;
S4:构建闭环、深度以及轮廓项,通过捆绑调整模块最优化更新局部扫描,最后将局部扫描融合在一起生成完整的三维模型,并通过投影计算顶点颜色。
在步骤S1中,表演者在RGBD相机面前行走旋转一圈,由RGBD相机获得连续的RGBD图像序列。
在步骤S3中,将每张深度图投影到三维空间得到三维点云,寻找点云与重建模型顶点及形状先验之间的对应点,以此构建双层对应点对,并根据对应点建立能量函数。
所述能量函数的表达式为:
其中,为双层数据项,保证了经过非刚性运动后重建模型能够与从深度图获得的三维点云尽可能对齐,表达式为:;分别是融合的表面模型以及形状先验与深度点云之间的对应点集合,和分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向,为与之对应的对应点坐标;
同时,基于融合表面对内部形状先验进行更新,得到和融合表面匹配的形状先验,从而为下一帧跟踪提供更精确的对应点。通过形状先验实现鲁棒双层非刚性运动跟踪,并融合局部扫描。依此能量函数的表达式变为:
其中,是数据项,其目的是保证内部形状先验与外部融合表面匹配,表达式为:;是初始形状先验的顶点集合,是其中一个顶点,是经过非刚性变形后的坐标,是一个三线性插值函数。向函数输入是一个三维坐标,返回该坐标对应的TSDF值。在非刚性跟踪同时,我们不断在初始帧融合局部扫描。
然后,我们对局部扫描构建能量函数来执行捆绑调整,得到的表达式为:
是步骤4中所述的深度项,描述局部扫描经过bundle和live变形之后与关键帧深度点云的对齐误差,表达式为:;是关键帧的数量,是第个局部扫描与第个关键帧深度点云之间的对应点集,是一对对应点,是局部扫描上的点,是深度点云上的点,是对应的法向向量;
是步骤4中所述的轮廓项,描述局部扫描经过bundle和live变形之后与关键帧人体轮廓之间的对齐误差,表达式为:;是局部扫描上的轮廓点集,是其中一个点,指示优化的正确方向,是对输入人体轮廓图像做距离变换操作得到的图像,代表向三维空间向图像的投影操作。
最终,将所有局部扫描融合成一个完整模型,并通过live变形将该模型变形到各帧,通过投影计算顶点颜色,从而获得具有几何细节以及纹理的三维人体自画像。
根据本发明实施例的基于单个RGBD相机的三维人体自画像重建方法,利用单个RGBD相机对人体进行拍摄以采集RGBD图像序列,并基于该序列快速、准确地重建三维人体自画像。该方法所需的输入信息非常容易采集,并且可以快速地获取三维人体自画像。该方法求解准确、快速,简单易行,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。不仅如此,由于该方法为快速重建方法,可以为用户提供良好的交互式三维重建体验,拥有广阔的应用前景。
本发明还提供了基于单个RGBD相机的三维人体自画像重建系统,如图2所示,图2是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建系统的结构图,该基于单个RGBD相机的三维人体自画像重建系统包括:单个RGBD相机1、深度神经网络模块2、运动跟踪模块3以及捆绑调整模块4;其中,
单个RGBD相机1,用来拍摄人体RGBD图像;
深度神经网络模块2,用于推断人体三维形状先验;
运动跟踪模块3,用于求解模型每个顶点的非刚性运动参数并融合局部扫描;
捆绑调整模块4,用于优化局部扫描并融合成一个完整模型,并计算顶点颜色,得到几何细节丰富、具有纹理的人体三维自画像。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.基于单个RGBD相机的三维人体自画像重建方法,其特征在于,包括以下步骤:
S1:通过单个RGBD相机对单个人体拍摄RGBD图像序列;
S2:通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验;
S3:基于形状先验构建双层对应点对,通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数,并融合出一系列局部扫描;
S4:构建闭环、深度以及轮廓项,通过捆绑调整模块最优化更新局部扫描,最后将局部扫描融合在一起生成完整的三维模型,并通过投影计算顶点颜色。
2.如权利要求1所述的基于单个RGBD相机的三维人体自画像重建方法,其特征在于,步骤S3中,将每张深度图投影到三维空间得到三维点云,寻找点云与重建模型顶点及形状先验之间的对应点,以此构建双层对应点对,并根据对应点建立能量函数。
5.如权利要求4所述的基于单个RGBD相机的三维人体自画像重建方法,其特征在于,对局部扫描构建能量函数来执行捆绑调整,得到的表达式为:
6.基于单个RGBD相机的三维人体自画像重建系统,其特征在于,包括:
单个RGBD相机,用来拍摄人体RGBD图像;
深度神经网络模块,用于推断人体三维形状先验;
运动跟踪模块,用于求解模型每个顶点的非刚性运动参数并融合局部扫描;
捆绑调整模块,用于优化局部扫描并融合成一个完整模型,并计算顶点颜色,得到几何细节丰富、具有纹理的人体三维自画像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010810525.7A CN111932670B (zh) | 2020-08-13 | 2020-08-13 | 基于单个rgbd相机的三维人体自画像重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010810525.7A CN111932670B (zh) | 2020-08-13 | 2020-08-13 | 基于单个rgbd相机的三维人体自画像重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111932670A true CN111932670A (zh) | 2020-11-13 |
CN111932670B CN111932670B (zh) | 2021-09-28 |
Family
ID=73311823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010810525.7A Withdrawn - After Issue CN111932670B (zh) | 2020-08-13 | 2020-08-13 | 基于单个rgbd相机的三维人体自画像重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111932670B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989434A (zh) * | 2021-10-27 | 2022-01-28 | 聚好看科技股份有限公司 | 一种人体三维重建方法及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833788A (zh) * | 2010-05-18 | 2010-09-15 | 南京大学 | 一种采用手绘草图的三维人体建模方法 |
CN103106688A (zh) * | 2013-02-20 | 2013-05-15 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
CN103824326A (zh) * | 2014-03-05 | 2014-05-28 | 北京工业大学 | 一种动态的人体三维建模方法 |
CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
CN108053476A (zh) * | 2017-11-22 | 2018-05-18 | 上海大学 | 一种基于分段三维重建的人体参数测量系统及方法 |
CN108122281A (zh) * | 2017-12-22 | 2018-06-05 | 洛阳中科众创空间科技有限公司 | 一种大范围实时人体三维重建方法 |
CN108665537A (zh) * | 2018-05-15 | 2018-10-16 | 清华大学 | 联合优化人体体态与外观模型的三维重建方法及系统 |
CN108898658A (zh) * | 2018-05-15 | 2018-11-27 | 清华大学 | 基于光影优化的三维几何与本征成份重建方法及装置 |
CN110986757A (zh) * | 2019-10-08 | 2020-04-10 | 新拓三维技术(深圳)有限公司 | 一种三维人体扫描方法、装置及系统 |
-
2020
- 2020-08-13 CN CN202010810525.7A patent/CN111932670B/zh not_active Withdrawn - After Issue
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833788A (zh) * | 2010-05-18 | 2010-09-15 | 南京大学 | 一种采用手绘草图的三维人体建模方法 |
CN103106688A (zh) * | 2013-02-20 | 2013-05-15 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
CN103824326A (zh) * | 2014-03-05 | 2014-05-28 | 北京工业大学 | 一种动态的人体三维建模方法 |
CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
CN108053476A (zh) * | 2017-11-22 | 2018-05-18 | 上海大学 | 一种基于分段三维重建的人体参数测量系统及方法 |
CN108122281A (zh) * | 2017-12-22 | 2018-06-05 | 洛阳中科众创空间科技有限公司 | 一种大范围实时人体三维重建方法 |
CN108665537A (zh) * | 2018-05-15 | 2018-10-16 | 清华大学 | 联合优化人体体态与外观模型的三维重建方法及系统 |
CN108898658A (zh) * | 2018-05-15 | 2018-11-27 | 清华大学 | 基于光影优化的三维几何与本征成份重建方法及装置 |
CN110986757A (zh) * | 2019-10-08 | 2020-04-10 | 新拓三维技术(深圳)有限公司 | 一种三维人体扫描方法、装置及系统 |
Non-Patent Citations (2)
Title |
---|
朱海宇: ""单相机动态三维人体重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
陈福兴: ""利用RGB-D相机进行人体三维重建关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989434A (zh) * | 2021-10-27 | 2022-01-28 | 聚好看科技股份有限公司 | 一种人体三维重建方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111932670B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wong et al. | Unsupervised depth completion with calibrated backprojection layers | |
CN112465955B (zh) | 一种动态人体三维重建和视角合成方法 | |
CN113689539B (zh) | 基于隐式光流场的动态场景实时三维重建方法 | |
CN110060329B (zh) | 一种基于彩色深度视频流数据的移动端人体模型重建方法 | |
CN109087243A (zh) | 一种基于深度卷积生成对抗网络的视频超分辨率生成方法 | |
CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
CN108053437A (zh) | 基于体态的三维模型获取方法及装置 | |
CN110223370A (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
CN112927348B (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
CN111739080A (zh) | 多台深度相机共同构建3d空间及3d物体的方法 | |
CN117274501B (zh) | 一种可驱动数字人建模方法、装置、设备及介质 | |
CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN117252987B (zh) | 一种基于显式和隐式混合编码的动态场景重建方法 | |
Guo et al. | Real-Time Free Viewpoint Video Synthesis System Based on DIBR and A Depth Estimation Network | |
CN111932670B (zh) | 基于单个rgbd相机的三维人体自画像重建方法及系统 | |
CN117274446A (zh) | 一种场景视频处理方法、装置、设备及存储介质 | |
CN116310228A (zh) | 一种针对遥感场景的表面重建与新视图合成方法 | |
CN116934972A (zh) | 一种基于双流网络的三维人体重建方法 | |
CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 | |
CN116310103A (zh) | 一种基于蒙皮多人线性模型的人体姿态估计和网格恢复方法 | |
KR102577135B1 (ko) | 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템 | |
CN115937374A (zh) | 一种数字人体建模方法、装置、设备及介质 | |
CN114998405A (zh) | 基于图像驱动的数字化人体模型构建方法 | |
CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
AV01 | Patent right actively abandoned | ||
AV01 | Patent right actively abandoned | ||
AV01 | Patent right actively abandoned |
Granted publication date: 20210928 Effective date of abandoning: 20240125 |
|
AV01 | Patent right actively abandoned |
Granted publication date: 20210928 Effective date of abandoning: 20240125 |