CN112927348B - 一种基于多视点rgbd相机高分辨率人体三维重建方法 - Google Patents

一种基于多视点rgbd相机高分辨率人体三维重建方法 Download PDF

Info

Publication number
CN112927348B
CN112927348B CN202110193747.3A CN202110193747A CN112927348B CN 112927348 B CN112927348 B CN 112927348B CN 202110193747 A CN202110193747 A CN 202110193747A CN 112927348 B CN112927348 B CN 112927348B
Authority
CN
China
Prior art keywords
camera
human body
sampling
sampling point
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202110193747.3A
Other languages
English (en)
Other versions
CN112927348A (zh
Inventor
于涛
吉朝南
戴翘楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weilan Technology Co ltd
Original Assignee
Beijing Weilan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weilan Technology Co ltd filed Critical Beijing Weilan Technology Co ltd
Priority to CN202110193747.3A priority Critical patent/CN112927348B/zh
Publication of CN112927348A publication Critical patent/CN112927348A/zh
Application granted granted Critical
Publication of CN112927348B publication Critical patent/CN112927348B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法包括如下步骤：准备数据训练集；提取图像特征；对空间点进行采样；计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；通过MLP神经网络预测每个采样点在空间中处于模型表面的概率，从而能完成人体三维模型几何表面重建，采用相同的步骤同样可完成人体三维模型表面纹理重建，从而得到具有高分辨的的人体三维重建模型，该技术可应用于AR/VR交互与远距离交流等领域。

Description

一种基于多视点RGBD相机高分辨率人体三维重建方法
技术领域
本发明涉及到计算机视觉中的三维重建技术领域，尤其涉及到一种基于多视点RGBD相机高分辨率人体三维重建方法。
背景技术
近年来随着计算机视觉技术的发展与计算硬件性能的提高，计算机视觉逐步从二维图像处理转向三维重建领域，其中人体模型三维重建是一个研究热点。精确的重建三维人体模型能够为未来的AR/VR交互打下坚实基础。
从使用的硬件设备上来看，现有的人体模型三维重建方法大多依赖于RGB相机或者RGBD相机，其中RGB相机无法提供深度信息，不可避免地会出现深度模糊现象，重建质量不高；相较之下，RGBD相机能够提供准确的图像深度信息，模型重建效果更好。
从使用相机的数量上来看，多视点相机标定较为复杂但是能够提供更多信息，重建质量高；单视角相机使用方便，但是信息较少。
从生成模型的存储方式来看，传统的人体重建大多基于体素(voxel) 表达，是一种显示表达，随着分辨率的提升对存储空间的需求也大幅提升，限制了其模型重建分辨率。
还有一些人体重建是基于已有的参数化人体模型，例如SMPL模型，具有较强的鲁棒性。但是这些参数化模型只能生成人体模型，无法生成表面的衣物，需要单独计算衣物与人体模型的耦合方式，后续处理复杂。
为克服传统人体三维重建分辨率低、内存消耗大等问题，本发明提出了一种基于多视点RGBD相机高分辨率人体三维重建方法。
发明内容
本发明的目的是为了克服现有技术的不足，提供了一种基于多视点 RGBD相机高分辨率人体三维重建方法及系统。
本发明是通过以下技术方案实现：
本发明提供了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：
S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到一组输入图像；
S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图；
S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点；
S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；
S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；
S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；
S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。
优选的，步骤S2中，利用多视点相机捕捉的一组图像数量为k。
优选的，步骤S4中，每个采样点共有k组特征。
优选的，步骤S2中，使用Hrnet提取图像特征。
优选的，步骤S3中，采用的高斯曲率采样方法属于自适应采样。
优选的，步骤S5中，计算每个采样点的psdf的表达式为：psdf＝Vz- depth；其中，Vz是空间点在相机坐标系下的Z轴坐标，depth是深度相机测得的深度。
附图说明
图1是PSDF方法计算空间点深度的示意图；
图2是基于高斯曲率的采样方法的示意图；
图3是图片特征融合方法的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解本发明实施例提供的基于多视点RGBD相机高分辨率人体三维重建方法及系统，下面结合附图及具体的实施例对其进行详细说明。
本发明实施例提供了一种基于多视点RGBD相机高分辨率人体三维重建方法，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：
S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到一组输入图像。
S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图。该步骤中，利用多视点相机捕捉的一组图像数量为k。该步骤中，具体使用Hrnet提取图像特征。
S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点。该步骤中，采用的高斯曲率采样方法属于自适应采样。
S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征。该步骤中，每个采样点共有k组特征。
S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重。
S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入。
S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。
上述步骤重建了人体三维模型的几何表面，模型表面的纹理推断步骤与之类同，只是隐函数预测的值转换为空间点对应的RGB颜色，在此不再赘述。
上述步骤S5中计算每个采样点的psdf时，采用如图1所示的计算方法，图1是PSDF方法计算空间点深度的示意图。如图1所示，图中左侧弧形曲线为三维模型表面，Vz是空间点在相机坐标系下的Z轴坐标，depth是深度相机测得的深度，则：psdf＝Vz-depth，替代深度值作为特征值输入。若空间点Vz在三维模型表面上，则psdf趋近于0；若空间点Vz在三维模型表面内侧或外侧远离三维模型表面，则psdf绝对值会变大。
采用上方法应用于多视点RGBD相机重建人体模型时，下面我们以具体的实施例进行举例说明，具体如下：
S1：准备数据训练集，数据训练集可来源于商业公司(TwinDom Inc)，训练集共包含500个高质量人体三维模型，每个模型渲染60个不同视点，共有30000张二维图像，训练网络输入图像分辨率为512×512，包含RGBD 四个通道。
S2：使用Hrnet提取图像特征，多视点相机共k个视点，单个人体对应k张二维图像输入，经HRnet得到k张特征图。特征图尺寸为64，通道数为256，k取4。
S3：对空间点进行采样，具体使用基于高斯曲率的采样方法对空间点进行采样，如图2所示，图2是基于高斯曲率的采样方法的示意图。图2 显示了基于高斯曲率的采样方法。高斯曲率采样方法属于自适应采样，在平滑的表面高斯曲率较小，在高斯曲率小的平滑表面采样点密度低；在复杂的表面附近，例如衣服褶皱、面部等，高斯曲率较大，在高斯曲率大的复杂表面采样点密度大，保留更多的高频成分，能够较好的保存三维重建表面细节。采样点个数为5000，高斯曲率值大小的判断阈值为0.005。
S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征。具体的，将步骤S3中的采样点投影到k张特征图上，插值得到该点的k组特征值，计算该点的psdf＝Vz-depth，则该点特征值可以表示为：
Figure GDA0003270596170000051
S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重，即计算空间点特征值。将步骤 S4中计算得到的图片特征与空间点的坐标值与psdf值结合，得到该点的特征值为：F＝(F，x，y，z，psdf)。
S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入，具体来说是将空间点特征值作为MLP网络的输入。如图3所示，图3是图片特征融合方法的示意图，图3显示了图片特征融合方法。对每个空间点对应的一组特征(由k张图片得到k个特征) 进行加权平均，采用每个空间点在k张图片上对应的psdf作为权重。空间点为V，两个相机Camera 0，Camera 1位于空间不同位置，Object为被观测物体，将点V分别投影到Camera 0，Camera 1捕捉图像的特征图上，得到两组特征 F1，F2，则最终点V的特征值可以表示为：
Figure GDA0003270596170000061
拓展到k个相机：
Figure GDA0003270596170000062
S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率，即MLP输出该空间点是三维重建表面的概率。
MLP输出该空间点在三维重建表面的概率之后，计算损失函数。损失函数使用标准最小均方误差(MSE)。
然后设置训练参数。优化器使用Adam优化器，学习率1e-4，每个batch 大小为3，epoch为200，每训练50个epoch学习率下降为原来的十分之一。
Figure GDA0003270596170000063
本发明利用隐式函数表达三维重建后的人体模型，预测空间中各点为重建模型表面的可能性，理论上可以重建任意分辨率模型。利用卷积神经网络提取相机采集到的图像特征并进行融合，结合深度相机采集到的深度信息计算每个空间点的psdf，之后采用全连接层进行预测，从而得到高分辨率的人体三维模型。
通过上述描述不难发现，本发明提供的方法能完成人体三维模型几何表面重建，采用相同的步骤同样可完成人体三维模型表面纹理重建，从而得到具有高分辨的的人体三维重建模型，该技术可应用于AR/VR交互与远距离交流等领域。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，该方法应用于多视点RGBD相机重建人体模型时，包括以下步骤：
S1：准备数据训练集，即利用深度摄像机采集真实人体三维模型并进行预处理，对模型进行不同视角、不同光照、不同背景下的渲染，得到一组输入图像；
S2：提取图像特征，即将多视点相机捕捉的一组图像作为输入，利用卷积神经网络得到每张图像对应的特征图；
S3：对空间点进行采样，即在空间中采用基于高斯曲率采样的方式采样n个点；
S4：计算每个采样点投影在多视点相机采集到的图像上的位置，并计算所对应的特征；
S5：结合深度摄像机的空间点深度信息，计算每个采样点的psdf作为该采样点对应不同图像特征值融合的权重；
S6：利用每个采样点的psdf作为权重对采样点的特征值进行融合，并作为MLP神经网络的输入；
S7：通过MLP神经网络预测每个采样点在空间中处于模型表面的概率。
2.如权利要求1所述的基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，步骤S2中，利用多视点相机捕捉的一组图像数量为k。
3.如权利要求2所述的基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，步骤S4中，每个采样点共有k组特征。
4.如权利要求3所述的基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，步骤S2中，使用Hrnet提取图像特征。
5.如权利要求4所述的基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，步骤S3中，采用的高斯曲率采样方法属于自适应采样。
6.如权利要求5所述的基于多视点RGBD相机高分辨率人体三维重建方法，其特征在于，步骤S5中，计算每个采样点的psdf的表达式为：
psdf＝Vz-depth；其中，Vz是空间点在相机坐标系下的Z轴坐标，depth是深度相机测得的深度。
CN202110193747.3A 2021-02-20 2021-02-20 一种基于多视点rgbd相机高分辨率人体三维重建方法 Withdrawn - After Issue CN112927348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110193747.3A CN112927348B (zh) 2021-02-20 2021-02-20 一种基于多视点rgbd相机高分辨率人体三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110193747.3A CN112927348B (zh) 2021-02-20 2021-02-20 一种基于多视点rgbd相机高分辨率人体三维重建方法

Publications (2)

Publication Number Publication Date
CN112927348A CN112927348A (zh) 2021-06-08
CN112927348B true CN112927348B (zh) 2022-03-08

Family

ID=76170023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110193747.3A Withdrawn - After Issue CN112927348B (zh) 2021-02-20 2021-02-20 一种基于多视点rgbd相机高分辨率人体三维重建方法

Country Status (1)

Country Link
CN (1) CN112927348B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658329A (zh) * 2021-08-17 2021-11-16 南方电网调峰调频发电有限公司有限责任有限公司 一种建筑物体框模型精细三维建模方法及系统
CN115100383B (zh) * 2022-08-24 2022-11-15 深圳星坊科技有限公司 基于普通光源的镜面物体三维重建方法、装置和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476884A (zh) * 2020-03-30 2020-07-31 清华大学 基于单帧rgbd图像的实时三维人体重建方法及系统
CN111968238A (zh) * 2020-08-22 2020-11-20 晋江市博感电子科技有限公司 基于动态融合算法的人体彩色三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462302B (zh) * 2020-03-05 2022-06-03 清华大学 基于深度编码网络的多视点人体动态三维重建方法及系统
CN112330795B (zh) * 2020-10-10 2022-10-28 清华大学 基于单张rgbd图像的人体三维重建方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476884A (zh) * 2020-03-30 2020-07-31 清华大学 基于单帧rgbd图像的实时三维人体重建方法及系统
CN111968238A (zh) * 2020-08-22 2020-11-20 晋江市博感电子科技有限公司 基于动态融合算法的人体彩色三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras;Yuxiang Zhang 等;《arXiv:2002.12625》;20200228;全文 *
自动驾驶场景下的实时单目测距研究;杨雪姣;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200815;全文 *

Also Published As

Publication number Publication date
CN112927348A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN107578436B (zh) 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN112927348B (zh) 一种基于多视点rgbd相机高分辨率人体三维重建方法
CN106875437A (zh) 一种面向rgbd三维重建的关键帧提取方法
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN114998515A (zh) 一种基于多视角图像的3d人体自监督重建方法
CN113421328A (zh) 一种三维人体虚拟化重建方法及装置
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
CN115239870A (zh) 基于注意力代价体金字塔的多视图立体网络三维重建方法
CN112785692A (zh) 一种基于深度uv先验的单视角多人人体重建方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN111640172A (zh) 一种基于生成对抗网络的姿态迁移方法
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN112489198A (zh) 一种基于对抗学习的三维重建系统及其方法
CN114758070A (zh) 基于跨域多任务的单张图像三维人体精细重建方法
JP2024510230A (ja) 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN113989434A (zh) 一种人体三维重建方法及设备
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115731345A (zh) 基于双目视觉的人体三维重建方法
CN115619974A (zh) 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质
CN115761116A (zh) 一种基于单目相机的透视投影下三维人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned

Granted publication date: 20220308

Effective date of abandoning: 20231018

AV01 Patent right actively abandoned

Granted publication date: 20220308

Effective date of abandoning: 20231018