CN115861570A - 基于光度一致性匹配和优化算法的多视角人体重建方法 - Google Patents

基于光度一致性匹配和优化算法的多视角人体重建方法 Download PDF

Info

Publication number
CN115861570A
CN115861570A CN202211559220.9A CN202211559220A CN115861570A CN 115861570 A CN115861570 A CN 115861570A CN 202211559220 A CN202211559220 A CN 202211559220A CN 115861570 A CN115861570 A CN 115861570A
Authority
CN
China
Prior art keywords
human body
body surface
point cloud
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211559220.9A
Other languages
English (en)
Inventor
林利翔
干淇钧
朱建科
郑鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huanxiang Technology Co ltd
Original Assignee
Hangzhou Huanxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huanxiang Technology Co ltd filed Critical Hangzhou Huanxiang Technology Co ltd
Priority to CN202211559220.9A priority Critical patent/CN115861570A/zh
Publication of CN115861570A publication Critical patent/CN115861570A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于光度一致性匹配和优化算法的多视角人体重建方法。包括：首先根据人体掩码图像通过视觉外壳算法获取粗糙人体表面；再使用光度一致性约束来优化从视觉外壳初始化的形状，从而获得稠密人体表面模型；接着利用漫反射原理计算光照系数，最后使用明暗优化算法对稠密人体表面模型进行高速的实时渲染，获得最终的仿真人体模型。本发明能够利用灰度图的对比、保持光度一致性约束和可微渲染来优化初始化粗糙表面，提出利用漫反射原理对漫反射率和光照的估计，能有效地解决表面不平滑、几何细节不明显、颜色估计的问题。本发明能够通过图像中光影、颜色的差别来优化人体表面。

Description

基于光度一致性匹配和优化算法的多视角人体重建方法
技术领域
本发明涉及三维人体重建领域的一种多视角的高精度人体重建方法，具体涉及一种基于光度一致性匹配和优化算法的多视角人体重建方法。
背景技术
从多视图图像进行人体三维重建已经研究了许久，因为它对于许多现实世界应用至关重要，包括运动捕捉、数字娱乐、虚拟试穿等。仅考虑RGB图像，由于人体的高形状外观模糊性和复杂性，直接估计人体几何结构具有挑战性。此外，复杂的服装风格往往导致人类重建的额外困难。
为了降低人类重建的复杂性，提出了统计人体模型，如SCAPE和SMPL，以通过主成分分析(PCA)和混合蒙皮构建的参数模型来减少搜索空间。3D人体重建现在被重新表述为模型参数估计问题。尽管已经取得了有希望的结果，但这些参数化模型只能捕捉不穿衣服的最小身体的形状和姿势。他们缺乏用普通衣服和几何细节来表现人类的能力。
近来，还提出了神经渲染方法。但这些神经渲染方法无法恢复精确的几何图形。由于几何图形和外观之间的模糊性，仅通过渲染损失来获得准确的形状是不够的。任何图像都可以用具有复杂外观的平面或具有简单外观的复杂几何体来解释。深度神经网络可以产生光滑的表面，因为不同视图之间的颜色差异被神经网络过度拟合。浅层神经网络可能由于表现能力差而导致局部最优。需要明确添加多视图一致性约束，以确保精确的形状恢复。
此外，这些神经渲染方法在运行时表现不佳。训练这些方法需要很长时间，因为隐式的多层感知机表示并不简单。梯度随着链式规则而减小，并导致缓慢收敛。渲染时间也难以忍受，因为每个像素的颜色都需要前向网络推断。如果为了快速渲染时间而增加渲染批处理大小，则需要更多的GPU内存，即使如此，它仍然离实时渲染很远。
发明内容
为了能够从多视角图像中快速、有效、鲁棒的恢复精细几何细节的人体表面，解决失真、伪影、时间长等问题，本发明提出一种基于光度一致性匹配和优化算法的多视角人体重建方法，具体是一种光度一致性匹配优化表面方法和一种使用明暗颜色的细微差别来恢复精细化几何纹理的重建方法。本发明通过简单快速的视觉外壳得到人体初步表面后，使用多视角之间的光度一致性约束来恢复人体表面，后利用明暗优化方法增强人体几何纹理细节。方法简单高效，能够在多视角图像中恢复高细节三维人体表面。
本发明的技术方案如下：
S1：采集并获得静态人体在多视角下的原始位姿图像及对应的人体掩码图像、相机参数，再根据不同视角下的原始位姿图像和对应的人体掩码图像，获得对应视角下的掩码位姿图像；
S2：根据多视角下的人体掩码图像和对应相机参数，利用视觉外壳算法在空间内获取粗糙的三维人体表面模型；
S3：对粗糙的三维人体表面模型进行点云采样，获得初始三维人体表面点云，基于初始三维人体表面点云利用可微分解算器和可微分重建生成水密的人体网格模型；
S4：根据初始三维人体表面点云和水密的人体网格模型重建获得稠密人体表面模型；
S5：根据稠密人体表面模型，依据漫反射原理计算不同视角中的最小化灰度值与光照度之间的差异，获得稠密人体表面模型的光照系数；
S6：基于光照系数，使用明暗优化算法来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型。
所述S1中，人体掩码图像中的白色为人体，黑色为背景，人体掩码图像与对应的原始位姿图像对齐。
所述S1中，相机参数为相机内参矩阵K以及相机外参的旋转矩阵R和平移向量t。
所述S4具体为：
S4.1：根据当前三维人体表面点云和多视角下的人体掩码图像计算获得轮廓损失，利用轮廓损失来限制水密的人体网格模型中掩码内的网络边界，获得优化后的三维人体表面点云并更新；
S4.2：重复S4.1多次，将最终的优化后的三维人体表面点云作为最优三维人体表面点云；
S4.3：基于最优三维人体表面点云对多张掩码位姿图像和对应的相机参数进行图像块匹配和光度一致性的计算，获得三维稀疏点云；
S4.4：重复S4.3多次，对最终获得的三维稀疏点云进行滤波和扩展，获得三维稠密点云；
S4.5：根据三维稠密点云，利用泊松曲面重建方法生成稠密人体表面模型。
所述S4.1中，轮廓损失的计算公式如下：
Figure BDA0003983910520000031
Figure BDA0003983910520000032
其中，
Figure BDA0003983910520000033
表示轮廓损失值，||·||2表示L2范数，i表示视角序号，i＝1-N，Mi表示人体掩码图像，/>
Figure BDA0003983910520000034
表示渲染出来的掩码图像，ζ()是可微分渲染器，π为当前视角的相机参数，V,F分别表示根据当前三维人体表面点云重建获得的人体表面模型中的顶点和面。
所述S4.3具体为：
S4.3.1：使用最优三维人体表面点云重建获得最优人体表面网格模型，确定最优人体表面网格模型中的每一区域在不同视角的相机参数下的图像位置，进而获得不同视角下的掩码位姿图像对应的基于区域的灰度图；
S4.3.2：计算基于区域的灰度图之间的光度一致性，利用光度一致性对最优三维人体表面点云再进行优化，获得三维稀疏点云；
所述最优人体表面网格模型中的每一区域s在不同视角的相机参数下的图像位置具体为：
每一区域s用中心点及其法线来表示，每一区域s与不同视角的掩码位姿图像上像素块q对应，利用可微分渲染器对像素块q渲染后获得不同视角的像素块q中各个像素在区域s中对应的3D位置，从而获得不同视角的像素块点云，具体公式如下：
Figure BDA0003983910520000035
其中，
Figure BDA0003983910520000036
为像素块点云，V',F'分别表示根据最优三维人体表面点云重建获得的人体表面模型中的顶点和面；π为当前视角的相机参数，π(V')表示根据当前视角相机参数计算得到的当前视角下顶点位置。
所述S5具体为：
改变光照系数，根据稠密人体表面模型计算不同视角中的灰度值与光照度之间的差异，将最小的不同视角中的灰度值与光照度之间的差异对应的光照系数作为稠密人体表面模型的光照系数，具体公式如下：
Figure BDA0003983910520000037
其中，
Figure BDA0003983910520000038
表示最小估计差异，||·||2表示L2范数，n表示视角数量，n2表示两两视角之间的比较，x表示空间位置，li是球面谐波系数，Yi()是由模型表面法线nx决定的球面谐波函数，G()将彩色图像或者像素转换为灰度图或灰度值函数，π(x)表示基于当前视角相机参数下的空间位置。
所述S6具体为：
S6.1：基于光照系数，从多视角下的掩码位姿图像中提取人体表面的反照率；
S6.2：构建优化损失函数和正则化项，根据人体表面的反照率和多视角下的掩码位姿图像对优化损失函数和正则化项的反向梯度传播来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型，优化时的优化损失函数和正则化项的公式如下：
Figure BDA0003983910520000041
其中，
Figure BDA0003983910520000042
表示优化损失函数值，|·|表示L1范数，/>
Figure BDA0003983910520000043
表示空间位置x映射在插值反照率图上的反照率值，Ix表示空间位置x映射在掩码位姿图像上的颜色；
Figure BDA0003983910520000044
Figure BDA0003983910520000045
Figure BDA0003983910520000046
其中，
Figure BDA0003983910520000047
表示正则化函数值，/>
Figure BDA0003983910520000048
分别表示第一正则化函数值和第二正则化函数值，L表示拉普拉斯惩罚函数值，V”表示稠密人体表面模型上每个顶点的位置，V''albedo为稠密人体表面模型上每个顶点的反照率。
本发明的有益效果是：
通过采取上述技术方案，本发明方法能够通过多视图图像快速的还原高细节的三维人体表面，利用多个视角之间的光度一致性约束来还原人体表面，利用明暗优化算法获得人体表面的纹理细节。
本发明可以使用简单的着色模型来加快渲染速度，因为一般来说，人类皮肤和衣服的颜色主要来自漫反射。同时，可以恢复更详细的形状。
在本发明中，使用的方法不需要大量的高精度数据集的前提，能够直接通过算法来获得三维人体表面。同时，受益于不需要已有信息的学习训练，方法有较强的鲁棒性。另外，方法的简单有效是该技术能够在短短数分钟内获得高精度人体表面，在工业上有较强的应用价值。
附图说明
图1是本发明实施例的一种基于光度一致性匹配和优化算法的多视角人体重建方法的总体流程图。
图2是本发明实施例的多视角人体重建简单方法框架。
图3是本发明实施例的可视化方案流程和展示梯度传播路线。
具体实施方式
为使本发明的上述目的、特征和优点能够更加简单易懂，下面结合本发明实施例中的附图对本发明做详细说明，对本发明实施例中的技术方案进行清楚、完整的描述，但不构成对本发明的限制。
本实施例的硬件平台采用了型号为Intel i9-12900X CPU，NVIDIA GeForce GTX3090Ti显卡。系统程序采用python语言编写，使用pytorch，numpy，opencv，nvdiffrast库。
本发明的实施例及其实施过程具体如下：
如图1和图3所示，本发明包括以下步骤：
S1：采集并获得静态人体在多视角下的原始位姿图像及对应的人体掩码图像、相机参数，再根据不同视角下的原始位姿图像和对应的人体掩码图像，获得对应视角下的掩码位姿图像；人体掩码图像M中的白色为人体，黑色为背景，人体掩码图像与对应的原始位姿图像对齐。相机参数为相机内参矩阵K以及相机外参的旋转矩阵R和平移向量t。
具体实施中，用同步触发的相机群对目标人进行拍照，获得同时刻下的照片，即人的姿势保持固定。也可以通过用一个相机(手机)对一个固定姿势保持不变的目标人体进行拍摄绕一圈的视频。
针对获得的不同视角下同一个姿势人体，利用工具获得各个视角的相机内参K和相机外参R、t，消除原照片的畸变。
对多视角人体图片生成人体掩码图，让人出现的部分成白色，背景部分成黑色，将人和背景且分开，即标出所需要重建的人体。
S2：根据多视角下的人体掩码图像和对应相机参数，利用视觉外壳算法在空间内获取粗糙的三维人体表面模型
Figure BDA0003983910520000051
可以保为OBJ格式文件，以查看重建结果；
具体地：
利用步骤S1获得的多视角的人体掩码图像，利用相机内外参数将人体掩码图像投射到空间坐标下，空间中能看到的标为1，看不到的置为0。
最后人体占用场中像素点是否有人体有两种决策方式，一种是一票否决权，即为只要有一个视角不可见即为不存在人体；另一种是多数通过权，即为当存在人体的视角比率高于一个阈值时，将像素点标记为存在人体，否则反之。
然后用Marching Cubes算法将人体占用场转换为人体表面。
S3：对粗糙的三维人体表面模型进行点云采样，获得初始三维人体表面点云，基于初始三维人体表面点云利用可微分解算器和可微分重建生成水密的人体网格模型；
可微分解算器为DPSR，用谱方法有效地求解泊松方程。该方法可以用于桥接有方向的点云、隐式指示符函数和网格。该方法允许将任何形状表示为一个轻量型的有方向点云，并为这些点云有效的生成高质量水密网格。由于可微分解算器和可微重建均可导，因此计算的损失可以反向传播以更新有向点云S。由于所有的计算都是可微分的，所以梯度可以直接反向传播到点和法线，公式如下：
χ＝DPSR(S)
其中，χ表示指示器，其中1在人体内，0在人体外；S为从人体表面采样的点云，
Figure BDA0003983910520000061
DPSR()表示可微分解算器函数。
可微重建方法为Differentiable Marching Cubes，公式如下：
Figure BDA0003983910520000062
其中，V,F分别表示水密的人体网格模型的顶点和面，
Figure BDA0003983910520000063
为水密的人体网格模型，DMC()表示可微重建算法。步骤S3整体可微。
S4：根据初始三维人体表面点云和水密的人体网格模型重建获得稠密人体表面模型；
S4.1：根据当前三维人体表面点云和多视角下的人体掩码图像计算获得轮廓损失，利用轮廓损失来限制水密的人体网格模型中掩码内的网络边界，获得优化后的三维人体表面点云并更新；
S4.1中，轮廓损失的计算公式如下：
Figure BDA0003983910520000064
Figure BDA0003983910520000065
其中，
Figure BDA0003983910520000066
表示轮廓损失值，||·||2表示L2范数，i表示视角序号，i＝1-N，Mi表示人体掩码图像，/>
Figure BDA0003983910520000067
表示渲染出来的掩码图像，ζ()是可微分渲染器，π为当前视角的相机参数，V,F分别表示根据当前三维人体表面点云重建获得的人体表面模型中的顶点和面。
S4.2：重复S4.1多次，具体实施中，S4.1重复100次，可根据实际优化情况调整。将最终的优化后的三维人体表面点云作为最优三维人体表面点云；
S4.3：基于最优三维人体表面点云对多张掩码位姿图像和对应的相机参数进行图像块匹配和光度一致性的计算，获得三维稀疏点云；
S4.3具体为：
S4.3.1：使用最优三维人体表面点云重建获得最优人体表面网格模型，确定最优人体表面网格模型中的每一区域在不同视角的相机参数下的图像位置，进而获得不同视角下的掩码位姿图像对应的基于区域的灰度图；每一区域在不同的掩码位姿图像中的灰度图相同。
最优人体表面网格模型中的每一区域s在不同视角的相机参数下的图像位置具体为：
每一区域s用中心点及其法线来表示，每一区域s与不同视角的掩码位姿图像上像素块q对应，利用可微分渲染器对像素块q渲染后获得不同视角的像素块q中各个像素在区域s中对应的精确3D位置，从而获得不同视角的像素块点云，具体公式如下：
Figure BDA0003983910520000071
其中，
Figure BDA0003983910520000072
为像素块点云，即像素块q中各个像素在区域s中对应的精确3D位置，每个像素用相机坐标中对应的3D位置表示；V',F'分别表示根据最优三维人体表面点云重建获得的人体表面模型中的顶点和面；π为当前视角的相机参数，π(V)表示根据当前视角相机参数计算得到的当前视角下顶点位置。
通过以下公式将不同视角的像素块点云转换为同一视角，即进行像素块投影：
Figure BDA0003983910520000073
其中，
Figure BDA0003983910520000074
表示在源视角下区域s的像素块点云，/>
Figure BDA0003983910520000075
表示源视角下的所有像素块点云，πs()表示将世界坐标系下的点云转换到源视角下的函数，/>
Figure BDA0003983910520000076
表示将参考视角下的点云转换到世界坐标系函数，/>
Figure BDA0003983910520000077
表示区域s在参考视角下得到的像素块点云，s表示最优人体表面网格模型的小区块，下标s表示源(source)，下标r表示参考(reference)，/>
Figure BDA0003983910520000078
表示插值运算；
S4.3.2：计算基于区域的灰度图之间的光度一致性，利用光度一致性对最优三维人体表面点云再进行优化，获得三维稀疏点云；
光度一致性具体为将彩色图像I转换为灰色图像G，最大化源区块和参考区块之间的归一化互相关性，具体公式为：
Figure BDA0003983910520000079
其中，NCC(Gr(s),Gs(s))表示区块s在参考图像上的灰度值Gr(s)和在源图像上的灰度值Gs(s)之间的归一化相关性(normalized cross-correlation)，Cov()表示协方差，Var()表示方差。
在比较渲染的面片深度和重新投影的面片厚度，并丢弃差异很大的面片。此外，方法只考虑NCC分数高于某个阈值的区块，以进一步确保区块在所有源视图上可见。
进一步，方法采用多视图光度一致性损失来优化网格：
Figure BDA0003983910520000081
其中δ阈值定义为：
Figure BDA0003983910520000082
其中，δd是深度阈值，δncc是NCC阈值。
Figure BDA0003983910520000083
和/>
Figure BDA0003983910520000084
表示分别对应于小区域s的渲染斑块深度和重投影斑块深度，/>
Figure BDA0003983910520000085
表示区块s在参考图像上的深度值，/>
Figure BDA0003983910520000086
表示将参考视角下的点云转换到世界坐标系函数，πs()表示将世界坐标系下的点云转换到源视角下的函数。
此步骤当中，方法获得基于多视图之间的光度一致性约束优化后的人体表面。
S4.4：重复S4.3多次，具体实施中，S4.3重复10次，可根据实际优化情况调整。，对三维稀疏点云进行滤波和扩展，获得三维稠密点云；
S4.5：根据三维稠密点云，利用泊松曲面重建方法生成稠密人体表面模型。
S5：根据稠密人体表面模型，依据漫反射原理计算不同视角中的最小化灰度值与光照度之间的差异，获得稠密人体表面模型的光照系数；
S5具体为：
改变光照系数，根据稠密人体表面模型利用最小二乘法计算不同视角中的灰度值与光照度之间的差异，将最小的不同视角中的灰度值与光照度之间的差异对应的光照系数作为稠密人体表面模型的光照系数，具体公式如下：
Figure BDA0003983910520000087
其中，
Figure BDA0003983910520000088
表示最小估计差异，||·||2表示L2范数，n表示视角数量，n2表示两两视角之间的比较，x表示空间位置，li是球面谐波系数，Yi()是由模型表面法线nx决定的球面谐波函数，G()将彩色图像或者像素转换为灰度图或灰度值函数，π(x)表示基于当前视角相机参数下的空间位置。
S6：基于光照系数，使用明暗优化算法来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型(即高精度人体模型)。
S6中明暗优化算法主要目的是获取三维人体表面每一个位置的反照率和优化人体表面模型的顶点位置。
S6具体为：
S6.1：基于光照系数，从多视角下的掩码位姿图像中提取人体表面的反照率；每一视角下的反照率图的公式如下：
Figure BDA0003983910520000091
其中，
Figure BDA0003983910520000092
是插值反照率图，Va'l'bedo为稠密人体表面模型上每个顶点的反照率。
S6.2：构建优化损失函数和正则化项，根据人体表面的反照率和多视角下的掩码位姿图像对优化损失函数和正则化项的反向梯度传播来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型，优化时的优化损失函数和正则化项的公式如下：
Figure BDA0003983910520000093
其中，
Figure BDA0003983910520000094
表示优化损失函数值，|·|表示L1范数，/>
Figure BDA0003983910520000095
表示空间位置x映射在插值反照率图上的反照率值，Ix表示空间位置x映射在掩码位姿图像上的颜色；
为了防止优化陷入过度拟合或者停留于局部最优，引入正则化项来惩罚表面变形和纹理一致性。
Figure BDA0003983910520000096
/>
Figure BDA0003983910520000097
Figure BDA0003983910520000098
其中，
Figure BDA0003983910520000099
表示正则化函数值，/>
Figure BDA00039839105200000910
分别表示第一正则化函数值和第二正则化函数值，L表示拉普拉斯惩罚函数，V”表示稠密人体表面模型上每个顶点的位置，Va'l'bedo为稠密人体表面模型上每个顶点的反照率。通过/>
Figure BDA00039839105200000911
的反向梯度传播来获取人体表面顶点的反照率Va'l'bedo和优化人体表面顶点V”的位置。
本发明实施例提出的一种基于光度一致性匹配和优化算法的多视角人体重建方法，总概括的六个步骤如图2所示，能够仅仅从多个图像视角来恢复静止不动的高细节三维人体，使用多视角之间的光度一致性约束来表现人体形状，使用明暗优化算法恢复人体表面的几何纹理细节，使用可微分渲染和可微分解算器，明显有效解决在优化过程中的梯度传播问题，将图像的像素和三维空间中的顶点联系起来，实现快速的优化生成高精度三维人体。从成本和性能考虑，本发明方法也更有利于多视角人体重建方法落地于个体肖像生成、虚拟人、元宇宙等场景。

Claims (9)

1.一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，包括以下步骤：
S1：采集并获得静态人体在多视角下的原始位姿图像及对应的人体掩码图像、相机参数，再根据不同视角下的原始位姿图像和对应的人体掩码图像，获得对应视角下的掩码位姿图像；
S2：根据多视角下的人体掩码图像和对应相机参数，利用视觉外壳算法在空间内获取粗糙的三维人体表面模型；
S3：对粗糙的三维人体表面模型进行点云采样，获得初始三维人体表面点云，基于初始三维人体表面点云利用可微分解算器和可微分重建生成水密的人体网格模型；
S4：根据初始三维人体表面点云和水密的人体网格模型重建获得稠密人体表面模型；
S5：根据稠密人体表面模型，依据漫反射原理计算不同视角中的最小化灰度值与光照度之间的差异，获得稠密人体表面模型的光照系数；
S6：基于光照系数，使用明暗优化算法来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型。
2.根据权利要求1所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S1中，人体掩码图像中的白色为人体，黑色为背景，人体掩码图像与对应的原始位姿图像对齐。
3.根据权利要求1所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S1中，相机参数为相机内参矩阵K以及相机外参的旋转矩阵R和平移向量t。
4.根据权利要求1所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S4具体为：
S4.1：根据当前三维人体表面点云和多视角下的人体掩码图像计算获得轮廓损失，利用轮廓损失来限制水密的人体网格模型中掩码内的网络边界，获得优化后的三维人体表面点云并更新；
S4.2：重复S4.1多次，将最终的优化后的三维人体表面点云作为最优三维人体表面点云；
S4.3：基于最优三维人体表面点云对多张掩码位姿图像和对应的相机参数进行图像块匹配和光度一致性的计算，获得三维稀疏点云；
S4.4：重复S4.3多次，对最终获得的三维稀疏点云进行滤波和扩展，获得三维稠密点云；
S4.5：根据三维稠密点云，利用泊松曲面重建方法生成稠密人体表面模型。
5.根据权利要求4所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S4.1中，轮廓损失的计算公式如下：
Figure QLYQS_1
Figure QLYQS_2
其中，
Figure QLYQS_3
表示轮廓损失值，||·||2表示L2范数，i表示视角序号，i＝1-N，Mi表示人体掩码图像，/>
Figure QLYQS_4
表示渲染出来的掩码图像，ζ()是可微分渲染器，π为当前视角的相机参数，V,F分别表示根据当前三维人体表面点云重建获得的人体表面模型中的顶点和面。
6.根据权利要求4所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S4.3具体为：
S4.3.1：使用最优三维人体表面点云重建获得最优人体表面网格模型，确定最优人体表面网格模型中的每一区域在不同视角的相机参数下的图像位置，进而获得不同视角下的掩码位姿图像对应的基于区域的灰度图；
S4.3.2：计算基于区域的灰度图之间的光度一致性，利用光度一致性对最优三维人体表面点云再进行优化，获得三维稀疏点云。
7.根据权利要求6所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述最优人体表面网格模型中的每一区域s在不同视角的相机参数下的图像位置具体为：
每一区域s用中心点及其法线来表示，每一区域s与不同视角的掩码位姿图像上像素块q对应，利用可微分渲染器对像素块q渲染后获得不同视角的像素块q中各个像素在区域s中对应的3D位置，从而获得不同视角的像素块点云，具体公式如下：
Figure QLYQS_5
其中，
Figure QLYQS_6
为像素块点云，V',F'分别表示根据最优三维人体表面点云重建获得的人体表面模型中的顶点和面；π为当前视角的相机参数，π(V')表示根据当前视角相机参数计算得到的当前视角下顶点位置。
8.根据权利要求1所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S5具体为：
改变光照系数，根据稠密人体表面模型计算不同视角中的灰度值与光照度之间的差异，将最小的不同视角中的灰度值与光照度之间的差异对应的光照系数作为稠密人体表面模型的光照系数，具体公式如下：
Figure QLYQS_7
其中，
Figure QLYQS_8
表示最小估计差异，||·||2表示L2范数，n表示视角数量，n2表示两两视角之间的比较，x表示空间位置，li是球面谐波系数，Yi()是由模型表面法线nx决定的球面谐波函数，G()将彩色图像或者像素转换为灰度图或灰度值函数，π(x)表示基于当前视角相机参数下的空间位置。
9.根据权利要求1所述的一种基于光度一致性匹配和优化算法的多视角人体重建方法，其特征在于，所述S6具体为：
S6.1：基于光照系数，从多视角下的掩码位姿图像中提取人体表面的反照率；
S6.2：构建优化损失函数和正则化项，根据人体表面的反照率和多视角下的掩码位姿图像对优化损失函数和正则化项的反向梯度传播来优化稠密人体表面模型的几何结构，生成最终的仿真人体模型，优化时的优化损失函数和正则化项的公式如下：
Figure QLYQS_9
其中，
Figure QLYQS_10
表示优化损失函数值，|·|表示L1范数/>
Figure QLYQS_11
表示空间位置x映射在插值反照率图上的反照率值，Ix表示空间位置x映射在掩码位姿图像上的颜色；
Figure QLYQS_12
Figure QLYQS_13
Figure QLYQS_14
其中，
Figure QLYQS_15
表示正则化函数值，/>
Figure QLYQS_16
分别表示第一正则化函数值和第二正则化函数值，L表示拉普拉斯惩罚函数值，V”表示稠密人体表面模型上每个顶点的位置，V''albedo为稠密人体表面模型上每个顶点的反照率。/>
CN202211559220.9A 2022-12-06 2022-12-06 基于光度一致性匹配和优化算法的多视角人体重建方法 Pending CN115861570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211559220.9A CN115861570A (zh) 2022-12-06 2022-12-06 基于光度一致性匹配和优化算法的多视角人体重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559220.9A CN115861570A (zh) 2022-12-06 2022-12-06 基于光度一致性匹配和优化算法的多视角人体重建方法

Publications (1)

Publication Number Publication Date
CN115861570A true CN115861570A (zh) 2023-03-28

Family

ID=85670484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211559220.9A Pending CN115861570A (zh) 2022-12-06 2022-12-06 基于光度一致性匹配和优化算法的多视角人体重建方法

Country Status (1)

Country Link
CN (1) CN115861570A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310141A (zh) * 2023-04-19 2023-06-23 深锶科技(北京)有限公司 基于隐式场概率分布预测的3d数字人重建方法及装置
CN116978102A (zh) * 2023-08-04 2023-10-31 深圳市英锐存储科技有限公司 一种人脸特征建模识别方法、芯片及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310141A (zh) * 2023-04-19 2023-06-23 深锶科技(北京)有限公司 基于隐式场概率分布预测的3d数字人重建方法及装置
CN116978102A (zh) * 2023-08-04 2023-10-31 深圳市英锐存储科技有限公司 一种人脸特征建模识别方法、芯片及终端

Similar Documents

Publication Publication Date Title
Sengupta et al. Neural inverse rendering of an indoor scene from a single image
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US11908233B2 (en) Normalization of facial images using deep neural networks
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
WO2022001236A1 (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN111445582A (zh) 一种基于光照先验的单张图像人脸三维重建方法
CN109255831A (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN115861570A (zh) 基于光度一致性匹配和优化算法的多视角人体重建方法
CN113298936B (zh) 一种基于深度学习的多rgb-d全脸材质恢复方法
CN110223387A (zh) 一种基于深度学习的三维模型重建技术
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN111462300A (zh) 衣物物理模型驱动的实时人体动态三维重建方法及系统
CN113111861A (zh) 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
CN106127818A (zh) 一种基于单幅图像的材质外观获取系统及方法
CN112784621A (zh) 图像显示方法及设备
CN115951784B (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN115428027A (zh) 神经不透明点云
CN113313828A (zh) 基于单图片本征图像分解的三维重建方法与系统
CN116385619A (zh) 对象模型渲染方法、装置、计算机设备和存储介质
CN116310228A (zh) 一种针对遥感场景的表面重建与新视图合成方法
Cushen et al. Markerless real-time garment retexturing from monocular 3d reconstruction
CN113112596B (zh) 人脸几何模型提取、3d人脸重建方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination