CN114494611A

CN114494611A - 基于神经基函数的智能三维重建方法、装置、设备及介质

Info

Publication number: CN114494611A
Application number: CN202210405445.2A
Authority: CN
Inventors: 于涛
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2022-04-18
Filing date: 2022-04-18
Publication date: 2022-05-13
Anticipated expiration: 2042-04-18
Also published as: CN114494611B

Abstract

本申请涉及图像处理技术领域，特别涉及一种基于神经基函数的智能三维重建方法、装置、设备及介质，方法包括：通过预先训练的MLP网络模型预测与视角相关的神经基函数系数，确定球坐标系下的与视角相关的神经基函数；由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图；将人体表面材质RGB图和人体几何模型对应纹理贴图，得到体现人体表面材质的人体三维模型，渲染人体三维模型的多视角2D图像，得到人体表面材质重建结果。由此，通过神经基函数扩展人体表面贴图的像素点表示，实现不同视角的渲染结果，呈现出各向异性的折射反射效果，能够表示表面材质信息的三维人体重建。

Description

基于神经基函数的智能三维重建方法、装置、设备及介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种基于神经基函数的智能三维重建方法、装置、设备及介质。

背景技术

目前，基于多视角的三维表面重建工作主要可以分为基于参数化模型的重建和基于隐式表示的重建。其中，基于参数化模型的重建通常在人体参数化模型（Skinned Multi-Person LinearModel，SMPL）的基础上添加顶点偏移（SMPL+Displacement，SMPL+D）表示穿衣人体。这种方式对人体表述简单紧凑，容易被参数化，但是，SMPL+D难以表示与参数化模型网格拓扑没有明显映射关系的衣物，如裙子、敞开的外套等。为了规避了参数化表示对空间内复杂几何描述的限制，基于隐式场表示的重建定义并建模三维空间内连续的标量值函数，如占有场（occupancy field，OF）和符号距离场（signed distance field，SDF）。

相关技术中，多采用多层感知机（Multilayer perception，MLP）来表示连续的标量值函数。相关技术中的方法通过引入像素对齐的隐式函数使用MLP预测空间中点的占有值，并通过更高精度的特征和法向信息获得了更精细的穿衣人体几何。

然而，相关技术中重建出的人体表面不够生动、逼真，有损于真实感。主要原因是，现有重建结果表示出的物体表面各向同性，仅与漫反射有关，与视角无关，无法体现表面材质，而在真实条件下当变换视角时，对于人体表面产生非朗伯反射的区域，如眼镜、皮衣、头发等，其表面会产生和视点相关的反射和折射效果。

另外，对于非朗伯表面的三维重建，现有基于图像的三维重建如结构光三维扫描和立体匹配等难以重建出纹理较弱或具有反射高光的表面。基于光照模型的光度立体算法可以对场景在不同光照条件下建模从而学习物体表面材质，这种方法依赖于硬件系统和光照的先验信息，难以实现高效的表面重建和渲染。基于场景扫描的摄影测量方法直接将扫描得到的场景高光映射为表面纹理信息，仍然有损于真实感，并且同样依赖于成熟昂贵的硬件系统。

发明内容

本申请提供一种基于神经基函数的智能三维重建方法、装置、设备及介质，以解决现有重建结果无法体现表面材质，有损于真实感的问题，通过神经基函数扩展人体表面贴图的像素点表示，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。

本申请第一方面实施例提供一种基于神经基函数的智能三维重建方法，包括以下步骤：

通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数；

由所述与视角相关的神经基函数和所述神经基函数系数的内积表示人体表面贴图像素点的RGB（RGB color mode，RGB色彩模式）三通道值，得到人体表面材质RGB图；以及

将所述人体表面材质RGB图和人体几何模型进行对应纹理贴图，得到体现所述人体表面材质的人体三维模型，并渲染所述人体三维模型的多视角2D图像，得到人体表面材质重建结果。

可选地，在通过所述预先训练的MLP网络模型预测与视角相关的神经基函数系数之前，还包括：

获取人体在多个角度和多个方位的多张图片，并基于每张图片计算生成所述人体的掩膜图片；

将所述多张图片和所述多张图片对应的掩膜图片作为输入，对每个像素点提取高维特征，基于所述高维特征和人体几何表面训练MLP网络，得到所述预先训练的MLP网络模型，其中，所述人体几何表面由利用隐式表示定义一个连续的三维空间标量值函数得到；

将所述多张图片输入至所述预先训练的MLP网络模型预测得到三维空间占有场，并通过等值立体搜寻算法重建所述人体几何模型。

可选地，所述由所述与视角相关的神经基函数和所述神经基函数系数的内积表示所述人体表面贴图像素点的RGB三通道值的公式如下：

；

其中，

为内积表示，

为表面法向量，

为当前视角下P像素下的基础RGB值，

为P像素下视角相关的反射系数，

为神经基函数。

可选地，所述与视角相关的神经基函数映射表示为：

；

其中，

为所述与视角相关的神经基函数映射，

为实数域的数学表示。

可选地，所述神经渲染公式为：

；

其中，

为最终渲染颜色，

为内积计算公式，

为相机采样光线，

为所述人体三维模型的最近边界，

为所述人体三维模型的最远边界。

本申请第二方面实施例提供一种基于神经基函数的智能三维重建装置，包括：

确定模块，用于通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数；

计算模块，用于由所述与视角相关的神经基函数和所述神经基函数系数的内积表示所述人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图；以及

重建模块，用于将所述人体表面材质RGB图和人体几何模型进行对应纹理贴图，得到体现所述人体表面材质的人体三维模型，并渲染所述人体三维模型的多视角2D图像，得到人体表面材质重建结果。

可选地，在通过所述预先训练的MLP网络模型预测与视角相关的神经基函数系数之前，所述确定模块还用于：

；

其中，

为内积表示，

为表面法向量，

为当前视角下P像素下的基础RGB值，

为P像素下视角相关的反射系数，

为神经基函数。

可选地，所述与视角相关的神经基函数映射表示为：

；

其中，

为所述与视角相关的神经基函数映射，

为实数域的数学表示。

可选地，所述神经渲染公式为：

；

其中，

为最终渲染颜色，

为内积计算公式，

为相机采样光线，

为所述人体三维模型的最近边界，

为所述人体三维模型的最远边界。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于神经基函数的智能三维重建方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于神经基函数的智能三维重建方法。

由此，通过神经基函数扩展人体表面贴图的像素点表示，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种基于神经基函数的智能三维重建方法的流程图；

图2为根据本申请一个实施例的基于神经基函数的智能三维重建方法的流程图；

图3为根据本申请实施例的基于神经基函数的智能三维重建装置的方框示意图；

图4为根据本申请实施例的电子设备的示例图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于神经基函数的智能三维重建方法、装置、设备及介质。针对上述背景技术中心提到的现有重建结果无法体现表面材质，有损于真实感的问题，本申请提供了一种基于神经基函数的智能三维重建方法，在该方法中，通过神经基函数扩展人体表面贴图的像素点表示，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。

具体而言，图1为本申请实施例所提供的一种基于神经基函数的智能三维重建方法的流程示意图。该实施例中，硬件采集实施系统包括：相机或可拍照的手机以及自然光室外拍摄环境，该基于神经基函数的智能三维重建方法主要用于人体表面材质重建。

如图1所示，该基于神经基函数的智能三维重建方法包括以下步骤：

在步骤S101中，通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数。

应当理解的是，本申请实施例可以通过预先训练的MLP网络模型预测视角相关的神经基函数系数

，即预测人体表面纹理贴图的像素参数；并定义在球坐标系下的函数定义与视角相关的神经基函数。需要说明的是，在通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数时，本申请实施例可以将原始表面纹理贴图的坐标点输入MLP网络模型，对部分表面视角无关的低纹理区域可以共享像素系数，从而节省训练和渲染时间。

可选地，在一些实施例中，与视角相关的神经基函数映射表示为：

；

其中，

为与视角相关的神经基函数映射，

为实数域的数学表示。

同样，本申请实施例可以通过MLP拟合神经基函数，预测神经基函数。

需要说明的是，除了使用神经网络学习得到一组基函数外，本申请实施例还可以通过其他的方式建模视角相关的基函数，如泰勒级数、球谐函数、半球谐函数、雅可比球谐函数以及傅里叶级数。

在步骤S102中，由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图。

可选地，在一些实施例中，为了表示与视角相关的像素效果，本申请实施例可以由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值的公式如下：

；

其中，

为内积表示，

为表面法向量，

为当前视角下P像素下的基础RGB值，

为P像素下视角相关的反射系数，

为神经基函数。

由此，区别于传统的单视角下像素点的RGB三通道表达，本发明对每一像素点通过耦合一组神经基函数和该像素点的像素参数耦合各个视点下的颜色信息，用神经基函数和像素参数的线性组合表达该像素点的RGB值。

在步骤S103中，将人体表面材质RGB图和人体几何模型进行对应纹理贴图，得到体现人体表面材质的人体三维模型，并渲染人体三维模型的多视角2D图像，得到人体表面材质重建结果。

具体而言，本申请实施例可以在步骤S102中得到人体表面材质RGB图后，将人体表面材质RGB图与人体几何模型进行对应纹理贴图，得到体现表面材质的人体三维模型，并对于指定的相机参数以及得到的人体三维模型使用神经渲染的方法对三维模型渲染多视角2D图像。

可选地，在一些实施例中，神经渲染公式为：

；

其中，

为最终渲染颜色，

为内积计算公式，

为相机采样光线，

，

为相机坐标，

为间隔，

为方向，

为人体三维模型的最近边界，

为人体三维模型的最远边界。

需要说明的是，除了使用神经基函数表示像素颜色从而实现视点相关的渲染效果外，本申请实施例还可以基于摄影测量的方法，通过扫描将不同视点的反射照明高光映射为纹理。

可选地，在一些实施例中，在通过预先训练的MLP网络模型预测与视角相关的神经基函数系数之前，还包括：获取人体在多个角度和多个方位的多张图片，并基于每张图片计算生成人体的掩膜图片；将多张图片和多张图片对应的掩膜图片作为输入，对每个像素点提取高维特征，基于高维特征和人体几何表面训练MLP网络，得到预先训练的MLP网络模型，其中，人体几何表面由利用隐式表示定义一个连续的三维空间标量值函数得到；将多张图片输入至预先训练的MLP网络模型预测得到三维空间占有场，并通过等值立体搜寻算法重建人体几何模型。

应当理解的是，本申请实施例可以使用相机对人体进行多角度多方位拍摄，获得一系列彩色图片，并对每张彩色图片计算生成人体掩膜图片，并使用彩色图片及其掩膜图片作为输入，对每个像素提取高维特征，利用隐式表示定义一个连续的三维空间标量值函数表达人体几何表面，训练MLP网络得到空间三维点的体占有值，从而实现人体几何的重建。需要说明的是，除了使用基于隐式场表示空间占有值的人体三维重建。本申请实施例还可以通过定义其他隐式场（如体素场、符号距离场、阶段符号距离场等）表示三维人体或使用参数化的人体模型。

进一步地，在测试阶段，通过输入多张人体多角度彩色图片，经过MLP预测得到三维空间占有场，通过等值立体搜寻算法重建出人体几何模型。

为使得本领域技术人员进一步了解本申请实施例的基于神经基函数的智能三维重建方法，下面结合具体实施例进行详细阐述。

如图2所示，该基于神经基函数的智能三维重建方法，包括以下步骤：

S201，使用相机对人体进行多角度多方位拍摄，获得一系列彩色图片，并对每张彩色图片计算生成人体掩膜图片。

S202，使用彩色图片及其掩膜图片作为输入，对每个像素提取高维特征，利用隐式表示定义一个连续的三维空间标量值函数表达人体几何表面，训练MLP网络得到空间三维点的体占有值，从而实现人体几何的重建。

S203，测试阶段，输入多张人体多角度彩色图片，经过MLP预测得到三维空间占有场，通过等值立体搜寻算法重建出人体几何模型。

S204，通过MLP预测视角相关的神经基函数系数

，即预测人体表面纹理贴图的像素参数。

S205，在球坐标系下的函数定义与视角相关的神经基函数。

S206，由基函数与系数的内积表示表面贴图像素点的RGB三通道值。

S207，使用得到的表面材质RGB图与人体几何模型对应进行纹理贴图，得到体现表面材质的人体三维模型。

S208，对于指定的相机参数以及得到的人体三维模型使用神经渲染的方法对三维模型渲染多视角2D图像。

由此，当人穿戴有光泽感的服装如亮面皮衣、皮鞋时，随着视点的变化，皮衣皮鞋上反射的光泽也应相应移动变化，本申请通过神经基函数扩展人体表面贴图的像素点表示，每一像素点的颜色不但包含了本身颜色值还包含了反射相关的颜色值，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。并且，本申请可以有效处理对于皮衣、皮鞋、眼镜等发生非朗伯反射的表面，随着视点变化，本申请的渲染结果会呈现近似现实中高光的移动变化，从而将表面材质信息呈现给观者。

需要说明的是，在当前使用的实景VR（Virtual Reality，虚拟现实技术）展示中，三维渲染的质量极大影响了使用者的沉浸感。本申请对人体服装的表面材质建模，在渲染中考虑了随视点变动发生折射反射的效果，极大提升了渲染的真实感，使观者产生极具交互感的体验，同时拓宽了实景VR在三维场景中的应用范围。

根据本申请实施例提出的基于神经基函数的智能三维重建方法，通过神经基函数扩展人体表面贴图的像素点表示，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。

其次参照附图描述根据本申请实施例提出的基于神经基函数的智能三维重建装置。

图3是本申请实施例的基于神经基函数的智能三维重建装置的方框示意图。

如图3所示，该基于神经基函数的智能三维重建装置10包括：确定模块100、计算模块200和重建模块300。

其中，确定模块100用于通过预先训练的训练多层感知机MLP网络模型预测与视角相关的神经基函数系数，并确定球坐标系下的与视角相关的神经基函数；

计算模块200用于由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值，得到人体表面材质RGB图；以及

重建模块300用于将人体表面材质RGB图和人体几何模型进行对应纹理贴图，得到体现人体表面材质的人体三维模型，并渲染人体三维模型的多视角2D图像，得到人体表面材质重建结果。

可选地，在一些实施例中，在通过预先训练的MLP网络模型预测与视角相关的神经基函数系数之前，确定模块100还用于：

获取人体在多个角度和多个方位的多张图片，并基于每张图片计算生成人体的掩膜图片；

将多张图片和多张图片对应的掩膜图片作为输入，对每个像素点提取高维特征，基于高维特征和人体几何表面训练MLP网络，得到预先训练的MLP网络模型，其中，人体几何表面由利用隐式表示定义一个连续的三维空间标量值函数得到；

将多张图片输入至预先训练的MLP网络模型预测得到三维空间占有场，并通过等值立体搜寻算法重建人体几何模型。

可选地，在一些实施例中，由与视角相关的神经基函数和神经基函数系数的内积表示人体表面贴图像素点的RGB三通道值的公式如下：

；

其中，

为内积表示，

为表面法向量，

为当前视角下P像素下的基础RGB值，

为P像素下视角相关的反射系数，

为神经基函数。

；

其中，

为与视角相关的神经基函数映射，

为实数域的数学表示。

可选地，在一些实施例中，神经渲染公式为：

；

其中，

为最终渲染颜色，

为内积计算公式，

为相机采样光线，

为人体三维模型的最近边界，

为人体三维模型的最远边界。

需要说明的是，前述对基于神经基函数的智能三维重建方法实施例的解释说明也适用于该实施例的基于神经基函数的智能三维重建装置，此处不再赘述。

根据本申请实施例提出的基于神经基函数的智能三维重建装置，通过神经基函数扩展人体表面贴图的像素点表示，从而实现不同视角的渲染结果呈现出各向异性的折射反射效果，实现能够表示表面材质信息的三维人体重建。

图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。

处理器402执行程序时实现上述实施例中提供的基于神经基函数的智能三维重建方法。

进一步地，电子设备还包括：

通信接口403，用于存储器401和处理器402之间的通信。

存储器401，用于存放可在处理器402上运行的计算机程序。

存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。

处理器402可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于神经基函数的智能三维重建方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。