CN110443892B - 一种基于单张图像的三维网格模型生成方法及装置 - Google Patents

Abstract

本发明公布了一种基于单张图像的三维网格模型重建方法及装置，单张图像可为自然图像或物体的轮廓图，根据用户提供的单张图像，完全自动化地生成与之形状匹配一致的三维模型。包括：语义分割、前景提取、形状特征提取、视角预测、三维模型训练、点云封装表面网格，从而重建生成三维网格模型。本发明能够极大地加快三维模型设计的时间，使得设计三维模型时只需在生成的三维模型的基础上精修即可得到目标模型。

Description

一种基于单张图像的三维网格模型生成方法及装置

技术领域

本发明涉及一种基于单张图像的三维网格模型重建方法，采用人工神经网络自动提取图像信息并恢复出三维模型的面片信息，属于人工智能、计算机视觉与图像处理技术领域。

背景技术

随着计算机科学技术的发展，三维视觉在越来越多的场景中得到应用，例如3D电影等。然而，三维模型的设计需要设计人员使用3D软件绘制，不仅对设计人员的专业素质要求高，还会花费大量时间。因此，如何利用利用二维图像自动地构建三维模型成为一个亟待解决的课题。

现有传统的三维模型重建方法通常基于预定义好的模板，通过在数据库中检索图像中的相似部件或物体，通过拼装来生成三维模型。这类方法虽然能生成高质量的三维模型，但无法生成三维模型数据库中没有的模型。

基于深度学习的方法可以对新三维模型的不确定性建模，但受限于三维模型的表示格式以及神经网络的特点，大多数工作只能生成点云或体素，不能直接得到质量更高、更通用的三维网格模型。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于单张图像的三维网格模型重建方法及装置，可以根据用户提供的单张图像(自然图像或物体的轮廓图)，完全自动化地生成与之形状匹配一致的三维模型。本发明能够极大地加快三维模型设计的时间，使得三维模型设计人员只需在生成的三维模型的基础上精修即可得到目标模型。

本发明采用的技术方案如下：

一种基于单张图像的三维网格模型重建方法，包括如下步骤：

第一步，对用户给定的图像，利用语义分割网络Deeplab v3+，提取图像中物体的轮廓图。具体实施时，图像采用用户拍摄或从互联网上下载的一张飞机照片，利用语义分割网络将图像的前景(物体轮廓)与背景分开。

第二步，对轮廓图进行二值化，将物体部分设置为1，背景部分设置为0。

第三步，根据轮廓图自动生成表示三维网格模型的几何图。包括如下步骤：

31)利用形状特征提取网络提取轮廓图中物体的形状特征，利用视角估计网络估计轮廓图对应的视角特征；

具体实施时，形状特征提取网络包含三个残差模块和两个步长为2的卷积操作，将输入图像(二值化的轮廓图)压缩至设定维度(例如为16×16×128)的特征空间。视角估计网络采用了视觉几何组VGG网络，损失函数为用户给定图像的预测相机位置与真实相机位置之间的欧式距离L_vp。默认三维模型置于三维坐标系的原点位置，且相机的镜头对准原点，只预测相机的位置坐标x,y,z，作为轮廓图的视角特征。

32)将形状特征和视角特征沿着特征图通道这一维度进行拼接，送到包含多个残差模块的三维模型形变网络，指导一个初始的单位球进行形变；

具体采用几何图作为表示三维模型的格式，几何图的维度与图像RGB图一致，均为W×H×3，包含W×H个点的三维坐标信息；256个顶点的初始单位球由维度为16×16的几何图表示，将初始单位球送入三维模型形变网络；

33)采用由粗糙到精细的训练策略进行训练，将表示初始单位球的几何图通过三维模型形变网络中的形变、顶点增广两个步骤，逐步获得优化的(形状更准确、分辨率更高的)三维模型；

具体地，在形变步骤中，采用多个堆积的残差模块改变顶点的坐标，通过优化生成点云坐标的误差函数，自动调整坐标的值；在顶点增广步骤中，通过反卷积和双线性插值的方式，将顶点的个数扩大为原来的四倍。具体实施时，将分辨率为16×16的几何图通过双线性插值和反卷积操作，得到分辨率为32×32的几何图，表示包含1024个顶点的、较精细的飞机模型。重复上一步，得到包含4096个顶点的、更精细的飞机模型。优化的损失函数包括定义在三维网格模型上的损失L_mesh、对抗训练的损失函数L_GAN和轮廓重构损失函数L_sil。本发明采用由粗糙到精细的训练策略：在优化时，先优化生成分辨率为16×16的几何图的网络，在此步优化完成后，依次优化生成分辨率为32×32和64×64的几何图的网络。

第四步，连接几何图中相邻的点，构成三角面片，折叠生成三维模型。

具体的，对于几何图中相邻的四个点组成的矩形，连接四条边和其中一条对角线，得到两个三角面片；对几何图中任意相邻的四个点如此连接，可恢复出三维模型的面片结构。

具体而言，在第一步中，利用现成的语义分割网络deeplab v3+(Chen L C,Zhu Y,Papandreou G,et al.Encoder-decoder with atrous separable convolution forsemantic image segmentation[C]//Proceedings of the European Conference onComputer Vision(ECCV).2018:801-818.)，将图像分割成不同语义的部分，提取待构建物体的区域，获得只包含前景图像。

第二步中，将图像中包含物体的区域置为1，背景区域置为0，获得二值化的图像。

第三步中，对于输入的轮廓图，利用残差网络提取图像中物体的形状特征，利用VGG网络估计轮廓图对应的视角。将以上形状特征与视角特征沿着通道的维度进行拼接，送到解码器部分，指导一个初始的单位球形变。具体地，采用几何图作为表示三维模型的格式。几何图的维度与RGB图一致，为W×H×3，包含W×H个点的三维坐标信息。将表示初始单位球的几何图通过形变、顶点增广两个步骤，逐步获得形状更准确、分辨率更高的三维模型。在形变步骤中，我们采用采用多个堆积的残差模块改变顶点的坐标；在顶点增广步骤中，我们结合反卷积和双线性插值的方式，将顶点的个数扩大为原来的四倍。具体实施时，采用由粗糙到精细的训练策略，先将分辨率W×H×3为16×16×3、表示单位球的几何图变换到同样分辨率、表示粗糙三维模型的结合图，然后重复两次形变和顶点增广的过程，依次得到分辨率分别为32×32×3和64×64×3、细节更加丰富的几何图。

更进一步，在采用由粗糙到精细的训练策略训练网络时，为了促使生成的三维模型与真实的三维模型更接近，我们用生成的三维网格模型的点云重构物体的轮廓图，并采用了多个损失函数以及对抗训练的方式。

·将三维网格模型中的点云的质心置于原点，在单位球上随机选取18个位置和视角预测模块预测出的相机位置。分别以这19个位置为原点构建坐标系，将世界坐标系下的点云坐标转换为这19个坐标系下的坐标，然后投影即可得到19张不同视角下的物体轮廓图。将此19张物体轮廓图

与真实的轮廓图S的差异(轮廓重构损失函数)

以及视角预测模块预测的视角

与真实视角p的差异(视角损失函数)

作为优化目标，从而促使生成的三维模型更接近真实的三维模型。

·训练一个判别器，采用对抗训练的方式优化对抗训练的损失函数

其中，D和G为判别器和生成器的输出，s为输入的轮廓图，y是真实的三维模型，p_s和p_y分别表示轮廓图和三维模型的数据分布，E表示对服从一定分布的数据求期望。生成器(即形状特征提取网络、视角估计网络和三维模型形变网络)试图生成逼真的三维模型，判别器试图分辨出生成模型与真实模型，达到生成以假乱真的三维模型的目的。判别器的结构如图2所示。

·施加在三维网格模型上的损失函数包括倒角损失L_Chamfer，法向损失L_Normal和边缘损失L_Edge。倒角损失施加在生成的几何图上，促使生成点云的位置尽可能接近真实点云的位置；法向损失定义为生成点云的切向量与真实点云对应位置的法向量的夹角余弦值，促使生成三维模型的表面尽量光滑；边缘损失定义为点云中相邻两点之间的距离，防止离群点的出现。施加在生成的三维网格模型上的最终损失函数为L_mesh＝L_Chamfer+L_Normal+L_Edge。

·训练包含形状特征提取网络、视角估计网络、三维模型形变网络、判别器在内的三维网格模型时，同时优化以下损失函数：施加在生成的三维网格模型上的损失L_mesh、对抗训练的损失函数L_GAN、视角损失函数L_vp和轮廓重构损失函数L_sil。模型最终的损失函数L为L＝L_mesh+0.1L_GAN+L_vp+30L_sil。我们采用自适应动量估计优化算法来优化该损失函数L，学习率设为0.0001。

第四步中，对于几何图中相邻的四个点组成的矩形，连接四条边和其中一条对角线，得到两个三角面片。对几何图的所有点按照上述方法添加边，可将点云封装成三维网格模型。

上述步骤3)之后得到散布在飞机表面的点云，为了得到完整的三维网格模型，需要根据点云封装起表面。

几何图中相邻的像素表示点云中相邻的点，对于几何图中由相邻的四个像素构成的矩形，连接四条边和其中一条对角线，得到两个三角面片，几何图中的所有矩形区域都按此方法生成三角面片。

本发明还提供一种三维模型重建装置/系统，实现基于单张图像生成三维网格模型，系统包括：语义分割模块、形状特征提取模块、视角预测模块、三维模型形变模块、网格封装模块。语义分割模块用于提取自然图像中物体的轮廓，将二值化后的轮廓图送入形状特征提取模块和视角预测模块来提取轮廓图的形状特征和视角特征，三维模型形变模块根据这两个特征对初始的单位球变形得到与轮廓图对应的三维模型(用几何图表示)，最后网格封装模块将几何图封装为三维网格模型。

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于单张图像的三维网格模型重建方法，不需要成对的自然图像和三维模型构成的训练数据集，不受物体纹理的影响，仅根据二值化的物体轮廓图即可生成表示物体三维模型的几何图。在由几何图恢复出三维网格模型的过程中，无需预先定义复杂的点与边的连接关系，只需将几何图上相邻的点连接成三角面片即可。此外，根据三维模型分辨率的要求，可以直接对几何图进行插值改变其形状，以改变三维模型所包含的顶点的数量。

附图说明

图1是本发明实施例基于单张图像的三维网格模型重建方法的整体流程框图。

图2是本发明网络训练中判别器网络的结构框图。

图3是本发明具体实施中几何图连接成三角面片步骤的示意图；

其中，左图为几何图；有图为连接得到的三角面片。

图4是本发明具体实施中几何图边缘的折叠方法示意图；

其中，左图为几何图；右图为由几何图折叠成的三维模型。

图5是采用本发明的方法对图像重构出的三维网格模型示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本发明保护的范围。

本发明提供一种基于单张图像的三维网格模型重建方法，方法流程如附图1所示。

首先，提取用户输入图像中的物体轮廓。

·以重构飞机的三维模型为例。让用户拍摄或者从互联网上下载一张飞机的照片，输入语义分割网络模型中。

·将输入的包含飞机的自然图像利用语义分割网络划分成前景的飞机和剩余的背景部分。图像的飞机部分置为1，图像的背景部分置为0，得到二值化的图像。将二值化图像的分辨率调整为64×64。

随后，将二值化的飞机轮廓图送入物体形状特征提取网络和轮廓视角估计网络提取形状特征以及视角特征。

·形状特征提取网络包含三个残差模块和两个步长为2的卷积操作，将分辨率为64×64的输入图像压缩至维度为16×16×128的特征空间。

·视角估计网络采用了VGG网络，损失函数为预测相机位置与真实相机位置之间的欧式距离L_vp。我们默认三维模型置于三维坐标系的原点位置，且相机的镜头对准原点，只预测相机的位置x,y,z。

然后，将物体形状特征和视角信息拼接到一起，送入三维模型形变网络，对初始的单位球操作，逐步形变成期望的形状。

·先将包含256个顶点的单位球(由维度为16×16×3的几何图表示)经过包含若干残差模块的形变网络，获得表示包含256个顶点的、粗糙三维飞机模型的几何图。

·将表示飞机模型的几何图通过双线性插值和反卷积操作，得到分辨率为32×32×3的几何图，表示包含1024个顶点的、较精细的飞机模型。

·重复上一步，得到包含4096个顶点的、更精细的飞机模型。

更进一步，在训练网络时，为了促使生成的三维模型与真实的三维模型更接近，我们用生成的三维点云重构物体的轮廓图，并采用了多个损失函数以及对抗训练的方式。

·将三维点云的质心置于原点，在单位球上随机选取18个位置和视角预测模块预测出的相机位置。分别以这19个位置为原点构建坐标系，将世界坐标系下的点云坐标转换为这19个坐标系下的坐标，然后投影即可得到19张不同视角下的物体轮廓图。将新渲染的物体轮廓图与真实的轮廓图的差异L_sil作为优化目标，从而促使生成的三维模型更接近真实的三维模型。

·训练一个判别器，采用对抗训练的方式优化损失函数L_GAN，生成器试图生成逼真的三维模型，判别器试图分辨出生成模型与真实模型，达到生成以假乱真的三维模型的目的。判别器的结构如图2所示。

·施加在三维网格上的损失函数包括Chamfer Loss，Normal Loss和Edge Loss。Chamfer Loss施加在生成的几何图上，促使生成点云的位置尽可能接近真实点云的位置；Normal Loss定义为生成点云的切向量与真实点云对应位置的法向量的夹角余弦值，促使生成三维模型的表面尽量光滑；Edge Loss定义为点云中相邻两点之间的距离，防止离群点的出现。网格模型的最终损失函数为L_mesh＝L_Chamfer+L_Normal+L_Edge。

·训练时同时优化几个损失函数，模型最终的损失函数为L＝L_mesh+0.1L_GAN+L_vp+30L_sil。

至此，我们已经得到散布在飞机表面的点云，为了得到完整的三维网格模型，需要根据点云封装起表面。

·几何图中相邻的像素表示点云中相邻的点，对于几何图中由相邻的四个像素构成的矩形，连接四条边和其中一条对角线，得到两个三角面片，如图3所示。几何图中的所有矩形区域都按此规则生成三角面片。

·几何图的边缘处理如图4所示。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于单张图像的三维网格模型生成方法，包括如下步骤：

第一步，对给定的图像，利用语义分割网络提取图像中物体的轮廓图，将图像前景的物体轮廓与背景分开；

第二步，对物体的轮廓图进行二值化，将物体部分设置为1，背景部分设置为0；

第三步，根据轮廓图自动生成表示三维网格模型的几何图；包括如下步骤：

31)利用形状特征提取网络提取轮廓图中物体的形状特征；

利用视角估计网络估计轮廓图对应的视角特征，损失函数为图像的预测相机位置与真实相机位置之间的欧式距离L_vp；设定三维模型置于三维坐标系的原点位置，且相机的镜头对准原点，只预测相机的位置坐标x,y,z，作为轮廓图的视角特征；

32)将步骤31)得到的形状特征和视角特征沿着特征图通道维度进行拼接，采用几何图作为表示三维模型的格式，几何图的维度为W×H×3，包含W×H个点的三维坐标信息；由几何图表示W×H个顶点的初始单位球，将初始单位球送到包含多个残差模块的三维模型形变网络，指导一个初始单位球进行形变；

33)采用由粗糙到精细的训练策略进行训练，将表示初始单位球的几何图通过三维模型形变网络进行形变和顶点增广，逐步获得优化的三维网格模型；形变通过优化生成点云坐标的误差函数，自动调整坐标的值；顶点增广将顶点的个数扩大，得到更高分辨率的几何图；优化的损失函数包括：定义在三维网格模型上的损失L_mesh、对抗训练的损失函数L_GAN和轮廓重构损失L_sil，采用由粗糙到精细的训练策略进行模型训练，获得优化的三维网格模型；

第四步，连接几何图中相邻的点，构成三角面片，折叠生成三维模型；

对于几何图中相邻的四个点组成的矩形，连接四条边和其中一条对角线，得到两个三角面片；

对几何图中任意相邻的四个点均进行连接，即恢复出三维网格模型的面片结构；

通过上述步骤，即可实现基于单张图像生成三维网格模型。

2.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，第一步中，所述语义分割网络采用Deeplab v3+。

3.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤31)中，所述形状特征提取网络包含三个残差模块和两个卷积操作，将二值化的轮廓图作为输入图像，将输入图像压缩至设定维度的特征空间；

所述视角估计网络采用VGG网络，损失函数为图像的预测相机位置与真实相机位置之间的欧式距离。

4.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤32)中，几何图的维度与图像RGB图一致，维度W×H为16×16；所述初始单位球包含256个顶点。

5.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)中，形变具体采用多个堆积的残差模块改变顶点的坐标，通过优化生成点云坐标的误差函数，自动调整坐标的值；顶点增广具体通过反卷积和双线性插值，将顶点的个数扩大，得到更高分辨率的几何图，表示包含更多倍的个数的顶点的精细三维网格模型。

6.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)在优化时，先优化生成分辨率为16×16的几何图的网络，再采用由粗糙到精细的训练策略进行顶点增广，分辨率为16×16的几何图通过反卷积和双线性插值，将顶点的个数扩大为原来的四倍，得到分辨率为32×32的几何图；再进行顶点增广得到64×64的几何图。

7.如权利要求1所述基于单张图像的三维网格模型生成方法，其特征是，步骤33)采用由粗糙到精细的训练策略训练网络时，利用生成的三维点云重构物体轮廓图，并采用多个损失函数及对抗训练方式；包括：

331)将三维点云的质心置于原点，在单位球上随机选取多个位置；以所述多个位置和预测出的相机位置为原点构建坐标系，将世界坐标系下的点云坐标转换为该坐标系下的坐标，再进行投影即得到多张不同视角下的物体轮廓图；

332)形状特征提取网络、视角估计网络和三维模型形变网络作为生成器，用于生成逼真的三维模型；训练一个判别器，采用对抗训练的方式优化损失函数L_GAN；判别器用于识别出生成模型与真实模型，由此达到生成真实性高的三维模型的目的；损失函数L_GAN表示为：

其中，D和G为判别器和生成器的输出，s为输入的轮廓图，y是真实的三维模型；p_s和p_y分别表示轮廓图和三维模型的数据分布；

333)施加在三维网格模型上的损失函数包括：倒角损失L_Chamfer，法向损失L_Normal和边缘损失L_Edge；所述倒角损失施加在生成的几何图上，使得生成点云的位置尽可能接近真实点云的位置；所述法向损失为生成点云的切向量与真实点云对应位置的法向量的夹角余弦值；所述边缘损失为点云中相邻两点之间的距离；施加在生成的三维网格模型上的最终损失函数L_mesh为L_mesh＝L_Chamfer+L_Normal+L_Edge；

334)同时优化损失函数，三维网格模型最终的损失函数L表示为：

L＝L_mesh+0.1L_GAN+L_vp+30L_sil；

其中，L_vp为视角损失函数，表示视角预测模块预测的视角与真实视角的差异；L_sil为轮廓重构损失函数，表示物体轮廓图与真实的轮廓图的差异。

8.如权利要求7所述基于单张图像的三维网格模型生成方法，其特征是，步骤331)具体在单位球上随机选取18个位置；轮廓重构损失函数为

9.如权利要求7所述基于单张图像的三维网格模型生成方法，其特征是，具体采用自适应动量估计优化算法优化三维网格模型的损失函数L。

10.一种实现权利要求1所述基于单张图像的三维网格模型生成方法的装置，其特征是，包括：语义分割模块、形状特征提取模块、视角预测模块、三维模型形变模块、网格封装模块；

语义分割模块用于提取自然图像中物体的轮廓，将二值化后的轮廓图送入形状特征提取模块和视角预测模块；

形状特征提取模块和视角预测模块分别用于提取轮廓图的形状特征和视角特征；

三维模型形变模块用于根据轮廓图的形状特征和视角特征对初始的单位球变形，得到与轮廓图对应的用几何图表示的三维模型；

网格封装模块用于将几何图封装为三维网格模型。

Images