CN109920049A - 边缘信息辅助精细三维人脸重建方法及系统 - Google Patents

Abstract

本发明公开了一种边缘信息辅助精细三维人脸重建方法及系统，其中，该方法包括以下步骤：利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果；根据边缘提取方法提取预设人脸图片的边缘信息，获得连续地边缘图像；将边缘图像与预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量；将距离偏移量加至初始的三维人脸重建结果上，以得到最终人脸重建结果。该方法可以借助神经网络建模二维图像边缘与三维几何起伏之间的关系，优化重建技术得到的人脸三维重建结果，获得更为精细，更具有真实感的三维人脸。

Description

边缘信息辅助精细三维人脸重建方法及系统

技术领域

本发明涉及计算机视觉和图形学技术领域，特别涉及一种边缘信息辅助精细三维人脸重建方法及系统。

背景技术

当前已有许多成熟的方法，可以从图像中重建出人脸大致的形状，即可以从图像中恢复大致的人脸三维信息。但人脸的细节，在光照的影响下，会在图片上生成边缘，如抬头纹，鱼尾纹等，虽然位置，朝向和尺度不同，但都是由于皱纹内和皱纹外的点，在相机视角下到相机距离不同，再结合光照的作用，最终生成了图像上的边缘。但由于受到光照，相机参数等其他因素的影响，很难从图像中检测并提取，也较难由二维的图像恢复出人脸细节的三维信息。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种边缘信息辅助精细三维人脸重建方法，该方法边缘提取较少地被人脸反照属性(如光照，相机参数等因素影响)，并对人脸边缘进行优化初始的三维人脸，得到更精细更具有真实感的重建结果。

本发明的另一个目的在于提出一种边缘信息辅助精细三维人脸重建系统。

为达到上述目的，本发明一方面提出了边缘信息辅助精细三维人脸重建方法，包括以下步骤：利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果；根据边缘提取方法提取所述预设人脸图片的边缘信息，获得连续地边缘图像；将所述边缘图像与所述预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量；将所述距离偏移量加至所述初始的三维人脸重建结果上，以得到最终人脸重建结果。

本发明实施例的边缘信息辅助精细三维人脸重建方法，通过利用边缘检测和提取方法，提取到比较准确精细的人脸边缘信息，再借助神经网络建模二维图像边缘和三维几何起伏之间的关系，优化初始的三维人脸重建结果，获得更精细，更具有真实感的三维人脸。

另外，根据本发明上述实施例的边缘信息辅助精细三维人脸重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述初始图像参数包括人脸几何形状和人脸姿态。

进一步地，在本发明的一个实施例中，根据边缘提取方法提取所述预设人脸图片的边缘信息包括：过滤所述边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

进一步地，在本发明的一个实施例中，生成与所述预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

进一步地，在本发明的一个实施例中，所述将所述距离偏移量加至所述初始的三维人脸重建结果上前，需根据所述初始图像参数得到所述三维模型顶点与所述二维像素点的对应关系，以确定顶点与顶点的具体位置。

为达到上述目的，本发明另一方面提出了一种边缘信息辅助精细三维人脸重建系统，包括：获取模块，用于利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果；提取模块，用于根据边缘提取方法提取所述预设人脸图片的边缘信息，获得连续地边缘图像；深度学习模块，用于将所述边缘图像与所述预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量；重建模块，用于将所述距离偏移量加至所述初始的三维人脸重建结果上，以得到最终人脸重建结果。

本发明实施例的边缘信息辅助精细三维人脸重建系统，通过利用边缘检测和提取方法，提取到比较准确精细的人脸边缘信息，再借助神经网络建模二维图像边缘和三维几何起伏之间的关系，优化初始的三维人脸重建结果，获得更精细，更具有真实感的三维人脸。

另外，根据本发明上述实施例的边缘信息辅助精细三维人脸重建系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述初始图像参数包括人脸几何形状和人脸姿态。

进一步地，在本发明的一个实施例中，根据边缘提取方法提取所述预设人脸图片的边缘信息包括：过滤所述边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

进一步地，在本发明的一个实施例中，生成与所述预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

进一步地，在本发明的一个实施例中，所述将所述距离偏移量加至所述初始的三维人脸重建结果上前，需根据所述初始图像参数得到所述三维模型顶点与所述二维像素点的对应关系，以确定顶点与顶点的具体位置。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的边缘信息辅助精细三维人脸重建方法流程图；

图2为根据本发明实施例的边缘信息辅助精细三维人脸重建系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的边缘信息辅助精细三维人脸重建方法及系统，首先将参照附图描述根据本发明实施例提出的边缘信息辅助精细三维人脸重建方法。

图1是本发明一个实施例的边缘信息辅助精细三维人脸重建方法流程图。

如图1所示，该边缘信息辅助精细三维人脸重建方法包括以下步骤：

在步骤S101中，利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果。

其中，初始图像参数包括人脸几何形状和人脸姿态。

也就是说，由三维人脸重建技术，从图片中获得初始的人脸几何形状和姿态。

需要说明的是，本发明实施例使用的RGB图像分辨率为256×256，此处所描述的实施实例仅用于解释本发明，并不用于限定本发明。

在步骤S102中，根据边缘提取方法提取预设人脸图片的边缘信息，获得连续地边缘图像。

进一步地，在本发明的一个实施例中，根据边缘提取方法提取预设人脸图片的边缘信息包括：过滤边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

其中，生成与预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

具体地，由边缘提取方法，提取人脸图片中的边缘，比如抬头纹，鱼尾纹等，边缘检测方法较少受到光照，相机参数等因素的影响，进而可以提取到比较准确精细的人脸边缘信息。

可以理解的是，本发明实施例以置信度的形式描述边缘，生成与原人脸图片相同大小的边缘图像，每个像素的值代表该像素属于边缘的概率值。过滤掉置信度较低的边缘像素点，去掉边缘检测中的噪声点，获得连续的边缘。

在步骤S103中，将边缘图像与预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量。

换言之，将边缘图像与原图一起输入深度神经网络，输出与原图大小相同的图片。每个像素点的值，描述该二维像素点对应的三维模型顶点，与相机的距离偏移量。

具体而言，本发明实施例使用深度神经网络和数据驱动的方法，建模二维图像上检测到的边缘，与三维空间中在相机视角下，人脸深度变化之间的关系。例如，从相机视角，三维人脸中皱纹上的点和皱纹外的点到相机的距离不同，结合光照，人脸反照率等因素的联合作用，最终生成了二维图片上的皱纹。输入边缘图像后，能得到人脸几何偏移量。

在步骤S104中，将距离偏移量加至初始的三维人脸重建结果上，以得到最终人脸重建结果。

进一步地，在本发明的一个实施例中，距离偏移量加至初始的三维人脸重建结果上前，需根据初始图像参数得到三维模型顶点与二维像素点的对应关系，以确定顶点与顶点的具体位置。

具体而言，用三维人脸重建技术，从图像中恢复人脸的初始形状(即初始的人脸几何形状和姿态)，得到三维顶点和二维图像点间的对应关系，再结合步骤S103中由边缘信息得到的人脸几何距离偏移量，加到初始的三维人脸重建结果上，最终生成精细的人脸重建结果。

根据本发明实施例提出的边缘信息辅助精细三维人脸重建方法，通过利用边缘检测和提取方法，提取到比较准确精细的人脸边缘信息，再借助神经网络建模二维图像边缘和三维几何起伏之间的关系，优化初始的三维人脸重建结果，获得更精细，更具有真实感的三维人脸。

其次参照附图描述根据本发明实施例提出的边缘信息辅助精细三维人脸重建系统。

图2是本发明一个实施例的边缘信息辅助精细三维人脸重建系统结构示意图。

如图2所示，该边缘信息辅助精细三维人脸重建系统10包括：获取模块100、提取模块200、深度学习模块300和重建模块400。

其中，获取模块100用于利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果。提取模块200用于根据边缘提取方法提取预设人脸图片的边缘信息，获得连续地边缘图像。深度学习模块300用于将边缘图像与预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量。重建模块400用于将距离偏移量加至初始的三维人脸重建结果上，以得到最终人脸重建结果。

进一步地，在本发明的一个实施例中，初始图像参数包括人脸几何形状和人脸姿态。

可选地，在本发明的一个实施例中，根据边缘提取方法提取预设人脸图片的边缘信息包括：过滤边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

进一步地，在本发明的一个实施例中，生成与预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

进一步地，在本发明的一个实施例中，将距离偏移量加至初始的三维人脸重建结果上前，需根据初始图像参数得到三维模型顶点与二维像素点的对应关系，以确定顶点与顶点的具体位置。

需要说明的是，前述对边缘信息辅助精细三维人脸重建方法实施例的解释说明也适用于该系统，此处不再赘述。

根据本发明实施例提出的边缘信息辅助精细三维人脸重建系统，通过利用边缘检测和提取方法，提取到比较准确精细的人脸边缘信息，再借助神经网络建模二维图像边缘和三维几何起伏之间的关系，优化初始的三维人脸重建结果，获得更精细，更具有真实感的三维人脸。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种边缘信息辅助精细三维人脸重建方法，其特征在于，包括以下步骤：

利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果；

根据边缘提取方法提取所述预设人脸图片的边缘信息，获得连续地边缘图像；

将所述边缘图像与所述预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量；以及

将所述距离偏移量加至所述初始的三维人脸重建结果上，以得到最终人脸重建结果。

2.根据权利要求1所述的边缘信息辅助精细三维人脸重建方法，其特征在于，所述初始图像参数包括人脸几何形状和人脸姿态。

3.根据权利要求1所述的边缘信息辅助精细三维人脸重建方法，其特征在于，根据边缘提取方法提取所述预设人脸图片的边缘信息包括：过滤所述边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

4.根据权利要求3所述的边缘信息辅助精细三维人脸重建方法，其特征在于，生成与所述预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

5.根据权利要求1所述的边缘信息辅助精细三维人脸重建方法，其特征在于，所述将所述距离偏移量加至所述初始的三维人脸重建结果上前，需根据所述初始图像参数得到所述三维模型顶点与所述二维像素点的对应关系，以确定顶点与顶点的具体位置。

6.一种边缘信息辅助精细三维人脸重建系统，其特征在于，包括：

获取模块，用于利用三维人脸重建技术从预设人脸图片获取初始图像参数，以得到初始的三维人脸重建结果；

提取模块，用于根据边缘提取方法提取所述预设人脸图片的边缘信息，获得连续地边缘图像；

深度学习模块，用于将所述边缘图像与所述预设人脸图片同时输入深度神经网络，得到二维像素点对应的三维模型顶点和与相机的距离偏移量；以及

重建模块，用于将所述距离偏移量加至所述初始的三维人脸重建结果上，以得到最终人脸重建结果。

7.根据权利要求6所述的边缘信息辅助精细三维人脸重建系统，其特征在于，所述初始图像参数包括人脸几何形状和人脸姿态。

8.根据权利要求6所述的边缘信息辅助精细三维人脸重建系统，其特征在于，根据边缘提取方法提取所述预设人脸图片的边缘信息包括：过滤所述边缘信息中置信度较低的边缘像素点，同时去掉边缘检测中的噪声点。

9.根据权利要求8所述的边缘信息辅助精细三维人脸重建系统，其特征在于，生成与所述预设人脸图片相同大小的边缘图像时，每个像素的值代表该像素属于边缘的概率值，概率值越低置信度越低。

10.根据权利要求6所述的边缘信息辅助精细三维人脸重建系统，其特征在于，所述将所述距离偏移量加至所述初始的三维人脸重建结果上前，需根据所述初始图像参数得到所述三维模型顶点与所述二维像素点的对应关系，以确定顶点与顶点的具体位置。