CN109325437A - 图像处理方法、装置和系统 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和系统，涉及图像处理技术领域，其中，该方法包括：获取目标对象的脸部图像；从该脸部图像中检测目标对象的人脸特征点；根据人脸特征点生成目标对象的脸部的三维空间信息；将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。本发明通过检测到的人脸特征点进行三维重建，再融合脸部纹理特征数据得到人脸三维重建模型，相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

Description

图像处理方法、装置和系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和系统。

背景技术

随着智能终端功能的日趋丰富，人们可以使用智能终端进行拍照，并对拍摄图像进行加工处理，例如，换脸、美颜等；这些处理方式中，大多基于二维图像数据实现，具体可以从二维图像数据中提取特征点，根据提取到的特征点对图像数据进行变换、合成等处理，进而得到最终的处理结果。由于从二维图像数据提取到的特征点有限，使得处理结果面片感太强、人脸的纹理效果和立体效果欠佳，导致用户的体验度较低。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和系统，通过构建三维重建模型真实地还原脸部细节，提高纹理和立体效果，从而提高用户的体验度。

第一方面，本发明实施例提供了一种图像处理方法，方法包括：获取目标对象的脸部图像；从脸部图像中检测目标对象的人脸特征点；根据人脸特征点生成目标对象的脸部的三维空间信息；将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，上述获取目标对象的脸部图像的步骤，包括：采集预览帧图像；对预览帧图像进行人脸检测；如果检测到预览帧图像中存在人脸，通过深度摄像头采集人脸的预设角度范围内的视频帧，得到脸部图像。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，上述根据人脸特征点生成目标对象的脸部的三维空间信息的步骤之前，方法包括：建立设定数量的基础三维模型；其中，每个基础三维模型包括指定种类的基础特征点；每个基础三维模型的基础特征点用于表征至少一种基础形状或至少一种基础表情；基础形状包括基础脸部形状和基础五官形状；将基础特征点和预设的标准三维模型中的标准特征点进行差值运算，得到基础特征点对应的差向量，将基础特征点对应的差向量作为基础三维模型的基础参数；每个基础三维模型的基础参数包括至少一种基础形状的基础形状参数或至少一种基础表情的基础表情参数；其中，进行差值运算的基础特征点和标准特征点相对应；差向量包括位移差向量和转角差向量。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，上述根据人脸特征点生成目标对象的脸部的三维空间信息的步骤，包括：将人脸特征点和标准三维模型中的标准特征点进行差值运算，得到人脸特征点对应的差向量，将人脸特征点对应的差向量作为目标对象的当前参数；其中，进行差值运算人脸特征点和标准特征点相对应；根据每个基础三维模型对应的基础形状参数或基础表情参数，分解目标对象的当前参数，得到当前参数相对于各个基础三维模型的权重系数；根据权重系数将基础三维模型进行加权融合，得到目标对象的脸部的三维空间信息。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，上述将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型的步骤，包括：根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；从预设的脸部纹理数据中提取坐标信息；根据坐标信息，将脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，上述得到三维空间信息对应的三维网格剖分集合的步骤之后，方法还包括：接收用户的变换指令；根据变换指令对人脸三维重建模型对应的三维网格剖分集合进行差分矩阵变换，得到变换后的三维网格剖分集合。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，上述得到与目标对象相关联的人脸三维重建模型的步骤之后，方法还包括：根据人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个网格的法向量，为各个网格对应的局部纹理数据进行打光处理，得到光照效果下的人脸三维重建模型。

第二方面，本发明实施例提供了一种图像处理装置，装置包括：图像获取模块，用于获取目标对象的脸部图像；特征点检测模块，用于从该脸部图像中检测所述目标对象的人脸特征点；信息生成模块，用于根据人脸特征点生成目标对象的脸部的三维空间信息；信息融合模块，用于将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。

第三方面，本发明实施例提供了一种图像处理系统，该系统包括：摄像装置、处理器和存储装置；摄像装置，用于采集帧图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上述图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图像处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的上述图像处理方法、装置和系统，获取到目标对象的脸部图像后，从该脸部图像中检测目标对象的人脸特征点，进而生成该目标对象的脸部的三维空间信息；再将预设的脸部纹理数据与该三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。该方式中，通过检测到的人脸特征点进行三维重建，再融合脸部纹理特征数据得到人脸三维重建模型，相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

另外，相对于现有的通过结构光设备获取人脸三维模型，并基于用户的表情信息对模型进行美颜处理的方式，本实施例提供的上述方式硬件成本更低，更容易实现，因而应用更加广泛。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的另一种图像处理方法的流程图；

图4为本发明实施例提供的一种网格剖分的原理示意图；

图5为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的图像处理方式处理结果面片感太强、人脸的纹理效果和立体效果欠佳，导致用户的体验度较低的问题，本发明实施例提供了一种图像处理方法、装置和系统；该技术可以应用于人脸重建、人脸重塑、趣味换脸、美颜整形或其他人脸图像处理场景中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法、装置及系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个摄像装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像装置110可以采集帧图像，并且将采集到的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置及系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将摄像装置110设置于可以采集到目标对象的指定位置。

实施例二：

本实施例提供了一种图像处理方法，该方法由上述处理设备执行；该处理设备可以是具有数据处理能力的任何设备，诸如上位机、本地服务器、云服务器等。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。

如图2所示，该图像处理方法包括如下步骤：

步骤S202，获取目标对象的脸部图像；

其中，脸部图像可以是单帧图像，也可以是多帧图像；其中，多帧图像之间可以为连续的帧图像，也可以为按照设定采样频率采集的多个帧图像。由于人的脸部具有一定的立体性，且摄像头的视野范围有限，使得一张帧图像通常难以全部包含该目标对象脸部的全部图像数据。为了获得目标对象较为完整的脸部的图像数据，上述步骤中通常会获取多个帧图像，以获得从多个角度拍摄得到的该目标对象的脸部图像数据。例如，相对于摄像头，目标对象的头部沿着某一设定的方向旋转指定角度(如从左到右旋转90度)，在旋转过程中，采集得到上述脸部图像。当然，实际发生旋转运动的可以为摄像头，也可以为目标对象的头部。

步骤S204，从上述脸部图像中检测目标对象的人脸特征点；

例如，该目标对象的人脸特征点可以为脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、上嘴唇轮廓点、下嘴唇轮廓点等，当然还可以包含其他特征点；可以理解，人脸特征点越多，越有利于后续的人脸的三维重建。通过特征点检测模型可以从上述脸部图像中检测目标对象的人脸特征点；该特征点检测模型可以通过神经网络实现，也可以通过其他人工智能或机器学习方式实现。通过大量标注有人脸特征点的图像样本可以训练得到上述特征点检测模型。

步骤S206，根据人脸特征点生成目标对象的脸部的三维空间信息；

具体地，由于人类脸部是具有很多共性的，因此可以基于这些共性预先建立一个标准的人脸三维模型，并获取该人脸三维模型的标准参数，例如，脸型、五官位置、五官形状、表情等参数。通过上述步骤检测到目标对象的人脸特征点时，通过该人脸特征点可以分析得到该目标对象的特征参数，同样包括上述脸型、五官位置、五官形状、表情等；将该目标对象的特征参数与上述标准的人脸三维模型对应的标准参数进行比较，根据比较结果对标准的人脸三维模型进行调整，从而得到目标对象的脸部的三维空间信息。

在另外一种方式中，可以基于上述人脸特征点的相对位置关系生成上述三维空间信息；具体地，通过上述多个帧图像可以获得相邻的人脸特征点之间的相对位置关系，以其中一个人脸特征点为基准，将该人脸特征点放在基准位置，根据相对位置关系可以得到其他人脸特征点的位置，通过对人脸特征点之间进行平滑计算，得到目标对象脸部的非特征点的位置，最终得到上述目标对象的脸部的三维空间信息。

步骤S208，将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。

上述步骤得到的三维空间信息通常包含目标对象的脸部各个点的位置、形状等信息，并不包含脸部的颜色、纹理信息，类似于一个雕塑；为了提高真实感，需要在该三维空闲信息上融合脸部纹理数据，以最大程度地还原人脸。在实际实现时，上述预设的脸部纹理数据可以为上述目标对象的脸部纹理数据，该脸部纹理数据与三维空间信息相融合后，得到的就是该目标对象的人脸三维重建模型；该脸部纹理数据还可以为其他对象的脸部纹理数据，将其他对象的脸部纹理数据与目标对象的三维空间信息相融合后，得到的就是该目标对象“换脸”后的人脸三维重建模型。

脸部纹理数据与三维空间信息的融合过程，可以采用纹理贴图的方式实现，即将脸部纹理数据覆盖在三维空间信息的表面；当然也可以采用其他纹理上色的方式实现上述融合过程。

本发明实施例提供的上述图像处理方法，获取到目标对象的脸部图像后，从该脸部图像中检测目标对象的人脸特征点，进而生成该目标对象的脸部的三维空间信息；再将预设的脸部纹理数据与该三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。该方式中，通过检测到的人脸特征点进行三维重建，再融合脸部纹理特征数据得到人脸三维重建模型，相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

另外，相对于现有的通过结构光设备获取人脸三维模型，并基于用户的表情信息对模型进行美颜处理的方式，本实施例提供的上述方式硬件成本更低，更容易实现，因而应用更加广泛。

实施例三：

本发明实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现；上述实施例中，描述了可以通过特征点检测模型从脸部图像中检测目标对象的人脸特征点；因此，本实施例中首先描述该特征点检测模型的建立步骤。另外，本实施例中还需要预先建立人脸的基础三维模型，用于生成目标对象的脸部的三维空间信息。该特征点检测模型和基础三维模型建立完成后，再进一步描述图像处理方法的过程。

首先，该特征点检测模型的训练步骤包括如下：

步骤11，获取训练样本集合；该训练样本集合包括设定数量的人脸图像；该人脸图像中携带有人脸特征点的标注信息；

该训练样本集合中的人脸图像的数量可以预先设定，例如10万张；可以理解，人脸图像的数量越多，训练得到的特征点检测模型的性能和能力越好，检测精确度就越准确。这些人脸图像可以从通用的人脸图像库中获得，也可以从视频流中通过人脸检测的方式检测得到。上述人脸特征点可以由工程师手动标注在人脸图像上，也可以由标注软件自动标注，再由工程师进行调整。人脸特定点的标注越精确，越有利于后续特征点检测模型的检测精确度。该人脸特征点也可以称为人脸关键点。

步骤12，按照第一划分比例，从训练样本集合中划分出训练子集和验证子集；

其中，该第一划分比例可以为具体的百分比，例如30％，此时可以将训练样本集合中30％的人脸图像和对应的标注信息作为训练子集，将训练样本集合中30％的人脸图像和对应的标注信息作为验证子集；该第一划分比例也可以为百分比组合，例如30％和40％，此时可以将训练样本集合中30％的人脸图像和对应的标注信息作为训练子集，将训练样本集合中40％的人脸图像和对应的标注信息作为验证子集。

由上述描述可知，训练子集和验证子集占训练样本集合的百分比可以相同，也可以不同；并且，训练子集和验证子集中的人脸图像，可以完全不同，也可以存在部分交叉。例如，采用随机的方式从训练样本集合中分布划分出训练子集和验证子集，此时训练子集和验证子集中的人脸图像就有可能存在相同的人脸图像；而如果先从训练样本集合中划分出训练子集，再从训练样本集合中剩余的人脸图像中划分出验证子集，此时训练子集和验证子集中的人脸图像就可以完全不同。

步骤13，搭建初始的神经网络模型，并设置初始的训练参数；

通常，神经网络模型的训练参数包括网络节点、初始权值的确定、最小训练速率、动态参数、允许误差、迭代次数等。

步骤14，通过上述训练子集和训练参数训练神经网络模型，通过验证子集对训练后的神经网络模型进行验证；

在实际实现时，可以将上述训练子集和验证子集中的人脸图像和对应的标注信息分别划分为多个小组；首先将训练子集中的一组人脸图像和对应的标注信息输入至上述神经网络模型中进行训练，训练完成后，再将验证子集中的一组人脸图像输入至训练后的神经网络模型中进行人脸特征点的检测，将检测结果与该组人脸图像对应的标注信息进行比对，得到当前神经网络模型的检测准确度，该检测准确度即为验证结果。

步骤15，如果验证结果不满足预设的精度阈值，根据验证结果调整训练参数；

为了提高神经网络模型的检测准确度，可以根据验证结果分析该神经网络模型检测准确度较低的原因，以及需要调整的训练参数，以对神经网络模型及其训练方式进行优化。

步骤16，继续通过训练子集和调整后的训练参数训练神经网络模型，直至神经网络模型的验证结果满足精度阈值，得到特征点检测模型。

由上述步骤可知，对神经网络模型的训练和验证是相互交叉进行的过程，每次训练使用训练子集中的一组人脸图像和对应的标注信息，每次验证使用验证子集中的一组人脸图像和对应的标注信息，反复训练和验证，直至神经网络模型的验证结果满足精度阈值，即可得到该特征点检测模型。

如果训练子集中的每组人脸图像和对应的标注信息都使用完毕，但验证结果依然不能满足精度阈值，此时可以重复利用训练子集中的每组人脸图像和对应的标注信息，也可以从上述训练样本集合中划分出新的训练子集继续训练。

另外，还可以从上述训练样本集合划分出第二划分比例的测试子集，为了保证测试结果的准确性，该测试子集中的人脸图像通常与上述训练子集和验证子集中的人脸图像完全不同，即不存在交叉。该测试子集可以用于对训练完成的特征点检测模型进行全面测试，以衡量该特征点检测模型的性能和能力，并可以生成该特征点检测模型的评估报告。在实际实现时，可以训练得到多个特征点检测模型，每个特征点检测模型的性能和能力不同，根据当前人脸特征点检测实际需求，如检测精确度、检测速度等，可以选择性能和能力较为匹配的特征点检测模型。

下面描述上文提到的人脸的基础三维模型的具体建立步骤，包括如下：

步骤S21，建立设定数量的基础三维模型；其中，每个基础三维模型包括指定种类的基础特征点；每个基础三维模型的基础特征点用于表征至少一种基础形状或至少一种基础表情；该基础形状包括基础脸部形状或基础五官形状；

上述基础三维模型可以通过模型设计或模型制作软件建立；上述设定数量可以根据实际需求设置，例如，100个；可以理解，基础三维模型的数量越多，后续生成的目标对象的人脸三维重建模型的精度越高。在实际实现时，这些基础三维模型可以划分为多组，例如，用于表征基础脸部形状的基础三维模型的组合；该组合中，每个基础三维模型标准通过与脸型轮廓相关的基础特征点表征一种基础脸部形状，如圆脸、瓜子脸、方形脸等；再如用于表征基础五官形状的基础三维模型的组合；该组合中，每个基础三维模型通过与各种五官轮廓相关的基础特征点表征一种五官的一种基础五官形状，如圆眼、丹凤眼、薄唇、厚唇等。具体而言，每个基础三维模型中，除表征对应的基础形状的基础特征点以外，其他基础特征点可以设置为默认值。

上述基础三维模型中还可以划分有用于表征基础表情的基础三维模型的组合，例如，微笑、大笑、皱眉、眨眼、嘟嘴、抬眉毛、皱鼻子等；通常，人脸在做出表情时五官会发生形变，基于此，根据五官形状与对应基础形状之间的差异，可以识别出人脸表情。例如，人脸在微笑时，表征唇部的特征点通常会发生位移和转角，尤其是唇角位置的特征点会外扩并向上拉伸；因此，通过唇部特征点的位移和转角变化，可以表征“微笑”这一表情。

步骤S22，将上述基础特征点和预设的标准三维模型中的标准特征点进行差值运算，得到基础特征点对应的差向量，将基础特征点对应的差向量作为基础三维模型的基础参数；每个基础三维模型的基础参数包括至少一种基础形状的基础形状参数或至少一种基础表情的基础表情参数；其中，进行差值运算的基础特征点和标准特征点相对应；差向量包括位移差向量和转角差向量。

该步骤可以理解为将上述建立的基础三维模型参数化的过程；为了能够通过参数唯一地标识各个基础三维模型所表征的基础形状或基础表情，需要首先建立一个标准三维模型；该标准三维模型中具有表征脸部形状和五官形状的标准特征点。以上述表征圆脸的基础三维模型为例，该基础三维模型中的基础特征点与标准三维模型中的标准特征点进行差值运算后，表征脸部轮廓的基础特征点与对应的标准特征点之间会产生差向量，该差向量即可作为“圆脸”这一基础脸部形状的基础形状参数。再将表征瓜子脸的基础三维模型中的基础特征点与标准三维模型中的标准特征点进行差值运算后，表征脸部轮廓的基础特征点与对应的标准特征点之间会产生差向量，由于瓜子脸和圆脸的基础特征点位置不同，该差向量通常与上述“圆脸”对应的差向量不同，因此通过差向量可以唯一地标识各个基础三维模型。同理，对于表征基础表情的基础三维模型，也可以通过上述差向量唯一地标识该基础三维模型。

在上述步骤的差值运算过程中，参与差值运算的基础特征点和标准特征点相对应，可以理解，参与差值运算的基础特征点和标准特征点通常表征同一五官或脸型；例如，表征眼部的基础特征点和表征眼部的标准特征点进行差值运算；表征下巴轮廓的基础特征点和表征下巴轮廓的标准特征点通进行差值运算等。差值运算得到的差向量中，位移差向量可以通过计算两个基础特征点和标准特征点之间的位置差得到；得到位置差之后，再根据表征同一五官或脸型的所有特征点的位置差，得到各个特征点之间连线的角度变化，该角度变化即为转角差向量。

上述步骤中，建立了表征基础脸部形状、基础五官形状以及基础表情的各种基础三维模型，并对各个基础三维模型进行了参数化，为后续建立目标对象的人脸三维重建模型提供了模型基础。

基于上述训练得到的特征点检测模型以及建立的基础三维模型，本实施例提供的图像处理方法具体包括如下步骤，如图3所示：

步骤S302，采集预览帧图像；对该预览帧图像进行人脸检测；

具体地，可以通过深度摄像头采集预览帧图像，通过预设的人脸检测模型对预览帧图像进行人脸检测；该深度摄像头通常由双摄像头组成，通过两个摄像头采集到的左右两幅视图的差异，可以得到图像中各像素点的深度信息。上述预设的人脸检测也可以由神经网络训练得到，将上述预览帧图像输入至该人脸检测模型中，可以识别出该预览帧图像中是否存在人脸，如果存在，输出该人脸在图像中的具体位置，通常可以以人脸检测框的形式将识别出的人脸标识出来。该检测框内的图像数据即为目标对象的人脸数据。

步骤S304，判断上述预览帧图像是否存在人脸；如果是，执行步骤S306，如果否，执行步骤S302；

步骤S306，通过深度摄像头采集人脸的预设角度范围内的视频帧，得到脸部图像。

当该深度摄像头安装在手机或平板电脑上时，可以使该深度摄像头静止不动，用户的头部进行旋转，例如，以正向面对深度摄像头的方向为基准，向左旋转45度，再向右旋转45度；该旋转方向和旋转角度可以根据实际的人脸重建需求进行调整；如果重建精度要求较高，还可以要求用户的头部在设定角度范围内进行上下旋转等。终端可以提前发出信号告知用户具体的旋转方向和角度。

考虑到用户旋转头部时方向和角度都难以控制，如果需要建立非常精确的人脸三维模型，可以使用户的头部静止，终端控制深度摄像头进行旋转，由于机器控制深度摄像头的旋转运动更加稳定，且旋转方向和角度更加准确，因而获得的脸部图像更有利于后续的人脸三维重建。

步骤S308，通过预先训练得到的特征点检测模型，从上述脸部图像中检测目标对象的人脸特征点；

步骤S310，将该人脸特征点和标准三维模型中的标准特征点进行差值运算，得到人脸特征点对应的差向量，将人脸特征点对应的差向量作为目标对象的当前参数；其中，进行差值运算人脸特征点和标准特征点相对应；

该步骤中的差值运算的过程与上述基础三维模型中基础特征点与标准三维模型中的标准特征点进行差值运算的类似，在此不再赘述。

步骤S312，根据每个基础三维模型对应的基础形状参数或基础表情参数，分解目标对象的当前参数，得到当前参数相对于各个基础三维模型的权重系数；

在实际实现时，可以将目标对象的当前参数逐一将各个基础三维模型对应的基础参数进行比对，得到一个权重系数，该权重系统表征了目标对象的当前参数与某个基础三维模型对应的基础参数的相似程度；当前形状参数与每个基础三维模型对应的基础参数比对完成后，可以生成一个权重系数列表，该权重系数列表中包含了当前参数相对于各个基础三维模型的权重系数。

下述表1为该权重系数列表的一个示例：

表1

上述表1列举了脸部形状、眼部形状和表情相关的权重系数，且分别以三种基础三维模型为例。表1仅为示例，不作为对本实施例的限定。分析表1可知，该目标对象的当前参数相对于瓜子脸的基础形状参数的权重系数最高，相对于方形脸的基础形状参数的权重系数最低，因此，可推知该目标对象的脸型偏向于瓜子脸。目标对象的当前参数相对于圆眼的基础形状参数的权重系数最高，相对于三角眼的基础形状参数的权重系数最低，因此，可推知该目标对象的眼部形状偏向于圆眼。目标对象的当前参数相对于微笑的基础表情参数的权重系数与相对于大笑的基础表情参数的权重系数相同，可推知该目标对象的表情介于微笑和大笑之间。

步骤S314，根据权重系数将基础三维模型进行加权融合，得到目标对象的脸部的三维空间信息。

继续以上述表1为例，对于目标对象的脸型，可以按照0.3、0.65和0.15的加权系数对圆脸、瓜子脸和方形脸的基础三维模型进行加权融合，从而还原得到目标对象真实的脸部形状。目标对象的眼部形状、表情以及其他五官形状均可按照上述步骤得到，在此不再赘述。融合完毕后，即可得到目标对象的脸部的三维空间信息。

步骤S316，根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；

其中，剖分精度和剖分形状可以由工程师预先设置，以满足当前人脸三维重建的实际需求为准。网格剖分的具体方式可以为最邻近的无交叉网格剖分。图4所示为一种网格剖分的原理示意图；首先在目标对象的三维空间信息的表面确定位置点，位置点的数量和密度根据剖分精度确定，剖分精度越高，位置点的数量越多，密度越大。剖分形状可以为三角形、四边形、六边形等；图4中以三角形为例，将上述确定的位置点进行连线，形成大量紧密连接的三角形，这些三角形组成上述三维网格剖分集合。

步骤S318，从预设的脸部纹理数据中提取坐标信息；

步骤S320，根据坐标信息，将脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

该脸部纹理数据中携带有坐标信息；具体地，该脸部纹理数据可以为UV纹理数据；其坐标信息为UV坐标，其中，U代表水平方向，V代表垂直方向；通过UV坐标，可以将脸部纹理数据映射至三维网格剖分集合的表面。

步骤S322，根据人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个网格的法向量，为各个网格对应的局部纹理数据进行打光处理，得到光照效果下的人脸三维重建模型。

预设光源点可以设置在人脸三维重建模型的正上方或斜上方，预设光源点的位置通常会影响光线照射在人脸三维重建模型上的具体位置，从而影响各个网格对应的局部纹理数据的亮度。在实际实现时，该预设光源点通常并不显示在人脸三维重建模型附近，只是基于该预设光源点的设置位置，得到人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系。可以理解，距离该预设光源点的设置位置越近的网格，打光处理后的亮度通常越大。

上述三维网格剖分集合中各个网格的法向量通常代表了各网格对应的模型表面的朝向，如果该网格对应的模型表面的朝向偏向预设光源点，该网格对应的局部纹理数据亮度通常越大，而如果该网格对应的模型表面的朝向背离预设光源点，该网格对应的局部纹理数据亮度通常越小。因此，基于上述位置关系和法向量代表的朝向关系，即可对各个网格对应的局部纹理数据进行不同程度的打光处理，得到光照效果下的人脸三维重建模型，从而可以还原脸部的立体光泽效果。

上述图像处理方法，通过特征点检测模型检测到的大量的人脸特征点，再基于预设的基础三维模型对目标对象的脸部进行三维重建，得到目标对象的脸部的三维空间信息；再对三维空间信息进行细微网格的剖分，进而融合脸部纹理特征数据得到人脸三维重建模型；最后对人脸三维重建模型进行打光处理；相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

实施例四：

基于上述实施例的图像处理方法，本实施例提供一种具体的应用场景，即通过上述图像处理方法实现“换脸”功能，具体描述如下：

步骤31，接收用户的“换脸”命令；

步骤32，加载用于“换脸”功能的默认参数映射表；

该默认参数映射表中包含了三维重建参数以及三维网格剖分参数等；举例而言，该三维网格重建参数包括获取目标对象的脸部的多个帧图像时，要求用户头部或摄像头旋转的角度、帧图像的具体帧数，帧图像的的采样频率，还包括检测目标对象的人脸特征点时，检测的人脸特征点具体数量等；三维网格剖分参数包括不同脸型对应的剖分精度、剖分形状等参数。用户还可在上述默认参数映射表的基础上，自行设置并修改相关参数。

步骤33，开启摄像头，获取预览视频流；

步骤34，将预览视频流输入至人脸检测模型中，判断预览视频流中是否存在人脸；

步骤35，如果存在人脸，采集人脸的预设角度范围内的视频帧，得到多个帧图像。

步骤36，通过特征点检测模型，从多个帧图像中检测目标对象的人脸特征点；

步骤37，通过预设的基础三维模型得到目标对象的脸部的三维空间信息。

步骤38，根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；

步骤39，接收用户选择的脸部纹理数据；

具体可以预先建立一个脸部纹理数据的数据库，用户可以从中选择想要的脸部纹理数据。

步骤40，将用户选择的脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

步骤41，根据人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个网格的法向量，为各个网格对应的局部纹理数据进行打光处理，得到光照效果下的人脸三维重建模型。

通过上述方式可以实现基于人脸三维重建的“换脸”功能，从而提高了人脸三维重建的实际应用性和趣味性，提高了相机、手机等智能终端的应用可玩性，提高了生产厂家的经济效益。

实施例五：

基于上述实施例的图像处理方法，本实施例提供另一种具体的应用场景，即通过上述图像处理方法得到人脸三维重建模型后，用户还可以对该模型进行“整形”“修容”功能，具体描述如下：

步骤51，接收用户的“脸部优化”命令；

步骤52，加载用于“脸部优化”功能的默认参数映射表；

该默认参数映射表与上述用于“换脸”的默认参数映射表相同，具体不再赘述。

步骤53，开启摄像头，获取预览视频流；

步骤54，将预览视频流输入至人脸检测模型中，判断预览视频流中是否存在人脸；

步骤55，如果存在人脸，采集人脸的预设角度范围内的视频帧，得到多个帧图像。

步骤56，通过特征点检测模型，从多个帧图像中检测目标对象的人脸特征点；

步骤57，通过预设的基础三维模型得到目标对象的脸部的三维空间信息。

步骤58，根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；

步骤59，从上述多个帧图像中提取用户的脸部纹理数据；

具体可以通过相关的脸部纹理贴图生成算法从上述多个帧图像中提取脸部纹理数据，例如，基于颜色直方图、颜色矩、颜色集、颜色聚合向量、颜色相关图等多种算法均可以实现脸部纹理数据的提取。

步骤60，将提取到的脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

步骤61，根据人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个网格的法向量，为各个网格对应的局部纹理数据进行打光处理，得到光照效果下的人脸三维重建模型。

步骤62，接收用户的变换指令；

该变换指令可以为瘦脸、小脸、缩额头、拉额头、缩下巴、拉下巴、高鼻梁等多种脸部变换指令。

步骤63，根据变换指令对人脸三维重建模型对应的三维网格剖分集合进行差分矩阵变换，得到变换后的三维网格剖分集合。

其中，该差分矩阵变换具体可以包括对网格剖分集合中各个网格的平移、旋转、缩放等。

步骤64，基于变换后的三维网格剖分集合调整脸部纹理数据以及打光处理的打光效果，得到优化后的人脸三维重建模型。

通过上述方式可以实现基于人脸三维重建的脸部“微整形”或脸部优化，从而提高了人脸三维重建的实际应用性和趣味性，提高了相机、手机等智能终端的应用可玩性，提高了生产厂家的经济效益。

实施例六：

对应于上述方法实施例，参见图5所示的一种图像处理装置的结构示意图；该装置包括：

图像获取模块50，用于获取目标对象的脸部图像；

特征点检测模块51，用于从该脸部图像中检测目标对象的人脸特征点；

信息生成模块52，用于根据人脸特征点生成目标对象的脸部的三维空间信息；

信息融合模块53，用于将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。

本发明实施例提供的上述图像处理装置，获取到目标对象的脸部图像后，从该脸部图像中检测目标对象的人脸特征点，进而生成该目标对象的脸部的三维空间信息；再将预设的脸部纹理数据与该三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。该方式中，通过检测到的人脸特征点进行三维重建，再融合脸部纹理特征数据得到人脸三维重建模型，相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

进一步地，上述图像获取模块还用于：采集预览帧图像；对预览帧图像进行人脸检测；如果检测到预览帧图像中存在人脸，通过深度摄像头采集人脸的预设角度范围内的视频帧，得到脸部图像。

进一步地，上述装置包括：模型建立模块，用于建立设定数量的基础三维模型；其中，每个基础三维模型包括指定种类的基础特征点；每个基础三维模型的基础特征点用于表征至少一种基础形状或至少一种基础表情；基础形状包括基础脸部形状和基础五官形状；将基础特征点和预设的标准三维模型中的标准特征点进行差值运算，得到基础特征点对应的差向量，将基础特征点对应的差向量作为基础三维模型的基础参数；每个基础三维模型的基础参数包括至少一种基础形状的基础形状参数或至少一种基础表情的基础表情参数；其中，进行差值运算的基础特征点和标准特征点相对应；差向量包括位移差向量和转角差向量。

进一步地，上述信息生成模块，还用于：将人脸特征点和标准三维模型中的标准特征点进行差值运算，得到人脸特征点对应的差向量，将人脸特征点对应的差向量作为目标对象的当前参数；其中，进行差值运算人脸特征点和标准特征点相对应；根据每个基础三维模型对应的基础形状参数或基础表情参数，分解目标对象的当前参数，得到当前参数相对于各个基础三维模型的权重系数；根据权重系数将基础三维模型进行加权融合，得到目标对象的脸部的三维空间信息。

进一步地，上述信息融合模块，还用于：根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；从预设的脸部纹理数据中提取坐标信息；根据坐标信息，将脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

进一步地，上述装置还包括：指令接收模块，用于接收用户的变换指令；变换模块，用于根据变换指令对人脸三维重建模型对应的三维网格剖分集合进行差分矩阵变换，得到变换后的三维网格剖分集合。

进一步地，上述装置还包括：打光处理模块，用于根据人脸三维重建模型对应的三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个网格的法向量，为各个网格对应的局部纹理数据进行打光处理，得到光照效果下的人脸三维重建模型。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例七：

本发明实施例提供了一种图像处理系统，该系统包括：摄像装置、处理器和存储装置；摄像装置，用于采集帧图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上述实施例所述的图像处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步地，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图像处理方法的步骤。

本发明实施例所提供的图像处理方法、装置和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标对象的脸部图像；

从所述脸部图像中检测所述目标对象的人脸特征点；

根据所述人脸特征点生成所述目标对象的脸部的三维空间信息；

将预设的脸部纹理数据与所述三维空间信息相融合，得到与所述目标对象相关联的人脸三维重建模型。

2.根据权利要求1所述的方法，其特征在于，获取目标对象的脸部图像的步骤，包括：

采集预览帧图像；

对所述预览帧图像进行人脸检测；

如果检测到所述预览帧图像中存在人脸，通过所述深度摄像头采集所述人脸的预设角度范围内的视频帧，得到脸部图像。

3.根据权利要求1所述的方法，其特征在于，根据所述人脸特征点生成所述目标对象的脸部的三维空间信息的步骤之前，所述方法包括：

建立设定数量的基础三维模型；其中，每个所述基础三维模型包括指定种类的基础特征点；每个所述基础三维模型的基础特征点用于表征至少一种基础形状或至少一种基础表情；所述基础形状包括基础脸部形状和基础五官形状；

将所述基础特征点和预设的标准三维模型中的标准特征点进行差值运算，得到所述基础特征点对应的差向量，将所述基础特征点对应的差向量作为所述基础三维模型的基础参数；每个所述基础三维模型的基础参数包括至少一种基础形状的基础形状参数或至少一种基础表情的基础表情参数；其中，进行差值运算的基础特征点和所述标准特征点相对应；所述差向量包括位移差向量和转角差向量。

4.根据权利要求3所述的方法，其特征在于，根据所述人脸特征点生成所述目标对象的脸部的三维空间信息的步骤，包括：

将所述人脸特征点和所述标准三维模型中的标准特征点进行差值运算，得到所述人脸特征点对应的差向量，将所述人脸特征点对应的差向量作为所述目标对象的当前参数；其中，进行差值运算所述人脸特征点和所述标准特征点相对应；

根据每个所述基础三维模型对应的基础形状参数或基础表情参数，分解所述目标对象的当前参数，得到所述当前参数相对于各个所述基础三维模型的权重系数；

根据所述权重系数将所述基础三维模型进行加权融合，得到目标对象的脸部的三维空间信息。

5.根据权利要求1所述的方法，其特征在于，将预设的脸部纹理数据与所述三维空间信息相融合，得到与所述目标对象相关联的人脸三维重建模型的步骤，包括：

根据预设的剖分精度和剖分形状，对所述三维空间信息进行网格剖分，得到所述三维空间信息对应的三维网格剖分集合；

从预设的脸部纹理数据中提取坐标信息；

根据所述坐标信息，将所述脸部纹理数据贴图至所述三维网格剖分集合，得到与所述目标对象相关联的人脸三维重建模型。

6.根据权利要求5所述的方法，其特征在于，得到所述三维空间信息对应的三维网格剖分集合的步骤之后，所述方法还包括：

接收用户的变换指令；

根据所述变换指令对所述人脸三维重建模型对应的三维网格剖分集合进行差分矩阵变换，得到变换后的所述三维网格剖分集合。

7.根据权利要求5所述的方法，其特征在于，得到与所述目标对象相关联的人脸三维重建模型的步骤之后，所述方法还包括：

根据所述人脸三维重建模型对应的所述三维网格剖分集合中，各个网格与预设光源点的位置关系以及各个所述网格的法向量，为各个所述网格对应的局部纹理数据进行打光处理，得到光照效果下的所述人脸三维重建模型。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标对象的脸部图像；

特征点检测模块，用于从所述脸部图像中检测所述目标对象的人脸特征点；

信息生成模块，用于根据所述人脸特征点生成所述目标对象的脸部的三维空间信息；

信息融合模块，用于将预设的脸部纹理数据与所述三维空间信息相融合，得到与所述目标对象相关联的人脸三维重建模型。

9.一种图像处理系统，其特征在于，所述系统包括：摄像装置、处理器和存储装置；

所述摄像装置，用于采集帧图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。