CN111754431A - 一种图像区域替换方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像区域替换方法、装置、设备及存储介质。涉及人工智能领域中的图像处理技术，尤其涉及计算机视觉技术，特别涉及医学美容技术领域和三维重建技术。具体实现方案为：确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。能够提高图像区域替换精度，以优化图像区域替换方案。

Description

一种图像区域替换方法、装置、设备及存储介质

技术领域

本申请涉及人工智能领域的图像处理技术，尤其涉及计算机视觉技术，特别涉及医学美容技术领域和三维重建技术。

背景技术

随着图像处理技术和计算机视觉技术的发展，对图像进行区域替换的技术已经广泛应用于生活中的各个领域，例如，拍照软件为了提高拍照的趣味性，利用图像区域替换技术增设了人物换脸的功能；医学美容领域利用图像区域替换技术更为直观的向用户展示美容后的效果图等。但是当前的图像替换技术通常是对二维图像的平面区域进行整体替换，替换后的图像效果精度较低，亟需改进。

发明内容

本公开提供了一种图像区域替换方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像区域替换方法，包括：

确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；

根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；

根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

根据本公开的另一方面，提供了一种图像区域替换装置，包括：

约束顶点确定模块，用于确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；

约束条件确定模块，用于根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；

目标网格确定模块，用于根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的图像区域替换方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请任一实施例所述的图像区域替换方法。

根据本申请的技术提高了图像区域替换精度，以优化图像区域替换方案。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A是根据本申请实施例提供的一种图像区域替换方法的流程图；

图1B-1D是根据本申请实施例提供的模板人脸图像及区域替换前后的用户人脸图像效果图；

图2是根据本申请实施例提供的一种图像区域替换方法的流程图；

图3是根据本申请实施例提供的一种图像区域替换方法的流程图；

图4是根据本申请实施例提供的一种图像区域替换方法的流程图；

图5是根据本申请实施例提供的一种图像区域替换装置的结构示意图；

图6是用来实现本申请实施例的图像区域替换方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1A是根据本申请实施例提供的一种图像区域替换方法的流程图；图1B-1D是根据本申请实施例提供的模板人脸图像及区域替换前后的用户人脸图像效果图。本申请实施例适用于对三维网格图进行图像区域替换的情况。例如，将用户三维网格图的五官区域替换为模板三维网格图的五官区域的情况。该实施例可以由配置于电子设备中的图像区域替换装置来执行，该装置可以采用软件和/或硬件来实现。如图1A-1D所示，该方法包括：

S101，确定三维网格图的区域约束顶点。

其中，三维网格图可以是一种三维的网格状立体图像。本申请实施例中的三维网格图包括用户三维网格图和模板三维网格图两种。目的是将模板三维网格图中的目标区域替换用户三维网格图中的目标区域。所谓目标区域为三维网格图中，需要进行替换的区域。例如，图1B示出的是模板人脸三维网格图在某一视角下的效果图；图1C示出的是替换前的用户人脸三维网格图在与图1B同样视角下的效果图。若本实施例要进行鼻子区域替换，则此时的目标区域可以是图1B和图1C中的鼻子区域，即将图1B中模板人脸三维网格图的鼻子区域，替换到图1C中用户人脸三维网格图中。区域约束顶点可以是约束三维网格图的目标区域进行网格形变的顶点。其可以是从三维网格图的目标区域内的网格顶点中提取出来的，用于在后续对用户三维网格图进行目标区域网格形变时，约束目标区域内各网格顶点的位置。可选的，本申请实施例中的区域约束顶点至少包括区域关键顶点。其中，区域关键顶点与二维图像中的关键点类似，是三维网格图中，用于表征目标区域网格特征信息的网格顶点。例如，若三维网格图为人脸网格图，则人脸鼻子区域关键顶点可以是用来表征人脸鼻子的形状与轮框的顶点，如图1B和图1C中鼻子区域的白色原点即为鼻子区域的区域关键顶点。

可选的，在本申请实施例中，确定三维网格图的区域约束顶点的方法有很多，对此本实施例不进行限定，可以是用户在三维网格图像的目标区域包含的各网格顶点中，手动选择其认为可以表征该目标区域网格特征信息的网格顶点作为区域关键顶点。例如，假设对人脸五官区域进行替换，则可以是用户在人脸三维网格图的眼睛、鼻子、嘴巴、耳朵、眉毛等区域内，手动选择表征五官位置特征的网格顶点作为区域关键顶点，即本步骤确定的区域约束顶点。还可以是系统自动对三维网格图进行分析，提取目标区域中包含的区域约束顶点。如可以是先将三维网格图渲染为二维图像，然后再基于二维图像进行关键点提取，进而将二维图像的关键点映射到三维图像中，将二维图像的关键点在三维网格图中对应的网格顶点作为提取的区域关键顶点，即本步骤确定的区域约束顶点。例如，假设对人脸五官区域进行替换，则可以是将人脸三维网格图渲染为二维的人脸平面图，然后基于人脸关键点提取算法，提取人脸的105个关键点，进而将这105关键点在人脸三维网格图中对应的网格顶点作为人脸区域的区域关键顶点，即区域约束顶点。也可以是预先通过大量样本数据训练可以用于提取三维网格图的区域约束顶点(如区域关键顶点)的神经网络模型，此时可以将三维网格图输入到神经网络模型中，得到该三维网格图的区域约束顶点等。

可选的，在本申请实施例中，三维网格图的区域约束顶点除了包含上述介绍的区域关键顶点外，还可以包括区域边界顶点。所谓区域边界顶点可以是三维网格图中用于表征目标区域的区域边界的网格顶点。例如，若三维网格图为人脸网格图，则人脸区域边界顶点可以是用来表征人脸五官边缘位置的顶点。可选的，本申请实施例确定三维网格图的区域边界顶点的方法与上述介绍的确定区域关键顶点的方式类似，如可以是用户手动选择；可以通过预先训练好的神经网络模型确定；还可以是将三维网格图渲染为二维平面图像，采用边缘提取算法提取二维平面图像中的区域边缘点，进而将边缘点对应到三维网格图中的网格顶点作为区域边界顶点。也可以是基于确定出的区域关键顶点来确定区域边界顶点(该确定方式将在后续实施例进行介绍)等。

需要说明的是，由于本申请实施例进行图像区域替换需要涉及到两种类型的三维网格图，即需要替换的用户三维网格图和提供模板的模板三维网格图，所以本步骤需要针对用户三维网格图和人脸三维网格图都按照上述介绍的方式执行确定三维网格图的区域约束顶点的操作。例如，若本申请实施例中的区域约束顶点为区域关键顶点，则图1B中鼻子区域的白色原点即为本步骤确定出的模板人脸三维网格图的鼻子区域的区域约束顶点；图1C中鼻子区域的白色原点即为本步骤确定出的用户人脸三维网格图的鼻子区域的区域约束顶点。

S102，根据用户三维网格图和模板三维网格图的区域约束顶点，确定约束条件。

其中，本申请实施例的约束条件可以是约束用户三维网格图进行网格形变时的约束条件。该约束条件可以基于用户三维网格图和模板三维网格图的区域约束顶点确定。

可选的，本申请实施例中，区域约束顶点中包含的顶点类型不同，确定的约束条件也不同。若本申请实施例的区域约束顶点为区域关键顶点，则将模板三维网格图的区域关键顶点作为约束条件。具体的，由于区域关键顶点是表征待替换的目标区域内关键特征的顶点，而进行图像区域替换的实质就是通过网格形变，使得用户三维网格图中目标区域的关键特征变为模板三维网格图中目标区域的关键特征。所以，此时应该以模板三维网格图的区域关键顶点作为网格形变时变化点的约束条件。

若本申请实施例的区域约束顶点为区域关键顶点和区域边界顶点，则将模板三维网格图的区域关键顶点和用户三维网格图的区域边界顶点作为约束条件。具体的，通过上述分析可知要想替换后的三维网格图的目标区域与模板三维网格图的目标区域相似，就要以模板三维网格图的区域关键顶点作为变化点的约束条件。由于区域边界顶点是表征待替换区域的边界，为了防止替换后的三维网格图有突兀感，可以是将用户三维网格图的区域边界顶点作为网格形变时不动点的约束条件。即在后续网格形变的过程中，约束目标区域的边界位置尽可能的保持不变，只将模板三维网格图中目标区域的关键特征信息替换到用户三维网格图中。本申请实施例可以根据区域约束顶点包含类型的不同，确定不同的约束条件，包含类型越多，确定的约束条件越准确，为后续精准进行网格形变提供了保障。

需要说明的是，若三维网格图的区域约束顶点还有其他类型的网格顶点，则本申请实施例还可以基于其他类型的网格顶点特征，来确定约束条件，提高替换后的三维网格图的效果。对此本实施例不进行限定。

S103，根据约束条件，对用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

其中，本申请实施例的网格形变可以是任何一种对三维网格图进行形变的算法，例如，可以是三维动画形变、拉普拉斯形变等。网格形变的本质是移动三维网格图中的网格顶点的坐标到想要的位置，然后保持原来顶点的连接关系。通过少量点的位置改变，驱动整个三维网格图区域的形变。

可选的，由于本申请实施例只对用户三维网格图的目标区域进行替换，所以为了降低网格形变的复杂的，本步骤可以是只对用户三维网格图的目标区域进行网格形变，调整目标区域内的各网格顶点的位置坐标。具体的，对目标区域内的各网格顶点进行网格形变时，可以是为该区域的网格顶点构建能量函数，并在满足该约束条件的情况下，求解能量函数最小时，目标区域内各网格顶点的坐标位置，作为网格形变后用户三维网格图的目标区域内各网格顶点的新位置坐标，以实现对替换后的用户三维网格图的三维重建，此时网格形变后的用户三维网格图即为替换了模板目标区域后的目标三维网格图。例如，本实施例可以根据图1B示出的模板人脸三维网格图的鼻子区域的区域关键顶点(即图1B中鼻子区域的白色原点)为约束条件，对图1C示出的用户人脸三维网格图的鼻子区域的各网格顶点进行网格形变，调整图1C中用户鼻子区域的各网格顶点的位置坐标，得到图1D示出的区域替换后的目标人脸三维网格图。由图1D可以看出，替换后的目标人脸三维网格图的鼻子区域拥有图1B所示的模板鼻子区域的特征，除鼻子以外的其他区域仍然保持图1C所示的用户原来人脸区域的特征，且替换后的目标人脸三维网格效果逼真，精确度高。

需要说明的是，本申请实施例的方案，可以在只设置用户三维网格图的目标区域内的个别网格顶点(即模板用户三维网格图的区域关键顶点，或者模板用户三维网格图的区域关键顶点和用户三维网格图的区域边界顶点)的新位置来表达替换区域的形状，就能够实现自动根据所需要保持的形状星系来计算其与网格顶点的位置，并非简单的进行区域的直接替换，使得替换后的目标三维网格的目标区域与模板目标区域高度相似，且替换后无突兀感，效果更真实。

可选的，本申请实施例的方案可应用于任何需要对图像进行区域替换的场景。例如，在医学美容领域，采用本申请实施例提供的方法可以在整容之前进行模拟整容，向用户展示整容后的真实效果，并且可支持多视角查看模拟整容的效果。对于整容医生，通过本申请实施例提供的图像区域替换方法可以作为较好的整形参考，从而提高用户的整形满意度，提高整形质量。

本申请实施例的技术方案，通过为用户三维网格图和模板三维网格图都确定区域约束顶点，并根据确定出的区域约束顶点，得到本次网格形变的约束条件，进而以该约束条件对用户三维网格图进行网格形变，得到替换后的目标三维网格图。本申请实施例可以实现对三维网格图的三维网格区域替换，相比于二维图像的平面区域替换，真实性和精确度更高。另外还可以从多角度查看模型的替换效果。为图像区域替换提供了一种新思路。

可选的，在本申请实施例中，在根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变之前，还可以包括：用模板三维网格图的区域关键顶点替换用户三维网格图的区域关键顶点。具体的，可以是在对用户三维网格图的目标区域进行网格形变之前，先将用户三维网格图中的区域关键顶点替换为模板三维网格图的区域关键顶点。然后再根据约束条件，对区域关键顶点替换后的用户三维网格图进行网格形变，调整目标区域内的其他网格顶点的位置，得到最终的目标三维网格图。本申请实施例这样设置的好处是提高了网格形变的准确度，进而提高了替换后得到的目标网格图的精准性和真实性。可选的，为了保证用户三维网格图替换目标区域后不发生畸变的同时保持模板目标区域的形状特性，本实施例在用模板三维网格图的区域关键顶点替换用户三维网格图的区域关键顶点时，可以通过刚性变换进行关键点的替换。

图2是根据本申请实施例提供的一种图像区域替换方法的流程图。本实施例在上述实施例的基础上，进行了进一步的优化，给出了区域约束顶点还包括区域边界顶点时，确定三维网格图的区域约束顶点的具体情况介绍。如图2所示，该方法具体包括：

S201，确定三维网格图的区域关键顶点。

可选的，确定三维网格图的区域关键顶点的方式已经在前述实施例中进行了介绍，另外，后续实施例将会具体给出一种确定三维网格图的区域关键顶点的情况介绍，在此本实施例不进行赘述。

S202，根据区域关键顶点和三维网格图的拓扑关系，确定三维网格图的区域边界顶点。

其中，三维网格图的拓扑关系可以是指三维网格图中，网格顶点之间的连接关系。

可选的，本申请实施例可以根据S201确定出的区域关键顶点，结合三维网格图的拓扑关系，来确定三维网格中目标区域的区域边界顶点。具体的确定方式可以是先根据S201确定的区域关键顶点的位置，粗略选定一个目标区域范围，如可以是选定区域关键顶点的外切区域作为粗略的目标区域范围，或者是在该外切区域的基础上，再向外扩大预设距离，作为粗略的目标区域范围。然后再根据三维网格图的拓扑关系，以该目标区域内的每个网格顶点为索引，判断该网格顶点的连接顶点是否全部落在该目标区域范围内，若不是，则说明该网格顶点为目标区域边界顶点。

需要说明的是，由于本申请实施例的三维网格图包括用户三维网格图和模板三维网格图，所以需要对用户三维网格图和模板三维网格图都执行上述S201和S202的操作，将确定出的用户三维网格图的区域关键顶点和区域边界顶点，作为用户三维网格图的区域约束顶点；将确定出的模板三维网格图的区域关键顶点和区域边界顶点，作为模板三维网格图的区域约束顶点。

S203，根据用户三维网格图和模板三维网格图的区域约束顶点，确定约束条件。

具体的，本步骤可以是将模板三维网格图的区域关键顶点作为网格形变的变化点约束条件，将用户三维网格图的区域边界顶点作为网格形变的不变点约束条件。

S204，根据约束条件，对用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

本申请实施例的技术方案，对于用户三维网格图和模板三维网格图，都先确定区域关键顶点，再根据三维网格图的拓扑关系和确定出的区域关键顶点，确定区域边界顶点；将用户三维网格图的区域边界顶点和模板三维网格图的区域关键顶点作为本次网格形变的约束条件，对用户三维网格图进行网格形变，得到替换后的目标三维网格图。本申请实施例确定的区域边界顶点准确性更高，且以用户三维网格图的区域边界顶点和模板三维网格图的区域关键顶点作为约束条件进行网格形变，使得区域替换后的三维网格图即保留了模板目标区域的特性，又避免了边界发生形变导致替换后的区域边界不平衡，极大的提高了网格形变后的目标三维网格图的真实性和准确性。

图3是根据本申请实施例提供的一种图像区域替换方法的流程图。本实施例在上述各实施例的基础上，进行了进一步的优化，给出了确定三维网格图的区域关键顶点的具体情况介绍。如图3所示，该方法具体包括：

S301，对三维网格图进行渲染操作，得到渲染后的二维图像。

可选的，本申请实施例对三维网格图进行渲染操作可以包括：矩阵变换、屏幕映射、光栅化、像素着色和深度测试等阶段。通过依次执行这些阶段对应的操作，实现将三维网格图渲染为二维图像。

具体的，矩阵变换阶段是对三维网格图中的网格顶点进行坐标系变化，即将网格顶点坐标从三维网格图的局部坐标系转换到本次观察角度对应的二维平面坐标系(即二维观察坐标系)。可选的，可以是先将三维网格图的网格顶点从三维网格图的局部坐标系转换到标准的世界坐标系，然后再进一步从世界坐标系转换到本次观察角度对应的观察坐标系，以实现三维网格图投影到二维平面图的取景。屏幕映射阶段的执行过程可以是先将三维网格图转换为二维平面图时视域外的网格顶点去除，然后通过透视投影与视口变换，产生近大远小的视觉效果，再创建视域体对应的投影矩阵(即旋转矩阵和平移矩阵)，并通过该投影矩阵，把观察坐标系下的视域体中各网格顶点的坐标转换为屏幕视口坐标。光栅化阶段的执行过程是确定屏幕视口内的像素个数，以及计算原三维网格每个三角形面内的像素值。像素着色阶段的执行过程是根据纹理坐标与三维网格uv图，获取屏幕显示的像素颜色。可选的，在像素着色阶段，还可以加入光照模型，获得不同光照的渲染效果。深度测试阶段是通过测试算法去除未通过深度测试的像素，得到最终渲染效果。

S302，提取二维图像中目标区域的关键点。

可选的，本步骤可以是采用二维平面图像的关键点提取算法，对二维图像的目标区域进行分析，提取目标区域中的关键点。例如，假设二维图像的目标区域为人脸五官区域，则此时可以是通过人脸特征提取算法，提取人脸五官区域的150个人脸五官关键点，这150个关键点包含了人脸五官的位置、轮廓信息与形状信息，是人脸关键语义点。可选的，目标区域的关键点还可以是通过预先训练好的用于确定平面区域的关键点的神经网络模型来提取等。对此不进行限定。

S303，确定关键点在三维网格图中对应的网格顶点，作为三维网格图的区域关键顶点。

可选的，本申请实施例可以是在S302确定出目标区域的关键点后，针对每一个关键点，在渲染后的二维平面图上查找对应的最近点，然后把该最近点作为关键点的关联点，进而把该关联点对应在三维网格图中的网格顶点作为关键点对应的区域关键顶点。

S304，根据区域关键顶点和三维网格图的拓扑关系，确定三维网格图的区域边界顶点。

需要说明的是，如果本申请实施例的区域约束顶点只包括区域关键顶点，则此时不执行S304的操作，将S303确定的用户三维网格图的区域关键顶点和模板三维网格图的区域关键顶点作为本实施例的区域约束顶点后，直接执行S305的操作。如果本申请实施例的区域约束顶点包括区域关键顶点和区域边界顶点，则此时需要将S303和S304确定的用户三维网格图的区域关键顶点和区域边界顶点，以及模板三维网格图的区域关键顶点和区域边界顶点作为本实施例的区域约束顶点后，执行S305的操作。

S305，根据用户三维网格图和模板三维网格图的区域约束顶点，确定约束条件。

S306，根据约束条件，对用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

本申请实施例的方案，将三维网格图渲染为二维图像，提取二维图像中目标区域的关键点，进而对应到三维网格图中，确定区域关键顶点。相比于人工手动选择区域关键顶点，本实施例确定的区域关键顶点更为准确，同时也保证了依据该区域关键顶点确定的区域边界点的准确性。后续以该方式确定的准确的区域关键顶点和区域边界顶点为约束条件，对用户三维网格图进行网格形变，保证了区域替换的准确性和真实性。

可选的，在本申请实施例中，执行S302提取二维图像中目标区域的关键点之后，还可以包括：对关键点进行关键点插值操作。具体的，本实施例可以是在S302提取的关键点比较稀疏时，为了保证候选区域替换的准确性，在S302提取的关键点间进行关键点插值，例如，可以是在关键点稀疏的地方选择待插值的关键点对，如可以是用于手动选择，还可以是系统分析后自动选择。然后针对选择的各关键点对，在关键点对之间进行等间隔采样，以实现关键点插值。这样设置的好处是可以在S302提取的关键点较少时，通过插值的方式增加关键点的数量，以保证后续网格形变时，变化点约束条件的准确性，提高网格形变后的目标三维网格图的真实性和准确性。

图4是根据本申请实施例提供的一种图像区域替换方法的流程图。本实施例在上述各实施例的基础上，进行了进一步的优化，给出了当网格形变为拉普拉斯形变时，根据约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图的具体情况介绍。如图4所示，该方法具体包括：

S401，确定三维网格图的区域约束顶点。

其中，三维网格图包括用户三维网格图和模板三维网格图；区域约束顶点至少包括区域关键顶点。可选的，还可以包括区域边界顶点。

S402，根据用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件。

可选的，若本实施例的区域约束顶点为区域关键顶点，则将模板三维网格图的区域关键顶点作为约束条件；若本实施例的区域约束顶点为区域关键顶点和区域边界顶点，则将模板三维网格图的区域关键顶点和用户三维网格图的区域边界顶点作为约束条件。

S403，根据约束条件，对用户三维网格图的目标区域构建拉普拉斯能量函数。

可选的，本步骤可以是将约束条件中的区域约束顶点作为拉普拉斯形变的锚点，如将模板三维网格图的区域关键顶点作为拉普拉斯形变的变化点约束，将用户三维网格图的区域边界顶点作为拉普拉斯形变的不动点约束。对三角性网格构成的三维网格图的目标区域构建拉普拉能量函数。具体的构建步骤可以包括如下子步骤：

子步骤(1)，确定用户三维网格图的目标区域内各网格顶点的拉普拉斯算子。具体的，可以是针对用户三维网格图的目标区域内的每个顶点，都按照一定的计算公式，计算该顶点的拉普拉斯算子，该拉普拉斯算子可以是用于描述该顶点与其连接的所有顶点之间的描述信息。可选的，各网格顶点与其连接顶点之间的权重值可以是均匀权重或余切函数权重等。其中，由于余切函数权重考虑到了离散采样点分布的不均匀性，能够更为准确的描述各网格顶点与其连接顶点之间的细节信息。

子步骤(2)根据各网格顶点的拉普拉斯算子和约束条件，构建约束条件下的拉普拉斯能量函数。具体的，确定出各网格顶点的拉普拉斯算子后，可以是基于拉普拉斯形变前后，以形变前后各网格顶点局部信息差值最小作为目标，构建约束条件下的三维网格图的拉普拉斯能量函数。

子步骤(3)将约束条件下的拉普拉斯能量函数转换为非约束条件下的拉普拉斯能量函数。具体的，拉普拉斯形变的目标是通过设置少量顶点的最终位置驱动三维网格图中目标区域的所有顶点的移动，同时使得形变前后网格顶点局部细节信息差异最小。因此子步骤(2)中构建的拉普拉斯能量函数除了网格顶点局部细节信息差异的部分外，还有区域约束顶点的约束条件。所以为了满足在有点约束的条件下最小化能量函数，可以将子步骤(2)中构建的约束条件下的拉普拉斯能量函数转换为非约束条件下的拉普拉斯能量函数。可选的，可以是通过惩罚的方法，把约束优化问题转化为非约束优化问题，得到非约束条件下的拉普拉斯能量函数。

S404，根据拉普拉斯能量函数的求解结果，确定目标三维网格。

可选的，在本申请实施例中，非约束条件下的拉普拉斯能量函数的二次型就相当于在满足约束条件下的拉普拉斯能量函数，且二次型只有一个极值点，所以该极值点即为最值点，因此本步骤求解拉普拉斯能量函数时，可以是令拉普拉斯能量函数的梯度为0，求解能量函数最小时对应的顶点坐标作为拉普拉斯形变后，目标三维网格图的目标区域内各网格顶点调整位置后的坐标位置。

具体的，在求解拉普拉斯能量函数时，可以是先将拉普拉斯能量函数写成矩阵的形式，然后将该拉普拉斯能量函数转换为最小二乘问题(即梯度为了零时的线性方程)，求解线性方程组。可选的，可以利用计算机数值计算工具(如运算函数Eigen)快速求解线性方程组。优选的，由于线性方程组形式的拉普拉斯能量函数的系数矩阵是稀疏正定矩阵，因此还可以用稀疏平方根Cholesky分解法求解拉普拉斯能量函数。因为本实施例中约束条件中有至少一个约束点的约束，所以可以求解得到线性方程组的唯一解。按照求解出的拉普拉斯能量函数的求解结果，调整用户三维网格图的目标区域内各网格顶点的坐标位置，得到目标三维网格图。

本申请实施例的技术方案，通过为用户三维网格图和模板三维网格图都确定区域约束顶点，并根据确定出的区域约束顶点，得到本次网格形变的约束条件，进而以该约束条件对用户三维网格图进行拉普拉斯形变，得到替换后的目标三维网格图。本申请实施例采用拉普拉斯形变算法，对用户三维网格图进行网格形变，在保证形变效果准确的前提下，极大的降低了网格形变的复杂度，提高了图像区域替换效率。

图5是根据本申请实施例提供的一种图像区域替换装置的结构示意图。本申请实施例适用于对三维网格图进行图像区域替换的情况。例如，将用户三维网格图的五官区域替换为模板三维网格图的五官区域的情况。该装置可实现本申请任意实施例所述的图像区域替换方法。该装置可集成于电子设备中。该装置500具体包括：

约束顶点确定模块501，用于确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；

约束条件确定模块502，用于根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；

目标网格确定模块503，用于根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

本申请实施例的技术方案，通过为用户三维网格图和模板三维网格图都确定区域约束顶点，并根据确定出的区域约束顶点，得到本次网格形变的约束条件，进而以该约束条件对用户三维网格图进行网格形变，得到替换后的目标三维网格图。本申请实施例可以实现对三维网格图的三维网格区域替换，相比于二维图像的平面区域替换，真实性和精确度更高。另外还可以从多角度查看模型的替换效果。为图像区域替换提供了一种新思路。

进一步的，所述区域约束顶点还包括区域边界顶点；相应的，所述约束顶点确定模块501具体用于：

确定所述三维网格图的区域关键顶点；

根据所述区域关键顶点和所述三维网格图的拓扑关系，确定所述三维网格图的区域边界顶点。

进一步的，所述约束顶点确定模块501包括：

渲染单元，用于对所述三维网格图进行渲染操作，得到渲染后的二维图像；

关键点提取单元，用于提取所述二维图像中目标区域的关键点；

关键顶点确定单元，用于确定所述关键点在所述三维网格图中对应的网格顶点，作为所述三维网格图的区域关键顶点。

进一步的，所述约束顶点确定模块501还包括：

插值单元，用于在提取所述二维图像中目标区域的关键点之后，对所述关键点进行关键点插值操作。

进一步的，所述约束条件确定模块502具体用于：

若所述区域约束顶点为区域关键顶点，则将所述模板三维网格图的区域关键顶点作为约束条件；

若所述区域约束顶点为区域关键顶点和区域边界顶点，则将所述模板三维网格图的区域关键顶点和所述用户三维网格图的区域边界顶点作为约束条件。

进一步的，所述装置还包括：

关键顶点替换模块，用于在根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变之前，用所述模板三维网格图的区域关键顶点替换所述用户三维网格图的区域关键顶点。

进一步的，所述网格形变为拉普拉斯形变。

进一步的，所述目标网格确定模块503包括：

能量函数构建单元，用于根据所述约束条件，对所述用户三维网格图的目标区域构建拉普拉斯能量函数；

能量函数求解单元，用于根据所述拉普拉斯能量函数的求解结果，确定目标三维网格。

进一步的，所述能量函数构建单元具体用于：

确定所述用户三维网格图的目标区域内各网格顶点的拉普拉斯算子；

根据所述各网格顶点的拉普拉斯算子和所述约束条件，构建所述约束条件下的拉普拉斯能量函数；

将所述约束条件下的拉普拉斯能量函数转换为非约束条件下的拉普拉斯能量函数。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的图像区域替换方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像区域替换方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像区域替换方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像区域替换方法对应的程序指令/模块(例如，附图5所示的约束顶点确定模块501、约束条件确定模块502和目标网格确定模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像区域替换方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像区域替换方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至图像区域替换方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像区域替换方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与图像区域替换方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过为用户三维网格图和模板三维网格图都确定区域约束顶点，并根据确定出的区域约束顶点，得到本次网格形变的约束条件，进而以该约束条件对用户三维网格图进行网格形变，得到替换后的目标三维网格图。本申请实施例可以实现对三维网格图的三维网格区域替换，相比于二维图像的平面区域替换，真实性和精确度更高。另外还可以从多角度查看模型的替换效果。为图像区域替换提供了一种新思路。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种图像区域替换方法，包括：

确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；

根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；

根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

2.根据权利要求1所述的方法，其中，所述区域约束顶点还包括区域边界顶点；

相应的，确定三维网格图的区域约束顶点，包括：

确定所述三维网格图的区域关键顶点；

根据所述区域关键顶点和所述三维网格图的拓扑关系，确定所述三维网格图的区域边界顶点。

3.根据权利要求1或2所述的方法，其中，确定三维网格图的区域关键顶点，包括：

对所述三维网格图进行渲染操作，得到渲染后的二维图像；

提取所述二维图像中目标区域的关键点；

确定所述关键点在所述三维网格图中对应的网格顶点，作为所述三维网格图的区域关键顶点。

4.根据权利要求3所述的方法，其中，提取所述二维图像中目标区域的关键点之后，还包括：

对所述关键点进行关键点插值操作。

5.根据权利要求1所述的方法，其中，根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件，包括：

若所述区域约束顶点为区域关键顶点，则将所述模板三维网格图的区域关键顶点作为约束条件；

若所述区域约束顶点为区域关键顶点和区域边界顶点，则将所述模板三维网格图的区域关键顶点和所述用户三维网格图的区域边界顶点作为约束条件。

6.根据权利要求1所述的方法，其中，在根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变之前，还包括：

用所述模板三维网格图的区域关键顶点替换所述用户三维网格图的区域关键顶点。

7.根据权利要求1所述的方法，其中，所述网格形变为拉普拉斯形变。

8.根据权利要求7所述的方法，其中，根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图，包括：

根据所述约束条件，对所述用户三维网格图的目标区域构建拉普拉斯能量函数；

根据所述拉普拉斯能量函数的求解结果，确定目标三维网格。

9.根据权利要求8所述的方法，其中，根据所述约束条件，对所述用户三维网格图的目标区域构建拉普拉斯能量函数，包括：

确定所述用户三维网格图的目标区域内各网格顶点的拉普拉斯算子；

根据所述各网格顶点的拉普拉斯算子和所述约束条件，构建所述约束条件下的拉普拉斯能量函数；

将所述约束条件下的拉普拉斯能量函数转换为非约束条件下的拉普拉斯能量函数。

10.一种图像区域替换装置，包括：

约束顶点确定模块，用于确定三维网格图的区域约束顶点；其中，所述三维网格图包括用户三维网格图和模板三维网格图；所述区域约束顶点至少包括区域关键顶点；

约束条件确定模块，用于根据所述用户三维网格图和所述模板三维网格图的区域约束顶点，确定约束条件；

目标网格确定模块，用于根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变，得到目标三维网格图。

11.根据权利要求10所述的装置，其中，所述区域约束顶点还包括区域边界顶点；

相应的，所述约束顶点确定模块具体用于：

确定所述三维网格图的区域关键顶点；

根据所述区域关键顶点和所述三维网格图的拓扑关系，确定所述三维网格图的区域边界顶点。

12.根据权利要求10或11所述的装置，其中，所述约束顶点确定模块包括：

渲染单元，用于对所述三维网格图进行渲染操作，得到渲染后的二维图像；

关键点提取单元，用于提取所述二维图像中目标区域的关键点；

关键顶点确定单元，用于确定所述关键点在所述三维网格图中对应的网格顶点，作为所述三维网格图的区域关键顶点。

13.根据权利要求12所述的装置，其中，所述约束顶点确定模块还包括：

插值单元，用于在提取所述二维图像中目标区域的关键点之后，对所述关键点进行关键点插值操作。

14.根据权利要求10所述装置，其中，所述约束条件确定模块具体用于：

若所述区域约束顶点为区域关键顶点，则将所述模板三维网格图的区域关键顶点作为约束条件；

若所述区域约束顶点为区域关键顶点和区域边界顶点，则将所述模板三维网格图的区域关键顶点和所述用户三维网格图的区域边界顶点作为约束条件。

15.根据权利要求10所述的装置，还包括：

关键顶点替换模块，用于在根据所述约束条件，对所述用户三维网格图的目标区域进行网格形变之前，用所述模板三维网格图的区域关键顶点替换所述用户三维网格图的区域关键顶点。

16.根据权利要求10所述的装置，其中，所述网格形变为拉普拉斯形变。

17.根据权利要求16所述的装置，其中，所述目标网格确定模块包括：

能量函数构建单元，用于根据所述约束条件，对所述用户三维网格图的目标区域构建拉普拉斯能量函数；

能量函数求解单元，用于根据所述拉普拉斯能量函数的求解结果，确定目标三维网格。

18.根据权利要求17所述的装置，其中，所述能量函数构建单元具体用于：

确定所述用户三维网格图的目标区域内各网格顶点的拉普拉斯算子；

根据所述各网格顶点的拉普拉斯算子和所述约束条件，构建所述约束条件下的拉普拉斯能量函数；

将所述约束条件下的拉普拉斯能量函数转换为非约束条件下的拉普拉斯能量函数。

19.一种电子设备，其中，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的图像区域替换方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的图像区域替换方法。

Images