CN108648142A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN108648142A CN108648142A CN201810488647.1A CN201810488647A CN108648142A CN 108648142 A CN108648142 A CN 108648142A CN 201810488647 A CN201810488647 A CN 201810488647A CN 108648142 A CN108648142 A CN 108648142A
- Authority
- CN
- China
- Prior art keywords
- region
- face
- delta
- image processing
- delta region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 230000001815 facial effect Effects 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 11
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000001052 transient effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提出一种图像处理方法及装置，其中，图像处理方法包括：获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型；将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；根据填充后的所述人脸模板三维模型，生成替换后的所述人脸图像。本公开提出的图像处理方法及装置，将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
相关技术中的换脸方式，通常是通过贴图的方式，直接将用户的人脸替换为人脸模板(明星模板)中的人脸。通过这种方式所生成的替换后的人脸，所呈现出的换脸效果不够真实，用户体验不理想。
发明内容
本公开提供一种图像处理方法及装置，能够解决换脸效果不够真实、用户体验不理想的问题。
本公开第一方面实施例提出了一种图像处理方法，包括：
获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型；
将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；
根据填充后的所述人脸模板三维模型，生成替换后的所述人脸图像。
本公开实施例的图像处理方法，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
本公开第二方面实施例提出了一种图像处理装置，包括：
获取模块，用于获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型；
填充模块，用于将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；
生成模块，用于根据填充后的所述人脸模板三维模型，生成替换后的所述人脸图像。
本公开实施例的图像处理装置，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
本公开第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如本公开第一方面实施例所述的图像处理方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如本公开第一方面实施例所述的图像处理方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种图像处理方法的流程示意图；
图2为本公开实施例所提供的另一种图像处理方法的流程示意图；
图3为本公开实施例所提供的一种图像处理装置的结构示意图；
图4为本公开实施例所提供的另一种图像处理装置的结构示意图；
图5为本公开实施例所提供的一种终端设备的结构示意图；
图6为本公开实施例所提供的执行图像处理方法的电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的图像处理方法及装置。
图1为本公开实施例所提供的一种图像处理方法的流程示意图。本公开实施例的图像处理方法可以应用于各种终端设备(例如手机、平板电脑等)中。如图1所示，该图像处理方法包括以下步骤：
S101，获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型。
具体的，替换前的人脸图像即等待被替换的人脸图像，例如用户自己的人脸图像。人脸模板图像即明星人脸图像，也即用户期望替换为的人脸图像。在实际应用中，人脸模板图像还可以是其他用户期望替换为的人脸图像。
由于直接将替换前的人脸图像替换为人脸模板图像，人脸模板图像不具有替换前的人脸图像的任何特征，因此呈现出的换脸效果不够真实，用户体验较差。基于此，可以将替换前的人脸图像替换为，既具有人脸模板图像的特征，又具有替换前的人脸图像的特征的人脸图像。由于人脸图像中最能体现出人脸图像的特征的区域为五官区域，因此可以将替换前的人脸图像替换为，既具有人脸模板图像的特征，又具有替换前的人脸图像五官区域的特征的人脸图像。其中，五官区域包括以下区域中的任意一种或多种的组合：眉毛区域、眼睛区域、耳朵区域、鼻子区域和嘴巴区域。
获取替换前的人脸图像和人脸模板图像，对替换前的人脸图像和人脸模板图像分别进行三维建模处理，得到替换前的人脸图像对应的三维模型即人脸三维模型，和人脸模板图像对应的三维模型即人脸模板三维模型。其中，三维建模过程可以采用现有的各种三维建模方法，本公开实施例对此不作限定。
S102，将人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。
具体的，识别出替换前的人脸图像对应的人脸三维模型中的五官区域，和人脸模板图像对应的人脸模板三维模型中的五官区域。获取人脸三维模型中的五官区域中的内容(即图像特征)，并将人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。
在实际应用中，由于人脸三维模型中的五官区域的大小，与人脸模板三维模型中的五官区域的大小并不相同，因此可以通过拉伸变形的方式，将人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。具体的，若人脸三维模型中的五官区域小于人脸模板三维模型中的五官区域，则将人脸三维模型中的五官区域中的内容进行扩大处理，以适应人脸模板三维模型中的五官区域；将扩大处理后的人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。若人脸三维模型中的五官区域大于人脸模板三维模型中的五官区域，则将人脸三维模型中的五官区域中的内容进行缩小处理，以适应人脸模板三维模型中的五官区域；将缩小处理后的人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。
S103，根据填充后的人脸模板三维模型，生成替换后的人脸图像。
具体的，根据填充后的人脸模板三维模型，生成替换后的人脸图像，从而实现了将替换前的人脸替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征。
此处需要说明的是，本公开实施例的图像处理方法是将替换前的人脸图像替换为，既具有人脸模板图像的特征又具有替换前的人脸图像的特征的替换后的人脸图像，基于同样的原理，本公开实施例的图像处理方法还可以应用于用户之间换脸、美妆、动态变形等应用场景中。
本实施例中，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
为了清楚说明上一实施例，本公开实施例还提供了另一种图像处理方法。图2为本公开实施例所提供的另一种图像处理方法的流程示意图。如图2所示，在上一实施例的基础上，该图像处理方法具体可以包括以下步骤：
S201，获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型。
具体的，步骤S201与上一实施例中的步骤S101相同，此处不再赘述。
上一实施例中的步骤S102具体可以包括以下步骤S202-S205。
S202，识别出人脸三维模型中的五官区域的多个第一特征点和人脸模板三维模型中的五官区域的多个第二特征点，多个第二特征点与多个第一特征点一一对应。
具体的，识别出替换前的人脸图像对应的人脸三维模型中的五官区域及五官区域对应的多个第一特征点，识别出人脸模板图像对应的人脸模板三维模型中的五官区域及五官区域对应的多个第二特征点。其中，多个第二特征点与多个第一特征点一一对应，即每个第二特征点均有唯一的一个第一特征点与其对应，同理，每个第一特征点均有唯一的一个第二特征点与其对应。
S203，基于多个第一特征点，将人脸三维模型中的五官区域划分为多个第一三角区域。
具体的，以任意3个第一特征点作为第一三角区域的3个顶点，将人脸三维模型中的五官区域划分为多个第一三角区域，多个第一三角区域可以重叠或不重叠。
S204，基于多个第二特征点，将人脸模板三维模型中的五官区域划分为多个第二三角区域，多个第二三角区域与多个第一三角区域一一对应。
具体的，采用与第一三角区域同样的划分方式，以任意3个第二特征点作为第二三角区域的3个顶点，将人脸模板三维模型中的五官区域划分为多个第二三角区域，多个第二三角区域可以重叠或不重叠。其中，多个第二三角区域与多个第一三角区域一一对应，即每个第二三角区域均有唯一的一个第一三角区域与其对应，同理，每个第一三角区域均有唯一的一个第二三角区域与其对应。
S205，将第一三角区域中的内容填充至对应的第二三角区域中。
具体的，获取第一三角区域中的内容(即图像特征)，并将第一三角区域中的内容，填充至与该第一三角区域唯一对应的第二三角区域中。
在实际应用中，由于人脸三维模型中的五官区域的大小，与人脸模板三维模型中的五官区域的大小并不相同，因此划分为的第一三角区域的大小与第二三角区域的大小也并不相同。基于此，可以通过拉伸变形的方式，将第一三角区域中的内容，填充至与该第一三角区域唯一对应的第二三角区域中。具体的，若第一三角区域小于对应的第二三角区域，则将第一三角区域中的内容进行扩大处理，以适应对应的第二三角区域；将扩大处理后的第一三角区域中的内容，填充至对应的第二三角区域中。若第一三角区域大于对应的第二三角区域，则将第一三角区域中的内容进行缩小处理，以适应对应的第二三角区域；将缩小处理后的第一三角区域中的内容，填充至对应的第二三角区域中。
S206，根据填充后的人脸模板三维模型，生成替换后的人脸图像。
具体的，步骤S206与上一实施例中的步骤S103相同，此处不再赘述。
进一步的，在本公开实施例一种可能的实现方式中，上述步骤S203具体可包括以下步骤：基于多个第一特征点，采用三角剖分算法，将人脸三维模型中的五官区域划分为多个第一三角区域。
具体的，三角剖分是代数拓扑学里最基本的研究方法。以曲面为例，把曲面剖开成一块块碎片，要求满足下面条件：(1)每块碎片都是曲边三角形；(2)曲面上任何两个这样的曲边三角形，不相交，或者恰好相交于一条公共边(不能同时交两条或两条以上的边)。基于此，本公开实施例中采用三角剖分算法划分为的多个第一三角区域，不相交，或者恰好相交于一条公共边。
进一步的，在本公开实施例一种可能的实现方式中，上述步骤S204具体可包括以下步骤：基于多个第二特征点，采用三角剖分算法，将人脸模板三维模型中的五官区域划分为多个第二三角区域。
具体的，本公开实施例中采用三角剖分算法划分为的多个第二三角区域，要么不相交，要么恰好相交于一条公共边。
此处需要说明的是，本公开实施例的图像处理方法是将替换前的人脸图像替换为，既具有人脸模板图像的特征又具有替换前的人脸图像的特征的替换后的人脸图像，基于同样的原理，本公开实施例的图像处理方法还可以应用于用户之间换脸、美妆、动态变形等应用场景中。
本实施例中，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
本公开实施例还提出了一种图像处理装置。图3为本公开实施例所提供的一种图像处理装置的结构示意图。如图3所示，该图像处理装置包括：获取模块310、填充模块320和生成模块330。
获取模块310，用于获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型。
填充模块320，用于将人脸三维模型中的五官区域中的内容，填充至人脸模板三维模型中的五官区域中。
生成模块330，用于根据填充后的人脸模板三维模型，生成替换后的人脸图像。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，此处不再赘述。
本实施例中，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
基于上述实施例，本公开实施例还提出了一种图像处理装置的可能的实现方式。图4为本公开实施例所提供的另一种图像处理装置的结构示意图。如图4所示，在上一实施例的基础上，填充模块320具体可包括：识别单元410、第一划分单元420、第二划分单元430和填充单元440。
识别单元410，用于识别出人脸三维模型中的五官区域的多个第一特征点和人脸模板三维模型中的五官区域的多个第二特征点，多个第二特征点与多个第一特征点一一对应。
第一划分单元420，用于基于多个第一特征点，将人脸三维模型中的五官区域划分为多个第一三角区域。
第二划分单元430，用于基于多个第二特征点，将人脸模板三维模型中的五官区域划分为多个第二三角区域，多个第二三角区域与多个第一三角区域一一对应。
填充单元440，用于将第一三角剖分区域中的内容填充至对应的第二三角剖分区域中。
进一步地，在本公开实施例的一种可能的实现方式中，第一划分单元420可具体用于：基于多个第一特征点，采用三角剖分算法，将人脸三维模型中的五官区域划分为多个第一三角区域。
进一步地，在本公开实施例的一种可能的实现方式中，第二划分单元430可具体用于：基于多个第二特征点，采用三角剖分算法，将人脸模板三维模型中的五官区域划分为多个第二三角区域。
进一步地，在本公开实施例的一种可能的实现方式中，填充单元440可具体用于：若第一三角区域小于对应的第二三角区域，则将第一三角区域中的内容进行扩大处理，以适应对应的第二三角区域；将扩大处理后的第一三角区域中的内容，填充至对应的第二三角区域中。
进一步地，在本公开实施例的一种可能的实现方式中，填充单元440可具体用于：若第一三角区域大于对应的第二三角区域，则将第一三角区域中的内容进行缩小处理，以适应对应的第二三角区域；将缩小处理后的第一三角区域中的内容，填充至对应的第二三角区域中。
进一步地，在本公开实施例的一种可能的实现方式中，五官区域包括以下区域中的任意一种或多种的组合：眉毛区域、眼睛区域、耳朵区域、鼻子区域和嘴巴区域。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，此处不再赘述。
本实施例中，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
本公开实施例还提出了一种终端设备。图5为本公开实施例所提供的一种终端设备的结构示意图。如图5所示，本公开实施例的终端设备510包括上述实施例的图像处理装置520。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的终端设备，此处不再赘述。
本实施例中，通过将替换前的人脸图像对应的三维模型中五官区域中的内容，填充至人脸模板图像对应的三维模型中，根据填充后的三维模型，生成替换后的人脸图像，从而将替换前的人脸图像替换为替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，提高了换脸效果的真实性，提升了用户体验。
本公开实施例还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现如上述实施例的图像处理方法。
本公开实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如上述实施例的图像处理方法。
本公开实施例还提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，实现如上述实施例的图像处理方法。
图6是本公开实施例提供的执行图像处理方法的电子设备的硬件结构示意图，如图6所示，该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
该电子设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块(例如，附图3所示的获取模块310、填充模块320和生成模块330)。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至图像处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与图像处理装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
一个或者多个模块存储在存储器620中，当被一个或者多个处理器610执行时，执行上述任意方法实施例中的图像处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (16)
1.一种图像处理方法，其特征在于，包括以下步骤：
获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型；
将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；
根据填充后的所述人脸模板三维模型，生成替换后的所述人脸图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中，包括：
识别出所述人脸三维模型中的所述五官区域的多个第一特征点和所述人脸模板三维模型中的所述五官区域的多个第二特征点，所述多个第二特征点与所述多个第一特征点一一对应；
基于所述多个第一特征点，将所述人脸三维模型中的所述五官区域划分为多个第一三角区域；
基于所述多个第二特征点，将所述人脸模板三维模型中的所述五官区域划分为多个第二三角区域，所述多个第二三角区域与所述多个第一三角区域一一对应；
将所述第一三角区域中的内容填充至对应的所述第二三角区域中。
3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述多个第一特征点，将所述人脸三维模型中的所述五官区域划分为多个第一三角区域，包括：
基于所述多个第一特征点，采用三角剖分算法，将所述人脸三维模型中的所述五官区域划分为所述多个第一三角区域。
4.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述多个第二特征点，将所述人脸模板三维模型中的所述五官区域划分为多个第二三角区域，包括：
基于所述多个第二特征点，采用三角剖分算法，将所述人脸模板三维模型中的所述五官区域划分为所述多个第二三角区域。
5.根据权利要求2所述的图像处理方法，其特征在于，所述将所述第一三角区域中的内容填充至对应的所述第二三角区域中，包括：
若所述第一三角区域小于对应的所述第二三角区域，则将所述第一三角区域中的内容进行扩大处理，以适应对应的所述第二三角区域；
将扩大处理后的所述第一三角区域中的内容，填充至对应的所述第二三角区域中。
6.根据权利要求2所述的图像处理方法，其特征在于，所述将所述第一三角区域中的内容填充至对应的所述第二三角区域中，包括：
若所述第一三角区域大于对应的所述第二三角区域，则将所述第一三角区域中的内容进行缩小处理，以适应对应的所述第二三角区域；
将缩小处理后的所述第一三角区域中的内容，填充至对应的所述第二三角区域中。
7.根据权利要求1-6任一所述的图像处理方法，其特征在于，所述五官区域包括以下区域中的任意一种或多种的组合：
眉毛区域、眼睛区域、耳朵区域、鼻子区域和嘴巴区域。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取替换前的人脸图像对应的人脸三维模型和人脸模板图像对应的人脸模板三维模型；
填充模块，用于将所述人脸三维模型中的五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；
生成模块，用于根据填充后的所述人脸模板三维模型，生成替换后的所述人脸图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述填充模块包括：
识别单元，用于识别出所述人脸三维模型中的所述五官区域的多个第一特征点和所述人脸模板三维模型中的所述五官区域的多个第二特征点，所述多个第二特征点与所述多个第一特征点一一对应；
第一划分单元，用于基于所述多个第一特征点，将所述人脸三维模型中的所述五官区域划分为多个第一三角区域；
第二划分单元，用于基于所述多个第二特征点，将所述人脸模板三维模型中的所述五官区域划分为多个第二三角区域，所述多个第二三角区域与所述多个第一三角区域一一对应；
填充单元，用于将所述第一三角剖分区域中的内容填充至对应的所述第二三角剖分区域中。
10.根据权利要求9所述的图像处理装置，其特征在于，所述第一划分单元具体用于：
基于所述多个第一特征点，采用三角剖分算法，将所述人脸三维模型中的所述五官区域划分为所述多个第一三角区域。
11.根据权利要求9所述的图像处理装置，其特征在于，所述第二划分单元具体用于：
基于所述多个第二特征点，采用三角剖分算法，将所述人脸模板三维模型中的所述五官区域划分为所述多个第二三角区域。
12.根据权利要求9所述的图像处理装置，其特征在于，所述填充单元具体用于：
若所述第一三角区域小于对应的所述第二三角区域，则将所述第一三角区域中的内容进行扩大处理，以适应对应的所述第二三角区域；
将扩大处理后的所述第一三角区域中的内容，填充至对应的所述第二三角区域中。
13.根据权利要求9所述的图像处理装置，其特征在于，所述填充单元具体用于：
若所述第一三角区域大于对应的所述第二三角区域，则将所述第一三角区域中的内容进行缩小处理，以适应对应的所述第二三角区域；
将缩小处理后的所述第一三角区域中的内容，填充至对应的所述第二三角区域中。
14.根据权利要求8-13任一所述的图像处理装置，其特征在于，所述五官区域包括以下区域中的任意一种或多种的组合：
眉毛区域、眼睛区域、耳朵区域、鼻子区域和嘴巴区域。
15.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7中任一所述的图像处理方法。
16.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-7中任一所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810488647.1A CN108648142A (zh) | 2018-05-21 | 2018-05-21 | 图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810488647.1A CN108648142A (zh) | 2018-05-21 | 2018-05-21 | 图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108648142A true CN108648142A (zh) | 2018-10-12 |
Family
ID=63757207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810488647.1A Pending CN108648142A (zh) | 2018-05-21 | 2018-05-21 | 图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648142A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109448069A (zh) * | 2018-10-30 | 2019-03-08 | 维沃移动通信有限公司 | 一种模板生成方法及移动终端 |
| CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
| CN113409454A (zh) * | 2021-07-14 | 2021-09-17 | 北京百度网讯科技有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217455A (zh) * | 2014-09-05 | 2014-12-17 | 南京偶酷软件有限公司 | 人脸表情动作的动画制作方法 |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
| CN106875329A (zh) * | 2016-12-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种人脸替换方法及装置 |
-
2018
- 2018-05-21 CN CN201810488647.1A patent/CN108648142A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217455A (zh) * | 2014-09-05 | 2014-12-17 | 南京偶酷软件有限公司 | 人脸表情动作的动画制作方法 |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| CN106156730A (zh) * | 2016-06-30 | 2016-11-23 | 腾讯科技（深圳）有限公司 | 一种人脸图像的合成方法和装置 |
| CN106875329A (zh) * | 2016-12-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种人脸替换方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 高岩等: "约束条件下的人脸五官替换算法", 《中国图象图形学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109409274B (zh) * | 2018-10-18 | 2020-09-04 | 四川云从天府人工智能科技有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109448069A (zh) * | 2018-10-30 | 2019-03-08 | 维沃移动通信有限公司 | 一种模板生成方法及移动终端 |
| CN109448069B (zh) * | 2018-10-30 | 2023-07-18 | 维沃移动通信有限公司 | 一种模板生成方法及移动终端 |
| CN110807836A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
| CN113409454A (zh) * | 2021-07-14 | 2021-09-17 | 北京百度网讯科技有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681719A (zh) | 视频图像处理方法及装置 | |
| CN108648142A (zh) | 图像处理方法及装置 | |
| CN103942049B (zh) | 增强现实的实现方法、客户端装置和服务器 | |
| KR20180077239A (ko) | 얼굴 인증 방법, 장치 및 컴퓨터 기억매체 | |
| CN103544290A (zh) | 通过指纹识别来显示个性化推荐页面的方法及其系统 | |
| CN106937154A (zh) | 处理虚拟形象的方法及装置 | |
| CN109741755A (zh) | 语音唤醒词阈值管理装置及管理语音唤醒词阈值的方法 | |
| CN113656179B (zh) | 云计算资源的调度方法及装置、电子设备和存储介质 | |
| CN111324774A (zh) | 一种视频去重方法和装置 | |
| CN107766891B (zh) | 用户性别识别方法、装置、存储介质及电子设备 | |
| CN108665408A (zh) | 肤色调整方法、装置和电子设备 | |
| CN111275650B (zh) | 美颜处理方法及装置 | |
| CN110110592A (zh) | 业务处理方法、模型训练方法、设备及存储介质 | |
| CN108682030A (zh) | 脸皮替换方法、装置及计算机设备 | |
| CN111292262A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| US20220100763A1 (en) | Optimizing job runtimes via prediction-based token allocation | |
| CN108459717A (zh) | 虚拟教育方法、装置、计算机装置及存储介质 | |
| CN116324681A (zh) | 触觉场景表示格式 | |
| CN106527695A (zh) | 一种信息输出方法及装置 | |
| CN107967304A (zh) | 会话交互处理方法、装置及电子设备 | |
| CN109918949A (zh) | 识别方法、装置、电子设备和存储介质 | |
| CN114549728A (zh) | 图像处理模型的训练方法、图像处理方法、装置及介质 | |
| CN112149599B (zh) | 表情追踪方法、装置、存储介质和电子设备 | |
| CN109191505A (zh) | 静态生成人脸三维模型的方法、装置、电子设备 | |
| CN109947850A (zh) | 数据分发方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |