CN108876705A - 图像合成的方法、装置及计算机存储介质 - Google Patents
图像合成的方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN108876705A CN108876705A CN201711184257.7A CN201711184257A CN108876705A CN 108876705 A CN108876705 A CN 108876705A CN 201711184257 A CN201711184257 A CN 201711184257A CN 108876705 A CN108876705 A CN 108876705A
- Authority
- CN
- China
- Prior art keywords
- human face
- face region
- boundary
- mixing
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010189 synthetic method Methods 0.000 title claims abstract description 22
- 238000002156 mixing Methods 0.000 claims abstract description 160
- 230000009466 transformation Effects 0.000 claims abstract description 102
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 100
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 72
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000080795 Elaphoglossum affine Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明实施例提供了一种图像合成的方法、装置及计算机存储介质。该方法包括：确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；根据第一人脸区域和第二人脸区域以及各自的合成比例，确定混合人脸区域；根据第一人脸区域的第一边界以及混合人脸区域的第二边界，确定仿射变换后的混合人脸区域；将仿射变换后的混合人脸区域与第一原始图像进行融合，得到将第一原始图像与第二原始图像按比例合成之后的结果图像。可见，本发明实施例能够将第二原始图像中的人脸与第一原始图像中的人脸按照比例进行合成，且合成图像保留第一原始图像的背景，保证背景清晰。该过程适用于各种场景的底图且融合效果好，不会出现合成失真的情形。
Description
技术领域
本发明涉及图像处理领域，更具体地涉及一种图像合成的方法、装置及计算机存储介质。
背景技术
在图像处理的过程中，某些场景下需要对图像中的多个人脸按比例进行合成，使合成的图像同时具有多个人脸的特征。由于不同图片之间的尺寸、色彩等差别，所合成的图像可能出现背景杂乱，真实感差等情形，导致图像处理的效果不佳。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像合成的方法、装置及计算机存储介质，能够将第一原始图像中的第一人脸与第二原始图像中的第二人脸进行合成，且保证合成后的图像效果。
根据本发明的一方面，提供了一种图像合成的方法，所述方法包括：
确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
在本发明的一个实施例中，所述根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域，包括：
根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域；
将所述第一人脸区域、所述第二人脸区域和所述中间区域进行三角剖分；
将所述第一人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第一人脸区域；
将所述第二人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第二人脸区域；
将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域。
在本发明的一个实施例中，所述第一人脸区域包括N个关键点，所述第二人脸区域包括N个关键点，
所述根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域，包括：
确定所述中间区域的第i个关键点的坐标为：
其中，Bi(x,y)表示所述第一人脸区域中第i个关键点的坐标，Ai(x,y)表示所述第二人脸区域中第i个关键点的坐标，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，0＜p≤1，wB和hB分别表示所述第一人脸区域中的关键点包围盒的宽和高，wA和hA分别表示所述第二人脸区域中的关键点包围盒的宽和高，i的取值范围为1至N，N为正整数。
在本发明的一个实施例中，将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域，包括：
确定所述混合人脸区域中像素(x,y)的RGB的三个通道中的第j个通道的值为：
其中，表示所述仿射变换后的第一人脸区域RGB的三个通道中的第j个通道的值，表示所述仿射变换后的第二人脸区域RGB的三个通道中的第j个通道的值，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，j＝1,2,3。
在本发明的一个实施例中，在所述根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域之前，还包括：
通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域。其中，所述仿射变换后的混合人脸区域表示将所述边界内缩的混合人脸区域仿射至所述第一原始图像的坐标中。
在本发明的一个实施例中，还包括：基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域。其中，所述仿射变换后的混合人脸区域表示将所述调色后的混合人脸区域仿射至所述第一原始图像的坐标中。
在本发明的一个实施例中，所述根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，包括：
根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域。
在本发明的一个实施例中，所述通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域，包括：
将所述第一边界上的左脸颊的关键点向内移动第一预定距离，将所述第一边界上的右脸颊的关键点向内移动第二预定距离，将所述第一边界上的位于下巴处的关键点向内移动第三预定距离，得到所述边界内缩的第一人脸区域；
将所述第二边界上的左脸颊的关键点向内移动第四预定距离，将所述第二边界上的右脸颊的关键点向内移动第五预定距离，将所述第二边界上的位于下巴处的关键点向内移动第六预定距离，得到所述边界内缩的混合人脸区域。
在本发明的一个实施例中，所述基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域，包括：
将所述边界内缩的第一人脸区域转换为第一YUV图像，将所述边界内缩的混合人脸区域转换为第二YUV图像；
分别计算所述第一YUV图像的Y通道值、U通道值和V通道值，分别计算所述第二YUV图像的Y通道值、U通道值和V通道值；
根据所述第一YUV图像的Y通道值与所述第二YUV图像的Y通道值，确定所述调色后的混合人脸区域中像素的Y通道值；
根据所述第一YUV图像的U通道值与所述第二YUV图像的U通道值，确定所述调色后的混合人脸区域中像素的U通道值；
根据所述第一YUV图像的V通道值与所述第二YUV图像的V通道值，确定所述调色后的混合人脸区域中像素的V通道值。
在本发明的一个实施例中，所述根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域，包括：
根据所述第一边界上的关键点的坐标确定第一矩阵，根据所述第二边界上的关键点的坐标确定第二矩阵；
根据所述第一矩阵和所述第二矩阵确定所述仿射变换矩阵；
根据所述仿射变换矩阵对所述调色后的混合人脸区域进行变换，得到所述仿射变换后的混合人脸区域。
在本发明的一个实施例中，还包括：
设定所述第二人脸区域的合成比例为p′，将所述结果图像替换所述第一原始图像，重复执行所述方法k次；
将重复执行k次后的结果图像确定为合成图像，且所述第二原始图像在所述合成图像中的合成比例为p，
其中，
根据本发明另一方面，提供了一种图像合成的装置，所述装置用于实现前述方面及其各种示例的图像合成的方法，所述装置包括：
确定模块，用于确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
混合模块，用于根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
变换模块，用于根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
融合模块，用于将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
根据本发明的又一方面，提供了一种图像合成的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面及各个示例所述的图像合成的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面及各个示例所述的图像合成的方法的步骤。
由此可见，本发明实施例能够将第二原始图像中的人脸与第一原始图像中的人脸按照比例进行合成，且合成图像保留第一原始图像的背景，保证背景清晰。并且在合成过程中考虑第一原始图像与第二原始图像之间的尺寸、色彩等差异，保证了合成效果。该过程适用于各种场景的底图，耗时短，并且融合效果好，不会出现合成失真的情形。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的图像合成的方法的一个示意性流程图；
图3是本发明实施例的图像合成的方法的另一个示意性流程图；
图4是本发明实施例的三角剖分的一个示意图；
图5是本发明实施例的边界内缩的一个示意图；
图6是本发明实施例的边界内缩的方向的示意图；
图7是本发明实施例的颜色调整的一个示意图；
图8是本发明实施例的图像合成的方法的再一个示意性流程图；
图9是本发明实施例的第一原始图像的一个示意图；
图10是本发明实施例的第二原始图像的一个示意图；
图11是本发明实施例的p＝0.3的图9和图10合成的一个示意图；
图12是本发明实施例的p＝0.4的图9和图10合成的一个示意图；
图13是本发明实施例的p＝0.5的图9和图10合成的一个示意图；
图14是本发明实施例的p＝0.6的图9和图10合成的一个示意图；
图15是本发明实施例的p＝0.7的图9和图10合成的一个示意图；
图16是本发明实施例的图像合成的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括CPU 1021和GPU 1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
图2是本发明实施例的图像合成的方法的一个示意性流程图。图2所示的方法包括：
S101，确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
S102，根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
S103，根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
S104，将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
具体地，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中第一人脸区域的位置。
经过S103之后混合人脸区域整体被仿射变换到了第一原始图像中第一人脸区域的位置上，这样能够对五官形状差异较大的图像实现更好的合成效果。经过S104的融合处理之后，可以消除混合人脸区域边界处的不连续和不自然的现象。
示例性地，可以将第一原始图像称为底图，将第二原始图像称为目标图。图2所示的方法旨在将目标图中的人脸合成至底图的人脸中，实现两张图像中的人脸合成。
作为一种实现方式，在S101中，可以使用卷积神经网络(Convolutional NeuralNetwork，CNN)分别对第一原始图像和第二原始图像进行人脸检测，以分别确定第一人脸区域和第二人脸区域。其中，第一人脸区域可以由N个(如83个)关键点进行标记(landmark)，且其中的多个(如n个)边界关键点能够标记出第一人脸区域的边界。类似地，第二人脸区域也可以由N个(如83个)关键点进行标记，且其中的多个(如n个)边界关键点能够标记出第二人脸区域的边界。示例性地，可以将第一人脸区域表示为B，将第二人脸区域表示为A；并且可以将A或B中的N个关键点(如83个)按照0～N-1(如0～82)的顺序进行编号。
作为一种实现方式，如图3所示，S102可以包括：
S1021，根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域。
S1022，将所述第一人脸区域、所述第二人脸区域和所述中间区域进行三角剖分。
S1023，将所述第一人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第一人脸区域。将所述第二人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第二人脸区域。
S1024，将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域。
示例性地，在S1021中，可以确定所述中间区域的第i个关键点的坐标为：
其中，Bi(x,y)表示所述第一人脸区域中第i个关键点的坐标，Ai(x,y)表示所述第二人脸区域中第i个关键点的坐标，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，0＜p≤1，wB和hB分别表示所述第一人脸区域中的关键点包围盒的宽和高，wA和hA分别表示所述第二人脸区域中的关键点包围盒的宽和高，i的取值范围为1至N，N为正整数。其中，合成比例可以是预先定义的0至1之间的值。
这样，可以根据第一原始底图B中的N个关键点的坐标，以及第二原始底图A中的N个关键点的坐标，构建出包括N个关键点的中间区域(表示为P)，且该中间区域上的关键点的坐标满足Pi(x,y)表示的上式。在确定该中间区域的过程中，不仅考虑了A与B的合成比例，并且充分考虑了A与B之间的尺寸差异，从而能够保证后续得到的合成图像的效果。
示例性地，在S1022中，可以基于A的N个关键点，对第二人脸区域进行三角剖分；可以基于B的N个关键点，对第一人脸区域进行三角剖分；可以基于P的N个关键点，对中间区域进行三角剖分。作为图示，假设图4示出的为第二原始图像，则可以将其中由83个关键点标记的第二人脸区域进行三角剖分，得到多个三角面片。
示例性地，在S1023中，可以将B中的三角形仿射变换到P的位置，从而得到仿射变换后的第一人脸区域，可以将包括仿射变换后的第一人脸区域的图像记为B1，即仿射变换后的B记为B1。类似地，可以将A中的三角形仿射变换到P的位置，从而得到仿射变换后的第二人脸区域，可以将包括仿射变换后的第二人脸区域的图像记为A1，即仿射变换后的A记为A1。可理解，A1和B1的形状与P的形状相同。应注意，在S1023中，对A和B中的三角形进行仿射变换的执行顺序不作限定，例如可以先后执行，或者可以同时执行。
示例性地，在S1024中，可以确定所述混合人脸区域中像素(x,y)的RGB的三个通道中的第j个通道的值为：
其中，表示所述仿射变换后的第一人脸区域RGB的三个通道中的第j个通道的值，表示所述仿射变换后的第二人脸区域RGB的三个通道中的第j个通道的值，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，j＝1,2,3。
具体地，可以将A1与B1按照比例进行阿尔法(alpha，α)混合，从而得到混合人脸区域，可以记为M。A1与B1为RGB图像，可以获取A1的人脸区域中每个像素的R通道值、G通道值和B通道值，获取B1的人脸区域中每个像素的R通道值、G通道值和B通道值，并进一步得到M中每个像素的R通道值、G通道值和B通道值。可选地，j＝1可以表示R通道，j＝2可以表示G通道，j＝3可以表示B通道。
作为一种实现方式，如图3所示，S103之前还可以包括：
S1031，通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域。
S1032，基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域。
相应地，在S103中，仿射变换后的混合人脸区域表示将调色后的混合人脸区域仿射至第一原始图像的坐标中第一人脸区域的位置。
通过分别调整底图和目标图中的人脸区域的边界，得到底图和目标图中边界内缩的人脸区域，有利于保证人脸边缘处不会影响图像的合成效果。
示例性地，第一人脸区域可以具有第一边界，记为L1,B；混合人脸区域可以具有第二边界，记为L1,M。假设第一边界包括n个关键点，且第二边界包括n个关键点。
示例性地，S1031可以包括：将所述第一边界上的左脸颊的关键点向内移动第一预定距离，将所述第一边界上的右脸颊的关键点向内移动第二预定距离，将所述第一边界上的位于下巴处的关键点向内移动第三预定距离，得到所述边界内缩的第一人脸区域。将所述第二边界上的左脸颊的关键点向内移动第四预定距离，将所述第二边界上的右脸颊的关键点向内移动第五预定距离，将所述第二边界上的位于下巴处的关键点向内移动第六预定距离，得到所述边界内缩的混合人脸区域。
应注意，此处的左和右是相对的，例如，左可以是指人脸的实际左侧也可以是指从观察者的视角的左侧。作为一例，本发明后续实施例将在附图的平面图的左侧脸颊部分认为是左脸颊，相应地将在附图的平面图的右侧脸颊部分认为是右脸颊。
示例性地，第一预定距离至第六预定距离可以是预先确定的值，可以是与人脸的大小等相关的值，可以是其他值，本发明对此不限定。作为一种实现方式，所述第一人脸区域中的左眼外眼角处的关键点与左侧太阳穴处的关键点之间具有第一距离，所述第一人脸区域中的右眼外眼角处的关键点与右侧太阳穴处的关键点之间具有第二距离，所述第一预设距离等于所述第一距离的三分之一，所述第二预设距离等于所述第二距离的三分之一，所述第三预设距离等于所述第一预设距离与所述第二预设距离的平均值。所述混合人脸区域中的左眼外眼角处的关键点与左侧太阳穴处的关键点之间具有第三距离，所述混合人脸区域中的右眼外眼角处的关键点与右侧太阳穴处的关键点之间具有第四距离，所述第四预设距离等于所述第三距离的三分之一，所述第五预设距离等于所述第四距离的三分之一，所述第六预设距离等于所述第四预设距离与所述第五预设距离的平均值。
为了描述S1031中边界内缩的过程，以图5所示的人脸区域为例描述第一预设距离(或第四预设距离)、第二预设距离(或第五预设距离)和第三预设距离(或第六预设距离)。参照图5，假设位于左侧太阳穴处的关键点的编号为0，位于左眼外眼角处的关键点的编号为27，将关键点0与关键点27之间的距离记为Dist0,27。假设位于右侧太阳穴处的关键点的编号为18，位于右眼外眼角处的关键点的编号为69，将关键点18与关键点69之间的距离记为Dist18,69。另外假设位于下巴处的关键点的编号为9，位于左脸颊的关键点的编号为0至9，位于右脸颊的关键点的编号为9至18。则可以将关键点0～8向内移动距离1/3Dist0,27，将关键点10～18向内移动距离1/3Dist18,69，将关键点9向内移动距离(Dist0,27+Dist18,69)/6。
其中，向内移动是指朝向鼻尖的方向移动，具体地，关键点0的移动方向可以沿着0与27之间的直线方向，关键点18的移动方向可以是沿着18与69之间的直线方向，关键点1～17的移动方向可以是被移动的点的相邻两点之间的内法线方向。为了描述的方便，以编号为6的关键点为例，参见图6，关键点6是被移动的点，其相邻两点是关键点5和关键点7，相邻两点之间的内法线方向是关键点5和关键点7的连续的垂直向内的方向，如图6中所示的箭头方向。这样根据移动的方向和移动的距离，便可以确定移动后的位置，从而可以确定内缩后的人脸区域。可理解，在S1031中，将部分边界上的关键点进行内缩，其他区域的关键点不移动，具体地，位于眼部、鼻部、唇部等的内部关键点以及位于眉毛等的边界关键点不移动。
示例性地，可以将边界内缩的第一人脸区域表示为B1，将第一边界上的关键点内缩后的集合表示为L2,B；将边界内缩的混合人脸区域表示为M1，将第二边界上的关键点内缩后的集合表示为L2,M。
在一些实施例中，还可以根据边界内缩后的第一边界和边界内缩后的第二边界，确定仿射变换矩阵，本发明实施例对此不予限定。
示例性地，S1032可以包括：将所述边界内缩的第一人脸区域转换为第一YUV图像，将所述边界内缩的混合人脸区域转换为第二YUV图像；分别计算所述第一YUV图像的Y通道值、U通道值和V通道值，分别计算所述第二YUV图像的Y通道值、U通道值和V通道值；根据所述第一YUV图像的Y通道值与所述第二YUV图像的Y通道值，确定所述调色后的混合人脸区域中像素的Y通道值；根据所述第一YUV图像的U通道值与所述第二YUV图像的U通道值，确定所述调色后的混合人脸区域中像素的U通道值；根据所述第一YUV图像的V通道值与所述第二YUV图像的V通道值，确定所述调色后的混合人脸区域中像素的V通道值。
YUV，亦称YCrCb，其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
具体地，在S1032中，可以将M1和B1分别转换为YUV图像，再对转换后的YUV图像针对Y、U、V三个通道分别进行统计，进一步将M1的YUV图像的色彩亮度进行调整，使之趋近于B1的YUV图像，从而得到调色后的混合人脸区域。其中，参照图7，可以按照比值(即B1的标准差/M1的标准差)进行调整，且取值范围在B1的最大值与最小值之间。
其中，可以针对第一YUV图像的三个通道分别统计其均值、最大值、最小值和标准差。针对第二YUV图像的三个通道分别统计其均值、最大值、最小值和标准差。
最后进行颜色调整时，可以通过下式计算调色后的混合人脸区域中像素(x,y)的Y通道值：
可以通过下式计算调色后的混合人脸区域中像素(x,y)的U通道值或V通道值：
其中，所述条件1为：
且M(x,y)＞AvgM
所述条件2为：
且M(x,y)＞AvgM
所述条件3为：
且M(x,y)≤AvgM
所述条件4为：
且M(x,y)≤AvgM。
在该调整过程中，计算Y通道值时，M′(x,y)表示所述调色后的混合人脸区域中像素(x,y)的Y通道值，M(x,y)表示所述第二YUV图像中像素(x,y)的Y通道值，DeviB表示所述第一YUV图像的Y通道的标准差，DeviM表示所述第二YUV图像的Y通道的标准差。
在该调整过程中，计算U通道值时，M′(x,y)表示所述调色后的混合人脸区域中像素(x,y)的U通道值，M(x,y)表示所述第二YUV图像中像素(x,y)的U通道值，DeviB表示所述第一YUV图像的U通道的标准差，DeviM表示所述第二YUV图像的U通道的标准差，MaxM表示所述第一YUV图像的U通道的最大值，MaxM表示所述第二YUV图像的U通道的最大值，MinB表示所述第一YUV图像的U通道的最小值，MinM表示所述第二YUV图像的U通道的最小值，AvgB表示所述第一YUV图像的U通道的平均值，AvgM表示所述第二YUV图像的U通道的平均值。
在该调整过程中，计算V通道值时，M′(x,y)表示所述调色后的混合人脸区域中像素(x,y)的V通道值，M(x,y)表示所述第二YUV图像中像素(x,y)的V通道值，DeviB表示所述第一YUV图像的V通道的标准差，DeviM表示所述第二YUV图像的V通道的标准差，MaxB表示所述第一YUV图像的V通道的最大值，MaxM表示所述第二YUV图像的V通道的最大值，MinB表示所述第一YUV图像的V通道的最小值，MinM表示所述第二YUV图像的V通道的最小值，AvgB表示所述第一YUV图像的V通道的平均值，AvgM表示所述第二YUV图像的V通道的平均值。
进一步地，在该计算过程之后，确定所得到调色后的混合人脸区域的三通道值的取值范围。以Y通道为例，假设B1的YUV图像的Y通道的最大值为MaxB，最小值为MinB。如果计算得到的某像素(x',y')的Y通道值M′(x',y')大于MaxB，则可以设定M′(x',y')＝MaxB；如果计算得到的某像素(x',y')的Y通道值M′(x',y')小于MinB，则可以设定M′(x',y')＝MinB。这样，便可以将调色后的混合人脸区域的所有像素的Y通道(U通道/V通道)值限定在取值范围MinB与MaxB之间。该过程也可以称为截断，示例性地，可以将该S1032的调色后的混合人脸区域表示为M2。
示例性地，S103可以包括：根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域。具体地，在S103中，可以根据所述第一边界与所述第二边界确定仿射变换矩阵；根据所述仿射变换矩阵对所述调色后的混合人脸区域进行变换，得到所述仿射变换后的混合人脸区域。
作为一种实现方式，可以根据所述第一边界上的关键点的坐标确定第一矩阵，根据所述第二边界上的关键点的坐标确定第二矩阵；根据所述第一矩阵和所述第二矩阵确定所述仿射变换矩阵。
具体地，所述第一矩阵表示为Q，将所述第二矩阵表示为P，将所述仿射变换矩阵表示为H，则满足：H＝QP-1，其中，P-1表示第二矩阵P的伪逆矩阵。
其中，第一矩阵Q和第二矩阵P可以分别表示为：
其中，(uj,vj)表示所述第一边界上的第j个关键点的坐标，(xi,yi)表示所述第二边界上的第i个关键点的坐标，0≤j＜n，0≤i＜n，n表示所述第一边界和所述第二边界上的关键点的数量。参照图5中所示的边界，n的值可以为29。
这样，经过S103可以将位于混合图像的坐标系下的调色后的混合人脸区域(M2)仿射变换至位于第一初始图像的坐标系下。由此，便可以将目标人脸放置至最佳位置。并且，该过程对于张嘴闭嘴、五官形状等差异较大的图像也不会产生较大失真，保证了图像的处理效果。示例性地，可以将S103仿射变换后的混合人脸区域表示为M3。
作为另一种实现方式，在S103之前，还可以包括：基于所述第一人脸区域，对所述混合人脸区域进行颜色调整，得到调色后的混合人脸区域。相应地，在S102中，仿射变换后的混合人脸区域表示将调色后的混合人脸区域仿射至第一原始图像的坐标中第一人脸区域的位置。通过根据第一人脸区域对混合人脸区域进行颜色调整，可以使得合成后的图像更加自然，合成后的图像中人脸区域与其他区域的颜色相协调。可选地，还可以对该调色后的混合人脸区域进行边界内缩，这样有利于保证人脸边缘处不会影响图像的合成效果。即本发明实施例中还可以先进行颜色调整，然后再进行边界内缩。
作为一种实现方式，在S104中，可以使用单纯依据阿尔法(alpha，α)通道平滑过渡掩码的alpha融合，将M3与第一初始图像进行融合，以得到结果图像。这样，该融合过程的耗时更少，提高了处理效率。
作为另一种实现方式，在S104中，可以使用改进的快速迭代式泊松-alpha双重融合，将M3与第一初始图像进行融合，以得到结果图像。这样，该融合过程的效果更佳。具体地，可以计算所述仿射变换后的混合人脸区域的散度矩阵；计算所述仿射变换后的混合人脸区域的边界的1至m阶近邻，m为大于1的整数；循环执行m次泊松融合的迭代，得到泊松融合后的结果；将所述泊松融合后的结果使用融合掩码进行阿尔法融合，以得到所述结果图像。这样，便可以将混合人脸区域融合到底图中，保证结果图像的背景清晰，且合成效果好。
其中，相比于普通迭代式泊松融合(直接求解泊松方程)，m的值可以减小至1/5甚至1/10；另外，考虑到第i次迭代时融合效果只能传播到i的深度，第i次迭代只对第1～i阶近邻进行计算；由此可以极大地减少计算量，减少耗时，提升计算效率，确保在较少时间内的处理效果，且可以适用于较大的图像。可见，该方法结合了泊松融合和alpha融合的优点，能够实现更好的处理效果，针对左右半脸光照差异较大的情形，该方法的效果更加显著。
示例性地，S104中的alpha融合所需的融合掩码可以通过下述方法得到：根据所述边界内缩的混合人脸区域的边界，确定第一掩码；将所述第一掩码向内侵蚀预定像素值，得到第二掩码；将所述第一掩码向外扩张所述预定像素值，得到第三掩码；根据所述第一掩码、第二掩码和所述第三掩码，确定所述融合掩码。该融合掩码可以用于alpha融合的alpha通道平滑过渡的掩码。
其中，预定像素值可以表示为e，其为正整数。也可以称为侵蚀/扩张量或侵蚀/扩张像素值等，其可以是预先定义的固定值，或者其可以根据S1011的结果来确定。作为一例，e可以取值为的整数部分，其中，a为一个可调节的参数，例如a为12；wL2和hL2分别表示L2,M上各个关键点包围盒(Bounding Box，BB)的宽和高。作为另一例，e可以取值为的整数部分，其中，a和b均为可调节的参数，例如a为12，b为6等。
可以将L2,M构成的封闭区域的掩码记为第一掩码Mask1，将Mask 1向内侵蚀e个像素，记为第二掩码(表示为Mask2)；将Mask1向外扩张e个像素，记为第三掩码(表示为Mask3)。另外，将第二掩码与第三掩码之间的区域的掩码称为第四掩码，表示为Mask4。
可以定义整数集合上的函数g(x)( 表示整数域)为：
其中，t为可调节数值，例如t为15或其他数值，本发明对此不限定。
进一步地，可以将如下式计算的fMask(x,y)组成的图像确定为融合掩码：
其中，fMask1(x,y)表示所述第一掩码Mask1的掩码图像。
示例性地，图3所示的图像合成的方法也可以表示为图8所示的流程图。由此，本发明实施例中，能够将目标人脸(即第二原始图像中的人脸)与底图(即第一原始图像)中的人脸按照比例进行合成，且合成图像保留底图的背景，保证背景清晰。并且在合成过程中考虑底图与目标图像之间的尺寸、色彩等差异，保证了合成效果。该过程适用于各种场景的底图，耗时短，并且融合效果好，不会出现合成失真的情形。具体地，本发明实施例的方法考虑了尺寸和色彩等方面的影响实现了对人脸区域的按比例合成，未对背景部分进行图像融合，保证了合成图像的效果的真实性。并且保留底图中的背景作为合成图像的背景，避免背景单一色而影响美感。
作为一个示例，假设图9所示的为第一原始图像，图10所示的为第二原始图像。采用前述图2至图8所示的图像合成的方法，图11至图15分别示出了p＝0.3、p＝0.4、p＝0.5、p＝0.6和p＝0.7、时的图像合成之后的结果图像。可理解，若p＝1，则上述图2至图8所示的图像合成的方法为换脸的过程，即将第一原始图像中的第一人脸替换为第二原始图像中的第二人脸。
另外，如果底图中存在多个人脸，在图2执行的过程中，需要指定将用于合成的是多个人脸中的哪一个。可选地，可以通过位置坐标来进行指定。示例性地，在S101中，可以获取与所述第二原始图像所关联的第一原始图像中的至少一个坐标值；根据所述至少一个坐标值，确定所述第一原始图像中的所述第一人脸区域。例如，相关联的至少一个坐标值可以包括第一原始图像中的第一人脸区域的鼻尖处的坐标值。
示例性地，可以通过多次融合迭代的方式实现第一原始图像与第二原始图像的合成。具体地，可以以第一原始图像的合成比例为1-p，第二原始图像的合成比例为执行前述的图像合成的方法，得到结果图像。随后，将该得到的结果图像替换第一原始图像，重复执行前述的过程(共执行k次)。将重复执行k次后的结果图像确定为合成图像，且所述第二原始图像在所述合成图像中的合成比例为p。针对p值较大(如p＞0.5)的场合，通过该多次融合迭代的方法，能够得到效果更优的结果图像。
该多次融合迭代的过程可以理解为是k+1个人脸区域的合成。k+1个人脸区域包括第一原始图像中的第一人脸区域以及k个第二原始图像中的第二人脸区域。
可理解，本发明实施例可以用于更多个人脸的合成。假如将L个第二原始图像(分别表示为Al，合成比例为pl，l＝1,2,...,L)与第一原始图像(表示为B，合成比例为)进行合成。其中，pl为0至1之间的值，且满足
则可以在S1021中通过以下方式确定中间区域P：
在S1022中进行三角剖分，并在S1023中将Al和B的三角剖分后的三角形均仿射变换至P的位置，得到A1 l和B1。进一步在S1024中将A1 l和B1混合：得到混合人脸图像M，如此便可以继续执行图2或图3所示的后续步骤得到结果图像(假设为C)。
图16是本发明实施例的图像合成的装置的一个示意性框图。图16所示的装置20包括：确定模块210、混合模块220、变换模块230和融合模块240。
确定模块210，用于确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
混合模块220，用于根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
变换模块230，用于根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
融合模块240，用于将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
作为一种实现方式，混合模块220可以包括确定子模块、剖分子模块、变换子模块和混合子模块。
确定子模块，用于根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域；
剖分子模块，用于将所述第一人脸区域、所述第二人脸区域和所述中间区域进行三角剖分；
变换子模块，用于将所述第一人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第一人脸区域；将所述第二人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第二人脸区域；
混合子模块，用于将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域。
作为一种实现方式，所述第一人脸区域包括N个关键点，所述第二人脸区域包括N个关键点。确定子模块具体用于：确定所述中间区域的第i个关键点的坐标为：
其中，Bi(x,y)表示所述第一人脸区域中第i个关键点的坐标，Ai(x,y)表示所述第二人脸区域中第i个关键点的坐标，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，0＜p≤1，wB和hB分别表示所述第一人脸区域中的关键点包围盒的宽和高，wA和hA分别表示所述第二人脸区域中的关键点包围盒的宽和高，i的取值范围为1至N，N为正整数。
作为一种实现方式，混合子模块具体用于：确定所述混合人脸区域中像素(x,y)的RGB的三个通道中的第j个通道的值为：
其中，表示所述仿射变换后的第一人脸区域RGB的三个通道中的第j个通道的值，表示所述仿射变换后的第二人脸区域RGB的三个通道中的第j个通道的值，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，j＝1,2,3。
作为一种实现方式，装置20还可以包括边界内缩子模块，用于通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域。
作为一种实现方式，装置20还可以包括颜色调整子模块，用于基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域。
作为一种实现方式，变换模块230可以具体用于根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域。
作为一种实现方式，边界内缩子模块，具体用于：将所述第一边界上的左脸颊的关键点向内移动第一预定距离，将所述第一边界上的右脸颊的关键点向内移动第二预定距离，将所述第一边界上的位于下巴处的关键点向内移动第三预定距离，得到所述边界内缩的第一人脸区域；将所述第二边界上的左脸颊的关键点向内移动第四预定距离，将所述第二边界上的右脸颊的关键点向内移动第五预定距离，将所述第二边界上的位于下巴处的关键点向内移动第六预定距离，得到所述边界内缩的混合人脸区域。
作为一种实现方式，颜色调整子模块，具体用于：将所述边界内缩的第一人脸区域转换为第一YUV图像，将所述边界内缩的混合人脸区域转换为第二YUV图像；
分别计算所述第一YUV图像的Y通道值、U通道值和V通道值，分别计算所述第二YUV图像的Y通道值、U通道值和V通道值；
根据所述第一YUV图像的Y通道值与所述第二YUV图像的Y通道值，确定所述调色后的混合人脸区域中像素的Y通道值；
根据所述第一YUV图像的U通道值与所述第二YUV图像的U通道值，确定所述调色后的混合人脸区域中像素的U通道值；
根据所述第一YUV图像的V通道值与所述第二YUV图像的V通道值，确定所述调色后的混合人脸区域中像素的V通道值。
作为一种实现方式，变换模块230可以具体用于：根据所述第一边界上的关键点的坐标确定第一矩阵，根据所述第二边界上的关键点的坐标确定第二矩阵；根据所述第一矩阵和所述第二矩阵确定所述仿射变换矩阵；根据所述仿射变换矩阵对所述调色后的混合人脸区域进行变换，得到所述仿射变换后的混合人脸区域。
作为一种实现方式，还包括：设定所述第二人脸区域的合成比例为p′，将所述结果图像替换所述第一原始图像，重复执行所述方法k次，k为正整数；将重复执行k次后的结果图像确定为合成图像，且所述第二原始图像在所述合成图像中的合成比例为p，其中，
图16所示的装置20能够实现前述图2至图15所示的图像合成的方法，为避免重复，这里不再赘述。
另外，本发明实施例还提供了另一种图像合成的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2至图15所示的图像合成的方法的步骤。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图16所示的装置20。该电子设备可以实现前述图2至图15所示的图像合成的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2至图15所示的图像合成的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
由此可见，本发明实施例能够将第二原始图像中的人脸与第一原始图像中的人脸按照比例进行合成，且合成图像保留底图的背景，保证背景清晰。并且在合成过程中考虑底图与目标图像之间的尺寸、色彩等差异，保证了合成效果。该过程适用于各种场景的底图，耗时短，并且融合效果好，不会出现合成失真的情形。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种图像合成的方法，其特征在于，所述方法包括：
确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域，包括：
根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域；
将所述第一人脸区域、所述第二人脸区域和所述中间区域进行三角剖分；
将所述第一人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第一人脸区域；
将所述第二人脸区域三角剖分后的三角面片仿射变换至所述中间区域的位置，得到仿射变换后的第二人脸区域；
将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域。
3.根据权利要求2所述的方法，其特征在于，所述第一人脸区域包括N个关键点，所述第二人脸区域包括N个关键点，
所述根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定中间区域，包括：
确定所述中间区域的第i个关键点的坐标为：
其中，Bi(x,y)表示所述第一人脸区域中第i个关键点的坐标，Ai(x,y)表示所述第二人脸区域中第i个关键点的坐标，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，0＜p≤1，wB和hB分别表示所述第一人脸区域中的关键点包围盒的宽和高，wA和hA分别表示所述第二人脸区域中的关键点包围盒的宽和高，i的取值范围为1至N，N为正整数。
4.根据权利要求2所述的方法，其特征在于，将所述仿射变换后的第一人脸区域和所述仿射变换后的第二人脸区域进行混合，得到所述混合人脸区域，包括：
确定所述混合人脸区域中像素(x,y)的RGB的三个通道中的第j个通道的值为：
其中，表示所述仿射变换后的第一人脸区域RGB的三个通道中的第j个通道的值，表示所述仿射变换后的第二人脸区域RGB的三个通道中的第j个通道的值，1-p表示所述第一人脸区域的合成比例，p表示所述第二人脸区域的合成比例，j＝1,2,3。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域之前，还包括：
通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域。
6.根据权利要求5所述的方法，其特征在于，还包括：
基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，包括：
根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域。
8.根据权利要求5所述的方法，其特征在于，所述通过调整所述第一人脸区域的第一边界得到边界内缩的第一人脸区域，通过调整所述混合人脸区域的第二边界得到边界内缩的混合人脸区域，包括：
将所述第一边界上的左脸颊的关键点向内移动第一预定距离，将所述第一边界上的右脸颊的关键点向内移动第二预定距离，将所述第一边界上的位于下巴处的关键点向内移动第三预定距离，得到所述边界内缩的第一人脸区域；
将所述第二边界上的左脸颊的关键点向内移动第四预定距离，将所述第二边界上的右脸颊的关键点向内移动第五预定距离，将所述第二边界上的位于下巴处的关键点向内移动第六预定距离，得到所述边界内缩的混合人脸区域。
9.根据权利要求6所述的方法，其特征在于，所述基于所述边界内缩的第一人脸区域，对所述边界内缩的混合人脸区域进行颜色调整，得到调色后的混合人脸区域，包括：
将所述边界内缩的第一人脸区域转换为第一YUV图像，将所述边界内缩的混合人脸区域转换为第二YUV图像；
分别计算所述第一YUV图像的Y通道值、U通道值和V通道值，分别计算所述第二YUV图像的Y通道值、U通道值和V通道值；
根据所述第一YUV图像的Y通道值与所述第二YUV图像的Y通道值，确定所述调色后的混合人脸区域中像素的Y通道值；
根据所述第一YUV图像的U通道值与所述第二YUV图像的U通道值，确定所述调色后的混合人脸区域中像素的U通道值；
根据所述第一YUV图像的V通道值与所述第二YUV图像的V通道值，确定所述调色后的混合人脸区域中像素的V通道值。
10.根据权利要求7所述的方法，其特征在于，所述根据所述第一边界与所述第二边界之间的变换关系，对所述调色后的混合人脸区域进行变换，确定所述仿射变换后的混合人脸区域，包括：
根据所述第一边界上的关键点的坐标确定第一矩阵，根据所述第二边界上的关键点的坐标确定第二矩阵；
根据所述第一矩阵和所述第二矩阵确定所述仿射变换矩阵；
根据所述仿射变换矩阵对所述调色后的混合人脸区域进行变换，得到所述仿射变换后的混合人脸区域。
11.根据权利要求1所述的方法，其特征在于，还包括：
设定所述第二人脸区域的合成比例为p′，将所述结果图像替换所述第一原始图像，重复执行所述方法k次；
将重复执行k次后的结果图像确定为合成图像，且所述第二原始图像在所述合成图像中的合成比例为p，
其中，
12.一种图像合成的装置，其特征在于，所述装置用于实现前述权利要求1至11中任一项所述的方法，所述装置包括：
确定模块，用于确定第一原始图像中的第一人脸区域，确定第二原始图像中的第二人脸区域；
混合模块，用于根据所述第一人脸区域和所述第二人脸区域以及各自的合成比例，确定混合人脸区域；
变换模块，用于根据所述第一人脸区域的第一边界以及所述混合人脸区域的第二边界，确定仿射变换后的混合人脸区域，其中，所述仿射变换后的混合人脸区域表示将所述混合人脸区域仿射至所述第一原始图像的坐标中；
融合模块，用于将所述仿射变换后的混合人脸区域与所述第一原始图像进行融合，得到将所述第一原始图像与所述第二原始图像按比例合成之后的结果图像。
13.一种图像合成的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184257.7A CN108876705B (zh) | 2017-11-23 | 2017-11-23 | 图像合成的方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184257.7A CN108876705B (zh) | 2017-11-23 | 2017-11-23 | 图像合成的方法、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108876705A true CN108876705A (zh) | 2018-11-23 |
| CN108876705B CN108876705B (zh) | 2022-03-22 |
Family
ID=64325863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711184257.7A Active CN108876705B (zh) | 2017-11-23 | 2017-11-23 | 图像合成的方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876705B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110348496A (zh) * | 2019-06-27 | 2019-10-18 | 广州久邦世纪科技有限公司 | 一种人脸图像融合的方法及系统 |
| CN110503599A (zh) * | 2019-08-16 | 2019-11-26 | 珠海天燕科技有限公司 | 图像处理方法和装置 |
| CN110517214A (zh) * | 2019-08-28 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN110555812A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置和计算机设备 |
| CN110879983A (zh) * | 2019-11-18 | 2020-03-13 | 讯飞幻境(北京)科技有限公司 | 一种人脸特征关键点的提取方法和一种人脸图像合成方法 |
| CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113706428A (zh) * | 2021-07-02 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100156910A1 (en) * | 2008-12-18 | 2010-06-24 | Digital Domain Productions, Inc. | System and method for mesh stabilization of facial motion capture data |
| US20130278798A1 (en) * | 2012-04-20 | 2013-10-24 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image synthesis |
| CN103824269A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特效处理方法以及系统 |
| CN106023063A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种视频移植换脸的方法 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN107230181A (zh) * | 2017-06-05 | 2017-10-03 | 厦门美柚信息科技有限公司 | 实现人脸图像融合的方法及装置 |
-
2017
- 2017-11-23 CN CN201711184257.7A patent/CN108876705B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100156910A1 (en) * | 2008-12-18 | 2010-06-24 | Digital Domain Productions, Inc. | System and method for mesh stabilization of facial motion capture data |
| US20130278798A1 (en) * | 2012-04-20 | 2013-10-24 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image synthesis |
| CN103824269A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特效处理方法以及系统 |
| CN106023063A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种视频移植换脸的方法 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN107230181A (zh) * | 2017-06-05 | 2017-10-03 | 厦门美柚信息科技有限公司 | 实现人脸图像融合的方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110189248B (zh) * | 2019-05-16 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| CN110163832B (zh) * | 2019-05-24 | 2021-06-08 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| CN110348496A (zh) * | 2019-06-27 | 2019-10-18 | 广州久邦世纪科技有限公司 | 一种人脸图像融合的方法及系统 |
| CN110348496B (zh) * | 2019-06-27 | 2023-11-14 | 广州久邦世纪科技有限公司 | 一种人脸图像融合的方法及系统 |
| CN110555812A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置和计算机设备 |
| CN110503599B (zh) * | 2019-08-16 | 2022-12-13 | 郑州阿帕斯科技有限公司 | 图像处理方法和装置 |
| CN110503599A (zh) * | 2019-08-16 | 2019-11-26 | 珠海天燕科技有限公司 | 图像处理方法和装置 |
| CN110517214A (zh) * | 2019-08-28 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN110517214B (zh) * | 2019-08-28 | 2022-04-12 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN110879983A (zh) * | 2019-11-18 | 2020-03-13 | 讯飞幻境(北京)科技有限公司 | 一种人脸特征关键点的提取方法和一种人脸图像合成方法 |
| CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113706428A (zh) * | 2021-07-02 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
| CN113706428B (zh) * | 2021-07-02 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108876705B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876705A (zh) | 图像合成的方法、装置及计算机存储介质 | |
| CN108876718A (zh) | 图像融合的方法、装置及计算机存储介质 | |
| EP3144899B1 (en) | Apparatus and method for adjusting brightness of image | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| US9305398B2 (en) | Methods for creating and displaying two and three dimensional images on a digital canvas | |
| CN108765272A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110163832A (zh) | 人脸融合方法、装置和终端 | |
| CN106796470A (zh) | 导电性膜、具备此膜的显示装置以及导电性膜的配线图案的评估方法 | |
| WO2020030081A1 (en) | Method and system for selecting an image acquisition device | |
| US10867425B2 (en) | Adding motion effects to digital still images | |
| CN106530265A (zh) | 一种基于色度坐标的自适应图像融合方法 | |
| CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
| KR20150032176A (ko) | 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램 | |
| CN103198513B (zh) | 电影后期合成反走样方法 | |
| US20140078170A1 (en) | Image processing apparatus and method, and program | |
| Aliaga et al. | A virtual restoration stage for real-world objects | |
| KR20200043432A (ko) | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 | |
| CN110533732A (zh) | 图像中肤色的识别方法、装置、电子设备及存储介质 | |
| US20200388086A1 (en) | Blend shape system with dynamic partitioning | |
| KR101028699B1 (ko) | 회화적 렌더링 장치 및 방법 | |
| WO2015186284A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN106548184A (zh) | 一种调整光照平衡的方法和装置 | |
| US9858654B2 (en) | Image manipulation | |
| CN110047126A (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| Seo et al. | Interactive painterly rendering with artistic error correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |