CN103839223A

CN103839223A - 图像处理方法及装置

Info

Publication number: CN103839223A
Application number: CN201210475602.3A
Authority: CN
Inventors: 蔡超; 陈梅双; 孙谦
Original assignee: Huawei Technologies Co Ltd; Huazhong University of Science and Technology
Current assignee: Huawei Technologies Co Ltd; Huazhong University of Science and Technology
Priority date: 2012-11-21
Filing date: 2012-11-21
Publication date: 2014-06-04
Anticipated expiration: 2032-11-21
Also published as: CN103839223B

Abstract

本发明实施例提供一种图像处理方法及装置。该方法包括：获取源图像和目标图像的人脸部分；对源图像和目标图像的人脸部分进行对比分析，得到源图像和目标图像的人脸部分之间的融合线，融合线为源图像和目标图像的人脸部分眉毛以上区域中图像差异最小的像素线，融合线位于人脸部分的眉毛以上的区域；将源图像和目标图像的人脸部分以融合线为分界线，分别分割得到对应的第一部分和第二部分，并在目标图像中，将源图像的人脸部分的第一部分代替目标图像的人脸部分的第一部分，得到处理后的图像；其中，第一部分为人脸部分中包括鼻子的部分。本发明实施例可应用于源图像的人脸替换目标图像的图像处理中，可提高替换后的图像处理效果。

Description

图像处理方法及装置

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术

人脸图像变形处理是图像处理的一个重要方面，广泛应用于医疗、刑事侦破、人脸图像合成、三维人脸图像重建、图像检索以及人脸整形等领域，其中，将两个人物图像中的人脸进行替换，就是人脸图像变形中的一种。

现有方法对两个人脸图像进行替换时，通常采用图像融合的方法。电影特技中的过渡变形方法是：首先，将源图像和目标图像分别采用相关的变形算法进行变形，然后，将变形后的两个图像融合在一起，得到一个中间图像，该中间图像就是变形处理后的变形图像。人脸替换常用的方法是将变形后的源图像中的人脸全部替换成目标图像的人脸，同时，将目标图像中除人脸之外的部分与源图像中的相应部分进行融合，这种变形处理后得到的变形图像人脸与背景之间的融合较差，导致变形图像效果差，无法满足实际的人脸图像变形的需要。

综上，现有人脸图像变形，仅是将人脸部分进行简单替换，得到的变形图像中人脸部分与其他部分之间的差异较大，导致人脸图像变形效果较差。

发明内容

本发明实施例提供一种图像处理方法及装置，可克服现有人脸图像变形所存在的人脸图像变形较差的问题，提高人脸图像变形的处理效果。

本发明实施例的第一方面提供一种图像处理方法，包括：

获取源图像和目标图像的人脸部分；

对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线，所述融合线为所述源图像和目标图像的人脸部分中图像差异最小的像素线，且所述融合线位于人脸部分的眉毛以上的区域；

将所述源图像和目标图像的人脸部分以所述融合线为分界线，分别分割得到对应的第一部分和第二部分，并在所述目标图像中，将所述源图像的人脸部分的第一部分代替所述目标图像的人脸部分的第一部分，得到处理后的图像；

其中，所述第一部分为人脸部分中包括鼻子的部分。

结合第一方面，在第一种可能的实现方式中，对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线，具体包括：

获取所述源图像和目标图像的人脸部分的眉毛以上的区域，并将所述区域作为搜索区域；

在所述搜索区域内，将所述源图像中位于眼睛两侧的两个图像特征点作为起始点和目标点，其中，所述起始点和目标点为位于人脸部分的边界的像素点；

在所述搜索区域内，采用A*算法，由所述起始点开始到目标点结束，搜索得到所述源图像和目标图像的人脸部分中图像差异最小的像素点形成的像素线，所述像素线即为融合线。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，得到处理后的图像之后，还包括：

对所述处理后的图像中的各像素RGB值进行线性插值，调整所述处理后的图像的肤色。

结合第一方面或第一方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线之前，还包括：

对所述源图像和目标图像的人脸部分进行肤色检测，将所述源图像的人脸部分的肤色调整成与所述目标图像的人脸部分的肤色相同。

结合第一方面或第一方面的第一或第二或第三种可能的实现方式，在第四种可能的实现方式中，所述获取源图像和目标图像的人脸部分，具体包括：

获取源图像和目标图像的人脸区域；

在所述源图像和目标图像的人脸区域中，确定人脸的眼睛区域；

基于所述人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到所述源图像和目标图像的人脸的特征点，确定所述源图像和目标图像的人脸部分，其中，所述人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

结合第一方面或第一方面的第一或第二或第三或第四种可能的实现方式，在第五种可能的实现方式中，所述对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线之前，还包括：

根据所述源图像和目标图像的人脸部分中的下颚特征点，将所述源图像的人脸部分变形成与所述目标图像的人脸部分大小相同。

结合第一方面的第五种可能的实现方式，在第二种可能的实现方式中，所述根据所述源图像和目标图像的人脸部分中的下颚特征点，将所述源图像的人脸部分变形成与所述目标图像的人脸部分大小相同，具体包括：

根据所述源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条算法将所述源图像的人脸部分变形成与所述目标图像的人脸部分相同。

本发明的第二方面提供一种图像处理装置，包括：

人脸获取模块，用于获取源图像和目标图像的人脸部分；

人脸分析模块，用于对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线，所述融合线为所述源图像和目标图像的人脸部分中图像差异最小的像素线，且所述融合线位于人脸部分的眉毛以上的区域；

人脸处理模块，用于将所述源图像和目标图像的人脸部分以所述融合线为分界线，分别分割得到对应的第一部分和第二部分，并在所述目标图像中，将所述源图像的人脸部分的第一部分代替所述目标图像的人脸部分的第一部分，得到处理后的图像；

其中，所述第一部分为人脸部分中包括鼻子的部分。

结合第二方面，在第一种可能的实现方式中，所述人脸分析模块包括：

搜索区域获取单元，用于获取所述源图像和目标图像的人脸部分的眉毛以上的区域，并将所述区域作为搜索区域；

搜索点获取单元，用于在所述搜索区域内，将所述源图像中位于眼睛两侧的两个图像特征点作为起始点和目标点，其中，所述起始点和目标点为位于人脸部分的边界的像素点；

融合线获取单元，用于在所述搜索区域内，采用A*算法，由所述起始点开始到目标点结束，搜索得到所述源图像和目标图像的人脸部分中图像差异最小的像素点形成的像素线，所述像素线即为融合线。

结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述的图像处理装置还包括：

肤色调整模块，用于对所述处理后的图像中的各像素RGB值进行线性插值，调整所述处理后的图像的肤色。

结合第二方面或第二方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述的图像处理装置还包括：

肤色检测调整模块，用于对所述源图像和目标图像的人脸部分进行肤色检测，将所述源图像的人脸部分的肤色调整成与所述目标图像的人脸部分的肤色相同。

结合第二方面或第二方面的第一或第二或第三种可能的实现方式，在第四种可能的实现方式中，所述人脸获取模块包括：

人脸区域获取单元，用于获取源图像和目标图像的人脸区域；

眼睛区域获取单元，用于在所述源图像和目标图像的人脸区域中，确定人脸的眼睛区域；

人脸部分确定单元，用于基于所述人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到所述源图像和目标图像的人脸的特征点，确定所述源图像和目标图像的人脸部分，其中，所述人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

结合第二方面或第二方面的第一或第二或第三或第四种可能的实现方式，在第五种可能的实现方式中，所述的图像处理装置还包括：

图像调整模块，用于根据所述源图像和目标图像的人脸部分中的下颚特征点，将所述源图像的人脸部分变形成与所述目标图像的人脸部分大小相同。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述图像调整模块，具体用于根据所述源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条算法将所述源图像的人脸部分变形成与所述目标图像的人脸部分相同。

综上，本发明实施例提供的图像处理方法及装置，在将源图像中的人脸替换目标图像中的人脸时，通过对源图像和目标图像的人脸部分进行对比分析，得到两个人脸部分之间的图像差异最小的融合线，并可以该融合线为分界线，进行两个人脸部分的替换，这样，目标图像中仅需要替换部分人脸，且替换的部分人脸与目标图像中的其他部分具有较好的拼接效果，目标图像中被代替的人脸部分与其他部分之间的差异较小，提高了图像的变形处理效果。

附图说明

图1为本发明实施例一提供的图像处理方法的流程示意图；

图2为本发明实施例二提供的图像处理方法的流程示意图；

图3为本发明实施例三提供的图像处理方法的流程示意图；

图4为本发明实施例四提供的图像处理装置的结构示意图；

图5为本发明实施例五提供的图像处理装置的结构示意图；

图6为本发明实施例六提供的图像处理装置的结构示意图。

具体实施方式

图1为本发明实施例一提供的图像处理方法的流程示意图。如图1所示，本实施例方法可包括如下步骤：

步骤101、获取源图像和目标图像的人脸部分；

步骤102、对源图像和目标图像的人脸部分进行对比分析，得到源图像和目标图像的人脸部分之间的融合线，该融合线为源图像和目标图像的人脸部分眉毛以上区域中图像差异最小的像素线，该融合线位于人脸部分的眉毛以上的区域；

步骤103、将源图像和目标图像的人脸部分以融合线为分界线，分别分割得到对应的第一部分和第二部分，并在目标图像中，将源图像的人脸部分的第一部分代替目标图像的人脸部分的第一部分，得到处理后的图像，其中，第一部分为人脸部分中包括鼻子的部分。

本实施例可应用于图像的人脸变形处理中，具体地，可应用于在将源图像的人脸融合到目标图像的人脸的处理中，在人脸替换时，可在人脸眉毛以上的区域内，获得源图像和目标图像的人脸部分的融合线，并将源图像的人脸部分中位于融合线以下的区域，即包括鼻子的区域代替目标图像中的相应区域，从而得到处理后的图像。这样，基于该融合线进行两张图像的人脸部分的融合时，由于该融合线为两个图像的人脸中图像差异最小的像素线，因此，以该融合线进行两个图像的拼接（融合）时，具有较好的拼接效果，得到的人脸可更好的融入目标图像的整个背景中，使得处理后的图像中被代替的人脸部分与其他部分之间的差异较小，提高了图像的变形处理效果。

本领域技术人员可以理解，本实施例中所述的源图像和目标图像均是指人物图像，即包括有人脸部分的图像；其中，所述的人脸部分是指图像中人脸图像。

本发明实施例提供的图像变形处理方法，通过对源图像和目标图像的人脸部分进行对比分析，得到两个人脸部分之间的图像差异最小的融合线，并可以该融合线为分界线，进行两个人脸部分的替换，这样，目标图像中仅需要替换部分人脸，且替换的部分人脸与目标图像中的其他部分具有较好的拼接效果，目标图像中被代替的人脸部分与其他部分之间的差异较小，提高了图像的变形处理效果。

图2为本发明实施例二提供的图像处理方法的流程示意图。本实施例可基于A*算法进行两个人脸部分的融合线的确定，具体地，如图2所示，本实施例图像处理方法可包括如下步骤：

步骤201、获取源图像和目标图像的人脸部分；

步骤202、获取源图像和目标图像的人脸部分的眉毛以上的区域，并将该区域作为搜索区域；

步骤203、在该搜索区域内，将源图像中位于眼睛两侧的两个图像特征点作为起始点和目标点，其中，该起始点和目标点为位于人脸部分的边界的像素点；

步骤204、在搜索区域内，采用A*算法，由起始点开始到目标点结束，搜索得到源图像和目标图像的人脸部分中图像差异最小的像素点形成的像素线，该像素线即为融合线；

步骤205、将源图像和目标图像的人脸部分以融合线为分界线，分别分割得到对应的第一部分和第二部分，并在目标图像中，将源图像的人脸部分的第一部分代替目标图像的人脸部分的第一部分，得到处理后的图像。

上述步骤201中，获取的源图像和目标图像的人脸部分应大小相同，这样，在步骤202-步骤204中，确定搜索区域，并在搜索区域中确定A*算法的起始点和目标点时，才能准确的找出两个人脸部分对齐位置的边界像素点。同时，该起始点和目标点可以是确定人脸部分的特征点，例如预先设定的位于人脸眼角位置的两个特征点，或者靠近眉毛位置等的特征点，该起始点和目标点的具体设定可以根据需要而设定或默认设定，通常为位于人眼两端处于鬓角位置的两个特征点。

上述步骤204中，A*算法是一种求解最短路径最有效的方法，本实施例中可将两个人脸部分中图像差异（通常为图像的灰度差异）最小作为搜索策略，并在设定的搜索区域内确定上述的融合线。本领域技术人员可以理解，人脸部分的图像是由一系列像素点组成，因此，基于A*算法，可以搜索得到从起始点到目标点之间的差异最小的像素点集合，该像素点集合构成的像素线就是本实施例所要确定的对两张图像的人脸部分进行融合时的拼接线。其中A*算法的具体处理过程在此不再赘述。

上述步骤205中，在以融合线进行两个人脸部分的划分时，为确保将源图像中的人脸能够在目标图像中体现，因此，会将能最好的体现源图像的人脸的鼻子、嘴巴区域的部分进行替换，而将额头等部分则保留目标图像中的，从而可在处理后的图像中，能够体现源图像中人脸，同时该人脸又能更好的融合在目标图像的整个背景（包括头发等）中，使得图像处理的效果更佳逼真，效果更好。

本实施例中，上述步骤205，得到处理后的图像之后还可包括对处理后的图像进行肤色调整的步骤，具体地，可对处理后的图像中的各像素RGB值进行线性插值，对处理后的图像进行肤色调整，使得在处理后的图像在融合线处可具有更平滑的过渡，进一步地提高图像处理效果。

本实施例中，上述步骤202之前，还可包括对两张人脸部分的肤色进行调整的步骤，具体地，可对步骤201获得的源图像和目标图像的人脸部分进行肤色检测，将源图像的人脸部分的肤色调整成与目标图像的人脸部分的肤色相同。这样，进行肤色调整后的源图像的人脸部分，替换到目标图像后，可更好的融合到目标图像的整个背景中，提高图像处理效果。

本实施例中，上述步骤201中获取源图像和目标图像的人脸部分具体可包括以下步骤：

步骤2011、获取源图像和目标图像的人脸区域；

步骤2012、在源图像和目标图像的人脸区域中，确定人脸的眼睛区域；

步骤2013、基于人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到源图像和目标图像的人脸的特征点，确定源图像和目标图像的人脸部分，其中，人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

其中，上述特征模型库是通过活动形状模型（Active Shape Model，ASM）算法得到，该人脸特征库是通过ASM训练阶段得到的人脸特征点训练集合，且该些特征点是利用微表情正面人脸图像以固定编号进行手工特征点标定出来的，从而基于该训练得到的特征点就可以建立主动形状模型和局部纹理模型，从而得到平均人脸形状。因此，基于ASM算法，就可以通过上述确定的源图像和目标图像的人脸区域中的眼睛区域，来对训练得到的平均人脸形状进行缩放、旋转以及平移操作等估计出源图像和目标图像的人脸部分，并可确定该人脸部分的各特征点，其中，这些特征点应包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点，这些特征点可准确地确定出人脸部分。

其中，ASM算法是一种物体形状描述技术，可通过选取一组训练样本，用一组特征点来描述样本的形状，然后对各样本的形状进行配准（使得形状尽可能地相似），对这些配准后的形状向量可利用主分量分析方法进行统计建模，从而得到物体形状的统计学描述。因此，通过ASM算法建立的模型在新的图像中搜索物体轮廓，就可以确定新的图像的轮廓。本实施例采用ASM算法来确定人脸特征点时，使得特征点的定位准确度、可靠性、鲁棒性、速度上均具有较好的效果，提高人脸特征点获取的准确性和快速性。

本实施中，在上述步骤201中，获取源图像和目标图像的人脸部分若要大小相同，具体可根据上述获取的源图像和目标图像的人脸部分中的下颚特征点，将源图像的人脸部分变形成与目标图像的人脸部分大小相同。具体地，可根据源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条（ThinPlate Splin，TPS）算法将源图像的人脸部分变形成与目标图像的人脸部分相同。其中，TPS算法是一种插值方法，通过该算法可寻找一个通过所有控制点的弯曲最小的光滑曲面：就像一个薄铁板，铁板表面是光滑的，通过所给定的几个“样条”（比如木条）来逼近铁板，在控制点的约束下，薄板样条让平面具有像弯曲的薄钢板一样的表面性质，即形变总是具有最小的物理弯曲能量，本实施例中通过将下颚特征点作为控制点来利用TPS算法将源图像的人脸部分便形成与目标图像的人脸部分相同，具有较好的变形效果。

本实施例中，通过薄板样条算法可使得待处理的两个图像的人脸部分调整成大小相同，这样，可便于后续A*算法进行融合线的搜索处理过程中，可准确查找得到两个人脸部分进行融合的最佳融合线。

为便于对本发明实施例技术方案的理解，下面将以源图像和目标图像的具体处理过程进行详细说明。

图3为本发明实施例三提供的图像处理方法的流程示意图。如图3所示，本实施例可包括如下步骤：

步骤301、对源图像和目标图像进行预处理。

本步骤中，可对源图像和目标图像进行灰度处理，得到源图像和目标图像的灰度图像。同时，为保证源图像的图像质量与图像信息的完整性，将源图像的大小调整到目标图像大小。例如，在手机上实现图像处理时，考虑手机的实际效率，可将源图像和目标图像的高度归一化为512（即512像素高度尺寸）。

其中，对源图像和目标图像进行灰度处理，可首先判断目标图像和源图像是否为彩色图像，若是则通过以下转化公式将源图像和目标图像转为灰度图像：

F=0.2989*R+0.5870*G+0.1140*B

其中，F为输出的灰度图像，R、G、B分别表示输入的红、绿、蓝彩色分量。

本实施例中，通过对图像进行灰度处理，可在人脸检测、眼睛定位以及搜索融合线的过程中基于灰度图像进行处理。

本实施例中，将源图像的大小调整到目标图像大小时，为减少伸缩导致图像局部的拉伸或者压扁而降低图像质量，可通过先填充后归一化的方法以保证源图像的信息的完整性。本实施例以将两张图像归一化到512进行说明，具体过程如下：

（1）计算源图像A和目标图像B的宽度与高度比例。

γ_{A} = \frac{W_{A}}{H_{A}},

γ_{B} = \frac{W_{B}}{H_{B}}

其中，W为图像的宽度，H为图像的高度，γ为图像的宽度和高度比例。

（2）向下或向右填充源图像A，以使其宽度与高度比例与目标图像B的一致。

若γ_A≥γ_B，就向下填充源图像A，且填充后的源图像A的高度就为

否则，就向右填充图像A，且填充后的源图像A的宽度就为W'_A=H_Aγ_B。

（3）利用双线性插值将源图像A和目标图像B的高度归一化到512，此时源图像A和目标图像B的图像大小均为512×（512γ_B）。

实际应用中，可根据需要，也可将两张图像可归一化到不同的图像尺寸，具体实现可与归一化到512过程类似。实际应用中，也可不进行归一化处理，而只需要进行灰度处理即可，对此本实施例并不做特别限制。

步骤302、对源图像和目标图像进行人脸检测，确定出人脸区域。

本步骤中，可在上述步骤301进行预处理后的图像上，进行人脸检测，记录人脸的位置，确定包括人脸的矩形区域。其中，对图像进行人脸检测，具体可采用Adaboost算法实现人脸检测，该方法提取类Harr特征，每个类Harr特征都相当于一个弱分类器，这些弱分类器经由Adaboost算法进行选择并加权组合，提升成为一个强分类器，最后再将多个强分类器级联成为多级分类器用于人脸检测，其具体实现过程在此不再赘述。实际应用中，对图像进行人脸检测，确定出人脸区域的具体实现过程也可采用其他人脸检测方式，其具体实现过程与传统人脸检测方式可相同或类似，在此不再赘述。

步骤303、在确定的人脸区域内，确定出人脸的眼睛区域。

在步骤302确定出源图像和目标图像的人脸区域内，可对眼睛进行定位，确定出人脸的眼睛位置（即人脸的眼睛区域）。

实际应用中，可基于灰度信息和瞳孔滤波器的人眼定位算法，在上述步骤302确定出的人脸矩形区域内，首先通过投影直方图的分析粗检测人眼位置，然后用神经网络构造瞳孔滤波器精确定位眼睛位置。具体过程包括：首先将检测到的人脸图像进行灰度和尺度标准化，即将其灰度均值和灰度方差调整到给定值，以消除一些光照影响，将人脸图像进行归一化到80×80像素的大小，该种情况下瞳孔的大小通常是5×5，眼睛大小通常是25×15；然后利用眼眉灰度投影直方图信息确定一个同时包含眼睛和眉毛的区域；最后利用瞳孔滤波器检测完所有人眼候选点周围的点以后，滤波器最大输出值所对应的坐标点就是瞳孔中心，由此得到了眼睛的精确位置，这些位置信息确定后，也就确定出人脸的眼睛区域。

步骤304、基于确定的人脸的眼睛区域，确定源图像和目标图像的人脸部分。

本步骤中，可采用ASM算法，基于确定的人脸的眼睛区域位置给出人脸特征模板的初始位置，利用局部特征匹配的办法迭代搜索出源图像和目标图像的人脸的特征点精确位置，以确定出源图像和目标图像的人脸部分。

具体地，本步骤可在确定的人脸区域中，利用确定出的人脸的眼睛区域中人眼的位置及两眼之间的距离给出人脸特征模板的初始位置，使其接近于实际的人脸特征位置。在ASM算法的搜索阶段，利用扩展的二维局部轮廓特征搜索算法搜索各个特征点的实际位置，通过逐次迭代，最终实现快速提取所需的人脸特征点。

本领域技术人员可以理解，在获取源图像和目标图像的人脸的特征点之前，需要获得人脸特征模型，该模型具体可利用微表情正面人脸图像以固定编号进行手工特征点标定，通过ASM算法训练阶段得到特征点训练集，并建立主动形状模型和局部纹理模型得到平均人脸形状，该人脸形状包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点等人脸的多个特征点。该些特征点的数量共有76个，包括两个眉毛区域特征点12个、两个眼睛区域特征点18个、鼻子区域特征点12个、嘴区域特征点19个和下颚特征点15个，通过获取该特征点，就可以确定出人脸部分的大小、形状和位置，从而得到源图像和目标图像的人脸部分。

本步骤利用ASM算法可自动获取源图像和目标图像中的人脸的特征点，从而可确定出人脸部分的图像，使得人脸部分的获取更加快速、准确。

步骤305、对源图像的人脸部分的大小进行调整，将源图像的人脸部分调整至与目标图像的人脸部分大小相同。

本步骤中，在不改变源图像大小的前提下，为保证源图像的人脸部分的五官信息的完整性，本实施例可仅利用下颚的15个特征点，并采用TPS算法，将源图像的人脸平滑调整到目标图像的相应的位置与大小。

其中，利用TPS算法将源图像的人脸部分大小调整至与目标图像一致，具体可包括如下步骤：

（1）利用源图像A和目标图像B人脸图像中的n个一一对应的特征控制点（本实施例中为下颚的15个特征点）坐标

i=1,2,…,n求解径向函数f(x,y)：

f (x, y) = a_{1} + a_{x} x + a_{y} y + Σ_{i = 1}^{n} ω_{i} \cdot U (| | P_{i}^{B} - (x, y) | |), U (r) = r^{2} \log (r)

其中，a₁,a_xx,a_yy为待求解的二维向量，W_i为待求解的n×2矩阵，

为欧氏距离，表示点

与(x,y)的距离，n表示上述的下颚特征点的个数。

上述公式中的各系数具体可通过以下方式获得：

定义(n+3)×2的系数矩阵：

W=[ω₁ ω₂…ω_n a₁ a_x a_y]^T,ω_i＝(ω_ix,ω_iy)^T，a_m＝(a_mx，a_my)^T,m＝1,x,y。

记

i,j=1,2,…,n为目标图像B中n个特征点两两之间的距离，可得到以下n×n的对称矩阵：

定义(n+3)×(n+3)的矩阵L：

L = [\begin{matrix} K & Q \\ Q^{T} & 0_{3 \times 3} \end{matrix}]

其中，

Q = [\begin{matrix} 1 & x_{1}^{B} & y_{1}^{B} \\ 1 & x_{2}^{B} & y_{2}^{B} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ 1 & x_{n}^{B} & y_{n}^{B} \end{matrix}],

0_{3 \times 3} = [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}]

取

Y = [\begin{matrix} U \\ O_{3 \times 2} \end{matrix}]

其中，

U = f (x^{A}, y^{A}) = [\begin{matrix} x_{1}^{A} & y_{1}^{A} \\ x_{2}^{A} & y_{2}^{A} \\ \cdot \cdot \cdot & \cdot \cdot \cdot \\ x_{n}^{A} & y_{n}^{A} \end{matrix}]

为原始图像A特征点对应的n×2坐标矩阵，

而O_3×2为一个3×2零矩阵.则径向函数系数矩阵W可表示为：

W=L⁺Y,

其中，L⁺为矩阵L的Moore-Penrose广义逆矩阵。

（2）利用径向函数对源图像逐像素求解各像素点的新位置，得到源图像A的人脸部分变形后的图像，该变形后的人脸部分就与目标图像B的人脸部分大小相同。

步骤306、对源图像的人脸肤色进行检测，并将源图像的人脸部分的肤色调整至与目标图像的人脸肤色相同。

本步骤中，可将源图像的人脸部分的肤色调整到目标图像的人脸肤色，具体可通过肤色检测相关算法分别提取源图像和目标图像的人脸肤色，并在YCbCr颜色空间中将两个图像的人脸肤色区域、头发限定矩形区域的均值调整至一致（若目标图像非彩色图像，则将两张图像的人脸区域的灰度值均值调整至一致）。

具体地，本步骤具体实现可包括以下两个部分：肤色检测与肤色调整。首先可采用基于YCbCr空间的肤色检测方法进行肤色检测，即人脸区域内输入像素的颜色若在RCr=[133;173]和RCb=[77;127]限定的区域内，就认为属于肤色像素，确定出肤色区域。其次，肤色调整通过检测得到的肤色区域进行Otsu最大类间方差法，动态阈值分割得到更为精确的人脸区域肤色。最后，分别检测源图像和目标图像的人脸部分的人脸肤色，在源图像的人脸上将其肤色均值调整至目标图像的人脸肤色均值（不包括眼睛或阴影区域），即将两图像的Cb和Cr通道人脸区域内的均值调整一致。通过进行肤色调整，可提高后续步骤中进行人脸部分的融合线查找的精度。

步骤307、将源图像和目标图像中的人脸部分进行融合。

本步骤可包括两个部分，确定融合线和人脸部分的融合。

其中，人脸部分的融合线的查找，可采用基于灰度差异信息的A*算法，确定出两个人脸部分进行融合的最佳融合线。具体地，利用A*算法查找融合线时，需要确定搜索空间和搜索策略。（1）先通过两张人脸部分的特征点的位置计算对齐后包含两张人脸部分的矩形区域，获取该矩形区域内两张图像眉毛以上区域的灰度绝对差值图像，将该差值图像限定为搜索空间；（2）以两个人脸部分的图像灰度差异最小作为搜索策略。这样，以眼角两侧的两个特征点为起始点和目标点，通过A*算法在确定的搜索空间内，搜索得到两个人脸部分的图像中灰度差异最小的一条曲线，该曲线即为两个图像进行融合的最佳融合线，其中，该眼角两侧的两个特征点具体是上述步骤304中获取的下颚的两个特征点，该两个特征点是在人脸特征模型库中定义的两个作为A*算法的起始点和目标点。

本实施例中，所述的人脸部分的融合，是指基于上述得到的融合线，进行两个人脸的拼接，即将源图像的人脸部分和目标图像的人脸部分以融合线划分，分别得到人脸的第一部分和第二部分，通过将源图像的人脸部分的第一部分代替目标图像的人脸的第一部分，就实现两个人脸部分的融合。具体地，可将源图像和目标图像的人脸部分，以融合线为分割线进行分割，分别得到包括鼻子和嘴巴的第一部分（即人脸的下半部分），以及包括额头的第二部分（即人脸的上半部分），并将源图像的人脸部分中人脸的下半部分代替目标图像中的相应部分，以实现两个人脸部分的融合，这样，融合后的图像就包括目标图像中除人脸部分的上半部分，以及源图像的人脸部分的下半部分。

本步骤中，在进行人脸部分的融合之后，还可对融合后的图像进行肤色调整，以使得两个人脸部分在融合线位置可具有更好的肤色过渡，避免在融合线位置产生较大的过渡，提高融合后的图像的真实和逼真性。具体地，可对融合后的图像，即处理后的图像中的各像素RGB值进行线性插值，对处理后的图像进行肤色调整，可对融合后的图像逐像素通过以下公式得到新图像；

I(x_i,y_i)=I₁(x_i,y_i)+(1-λ_i)I₂(x_i,y_i),i=1,2,…,w_Ih_I

其中，w_I和h_I表示图像的宽度和高度，这里具体可以指人脸部分图像的高度和宽度，I₁是指融合后的图像中为源图像的人脸部分的下部分像素，I₂是指融合后的图像中为目标图像中的图像部分的像素，I为得到的新图像中的像素。λ的计算过程具体可为：先提取人脸替换区域（即源图像的人脸部分的下半部分）作为一个二值掩模（mask），对mask计算所有非零元素对其最近零元素的距离，λ就是将距离图进行归一化的结果。

通过对融合后处理得到的图像进行上述肤色调整，可进一步减少了人脸部分拼接融合处的边界差异性，从而提高图像处理效果，使得融合后得到的图像更加逼真。

步骤308、对融合处理后得到的图像进行修复处理。

本步骤中，可对替换区域内（融合处理后的图像中被替换的部分，即源图像的人脸部分中融合线以下的部分）的头发区域进行检测，并对头发区域进行修复。

本步骤可利用上述步骤306中检测的人脸部分的肤色区域以及步骤307中人脸部分的替换区域，进行作差方式确定替换区域内的头发区域，从而可对该头发区域进行修复。步骤307中，将图像的人脸部分进行替换时，由于替换的部分可能包括头发，因此，通过确定头发区域，并对头发进行修复，可提高图像融合处理的效果。

本步骤具体可采用Criminisi算法对待修复区域进行修复。Criminisi算法是一种逐块贴补修复技术，具体步骤为：（1）确定待修复区域轮廓；(2)确定当前待修复位置；（3）根据待修复位置邻域已知信息在搜索区域内选取最为相似的图像块；（4）把选来的图像块贴补到当前待修复位置；（5）判断是否修复完毕，否则重复上述步骤。其中第三步的搜索区域选取关系到修复质量和搜索速度。为了提高修复质量这里采用了全图区域的搜索。为提高搜索效率，也可限定在替换区域中的最有可能包括头发的区域内进行搜索，例如，包括人脸额头以上的区域。考虑到头发纹理结构的特殊性，可对Criminisi算法进行优化。在Criminisi算法计算优先权P(p)时仅考虑纹理结构数据项，即其计算公式由P(p)=C(p)·D(p)改为P(p)=D(p)，并将头发区域发际线邻域修复顺序置于最后，使得修复过程大致呈“自上而下”趋势，从而获得较好的头发纹理。最后，在复制区域阶段，通过图像RGB值线性插值的图像融合技术控制相邻修复模块间的平滑过渡与融合，并利用自适应加权中值滤波法对修复区域进行去噪。其中，所述的Criminisi算法是图像处理中的一种算法，其具体实现过程在此不再赘述。

步骤309、对处理后图像进行去噪和平滑过渡处理。

在上述步骤308处理的基础上，可对修复区域，即头发区域的边界进行平滑过渡与模糊，进一步提高图像处理效果。具体地，可在待修复区域的轮廓线邻域内进行第二次图像修复，即利用Perona和Malik的各向异性扩散滤波方法对第一次修复区域的边界进行处理，在保留修复区域边界轮廓的条件下，模糊修复区域边界，达到修复区域平滑过渡、自然逼真的视觉效果。

基于上述步骤301-步骤309获得的处理后的图像，仅需要源图像和目标图像，就可以得到以目标图像背景为背景、源图像人脸为最终人脸的合成图像，且得到的图像为人脸融合边界差异小自然拼接的新合成人物图像，使得处理后的合成人脸更加逼真自然。

图4为本发明实施例四提供的图像处理装置的结构示意图。如图4所示，本实施例图像处理装置可包括人脸获取模块1、人脸分析模块2和人脸处理模块3，其中：

人脸获取模块1，用于获取源图像和目标图像的人脸部分；

人脸分析模块2，用于对源图像和目标图像的人脸部分进行对比分析，得到源图像和目标图像的人脸部分之间的融合线，该融合线为源图像和目标图像的人脸部分中图像差异最小的像素线，且该融合线位于人脸部分的眉毛以上的区域；

人脸处理模块3，用于将源图像和目标图像的人脸部分以融合线为分界线，分别分割得到对应的第一部分和第二部分，并在目标图像中，将源图像的人脸部分的第一部分代替目标图像的人脸部分的第一部分，得到处理后的图像；

其中，第一部分为人脸部分中包括鼻子的部分。

本实施例图像处理装置可执行上述本发明方法实施例中的步骤，实现对源图像和目标图像的处理，其具体实现过程可参见上述本发明方法实施例的说明，在此不再赘述。

图5为本发明实施例五提供的图像处理装置的结构示意图。在上述图4所示实施例技术方案基础上，如图5所示，本实施例中人脸分析模块2具体可包括搜索区域获取单元21、搜索点获取单元22和融合线获取单元23，其中：

搜索区域获取单元21，用于获取源图像和目标图像的人脸部分的眉毛以上的区域，并将该区域作为搜索区域；

搜索点获取单元22，用于在该搜索区域内，将源图像中位于眼睛两侧的两个图像特征点作为起始点和目标点，其中，该起始点和目标点为位于人脸部分的边界的像素点；

融合线获取单元23，用于在搜索区域内，采用A*算法，由起始点开始到目标点结束，搜索得到源图像和目标图像的人脸部分中图像差异最小的像素点形成的像素线，该像素线即为融合线。

本实施例中，如图5所示，本实施例图像处理装置还可包括肤色调整模块4，用于对处理后的图像中的各像素RGB值进行线性插值，对处理后的图像进行肤色调整。

本实施例中，如图5所示，本实施例图像处理装置还可包括肤色检测调整模块5，用于对源图像和目标图像的人脸部分进行肤色检测，将源图像的人脸部分的肤色调整成与所述目标图像的人脸部分的肤色相同。

本实施例中，如图5所示，上述的人脸获取模块1具体可包括人脸区域获取单元11，用于获取源图像和目标图像的人脸区域；眼睛区域获取单元12，用于在源图像和目标图像的人脸区域中，确定人脸的眼睛区域；以及人脸部分确定单元13，用于基于人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到源图像和目标图像的人脸的特征点，确定源图像和目标图像的人脸部分，其中，人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

本实施例中，如图5所示，本实施例图像处理装置还可包括图像调整模块6，用于根据源图像和目标图像的人脸部分中的下颚特征点，将源图像的人脸部分变形成与目标图像的人脸部分大小相同。具体地，该图像调整模块6可用于根据源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条算法将所述源图像的人脸部分变形成与目标图像的人脸部分相同。

本实施例装置可基于上述图2或图3所示方法对源图像和目标图像进行处理，其具体实现可参见上述本发明方法实施例的说明，在此不再赘述。

图6为本发明实施例六提供的图像处理装置的结构示意图。本实施例图像处理装置可包括处理器10和存储器20，其中，处理器10可通过总线与存储器20连接，其中，存储器20用于存储指令，处理器10用于执行该指令用于执行相关操作。具体地，该处理器10执行存储器20存储的指令可用于获取源图像和目标图像的人脸部分；以及，用于对源图像和目标图像的人脸部分进行对比分析，得到源图像和目标图像的人脸部分之间的融合线，融合线为源图像和目标图像的人脸部分中图像差异最小的像素线，且该融合线位于人脸部分的眉毛以上的区域；以及用于将源图像和目标图像的人脸部分以该融合线为分界线，分别分割得到对应的第一部分和第二部分，并在目标图像中，将源图像的人脸部分的第一部分代替目标图像的人脸部分的第一部分，得到处理后的图像，其中，该第一部分为人脸部分中包括鼻子的部分。

本实施例中，优选地，该处理器10执行该指令对源图像和目标图像的人脸部分进行对比分析，得到源图像和目标图像的人脸部分之间的融合线，具体可用于获取源图像和目标图像的人脸部分的眉毛以上的区域，并将该区域作为搜索区域；以及用于在搜索区域内，将源图像中位于眼睛两侧的两个图像特征点作为起始点和目标点，其中，起始点和目标点为位于人脸部分的边界的像素点；以及用于在搜索区域内，采用A*算法，由起始点开始到目标点结束，搜索得到源图像和目标图像的人脸部分中图像差异最小的像素点形成的像素线，该像素线即为融合线。

本实施例中，优选地，该处理器10执行该指令还可用于对上述处理后的图像中的各像素RGB值进行线性插值，对处理后的图像进行肤色调整。

本实施例中，优选地，该处理器10执行该指令，还可用于对源图像和目标图像的人脸部分进行肤色检测，将源图像的人脸部分的肤色调整成与目标图像的人脸部分的肤色相同。

本实施例中，优选地，该处理器10执行该指令获取源图像和目标图像的人脸部分，具体可用于获取源图像和目标图像的人脸区域；以及用于在源图像和目标图像的人脸区域中，确定人脸的眼睛区域；以及用于基于人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到所述源图像和目标图像的人脸的特征点，确定源图像和目标图像的人脸部分，其中，人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

本实施例中，优选地，该处理器10执行该指令，还可用于根据源图像和目标图像的人脸部分中的下颚特征点，将源图像的人脸部分变形成与目标图像的人脸部分大小相同。具体地，该处理器10执行该指令，具体可用于根据源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条算法将源图像的人脸部分变形成与所述目标图像的人脸部分相同。

本实施例提供的图像处理装置，处理器10通过执行存储器20存储的指令，可实现上述图4或图5所示各功能模块的功能，其具体实现可参见上述本发明方法实施例的说明，在此不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

获取源图像和目标图像的人脸部分；

对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线，所述融合线为所述源图像和目标图像的人脸部分眉毛以上区域中图像差异最小的像素线，所述融合线位于人脸部分的眉毛以上的区域；

其中，所述第一部分为人脸部分中包括鼻子的部分。

2.根据权利要求1所述的图像处理方法，其特征在于，对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线，具体包括：

3.根据权利要求1或2所述的图像处理方法，其特征在于，得到处理后的图像之后，还包括：

4.根据权利要求1-3任一所述的图像处理方法，其特征在于，所述对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线之前，还包括：

5.根据权利要求1-4任一所述的图像处理方法，其特征在于，所述获取源图像和目标图像的人脸部分，具体包括：

获取源图像和目标图像的人脸区域；

基于所述人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到所述源图像和目标图像的人脸的特征点，其中，所述人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

6.根据权利要求1-5任一所述的图像处理方法，其特征在于，所述对所述源图像和目标图像的人脸部分进行对比分析，得到所述源图像和目标图像的人脸部分之间的融合线之前，还包括：

7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述源图像和目标图像的人脸部分中的下颚特征点，将所述源图像的人脸部分变形成与所述目标图像的人脸部分大小相同，具体包括：

8.一种图像处理装置，其特征在于，包括：

人脸获取模块，用于获取源图像和目标图像的人脸部分；

其中，所述第一部分为人脸部分中包括鼻子的部分。

9.根据权利要求8所述的图像处理装置，其特征在于，所述人脸分析模块包括：

10.根据权利要求8或9所述的图像处理装置，其特征在于，还包括：

11.根据权利要求8-10任一所述的图像处理装置，其特征在于，还包括：

12.根据权利要求8-11任一所述的图像处理装置，其特征在于，所述人脸获取模块包括：

人脸部分确定单元，用于基于所述人脸的眼睛区域，采用ASM算法，在人脸特征模型库中搜索得到所述源图像和目标图像的人脸的特征点，所述人脸特征模型库中设置有人脸的多个特征点，包括眉毛区域特征点、眼睛区域特征点、鼻子区域特征点、嘴区域特征点和下颚特征点。

13.根据权利要求8-12任一所述的图像处理装置，其特征在于，还包括：

14.根据权利要求13所述的图像处理装置，其特征在于，所述图像调整模块，具体用于根据所述源图像和目标图像的人脸部分中的下颚特征点，采用薄板样条算法将所述源图像的人脸部分变形成与所述目标图像的人脸部分相同。