CN105741229A - 实现人脸图像快速融合的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，其公开了一种实现人脸图像快速融合的方法，解决传统技术中专业图像处理软件操作复杂、处理效率低的问题。在本发明中，首先对给定的目标图像和背景图像分别进行人脸检测获得对应人脸特征坐标；然后，对得到的两组人脸特征坐标进行归一化表示；同时分别对目标图像和背景图像的面部朝向姿态进行估计，进而对目标图像进行单应变换；接着，以背景图像中的脸部特征点为基准，对目标图像中的脸部特征点进行变形拉伸；最后，对变换后的目标图像和背景图像进行自动图像分割，并对图像分割应用一个以像素点距特征边界距离为因子的指数衰减渐变系数模板，从而最终得到融合了目标图像脸部图像的背景图像。

Description

实现人脸图像快速融合的方法

技术领域

本发明涉及一种利用深度学习和数字图像处理技术实现人脸图像快速融合的方法，属于图像处理技术领域。

背景技术

随着电影、电视等娱乐业的快速发展，以及电脑和图像处理技术的日益普及，年轻人尤其是青少年们对动画、电影、电视剧中明星的痴迷日益高涨，尤其是各种穿越剧的走热，出现了很多利用Photoshop、美图秀秀等专业图像处理软件对剧中图像进行PS，从而获得自己也是剧中人的效果图。此外，在众多“拍客”和“单反迷”以及各种影楼中，也存在着大量的“快速PS制作”需求，以满足各种背景图像下的照片效果。

但是，Photoshop类软件一方面要求操作人员具有一定的电脑知识和图像处理技术基础，一般难以满足普通大众消费者特定的需求；另一方面在操作时费时费力，对每一幅图像都要进行复杂的操作，难以实现自动化，不能满足互联网和大数据时代的高效、批量处理等要求。

发明内容

本发明所要解决的技术问题是：提出一种实现人脸图像快速融合的方法，解决传统技术中专业图像处理软件操作复杂、处理效率低的问题。

本发明解决上述技术问题所采用的方案是：

实现人脸图像快速融合的方法，包括以下步骤：

A、对给定的目标图像和背景图像分别进行人脸检测，获得对应的目标图像脸部特征点以及背景图像脸部特征点；

B、对步骤A中得到的目标图像脸部特征点和背景图像脸部特征点进行归一化处理；

C、对目标图像脸部姿态和背景图像脸部姿态分别进行估计，基于目标图像脸部姿态和背景图像脸部姿态的差值对目标图像进行单应变换；

D、以背景图像脸部特征点为基准对目标图像进行弹性拉伸变形变换；

E、建立背景图像脸部区域的纹理特征并映射到目标图像的脸部区域；

F、建立图像混合平滑系数模板，利用所述平滑系数模板来混合经过变形变换后的目标图像脸部区域，得到脸部区域置换后的背景图像。

作为进一步优化，步骤A中，对给定的目标图像和背景图像分别利用深度学习的方法进行人脸检测，以获得对应的目标图像脸部特征点以及背景图像脸部特征点。

作为进一步优化，步骤B中，所述对目标图像脸部特征点和背景图像脸部特征点进行归一化处理，具体包括：

通过分别对目标图像脸部特征点和背景图像脸部特征点坐标进行归一化表示，并以特征点重心为坐标系原点，双眼连线方向和脸部纵向方向分别为Y轴、X轴，建立归一化坐标系，基于此归一化坐标系对目标图像和背景图像进行缩放。

作为进一步优化，步骤C中，对目标图像脸部姿态和背景图像脸部姿态分别进行估计，基于目标图像脸部姿态和背景图像脸部姿态的差值对目标图像进行单应变换；使得目标图像中的脸部姿态与背景图像中的脸部姿态对齐。

作为进一步优化，步骤D中，所述以背景图像脸部特征点为基准对目标图像进行弹性拉伸变形变换，具体包括：

以经过归一化处理后的背景图像脸部特征点为基准，对经过单应变换后的目标图像进行弹性拉伸变形变换，获得脸部区域拉伸后的目标图像。

作为进一步优化，步骤E中，所述建立背景图像脸部区域的纹理特征并映射到目标图像的脸部区域，具体包括：

首先对目标图像和背景图像分别进行脸部轮廓分割，获得对应的目标图像脸部区域和背景图像脸部区域，以获得的背景图像脸部区域为纹理源构建纹理特征，并将所述纹理特征映射到目标图像的脸部区域。

作为进一步优化，步骤F中，所述建立图像混合平滑系数模板的具体方法为：

以目标图像脸部特征为基准，以特征点到脸部轮廓边缘的距离为衰减系数，建立平滑系数模板：

设特征点P距离轮廓边界的距离为d，则目标图像和背景图像在点P处对应的平滑系数分别为：

Coff_目标(P)＝(1-ρ^d)*255

Coff_背景(P)＝255-(1-ρ^d)*255

其中，ρ为平滑程度指标，与脸部区域大小相关，一般取0.90—0.99之间，ρ值越接近于1，过渡区越平滑。

作为进一步优化，步骤F中，所述利用所述平滑系数模板来混合经过变形变换后的目标图像脸部区域，得到脸部区域置换后的背景图像的具体方法包括：

将经过纹理特征映射后的目标图像的脸部区域按照步骤F中获得的平滑系数覆盖到原始背景图像中，从而获得脸部区域置换后的背景图像。

本发明的有益效果是：利用人脸识别技术和数字图像处理技术，解决了对于任意给定的背景图像和目标图像条件下由计算机全自动、快速、健壮的脸部图像融合难题；相对于传统技术来说，不需要操作人员具备图像处理专业知识，也不需要复杂的操作；

使用本发明的方案无需严格的脸部正面图像，对成像环境的要求不高，能够广泛的应用在普通大众的生活或娱乐场景中，在给定背景图像素材的基础上，也可以应用在影楼摄影、动画制作等专业场合。

附图说明

图1为本发明实施例实现人脸图像快速融合的方法流程图。

具体实施方式

本发明旨在提出一种实现人脸图像快速融合的方法，解决传统技术中专业图像处理软件操作复杂、处理效率低的问题。

在本发明具体实施上，其方案包括：首先，对给定的目标图像和背景图像分别进行人脸检测，得到对应的目标图像脸部特征点坐标和背景图像脸部特征点坐标；然后，对得到的两组人脸特征坐标进行归一化表示，消除目标图像和背景图像由于不同图像大小带来的缩放因素；同时，利用目标图像脸部特征点坐标和背景图像脸部特征点坐标分别对目标图像和背景图像的面部朝向姿态进行估计，进而对目标图像进行单应变换，消除目标图像和背景图像由于脸部朝向不同引起的姿态因素；接着，以背景图像中的脸部特征点为基准，对目标图像中的脸部特征点进行变形拉伸；最后，对变换后的目标图像和背景图像，分别利用各自的脸部特征点坐标对脸部图像进行自动图像分割，并对图像分割应用一个以像素点距特征边界距离为因子的指数衰减渐变系数模板，从而最终得到融合了目标图像脸部图像的背景图像。

实施例：

如图1所示，本例中的实现人脸图像快速融合的方法包括以下实现步骤：

1、对给定的目标图像和背景图像分别进行人脸检测，获得对应的目标图像脸部特征点以及背景图像脸部特征点；

在本步骤中，对给定的目标图像和背景图像分别利用深度学习的方法进行人脸检测，以获得对应的目标图像脸部特征点以及背景图像脸部特征点。

2、对目标图像脸部特征点和背景图像脸部特征点进行归一化处理；

在本步骤中，通过分别对目标图像脸部特征点和背景图像脸部特征点坐标进行归一化表示，并以特征点重心为坐标系原点，双眼连线方向和脸部纵向方向分别为Y轴、X轴，建立归一化坐标系，基于此归一化坐标系对目标图像和背景图像进行缩放；通过该手段解决任意目标图像与背景图像脸部区域大小不一和精确对准的问题。

3、对目标图像脸部姿态和背景图像脸部姿态分别进行估计，并对目标图像进行单应变换；

在本步骤中，利用目标图像脸部特征点坐标和背景图像脸部特征点坐标分别对目标图像、背景图像的面部朝向姿态进行估计，并利用估计出来的目标图像面部姿态与背景图像面部姿态的差值对经过缩放后的目标图像进行单应变换，使得目标图像中的脸部姿态与背景图像中的脸部姿态对齐；通过该手段解决不同姿态的目标图像和背景图像的配准难题，进一步减小配准误差。

4、以背景图像脸部特征点为基准对目标图像进行变形变换；

在本步骤中，以步骤2中经过归一化处理后的背景图像脸部特征点为基准，对经过单应变换后的目标图像进行弹性变形变换，获得脸部区域拉伸后的目标图像；通过该手段解决不同脸型间目标图像和背景图像的配准难题，进一步减小配准误差。

5、建立背景图像脸部区域的纹理特征并映射到目标图像的脸部区域；

在本步骤中，首先对目标图像和背景图像分别进行脸部轮廓分割，获得对应的目标图像脸部区域和背景图像脸部区域，以获得的背景图像脸部区域为纹理源构建纹理特征，并将所述纹理特征映射到目标图像的脸部区域；通过该手段解决了目标图像与背景图像的纹理差异问题。

6、建立图像混合平滑系数模板；

在本步骤中，以步骤4中经过变形变换后的目标图像脸部特征为基准，以特征点到脸部轮廓边缘的距离为衰减系数，建立平滑系数模板：

设特征点P距离轮廓边界的距离为d，则目标图像和背景图像在点P处对应的平滑系数分别为：

Coff_目标(P)＝(1-ρ^d)*255

Coff_背景(P)＝255-(1-ρ^d)*255

其中，ρ为平滑程度指标，与脸部区域大小相关，一般取0.90—0.99之间，ρ值越接近于1，过渡区越平滑。

通过建立图像混合平滑系数模板解决目标图像和背景图像中脸部区域混合时的渐变过渡问题。

7、利用所述平滑系数模板来混合经过变形变换后的目标图像脸部区域，得到脸部区域置换后的背景图像。

在本步骤中，将经过步骤5纹理特征映射后的目标图像的脸部区域按照步骤6中获得的平滑系数覆盖到原始背景图像中，从而获得脸部区域置换后的背景图像。

Claims (8)

1.实现人脸图像快速融合的方法，其特征在于，包括以下步骤：

A、对给定的目标图像和背景图像分别进行人脸检测，获得对应的目标图像脸部特征点以及背景图像脸部特征点；

B、对步骤A中得到的目标图像脸部特征点和背景图像脸部特征点进行归一化处理；

C、对目标图像脸部姿态和背景图像脸部姿态分别进行估计，基于目标图像脸部姿态和背景图像脸部姿态差值对目标图像进行单应变换；

D、以背景图像脸部特征点为基准对目标图像进行弹性拉伸变形变换；

E、建立背景图像脸部区域的纹理特征并映射到目标图像的脸部区域；

F、建立图像混合平滑系数模板，利用所述平滑系数模板来混合经过变形变换后的目标图像脸部区域，得到脸部区域置换后的背景图像。

2.如权利要求1所述的实现人脸图像快速融合的方法，其特征在于，步骤A中，对给定的目标图像和背景图像分别利用深度学习的方法进行人脸检测，以获得对应的目标图像脸部特征点以及背景图像脸部特征点。

3.如权利要求2所述的实现人脸图像快速融合的方法，其特征在于，步骤B中，所述对目标图像脸部特征点和背景图像脸部特征点进行归一化处理，具体包括：

通过分别对目标图像脸部特征点和背景图像脸部特征点坐标进行归一化表示，并以特征点重心为坐标系原点，双眼连线方向和脸部纵向方向分别为Y轴、X轴，建立归一化坐标系，基于此归一化坐标系对目标图像和背景图像进行缩放。

4.如权利要求3所述的实现人脸图像快速融合的方法，其特征在于，利用目标图像脸部特征点坐标和背景图像脸部特征点坐标分别对目标图像、背景图像的面部朝向姿态进行估计，基于目标图像脸部姿态和背景图像脸部姿态差值对经过缩放后的目标图像进行单应变换，使得目标图像中的脸部姿态与背景图像中的脸部姿态对齐。

5.如权利要求4所述的实现人脸图像快速融合的方法，其特征在于，步骤D中，所述以背景图像脸部特征点为基准对目标图像进行变形变换，具体包括：

以经过归一化处理后的背景图像脸部特征点为基准，对经过单应变换后的目标图像进行弹性拉伸变形变换，获得脸部区域拉伸后的目标图像。

6.如权利要求5所述的实现人脸图像快速融合的方法，其特征在于，步骤E中，所述建立背景图像脸部区域的纹理特征并映射到目标图像的脸部区域，具体包括：

首先对目标图像和背景图像分别进行脸部轮廓分割，获得对应的目标图像脸部区域和背景图像脸部区域，以获得的背景图像脸部区域为纹理源构建纹理特征，并将所述纹理特征映射到目标图像的脸部区域。

7.如权利要求6所述的实现人脸图像快速融合的方法，其特征在于，步骤F中，所述建立图像混合平滑系数模板的具体方法为：

以目标图像脸部特征为基准，以特征点到脸部轮廓边缘的距离为衰减系数，建立平滑系数模板：

设特征点P距离轮廓边界的距离为d，则目标图像和背景图像在点P处对应的平滑系数分别为：

Coff_目标(P)＝(1-ρ^d)*255

Coff_背景(P)＝255-(1-ρ^d)*255

其中，ρ为平滑程度指标，与脸部区域大小相关，一般取0.90—0.99之间，ρ值越接近于1，过渡区越平滑。

8.如权利要求7所述的实现人脸图像快速融合的方法，其特征在于，步骤F中，所述利用所述平滑系数模板来混合经过变形变换后的目标图像脸部区域，得到脸部区域置换后的背景图像的具体方法包括：

将经过纹理特征映射后的目标图像的脸部区域按照步骤F中获得的平滑系数覆盖到原始背景图像中，从而获得脸部区域置换后的背景图像。