CN109559362B - 一种图像主体脸部替换方法及装置 - Google Patents

Abstract

本发明公开了一种图像主体脸部替换方法及装置，方法包括，将原始图像传输至数据提取模型中提取出头部区域和眼部区域；若只存在一个图像主体，则将其作为待比对图像主体；计算待比对图像主体的头部尺寸和头部朝向；将待比对图像主体与数据库中的绘画图像主体进行比对，提取出与待比对图像主体的头部朝向一致，且脸部尺寸与待比对图像主体头部尺寸差值最小的第一绘画图像主体，并将第一绘画图像主体所属的绘画图像作为第一绘画图像，根据第一绘画图像获得待替换图像；将待替换图像的待替换图像主体的脸部，替换为待比对图像主体的头部。通过实施本发明的实施例能够提高替换后的图像的逼真度，使得替换后的图像更加自然，提高图像合成的效果。

Description

一种图像主体脸部替换方法及装置

技术领域

本发明涉及数字图像处理领域，具体涉及一种图像脸部替换方法及装置。

背景技术

随着社会经济和计算机技术的不断发展，图像处理技术也日益提高。为了提高生活娱乐性以及满足人类需求，图像合成技术应运而生。

图像合成技术，是基于互联网海量图像信息源，把用户给定的图像期望元素对象以及对象具体特征，采用筛选过滤算法，从图像库中选择最匹配的图像源，再对图像对象分割、提取，最终合成最能满足用户需要的结果图像。

在日常中，普遍采用PS(Adobe Photoshop)软件手动修图得到结果图像。而手动修图是一个漫长、复杂的过程，且需要具备一定的艺术设计知识；此外，结果图像的部分外在特征与实际的并非特别吻合，如：头部转向及面部尺寸，导致图像合成效果不理想。

发明内容

本发明实施例提供一种图像脸部替换方法及装置，能够提高替换后的图像的逼真度，使得替换后的图像更加自然，提高图像合成的效果。

本发明第一实施例提供一种图像主体脸部替换方法，包括：

获取原始图像，并将所述原始图像传输至数据提取模型中，提取出所述原始图像中所有原始图像主体的头部区域和眼部区域；其中，所述原始图像中存在至少一个原始图像主体，每一所述眼部区域包括左眼区域和右眼区域；

若只存在一个所述原始图像主体，则将所述原始图像主体作为待比对图像主体；

根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸；

将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向；

将所述待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有所述第一绘画图像，获得第一绘画图像集；其中,所述第一绘画图像主体为脸部尺寸与所述待比对头部尺寸差值最小，且头部朝向与所述待比对头部朝向一致的图像主体；

若所述第一绘画图像集中，只存在一张所述第一绘画图像，且所述第一绘画图像中各图像主体的头部朝向一致，则将所述第一绘画图像作为待替换图像；

将所述待替换图像的所有待替换图像主体的脸部，替换为所述待比对图像主体的头部，其中，所述待替换图像主体为所述替换图像中的图像主体。

进一步的，在所述提取出所述原始图像中所有原始图像主体的头部区域和眼部区域之后，在所述根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸之前，还包括：

若存在多个所述原始图像主体，则根据每一所述原始图像主体的头部区域的区域坐标，计算每一所述原始图像主体的头部尺寸；

将所有所述原始图像主体的头部尺寸进行比对，将头部尺寸最大的原始图像主体作为待比对图像主体。

进一步的，在获得第一绘画图像集之后，还包括：

若所述第一绘画图像集中,存在多张所述第一绘画图像，且每一所述第一绘画图像中各图像主体的头部朝向一致，则随机选出一张第一绘画图像作为待替换图像。

进一步的，在获得第一绘画图像集之后，还包括：

若所述第一绘画图像集中,存在多张第一绘画图像，且存在待剔除绘画图像；其中，所述待剔除绘画图像为图像主体头部朝向不一致的第一绘画图像；

则剔除所述待剔除绘画图像，获得第二绘画图像集；

若所述第二绘画图像集中，只存在一张第二绘画图像，则将所述第二绘画图像作为待替换图像；

若所述第二绘画图像集中，若存在多张第二绘画图像，则随机选出一张第二绘画图像作为待替换图像。

进一步的，所述将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向，具体为：

若所述待比对图像主体的左眼区域宽度大于右眼区域宽度，则所述待比对头部朝向为右；

若所述待比对图像主体的左眼区域宽度小于右眼区域宽度，则所述待比对头部朝向为左；

若所述待比对图像主体的左眼区域宽度和右眼区域宽度相等，则所述待比对头部朝向为正向。

进一步的，若所述待比对图像主体的眼部区域中心点，到头部顶端的距离大于整个头部高度的1/3，则所述待比对头部朝向为低头；

若所述待比对图像主体的眼部区域中心点，到头部顶端的距离小于整个头部高度的1/4，则所述待比对头部朝向为抬头；

若所述待比对图像主体的眼部区域中心点，到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则所述待比对头部朝向为正前方；

若所述待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线倾斜，则所述待比对头部朝向为倾斜；

若所述待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线水平，则所述待比对头部朝向水平。

进一步的，所述将所述待替换图像的所有图像主体的脸部，替换为所述待比对图像主体的头部，具体为：

若所述待替换图像中，只存在一个待替换图像主体，则直接将所述待替换图像主体的脸部，替换为所述待比对图像主体的头部；

若所述待替换图像中，存在多个待替换图像主体，则将脸部尺寸与所述待比对头部尺寸差值最小的待替换图像主体的脸部，直接替换为所述待比对图像主体的头部，并调整所述待比对图像主体的头部尺寸，与每一未替换图像主体的脸部尺寸进行匹配直至与对应的未替换图像主体的脸部尺寸一致；将每一所述未替换图像主体的脸部，替换为所述待比对图像主体的头部。

进一步的，所述数据提取模型通过以下方式进行构建：

获取各类动物的静态图像，并对所有所述静态图像进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，所述训练图像集包括若干训练图像，所述测试图像集包括若干测试图像；

将所有所述训练图像的头部区域和眼部区域做矩形框标记，得到每一所述训练图像的头部标记框坐标参数和眼部标记框坐标参数；

将每一所述训练图像、每一所述训练图像的头部标记框坐标参数、眼部标记框坐标参数和每一所述训练图像中动物主体的名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将所述测试图像传输至所述待测试训练模型中，进行运行测试，获得损失函数；

根据所述损失函数，获得所述待测试训练模型的准确率；

若所述准确率达到第二预设阈值，则将所述待测试训练模型作为所述数据提取模型。

进一步的，所述绘画信息数据库通过以下方式进行构建：

获取若干人物图像，并提取每一所述人物图像的人脸区域及人脸特征图；

将每一所述人脸特征图中左眼区域和右眼区域进行比对，获得每一所述人物图像中图像主体的头部朝向；

对每一所述人脸区域进行边缘检测，获得每一所述人脸区域的人脸边缘；

根据每一所述人脸边缘计算每一所述人物图像中各图像主体的人脸尺寸；

将所有所述人物图像、所述人物图像中各图像主体的头部朝向数据和人脸尺寸数据存储至数据库中，完成所述绘画信息数据库的构建。

在本发明第一实施例的基础上，提供了第二实施例；

本发明第二实施例提供了一种图像主体脸部替换装置，包括：图像及目标区域获取模块、待比对图像主体确定模块、待比对头部尺寸获取模块、待比对头部朝向确定模块、第一绘画图像集获取模块、待替换图像确定模块和脸部替换模块；

其中，所述图像及目标区域获取模块，用于获取原始图像，并将所述原始图像传输至数据提取模型中，提取出所述原始图像中所有原始图像主体的头部区域和眼部区域；其中，所述原始图像中存在至少一个原始图像主体，每一所述眼部区域包括左眼区域和右眼区域；

所述待比对图像主体确定模块，用于在只存在一个所述原始图像主体时，将所述原始图像主体作为待比对图像主体；

所述待比对头部尺寸获取模块，用于根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸；

所述待比对头部朝向确定模块，用于将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向；

所述第一绘画图像集获取模块，用于将所述待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有所述第一绘画图像，获得第一绘画图像集；其中,所述第一绘画图像主体为脸部尺寸与所述待比对头部尺寸差值最小，且头部朝向与所述待比对头部朝向一致的图像主体；

所述待替换图像确定模块，用于在只存在一张第一绘画图像，且每一所述第一绘画图像中各图像主体的头部朝向一致时，将所述第一绘画图像作为待替换图像；

所述脸部替换模块、用于将所述待替换图像的所有待替换图像主体的脸部，替换为所述待比对图像主体的头部。

通过实施本发明的实施例，有如下有益效果：

本发明实施例提供了一种图像主体脸部替换方法及装置，通过将原始图传输至数据提取模型中，提取出原始图像中图像主体的头部区域和眼部区域，并计算出原始图像中待比对图像主体的头部尺寸和头部朝向，继而在预存的绘画信息数据库，提取出与所述待比对图像主体的头部朝向一致，且脸部尺寸与待比对图像主体头部尺寸差值最小的第一绘画图像主体，并将所述第一绘画图像主体所属的绘画图像作为第一绘画图像，根据所述第一绘画图像获得待替换图像，最后将待替换图像的图像主体的脸部，替换为待比对图像主体的头部。从而实现能够根据原始图像中图像主体的脸部尺寸及头部转向匹配待替换图像，对待替换图像中图像主体的面部进行替换，因为在替换过程中，是根据待替换图像的脸部尺寸和头部朝向进行替换的，提高了替换后的图像的逼真度，使得替换后的图像更加的自然。

附图说明

图1是本发明第一实施例提供的一种图像主体脸部替换方法的流程示意图；

图2是本发明第一实施例提供的一种图像主体脸部替换方法中数据提取模型的构建流程示意图；

图3是本发明第一实施例提供的一种图像主体脸部替换方法中绘画信息数据库的构建流程示意图；

图4是本发明第二实施例提供的一种图像主体脸部替换装置的结构示意图；

附图标记说明：101、图像及目标区域获取模块；102、待比对图像主体确定模块；103、待比对头部尺寸获取模块；104、待比对头部朝向确定模块；105、第一绘画图像集获取模块；106、待替换图像确定模块；107、脸部替换模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例提供的一种图像主体脸部替换方法包括步骤：

S101、获取原始图像，并将原始图像传输至数据提取模型中，提取出原始图像中所有原始图像主体的头部区域和眼部区域；其中，原始图像中存在至少一个原始图像主体，每一眼部区域包括左眼区域和右眼区域。

S102、若只存在一个原始图像主体，则将原始图像主体作为待比对图像主体。

S103、根据待比对图像主体的头部区域的区域坐标，获得待比对图像主体的待比对头部尺寸。

S104、将待比对图像主体的左眼区域和右眼区域进行比对，确定待比对图像主体的待比对头部朝向。

S105、将待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有第一绘画图像，获得第一绘画图像集；其中,第一绘画图像主体为脸部尺寸与待比对头部尺寸差值最小，且头部朝向与待比对头部朝向一致的图像主体。

S106、若第一绘画图像集中，只存在一张第一绘画图像，且第一绘画图像中各图像主体的头部朝向一致，则将第一绘画图像作为待替换图像。

S107、将待替换图像的所有待替换图像主体的脸部，替换为待比对图像主体的头部，其中，待替换图像主体为替换图像中的图像主体。

对于步骤S101、优选的原始图像为动物图像，在获取用户通过移动终端上传的一张动物图像后，通过数据提取模型将动物图像中的动物的头部区域和眼部区域提取出来，优选的，移动终端可以为手机、电脑、平板、或笔记本等硬件设备。需要强调的是，在上传的动物图像中可能存在不止一只动物，可能存在多只动物，即图像中存在多个图像主体，则需要将动物图像中所有的动物主体的头部区域和眼部区域都提取出来。

优选的，如图2所示，数据提取模型通过以下方式进行构建：

S201、获取各类动物的静态图像，并对所有静态图像进行灰度处理，获得若干灰度处理图像。具体的，通过摄像头从不同角度大量抓拍各真实动物的静态图像。并对所有的图像进行灰度处理，从而实现在不影响图像纹理特征的情况下，提高图像处理效率。

S202、将所有灰度处理图像分为训练图像集和测试图像集，其中，训练图像集包括若干训练图像，测试图像集包括若干测试图像。具体的，基于步骤S201得到的灰度图像的总数量，将所有的灰度图像分成训练图像集和测试图像集，前者用于模型训练，后者用于模型测试。所有的灰度图像均存储在本地服务器上，至此动物样本数据库建立完毕。

S203、将所有训练图像的头部区域和眼部区域做矩形框标记，得到每一训练图像的头部标记框坐标参数和眼部标记框坐标参数。具体的，由于灰度图像是针对动物整体而言，并非仅仅拍摄动物头部。为了确保模型训练样本的质量，通过标记程序，对所有灰度图像的头部以及眼睛作矩形框标记，得出各灰度图像的头部以及眼睛的标记框坐标、宽度以及高度参数。

S204、将每一训练图像、每一训练图像的头部标记框坐标参数、眼部标记框坐标参数和每一训练图像中动物主体的名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型。具体的，建立模型，基于机器学习方法，把动物样本数据库中的训练图像作为模型训练的输入图像。系统把上述输入图像、图像头部及其眼睛标记框参数以及图像动物名称传输给模型反复训练，得出图像目标预测参数，从而实现基于物体坐标、类别检测识别图像头部、眼睛的效果。当模型与动物样本数据库训练图像反复训练的次数达到第一预设阈值，如：20万次，模型训练停止，获得待测试训练模型。

S205、将测试图像传输至待测试训练模型中，进行运行测试，获得损失函数。具体的，将待测试训练模型与动物样本数据库测试图像进行试运行测试，得出待测试训练模型的损失函数。

S206、根据损失函数，获得待测试训练模型的准确率；若准确率达到第二预设阈值，则将待测试训练模型作为数据提取模型。具体的，根据损失函数得出模型识别准确率。若准确率达到第二预设阈值如：80％，则将待测试训练模型作为数据提取模型，继而把数据提取模型应用于现场识别；否则，重新调整模型网络结构或者增加训练图像样本数量，且继续与动物样本数据库训练图像反复训练。

对于步骤S102、如果上传的动物图像中，只存在一个动物主体，则将该动物主体作为待比对图像主体。

优选的，还包括：若存在多个原始图像主体，则根据每一原始图像主体的头部区域的区域坐标，计算每一原始图像主体的头部尺寸；

将所有原始图像主体的头部尺寸进行比对，将头部尺寸最大的原始图像主体作为待比对图像主体。即，如果上传的动物图像中，动物主体大于1，则根据图像中每个动物的头部区域的区域坐标，计算每一只动物的头部尺寸，并将头部尺寸最大的动物主体，作为待比对图像主体。

对于步骤S103、具体的，根据动物图像中的待比对的动物主体的区域坐标，计算出待比对的动物主体的头部尺寸，获得待比对头部尺寸。

对于步骤S104、具体为，若待比对图像主体的左眼区域宽度大于右眼区域宽度，则待比对头部朝向为右。若待比对图像主体的左眼区域宽度小于右眼区域宽度，则待比对头部朝向为左。若待比对图像主体的左眼区域宽度和右眼区域宽度相等，则待比对头部朝向为正向。

为了对待比对图像主体的头部朝向进行更细致的判断，需进一步进行判断：若待比对图像主体的眼部区域中心点，到头部顶端的距离大于整个头部高度的1/3，则待比对头部朝向为低头；若待比对图像主体的眼部区域中心点，到头部顶端的距离小于整个头部高度的1/4，则待比对头部朝向为抬头；若待比对图像主体的眼部区域中心点，到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则待比对头部朝向为正前方；若待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线倾斜，则待比对头部朝向为倾斜；若待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线水平，则待比对头部朝向水平。即，将待比对的动物主体的左眼的宽度和右眼的宽度进行比对，如果左眼区域宽度大于右眼区域宽度，则此时图像中待比对的动物主体是朝右看的，反之此时图像中待比对的动物主体是朝左看的，如果左眼的宽度和右眼的宽度相等，则此图像中待比对的动物主体的头部处于正向，没有偏向左右。；在判断待比对图像主体是处于左，右或正向时，通过以下方法对待比对头部朝向进行更细致的判定，将待比对的动物主体的左眼中心点和右眼中心点之间的连接线进行判断，如果连接线倾斜，则此时图像中待比对的动物主体是倾斜看的，反之此时图像中待比对的动物主体是水平看的；将待比对的动物主体的双眼区域中心点位于头部的位置比例进行判断，如果到头部顶端的距离大于整个头部高度的1/3，则此时图像中待比对的动物主体是低头看的，如果到头部顶端的距离小于整个头部高度的1/4则此时图像中待比对的动物主体是抬头看的，如果到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则此图像中待比对的动物主体是看向正前方的。

对于步骤S105、优选的，绘画信息数据库中所有绘画图像均为人物图像，具体的，上述步骤中的待比对动物主体和绘画信息数据库中，存储的人物图像的图像主体进行比对，提取出脸部尺寸与待比对动物主体的头部尺寸差值最小，且头部朝向一致的人物图像主体，将提取出的每一人物图像主体，作为第一绘画图像主体，继而将每一第一绘画图像主体所属的人物图像提取出来，作为第一绘画图像，将所有的第一绘画图像作为一个第一绘画图像集。

优选的，如图3所示，绘画信息数据库，通过以下步骤进行构建：

S301、获取若干人物图像，并提取每一人物图像的人脸区域及人脸特征图。具体的，通过艺术网站大量收集以人为题材的名人绘画图像，如：《蒙娜丽莎》，或普通的人物相片，作为人物图像，通过现成人脸识别技术，得出上述人物图像的人脸区域以及所属人脸特征图。人脸特征图，是基于人脸识别技术，对人的脸部特征信息，如：眼睛、鼻子等，用68个特征关键点组成的图像。需要强调的是，其中，人物图像中的人物数量，即人物主体可以是单个，也可以是多个。

S302、将每一人脸特征图中左眼区域和右眼区域进行比对，获得每一人物图像中图像主体的头部朝向，具体的，若包括左眼关键点的矩形框宽度大于右眼关键点的矩形框宽度，代表人物图像中人物主体头部转向右边；若发现包括左眼关键点的矩形框宽度小于右眼关键点的矩形框宽度，代表图像头部转向左边；若发现分别包括左右眼关键点的矩形框宽度接近，代表图像头部处于正向。进一步进行判断：图像主体的眼部区域中心点，到头部顶端的距离大于整个头部高度的1/3，则待比对头部朝向为低头；图像主体的眼部区域中心点，到头部顶端的距离小于整个头部高度的1/4，则待比对头部朝向为抬头；图像主体的眼部区域中心点，到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则待比对头部朝向为正前方；若图像主体的左眼区域中心点和右眼区域中心点之间的连接线倾斜，则待比对头部朝向为倾斜；若图像主体的左眼区域中心点和右眼区域中心点之间的连接线水平，则待比对头部朝向水平。

S303、对每一人脸区域进行边缘检测，获得每一人脸区域的人脸边缘，具体的，采用Soble边缘检测算法，对每一人脸特征图进行边缘检测，提取出人脸边缘。

S304、根据每一人脸边缘计算每一人物图像的人脸尺寸。

S305、将所有人物图像、人物图像的头部朝向数据和人脸尺寸数据存储至数据库中，完成绘画信息数据库的构建。

对于步骤S106、如果，第一绘画图像集中，只有一张人物图像而且该人物图像中每个人物主体的头部朝向都是一致的，则将该人物图像作为待替换图像。

优选的，还包括：若第一绘画图像集中,存在多张第一绘画图像，且每一第一绘画图像中各图像主体的头部朝向一致，则随机选出一张第一绘画图像作为待替换图像。即如果，第一绘画图像集中，有多张人物图像，且每一张人物图像内的人物主体的头部朝向都是一致的，那么就随机挑选出一张人物图像，作为待替换图像。

若第一绘画图像集中,存在多张第一绘画图像，且存在待剔除绘画图像；其中，待剔除绘画图像为图像主体头部朝向不一致的第一绘画图像；

则剔除待剔除绘画图像，获得第二绘画图像集；即，如果第一绘画图像集中，有多张人物图像，且有一些人物图像中的人物主体的朝向不完全一致，则将这些人物图像作为剔除图像，剔除掉。在剔除之后剩下的人物图像组成第二绘画图像集。

若第二绘画图像集中，只存在一张第二绘画图像，则将第二绘画图像作为待替换图像；即，如果第二绘画图像集中，只剩下一张人物图像，则将该人物图像作为待替换图像。

若第二绘画图像集中，若存在多张第二绘画图像，则随机选出一张第二绘画图像作为待替换图像。即，如果第二绘画图像集中，还剩下多张人物图像，则随机选出一张人物图像作为待替换图像。

对于步骤S107、具体的，若待替换图像中，只存在一个待替换图像主体，则直接将待替换图像主体的脸部，替换为待比对图像主体的头部；即，如果待替换图像中只有一个人物主体，则直接将之前获得的待比对的动物主体的头部，替换到替换图像中人物主体的脸部上去。

若待替换图像中，存在多个待替换图像主体，则将脸部尺寸与待比对头部尺寸差值最小的待替换图像主体的脸部，直接替换为待比对图像主体的头部，并调整待比对图像主体的头部尺寸，与每一未替换图像主体的脸部尺寸进行匹配直至与对应的未替换图像主体的脸部尺寸一致；将每一未替换图像主体的脸部，替换为待比对图像主体的头部。即，如果待替换图像中，有多个人物主体，则现将脸部尺寸与待比对的动物主体的头部尺寸差值最小的人物主体的脸部，直接替换为待比对的动物主体的头部。然后将剩下的人物主体作为未替换的人物主体，然后通过等比例缩放方法对待比对的动物主体的头部的尺寸进行调整。直至与对应的未替换的人物主体的脸部尺寸一致，然后进行替换，最终待替换图像中所有的人物图像主体的脸部，都替换为待比对动物图像的头部，替换完成后，将已替换的图像上传至移动终端进行显示。

在实际操作中具体的替换情况如下：

若上传图像的动物数量是1，与其匹配的人物图像的人物数量也是1，直接把上传图像提取的头部区域替换到人物图像人脸区域上。

若上传图像的动物数量是1，而与其匹配的人物图像人物数量大于1，以上传图像提取的头部区域尺寸为准，确定人物图像中与之尺寸差值最小的人脸区域，并对其进行直接替换；而人物图像中比上述提取头部区域尺寸少或者大的其他人脸区域，以等比例缩放方法对提取的头部区域进行缩小或者放大，直到尺寸与人脸区域一致，并对其进行替换。

若上传图像的动物数量大于1，而与其匹配的人物图像人物数量是1，直接把上传图像中尺寸最大的提取头部区域替换到人物图像人脸区域上。

若上传图像的动物数量大于1，与其匹配的人物图像人物数量也是大于1，以上传图像中尺寸最大的提取头部区域为准，确定人物图像中与之尺寸差值最小的人脸区域，并对其进行直接替换；而人物图像中比上述提取头部区域尺寸少或者大的其他人脸区域，以等比例缩放方法对提取头部区域进行缩小或者放大，直到尺寸与人脸区域相似，并对其进行替换。

在本发明第一实施例的基础上，对应提供了第二实施例。

如图4所示：本发明第二实施例提供了一种图像主体脸部替换装置包括：图像及目标区域获取模块101、待比对图像主体确定模块102、待比对头部尺寸获取模块103、待比对头部朝向确定模块104、第一绘画图像集获取模块105、待替换图像确定模块106和脸部替换模块107；

图像及目标区域获取模块101，用于获取原始图像，并将原始图像传输至数据提取模型中，提取出原始图像中所有原始图像主体的头部区域和眼部区域；其中，原始图像中存在至少一个原始图像主体，每一眼部区域包括左眼区域和右眼区域；

待比对图像主体确定模块102，用于在只存在一个原始图像主体时，将原始图像主体作为待比对图像主体；

待比对头部尺寸获取模块103，用于根据待比对图像主体的头部区域的区域坐标，获得待比对图像主体的待比对头部尺寸；

待比对头部朝向确定模块104，用于将待比对图像主体的左眼区域和右眼区域进行比对，确定待比对图像主体的待比对头部朝向；

第一绘画图像集获取模块105，用于将待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有第一绘画图像，获得第一绘画图像集；其中,第一绘画图像主体为脸部尺寸与待比对头部尺寸差值最小，且头部朝向与待比对头部朝向一致的图像主体；

待替换图像确定模块106，用于在只存在一张第一绘画图像，且每一第一绘画图像中各图像主体的头部朝向一致时，将第一绘画图像作为待替换图像；

脸部替换模块107、用于将待替换图像的所有待替换图像主体的脸部，替换为待比对图像主体的头部。

优选的，待比对图像主体确定模块102，还用于在存在多个原始图像主体时，根据每一原始图像主体的头部区域的区域坐标，计算每一原始图像主体的头部尺寸；

将所有原始图像主体的头部尺寸进行比对，将头部尺寸最大的原始图像主体作为待比对图像主体。

优选的，待替换图像确定模块106，还用于在第一绘画图像集中,存在多张第一绘画图像，且每一第一绘画图像中各图像主体的头部朝向一致时，随机选出一张第一绘画图像作为待替换图像。

优选的，待替换图像确定模块106，还用于在第一绘画图像集中,存在多张第一绘画图像，且存在待剔除绘画图像时，剔除待剔除绘画图像，获得第二绘画图像集；

若第二绘画图像集中，只存在一张第二绘画图像，则将第二绘画图像作为待替换图像；

若第二绘画图像集中，若存在多张第二绘画图像，则随机选出一张第二绘画图像作为待替换图像，；其中，待剔除绘画图像为图像主体头部朝向不一致的第一绘画图像。

优选的，待比对头部朝向确定模块104，用于将待比对图像主体的左眼区域和右眼区域进行比对，确定待比对图像主体的待比对头部朝向，具体为：

若待比对图像主体的左眼区域宽度大于右眼区域宽度，则待比对头部朝向为右；

若待比对图像主体的左眼区域宽度小于右眼区域宽度，则待比对头部朝向为左；

若待比对图像主体的左眼区域宽度和右眼区域宽度相等，则待比对头部朝向为正向。

进一步的，若待比对图像主体的眼部区域中心点，到头部顶端的距离大于整个头部高度的1/3，则待比对头部朝向为低头；

若待比对图像主体的眼部区域中心点，到头部顶端的距离小于整个头部高度的1/4，则待比对头部朝向为抬头；

若待比对图像主体的眼部区域中心点，到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则待比对头部朝向为正前方；

若待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线倾斜，则待比对头部朝向为倾斜；若待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线水平，则待比对头部朝向水平。优选的，脸部替换模块107，用于将待替换图像的所有图像主体的脸部，替换为待比对图像主体的头部，具体为：

若待替换图像中，只存在一个待替换图像主体，则直接将待替换图像主体的脸部，替换为待比对图像主体的头部；

若待替换图像中，存在多个待替换图像主体，则将脸部尺寸与待比对头部尺寸差值最小的待替换图像主体的脸部，直接替换为待比对图像主体的头部，并调整待比对图像主体的头部尺寸，与每一未替换图像主体的脸部尺寸进行匹配直至与对应的未替换图像主体的脸部尺寸一致；将每一未替换图像主体的脸部，替换为待比对图像主体的头部。

优选的，图像主体脸部替换装置，还包括数据提取模型构建模块；其中，数据提取模型构建模块，用于

获取各类动物的静态图像，并对所有静态图像进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，训练图像集包括若干训练图像，测试图像集包括若干测试图像；

将所有训练图像的头部区域和眼部区域做矩形框标记，得到每一训练图像的头部标记框坐标参数和眼部标记框坐标参数；

将每一训练图像、每一训练图像的头部标记框坐标参数、眼部标记框坐标参数和每一训练图像中动物主体的名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将测试图像传输至待测试训练模型中，进行运行测试，获得损失函数；

根据损失函数，获得待测试训练模型的准确率；

若准确率达到第二预设阈值，则将待测试训练模型作为数据提取模型。

优选的，图像主体脸部替换装置，还包括绘画信息数据库构建模块，其中，绘画信息数据库构建模块，用于获取若干人物图像，并提取每一人物图像的人脸区域及人脸特征图；

将每一人脸特征图中左眼区域和右眼区域进行比对，获得每一人物图像中图像主体的头部朝向；

对每一人脸区域进行边缘检测，获得每一人脸区域的人脸边缘；

根据每一人脸边缘计算每一人物图像中各图像主体的人脸尺寸；

将所有人物图像、人物图像中各图像主体的头部朝向数据和人脸尺寸数据存储至数据库中，完成绘画信息数据库的构建。

通过实施本发明的实施例，有如下有益效果：

本发明实施例提供了一种图像主体脸部替换方法及装置，通过将原始图传输至数据提取模型中，提取出原始图像中图像主体的头部区域和眼部区域，并计算出原始图像中待比对图像主体的头部尺寸和头部朝向，继而在预存的绘画信息数据库，提取出与待比对图像主体的头部朝向一致，且脸部尺寸与待比对图像主体头部尺寸差值最小的第一绘画图像主体，并将第一绘画图像主体所属的绘画图像作为第一绘画图像，根据第一绘画图像获得待替换图像，最后将待替换图像的图像主体的脸部，替换为待比对图像主体的头部。从而实现能够根据原始图像中图像主体的脸部尺寸及头部转向匹配待替换图像，对待替换图像中图像主体的面部进行替换，因为在替换过程中，是根据待替换图像的脸部尺寸和头部朝向进行替换的，提高了替换后的图像的逼真度，使得替换后的图像更加的自然。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种图像主体脸部替换方法，其特征在于，包括：

获取原始图像，并将所述原始图像传输至数据提取模型中，提取出所述原始图像中所有原始图像主体的头部区域和眼部区域；其中，所述原始图像中存在至少一个原始图像主体，每一所述眼部区域包括左眼区域和右眼区域；

若只存在一个所述原始图像主体，则将所述原始图像主体作为待比对图像主体；

根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸；

将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向；

将所述待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有所述第一绘画图像，获得第一绘画图像集；其中,所述第一绘画图像主体为脸部尺寸与所述待比对头部尺寸差值最小，且头部朝向与所述待比对头部朝向一致的图像主体；

若所述第一绘画图像集中，只存在一张所述第一绘画图像，且所述第一绘画图像中各图像主体的头部朝向一致，则将所述第一绘画图像作为待替换图像；若所述第一绘画图像集中,存在多张第一绘画图像，且存在待剔除绘画图像；其中，所述待剔除绘画图像为图像主体头部朝向不一致的第一绘画图像；则剔除所述待剔除绘画图像，获得第二绘画图像集；若所述第二绘画图像集中，只存在一张第二绘画图像，则将所述第二绘画图像作为待替换图像；若所述第二绘画图像集中，若存在多张第二绘画图像，则随机选出一张第二绘画图像作为待替换图像；

将所述待替换图像的所有待替换图像主体的脸部，替换为所述待比对图像主体的头部，其中，所述待替换图像主体为所述替换图像中的图像主体。

2.如权利要求1所述的图像主体脸部替换方法，其特征在于，在所述提取出所述原始图像中所有原始图像主体的头部区域和眼部区域之后，在所述根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸之前，还包括：

若存在多个所述原始图像主体，则根据每一所述原始图像主体的头部区域的区域坐标，计算每一所述原始图像主体的头部尺寸；

将所有所述原始图像主体的头部尺寸进行比对，将头部尺寸最大的原始图像主体作为待比对图像主体。

3.如权利要求2所述的图像主体脸部替换方法，其特征在于，在获得第一绘画图像集之后，还包括：

若所述第一绘画图像集中,存在多张所述第一绘画图像，且每一所述第一绘画图像中各图像主体的头部朝向一致，则随机选出一张第一绘画图像作为待替换图像。

4.如权利要求1-3任意一项所述的图像主体脸部替换方法，其特征在于，所述将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向，具体为：

若所述待比对图像主体的左眼区域宽度大于右眼区域宽度，则所述待比对头部朝向为右；

若所述待比对图像主体的左眼区域宽度小于右眼区域宽度，则所述待比对头部朝向为左；若所述待比对图像主体的左眼区域宽度和右眼区域宽度相等，则所述待比对头部朝向为正向。

5.如权利要求4所述的图像主体脸部替换方法，其特征在于，所述确定所述待比对图像主体的待比对头部朝向还包括

若所述待比对图像主体的眼部区域中心点，到头部顶端的距离大于整个头部高度的1/3，则所述待比对头部朝向为低头；

若所述待比对图像主体的眼部区域中心点，到头部顶端的距离小于整个头部高度的1/4，则所述待比对头部朝向为抬头；

若所述待比对图像主体的眼部区域中心点，到头部顶端的距离在整个头部高度的1/4至1/3的区间时，则所述待比对头部朝向为正前方；

若所述待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线倾斜，则所述待比对头部朝向为倾斜；

若所述待比对图像主体的左眼区域中心点和右眼区域中心点之间的连接线水平，则所述待比对头部朝向水平。

6.如权利要求1-3任意一项所述的图像主体脸部替换方法，其特征在于，所述将所述待替换图像的所有图像主体的脸部，替换为所述待比对图像主体的头部，具体为：

若所述待替换图像中，只存在一个待替换图像主体，则直接将所述待替换图像主体的脸部，替换为所述待比对图像主体的头部；

若所述待替换图像中，存在多个待替换图像主体，则将脸部尺寸与所述待比对头部尺寸差值最小的待替换图像主体的脸部，直接替换为所述待比对图像主体的头部，并调整所述待比对图像主体的头部尺寸，与每一未替换图像主体的脸部尺寸进行匹配直至与对应的未替换图像主体的脸部尺寸一致；将每一所述未替换图像主体的脸部，替换为所述待比对图像主体的头部。

7.如权利要求6所述的图像主体脸部替换方法，其特征在于，所述数据提取模型通过以下方式进行构建：

获取各类动物的静态图像，并对所有所述静态图像进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，所述训练图像集包括若干训练图像，所述测试图像集包括若干测试图像；

将所有所述训练图像的头部区域和眼部区域做矩形框标记，得到每一所述训练图像的头部标记框坐标参数和眼部标记框坐标参数；

将每一所述训练图像、每一所述训练图像的头部标记框坐标参数、眼部标记框坐标参数和每一所述训练图像中动物主体的名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将所述测试图像传输至所述待测试训练模型中，进行运行测试，获得损失函数；

根据所述损失函数，获得所述待测试训练模型的准确率；

若所述准确率达到第二预设阈值，则将所述待测试训练模型作为所述数据提取模型。

8.如权利要求6所述的图像主体脸部替换方法，其特征在于，所述绘画信息数据库通过以下方式进行构建：

获取若干人物图像，并提取每一所述人物图像的人脸区域及人脸特征图；

将每一所述人脸特征图中左眼区域和右眼区域进行比对，获得每一所述人物图像中图像主体的头部朝向；

对每一所述人脸区域进行边缘检测，获得每一所述人脸区域的人脸边缘；

根据每一所述人脸边缘计算每一所述人物图像中各图像主体的人脸尺寸；

将所有所述人物图像、所述人物图像中各图像主体的头部朝向数据和人脸尺寸数据存储至数据库中，完成所述绘画信息数据库的构建。

9.一种图像主体脸部替换装置，其特征在于，包括：图像及目标区域获取模块、待比对图像主体确定模块、待比对头部尺寸获取模块、待比对头部朝向确定模块、第一绘画图像集获取模块、待替换图像确定模块和脸部替换模块；

其中，所述图像及目标区域获取模块，用于获取原始图像，并将所述原始图像传输至数据提取模型中，提取出所述原始图像中所有原始图像主体的头部区域和眼部区域；其中，所述原始图像中存在至少一个原始图像主体，每一所述眼部区域包括左眼区域和右眼区域；

所述待比对图像主体确定模块，用于在只存在一个所述原始图像主体时，将所述原始图像主体作为待比对图像主体；

所述待比对头部尺寸获取模块，用于根据所述待比对图像主体的头部区域的区域坐标，获得所述待比对图像主体的待比对头部尺寸；

所述待比对头部朝向确定模块，用于将所述待比对图像主体的左眼区域和右眼区域进行比对，确定所述待比对图像主体的待比对头部朝向；

所述第一绘画图像集获取模块，用于将所述待比对图像主体与预存的绘画信息数据库中所有绘画图像的绘画图像主体进行比对，将所有包含第一绘画图像主体的绘画图像,作为第一绘画图像；提取所有所述第一绘画图像，获得第一绘画图像集；其中,所述第一绘画图像主体为脸部尺寸与所述待比对头部尺寸差值最小，且头部朝向与所述待比对头部朝向一致的图像主体；

所述待替换图像确定模块，用于在只存在一张第一绘画图像，且每一所述第一绘画图像中各图像主体的头部朝向一致时，将所述第一绘画图像作为待替换图像；以及在存在多张第一绘画图像，且存在待剔除绘画图像时，剔除所述待剔除绘画图像，获得第二绘画图像集；若所述第二绘画图像集中，只存在一张第二绘画图像，则将所述第二绘画图像作为待替换图像；若所述第二绘画图像集中，若存在多张第二绘画图像，则随机选出一张第二绘画图像作为待替换图像；其中，述待剔除绘画图像为图像主体头部朝向不一致的第一绘画图像；

所述脸部替换模块、用于将所述待替换图像的所有待替换图像主体的脸部，替换为所述待比对图像主体的头部。

Images