CN110458751B - 一种基于粤剧图片的面部替换方法、设备及介质 - Google Patents

Abstract

本发明提供的一种基于粤剧图片的面部替换方法，包括获取用户在终端上传的用户图像；识别用户图像，得到用户人脸特征图以及对应的特征关键点信息；根据特征关键点信息在预设模板数据库筛选到对应的预设粤剧静态图像，作为目标粤剧静态图像，根据特征关键点信息在目标粤剧静态图像中筛选出对应的预设人脸特征图，将预设人脸特征图作为目标人脸特征图；将人脸特征图绑定到目标人脸特征图上，根据目标人脸特征图与人脸特征图的位置偏差对人脸特征图进行位移调整。本发明提供的一种基于粤剧图片的面部替换方法，使融合后的人脸的表情更加生动，满足了用户的审美需求。

Description

一种基于粤剧图片的面部替换方法、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于粤剧图片的面部替换方法、设备及介质。

背景技术

随着社会经济和计算机技术的不断发展，人类生活水平不断提高，图像处理技术也日益提高。在日常中，图像合成技术普遍采用PS(Adobe Photoshop)软件实现，主要用于图像美化处理，如：把自己人脸与他人的替换，形成新图像。该方式依靠手动修图，过程漫长复杂，且需具备专业美工知识。粤剧，是广东艺人吸纳外省入粤戏班的戏曲声腔，加以易语而歌并融进本地的歌谣、小曲而形成的剧种。该剧种以武生、文武生、小生、正印花旦、二帮花旦、丑生为台柱，唱腔音乐变化灵活，旋律优美，是世界非物质文化遗产，深受人民爱戴。因此，将人脸与粤剧中的人物角色进行融合替换很受用户的喜欢，但是，目前人脸替换技术，替换效果生硬，导致人物表情、头部朝向等面部特征与图像背景不搭，甚至导致面部变形等问题，难以满足用户需求。

发明内容

为了克服现有技术的不足，本发明的目的在于之一提供一种基于粤剧图片的面部替换方法，其能解决目前人脸替换技术，替换效果生硬，导致人物表情、头部朝向等面部特征与图像背景不搭的问题。

本发明的目的在于之二提供一种电子设备，其能解决目前人脸替换技术，替换效果生硬，导致人物表情、头部朝向等面部特征与图像背景不搭的问题。

本发明的目的在于之三提供一种计算机可读存储介质，其能解决目前人脸替换技术，替换效果生硬，导致人物表情、头部朝向等面部特征与图像背景不搭的问题。

本发明提供目的之一采用以下技术方案实现：

一种基于粤剧图片的面部替换方法，包括以下步骤：

图像获取，获取用户在终端上传的人物图像，所述人物图像包括人脸；

图像识别，识别所述人物图像，得到所述人物图像对应的人脸特征图以及所述人脸特征图中的若干特征关键点信息，所述特征关键点信息包括关键点序号以及关键点数量；

筛选预设粤剧静态图像，根据所述特征关键点信息在预设模板数据库筛选到对应的多张或单张所述预设粤剧静态图像，当筛选到的所述预设粤剧静态图像为单张时，将此所述预设粤剧静态图像作为目标粤剧静态图像，当筛选到的所述预设粤剧静态图像为多张时，随机选取一张所述预设粤剧静态图像作为目标粤剧静态图像；

筛选人脸特征图，根据所述特征关键点信息在所述目标粤剧静态图像中筛选出对应的预设人脸特征图以及所述预设人脸特征图对应的预设特征关键点信息，将所述预设人脸特征图作为目标人脸特征图，所述预设特征关键点信息包括预设关键点序号以及预设关键点数量；

人脸特征替换，根据所述关键点序号与所述目标人脸特征图对应预设关键点序号的位置关系将所述人脸特征图绑定到所述目标人脸特征图上，根据所述目标人脸特征图与所述人脸特征图的位置偏差对所述人脸特征图进行位移调整，得到最终人脸特征图。

进一步地，在所述图像获取之前包括建立预设模板数据库，获取若干预设粤剧静态图像，识别所述预设粤剧静态图像，得到预设人脸特征图以及所述预设人脸特征图对应的预设特征关键点信息，将所述预设人脸特征图、所述预设特征关键点信息以及所述预设粤剧静态图像建立映射关系并存储，得到预设模板数据库。

进一步地，所述识别所述预设粤剧静态图像，得到预设人脸特征图以及对应的预设特征关键点信息具体为：通过边缘检测算法对所述预设粤剧静态图像进行边缘检测处理，得到对应的预设人脸特征图，根据标记算法对所述预设人脸特征图进行标号处理，得到预设关键点序号以及预设关键点数量。

进一步地，所述图像识别具体为：通过边缘检测算法对所述人物图像进行边缘检测处理，得到对应的人脸特征图，根据标记算法对所述人脸特征图进行标号处理，得到关键点序号以及关键点数量。

进一步地，所述筛选预设粤剧静态图像具体为：在所述预设模板数据库中筛选出所有与所述关键点数量相同的所述预设关键点数量对应的所述预设粤剧静态图像，得到含有若干所述预设粤剧静态图像的预设粤剧静态图像组或单张所述预设粤剧静态图像，当得到预设粤剧静态图像组时，在所述预设粤剧静态图像组中选取任意一张所述预设粤剧静态图像作为目标粤剧静态图像；当得到单张所述预设粤剧静态图像时，将此张所述预设粤剧静态图像作为目标粤剧静态图像。

进一步地，所述筛选人脸特征图具体为：当所述目标粤剧静态图像含有多张与所述关键点数量相同的预设关键点数量对应的预设人脸特征图时，随机选择一张所述预设人脸特征图作为目标人脸特征图；当所述目标粤剧静态图像只含有一张与所述关键点数量相同的预设关键点数量对应的预设人脸特征图时，将所述预设人脸特征图作为目标人脸特征图。

本发明提供目的之二采用以下技术方案实现：

一种电子设备，包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行本申请的一种基于粤剧图片的面部替换方法。

本发明提供目的之三采用以下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行本申请的一种基于粤剧图片的面部替换方法。

相比现有技术，本发明的有益效果在于：获取用户在终端上传的人物图像，人物图像包括人脸特征；识别人物图像，得到人物图像对应的人脸特征图以及人脸特征图中的若干特征关键点信息，特征关键点信息包括关键点序号以及关键点数量；根据特征关键点信息在预设模板数据库筛选到对应的多张或单张预设粤剧静态图像，当筛选到的预设粤剧静态图像为单张时，将此预设粤剧静态图像作为目标粤剧静态图像，当筛选到的预设粤剧静态图像为多张时，随机选取一张预设粤剧静态图像作为目标粤剧静态图像；根据特征关键点信息在目标粤剧静态图像中筛选出对应的预设人脸特征图以及预设人脸特征图对应的预设特征关键点信息，将预设人脸特征图作为目标人脸特征图，预设特征关键点信息包括预设关键点序号以及预设关键点数量；根据关键点序号与目标人脸特征图对应预设关键点序号的位置关系将人脸特征图绑定到目标人脸特征图上，根据目标人脸特征图与人脸特征图的位置偏差对人脸特征图进行位移调整，得到最终人脸特征图。整个过程的替换效果不在生硬，使用户图像与粤剧静态图像中的人脸实现了精准的融合，使融合后的人脸的表情更加生动，满足了用户的审美需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种基于粤剧图片的面部替换方法的流程示意图；

图2为本发明的一种基于粤剧图片的面部替换方法中的预设人脸特征图的示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本申请的一种基于粤剧图片的面部替换方法，包括以下步骤：

采集粤剧静态图像，通过网站采集若干含有粤剧不同角色人物的粤剧静态图像，将采集到的粤剧静态图像作为预设粤剧静态图像。粤剧中的角色通常包括：武生、文武生、小生、正印花旦、二帮花旦、丑生这6种；因此本申请中采集的粤剧静态图像是含有上述角色的图像，可以通过图片或视频获取，当通过视频获取时，需要通过抽帧形式把视频帧转换成静态图像，即得到粤剧静态图像，每张粤剧静态图像中含有的人物角色的数量不限，可以为多个或单个；将采集到的粤剧静态图像均作为预设粤剧静态图像。

建立预设模板数据库，识别上述的若干预设粤剧静态图像，得到该预设粤剧静态图像对应的预设人脸特征图，获取预设人脸特征图上的若干对应的预设特征关键点信息，即通过边缘检测算法找出粤剧静态图像中的由特征关键点聚类形成的多条抛物线，在上述抛物线中，先确定是否存在人面部轮廓，若存在，则确定是否存在人面部眉毛，接着确定鼻子、眼睛、嘴巴，从而得到与预设粤剧静态图像对应的预设人脸特征图，根据标记算法对上述的预设人脸特征图进行标号处理，其标号顺序是固定的，一般为：左面轮廓→右面轮廓→左眉毛→右眉毛→鼻梁→鼻孔→左眼→右眼→嘴巴，得到含有预设关键点序号以及预设关键点数量的预设特征关键点信息；将预设人脸特征图、预设特征关键点信息以及预设粤剧静态图像建立映射关系并存储，得到预设模板数据库；每张预设粤剧静态图像与单张或多张预设人脸特征图，每张预设人脸特征图与预设特征关键点信息唯一对应，即每张预设人脸特征图的预设关键点数量和预设关键点序号是唯一固定的。如图2所示，图2中是人脸朝向为正面时的特征关键点分布图，共有68个特征关键点；预设人脸特征图上的预设特征关键点的数量会随着当前人脸朝向不同而不同，如：人正面时，其人脸特征关键点数量一般是68；人正侧面时，其人脸特征关键点数量是34。

图像获取，获取用户在终端上传的人物图像；人物图像包括人脸，用户在终端上传一张自我或者他人图像，作为人物图像。终端，是指用户日常普遍使用的手机、触控屏等硬件设备。图像，用户可以通过现场拍摄获取，也可以通过相册获取；图像的人物数量不限，可以单个，也可以多个；若图像人物数量为多个，默认选取头部尺寸最大的人物。

图像识别，识别人物图像，得到与人物图像对应的人脸特征图，获取人脸特征图对应的特征关键点信息，特征关键点信息包括关键点序号以及关键点数量；具体为：通过边缘检测算法找出人物图像中的由特征关键点聚类形成的多条抛物线，在上述抛物线中，先确定是否存在人面部轮廓，若存在，则确定是否存在人面部眉毛，接着确定鼻子、眼睛、嘴巴，从而得到与预设粤剧静态图像对应的人物图像的人脸特征图，根据标记算法对上述的人物图像的人脸特征图进行标号处理，其标号顺序是固定的，一般为：左面轮廓→右面轮廓→左眉毛→右眉毛→鼻梁→鼻孔→左眼→右眼→嘴巴，得到含有关键点序号以及关键点数量的特征关键点信息。

筛选预设粤剧静态图像，根据特征关键点信息在预设模板数据库筛选到对应的多张或单张预设粤剧静态图像，当筛选到的预设粤剧静态图像为单张时，将此粤剧静态图像作为目标粤剧静态图像，当筛选到的预设粤剧静态图像为多张时，随机选取一张预设粤剧静态图像作为目标粤剧静态图像。具体为：在预设模板数据库中筛选出所有与关键点数量相同的预设关键点数量对应的预设粤剧静态图像，得到含有若干预设粤剧静态图像的预设粤剧静态图像组或单张预设粤剧静态图像，当得到预设粤剧静态图像组时，在预设粤剧静态图像组中选取任意一张预设粤剧静态图像作为目标粤剧静态图像；当得到单张预设粤剧静态图像时，将此张预设粤剧静态图像作为目标粤剧静态图像。

筛选人脸特征图，根据特征关键点信息在目标粤剧静态图像中筛选出对应的预设人脸特征图以及预设人脸特征图对应的预设特征关键点信息，将预设人脸特征图作为目标人脸特征图，预设特征关键点信息包括预设关键点序号以及预设关键点数量。具体为：当目标粤剧静态图像含有多张与关键点数量相同的预设关键点数量对应的预设人脸特征图时，随机选择一张预设人脸特征图作为目标人脸特征图(此处可由用户根据自己的喜好进行选择)；当目标粤剧静态图像只含有一张与关键点数量相同的预设关键点数量对应的预设人脸特征图时，将预设人脸特征图作为目标人脸特征图。

人脸特征替换，根据关键点序号与目标人脸特征图对应预设关键点序号的位置关系将人脸特征图绑定到目标人脸特征图上，根据目标人脸特征图与人脸特征图的位置偏差对人脸特征图进行位移调整，得到最终人脸特征图。具体为：将人脸特征图中的关键点序号对应的位置与目标人脸特征图中的预设关键点序号对应的相同序号的位置进行绑定，基于目标人脸特征图与人脸特征图中的特征关键点之间存在间隔位移，调整(拉伸或收缩)对已绑定的人脸特征图中的关键点的位置，使人脸特征图中的关键点序号的位置与目标人脸特征图中的预设关键点序号的位置重叠，从而达到人物图像中的人脸特征图与目标人脸特征图相互匹配，实现完整的替换，得到最终人脸特征图。例如：如图2所示，将用户上传的人物图像中的人脸特征图中关键点序号为1的位置与目标人脸特征图中的预设关键点序号为1的位置进行绑定，在实际过程中，由于人脸的面部轮廓以及表情原因，会导致人脸特征图中的关键点序号1的位置与目标人脸特征图中的预设关键点序号为1的位置出现位移间隔，此时采用拉伸或收缩的方法将人脸特征图中关键点序号1对应的位置调整至预设关键点序号为1的位置，使关键点序号为1的位置与预设关键点为1的位置重叠，其他关键点的绑定方式均如上。

本申请提供了种电子设备，包括：处理器；

存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行本申请的一种基于粤剧图片的面部替换方法。

本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行本申请的一种基于粤剧图片的面部替换方法。

本申请的一种基于粤剧图片的面部替换方法，包括：获取用户在终端上传的人物图像，人物图像包括人脸特征；识别人物图像，得到人物图像对应的人脸特征图以及人脸特征图中的若干特征关键点信息，特征关键点信息包括关键点序号以及关键点数量；根据特征关键点信息在预设模板数据库筛选到对应的多张或单张预设粤剧静态图像，当筛选到的预设粤剧静态图像为单张时，将此预设粤剧静态图像作为目标粤剧静态图像，当筛选到的预设粤剧静态图像为多张时，随机选取一张预设粤剧静态图像作为目标粤剧静态图像；根据特征关键点信息在目标粤剧静态图像中筛选出对应的预设人脸特征图以及预设人脸特征图对应的预设特征关键点信息，将预设人脸特征图作为目标人脸特征图，预设特征关键点信息包括预设关键点序号以及预设关键点数量；根据关键点序号与目标人脸特征图对应预设关键点序号的位置关系将人脸特征图绑定到目标人脸特征图上，根据目标人脸特征图与人脸特征图的位置偏差对人脸特征图进行位移调整，得到最终人脸特征图。整个过程的替换效果不在生硬，使用户图像与粤剧静态图像中的人脸实现了精准的融合，使融合后的人脸的表情更加生动，满足了用户的审美需求。将用户上传的人脸特征图替换到目标人脸特征图上，实现了面部替换，得到最终人脸特征图，整个过程的替换效果不在生硬，使用户图像与粤剧静态图像中的人脸实现了精准的融合，使融合后的人脸的表情更加生动，满足了用户的审美需求。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (8)

1.一种基于粤剧图片的面部替换方法，其特征在于，包括以下步骤：

图像获取，获取用户在终端上传的人物图像，所述人物图像包括人脸；

图像识别，识别所述人物图像，得到所述人物图像对应的人脸特征图以及所述人脸特征图中的若干特征关键点信息，所述特征关键点信息包括关键点序号以及关键点数量；

筛选预设粤剧静态图像，根据所述特征关键点信息在预设模板数据库筛选到对应的多张或单张所述预设粤剧静态图像，当筛选到的所述预设粤剧静态图像为单张时，将此所述预设粤剧静态图像作为目标粤剧静态图像，当筛选到的所述预设粤剧静态图像为多张时，随机选取一张所述预设粤剧静态图像作为目标粤剧静态图像；

筛选人脸特征图，根据所述特征关键点信息在所述目标粤剧静态图像中筛选出对应的预设人脸特征图以及所述预设人脸特征图对应的预设特征关键点信息，将所述预设人脸特征图作为目标人脸特征图，所述预设特征关键点信息包括预设关键点序号以及预设关键点数量；

人脸特征替换，根据所述关键点序号与所述目标人脸特征图对应预设关键点序号的位置关系将所述人脸特征图绑定到所述目标人脸特征图上，根据所述目标人脸特征图与所述人脸特征图的位置偏差对所述人脸特征图进行位移调整，得到最终人脸特征图。

2.如权利要求1所述的一种基于粤剧图片的面部替换方法，其特征在于：在所述图像获取之前包括建立预设模板数据库，获取若干预设粤剧静态图像，识别所述预设粤剧静态图像，得到预设人脸特征图以及所述预设人脸特征图对应的预设特征关键点信息，将所述预设人脸特征图、所述预设特征关键点信息以及所述预设粤剧静态图像建立映射关系并存储，得到预设模板数据库。

3.如权利要求2所述的一种基于粤剧图片的面部替换方法，其特征在于：所述识别所述预设粤剧静态图像，得到预设人脸特征图以及对应的预设特征关键点信息具体为：通过边缘检测算法对所述预设粤剧静态图像进行边缘检测处理，得到对应的预设人脸特征图，根据标记算法对所述预设人脸特征图进行标号处理，得到预设关键点序号以及预设关键点数量。

4.如权利要求1所述的一种基于粤剧图片的面部替换方法，其特征在于：所述图像识别具体为：通过边缘检测算法对所述人物图像进行边缘检测处理，得到对应的人脸特征图，根据标记算法对所述人脸特征图进行标号处理，得到关键点序号以及关键点数量。

5.如权利要求2所述的一种基于粤剧图片的面部替换方法，其特征在于：所述筛选预设粤剧静态图像具体为：在所述预设模板数据库中筛选出所有与所述关键点数量相同的所述预设关键点数量对应的所述预设粤剧静态图像，得到含有若干所述预设粤剧静态图像的预设粤剧静态图像组或单张所述预设粤剧静态图像，当得到预设粤剧静态图像组时，在所述预设粤剧静态图像组中选取任意一张所述预设粤剧静态图像作为目标粤剧静态图像；当得到单张所述预设粤剧静态图像时，将此张所述预设粤剧静态图像作为目标粤剧静态图像。

6.如权利要求1所述的一种基于粤剧图片的面部替换方法，其特征在于：所述筛选人脸特征图具体为：当所述目标粤剧静态图像含有多张与所述关键点数量相同的预设关键点数量对应的预设人脸特征图时，随机选择一张所述预设人脸特征图作为目标人脸特征图；当所述目标粤剧静态图像只含有一张与所述关键点数量相同的预设关键点数量对应的预设人脸特征图时，将所述预设人脸特征图作为目标人脸特征图。

7.一种电子设备，其特征在于包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-6任意一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-6任意一项所述的方法。

Images