CN113486944A - 人脸融合方法、装置、设备及存储介质 - Google Patents
人脸融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113486944A CN113486944A CN202110748532.3A CN202110748532A CN113486944A CN 113486944 A CN113486944 A CN 113486944A CN 202110748532 A CN202110748532 A CN 202110748532A CN 113486944 A CN113486944 A CN 113486944A
- Authority
- CN
- China
- Prior art keywords
- face
- source
- target
- fused
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000013519 translation Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 210000000887 face Anatomy 0.000 description 15
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004599 local-density approximation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种人脸融合方法、装置、设备及存储介质。该方法包括：获取源人脸数据；根据所述源人脸数据确定源数据；将所述源数据进行分割，得到分割人脸图像；根据所述分割人脸图像确定源人脸特征；根据所述源人脸特征以及目标人脸属性生成融合人脸图像。通过上述方式，能够将源人脸数据分割出仅包含人脸的分割人脸图像，在根据分割人脸图像确定人脸特征，最后将人脸特征与目标人脸属性融合，从而能够得到高清的换脸图像。有效地缓解了换脸后人脸模糊、人脸不像源脸以及脸型需要高度相似才能替换的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸融合方法、装置、设备及存储介质。
背景技术
换脸是指用一张源脸将一张希望替换的目标脸替换为源脸且保留目标脸除了脸部特征以外的所有特征，比如头发、光照、张嘴及睁眼等。随着深度学习的不断发展，近年来通过人工智能换脸的技术发展迅速，人们对换脸的需求和要求也日益剧增，目前，在个人定制电影、短视频创作、AR虚拟主播、虚拟试妆、图片视频娱乐、角色体验等领域都有大量的应用，正在改变传统电视剧、电影和短视频的制作方式，利用先进的换脸算法可以在很低的成本和很短的时间内非常方便地制作出图片或者视频，它在影视、医疗、出行等领域已经发挥出相当大的正面作用，这种新科技的出现，也极大地满足了广大互联网群众猎奇、美颜和社交等需求，甚至在促进人脸识别算法的精确度提升方面也产生了巨大的推进作用。
当前的换脸方法主要为以下三种方式：一、利用Photoshop换脸，直接将源脸抠出来贴到到目标脸上，再辅助一些拉伸变形、边缘模糊和脸部液化操作尽量抹掉换脸的痕迹；二、利用Opencv自带的传统算法换脸，先用人脸检测和关键点检测分别识别出源脸和目标脸各自的脸部，再采用旋转对齐两张脸后使用三角剖分进一步对齐把源脸贴到目标脸上，最后借鉴Photoshop做一些边缘模糊尽量抹掉换脸的痕迹；三、采用深度学习方式换脸，深度学习换脸算法有很多种，主要分为两类：1、利用自编码算法VAE换脸，直接通过卷积网络将人脸特征提取映射到一个高维空间，然后再根据映射的特征重新生成具有源脸长相且具有目标脸属性的人脸；2、利用对抗模型GAN换脸，关于GAN的换脸算法复杂多样，目前取得了大量先进成果，主要可以分为：a、替换脸内局部的算法，如DeepFake、FaceSwap和DeepFaceLab等，b、替换整个头部的算法，如ZAO、FSGAN、FaceController等。
上述三种换脸方法虽然已都在市场上具有一定的应用，但是仍然存在许多缺点：对于Photoshop换脸，同时采用超清的源脸和目标脸可以得到超清的替换结果，如果两张人脸的脸型又特别相近，Photoshop可以实现不错的换脸效果，但若是脸型不相近则换脸效果较差。若是处理视频，首先，处理不了脸的各种角度与各种光照效果，其次，每一帧都需要替换，耗时较长，最后，每一帧人脸的方向可能不同；对于OpenCV换脸，时间问题上计算机自动处理比Photoshop的人工处理有巨大的缓解，然而，即使使用超清的人脸作替换也只是偶尔一张正面人脸的替换结果较好，绝大多数替换结果都是失败的，所以，传统算法的弊端相当明显；对于深度学习换脸，自编码换脸算法是深度学习初期的一些算法，处理不了复杂背景下的人脸，而且由于算法本身的缺陷，替换过后的人脸清晰度变差，GAN是深度学习中的后期之秀，效果有较大改善，关于GAN的换脸算法总体上比OpenCV强，但目前各种关于GAN的换脸算法的缺点仍旧较为明显，其中DeepFake、FaceSwap和DeepFaceLab等属于同一系列，虽然是目前换脸效果相对最优秀的开源算法，但它们都是替换脸的内部，因此生成的结果都完全丢失了源脸的脸型，目标脸的光照效果等属性也利用不好，同时每次替换前都要分别取很多源脸和目标脸的高清图片训练，训练时间长。综上，目前存在的各个换脸方法缺点各异，都不能很好地解决换脸问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种人脸融合方法、装置、设备及存储介质，旨在解决现有技术中视频换脸清晰度不高效果不好的技术问题。
为实现上述目的，本发明提供了一种人脸融合方法，所述方法包括以下步骤：
获取源人脸数据；
根据所述源人脸数据确定源数据；
将所述源数据进行分割，得到分割人脸图像；
根据所述分割人脸图像确定源人脸特征；
根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
可选地，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤，包括：
获取输入特征；
将所述输入特征归一化，生成归一化特征；
将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像。
可选地，所述将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像的步骤，包括：
根据所述源人脸特征确定特征放缩因子以及特征平移因子；
根据目标人脸属性确定属性放缩因子以及属性平移因子；
根据所述特征放缩因子以及所述特征平移因子，将所述源人脸特征与所述归一化特征融合，得到融合特征；
根据所述属性放缩因子以及所述属性平移因子，将所述目标人脸属性与融合特征融合，得到融合人脸图像。
可选地，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之前，还包括：
获取目标人脸图像；
根据所述目标人脸图像确定目标人脸属性。
可选地，根据所述目标人脸图像确定目标人脸属性的步骤，包括：
对所述目标人脸图像进行预设次数的下采样以及预设次数的上采样，得到预设层数目标人脸属性。
可选地，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之后，还包括：
获取待换脸视频；
根据所述待换脸视频确定目标帧数据；
根据所述目标帧数据确定待融合目标脸。
可选地，所述根据所述目标帧数据确定待融合人脸图像的步骤之后，还包括：
获取待融合源脸；
根据所述待融合源脸获得待融合分割人脸图像；
将所述待融合分割人脸图像与所述待融合目标脸进行融合，得到目标融合人脸图像；
将所述目标融合人脸图像替换对应的目标帧数据，得到目标视频。
此外，为实现上述目的，本发明还提出一种人脸融合装置，所述人脸融合装置包括：
获取模块，用于获取源人脸数据；
确定模块，用于根据所述源人脸数据确定源数据；
分割模块，用于将所述源数据进行分割，得到分割人脸图像；
特征确定模块，用于根据所述分割人脸图像确定源人脸特征；
融合模块，用于根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
此外，为实现上述目的，本发明还提出一种人脸融合设备，所述人脸融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸融合程序，所述人脸融合程序配置为实现如上文所述的人脸融合方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有人脸融合程序，所述人脸融合程序被处理器执行时实现如上文所述的人脸融合方法的步骤。
本发明通过获取源人脸数据；根据所述源人脸数据确定源数据；将所述源数据进行分割，得到分割人脸图像；根据所述分割人脸图像确定源人脸特征；根据所述源人脸特征以及目标人脸属性生成融合人脸图像。通过上述方式，能够将源人脸数据分割出仅包含人脸的分割人脸图像，在根据分割人脸图像确定人脸特征，最后将人脸特征与目标人脸属性融合，从而能够得到高清的换脸图像。有效地缓解了换脸后人脸模糊、人脸不像源脸以及脸型需要高度相似才能替换的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的人脸融合设备的结构示意图；
图2为本发明人脸融合方法第一实施例的流程示意图；
图3为本发明人脸融合方法一实施例的源数据示意图；
图4为本发明人脸融合方法一实施例的分割人脸图；
图5为本发明人脸融合方法一实施例的ArcFace人脸识别原理图；
图6为本发明人脸融合方法一实施例的U2-Net模型优化结构图；
图7为本发明人脸融合方法一实施例的IIS生成模块图；
图8为本发明人脸融合方法一实施例的人脸融合效果图；
图9为本发明人脸融合装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的人脸融合设备结构示意图。
如图1所示，该人脸融合设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对人脸融合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸融合程序。
在图1所示的人脸融合设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明人脸融合设备中的处理器1001、存储器1005可以设置在人脸融合设备中，所述人脸融合设备通过处理器1001调用存储器1005中存储的人脸融合程序，并执行本发明实施例提供的人脸融合方法。
本发明实施例提供了一种人脸融合方法，参照图2，图2为本发明一种人脸融合方法第一实施例的流程示意图。
本实施例中，所述人脸融合方法包括以下步骤：
步骤S10：获取源人脸数据。
需要说明的是，本实施例的执行主体可为具备运算功能的终端设备，例如电脑、智能手机等。本实施例中的方法基于生成对抗网络(Generative Adversarial Network，GAN)，源人脸数据中包括需要替换至视频中的人脸图像。公开数据集FFHQ和CelebA-HQ中的超清人脸数据用于训练本实施例中的算法。
步骤S20：根据所述源人脸数据确定源数据。
能够理解的是，可用CelebA-HQ数据集开源的代码将源人脸数据处理得到分辨率为256*256且对齐后的人脸，人脸对齐任务即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。但此开源代码用的dlib检测人脸和获取人脸关键点，但dlib对人脸的检出率不是很高，获取的关键点也不是很准，因此本实施例采用face_alignment人脸检测库替代，这样不仅在数据预处理阶段人脸提取更准确，而且在模型效果测试阶段由于此算法得到的人脸关键点更稳定使得用替换的人脸与背景图片融合时抖动更小。最后得到源数据，源数据如图3所示。
步骤S30：将所述源数据进行分割，得到分割人脸图像。
能够理解的是，源数据中包括人脸以及背景，为了更加清楚的解耦人脸特征identify和与人脸相关的背景属性style，本实施例采用像素级实例分割算法先将源脸分割，得到不含头发等背景的纯人脸(即分割人脸图像)，分割算法为pix2pixHD算法，其模型结构基于U-Net，分割人脸图像如图4所示。
步骤S40：根据所述分割人脸图像确定源人脸特征。
在具体实现中，本实施例采用ArcFace算法进行源人脸特征提取，ArcFace把人脸特征和权重归一化，使预测仅取决于特征和权重之间的角度，然后角度可以对应超球面上的弧度距离，而不是直接求两特征点之间相连的直线距离，这使得人脸特征的提取更加充分全面。从而从分割人脸图像中能够提取到更充分全面的源人脸特征。
能够理解的是，分割人脸图像不仅仅包含脸部还包含周围的头发和少量背景，虽然分割出了脸部，但脸部周围被算法设置成的大范围黑色背景会对ArcFace提取人脸特征造成一些影响，故本发明在提取人脸前先把分割人脸图像四周裁剪20至45个像素再输入ArcFace算法中，ArcFace人脸识别原理如图5所示，其中，W1与W2表示权重，Class1、Class2表示特征集，arc/angle margin表示弧度距离。
步骤S50：根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
需要说明的是，目标人脸属性，包括年龄、性别、颜值、表情、情绪、口罩、脸型、头部姿态、是否闭眼、是否配戴眼镜、人脸质量信息及类型等。将源人脸特征与目标人脸属性进行融合从而获得最终的融合人脸图像。
进一步地，为了获得更准确的目标人脸属性，步骤S50之前，还包括：获取目标人脸图像；根据所述目标人脸图像确定目标人脸属性。
进一步地，根据所述目标人脸图像确定目标人脸属性的步骤包括：对所述目标人脸图像进行预设次数的下采样以及预设次数的上采样，得到预设层数目标人脸属性。
在具体实现中，本实施例结合变分编码器(Variational Auto-encoder，VAE)GAN一起使用，充分发挥它们各自的优势。目前仅采用GAN换脸的结果存在不够超清和细节缺失的问题，采用深而宽的神经网络能在一定程度上缓解清晰度问题，但这样的模型只能在高端GPU上训练和推断，成本问题非常大，不论是普通研究人员还是普通公司都无力购买如此昂贵的GPU设备。U2-Net是深度学习抠图领域的一个特征提取算法，具备模型简单但对细节特征的提取能力特别强的特点，因此本发明修改原论文的算法后，开创性地将这个抠图领域的特征提取算法用于换脸领域来提取目标人脸属性特征，用U2-Net作为VAE，此算法经过五次下采样再经过五次上采样，并辅以残差连接和空洞卷积核，将U-Net每个卷积核用一个U-Net替换形成嵌入式U-Net，不仅浅层特征提取更充分，深层特征提取时获得的感受野也更大，最终能得到一个更加优秀的提取效果，人脸是人体细节最丰富的部位，这样的算法正好更加适合提取人脸特征，为了使原算法的提取效果最大化，本实施例还修改了原算法特征输出部分，变单一输出为多层输出，每一次上采样输出一次目标人脸属性，五次上采样是由低分辨率的目标人脸图像的属性提取至高分辨率的目标人脸图像的属性提取，最后第五次的上采样的目标人脸图像的分辨率为256*256。总共获得五层的目标人脸属性，即预设层数目标人脸属性。U2-Net模型优化后的结构如图6所示，它的顶层是一个由11stages(图6中的立方体)组成的大U型结构，每一stage由一个配置良好的RSU填充。因此，嵌套的U结构可以更有效的提取stage内的多尺度特征和聚集阶段的多层次特征。En_1,En_2，En_3，En_4，En_5，En_6为编码器，De_5，De_4，De_3，De_2和De_1为解码器，S(1)，S(2)，S(3)，S(4)，S(5)为上采样时的输出，Downsample为下采样，Upsample为上采样，Concatenation表示拼接，Addition表示相加，Conv+BN+RELU表示卷积层的组成单位，Sigmoid表示激活函数。
进一步地，为了生成更清晰的融合人脸图像，步骤S50包括：获取输入特征；将所述输入特征归一化，生成归一化特征；将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像。
需要说明的是，NVIDIA公布的SPADE算法使用了一个space的normalization，这个归一化算法使得合成的图像信息丢失少从而合成结果细节更加丰富，本实施例以SPADE为基础进行换脸生成算法设计。
进一步地，将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像的步骤包括：根据所述源人脸特征确定特征放缩因子以及特征平移因子；根据目标人脸属性确定属性放缩因子以及属性平移因子；根据所述特征放缩因子以及所述特征平移因子，将所述源人脸特征与所述归一化特征融合，得到融合特征；根据所述属性放缩因子以及所述属性平移因子，将所述目标人脸属性与融合特征融合，得到融合人脸图像。
能够理解的是，换脸生成算法设计如下：
1、采用InstanceNorm对输入特征做归一化处理得到归一化特征；
2、分别用两个全连接层再次提取源人脸特征作为源人脸数据的放缩因子和平移因子(即特征放缩因子以及特征平移因子)；
3、分别用两个卷积层提取目标人脸属性作为目标人脸图像的放缩因子和平移因子(即属性放缩因子以及属性平移因子)；
4、以串联的形式，先将源人脸特征融合到归一化特征上得到融合特征，再将目标人脸属性融合上去；
5、以上4步打包成一个模块IIS，每层VAE对目标人脸属性上采样时应用一次模块IIS；
6、最后一层IIS模块的输出通过sigmoid函数得到生成结果，即融合人脸图像。
其中，IIS生成模块如图7所示，其中，
表示第k层合成的输入，
表示第k层合成的输出，zid表示第k层的源脸特征，
表示第k层的特征放缩因子，
表示第k层的特征平移因子，
第k层的目标脸属性，
表示第k层的属性放缩因子，
表示第k层的属性平移因子，conv表示卷积，FC表示全连接。
需要说明的是，本实施例关于GAN的部分，由Hinge loss构成对抗损失，损失函数如下：
LD＝E[max(0,1-D(x))]+E[max(0,1+D(G(z)))] 公式一；
LG＝-E[D(G(z))] 公式二；
其中，D为鉴别器，G为生成器，LD为鉴别器损失函数，LG为生成器损失函数，E为期望。
进一步地，为了提升侧脸和脸型有明显区别的人脸的换脸效果，本实施例自主设计了一个自适应融合源人脸特征和目标人脸特征的损失函数，能显著减少因脸型差别大而留下伪影的问题，其中，目标人脸特征与源人脸特征提取方式一致，损失函数如下：
Lid＝ratio×Lt+(1-ratio)×Ls 公式六；
其中，Ls为源人脸融合损失函数，Lt为目标人脸融合损失函数，Lid为自适应融合源人脸和目标人脸的损失函数，Xs为源人脸，Xt为目标人脸，
为融合人脸，zid(Xs)为源人脸特征，zid(Xt)为目标人脸特征，
为融合人脸特征。
进一步地，关于目标脸属性的融合采用欧式距离来进行梯度下降，每层VAE的上采样后使用一次，从而实现多层属性嵌入，以促进最终的生成效果，损失函数如下：
其中，Latt为多层属性损失函数，
为k层的属性嵌入。
进一步地，当输入模型的源人脸和目标人脸是同一张脸时，采用如下像素级重建函数来进行梯度下降：
其中，Lrec为像素级重建损失函数。
进一步地，最终生成的人脸和背景图片融合时常常出现较大的色差，从而会严重影响融合效果，本实施例在训练换脸时开创性地加入公开论文中的直方图对比损失函数：
其中，γl为人为定义的控制因子，Oi为第i个特征图，R(Oi)为第i个根据Oi生成的直方图。
进一步地，GAN的训练一般很难收敛，更难达到全局最优点，本实施例为了更好地解决这个问题，开创性地在Hinge loss GAN上引入公开论文的零中心梯度惩罚项以快速实现纳什平衡：
其中，R1为梯度惩罚因子，E为期望值，D为鉴别器，X为融合人脸图像，γ为人为定义的控制因子。惩罚因子放在前面的损失函数后面以监控损失函数的变化，其中，本实施例的鉴别器使用公开算法PatchGAN，将融合人脸图像和PatchGAN处理过得生成人脸输入此惩罚项即可。
进一步地，所述步骤S50之后，还包括：获取待换脸视频；根据所述待换脸视频确定目标帧数据；根据所述目标帧数据确定待融合目标脸。
需要说明的是，以上步骤为本实施例的训练部分，通过训练本实施例的算法得到训练好的权重，权重用于实际线上服务的效果生成。
能够理解的是，将本实施例的算法训练完成后，需要进行实际的效果测试，当对待换脸视频中的人像换脸时，首先需要识别包含需要换脸人像的帧，在进行脸部融合时是对图像进行融合，待换脸视频中包括多帧连续的图像，因此需要从待换脸视频中提取帧图像，即目标帧数据，目标帧数据中包括待融合目标脸。待融合目标脸为待换脸视频中的原始人脸。
进一步地，根据所述目标帧数据确定待融合人脸图像的步骤之后，还包括：获取待融合源脸；根据所述待融合源脸获得待融合分割人脸图像；将所述待融合分割人脸图像与所述待融合目标脸进行融合，得到目标融合人脸图像；将所述目标融合人脸图像替换对应的目标帧数据，得到目标视频。
能够理解的是，待融合源脸是需要替换待换脸视频中人脸的图像，待融合源脸为测试人员提供的人脸图像，根据测试人员的需求进行选取，首先提取待融合源脸，得到对齐后的人脸，根据上述像素级实例分割算法将对齐后的人脸分割为只包含纯人脸的待融合分割人脸图像，再将待融合分割人脸图像与待融合目标脸输入至本实施例训练后的算法中并根据训练好的权重计算得到目标融合人脸图像，再将目标融合人脸图像替换待换脸视频对应的目标帧数据，最终得到换脸成功的目标视频。
需要说明的是，本实施例中用仅包含纯人脸的待融合分割人脸图像去融合，由于脸周围的影响因素被完全移除，能得到更好的换脸效果，换脸效果图如图8所示，其中左为待融合目标脸，中为待融合源脸，右为融合后人脸图像，即目标融合人脸图像。
本实施例通过获取源人脸数据；根据所述源人脸数据确定源数据；将所述源数据进行分割，得到分割人脸图像；根据所述分割人脸图像确定源人脸特征；根据所述源人脸特征以及目标人脸属性生成融合人脸图像。通过上述方式，能够将源人脸数据分割出仅包含人脸的分割人脸图像，在根据分割人脸图像确定人脸特征，最后将人脸特征与目标人脸属性融合，从而能够得到高清的换脸图像。基于GAN针对目前换脸领域三大方法的缺陷部分借鉴国际顶级期刊公开的算法设计了一种新的换脸算法，一旦训练完成，后续换脸操作简单、效果稳定，有效地缓解了换脸时间长、生成人脸模糊、生成人脸不像源脸、脸型需要高度相似才能替换、存在黑圈、易留下伪影、失败率高、每次替换需要大量高质量数据训练、个别公司技术封锁等问题，尤其是以下方面优化效果明显：本发明的算法在普通GPU上即可进行大规模使用、单帧换脸时间迅速、生成人脸超清、替换后更像源脸、替换不相似脸型也更少失败、每次换脸前无需再次训练。其中，算法的整体解决方案为本发明自主设计，pix2pixHD像素级实例分割的引入、直方图损失函数的引入、在Hinge loss GAN上引入零中心梯度惩罚都为GAN换脸领域的开创性设计，U2-Net特征提取方案的引入和相应优化为独创性解决方案，IIS生成模块、自适应融合损失函数为全新自主设计的算法。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有人脸融合程序，所述人脸融合程序被处理器执行时实现如上文所述的人脸融合方法的步骤。
参照图9，图9为本发明人脸融合装置第一实施例的结构框图。
如图9所示，本发明实施例提出的人脸融合装置包括：
获取模块10，用于获取源人脸数据。
确定模块20，用于根据所述源人脸数据确定源数据。
分割模块30，用于将所述源数据进行分割，得到分割人脸图像。
特征确定模块40，用于根据所述分割人脸图像确定源人脸特征。
融合模块50，用于根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
在一实施例中，所述融合模块50，还用于获取输入特征；将所述输入特征归一化，生成归一化特征；将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像。
在一实施例中，所述融合模块50，还用于根据所述源人脸特征确定特征放缩因子以及特征平移因子；根据目标人脸属性确定属性放缩因子以及属性平移因子；根据所述特征放缩因子以及所述特征平移因子，将所述源人脸特征与所述归一化特征融合，得到融合特征；根据所述属性放缩因子以及所述属性平移因子，将所述目标人脸属性与融合特征融合，得到融合人脸图像。
在一实施例中，所述融合模块50，还用于获取目标人脸图像；根据所述目标人脸图像确定目标人脸属性。
在一实施例中，所述融合模块50，还用于对所述目标人脸图像进行预设次数的下采样以及预设次数的上采样，得到预设层数目标人脸属性。
在一实施例中，所述融合模块50，还用于获取待换脸视频；根据所述待换脸视频确定目标帧数据；根据所述目标帧数据确定待融合目标脸。
在一实施例中，所述融合模块50，还用于获取待融合源脸；根据所述待融合源脸获得待融合分割人脸图像；将所述待融合分割人脸图像与所述待融合目标脸进行融合，得到目标融合人脸图像；将所述目标融合人脸图像替换对应的目标帧数据，得到目标视频。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过获取源人脸数据；根据所述源人脸数据确定源数据；将所述源数据进行分割，得到分割人脸图像；根据所述分割人脸图像确定源人脸特征；根据所述源人脸特征以及目标人脸属性生成融合人脸图像。通过上述方式，能够将源人脸数据分割出仅包含人脸的分割人脸图像，在根据分割人脸图像确定人脸特征，最后将人脸特征与目标人脸属性融合，从而能够得到高清的换脸图像。有效地缓解了换脸后人脸模糊、人脸不像源脸以及脸型需要高度相似才能替换的问题。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的人脸融合方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸融合方法，其特征在于，所述人脸融合方法包括：
获取源人脸数据；
根据所述源人脸数据确定源数据；
将所述源数据进行分割，得到分割人脸图像；
根据所述分割人脸图像确定源人脸特征；
根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤，包括：
获取输入特征；
将所述输入特征归一化，生成归一化特征；
将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像。
3.如权利要求2所述的方法，其特征在于，所述将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合，得到融合人脸图像的步骤，包括：
根据所述源人脸特征确定特征放缩因子以及特征平移因子；
根据目标人脸属性确定属性放缩因子以及属性平移因子；
根据所述特征放缩因子以及所述特征平移因子，将所述源人脸特征与所述归一化特征融合，得到融合特征；
根据所述属性放缩因子以及所述属性平移因子，将所述目标人脸属性与融合特征融合，得到融合人脸图像。
4.如权利要求1所述的方法，其特征在于，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之前，还包括：
获取目标人脸图像；
根据所述目标人脸图像确定目标人脸属性。
5.如权利要求4所述的方法，其特征在于，根据所述目标人脸图像确定目标人脸属性的步骤，包括：
对所述目标人脸图像进行预设次数的下采样以及预设次数的上采样，得到预设层数目标人脸属性。
6.如权利要求1所述的方法，其特征在于，所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之后，还包括：
获取待换脸视频；
根据所述待换脸视频确定目标帧数据；
根据所述目标帧数据确定待融合目标脸。
7.如权利要求1-6任一项所述的方法，其特征在于，所述根据所述目标帧数据确定待融合人脸图像的步骤之后，还包括：
获取待融合源脸；
根据所述待融合源脸获得待融合分割人脸图像；
将所述待融合分割人脸图像与所述待融合目标脸进行融合，得到目标融合人脸图像；
将所述目标融合人脸图像替换对应的目标帧数据，得到目标视频。
8.一种人脸融合装置，其特征在于，所述人脸融合装置包括：
获取模块，用于获取源人脸数据；
确定模块，用于根据所述源人脸数据确定源数据；
分割模块，用于将所述源数据进行分割，得到分割人脸图像；
特征确定模块，用于根据所述分割人脸图像确定源人脸特征；
融合模块，用于根据所述源人脸特征以及目标人脸属性生成融合人脸图像。
9.一种人脸融合设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸融合程序，所述人脸融合程序配置为实现如权利要求1至7中任一项所述的人脸融合方法。
10.一种存储介质，其特征在于，所述存储介质上存储有人脸融合程序，所述人脸融合程序被处理器执行时实现如权利要求1至7任一项所述的人脸融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748532.3A CN113486944A (zh) | 2021-07-01 | 2021-07-01 | 人脸融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748532.3A CN113486944A (zh) | 2021-07-01 | 2021-07-01 | 人脸融合方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113486944A true CN113486944A (zh) | 2021-10-08 |
Family
ID=77940256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110748532.3A Pending CN113486944A (zh) | 2021-07-01 | 2021-07-01 | 人脸融合方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486944A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331921A (zh) * | 2022-03-09 | 2022-04-12 | 南昌睿度医疗科技有限公司 | 一种低剂量ct图像降噪方法及装置 |
| CN115601283A (zh) * | 2022-12-14 | 2023-01-13 | 深圳思谋信息科技有限公司（Cn） | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
| CN116740764A (zh) * | 2023-06-19 | 2023-09-12 | 北京百度网讯科技有限公司 | 用于虚拟形象的图像处理方法、装置和电子设备 |
| CN117196937A (zh) * | 2023-09-08 | 2023-12-08 | 天翼爱音乐文化科技有限公司 | 一种基于人脸识别模型的视频换脸方法、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| JP2019148980A (ja) * | 2018-02-27 | 2019-09-05 | 株式会社サムスン日本研究所 | 画像変換装置及び画像変換方法 |
| CN111401216A (zh) * | 2020-03-12 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| US20200311869A1 (en) * | 2019-03-25 | 2020-10-01 | Siemens Healthcare Gmbh | Medical image enhancement |
| CN111860044A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸换脸方法、装置、设备及计算机存储介质 |
| CN112232221A (zh) * | 2020-10-19 | 2021-01-15 | 戴姆勒股份公司 | 用于人物图像处理的方法、系统和程序载体 |
| CN112580572A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 多任务识别模型的训练方法及使用方法、设备及存储介质 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112652058A (zh) * | 2020-12-31 | 2021-04-13 | 广州华多网络科技有限公司 | 人脸图像重演方法、装置、计算机设备及存储介质 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN112990123A (zh) * | 2021-04-26 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 图像处理方法、装置、计算机设备和介质 |
-
2021
- 2021-07-01 CN CN202110748532.3A patent/CN113486944A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019148980A (ja) * | 2018-02-27 | 2019-09-05 | 株式会社サムスン日本研究所 | 画像変換装置及び画像変換方法 |
| CN109344693A (zh) * | 2018-08-13 | 2019-02-15 | 华南理工大学 | 一种基于深度学习的人脸多区域融合表情识别方法 |
| US20200311869A1 (en) * | 2019-03-25 | 2020-10-01 | Siemens Healthcare Gmbh | Medical image enhancement |
| CN111860044A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸换脸方法、装置、设备及计算机存储介质 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN111401216A (zh) * | 2020-03-12 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| CN112232221A (zh) * | 2020-10-19 | 2021-01-15 | 戴姆勒股份公司 | 用于人物图像处理的方法、系统和程序载体 |
| CN112580572A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市优必选科技股份有限公司 | 多任务识别模型的训练方法及使用方法、设备及存储介质 |
| CN112613460A (zh) * | 2020-12-30 | 2021-04-06 | 深圳威富优房客科技有限公司 | 人脸生成模型的建立方法和人脸生成方法 |
| CN112652058A (zh) * | 2020-12-31 | 2021-04-13 | 广州华多网络科技有限公司 | 人脸图像重演方法、装置、计算机设备及存储介质 |
| CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| CN112990123A (zh) * | 2021-04-26 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 图像处理方法、装置、计算机设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| JACK-CUI: "「完美复刻」的人物肖像画生成算法 U^2-Net", pages 1, Retrieved from the Internet <URL:《https://blog.csdn.net/c406495762/article/details/110305506》> * |
| LONGHAO ZHANG等: "AP-GAN: Improving Attribute Preservation in Video Face Swapping", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 32, no. 4, 16 June 2021 (2021-06-16), pages 2226 - 2237, XP011905012, DOI: 10.1109/TCSVT.2021.3089724 * |
| 易旭等: "基于Star-Gan的人脸互换算法", 《信息技术与网络安全》, vol. 39, no. 5, 10 May 2020 (2020-05-10), pages 12 - 16 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331921A (zh) * | 2022-03-09 | 2022-04-12 | 南昌睿度医疗科技有限公司 | 一种低剂量ct图像降噪方法及装置 |
| CN115601283A (zh) * | 2022-12-14 | 2023-01-13 | 深圳思谋信息科技有限公司（Cn） | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
| CN116740764A (zh) * | 2023-06-19 | 2023-09-12 | 北京百度网讯科技有限公司 | 用于虚拟形象的图像处理方法、装置和电子设备 |
| CN117196937A (zh) * | 2023-09-08 | 2023-12-08 | 天翼爱音乐文化科技有限公司 | 一种基于人脸识别模型的视频换脸方法、设备及存储介质 |
| CN117196937B (zh) * | 2023-09-08 | 2024-05-14 | 天翼爱音乐文化科技有限公司 | 一种基于人脸识别模型的视频换脸方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10019826B2 (en) | Real-time high-quality facial performance capture | |
| Chai et al. | Using latent space regression to analyze and leverage compositionality in gans | |
| US8638993B2 (en) | Segmenting human hairs and faces | |
| CN113486944A (zh) | 人脸融合方法、装置、设备及存储介质 | |
| US20180352150A1 (en) | System And Method For Guiding A User To Take A Selfie | |
| US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| US20220292772A1 (en) | Methods and systems for constructing facial position map | |
| US11461970B1 (en) | Methods and systems for extracting color from facial image | |
| US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
| WO2019142127A1 (en) | Method and system of creating multiple expression emoticons | |
| Shiri et al. | Identity-preserving face recovery from stylized portraits | |
| CN115100334B (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| CN113112416A (zh) | 一种语义引导的人脸图像修复方法 | |
| US20200126314A1 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
| WO2022160773A1 (zh) | 基于虚拟样本的行人重识别方法 | |
| Hu et al. | Face reenactment via generative landmark guidance | |
| Modak et al. | A deep learning framework to reconstruct face under mask | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Wu et al. | Make your own sprites: Aliasing-aware and cell-controllable pixelization | |
| Hua et al. | FaceEraser: Removing Facial Parts for Augmented Reality | |
| US20240169592A1 (en) | Generator, Generator Training Method, And Method For Avoiding Image Coordinate Adhesion | |
| WO2024099026A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| Hu et al. | Face Reenactment with Generative Landmark Guidance | |
| Kim et al. | Guidance Information Assisted Reconstruction of Masked Faces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |