CN110570348A - 一种脸部图像替换方法及设备 - Google Patents
一种脸部图像替换方法及设备 Download PDFInfo
- Publication number
- CN110570348A CN110570348A CN201910853321.9A CN201910853321A CN110570348A CN 110570348 A CN110570348 A CN 110570348A CN 201910853321 A CN201910853321 A CN 201910853321A CN 110570348 A CN110570348 A CN 110570348A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- user
- preset number
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 30
- 238000012216 screening Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 16
- 230000015654 memory Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的目的是提供一种脸部图像替换方法及设备,本申请通过获取待替换的目标脸部图像和用于替换目标脸部图像的用户脸部图像;对用户脸部图像进行特征提取和计算,得到与用户脸部图像匹配的第一预设数量的通用人脸模型;并对第一预设数量的通用人脸模型进行加权融合,得到用户脸部图像对应的脸部图像替换模型;通过脸部图像替换模型将目标脸部图像替换为用户脸部图像,实现了当用户请求换脸操作时,为用户脸部图像匹配对应的多个通用人脸模型,并对多个通用人脸模型进行加权融合得到脸部图像替换模型,以便基于该脸部图像替换模型将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种脸部图像替换方法及设备。
背景技术
人脸替换技术是计算机视觉领域中一个重要的研究方向,由于人脸替换技术代替了photoshop等软件手工进行图像编辑融合等各种弊端,因而在商业、娱乐及其一些特殊的行业有着巨大的影响。目前做人脸检测、识别及替换相关的算法中,由于算力有限和人脸的样本不达标等原因,导致对人脸的计算的时间非常漫长,使得对人脸替换技术进行商业化推广时存在很大阻碍。
发明内容
本申请的一个目的是提供一种脸部图像替换方法及设备,以解决现有技术中在脸部图像替换过程中的导致的等待时间过长的问题。
根据本申请的一个方面,提供了一种脸部图像替换方法,其中,所述方法包括:
获取待替换的目标脸部图像和用于替换所述目标脸部图像的用户脸部图像;
对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型;
对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型;
通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像。
进一步地,上述方法中,所述对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型,包括:
对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像;
计算所述用户脸部图像分别与每个所述样本脸部图像之间的相似度;
根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,其中,所述第二预设数量大于等于所述第一预设数量。
进一步地,上述方法中,所述根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,其中,所述第二预设数量大于等于所述第一预设数量,包括:
从所述第二预设数量的样本脸部图像中筛选出所述相似度最高的第一预设数量的样本脸部图像;
获取所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像对应的通用人脸模型;
将所述相似度最高的第一预设数量的样本脸部图像分别对应的通用人脸模型,作为与所述用户脸部图像匹配的第一预设数量的通用人脸模型。
进一步地,上述方法中,所述对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像,包括:
对所述用户脸部图像进行年龄特征、性别特征、种族特征、肤色特征及轮廓特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像。
进一步地,上述方法中,所述对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型,包括:
基于所述用户脸部图像分别与所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像之间的相似度,对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型。
进一步地,上述方法中,所述方法还包括:
当所述用户脸部图像存在对应的已有人脸模型,则通过所述已有人脸模型将所述目标脸部图像替换为所述用户脸部图像。
根据本申请的另一方面,还提供了一种非易失性存储介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述脸部图像替换方法。
根据本申请的另一方面,还提供了一种脸部图像替换设备,其中,该设备包括:
一个或多个处理器;
非易失性存储介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述脸部图像替换方法。
与现有技术相比,本申请通过获取待替换的目标脸部图像和用于替换所述目标脸部图像的用户脸部图像;对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型;并对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型;通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像,实现了当用户请求换脸操作时,可以为用户脸部图像匹配对应的多个通用人脸模型,并基于匹配的通用人脸模型进行加权融合来训练得到所述用户脸部图像对应的脸部图像替换模型,以便能够基于该脸部图像替换模型尽快地将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种脸部图像替换方法的流程示意图;
图2示出根据本申请一个方面的一种脸部图像替换方法中的第一预设数量的通用人脸模型的加权融合示意图;
图3示出根据本申请一个方面的一种脸部图像替换方法中的基于脸部图像替换模型将目标脸部图像替换为用户脸部图像的换脸示意图;
图4示出根据本申请一个方面的一种脸部图像替换方法的一实际应用场景的流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如图1所示,根据本申请一个方面的一种脸部图像替换方法的流程图,该方法应用于需要将待替换的目标脸部图像替换为用户脸部图像的脸部图像替换过程中,该方法包括步骤S11、步骤S12、步骤S13及步骤S14,其中,具体包括:
当用户需要进行换脸操作时,所述步骤S11获取待替换的目标脸部图像和用于替换所述目标脸部图像的用户脸部图像;在此,所述目标脸部图像可以包括但不限于是视频、动图或图片中的需要进行换脸操作的人脸的脸部图像,所述用户脸部图像为在进行脸部替换过程中、需要用来替换掉目标脸部图像的用户的脸部图像。
所述步骤S12,对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型;在此,所述通用人脸模型为已训练好的样本人脸的脸部图像对应的脸部图像替换模型,以便用户能够根据已训练好的通用人脸模型中训练出用户脸部图像对应的脸部图像替换模型。
所述步骤S13,对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型;在此,所述第一预设数量可以为一个或多个,但为了为用户脸部图像训练出更精确地脸部图像替换模型,可以设置所述第一预设数量为多个,以便对多个通用人脸模型进行加权融合得到的用户脸部图像对应的脸部图像替换模型更精确有效。
所述步骤S14,通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像。
通过上述步骤S11至步骤S14,实现了当用户请求换脸操作时,可以为用户脸部图像匹配对应的多个通用人脸模型,并基于匹配的通用人脸模型进行加权融合来训练得到所述用户脸部图像对应的脸部图像替换模型,以便能够基于该脸部图像替换模型尽快地将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
例如,当用户需要进行换脸操作时,步骤S11获取待替换的目标脸部图像A和用来替换该目标脸部图像A的用户脸部图像B;在对用户脸部图像B进行对应的脸部图像替换模型训练的过程中,步骤S12对用户脸部图像B进行特征提取和计算,得到与用户脸部图像B匹配的第一预设数量的通用人脸模型,在本申请一优选实施例中,将所述第一预设数量优选为5个,分别为:通用人脸模型model1、通用人脸模型model2、通用人脸模型model3、通用人脸模型model4及通用人脸模型model5;步骤S13对所述5个通用人脸模型:通用人脸模型model1、通用人脸模型model2、通用人脸模型model3、通用人脸模型model4及通用人脸模型model5进行加权融合,得到用户脸部图像B对应的脸部图像替换模型model(new);步骤S14通过脸部图像替换模型model(new)将目标脸部图像A替换为所述用户脸部图像B,使得当用户请求换脸操作时,不仅可以为用户脸部图像匹配对应的多个通用人脸模型,并基于匹配的通用人脸模型进行加权融合来训练得到所述用户脸部图像对应的脸部图像替换模型,还便能够基于该脸部图像替换模型尽快地将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
接着本申请的上述实施例,所述步骤S12对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型,具体包括:
对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像,其中,所述第二预设数量为多个,以便从多个样本脸部图像中匹配出能够用于训练用户的脸部图像替换模型的多个通用人脸模型,在本申请一优选实施例中,将所述第二预设数量优选为100个;
计算所述用户脸部图像分别与每个所述样本脸部图像之间的相似度;
根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,其中,所述第二预设数量大于等于所述第一预设数量。在本申请一优选实施例中,将所述第二预设数量优选为100个,将所述第一预设数量优选为5个。
例如,在步骤S11获取了用来替换目标脸部图像A的用户脸部图像B后,步骤S12对该用户脸部图像B进行特征提取,得到与用户脸部图像B匹配的100个样本脸部图像(一优选实施例),分别为:样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99和样本脸部图像100,在此,所述100个样本脸部图像为根据用户脸部图像的特征进行筛选并框定的用于训练脸部图像替换模型的样本人脸的脸部图像;接着,计算用户脸部图像B分别与所述100个样本脸部图像中的每个样本脸部图像之间的相似度,得到用户脸部图像B分别与样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100之间的相似度,依序分别为:score1、score2、score3、……、score99及score100;然后,根据用户脸部图像B分别与样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100之间的相似度:score1、score2、score3、……、score99及score100,为用户脸部图像B匹配出对应的5个通用人脸模型:通用人脸模型model1、通用人脸模型model2、通用人脸模型model3、通用人脸模型model4及通用人脸模型model5,实现了通过对用户脸部图像进行特征提取及脸部相似度的计算,为用户脸部图像B匹配出对应的第一预设数量的通用人脸模型,以便后续在步骤S13中对匹配出的第一预设数量的通用人脸模型进行加权融合,得到用户脸部图像B对应的脸部图像替换模型model(new);使得步骤S14可以通过脸部图像替换模型model(new)将目标脸部图像A替换为所述用户脸部图像B,从而实现将目标脸部图像A替换为用户脸部图像B,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
接着本申请的上述实施例,所述步骤S12中的对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像,包括:
对所述用户脸部图像进行年龄特征、性别特征、种族特征、肤色特征及轮廓特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像。
例如,在步骤S11中获取用户脸部图像B后,在步骤S12中对用户脸部图像B进行特征提取时,为了全方位地对用户脸部图像B进行分析,所述步骤S12对用户脸部图像B进行年龄特征、性别特征、种族特征、肤色特征即轮廓特征提取,比如,对用户脸部图像B进行特征提取后,确定的该用户脸部图像B被框定的年龄属于25-30岁、性别为男性、种族为亚洲人、肤色为黄色、轮廓为国字脸,根据用户脸部图像B的特征提取为该用户脸部图像B匹配得到满足所述用户脸部图像B的脸部特征的100个样本脸部图像,分别为样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100,实现对用户脸部图像B的特征提取来框定可以进行人脸相似度计算的样本脸部图像的计算范围。
接着本申请的上述实施例,所述步骤S12中的根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,其中,所述第二预设数量大于等于所述第一预设数量,包括:
从所述第二预设数量的样本脸部图像中筛选出所述相似度最高的第一预设数量的样本脸部图像;
获取所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像对应的通用人脸模型;
将所述相似度最高的第一预设数量的样本脸部图像分别对应的通用人脸模型,作为与所述用户脸部图像匹配的第一预设数量的通用人脸模型。
例如,通过步骤S12计算得到用户脸部图像B分别与所述100个样本脸部图像:样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100之间的相似度:score1、score2、score3、……、score99及score100后;根据用户脸部图像B分别与样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100之间的相似度:score1、score2、score3、……、score99及score100,从所述100个样本脸部图像:样本脸部图像1、样本脸部图像2、样本脸部图像3、……、样本脸部图像99及样本脸部图像100中筛选出所述相似度最高的5个样本脸部图像,比如,若这100个样本脸部图像分别计算得到的相似度中的所述相似度最高的5个样本脸部图像分别为:样本脸部图像3、样本脸部图像24、样本脸部图像46、样本脸部图像87及样本脸部图像92,则将所述相似度最高的5个样本脸部图像:样本脸部图像3、样本脸部图像24、样本脸部图像46、样本脸部图像87及样本脸部图像92分别对应的通用人脸模型3、通用人脸模型24、通用人脸模型46、通用人脸模型87及通用人脸模型92;之后,将所述相似度最高的5个样本脸部图像:样本脸部图像3、样本脸部图像24、样本脸部图像46、样本脸部图像87及样本脸部图像92分别对应的通用人脸模型model3、通用人脸模型model24、通用人脸模型model46、通用人脸模型model87及通用人脸模型model92,作为与该用户脸部图像B匹配的5个通用人脸模型:通用人脸模型model1(即样本脸部图像3对应的通用人脸模型model3)、通用人脸模型model2(即样本脸部图像24对应的通用人脸模型model24)、通用人脸模型model3(即样本脸部图像46对应的通用人脸模型model46)、通用人脸模型model4(即样本脸部图像87对应的通用人脸模型model87)及通用人脸模型model5(即样本脸部图像92对应的通用人脸模型model92),实现了为用户脸部图像B匹配到用于训练脸部图像替换模型model(new)的5个通用人脸模型。
接着本申请的上述实施例,所述步骤S13对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型,包括:
基于所述用户脸部图像分别与所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像之间的相似度,对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型。
例如,在步骤S12中根据所述相似度为所述用户脸部图像B匹配到对应的5个通用人脸模型:通用人脸模型model1、通用人脸模型model2、通用人脸模型model3、通用人脸模型model4及通用人脸模型model5后,在步骤S13中需要对这5个通用人脸模型进行加权融合,如图2所示,这5个通用人脸模型:通用人脸模型model1、通用人脸模型model2、通用人脸模型model3、通用人脸模型model4及通用人脸模型model5中的每个通用人脸模型的模型参数均相同,且分别为参数w1、w2、w3、……、wn,其中,n为通用人脸模型中的模型参数的数量,每个通用人脸模型虽然模型参数相同,但不同的通用人脸模型的模型参数的取值不同,使得不同的通用人脸模型也存在不同。在图2中,基于所述用户脸部图像B分别与所述相似度最高的5个样本脸部图像中的每个所述样本脸部图像之间的相似度:score3、score24、score46、score87及score92,对所述相似度最高的5个样本脸部图像分别对应的通用人脸模型:通用人脸模型model1(w1,w2,w3,……,wn)、通用人脸模型model2(w1,w2,w3,……,wn)、通用人脸模型model3(w1,w2,w3,……,wn)、通用人脸模型model4(w1,w2,w3,……,wn)及通用人脸模型model5(w1,w2,w3,……,wn)进行加权融合,如图2所示,加权融合算法为:(score3*(w1,w2,w3,……,wn)+score24*(w1,w2,w3,……,wn)+score46*(w1,w2,w3,……,wn)+score87*(w1,w2,w3,……,wn)+score92*(w1,w2,w3,……,wn))/5,得到用户脸部图像B对应的脸部图像替换模型model(new),实现了通过样本人脸图像对应的已有的多个通用人脸模型来进行加权融合,得到用户脸部图像B对应的脸部图像替换模型model(new),以便后续能够将需要进行人脸替换的目标脸部图像B(即模板图片)输入至所述脸部图像替换模型model(new)中进行编码(encoder),并在所述脸部图像替换模型model(new)输出将目标脸部图像A替换为所述用户脸部图像B,使得通过模型解码后能够输出用户脸部图像B(decoder),如图3所示,从而通过所述脸部图像替换模型model(new)实现将目标脸部图像A替换为用户脸部图像B,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
本申请又一实施例中提供的一种脸部图像替换方法还包括:
当所述用户脸部图像存在对应的已有人脸模型,则通过所述已有人脸模型将所述目标脸部图像替换为所述用户脸部图像。
例如,当用户需要进行换脸操作时,所述步骤S11获取待替换的目标脸部图像A和用于替换目标脸部图像A的用户脸部图像B后,若该用户在进行当前脸部图像的替换之前已经进行过该用户脸部图像B的替换操作,已存在该用户脸部图像B对应的已有人脸模型model(已有),则在用户需要进行换脸操作时,就可以直接通过已有人脸模型model(已有)将所述目标脸部图像B替换为用户脸部图像,以实现基于已有的人脸模型来对目标脸部图像B直接进行脸部图像替换,从而得到进行人脸替换后的用户脸部图像A。
本申请提供的一种脸部图像替换方法的实际应用场景中,如图4所示,待替换的目标脸部图像为目标视频中需要替换的目标人脸,当用户需要进行换脸操作时,所述步骤S101用户选择待替换人脸的模板(需要替换目标视频中的目标人脸);
步骤S102判断该用户是否存在已有人脸模型,若存在的话,则执行步骤S103,若不存在的话,则执行步骤S104;
其中,当用户脸部图像存在对应的已有人脸模型,所述步骤S103通过所述已有人脸模型对所述用户脸部图像进行替换,并将所述目标视频中的目标人脸替换为所述用户脸部图像,以实现通过已有的人脸模型来对所述目标人脸进行替换,将所述目标视频中的目标人脸替换为所述用户脸部图像,使得在播放目标视频时所看见的人脸图像为用户的脸部图像。
当用户脸部图像不存在对应的已有人脸模型,所述步骤S104对所述用户脸部图像进行年龄特征、性别特征、种族特征、肤色特征及轮廓特征提取,得到与所述用户脸部图像匹配的100个样本脸部图像及每个所述样本脸部图像对应的通用人脸模型。
步骤S105,计算所述用户脸部图像分别与每个所述样本脸部图像之间的相似度,并获取所述相似度最高的5个样本脸部图像中的每个所述样本脸部图像对应的通用人脸模型,将所述相似度最高的5个的样本脸部图像分别对应的通用人脸模型,作为与所述用户脸部图像匹配的5个的通用人脸模型。
步骤S106,对所述5个通用人脸模型进行加权融合训练,得到一个新的模型来作为所述用户脸部图像对应的脸部图像替换模型。
步骤S107,通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像,以实现对目标脸部图像进行的换脸操作。
通过上述步骤S101至步骤S107,实现了当用户请求换脸操作时,可以为用户脸部图像匹配对应的多个通用人脸模型,并基于匹配的通用人脸模型进行加权融合来训练得到所述用户脸部图像对应的脸部图像替换模型,以便能够基于该脸部图像替换模型尽快地将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
本申请另一实施例中还提供了一种非易失性存储介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如上述实施例中提供的脸部图像替换方法。
本申请另一实施例中还提供了一种脸部图像替换设备,其中,其包括:
一个或多个处理器;非易失性存储介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述实施例中提供的脸部图像替换方法。
在此,所述用于替换脸部图像的设备中的各实施例的详细内容,具体可参见上述实施例中提供的脸部图像替换方法实施例的对应部分,在此,不再赘述。
综上所述,本申请通过获取待替换的目标脸部图像和用于替换所述目标脸部图像的用户脸部图像;对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型;并对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型;通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像,实现了当用户请求换脸操作时,可以为用户脸部图像匹配对应的多个通用人脸模型,并基于匹配的通用人脸模型进行加权融合来训练得到所述用户脸部图像对应的脸部图像替换模型,以便能够基于该脸部图像替换模型尽快地将目标脸部图像替换为用户脸部图像,极大地缩短了用户等待换脸的训练时间,从而提高用户体验换脸时的体验度。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (8)
1.一种脸部图像替换方法,其中,所述方法包括:
获取待替换的目标脸部图像和用于替换所述目标脸部图像的用户脸部图像;
对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型;
对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型;
通过所述脸部图像替换模型将所述目标脸部图像替换为所述用户脸部图像。
2.根据权利要求1所述的方法,其中,所述对所述用户脸部图像进行特征提取和计算,得到与所述用户脸部图像匹配的第一预设数量的通用人脸模型,包括:
对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像;
计算所述用户脸部图像分别与每个所述样本脸部图像之间的相似度;
根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,其中,所述第二预设数量大于等于所述第一预设数量。
3.根据权利要求2所述的方法,其中,所述根据所述相似度为所述用户脸部图像匹配对应的第一预设数量的通用人脸模型,包括:
从所述第二预设数量的样本脸部图像中筛选出所述相似度最高的第一预设数量的样本脸部图像;
获取所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像对应的通用人脸模型;
将所述相似度最高的第一预设数量的样本脸部图像分别对应的通用人脸模型,作为与所述用户脸部图像匹配的第一预设数量的通用人脸模型。
4.根据权利要求3所述的方法,其中,所述对所述用户脸部图像进行特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像,包括:
对所述用户脸部图像进行年龄特征、性别特征、种族特征、肤色特征及轮廓特征提取,得到与所述用户脸部图像匹配的第二预设数量的样本脸部图像。
5.根据权利要求4所述的方法,其中,所述对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型,包括:
基于所述用户脸部图像分别与所述相似度最高的第一预设数量的样本脸部图像中的每个所述样本脸部图像之间的相似度,对所述第一预设数量的通用人脸模型进行加权融合,得到所述用户脸部图像对应的脸部图像替换模型。
6.根据权利要求1至5中任一项所述的方法,其中,所述方法还包括:
当所述用户脸部图像存在对应的已有人脸模型,则通过所述已有人脸模型将所述目标脸部图像替换为所述用户脸部图像。
7.一种非易失性存储介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行时,使所述处理器实现如权利要求1至6中任一项所述的方法。
8.一种脸部图像替换设备,其中,该设备包括:
一个或多个处理器;
非易失性存储介质,用于存储一个或多个计算机可读指令,
当所述一个或多个计算机可读指令被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910853321.9A CN110570348B (zh) | 2019-09-10 | 2019-09-10 | 一种脸部图像替换方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910853321.9A CN110570348B (zh) | 2019-09-10 | 2019-09-10 | 一种脸部图像替换方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110570348A true CN110570348A (zh) | 2019-12-13 |
CN110570348B CN110570348B (zh) | 2023-09-15 |
Family
ID=68778820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910853321.9A Active CN110570348B (zh) | 2019-09-10 | 2019-09-10 | 一种脸部图像替换方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110570348B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734631A (zh) * | 2020-12-31 | 2021-04-30 | 北京深尚科技有限公司 | 基于微调模型的视频图像换脸方法、装置、设备及介质 |
CN113052025A (zh) * | 2021-03-12 | 2021-06-29 | 咪咕文化科技有限公司 | 图像融合模型的训练方法、图像融合方法及电子设备 |
CN115358916A (zh) * | 2022-07-06 | 2022-11-18 | 北京健康之家科技有限公司 | 换脸图像的生成方法、装置、计算机设备及可读存储介质 |
CN116708918A (zh) * | 2022-05-12 | 2023-09-05 | 北京生数科技有限公司 | 一种视频换脸的处理方法、相关装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技(深圳)有限公司 | 一种人脸替换方法及装置 |
CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
WO2019056988A1 (zh) * | 2017-09-25 | 2019-03-28 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法及装置、计算机设备 |
CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
-
2019
- 2019-09-10 CN CN201910853321.9A patent/CN110570348B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技(深圳)有限公司 | 一种人脸替换方法及装置 |
WO2019056988A1 (zh) * | 2017-09-25 | 2019-03-28 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法及装置、计算机设备 |
CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734631A (zh) * | 2020-12-31 | 2021-04-30 | 北京深尚科技有限公司 | 基于微调模型的视频图像换脸方法、装置、设备及介质 |
CN113052025A (zh) * | 2021-03-12 | 2021-06-29 | 咪咕文化科技有限公司 | 图像融合模型的训练方法、图像融合方法及电子设备 |
CN116708918A (zh) * | 2022-05-12 | 2023-09-05 | 北京生数科技有限公司 | 一种视频换脸的处理方法、相关装置及存储介质 |
CN116708918B (zh) * | 2022-05-12 | 2024-01-23 | 北京生数科技有限公司 | 一种视频换脸的处理方法、相关装置及存储介质 |
CN115358916A (zh) * | 2022-07-06 | 2022-11-18 | 北京健康之家科技有限公司 | 换脸图像的生成方法、装置、计算机设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110570348B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110570348A (zh) | 一种脸部图像替换方法及设备 | |
US20200322684A1 (en) | Video recommendation method and apparatus | |
CN112016538B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
CN110827247A (zh) | 一种识别标签的方法及设备 | |
CN110675399A (zh) | 屏幕外观瑕疵检测方法及设备 | |
US20180166103A1 (en) | Method and device for processing speech based on artificial intelligence | |
CN114238904B (zh) | 身份识别方法、双通道超分模型的训练方法及装置 | |
CN110348392B (zh) | 车辆匹配方法及设备 | |
CN110598008A (zh) | 录制数据的数据质检方法及装置、存储介质 | |
US8275176B2 (en) | Method and apparatus for user authentication using face image | |
CN110728193B (zh) | 一种脸部图像丰富度特征的检测方法及设备 | |
US11348254B2 (en) | Visual search method, computer device, and storage medium | |
CN110347869B (zh) | 一种视频生成方法、装置、电子设备及存储介质 | |
CN111079794A (zh) | 一种基于类别间相互融合的声音数据增强方法 | |
CN112765354B (zh) | 模型训练方法、模型训练装置、计算机设备和存储介质 | |
CN111881734A (zh) | 一种自动截取目标视频的方法和装置 | |
CN110874554A (zh) | 动作识别方法、终端设备、服务器、系统及存储介质 | |
US20230196838A1 (en) | Video recognition method and apparatus, and storage medium | |
CN111369557A (zh) | 图像处理方法、装置、计算设备和存储介质 | |
CN110019951B (zh) | 一种生成视频缩略图的方法及设备 | |
CN113283978B (zh) | 基于生物基础与行为特征及业务特征的金融风险评估方法 | |
CN114786032A (zh) | 一种培训视频管理方法及系统 | |
CN116129208A (zh) | 图像质量评估及其模型训练方法、装置及电子设备 | |
JP2018137639A (ja) | 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム | |
CN112784106A (zh) | 内容数据的处理方法、报告数据的处理方法、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |