CN113962845B - 图像处理方法、图像处理装置、电子设备以及存储介质 - Google Patents
图像处理方法、图像处理装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113962845B CN113962845B CN202110985605.0A CN202110985605A CN113962845B CN 113962845 B CN113962845 B CN 113962845B CN 202110985605 A CN202110985605 A CN 202110985605A CN 113962845 B CN113962845 B CN 113962845B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- decoupling
- processed
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 83
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 22
- 230000008439 repair process Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 15
- 230000001815 facial effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本公开提供了一种图像处理方法、图像处理装置、电子设备以及存储介质,涉及人工智能领域,尤其涉及计算机视觉和深度学习领域,可应用于人脸图像处理和人脸识别等场景。具体实现方案为:根据第一目标图像和第二目标图像,生成待处理图像,待处理图像中对象的身份信息与第一目标图像中对象的身份信息匹配;根据第二目标图像和待处理图像,生成解耦图像集,解耦图像集包括与待处理图像中对象的头部区域对应的头部解耦图像和与待处理图像中对象相关的待修复信息对应的修复解耦图像;根据解耦图像集,生成融合图像,融合图像中对象的身份信息和纹理信息分别与待处理图像中对象的身份信息和纹理信息匹配,与融合图像中对象相关的待修复信息已被修复。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术领域,可应用于人脸图像处理和人脸识别等场景。具体地,涉及一种图像处理方法、图像处理装置、电子设备以及存储介质。
背景技术
随着互联网的发展和以深度学习为核心的人工智能技术的发展,计算机视觉技术在各个领域得到广泛应用。
由于对象可以经由丰富的面部表情动作来反映内心情感、传递交流信息,因此,对于对象的面部图像研究是计算机视觉领域重要的研究内容之一。对象的面部图像结合图像转换的形象替换技术的相关研究也随之出现。形象替换在多种场景中都有应用,例如,影视编辑或虚拟人物。
发明内容
本公开提供了一种图像处理方法、图像处理装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种图像处理方法,包括:根据第一目标图像和第二目标图像,生成待处理图像,其中,上述待处理图像中对象的身份信息与上述第一目标图像中对象的身份信息相匹配,上述待处理图像中对象的纹理信息与上述第二目标图像中对象的纹理信息相匹配;根据上述第二目标图像和上述待处理图像,生成解耦图像集,其中,上述解耦图像集包括与上述待处理图像中对象的头部区域对应的头部解耦图像和与上述待处理图像中对象相关的待修复信息对应的修复解耦图像;以及根据上述解耦图像集,生成融合图像,其中,上述融合图像中对象的身份信息和纹理信息分别与上述待处理图像中对象的身份信息和纹理信息相匹配,并且与上述融合图像中对象相关的待修复信息已被修复。
根据本公开的另一方面,提供了一种图像处理装置,包括:第一生成模块,用于根据第一目标图像和第二目标图像,生成待处理图像,其中,上述待处理图像中对象的身份信息与上述第一目标图像中对象的身份信息相匹配,上述待处理图像中对象的纹理信息与上述第二目标图像中对象的纹理信息相匹配;第二生成模块,用于根据上述第二目标图像和上述待处理图像,生成解耦图像集,其中,上述解耦图像集包括与上述待处理图像中对象的头部区域对应的头部解耦图像和与上述待处理图像中对象相关的待修复信息对应的修复解耦图像;以及第三生成模块,用于根据上述解耦图像集,生成融合图像,其中,上述融合图像中对象的身份信息和纹理信息分别与上述待处理图像中对象的身份信息和纹理信息相匹配,并且与上述融合图像中对象相关的待修复信息已被修复。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如上所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如上所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的图像处理方法的流程图;
图3示意性示出了根据本公开实施例的生成待处理图像过程的示意图;
图4示意性示出了根据本公开实施例的图像处理过程的示意图;
图5示意性示出了根据本公开实施例的图像处理装置的框图;以及
图6示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在实现本公开构思的过程中,发现形象替换是通过人脸替换实现的,即,替换面部五官,而忽略了面部区域以外其他信息,例如,头部信息和肤色信息,头部信息可以包括头发和头型等。由此,较容易导致替换后的图像的身份相似度较低,进而影响了形象替换的替换效果。
针对较容易导致替换后的图像的身份相似度较低可以通过以下示例进行说明。例如,需要将图像A中对象a的头部区域替换到图像B中对象b的头部区域。对象b的肤色是黑色,对象a的肤色是黄色。如果是面部五官替换而忽略肤色信息,则将出现替换后的图像中对象的面部五官是黄色而面部肤色是黑色的情况,使得替换后的图像的身份相似度较低。
为此,本公开实施例提出了一种多阶段换头融合,生成身份信息相似度较高的融合结果的方案,即,根据第一目标图像和第二目标图像,生成待处理图像,根据第二目标图像和待处理图像,生成解耦图像集,并根据解耦图像集,生成对象的身份信息和纹理信息分别与待处理图像中对象的身份信息和纹理信息相匹配,并且待修复信息已被修复的融合图像。由于与融合图像中的对象相关的待修复信息已被修复,因此,提高了融合图像中的身份相似度,进而提高了形象替换的替换效果。
图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用图像处理方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的图像处处理方法及装置。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
服务器105可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,解决了传统物理主机与VPS服务(VirtualPrivate Server,VPS)中,存在的管理难度大,业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器,或者是结合了区块链的服务器。
需要说明的是,本公开实施例所提供的图像处理方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的图像处理装置也可以设置于终端设备101、102、或103中。
或者,本公开实施例所提供的图像处理方法一般也可以由服务器105执行。相应地,本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,服务器105根据第一目标图像和第二目标图像,生成待处理图像,待处理图像中对象的身份信息与第一目标图像中对象的身份信息相匹配,待处理图像中对象的纹理信息与第二目标图像中对象的纹理信息相匹配,根据第二目标图像和待处理图像,生成解耦图像集,解耦图像集包括与待处理图像中对象的头部区域对应的头部解耦图像和与待处理图像中对象相关的待修复信息对应的修复解耦图像,并根据解耦图像集,生成融合图像,融合图像中对象的身份信息和纹理信息分别与待处理图像中对象的身份信息和纹理信息相匹配,并且与融合图像中对象相关的待修复信息已被修复。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对根据第一目标图像和第二目标图像,生成待处理图像,根据第二目标图像和待处理图像,生成解耦图像集,并根据解耦图像集,生成融合图像。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的图像处理方法的流程图。
如图2所示,该方法200包括操作S210~S230。
在操作S210,根据第一目标图像和第二目标图像,生成待处理图像,其中,待处理图像中对象的身份信息与第一目标图像中对象的身份信息相匹配,待处理图像中对象的纹理信息与第二目标图像中对象的纹理信息相匹配。
在操作S220,根据第二目标图像和待处理图像,生成解耦图像集,其中,解耦图像集包括与待处理图像中对象的头部区域对应的头部解耦图像和与待处理图像中对象相关的待修复信息对应的修复解耦图像。
在操作S230,根据解耦图像集,生成融合图像,其中,融合图像中对象的身份信息和纹理信息分别与待处理图像中对象的身份信息和纹理信息相匹配,并且与融合图像中对象相关的待修复信息已被修复。
根据本公开的实施例,第一目标图像可以理解为是提供第一对象的身份信息的图像,第二目标图像可以理解为是提供第二对象的纹理信息的图像。纹理信息可以包括面部纹理信息,面部纹理信息可以包括面部姿态信息和面部表情信息中的至少一项。第一目标图像中对象可以理解为是第一对象,第二目标图像中对象可以理解为是第二对象。如果需要将第一目标图像中对象的纹理信息替换为第二目标图像中对象的纹理信息,则可以将第一目标图像称为被驱动图像,将第二目标图像称为驱动图像。
根据本公开的实施例,第一目标图像可以的数目可以包括一个或多个。第一目标图像可以是视频中的视频帧,也可以是静止图像。第二目标图像可以是视频中的视频帧,也可以是静止图像。例如,第一目标图像的数目可以包括多个,多个第一目标图像中对象的身份信息相同。
根据本公开的实施例,待处理图像是对象的身份信息与第一目标图像中对象的身份信息一致,并且对象的纹理信息与第二目标图像中对象的纹理信息一致的图像,即,待处理图像中对象为第一对象,对象的纹理信息是第二对象的纹理信息。
根据本公开的实施例,解耦图像集可以包括头部解耦图像和修复解耦图像。头部解耦图像可以理解为是与待处理图像中对象的头部区域对应的图像,即,从待处理图像中提取对象的头部区域的相关特征得到的图像。修复解耦图像可以理解为是包括待处理图像中对象相关的待修复信息的图像。待修复信息可以包括肤色信息和缺失信息中的至少一项。肤色信息可以包括面部肤色。
根据本公开的实施例,融合图像可以理解为是完成了针对待修复信息的修复操作之后得到的图像,融合图像中对象与待处理图像中对象相同,即,融合图像中对象的身份信息与待处理图像中对象的身份信一致,对象的纹理信息与待处理图像中对象的纹理信息一致。
根据本公开的实施例,可以获取第一目标图像和第二目标图像,对第一目标图像和第二目标图像进行处理,得到待处理图像,对第二目标图像和待处理图像进行处理,得到解耦图像集,对解耦图像集进行处理,得到融合图像。对第一目标图像和第二目标图像进行处理,得到待处理图像可以包括:从第一目标图像中提取对象的身份信息,从第二目标图像中提取对象的纹理信息,根据身份信息和纹理信息,得到待处理图像。
根据本公开的实施例,通过根据解耦图像集,生成融合图像,由于与融合图像中的对象相关的待修复信息已被修复,因此,提高了融合图像中的身份相似度,进而提高了形象替换的替换效果。
根据本公开的实施例,修复解耦图像包括第一解耦图像和第二解耦图像。第一解耦图像中对象的身份信息与待处理图像中对象的身份信息相匹配,第一解耦图像中对象的肤色信息与第二目标图像中对象的肤色信息相匹配。第二解耦图像是待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的差分图像。与融合图像中对象相关的待修复信息已被修复指示了:融合图像中对象的肤色信息与第二目标图像中对象的肤色信息相匹配,且差分图像中像素的像素值符合预设条件。
根据本公开的实施例,为了提高形象替换的替换效果,需要使得待处理图像中对象的肤色信息与驱动图像(即第二目标图像)中对象的肤色信息一致,待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的缺失区域被修复。
根据本公开的实施例,第一解耦图像可以用于起到将待处理图像中对象的肤色信息与第二目标图像中对象的肤色信息对齐的作用。第一解耦图像可以是具有颜色的面部五官的掩膜图像。
根据本公开的实施例,第二解耦图像可以用于起到对待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的缺失区域进行修复的作用。第二解耦图像可以理解为是差分图像,差分图像可以是待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的差分图像。差分图像可以是掩膜图像。
根据本公开的实施例,差分图像包括多个像素,每个像素具有与其对应的像素值,差分图像中像素点的像素值符合预设条件可以包括以下一项:多个像素值的直方图分布符合预设直方图分布、多个像素值的均方差小于或等于预设均方差阈值和多个像素值之和小于或等于预设阈值。
根据本公开的实施例,头部解耦图像包括第三解耦图像、第四解耦图像和第五解耦图像。第三解耦图像包括待处理图像中对象的头部区域的灰度图像。第四解耦图像包括待处理图像中对象的头部区域的二值化图像。第五解耦图像包括根据第二目标图像和第四解耦图像得到的图像。
根据本公开的实施例,第四解耦图像可以包括待处理图像中对象的头部区域的二值化图像,即,待处理图像中对象的头部区域的背景和前景的二值化掩膜图像。第五解耦图像可以是第二目标图像和第四解耦图像之间的差分图像。第五解耦图像可以理解为是将第二目标图像中对象的头部区域扣除后,将第四解耦图像中对象的头部区域设置于扣除区域得到的图像。
根据本公开的实施例,根据第二目标图像和待处理图像,生成解耦图像集可以包括:根据第二目标图像和待处理图像,得到第一解耦图像。根据第二目标图像和待处理图像,得到第二解耦图像。根据待处理图像,得到第三解耦图像。根据待处理图像,得到第四解耦图像。根据第二目标图像和第四解耦图像,得到第五解耦图像。
根据本公开的实施例,根据解耦图像集,生成融合图像,可以包括如下操作。
利用融合模型处理解耦图像集,得到融合图像,其中,融合模型包括第一生成对抗网络模型中的生成器。
根据本公开的实施例,融合模型可以用于对待修复信息进行修复,使得利用融合模型得到的融合图像与虚拟人物的背景融合的更加自然。融合模型可以用于解耦第二目标图像中对象的肤色信息、待处理图像中对象的头部区域和第二目标图像中的背景信息,实现肤色对齐和对缺失区域的图像进行修复,肤色对齐即是将待处理图像中对象的肤色信息更改为第二目标图像中对象的肤色信息,对缺失区域的图像进行修复即是设置待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的差分图像中像素的像素值,使得像素值符合预设条件。
根据本公开的实施例,融合模型可以是利用深度学习训练得到的模型。融合模型可以包括第一生成对抗网络模型中的生成器,即,利用第一生成对抗网络模型中的生成器来处理解耦图像集,得到融合模型。
根据本公开的实施例,生成对抗网络模型可以包括深度卷积生成对抗网络模型、基于推土机距离的生成对抗网络模型或条件性生成对抗网络模型等。生成对抗网络模型可以包括生成器和判别器。生成器和判别器可以包括神经网络模型。神经网络模型可以包括Unet模型。Unet模型可以包括两个对称部分,即,前面部分模型与普通卷积网络望模型相同,包括卷积层和下采样层,能够提取图像中的上下文信息(即像素间的关系)。后面部分模型与前面部分基本对称,包括卷积层和上采样层,以达到输出图像分割的目的。此外,Unet模型还利用了特征融合,即,将前面部分的下采样部分的特征与后面部分的上采样部分的特征进行了融合以获得更准确的上下文信息,达到更好的分割效果。
根据本公开的实施例,第一生成对抗网络模型的生成器可以包括Unet模型。
根据本公开的实施例,融合模型可以是通过以下方式训练得到的,即,获取第一样本图像集,第一样本图像集包括多个第一样本图像。对每个第一样本图像进行处理,得到样本解耦图像集。利用多个样本解耦图像集训练第一生成对抗网络模型,得到训练完成的第一生成对抗网络模型。将训练完成的第一生成对抗网络模型中的生成器确定为融合模型。样本解耦图像集可以包括与第一样本图像中对象的头部区域对应的头部解耦图像和与第一样本图像中对象相关的待修复信息对应的修复解耦图像。
根据本公开的实施例,利用多个样本解耦图像集训练第一生成对抗网络模型,得到训练完成的第一生成对抗网络模型,可以包括:利用第一生成对抗网络模型中的生成器处理多个样本解耦图像集中的每个样本解耦图像集,得到与每个样本解耦图像集对应的样本融合图像。根据多个样本融合图像和第一样本图像集对第一生成对抗网络模型中的生成器和判别器进行交替训练,得到训练完成的第一生成对抗网络模型。
根据本公开的实施例,与第一样本图像中对象的头部区域对应的头部解耦图像可以包括第一样本解耦图像和第二样本解耦图像。第一样本解耦图像中对象的身份信息与第一样本图像中对象的身份信息相对应,第一样本解耦图像中对象的肤色信息与预设肤色信息相对应。第二样本解耦图像是第一样本图像中对象的头部区域与预设头部区域之间的差分图像。
根据本公开的实施例,与第一样本图像中对象相关的待修复信息对应的修复解耦图像可以包括第三样本解耦图像、第四样本解耦图像和第五样本解耦图像。第三样本解耦图像可以包括第一样本图像中对象的头部区域的灰度图像。第四样本解耦图像可以包括第一样本图像中对象的头部区域的二值化图像。第五样本解耦图像可以包括根据第四样本解耦图像得到的图像。
根据本公开的实施例,融合模型是利用第一身份信息损失函数、第一图像特征对齐损失函数、第一判别特征对齐损失函数和第一判别器损失函数训练得到的。
根据本公开的实施例,身份信息损失函数可以用于实现身份信息的对齐。图像特征对齐损失函数可以用于实现纹理信息的对齐。判别特征对齐损失函数可以用于尽量在判别器空间的纹理信息的对齐。判别器损失函数可以用于尽量保证生成的图像具有较高的清晰度。
根据本公开的实施例,身份信息损失函数可以根据以下公式(1)确定。
LID=||Arcface(Y)-Arcface(XID)||2 (1)
其中,LID表征身份损失函数。Arcface(Y)表征生成图像中对象的身份信息。止rcface(XID)表征原有图像中对象的身份信息。
图像特征对齐损失函数可以根据以下公式(2)确定。
LVGG=||VGG(Y)-VGG(Xpose)||2 (2)
其中,LVGG表征图像特征对齐损失函数。VGG(Y)表征生成图像中对象的纹理信息。VGG(Xpose)表征原有图像中对象的纹理信息。
判别特征对齐损失函数可以根据以下公式(3)确定。
LD=||D(Y)-D(Xpose)||2 (3)
其中,LD表征判别特征对齐损失函数。D(Y)表征在判别器空间的生成图像中对象的纹理信息。D(Xpose)表征在判别器空间的原有图像中对象的纹理信息。
判别器损失函数可以根据以下公式(4)确定。
LGAN=E(logD(Xpose))+E(log(1-D(Y))) (4)
其中,LVGG表征判别器损失函数。
根据本公开的实施例,第一身份信息损失函数可以用于实现第一样本图像中对象的身份信息和样本融合图像中对象的身份信息的对齐。第一图像特征对齐损失函数可以用于实现第一样本图像中对象的纹理信息和样本融合图像中对象的纹理信息的对齐。第一判别特征对齐损失函数可以用于实现在判别器空间的第一样本图像中对象的纹理信息和样本融合图像中对象的纹理信息的对齐。第一判别器损失函数可以用于尽量保证样本融合图像具有较高的清晰度。
根据本公开的实施例,根据第一目标图像和第二目标图像,生成待处理图像,可以包括如下操作。
利用驱动模型中的身份提取模块处理第一目标图像,得到第一目标图像中对象的身份信息。利用驱动模型中的纹理提取模块处理第二目标图像,得到第二目标图像中对象的纹理信息。利用驱动模型中的拼接模块处理身份信息和纹理信息,得到拼接信息。利用驱动模型中的生成器处理拼接信息,得到待处理图像。
根据本公开的实施例,驱动模型可以用于解耦第一目标图像中对象的身份信息和第二目标图像中对象的纹理信息,完成第一目标图像中对象与第二目标图像中对象的人脸替换。
根据本公开的实施例,驱动模型可以包括身份提取模块、纹理提取模块、拼接模块和生成器。驱动模型的生成器可以是第二生成对抗网络模型的生成器。身份提取模块可以用于提取对象的身份信息。纹理提取模块可以用于提取对象的纹理信息。拼接模块可以用于对身份信息和纹理信息进行拼接。驱动模型的生成器可以用于根据拼接信息生成融合图像。
根据本公开的实施例,身份提取模块可以为第一编码器,纹理提取模块可以为第二编码器,拼接模块可以为MLP(Multilayer Perceptron,多层感知器)。第一编码器和第二编码器可以包括VGG(Visual Geometry Group,几何视觉组)模型。
根据本公开的实施例,拼接信息包括多个,驱动模型的生成器包括级联的N个深度单元,N为大于1的整数。
利用驱动模型中的生成器处理拼接信息,得到待处理图像,可以包括如下操作。
针对N个深度单元中的第i个深度单元,利用第i个深度单元处理与第i个深度单元对应的第i级跳转信息,得到第i级特征信息,其中,第i级跳转信息包括第(i-1)级特征信息和第i级拼接信息,其中,i大于1且小于或等于N。根据第N级特征信息,生成待处理图像。
根据本公开的实施例,驱动模型的生成器可以包括级联的N个深度单元。每个级别的深度单元具有与其对应的拼接信息。不同级别的深度单元用于提取图像不同深度的特征。每个级别的深度单元的输入可以包括两部分,即,可以包括与该级深度单元的上一级的深度单元对应的特征信息和与该级深度单元对应的拼接信息。
根据本公开的实施例,驱动模型可以是通过以下方式训练得到的,即,获取第二样本图像集和第三样本图像集,第二样本图像集包括多个第二样本图像,第三样本图像集包括多个第三样本图像。利用身份提取模块处理第二样本图像,得到第二样本图像中对象的身份信息。利用纹理提取模块处理第三样本图像,得到第三样本图像中对象的纹理信息。利用拼接模块处理第二样本图像中对象的身份信息和第三样本图像中对象的纹理信息,得到样本拼接信息,并利用生成器处理样本拼接信息,得到仿真图像。利用第二样本图像集和仿真图像集训练身份提取模块、纹理提取模块、拼接模块和第二生成对抗网络模型,得到训练完成的驱动模型。
根据本公开的实施例,驱动模型是利用第二身份信息损失函数、第二目标图像特征对齐损失函数、第二判别特征对齐损失函数、第二判别器损失函数和循环一致损失函数训练得到的。
根据本公开的实施例,第二身份信息损失函数可以用于实现第二样本图像中对象的身份信息和仿真图像中对象的身份信息的对齐。第二图像特征对齐损失函数可以用于实现第二样本图像中对象的纹理信息和仿真图像中对象的纹理信息的对齐。第二判别特征对齐损失函数可以用于实现在判别器空间的第二样本图像中对象的纹理信息和仿真图像中对象的纹理信息的对齐。第二判别器损失函数可以用于尽量保证仿真图像具有较高的清晰度。循环一致损失函数可以用于提高驱动模型对第三样本图像中的对象的纹理信息的保持能力。
根据本公开的实施例,循环一致损失函数是根据真实结果和由驱动模型生成的预测结果确定,真实结果包括真实图像中对象的真实身份信息和真实纹理信息,预测结果包括仿真图像中对象的预测身份信息和预测纹理信息。
根据本公开的实施例,真实图像中对象的真实身份信息可以理解为上文所述的第二样本图像中对象的身份信息。真实图像中对象的真实纹理信息可以理解为上文所述的第三样本图像中对象的纹理信息。
根据本公开的实施例,循环一致损失函数可以根据以下公式(5)~(7)确定。
G(XID:ID1,Xpose:pose1)=YID:ID1_pose:pose1 (5)
其中,XID:ID1表征第二样本图像中对象的身份信息。Xpose:pose1表征第三样本图像中对象的纹理信息。YID:ID1pose:pose1表征包括第二样本图像中对象的身份信息和第三样本图像中对象的纹理信息的第一仿真图像。
G(XID:pose1,Ypose:ID1_pose:pose1)=YID:pose1_pose:pose1 (6)
其中,XID:pose1表征第三样本图像中对象的身份信息。Ypose:ID1pose:pose1表征第三样本图像中对象的纹理信息。YID:pose1pose:posx1表征包括第三样本图像中对象的身份信息和第三样本图像中对象的纹理信息的第二仿真图像。
Lcycle=||Xpose:pose1-YID:pose1_pose:pose1||2 (7)
其中,Xpose:pose1表征与第三样本图像中对象对应的真实图像。YID:pose1pose:pose1表征第二仿真图像。
根据本公开的实施例,上述图像处理方法还可以包括如下操作。
对融合图像进行增强处理,得到增强图像。
根据本公开的实施例,为了提高融合图像的清晰度,可以对融合图像进行清晰度增强处理,得到增强图像,使得增强图像的清晰度大于融合图像的清晰度。
根据本公开的实施例,对融合图像进行增强处理,得到增强图像,可以包括如下操作。
利用增强模型处理融合图像,得到增强图像,其中,增强模型包括第三生成对抗网络模型中的生成器。
根据本公开的实施例,增强模型可以用于提高图像的清晰度。增强模型可以包括第三生成对抗网络模型中的生成器。第三生成对抗网络模型可以包括PSFR(ProgressiveSemantic-Aware Style,渐进式语义感知样式转换)-GAN。
下面参考图3~图4,结合具体实施例对根据本公开实施例所述的图像处理方法做进一步说明。
图3示意性示出了根据本公开实施例的生成待处理图像过程的示意图。
如图3所示,在过程300中,第一目标图像集301包括第一目标图像3010、第一目标图像3011、第一目标图像3012和第一目标图像3013。驱动模型包括身份提取模块303、纹理提取模块305、拼接模块307和生成器309。
利用身份提取模块303处理第一目标图像集301,得到第一目标图像3010中对象的身份信息3040,第一目标图像3011中对象的身份信息3041,第一目标图像3012中对象的身份信息3042,第一目标图像3013中对象的身份信息3043。根据身份信息3040、身份信息3041、身份信息3042和身份信息3043,得到平均身份信息304,将平均身份信息304确定为第一目标图像的身份信息304。
利用纹理提取模块305处理第二目标图像302,得到第一目标图像302中对象的纹理信息306。
利用拼接模块307处理身份信息304和纹理信息306,得到拼接信息集308,拼接信息集308包括拼接信息3080、拼接信息3081和拼接信息3082。
利用生成器309处理拼接信息集308,得到待处理图像310。待处理图像310中对象的身份信息与第一目标图像中对象的身份信息相匹配。待处理图像310中对象的纹理信息与第二目标图像302中对象的纹理信息相匹配。
图4示意性示出了根据本公开实施例的图像处理过程的示意图。
如图4所示,在该过程400中,利用驱动模型403处理第一目标图像401和第二目标图像402,得到待处理图像404。
根据第二目标图像402和待处理图像404,得到解耦图像集405中的第一解耦图像4050。根据第二目标图像402和待处理图像404,得到解耦图像集405中的第二解耦图像4051。根据待处理图像404,得到解耦图像集405中的第三解耦图像4052。根据待处理图像404,得到解耦图像集405中的第四解耦图像4053。根据第二目标图像402和第四解耦图像4053,得到解耦图集405中的第五解耦图像4054。
利用融合模型406处理解耦图像集405,得到融合图像407。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图5示意性示出了根据本公开实施例的图像处理装置的框图。
如图5所示,图像处理装置500可以包括:第一生成模块510、第二生成模块520和第三生成模块530。
第一生成模块510,用于根据第一目标图像和第二目标图像,生成待处理图像。其中,待处理图像中对象的身份信息与第一目标图像中对象的身份信息相匹配,待处理图像中对象的纹理信息与第二目标图像中对象的纹理信息相匹配。
第二生成模块520,用于根据第二目标图像和待处理图像,生成解耦图像集。其中,解耦图像集包括与待处理图像中对象的头部区域对应的头部解耦图像和与待处理图像中对象相关的待修复信息对应的修复解耦图像。
第三生成模块530,用于根据解耦图像集,生成融合图像。其中,融合图像中对象的身份信息和纹理信息分别与待处理图像中对象的身份信息和纹理信息相匹配,并且与融合图像中对象相关的待修复信息已被修复。
根据本公开的实施例,修复解耦图像包括第一解耦图像和第二解耦图像。第一解耦图像中对象的身份信息与待处理图像中对象的身份信息相匹配,第一解耦图像中对象的肤色信息与第二目标图像中对象的肤色信息相匹配。第二解耦图像是待处理图像中对象的头部区域与第二目标图像中对象的头部区域之间的差分图像。其中,与融合图像中对象相关的待修复信息已被修复指示了:融合图像中对象的肤色信息与第二目标图像中对象的肤色信息相匹配,且差分图像中像素的像素值符合预设条件。
根据本公开的实施例,头部解耦图像包括第三解耦图像、第四解耦图像和第五解耦图像。第三解耦图像包括待处理图像中对象的头部区域的灰度图像。第四解耦图像包括待处理图像中对象的头部区域的二值化图像。第五解耦图像包括根据第二目标图像和第四解耦图像得到的图像。
根据本公开的实施例,第三生成模块包括530可以包括第一处理单元。
第一处理单元,用于利用融合模型处理解耦图像集,得到融合图像。其中,融合模型包括第一生成对抗网络模型中的生成器。
根据本公开的实施例,融合模型是利用第一身份信息损失函数、第一图像特征对齐损失函数、第一判别特征对齐损失函数和第一判别器损失函数训练得到的。
根据本公开的实施例,第一生成模块包括510可以包括第二处理单元、第三处理单元、第四处理单元和第五处理单元。
第二处理单元,用于利用驱动模型中的身份提取模块处理第一目标图像,得到第一目标图像中对象的身份信息。
第三处理单元,用于利用驱动模型中的纹理提取模块处理第二目标图像,得到第二目标图像中对象的纹理信息。
第四处理单元,用于利用驱动模型中的拼接模块处理身份信息和纹理信息,得到拼接信息。
第五处理单元,用于利用驱动模型中的生成器处理拼接信息,得到待处理图像。
根据本公开的实施例,拼接信息包括多个,驱动模型的生成器包括级联的N个深度单元,N为大于1的整数。
第五处理单元可以包括处理子单元和生成子单元。
处理子单元,用于针对N个深度单元中的第i个深度单元,利用第i个深度单元处理与第i个深度单元对应的第i级跳转信息,得到第i级特征信息。其中,第i级跳转信息包括第(i-1)级特征信息和第i级拼接信息。其中,i大于1且小于或等于N。
生成子单元,用于根据第N级特征信息,生成待处理图像。
根据本公开的实施例,驱动模型是利用第二身份信息损失函数、第二图像特征对齐损失函数、第二判别特征对齐损失函数、第二判别器损失函数和循环一致损失函数训练得到的。
根据本公开的实施例,循环一致损失函数是根据真实结果和由驱动模型生成的预测结果确定,真实结果包括真实图像中对象的真实身份信息和真实纹理信息,预测结果包括仿真图像中对象的预测身份信息和预测纹理信息。
根据本公开的实施例,上述图像处理装置500还可以包括处理模块。
处理模块,用于对融合图像进行增强处理,得到增强图像。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的图像处理方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上所述的图像处理方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上所述的图像处理方法。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上所述的方法。
图6示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如图像处理方法。例如,在一些实施例中,图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (19)
1.一种图像处理方法,包括:
根据第一目标图像和第二目标图像,生成待处理图像,其中,所述待处理图像中对象的身份信息与所述第一目标图像中对象的身份信息相匹配,所述待处理图像中对象的纹理信息与所述第二目标图像中对象的纹理信息相匹配;
根据所述第二目标图像和所述待处理图像,生成解耦图像集,其中,所述解耦图像集包括头部解耦图像和与所述待处理图像中对象相关的待修复信息对应的修复解耦图像,所述头部解耦图像是与所述待处理图像中对象的头部区域对应的图像,所述待修复信息包括肤色信息和缺失信息中的至少一项;以及
根据所述解耦图像集,生成融合图像,其中,所述融合图像中对象的身份信息和纹理信息分别与所述待处理图像中对象的身份信息和纹理信息相匹配,并且与所述融合图像中对象相关的待修复信息已被修复。
2.根据权利要求1所述的方法,其中,所述修复解耦图像包括第一解耦图像和第二解耦图像;
所述第一解耦图像中对象的身份信息与所述待处理图像中对象的身份信息相匹配,所述第一解耦图像中对象的肤色信息与所述第二目标图像中对象的肤色信息相匹配;
所述第二解耦图像是所述待处理图像中对象的头部区域与所述第二目标图像中对象的头部区域之间的差分图像;
其中,与所述融合图像中对象相关的待修复信息已被修复指示了:所述融合图像中对象的肤色信息与所述第二目标图像中对象的肤色信息相匹配,且所述差分图像中像素的像素值符合预设条件,所述差分图像包括多个像素,所述差分图像中像素的像素值符合预设条件包括以下一项:所述多个像素值的直方图分布符合预设直方图分布、所述多个像素值的均方差小于或等于预设均方差阈值和所述多个像素值之和小于或等于预设阈值。
3.根据权利要求1或2所述的方法,其中,所述头部解耦图像包括第三解耦图像、第四解耦图像和第五解耦图像;
所述第三解耦图像包括所述待处理图像中对象的头部区域的灰度图像;
所述第四解耦图像包括所述待处理图像中对象的头部区域的二值化图像;
所述第五解耦图像包括根据所述第二目标图像和所述第四解耦图像得到的图像。
4.根据权利要求1或2所述的方法,其中,所述根据所述解耦图像集,生成所述融合图像,包括:
利用融合模型处理所述解耦图像集,得到所述融合图像,其中,所述融合模型包括第一生成对抗网络模型中的生成器。
5.根据权利要求4所述的方法,其中,所述融合模型是利用第一身份信息损失函数、第一图像特征对齐损失函数、第一判别特征对齐损失函数和第一判别器损失函数训练得到的。
6.根据权利要求1或2所述的方法,其中,所述根据第一目标图像和第二目标图像,生成待处理图像,包括:
利用驱动模型中的身份提取模块处理所述第一目标图像,得到所述第一目标图像中对象的身份信息;
利用所述驱动模型中的纹理提取模块处理所述第二目标图像,得到所述第二目标图像中对象的纹理信息;
利用所述驱动模型中的拼接模块处理所述身份信息和所述纹理信息,得到拼接信息;以及
利用所述驱动模型中的生成器处理所述拼接信息,得到所述待处理图像。
7.根据权利要求6所述的方法,其中,所述拼接信息包括多个,所述驱动模型中的生成器包括级联的N个深度单元,N为大于1的整数;
所述利用所述驱动模型中的生成器处理所述拼接信息,得到所述待处理图像,包括:
针对所述N个深度单元中的第i个深度单元,利用所述第i个深度单元处理与所述第i个深度单元对应的第i级跳转信息,得到第i级特征信息,其中,所述第i跳转信息包括第(i-1)级特征信息和第i级拼接信息,其中,i大于1且小于或等于N;以及
根据第N级特征信息,生成所述待处理图像。
8.根据权利要求6所述的方法,其中,所述驱动模型是利用第二身份信息损失函数、第二图像特征对齐损失函数、第二判别特征对齐损失函数、第二判别器损失函数和循环一致损失函数训练得到的。
9.根据权利要求8所述的方法,其中,所述循环一致损失函数是根据真实结果和由所述驱动模型生成的预测结果确定,所述真实结果包括真实图像中对象的真实身份信息和真实纹理信息,所述预测结果包括仿真图像中所述对象的预测身份信息和预测纹理信息。
10.根据权利要求1或2所述的方法,还包括:
对所述融合图像进行增强处理,得到增强图像。
11.一种图像处理装置,包括:
第一生成模块,用于根据第一目标图像和第二目标图像,生成待处理图像,其中,所述待处理图像中对象的身份信息与所述第一目标图像中对象的身份信息相匹配,所述待处理图像中对象的纹理信息与所述第二目标图像中对象的纹理信息相匹配;
第二生成模块,用于根据所述第二目标图像和所述待处理图像,生成解耦图像集,其中,所述解耦图像集包括头部解耦图像和与所述待处理图像中对象相关的待修复信息对应的修复解耦图像,所述头部解耦图像是与所述待处理图像中对象的头部区域对应的图像,所述待修复信息包括肤色信息和缺失信息中的至少一项;以及
第三生成模块,用于根据所述解耦图像集,生成融合图像,其中,所述融合图像中对象的身份信息和纹理信息分别与所述待处理图像中对象的身份信息和纹理信息相匹配,并且与所述融合图像中对象相关的待修复信息已被修复。
12.根据权利要求11所述的装置,其中,所述修复解耦图像包括第一解耦图像和第二解耦图像;
所述第一解耦图像中对象的身份信息与所述待处理图像中对象的身份信息相匹配,所述第一解耦图像中对象的肤色信息与所述第二目标图像中对象的肤色信息相匹配;
所述第二解耦图像是所述待处理图像中对象的头部区域与所述第二目标图像中对象的头部区域之间的差分图像;
其中,与所述融合图像中对象相关的待修复信息已被修复指示了:所述融合图像中对象的肤色信息与所述第二目标图像中对象的肤色信息相匹配,且所述差分图像中像素的像素值符合预设条件,所述差分图像包括多个像素,所述差分图像中像素的像素值符合预设条件包括以下一项:所述多个像素值的直方图分布符合预设直方图分布、所述多个像素值的均方差小于或等于预设均方差阈值和所述多个像素值之和小于或等于预设阈值。
13.根据权利要求11或12所述的装置,其中,所述头部解耦图像包括第三解耦图像、第四解耦图像和第五解耦图像;
所述第三解耦图像包括所述待处理图像中对象的头部区域的灰度图像;
所述第四解耦图像包括所述待处理图像中对象的头部区域的二值化图像;
所述第五解耦图像包括根据所述第二目标图像和所述第四解耦图像得到的图像。
14.根据权利要求11或12所述的装置,其中,所述第三生成模块包括:
第一处理单元,用于利用融合模型处理所述解耦图像集,得到所述融合图像,其中,所述融合模型包括第一生成对抗网络模型中的生成器。
15.根据权利要求14所述的装置,其中,所述融合模型是利用第一身份信息损失函数、第一图像特征对齐损失函数、第一判别特征对齐损失函数和第一判别器损失函数训练得到的。
16.根据权利要求11或12所述的装置,其中,所述第一生成模块包括:
第二处理单元,用于利用驱动模型中的身份提取模块处理所述第一目标图像,得到所述第一目标图像中对象的身份信息;
第三处理单元,用于利用所述驱动模型中的纹理提取模块处理所述第二目标图像,得到所述第二目标图像中对象的纹理信息;
第四处理单元,用于利用所述驱动模型中的拼接模块处理所述身份信息和所述纹理信息,得到拼接信息;以及
第五处理单元,用于利用所述驱动模型中的生成器处理所述拼接信息,得到所述待处理图像。
17.根据权利要求16所述的装置,其中,所述拼接信息包括多个,所述驱动模型包括级联的N个深度单元,N为大于1的整数;
所述第五处理单元包括:
处理子单元,用于针对所述N个深度单元中的第i个深度单元,利用所述第i个生成器处理与所述第i个深度单元对应的第i级跳转信息,得到第i级特征信息,其中,所述第i跳转信息包括第(i-1)级特征信息和第i级拼接信息,其中,i大于1且小于或等于N;以及
生成子单元,用于根据第N级特征信息,生成所述待处理图像。
18.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~10中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~10中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110985605.0A CN113962845B (zh) | 2021-08-25 | 2021-08-25 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
PCT/CN2022/098246 WO2023024653A1 (zh) | 2021-08-25 | 2022-06-10 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
JP2023509715A JP2023543964A (ja) | 2021-08-25 | 2022-06-10 | 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110985605.0A CN113962845B (zh) | 2021-08-25 | 2021-08-25 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962845A CN113962845A (zh) | 2022-01-21 |
CN113962845B true CN113962845B (zh) | 2023-08-29 |
Family
ID=79460692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110985605.0A Active CN113962845B (zh) | 2021-08-25 | 2021-08-25 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023543964A (zh) |
CN (1) | CN113962845B (zh) |
WO (1) | WO2023024653A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113962845B (zh) * | 2021-08-25 | 2023-08-29 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
CN114926322B (zh) * | 2022-05-12 | 2024-03-15 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营(集团)有限责任公司 | 一种替换影视剧人物的方法 |
WO2018094653A1 (zh) * | 2016-11-24 | 2018-05-31 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
CN110503601A (zh) * | 2019-08-28 | 2019-11-26 | 上海交通大学 | 基于对抗网络的人脸生成图片替换方法及系统 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878612B2 (en) * | 2017-04-04 | 2020-12-29 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
CN111401216B (zh) * | 2020-03-12 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
CN111523413B (zh) * | 2020-04-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
CN111598818B (zh) * | 2020-04-17 | 2023-04-28 | 北京百度网讯科技有限公司 | 人脸融合模型训练方法、装置及电子设备 |
CN113962845B (zh) * | 2021-08-25 | 2023-08-29 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
-
2021
- 2021-08-25 CN CN202110985605.0A patent/CN113962845B/zh active Active
-
2022
- 2022-06-10 WO PCT/CN2022/098246 patent/WO2023024653A1/zh unknown
- 2022-06-10 JP JP2023509715A patent/JP2023543964A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营(集团)有限责任公司 | 一种替换影视剧人物的方法 |
WO2018094653A1 (zh) * | 2016-11-24 | 2018-05-31 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
CN110503601A (zh) * | 2019-08-28 | 2019-11-26 | 上海交通大学 | 基于对抗网络的人脸生成图片替换方法及系统 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2023543964A (ja) | 2023-10-19 |
WO2023024653A1 (zh) | 2023-03-02 |
CN113962845A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113033566B (zh) | 模型训练方法、识别方法、设备、存储介质及程序产品 | |
CN113962845B (zh) | 图像处理方法、图像处理装置、电子设备以及存储介质 | |
CN113033537A (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
CN114723888B (zh) | 三维发丝模型生成方法、装置、设备、存储介质及产品 | |
CN114549710A (zh) | 一种虚拟形象的生成方法、装置、电子设备及存储介质 | |
CN113221771B (zh) | 活体人脸识别方法、装置、设备、存储介质及程序产品 | |
CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
WO2023045317A1 (zh) | 表情驱动方法、装置、电子设备及存储介质 | |
CN114708374A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN113052962A (zh) | 模型训练、信息输出方法,装置,设备以及存储介质 | |
EP4123605A2 (en) | Method of transferring image, and method and apparatus of training image transfer model | |
CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN115661322B (zh) | 人脸纹理图像的生成方法、装置 | |
CN115147547B (zh) | 人体重建方法和装置 | |
CN114926322B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
US20230005171A1 (en) | Visual positioning method, related apparatus and computer program product | |
CN115082298A (zh) | 图像生成方法、装置、电子设备以及存储介质 | |
CN113903071A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
CN114119990A (zh) | 用于图像特征点匹配的方法、装置及计算机程序产品 | |
CN113240780A (zh) | 生成动画的方法和装置 | |
CN116229214B (zh) | 模型训练方法、装置及电子设备 | |
CN112819715B (zh) | 数据还原方法、网络训练方法、相关装置及电子设备 | |
CN114820908B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
CN116051694B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 | |
CN116385643B (zh) | 虚拟形象生成、模型的训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |