CN115147261A - 图像处理方法、装置、存储介质、设备及产品 - Google Patents

图像处理方法、装置、存储介质、设备及产品 Download PDF

Info

Publication number
CN115147261A
CN115147261A CN202210537076.2A CN202210537076A CN115147261A CN 115147261 A CN115147261 A CN 115147261A CN 202210537076 A CN202210537076 A CN 202210537076A CN 115147261 A CN115147261 A CN 115147261A
Authority
CN
China
Prior art keywords
image
feature
target
makeup
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210537076.2A
Other languages
English (en)
Inventor
朱飞达
朱俊伟
贺珂珂
邰颖
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210537076.2A priority Critical patent/CN115147261A/zh
Publication of CN115147261A publication Critical patent/CN115147261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/147—
    • G06T5/70—
    • G06T5/73—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请的实施例揭示了一种图像处理方法装置、存储介质、设备及产品。该图像处理方法获取目标对象图像以及获取模板对象图像，根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像，以对模板对象中的对象身份特征进行初步替换，然后，将模板对象中的妆容特征迁移至特征更换处理得到的初始特征更换图像包含的虚拟对象中，以保证妆容迁移后的虚拟对象中保留模板对象中完整的妆容特征，使得到的目标特征更换图像中的虚拟对象更加真实自然。

Description

图像处理方法、装置、存储介质、设备及产品
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读存储介质、电子设备及计算机程序产品。
背景技术
随着人工智能和计算机技术的发展，出现了图像合成技术，比如换脸技术。换脸是指用源图像中的人脸区域替换模板图像中的人脸区域以改变目标图像的身份特征。换脸技术具有很多的应用场景，例如可以应用于影视人物制作、游戏人物设计、虚拟形象和隐私保护等场景中。
目前，常用的换脸方法包括：利用三维(3-Dimension，3D)建模技术对源图像和模板图像进行三维面部重建，得到新的人脸三维模型，生成换脸目标图像；或者，针对指定的换脸对象，获取大量的包含换脸对象的人脸图像，对神经网络模型进行训练，利用训练得到的模型进行换脸。
然而，采用现有技术的方法得到的换脸目标图像不够真实自然，换脸效果较差。
发明内容
为解决上述技术问题，本申请的实施例提供了一种图像处理方法、装置、计算机可读存储介质、电子设备及计算机程序产品。
根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像；根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；其中，初始特征更换图像中包含虚拟对象，虚拟对象具有目标对象的对象身份特征和模板对象的对象附加属性特征；将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
根据本申请实施例的一个方面，提供了一种图像处理装置，包括：图像获取模块，配置为获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像；特征更换模块，配置为根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；其中，初始特征更换图像中包含虚拟对象，虚拟对象具有目标对象的对象身份特征和模板对象的对象附加属性特征；妆容迁移模块，配置为将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的图像处理方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的图像处理方法。
根据本申请实施例的一个方面，还提供了一种计算机程序产品，计算机程序产品包括计算机指令，计算机指令在被处理器执行时用于实现如上所述的图像处理方法。
在本申请的实施例提供的技术方案中，通过获取包含目标对象图像，以及获取模板对象图像，然后根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像，以对模板对象中的对象身份特征进行初步替换，然后将模板对象中的妆容特征迁移至特征更换处理得到的初始特征更换图像包含的虚拟对象中，以保证妆容迁移后的虚拟对象中保留模板对象中完整的妆容特征，使得到的目标特征更换图像中的虚拟对象更加真实自然。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是现有技术中图像处理效果与本申请涉及的实施例的图像处理效果的对比图；
图2是本申请涉及的实施环境的示意图；
图3是本申请的一示例性实施例示出的图像处理方法的流程图；
图4是本申请的一示例性实施例示出的获取目标对象图像以及模板对象图像的示意图；
图5是本申请的一示例性实施例示出的图像处理方法的示意图；
图6是本申请的另一示例性实施例示出的一种图像处理方法的流程图；
图7是本申请的一示例性实施例示出的妆容迁移模型的示意图；
图8是本申请的一示例性实施例示出的解码网络层的示意图；
图9是本申请的一示例性实施例示出的获取训练样本三元组的示意图；
图10是本申请的一示例性实施例示出的根据妆容素材库对初始模板对象样本图像进行妆容素材添加处理的示意图；
图11是本申请的一示例性实施例示出的妆容迁移模型的训练过程的示意图；
图12是本申请另一示例性实施例示出的一种图像处理方法的流程图；
图13是本申请的一示例性实施例示出的图像处理装置的框图；
图14示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面简单介绍一下本申请实施例可能用到的技术。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
现有技术中，在对图像中的对象进行特征更换处理时，比如对图像中的人脸进行更换时，针对妆容细节并不能很好的进行迁移，且迁移后的图像分辨率较低。例如图1所示，利用现有技术将模板对象图像包含的模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中时，得到的妆容迁移图像a存在妆容模糊，图像质量较差等问题。
基于此，为了在模板对象图像中的模板对象存在妆容特征时，在换脸后的图像中完整的保留模板对象图像中的妆容特征，提高换脸后的图像的质量，本申请的实施例提出一种图像处理方法、装置、计算机可读存储介质、电子设备及计算机程序产品，以得到如图1中妆容迁移图像b所示的换脸图像，其完整的保留了模板对象图像中的妆容特征，使得到的换脸后的图像更加真实自然，提高了图像质量。
下面对本申请实施例所提供的图像处理方法进行说明，其中，图2是本申请中图像处理方法涉及的一种实施环境的示意图。如图2所示，该实施环境包括终端210和服务器220，终端210和服务器220可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
终端210可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等，但并不局限于此。终端210可以泛指多个终端中的一个，本实施例仅以终端210来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述图像处理方法的实施环境还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器220用于为终端210运行的应用程序提供后台服务。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
可选地，服务器220承担主要图像处理工作，终端210承担次要图像处理工作；或者，服务器220承担次要图像处理工作，终端210承担主要图像处理工作；或者，服务器220或终端210分别可以单独承担图像处理工作。
示例性地，终端210向服务器220发送图像处理指令，服务器220接收到终端210发送的图像处理指令，获取目标对象图像和模板对象图像；服务器220根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；服务器220将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
请参阅图3，图3是本申请的一示例性实施例示出的图像处理方法的流程图。该图像处理方法可以应用于图2所示的实施环境，并由该实施环境中的服务器220具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
下面以服务器作为具体的执行主体来对本申请实施例提出的图像处理方法进行详细介绍。
如图3所示，在一示例性的实施例中，图像处理方法至少包括步骤S310至步骤S330，详细介绍如下：
步骤S310，获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像。
需要说明的是，目标对象图像是指提供目标对象的图像；模板对象图像是指提供模板对象的图像。
在本申请实施例中，获取目标对象图像和模板对象图像的方式可以根据具体场景而有所不同。例如，可以预先将目标对象图像或模板对象图像保存至计算机设备中的存储器中，如此，获取目标对象图像或模板对象图像，即为获取计算机设备的存储器中保存的目标对象图像或模板对象图像；还可以是用户直接输入目标对象图像或模板对象图像，当计算机设备需要获取目标对象图像或模板对象图像时，接收用户的图像输入操作，以得到目标对象图像或模板对象图像；还可以是计算机设备连接有图像获取装置，通过该图像获取装置实时采集当前视场范围内的目标对象图像或模板对象图像，或者获取预先存储的视频帧序列对应的视频帧，将预先存储的视频帧作为目标对象图像或模板对象图像。计算机设备还可以通过其他的方式获取目标对象图像和模板对象图像，本申请对此不进行限定。
需要说明的是，在本申请的具体实施方式中，涉及到目标对象图像、模板对象图像等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
目标对象图像以及模板对象图像可以是真实的图像，也可以是合成的图像。例如，目标对象图像是通过图像获取装置拍摄得到的真实人物的图像，而模板对象图像是通过人脸图像合成软件合成的虚拟人物的图像；或者模板对象图像是通过图像获取装置拍摄得到的真实人物的图像，而目标对象图像是通过人脸图像合成软件合成的虚拟人物的图像；或者模板对象图像以及目标对象图像均是通过图像获取装置拍摄得到的真实人物的图像；或者模板对象图像以及目标对象图像均是通过人脸图像合成软件合成的虚拟人物的图像，本实施例对此不做限制。
目标对象图像或模板对象图像可以是用户指定的图像，也可以是随机选取的图像。例如，服务器获取用户输入的模板对象图像的筛选条件信息，筛选条件信息包括但不限于模板对象图像中模板对象的性别、年龄以及目标对象与模板对象的相似度等信息，根据筛选条件信息对多个候选人脸图像进行匹配，得到每个候选人脸图像对应的匹配值，以将匹配值最高的候选人脸图像作为模板对象图像。可以理解的是，也可以通过筛选条件信息对目标对象图像进行筛选。通过筛选条件信息得到满足用户需求的目标对象图像或模板对象图像，以提高用户体验。
示例性的，请参阅图4，图4为本申请示例性实施例提供的获取目标对象图像以及模板对象图像的示意图。如图4所示，服务器向终端提供图像获取界面，该图像获取界面设置有目标对象图像获取组件和模板对象图像获取组件，用户可以通过触发目标对象图像获取组件和模板对象图像获取组件对应的图像上传按钮，以上传目标对象图像和模板对象图像，然后用户可以通过触发提交按钮，以将目标对象图像获取组件中的目标对象图像和模板对象图像获取组件中的模板对象图像发送给服务器。
可选的，一个模板对象对应的目标对象可以为一个或多个，例如，若目标对象图像中包含有多个人脸图像，则提示用户进行目标对象选择，以将根据用户的目标对象选择操作确认一个或多个人脸图像作为目标对象。如用户触发目标对象图像获取组件的图像上传按钮向服务器上传目标对象图像，服务器对目标对象图像进行人脸区域识别，得到的人脸区域识别结果包括人脸区域A1、人脸区域A2以及人脸区域A3，服务器向终端返回人脸区域识别结果，以使终端向用户显示目标对象图像中的人脸区域A1、人脸区域A2以及人脸区域A3。终端监测到用户对人脸区域A2以及人脸区域A3执行了目标对象选择操作，则向服务器发送对应的目标对象选择信息，服务器根据目标对象选择信息将人脸区域A2以及人脸区域A3对应的人脸图像作为目标对象。可以理解的是，当一个模板对象对应的目标对象为多个时，则需要根据该模板对象对每个目标对象均进行特征更换处理，得到每个目标对象对应的目标特征更换图像。
可选的，一个目标对象对应的模板对象可以为一个或多个，例如，若模板对象图像中包含有多个人脸图像，则提示用户进行模板对象选择，以将根据用户的模板对象选择操作确认一个或多个人脸图像作为模板对象。例如，用户触发模板对象图像获取组件的图像上传按钮向服务器上传模板对象图像，服务器对模板对象图像进行人脸区域识别，得到的人脸区域识别结果包括人脸区域B1、人脸区域B2以及人脸区域B3，服务器向终端返回人脸区域识别结果，以使终端向用户显示模板对象图像中的人脸区域B1、人脸区域B2以及人脸区域B3。终端监测到用户对人脸区域B2以及人脸区域B3执行了模板对象选择操作，则向服务器发送对应的模板对象选择信息，服务器根据模板对象选择信息将人脸区域B2以及人脸区域B3对应的人脸图像作为模板对象。可以理解的是，当一个目标对象对应的模板对象为多个时，则需要根据每个模板对象对该目标对象进行多次特征更换处理，得到每个模板对象对应的目标特征更换图像。
在本申请实施例中，该图像处理方法还可以包括将所获取的目标对象图像或模板对象图像进行预处理的步骤。示例性地，将所获取的目标对象图像或模板对象图像进行预处理，可以包括对目标对象图像或模板对象图像进行噪点去除、明度增强等。其中，对目标对象图像或模板对象图像进行噪点去除可以采用降噪算法过滤掉待处理图像中的杂色和噪点；对目标对象图像或模板对象图像进行明度增强是可以采用调整RGB色彩分布、更换明度提取算法、锐化处理、增强对比度、边缘增强等。将所获取的目标对象图像或模板对象图像进行预处理，以避免目标对象图像或模板对象图像本身存在的缺陷导致的后续处理出现误差的情况。
步骤S320，根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；其中，初始特征更换图像中包含虚拟对象，虚拟对象具有目标对象的对象身份特征和模板对象的对象附加属性特征。
需要说明的是，人的形象特征包括对象身份特征以及对象附加属性特征，对象身份特征是指人面部中的关键特征，例如眉、眼、耳、鼻、口等影响人的容貌长相的特征；对象附加属性特征是指人面部中除关键特征之外的其它特征，例如发型、人物姿势、人物表情、装饰物等不会影响人的容貌长相的特征。
特征更换处理的目的是将模板对象的对象身份特征替换为目标对象的对象身份特征，以得到包含目标对象的对象身份特征以及模板对象的对象附加属性特征的虚拟对象。
本申请实施例中，可以利用训练完成的特征更换模型对目标对象图像和模板对象图像进行特征更换处理，例如基于生成对抗网络(Generative Adversarial Nets，GAN)算法的特征更换模型，通过将模板对象中的对象身份特征替换为目标对象中的对象身份特征。通常，GAN算法可以使用一个标识编码器提取目标对象的对象身份特征，可以包括眼睛的形状、嘴巴和眼睛之间的距离、嘴巴的弯曲程序等信息。同时，利用属性提取器提取模板对象的对象附加属性特征，例如人脸的姿势、轮廓、面部表情、发型、场景照明等信息。之后，将目标对象的对象身份特征以及模板对象的对象附加属性特征输入到特征更换模型，特征更换模型将模板对象中的对象身份特征替换为目标对象的对象身份特征，并保留模板对象的对象附加属性特征，以获得特征更换模型输出的初始特征更换图像。还可以通过图像融合的方法对目标对象图像和模板对象图像进行特征更换处理，例如获取模板对象区域以及目标对象区域，将目标对象区域中的对象身份特征仿射变换至模板对象区域中，以将仿射变换后的目标对象的对象身份特征和模板对象的对象身份特征进行融合，如泊松融合、阿尔法融合等，得到初始特征更换图像。可以理解的是，可以根据实际应用场景灵活选择人脸更换的具体实施方式，本申请对此不作限制。
步骤S330，将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
需要说明的是，妆容特征是指人通过某种装扮修饰形成的外在形态表现，例如人是运用化妆品和工具，对人面部的眉、眼、耳、鼻、口等部位进行渲染、描画、整理，增强立体印象，调整形色等，从而达到美化视觉感受的目的。
在得到初始特征更换图像后，初始特征更换图像中的虚拟对象具有目标对象的对象身份特征和模板对象的对象附加属性特征。但是当模板对象中存在妆容特征时，由于妆容特征一般依附于对象身份特征，如妆容特征中包含的眼部妆容特征依附于对象身份特征中包含的眼部，在将模板对象的对象身份特征替换为目标对象的对象身份特征时，会导致目标对象的对象身份特征覆盖模板对象中的妆容特征，所以得到的虚拟对象中难以保留模板对象中的妆容特征。而妆容特征属于不会影响人的容貌长相的特征，因此为了提高进行特征更换处理的准确性，还需要在虚拟对象中对模板对象中的妆容特征进行保留。
本申请实施例中，可以利用训练完成的妆容迁移模型将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，例如基于妆容迁移模型提取模板对象的妆容特征以及虚拟对象的虚拟对象特征，妆容特征可以包括眼部妆容特征、嘴部妆容特征、脸颊妆容特征等。妆容迁移模型根据妆容特征以及虚拟对象特征进行计算，将模板对象中的妆容特征迁移至虚拟对象，以获得妆容迁移模型输出的目标特征更换图像。还可以通过图像融合的方法将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，例如对模板对象中包含妆容特征的区域进行提取，得到多个部位的妆容特征，如眼上睫毛部位的妆容特征、眼下睫毛部位的妆容特征、嘴唇部位的妆容特征等。然后将各个部位的妆容特征与虚拟对象的对应部位进行关键点对齐，以将模板对象中的妆容特征迁移至虚拟对象，得到目标特征更换图像。可以理解的是，可以根据实际应用场景灵活选择妆容迁移的具体实施方式，本申请对此不作限制。
如图5所示，根据目标对象图像对模板对象图像进行特征更换处理后，得到初始特征更换图像，然后根据模板对象图像对初始特征更换图像进行妆容迁移，得到目标特征更换图像，该目标特征更换图像可以在体现目标对象图像中目标对象的对象身份特征的前提下，更好的保留模板对象图像中的妆容特征，使得到的目标特征更换图像具备更加真实的换脸效果。
由于妆容特征一般依附于对象身份特征，当将模板对象的对象身份特征替换为目标对象的对象身份特征时，会导致目标对象的对象身份特征覆盖模板对象中的妆容特征，使得到的虚拟对象中难以保留模板对象中的妆容特征，进而降低了人脸更换的效果。因此，本申请实施例提供的图像处理方法为了提高人脸更换的效果，根据目标对象图像对模板对象图像进行特征更换处理后，再将模板对象中的妆容特征迁移至特征更换处理得到的初始特征更换图像包含的虚拟对象中，以保证妆容迁移后的虚拟对象中保留模板对象中完整的妆容特征，使得到的目标特征更换图像更加准确，且由于妆容迁移前的虚拟对象和模板对象具有除妆容特征外相同的对象附加属性特征，即妆容迁移前的虚拟对象和模板对象之间具有较高的相似度，进而便于后续的妆容迁移过程，以提高妆容迁移的精度。
请参阅图6，图6是根据另一示例性实施例示出的一种图像处理方法的流程图。如图6所示，在一示例性的实施例中，步骤S330中将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像的过程，可以包括如下步骤：
步骤S331，将模板对象图像输入至训练完成的妆容迁移模型包含的第一编码网络中，得到第一编码网络输出的模板对象的妆容特征。
本申请实施例中，通过妆容迁移模型包含的第一编码网络对模板对象进行特征提取，以得到第一编码网络输出的妆容特征，妆容特征是指将输入的模板对象进行向量化处理得到的结果，向量化处理是指将输入第一编码网络的模板对象采用特征向量来表示。
步骤S332，将初始特征更换图像输入至妆容迁移模型包含的第二编码网络和多层感知机中，得到第二编码网络输出的虚拟对象的虚拟对象特征和多层感知机输出的虚拟对象的风格特征。
本申请实施例中，通过妆容迁移模型包含的第二编码网络对初始特征更换图像中的虚拟对象进行特征提取，以得到第二编码网络输出的虚拟对象特征，虚拟对象特征是指将输入的虚拟对象进行向量化处理得到的结果。同时，通过妆容迁移模型包含的多层感知机对初始特征更换图像中的虚拟对象进行风格提取，以得到多层感知机输出的虚拟对象的风格特征，例如，如图5所示，对虚拟对象进行识别，以获得人脸部位元素，如虚拟对象的人脸区域中包括的眼睛部位元素以及嘴巴部位元素，以提取每个人脸部位元素对应的部位元素风格特征，进而根据部位元素风格特征得到虚拟对象的风格特征。
可选的，在本申请实施例中，多层感知机(Multlayer Perceptron，MLP)包括但不限于为人工神经网络(Artificial Neural Network，ANN)，且除了包括输入层以及输出层外，还包括至少一个隐藏层，即多层感知机至少为三层结构，且层与层之间为全连接，其中，输入层为多层感知机的最底层，中间层为隐藏层，最后是输出层，其将输入的多个数据集映射到单一的输出的数据集上。多层感知机用于将虚拟对象对应的潜在因子转换成中间潜在空间，以得到虚拟对象的风格特征，使风格特征包含多个彼此独立的特征，以便解码网络更容易地执行渲染，同时避免训练数据中不曾出现的特征组合。
步骤S333，将模板对象的妆容特征、虚拟对象的虚拟对象特征和虚拟对象的风格特征输入至妆容迁移模型包含的解码网络中，得到解码网络输出的目标特征更换图像。
解码网络的作用是将虚拟对象的风格特征中包含的信息与模板对象的妆容特征和虚拟对象的虚拟对象特征融合在一起，最后生成妆容迁移后的目标特征更换图像。
现有技术中，在对图像进行换脸处理时，针对妆容细节并不能很好的进行迁移，且迁移后的图像分辨率较低，存在妆容模糊，图像质量较差等问题。
因此，本申请为了提高妆容迁移后的图像的清晰度，以及保留更多的妆容细节，采用了上述妆容迁移模型，其通过多层感知机对虚拟对象对应的潜在因子进行非线性映射，得到更加解纠错的中间潜在空间，以将中间潜在空间作为风格信息作用于空间数据，进而使得到的妆容迁移后的目标特征更换图像更加清晰，且保留有更加精细的模板对象的妆容特征。
可选的，请参阅图7，图7为本申请示例性实施例提供的妆容迁移模型的示意图。如图7所示，妆容迁移模型包括第一编码网络、第二编码网络、多层感知机以及解码网络，第一编码网络和第二编码网络分别包括n个编码网络层，解码网络包括n个解码网络层；第一编码网络和第二编码网络中各个编码网络层的输出作为编码网络层对应的下一编码网络层以及解码网络层的输入。其中，n为大于2的整数。
如图7所示，每个编码网络层提取的特征图，一方面输出至下一编码网络层中进行处理，另一方面还需要输出至解码网络的对应解码网络层中进行处理。需要说明的是，这里的对应解码网络层是指与当前输出的特征图的大小匹配的解码网络层，例如，若当前输出的特征图大小为32*32*512，则解码网络中的对应解码网络层是指能够处理32*32*512大小的特征图的解码网络层。
进一步的，解码网络的每一个解码网络层在获得第一编码网络的编码网络层输入的妆容特征、第二编码网络的编码网络层输入的虚拟对象特征以及多层感知机输入的风格特征后，则将妆容特征、虚拟对象特征和风格特征进行解码合成，并将解码结果输出至下一解码网络层中，以此类推，由解码网络的最后一个解码网络层输出目标特征更换图像。
在一些实施方式中，步骤S333将模板对象的妆容特征、虚拟对象的虚拟对象特征和虚拟对象的风格特征输入至妆容迁移模型包含的解码网络中，得到解码网络输出的目标特征更换图像的过程包括：根据预设的缩放比例调整解码网络的卷积权重，得到缩放卷积权重；对缩放卷积权重进行归一化，得到新的解码网络；根据新的解码网络对模板对象的妆容特征、虚拟对象的虚拟对象特征和虚拟对象的风格特征进行解码计算，得到解码网络输出的目标特征更换图像。
示例性的，请参阅图8，图8为本申请示例性实施例提供的解码网络层的示意图。如图8所示，解码网络层由仿射变换模板A、调制模板Mod-Demod、上采样模块Upsample、多个卷积模块Conv等构成。
其中，可学习的仿射变换模板A可以由一个全连接层构成；上采样模块Upsample可以使用反卷积进行上采样操作，
Figure BDA0003648581370000141
表示第一编码网络中的编码网络层输出的妆容特征，
Figure BDA0003648581370000142
表示第二编码网络中的编码网络层输出的虚拟对象特征，w表示多层感知机输出的虚拟对象的风格特征，
Figure BDA0003648581370000143
表示上一层的解码网络层的输出，
Figure BDA0003648581370000144
以及
Figure BDA0003648581370000145
分别经过新增的卷积网络，以得到
Figure BDA0003648581370000146
图8中，
Figure BDA0003648581370000147
表示当前层的解码网络层的输出，可以表示为：
Figure BDA0003648581370000148
其中，
Figure BDA0003648581370000149
以及
Figure BDA00036485813700001410
的空间分辨率相同，Concat表示将三个特征串联。
调制模板中的Mod用于调整卷积权重，具体计算方法参见如下公式：
w′ijk＝si·wijk
其中，w′ijk表示缩放卷积权重，wijk表示缩放前的卷积权重，si表示输入的第i个风格特征的预设的缩放比例，j表示第j个解码网络层，k为卷积核。
进一步的，调制模板中的Demod对卷积层的权重进行解调，对缩放卷积权重进行归一化，旨在使输出恢复到单位标准差，得到新的卷积层的权重，具体计算方法参见如下公式：
Figure BDA00036485813700001411
其中，w″ijk表示新的卷积层的权重，加上常数∈是为了避免分母为0。
在一些实施方式中，妆容迁移模型的训练过程包括：获取训练样本三元组，训练样本三元组包括模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像；将模板对象样本图像和初始特征更换样本图像输入至妆容迁移模型中，得到妆容迁移模型输出的预测图像；根据预测图像和目标特征更换样本图像，修正妆容迁移模型的网络参数，得到训练完成的妆容迁移模型。
需要说明的是，模板对象样本图像是指带有妆容特征的人脸图像，初始特征更换样本图像是指具有模板对象样本图像中的对象附加属性特征的人脸图像，且初始特征更换样本图像与模板对象样本图像之间的妆容特征不一致，目标特征更换样本图像是指具有模板对象样本图像中的对象附加属性特征以及妆容特征的人脸图像。其中，训练样本携带有样本标签，样本标签用于指示该训练样本所属的真实类别信息。
在本申请实施例中，通过将模板对象样本图像与初始特征更换样本图像输入至妆容迁移模型中，得到妆容迁移模型输出的预测图像，然后将该训练样本三元组中的目标特征更换样本图像作为妆容迁移模型的目标输出，计算预测图像与目标特征更换样本图像之间的差异，以判断是否满足妆容迁移模型训练结束条件。其中，满足妆容迁移模型训练结束条件包括以下任一种：训练次数达到次数阈值；损失函数收敛；损失函数小于损失函数阈值。次数阈值以及损失函数阈值根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。
在本申请实施例中，妆容迁移模型的目的是为了将模板对象图像中包含的完整的妆容特征迁移至初始特征更换图像中，以得到包含更多妆容细节的目标特征更换图像。而由于模板对象图像与初始特征更换图像之间具有相同的对象附加属性特征，因此，采用下述方法获取更加符合应用场景的训练样本三元组，具体可以包括如下步骤：获取初始模板对象样本图像和目标对象样本图像；根据目标对象样本图像对初始模板对象样本图像进行特征更换处理，得到初始特征更换样本图像；根据妆容素材库对初始特征更换样本图像和初始模板对象样本图像进行妆容素材添加处理，得到目标特征更换样本图像和模板对象样本图像；根据模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像得到训练样本三元组。
需要说明的是，初始模板对象样本图像和目标对象样本图像均不存在妆容特征，且初始模板对象样本图像与目标对象样本图像的对象身份特征不同；妆容素材库中预先存储有多个妆容素材，例如眼部妆容素材、眉部妆容素材等。
本申请实施例中，根据目标对象样本图像对初始模板对象样本图像进行特征更换处理，得到初始特征更换样本图像，其中，特征更换处理的具体实施步骤可以参见图3中的步骤S320，此处不再进行赘述。通过对不存在妆容特征的初始模板对象样本图像和目标对象样本图像进行特征更换处理，以避免妆容特征对特征更换处理过程进行干扰，进而可以得到更加准确的训练数据，以提高后续妆容迁移模型的训练效果。
示例性的，请参阅图9，图9为获取训练样本三元组的示意图。如图9所示，将初始模板对象样本图像和目标对象样本图像输入特征更换模型中进行特征更换处理，得到特征更换模型输出的初始特征更换样本图像，然后根据妆容素材库中的妆容素材对初始模板对象样本图像和初始特征更换样本图像进行妆容素材添加处理，以通过对初始模板对象样本图像和初始特征更换样本图像进行关键点检测以及妆容素材添加，得到初始模板对象样本图像对应的模板对象样本图像，以及初始特征更换样本图像对应的目标特征更换样本图像，进而根据模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像得到训练样本三元组。
其中，请参阅图10，图10为根据妆容素材库对初始模板对象样本图像进行妆容素材添加处理的示意图。如图10所示，通过妆容素材库得到的妆容素材包括眼睫毛素材以及眼影素材，然后对初始模板对象样本图像进行关键点检测，并根据检测到的关键点与眼睫毛素材以及眼影素材对应的关键点进行对齐，以将眼睫毛素材以及眼影素材添加至初始模板对象样本图像中，进而得到模板对象样本图像，该模板对象样本图像中的妆容特征包含有上述眼睫毛素材以及眼影素材。可以理解的是，初始特征更换样本图像与初始模板对象样本图像进行妆容素材添加处理的具体实施方式一致，在此不做赘述。
通过上述获取训练样本三元组的方法，可以得到大量的训练样本三元组，且保证训练样本三元组的质量，以得到更加精确的妆容迁移模型。
在一些实施方式中，在上述示例性的实施例中，根据预测图像和目标特征更换样本图像，修正妆容迁移模型的网络参数，包括：将预测图像和目标特征更换样本图像输入至判别网络中，得到判别网络输出的判别结果；其中，判别结果用于表征预测图像和目标特征更换样本图像中为预测目标输出的图像；将目标特征更换样本图像作为实际目标输出，根据预测目标输出和实际目标输出，计算得到损失函数值；根据损失函数值修正妆容迁移模型的网络参数。
需要说明的是，判别网络用于对输入的图像进行分类。
示例性的，请参阅图11，图11为妆容迁移模型的训练过程的示意图。如图11所示，将模板对象样本图像输入第一编码网络中，并将初始特征更换样本图像输入第二编码网络以及多层感知机中，然后将第一编码网络、第二编码网络以及多层感知机的输出输入至解码网络中，以使解码网络输出预测图像。进一步的，将预测图像以及目标特征更换样本图像输入至判别网络中，得到判别网络输出的判别结果，进而根据判别结果得到对抗损失函数，该对抗损失函数可以表示为如下公式：
Figure BDA0003648581370000171
其中，GT表示目标特征更换样本图像，input表示初始特征更换样本图像，refer表示模板对象样本图像，minG maxD表示G和D的最小最大值函数，D(GT)表示对真实的目标输出进行判别，D(GT)的判别结果越接近于1越好，G(input，refer)表示妆容迁移模型输出的预测图像，G(input，refer)的判别结果D(G(input，refer))越接近于0越好。
进一步的，再根据预测图像以及目标特征更换样本图像得到重建损失函数，该重建损失函数可以表示为如下公式：
Lrec＝|G(input)-GT|1+|LPIPS(G(input))-LPIPS(GT)|1
其中，G(input)表示妆容迁移模型输出的预测图像，GT表示目标特征更换样本图像，LPIPS为感知损失函数。
然后，得到的损失函数为如下公式：
L＝LGAN+Lrec
服务器根据损失函数得到损失函数值，以根据损失函数值判断妆容迁移模型是否达到训练完成条件，当未达到训练完成条件时，则使用损失函数值反向更新妆容迁移模型中的模型参数，并对妆容迁移模型的训练步骤进行迭代，直至达到妆容迁移模型的训练完成条件时，得到训练完成的妆容迁移模型。
其中，在对妆容迁移模型进行训练时，可以利用已经训练完成的解码网络以及判别网络对第一编码网络以及第二编码网络进行训练，并设置不同的学习比率，学习比率用于指示根据损失函数值进行模型参数修正，如学习比率越高，则根据损失函数值进行模型参数修正时考虑的模型参数越多，学习比率越低，则根据损失函数值进行模型参数修正时考虑的模型参数越少。例如，第一编码网络、第二编码网络、解码网络以及判别网络的学习比率为100∶100∶10∶1。
在一些实施例中，请参阅图12，图12是根据另一示例性实施例示出的一种图像处理方法的流程图。如图12所示，步骤S320中根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像的过程，可以包括如下步骤：
步骤S321，将目标对象图像和模板对象图像输入至训练完成的特征更换模型中，得到特征更换模型输出的目标对象图像中目标对象的对象身份特征和模板对象图像中模板对象的对象附加属性特征。
本示例性实施例中，将目标对象图像输入特征更换模型的面部关键属性提取网络中，将模板对象图像输入特征更换模型的面部附加属性提取网络中，该面部关键属性提取网络和面部附加属性提取网络中包括多个卷积层，以基于面部关键属性提取网络中的多个卷积层对目标对象进行面部关键属性提取，得到目标对象的对象身份特征，基于面部附加属性提取网络中的多个卷积层对模板对象进行面部附加属性提取，得到模板对象的对象附加属性特征。
例如，面部关键属性提取网络中的前一个卷积层输出的特征图用于输入后一个卷积层，各卷积层可对应有不同的分辨率参数，进而各卷积层可生成对应宽度、高度以及深度的特征图，其中，宽度、高度以及深度与卷积层上卷积核的大小以及卷积核的个数相关。各卷积层匹配有对应的全连接层，各全连接层将对应的卷积层输出的特征图投影、嵌入到相应的特征空间中，得到各卷积层对应的特征向量，并将最后一个卷积层输出的特征向量作为对象身份特征。
在一些实施方式中，将目标对象图像和模板对象图像输入至训练完成的特征更换模型中，得到特征更换模型输出的目标对象图像中目标对象的对象身份特征和模板对象图像中模板对象的对象附加属性特征，包括：对目标对象图像包含的目标对象进行识别，得到目标对象对应的待更换区域；从待更换区域中提取至少两个子身份特征信息，其中，至少两个子身份特征信息用于表示待更换区域中不同位置的对象身份信息；将至少两个子身份特征信息进行融合，得到目标对象图像中目标对象的对象身份特征。
可选地，面部子区域包括但不限于理解为脸部部位类型维度，如脸部部位类型包括但不限于耳朵类型、眼睛类型、嘴巴类型等。
在本实施例中，对目标对象进行识别得到目标对象对应的待更换区域，以从待更换区域中提取至少两个面部子区域的面部子区域图像，如面部子区域图像包括眼睛子区域对应的眼睛图像以及耳朵子区域对应的耳朵图像等。然后，获取各个面部子区域图像对应的编码特征，以获得多个子身份特征信息，如子身份特征信息包括眼睛编码特征以及耳朵编码特征。进一步的，基于多个子身份特征信息进行拼接，以获得目标对象的对象身份特征。
通过对待更换区域中包含的面部子区域分别进行特征提取，可解除目标对象的脸部图像与模板对象的脸部图像之间的直接耦合关系，进而提高换脸效果，使后续得到的虚拟对象更加真实。
步骤S322，对目标对象的对象身份特征和模板对象的对象附加属性特征进行融合处理，得到虚拟对象。
示例性的，将目标对象的对象身份特征和模板对象的对象附加属性特征输入该特征更换模型中的图像生成网络，经该图像生成网络中的多个级联的特征融合网络层对对象身份特征和对象附加属性特征依次融合后，得到虚拟对象，该虚拟对象中包括目标对象的对象身份特征和模板对象的对象附加属性特征。
其中，面部关键属性提取网络和面部附加属性提取网络中包括多个卷积层时，将每个卷积层输出的特征图作为下一卷积层以及对应特征融合网络层的输入。这里的对应特征融合网络层是指与当前输出的特征图的大小匹配的特征融合网络层，即每个特征融合网络层的输入包括上一层特征融合网络层的输出、面部关键属性提取网络中对应卷积层的输出以及面部附加属性提取网络中对应卷积层的输出。多个级联的特征融合网络层将不同层次的对象身份特征以及对象附加属性特征依次融合，得到最终的虚拟对象，该虚拟对象中不仅包括目标对象的对象身份特征，而且还包括模板对象的对象附加属性特征。
步骤S323，根据虚拟对象得到初始特征更换图像。
其中，可以理解的是，初始特征更换图像包括人物内容与背景内容，初始特征更换图像的人物内容包含有虚拟对象，初始特征更换图像的背景内容可以与目标对象图像的背景内容一致，也可以与模板对象图像的背景内容一致，也可以是其它背景内容，如用户指定的其它背景内容，本申请对此不做限制。
可选地，在本申请实施例中，上述图像处理方法包括但不限于应用在视频场景下。例如在视频会议场景中，在检测到会议对象所在的终端触发换脸请求后，获取该换脸请求中携带的用户指定的目标对象图像以及模板对象图像，然后根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像。其中，模板对象图像可以是会议对象所在的终端获取的会议视频中的视频帧。进一步的，为了提高换脸图像的真实性，获取模板对象图像中模板对象的妆容特征，妆容特征包括但不限于鼻子妆容特征、眼睛妆容特征、嘴巴妆容特征等，并将妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。然后，按照上述确定出的目标特征更换图像对会议对象所在的终端的当前会议画面上所显示的图像进行处理，以对目标特征更换图像进行显示，进而实现在会议对象的视频会议过程中，持续显示人脸更换后的目标特征更换图像。
可选的，在本申请实施例中，上述图像处理方法包括但不限于应用在影视制作场景下。例如，视频短片中包括多人物对象，根据用户针对该多个人物对象执行的选择操作生成包含有目标对象图像以及模板对象图像的换脸请求，其中，目标对象图像以及模板对象图像中的至少一者为视频短片中包含的人物对象。然后，根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像，初始特征更换图像中包含有虚拟对象。进一步的，获取模板对象图像中模板对象的妆容特征，妆容特征包括但不限于鼻子妆容特征、眼睛妆容特征、嘴巴妆容特征等，并将妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。目标特征更换图像中包含有具有模板对象的完整的妆容特征的虚拟对象，将目标特征更换图像中的虚拟对象对视频短片中的包含有目标对象的所有视频帧进行处理，以将这些视频帧中的目标对象替换为目标特征更换图像中的虚拟对象，得到处理后的视频短片。
由此可见，在本申请的实施例提供的技术方案中，通过获取目标对象图像以及模板对象图像，根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像，以对模板对象中的对象身份特征进行初步替换。然后，将模板对象中的妆容特征迁移至特征更换处理得到的初始特征更换图像包含的虚拟对象中，以保证妆容迁移后的虚拟对象中保留模板对象中完整的妆容特征，使得到的目标特征更换图像更加准确。
图13是本申请的一示例性实施例示出的图像处理装置的框图。该图像处理装置可以应用于图1所示的实施环境。该图像处理装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图13所示，该示例性的图像处理装置1300包括：图像获取模块1310、特征更换模块1320和妆容迁移模块1330。具体的：
图像获取模块1310，配置为获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像。
特征更换模块1320，配置为根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；其中，初始特征更换图像中包含虚拟对象，虚拟对象具有目标对象的对象身份特征和模板对象的对象附加属性特征。
妆容迁移模块1330，配置为将模板对象的妆容特征迁移至初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
在该示例性的图像处理装置中，为了提高人脸更换的效果，根据目标对象图像对模板对象图像进行特征更换处理后，再将模板对象中的妆容特征迁移至特征更换处理得到的初始特征更换图像包含的虚拟对象中，以保证妆容迁移后的虚拟对象中保留模板对象中完整的妆容特征，使得到的目标特征更换图像更加准确，且由于妆容迁移前的虚拟对象和模板对象具有除妆容特征外相同的对象附加属性特征，即妆容迁移前的虚拟对象和模板对象之间具有较高的相似度，进而便于后续的妆容迁移过程，以提高妆容迁移的精度。
在上述示例性的实施例基础上，妆容迁移模块1330还包括第一编码模块、第二编码模块、解码模块。具体的：
第一编码模块，配置为将模板对象图像输入至训练完成的妆容迁移模型包含的第一编码网络中，得到第一编码网络输出的模板对象的妆容特征。
第二编码模块，配置为将初始特征更换图像输入至妆容迁移模型包含的第二编码网络和多层感知机中，得到第二编码网络输出的虚拟对象的虚拟对象特征和多层感知机输出的虚拟对象的风格特征。
解码模块，配置为将模板对象的妆容特征、虚拟对象的虚拟对象特征和虚拟对象的风格特征输入至妆容迁移模型包含的解码网络中，得到解码网络输出的目标特征更换图像。
在该示例性的图像处理装置中，通过妆容迁移模型包含的多层感知机对初始特征更换图像中的虚拟对象进行风格提取，以得到多层感知机输出的虚拟对象的风格特征，即将虚拟对象对应的潜在因子转换成更加解纠错的中间潜在空间，该中间潜在空间即为虚拟对象的风格特征，使风格特征包含多个彼此独立的特征，以便解码网络更容易地执行渲染，同时避免训练数据中不曾出现的特征组合，使得到的妆容迁移后的目标特征更换图像更加清晰，且保留有更加精细的模板对象的妆容特征。
在上述示例性的实施例基础上，解码模块还包括缩放计算模块、归一化计算模块和解码子单元。具体的：
缩放计算模块，配置为根据预设的缩放比例调整解码网络的卷积权重，得到缩放卷积权重。
归一化计算模块，配置为对缩放卷积权重进行归一化，得到新的解码网络。
解码子单元，配置为根据新的解码网络对模板对象的妆容特征、虚拟对象的虚拟对象特征和虚拟对象的风格特征进行解码计算，得到解码网络输出的目标特征更换图像。
在该示例性的图像处理装置中，通过对解码网络中的卷积权重进行更新，以将输入的特征解缠得更好，从而进一步提高生成目标特征更换图像的质量。
在上述示例性的实施例基础上，第一编码网络和第二编码网络分别包括多个编码网络层，解码网络包括多个解码网络层；第一编码网络和第二编码网络中各个编码网络层的输出作为编码网络层对应的下一编码网络层以及解码网络层的输入。
在该示例性的图像处理装置中，通过第一编码网络和第二编码网络分别包括的多个编码网络层，依次对模板对象图像进行特征提取得到模板对象的妆容特征，以及依次对初始特征更换图像进行特征提取得到虚拟对象的虚拟对象特征，进而可以充分提取多层次下的人脸特征，并通过解码网络包括的多个解码网络层依次对输入的特征图进行解码处理，使解码网络输出的目标特征更换图像上更完整的保留模板对象的妆容特征，提高目标特征更换图像的质量。
在上述示例性的实施例基础上，图像处理装置1300还包括训练样本获取模块，预测图像获取模块以及网络参数修正模块，具体的：
训练样本获取模块，配置为获取训练样本三元组，训练样本三元组包括模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像。
预测图像获取模块，配置为将模板对象样本图像和初始特征更换样本图像输入至妆容迁移模型中，得到妆容迁移模型输出的预测图像。
网络参数修正模块，配置为根据预测图像和目标特征更换样本图像，修正妆容迁移模型的网络参数，得到训练完成的妆容迁移模型。
在该示例性的图像处理装置中，根据训练样本三元组对妆容迁移模型进行训练，将目标特征更换样本图像作为目标输出，以根据预测图像和目标特征更换样本图像之间的差距，更新妆容迁移模型的网络参数，得到训练完成的妆容迁移模型，使妆容迁移模型学习得到妆容迁移的能力。
在上述示例性的实施例基础上，训练样本获取模块包括图像获取单元、人脸更换单元、妆容素材添加单元和训练样本确认单元。具体的：
图像获取单元，配置为获取初始模板对象样本图像和目标对象样本图像。
人脸更换单元，配置为根据目标对象样本图像对初始模板对象样本图像进行特征更换处理，得到初始特征更换样本图像。
妆容素材添加单元，配置为根据妆容素材库对初始特征更换样本图像和初始模板对象样本图像进行妆容素材添加处理，得到目标特征更换样本图像和模板对象样本图像。
训练样本确认单元，配置为根据模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像得到训练样本三元组。
在该示例性的图像处理装置中，通过对目标对象样本图像对初始模板对象样本图像进行特征更换处理，并对初始特征更换样本图像和初始模板对象样本图像进行妆容素材添加处理，可以得到大量的训练样本三元组，且保证了训练样本三元组的质量，以得到更加精确的妆容迁移模型。
在上述示例性的实施例基础上，网络参数修正模块包括判别模块、损失函数值计算模块及参数修正模块。具体的：
判别模块，配置为将预测图像和目标特征更换样本图像输入至判别网络中，得到判别网络输出的判别结果；其中，判别结果用于表征预测图像和目标特征更换样本图像中为预测目标输出的图像。
损失函数值计算模块，配置为将目标特征更换样本图像作为实际目标输出，根据预测目标输出和实际目标输出，计算得到损失函数值。
参数修正模块，配置为根据损失函数值修正妆容迁移模型的网络参数。
在该示例性的图像处理装置中，通过判别网络判断输入的预测图像和目标特征更换样本图像的真实性，以验证预测图像是否可以被判别网络判断为实际目标输出，进而基于判别结构计算损失函数值，根据损失函数值反向调整妆容迁移模型的网络参数，使得到的妆容迁移模型更加准确。
在上述示例性的实施例基础上，特征更换模块1320包括特征提取模块、特征融合模块及初始特征更换图像获取模块。具体的：
特征提取模块，配置为将目标对象图像和模板对象图像输入至训练完成的特征更换模型中，得到特征更换模型输出的目标对象图像中目标对象的对象身份特征和模板对象图像中模板对象的对象附加属性特征。
特征融合模块，配置为对目标对象的对象身份特征和模板对象的对象附加属性特征进行融合处理，得到虚拟对象。
初始特征更换图像获取模块，配置为根据虚拟对象得到初始特征更换图像。
在该示例性的图像处理装置中，通过对目标对象图像中的目标对象进行特征提取得到对象身份特征，并通过对模板对象图像中的模板对象进行特征提取得到对象附加属性特征，进而对对象身份特征和对象附加属性特征进行融合处理，得到虚拟对象，使虚拟对象同时包含目标对象的对象身份特征和模板对象的对象附加属性特征。
在上述示例性的实施例基础上，特征提取模块包括待更换区域识别模块、子区域信息提取模块及信息融合模块。具体的：
待更换区域识别模块，配置为对目标对象图像包含的目标对象进行识别，得到目标对象对应的待更换区域。
子区域信息提取模块，配置为从待更换区域中提取至少两个子身份特征信息，其中，至少两个子身份特征信息用于表示待更换区域中不同位置的对象身份信息；
信息融合模块，配置为将至少两个子身份特征信息进行融合，得到目标对象图像中目标对象的对象身份特征。
在该示例性的图像处理装置中，通过对目标对象划分为多个子区域，以对多个子区域分别进行特征提取，得到多个子身份特征信息，进而再对多个子身份特征信息进行融合，以得到目标对象的对象身份特征，可解除目标对象的脸部图像与模板对象的脸部图像之间的直接耦合关系，进而提高换脸效果，使后续得到的虚拟对象更加真实。
需要说明的是，上述实施例所提供的图像处理装置与上述实施例所提供的图像处理方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的图像处理装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的图像处理方法。
图14示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图14示出的电子设备的计算机系统1400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图14所示，计算机系统1400包括中央处理单元(Central Processing Unit，CPU)1401，其可以根据存储在只读存储器(Read-Only Memory，ROM)1402中的程序或者从储存部分1408加载到随机访问存储器(Random Access Memory，RAM)1403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1403中，还存储有系统操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(Input/Output，I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1407；包括硬盘等的储存部分1408；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入储存部分1408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的图像处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的图像处理方法。
上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像；
根据所述目标对象图像对所述模板对象图像进行特征更换处理，得到初始特征更换图像；其中，所述初始特征更换图像中包含虚拟对象，所述虚拟对象具有所述目标对象的对象身份特征和所述模板对象的对象附加属性特征；
将所述模板对象的妆容特征迁移至所述初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述模板对象的妆容特征迁移至所述初始特征更换图像包含的虚拟对象中，得到目标特征更换图像，包括：
将所述模板对象图像输入至训练完成的妆容迁移模型包含的第一编码网络中，得到所述第一编码网络输出的所述模板对象的妆容特征；
将所述初始特征更换图像输入至所述妆容迁移模型包含的第二编码网络和多层感知机中，得到所述第二编码网络输出的所述虚拟对象的虚拟对象特征和所述多层感知机输出的所述虚拟对象的风格特征；
将所述模板对象的妆容特征、所述虚拟对象的虚拟对象特征和所述虚拟对象的风格特征输入至所述妆容迁移模型包含的解码网络中，得到所述解码网络输出的目标特征更换图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述模板对象的妆容特征、所述虚拟对象的虚拟对象特征和所述虚拟对象的风格特征输入至所述妆容迁移模型包含的解码网络中，得到所述解码网络输出的目标特征更换图像，包括：
根据预设的缩放比例调整所述解码网络的卷积权重，得到缩放卷积权重；
对所述缩放卷积权重进行归一化，得到新的解码网络；
根据所述新的解码网络对所述模板对象的妆容特征、所述虚拟对象的虚拟对象特征和所述虚拟对象的风格特征进行解码计算，得到所述解码网络输出的目标特征更换图像。
4.根据权利要求2所述的方法，其特征在于，所述第一编码网络和所述第二编码网络分别包括多个编码网络层，所述解码网络包括多个解码网络层；所述第一编码网络和所述第二编码网络中各个编码网络层的输出作为所述编码网络层对应的下一编码网络层以及解码网络层的输入。
5.根据权利要求2所述的方法，其特征在于，所述妆容迁移模型的训练过程包括：
获取训练样本三元组，所述训练样本三元组包括模板对象样本图像、初始特征更换样本图像和目标特征更换样本图像；
将所述模板对象样本图像和所述初始特征更换样本图像输入至妆容迁移模型中，得到所述妆容迁移模型输出的预测图像；
根据所述预测图像和所述目标特征更换样本图像，修正所述妆容迁移模型的网络参数，得到所述训练完成的妆容迁移模型。
6.根据权利要求5所述的方法，其特征在于，所述获取训练样本三元组，包括：
获取初始模板对象样本图像和目标对象样本图像；
根据所述目标对象样本图像对所述初始模板对象样本图像进行特征更换处理，得到初始特征更换样本图像；
根据妆容素材库对所述初始特征更换样本图像和所述初始模板对象样本图像进行妆容素材添加处理，得到目标特征更换样本图像和模板对象样本图像；
根据所述模板对象样本图像、所述初始特征更换样本图像和所述目标特征更换样本图像得到所述训练样本三元组。
7.根据权利要求5所述的方法，其特征在于，所述根据所述预测图像和所述目标特征更换样本图像，修正所述妆容迁移模型的网络参数，包括：
将所述预测图像和所述目标特征更换样本图像输入至判别网络中，得到所述判别网络输出的判别结果；其中，所述判别结果用于表征所述预测图像和所述目标特征更换样本图像中为预测目标输出的图像；
将所述目标特征更换样本图像作为实际目标输出，根据所述预测目标输出和所述实际目标输出，计算得到损失函数值；
根据所述损失函数值修正所述妆容迁移模型的网络参数。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述目标对象图像对所述模板对象图像进行特征更换处理，得到初始特征更换图像，包括：
将所述目标对象图像和所述模板对象图像输入至训练完成的特征更换模型中，得到所述特征更换模型输出的所述目标对象图像中目标对象的对象身份特征和所述模板对象图像中模板对象的对象附加属性特征；
对所述目标对象的对象身份特征和所述模板对象的对象附加属性特征进行融合处理，得到虚拟对象；
根据所述虚拟对象得到所述初始特征更换图像。
9.根据权利要求8所述的方法，其特征在于，所述将所述目标对象图像和所述模板对象图像输入至训练完成的特征更换模型中，得到所述特征更换模型输出的所述目标对象图像中目标对象的对象身份特征和所述模板对象图像中模板对象的对象附加属性特征，包括：
对所述目标对象图像包含的目标对象进行识别，得到所述目标对象对应的待更换区域；
从所述待更换区域中提取至少两个子身份特征信息，其中，所述至少两个子身份特征信息用于表示所述待更换区域中不同位置的对象身份信息；
将所述至少两个子身份特征信息进行融合，得到所述目标对象图像中目标对象的对象身份特征。
10.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，配置为获取包含目标对象的目标对象图像，以及获取包含模板对象的模板对象图像；
特征更换模块，配置为根据目标对象图像对模板对象图像进行特征更换处理，得到初始特征更换图像；其中，所述初始特征更换图像中包含虚拟对象，所述虚拟对象具有所述目标对象的对象身份特征和所述模板对象的对象附加属性特征；
妆容迁移模块，配置为将所述模板对象的妆容特征迁移至所述初始特征更换图像包含的虚拟对象中，得到目标特征更换图像。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的图像处理方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令在被处理器执行时用于实现如权利要求1至9中任一项所述的图像处理方法。
CN202210537076.2A 2022-05-17 2022-05-17 图像处理方法、装置、存储介质、设备及产品 Pending CN115147261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537076.2A CN115147261A (zh) 2022-05-17 2022-05-17 图像处理方法、装置、存储介质、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537076.2A CN115147261A (zh) 2022-05-17 2022-05-17 图像处理方法、装置、存储介质、设备及产品

Publications (1)

Publication Number Publication Date
CN115147261A true CN115147261A (zh) 2022-10-04

Family

ID=83406387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537076.2A Pending CN115147261A (zh) 2022-05-17 2022-05-17 图像处理方法、装置、存储介质、设备及产品

Country Status (1)

Country Link
CN (1) CN115147261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091857A (zh) * 2022-10-17 2023-05-09 北京百度网讯科技有限公司 图像处理模型的训练方法、图像处理方法和装置
CN116596752A (zh) * 2023-07-19 2023-08-15 腾讯科技（深圳）有限公司 脸部图像替换方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091857A (zh) * 2022-10-17 2023-05-09 北京百度网讯科技有限公司 图像处理模型的训练方法、图像处理方法和装置
CN116091857B (zh) * 2022-10-17 2023-10-20 北京百度网讯科技有限公司 图像处理模型的训练方法、图像处理方法和装置
CN116596752A (zh) * 2023-07-19 2023-08-15 腾讯科技（深圳）有限公司 脸部图像替换方法、装置、设备及存储介质
CN116596752B (zh) * 2023-07-19 2023-12-08 腾讯科技（深圳）有限公司 脸部图像替换方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN110503703A (zh) 用于生成图像的方法和装置
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
WO2022057526A1 (zh) 三维模型重建方法、三维重建模型的训练方法和装置
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN109241934A (zh) 用于生成信息的方法和装置
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN113570685A (zh) 图像处理方法及装置、电子设备、存储介质
CN109285181A (zh) 用于识别图像的方法和装置
CN110516598A (zh) 用于生成图像的方法和装置
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN117218398A (zh) 一种数据处理的方法以及相关装置
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN112069877B (zh) 一种基于边缘信息和注意力机制的人脸信息识别方法
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination