CN114022931A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114022931A
CN114022931A CN202111275627.4A CN202111275627A CN114022931A CN 114022931 A CN114022931 A CN 114022931A CN 202111275627 A CN202111275627 A CN 202111275627A CN 114022931 A CN114022931 A CN 114022931A
Authority
CN
China
Prior art keywords
model
face image
preset
image
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111275627.4A
Other languages
English (en)
Inventor
程紫阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111275627.4A priority Critical patent/CN114022931A/zh
Publication of CN114022931A publication Critical patent/CN114022931A/zh
Priority to PCT/CN2022/122489 priority patent/WO2023071694A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质,其中该方法包括:将待处理人脸图像输入预设模型;通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;其中,所述预设模型基于预设对象的注意力图训练生成。由于预设模型基于预设对象的注意力图训练,能够先基于不成对的数据训练生成预设对象的注意力图,再利用预设对象的注意力图训练去除人脸图像中预设对象。从而可实现基于不成对的数据训练用于去除人脸图像中预设对象的模型,降低训练成本。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
现如今,人脸图像的美化功能已广泛应用于各类应用软件中,例如图像/视频的编辑软件、拍摄软件等。
现有技术中,通常需要采集大量成对数据(即同一人不同状态的图像)进行模型训练,并基于训练后的模型实现人脸图像中不同人脸状态的转换。现有技术的不足之处至少包括,成对数据的采集难度大,不易获得,提高了训练成本。
发明内容
本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质,能够实现基于不成对的数据训练用于去除人脸图像中预设对象的模型,可降低训练成本。
第一方面,本公开实施例提供了一种图像处理方法,包括:
将待处理人脸图像输入预设模型;
通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;
其中,所述预设模型基于预设对象的注意力图训练生成。
第二方面,本公开实施例还提供了一种图像处理装置,包括:
输入模块,用于将待处理人脸图像输入预设模型;
输出模块,用于通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;
其中,所述预设模型基于预设对象的注意力图训练生成。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
本公开实施例的技术方案,将待处理人脸图像输入预设模型;通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像;其中,预设模型基于预设对象的注意力图训练生成。由于预设模型基于预设对象的注意力图训练,能够先基于不成对的数据训练生成预设对象的注意力图,再利用预设对象的注意力图训练去除人脸图像中预设对象。从而可实现基于不成对的数据训练用于去除人脸图像中预设对象的模型,降低训练成本。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例一所提供的一种图像处理方法的流程示意图;
图2为本公开实施例一所提供的一种图像处理方法中预设模型训练步骤的流程示意图;
图3为本公开实施例二所提供的一种图像处理方法中预设模型训练步骤的示意图;
图4为本公开实施例三所提供的一种图像处理方法中预设模型训练步骤的流程示意图;
图5为本公开实施例三所提供的一种图像处理方法中预设模型训练步骤的示意图;
图6为本公开实施例四所提供的一种图像处理装置的结构示意图;
图7为本公开实施例五所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
实施例一
图1为本公开实施例一所提供的一种图像处理方法的流程示意图。本公开实施例适用于利用不成对数据训练得到的预设模型去除图像中预设对象的情形。该方法可以由图像处理装置来执行,该装置可以通过软件和/或硬件的形式实现。
如图1所示,本实施例提供的图像处理方法,包括:
S110、将待处理人脸图像输入预设模型;
S120、通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像。
执行本公开实施例提供的图像处理方法的装置,可集成于支持图像处理功能的应用软件中,且可随应用软件安装于服务器、手机、电脑等电子设备中。其中,应用软件可以为涉及图像/视频的多媒体类应用软件,例如图像/视频编辑软件、拍摄软件、多媒体分享类软件和多媒体通信类软件等,在此不做穷举。
当电子设备运行该些应用软件时,应用软件可调用电子设备的图像采集功能采集待处理人脸图像,也可读取的电子设备存储空间中的待处理人脸图像。其中,待处理人脸图像可以为包含预设对象的人脸图像。其中,预设对象可以理解为人脸图像中期望被去除的对象,例如可以包括但不限于胡子、刘海或眼袋等对象。
应用软件还可接收待处理人脸图像的处理指令。并且,可响应于该处理指令调用图像处理装置,以通过图像处理装置将待处理人脸图像输入预设模型,通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像。通过利用预设模型进行人脸图像处理,能够实现去除图像中预设对象的特效玩法,提高用户体验。
其中,预设模型可以认为是机器学习模型,例如神经网络模型,且预设模型可以基于预设对象的注意力图训练生成。预设模型的训练过程可以包括,先基于不成对的数据训练生成预设对象的注意力图,再利用预设对象的注意力图训练去除人脸图像中预设对象。
其中,若一组图像中的图像与另一组图像中的图像可以两两配对,则可以认为该两组图像为成对的数据;反之,若存在不能配对的图像,则可以认为该两组图像为不成对的数据。其中,若两图像的区别在于是否存在预设对象,而其他预设因素一致(例如属于同一个体、环境光照一致、位置姿态一致等),则可以认为两图像配对。在本实施例中,可以将属于任意个体的、存在预设对象和不存在预设对象的两组图像,作为不成对的数据。
在机器学习领域,注意力机制可以包括基于显著性的注意力机制。本实施例中,可基于显著性的注意力机制训练生成预设对象的注意力图,例如可以包括:根据输入的不成对的数据的显著区别(例如是否存在预设对象),从输入数据中选择该区别的数据进行重点处理,忽略其他数据,以确定预设对象的注意力图。并且,在确定预设对象的注意力图之后,可以根据预设对象的注意力图中预设对象的位置,训练将对应的原图像中的预设对象进行去除。
由于预设模型基于预设对象的注意力图训练,能够先基于不成对的数据训练生成预设对象的注意力图,再利用预设对象的注意力图训练去除人脸图像中预设对象。从而可实现基于不成对的数据训练用于去除人脸图像中预设对象的模型,降低训练成本。
示例性的,图2为本公开实施例一所提供的一种图像处理方法中预设模型训练步骤的流程示意图。参见图2,在一些可选的实现方式中,预设模型可基于下述步骤生成:
S210、基于包含预设对象的第一人脸图像以及不包含预设对象的第二人脸图像训练第一模型。
其中,第一人脸图像中包含有预设对象,第二人脸图像中不包含预设对象,且第一人脸图像和第二人脸图像可以为不成对的人脸图像。第一人脸图像和第二人脸图像的获取方式,可以包括下述至少一种:在人脸图像所属用户的授权下采集得到;对虚拟人物渲染得到;利用网络自动生成。此外,还可以通过其他方式获取第一人脸图像和第二人脸图像,在此不做穷举。理论上获取的第一人脸图像和第二人脸图像的数量越多、图中人物的角度/光线越多样,越有利于第一模型的学习训练。
其中,第一模型可以认为是机器学习模型,例如神经网络模型。由于第一人脸图像和第二人脸图像是按有无包含预设对象进行分类的,可以认为预设对象为两类图像显著区别之处。而预设对象的注意力图,可以认为第一模型在基于显著性的注意力机制下,将人脸图像中包含的预设对象进行突出显示后输出的图像。其中,将预设对象进行突出显示的方式,可以为将预设对象的像素点的像素值设置为与其他像素点的像素值不同,例如将预设对象的像素点设置为白色对应的像素值,将其他像素点的像素值设置为黑色对应的像素值。
其中,第一模型可以通过训练来自动区分第一人脸图像和第二人脸图像这两类图像的差别,实现预设对象的定位。基于不成对的第一人脸图像和第二人脸图像对第一模型进行训练,可以包括:在第一模型仅确定第一人脸图像和第二人脸图像的分类的情况下,通过弱监督学习预测两类图像的显著区别之处;在学习过程中,以提高预测准确度为目标修改第一模型中各层网络的参数,从而实现第一模型的训练。
S220、通过训练完毕的第一模型输出第一人脸图像中预设对象的注意力图。
其中,训练完毕的第一模型可以实现预设对象的定位,并将预设对象的像素点进行突出显示,以得到预设对象的注意力图。
S230、基于第一人脸图像以及注意力图训练第二模型。
其中,第二模型也可以认为是机器学习模型,例如神经网络模型。通常注意力图与第一人脸图像的分辨率相同。第二模型可以根据注意力图中预设对象的位置,对第一人脸图像中对应的预设对象进行处理,输出第一人脸图像去除预设对象后的图像。并且,可以根据第二模型输出的图像与第二人脸图像对第二模型进行训练,以使第二模型输出的图像可趋近于不包含预设对象的图像。
S240、基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型。
通过利用不成对的第一人脸图像和第二人脸图像,先对第一模型进行第一阶段的训练,能够使得第一模型自动区分出第一人脸图像和第二人脸图像的差别,以定位出预设对象并输出预设对象的注意力图。通过根据注意力图和第一人脸图训练第二模型,能够使第二模型实现去除预设对象的效果。
在第一模型和第二模型训练完毕后,利用第一模型和第二模型生成预设模型,可以包括但不限于:将第一模型和第二模型作为子模型进行组合,得到预设模型;或者,根据第一模型和第二模型将不成对的数据处理为成对的数据,根据成对的数据进行模型训练,得到预设模型。
本公开实施例的技术方案,将待处理人脸图像输入预设模型;通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像;其中,预设模型基于预设对象的注意力图训练生成。由于预设模型基于预设对象的注意力图训练,能够先基于不成对的数据训练生成预设对象的注意力图,再利用预设对象的注意力图训练去除人脸图像中预设对象。从而可实现基于不成对的数据训练用于去除人脸图像中预设对象的模型,降低训练成本。
实施例二
本公开实施例与上述实施例中所提供的图像处理方法中预设模型训练的各个可选方案可以结合。本实施例对第一模型和第二模型的训练步骤进行了详细描述。
本公开实施例中,第一模型可以基于下述步骤训练:
将第一人脸图像和第二人脸图像的图像标签进行区别设置;将第一人脸图像、第二人脸图像以及各图像对应的图像标签,输入第一模型;通过第一模型确定候选对象,并根据候选对象输出第一人脸图像和第二人脸图像的预测标签;根据预测标签与设置的图像标签训练第一模型,并将训练完毕的第一模型确定的候选对象作为预设对象。
其中,可以为第一人脸图像和第二人脸图像分别设置图像标签,且两图像标签可以唯一对应该两类图像。其中,图像标签可以由文字、字母、数字和特殊符号等至少一种元素构成,例如,第一人脸图像的图像标签可以设置为“正样本”,第二人脸图像的图像标签可以设置为“负样本”等。
通过将第一人脸图像、第二人脸图像和各图像的图像标签输入第一模型,能够使第一模型确定第一人脸图像和第二人脸图像的分类。第一模型在确定人脸图像分类后,可以循环确定候选对象,并根据当前循环中确定的候选对象对输入的人脸图像重新分类,得到各人脸图像的预测标签。可以以预测标签和设置的图像标签一致为目标对第一模型进行训练,以训练第一模型能够准确区分出第一人脸图像和第二人脸图像的显著区别,即定位出预设对象。
示例性的,图3为本公开实施例二所提供的一种图像处理方法中预设模型训练步骤的示意图。参见图3,大量不成对的第一人脸图像A’和第二人脸图像B,可以输入第一模型M1,以使第一模型M1可以通过训练自动定位第一人脸图像A’和第二人脸图像B中差别的预设对象(例如胡子),并输出预设对象的注意力图a。
本公开实施例中,第二模型可以基于下述步骤训练:
将第一人脸图像和注意力图输入第二模型,通过第二模型输出去除第一人脸图像中预设对象的第三人脸图像;将第二人脸图像和第三人脸图像输入第一判别器,并根据第一判别器的判别结果训练第二模型。
其中,注意力图为第一模型训练完毕时输出的预设对象的注意力图,该注意力图在第二模型的训练过程中可不再更新。由于注意力图中突出显示了预设对象,第二模型可以根据注意力图确定预设对象在第一人脸图像中的位置,并可以根据该位置将第一人脸图像中的预设对象进行去除,得到第三人脸图像。
再次参见图3,输入第一模型M1的第一人脸图像A’和第一模型M1输出的注意力图a,可以作为第二模型M2的输入,以使第二模型M2输出去除第一人脸图像A’中预设对象的第三人脸图像A。
其中,第二模型和第一判别器可以组成生成对抗网络,且可随生成对抗网络进行训练,该训练过程也可以包括两阶段:一、训练第一判别器阶段,即在第二模型参数固定的情况下,使用第二模型输出第三人脸图像;将第三人脸图像和第二人脸图像输入第一判别器,以通过第一判别器判别该些人脸图像,是属于真实的不包含预设对象的人脸图像,还是属于经第二模型去除预设对象的人脸图像。并且,可以在以提高判别结果的正确率为目标,训练该第一判别器。二、训练第二模型阶段,即在第一判别器参数固定的情况下,以第一判别器无法区分第二人脸图像和第三人脸图像为目标,训练第二模型。生成对抗网络的该两阶段训练过程可以依次循环训练,且可先对第二模型进行训练也可先对第一判别器进行训练,可以循环至预设条件停止训练。其中预设条件可以包括但不限于循环了预设次数,第一判别器的准确度高达一定精度等等,在此不做穷举。
又参见图3,可以将第二人脸图像B和第三人脸图像A输入第一判别器D1,以通过第一判别器D1判别该些人脸图像,是属于真实的不包含预设对象的人脸图像,还是属于经第二模型M2去除预设对象的人脸图像。并且,可以在以提高判别结果的正确率为目标训练该第一判别器D1。在第一判别器D1训练后,可固定第一判别器D1的参数,以第一判别器D1无法区分第二人脸图像B和第三人脸图像A为目标,训练第二模型M2。
通过第二模型和第一判别器之间相互博弈的训练,可以提高第二模型去除预设对象的效果。通过基于不成对的数据训练用于去除人脸图像中预设对象的模型,能够显通降低模型训练过程对成对数据的依赖,从而可减少成本。
在一些可选的实现方式中,通过第二模型输出去除第一人脸图像中预设对象的第三人脸图像,可以包括:通过第二模型根据注意力图,对第一人脸图像中预设对象对应的像素点进行处理,输出去除预设对象的第三人脸图像。
在这些可选的实现方式中,第二模型可以根据注意力图确定预设对象在第一人脸图像中的像素点的坐标位置,并可以根据该坐标位置将第一人脸图像中的预设对象进行逐像素点的处理,以得到去除预设对象第三人脸图像。其中,将第一人脸图像中的预设对象进行逐像素点的处理,可以包括逐像素点更改预设对象的像素值。其中,更改预设对象的像素值可以包括利用与预设对象的像素点周围相邻的像素点的像素值,或利用人脸组织其他位置的像素点的像素值,对预设对象的像素点的像素值进行更改,以达到去除预设对象的效果。
在一些进一步的实现方式中,对第一人脸图像中预设对象对应的像素点进行处理,包括:将第一人脸图像中未被注意力图标记的像素点,复制并转移至注意力图标记的像素点的位置;其中,注意力图标记的像素点属于预设对象。在这些进一步的实现方式中,注意力图中可以逐像素点标记预设对象。相应的,第二模型可以将未被标记的像素点复制并转移至标记的像素点的位置处,以覆盖原有的被标记的预设对象,从而达到去除预设对象的目的。
此外,在输出去除预设对象的第三人脸图像之前,还可以包括:对第三人脸图像进行预设调整处理。其中,预设调整可以图像微调,例如为对图像像素值进行平滑、滤波等处理,以使根据注意力图去除预设对象后的粗糙结果更加真实自然。
本公开实施例的技术方案,对第一模型和第二模型的训练步骤进行了详细描述。通过第一模型循环确定候选对象,根据当前循环中确定的候选对象对输入的第一/二人脸图像重新分类,可得到各人脸图像的预测标签;并且以预测标签和设置的图像标签一致为目标进行训练第一模型,能够使训练完毕的第一模型准确区分出第一人脸图像和第二人脸图像的显著区别,即定位出预设对象。通过第二模型和第一判别器之间相互博弈的训练,可以提高第二模型去除预设对象的效果。通过基于不成对的数据训练用于去除人脸图像中预设对象的模型,能够显通降低模型训练过程对成对数据的依赖,从而可减少成本。
本公开实施例提供的图像处理方法中模型训练的方案与上述实施例提供的图像处理方法中模型训练的方案属于同一公开构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
实施例三
本公开实施例与上述实施例中所提供的图像处理方法中预设模型训练的各个可选方案可以结合。本实施例对根据训练完毕的第一模型和训练完毕的第二模型生成预设模型的步骤进行了详细描述。
在一些可选的实现方式中,基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型,包括:将训练完毕的第一模型的输出层与训练完毕的第二模型的输入层建立连接,整合得到预设模型。
在这些可选的实现中,可以将第一模型和第二模型作为子模型进行整合,得到去除图像中预设对象的模型。其中,将训练完毕的第一模型的输出层与训练完毕的第二模型的输入层建立连接,可以包括:将第一模型输出注意力图的输出层作为第二模型的输入层,且将第一模型输入第一人脸图像的输入层与第二模型的输入层建立连通关系。通过使用不成对的人脸图像可以对整合的模型进行两个阶段的训练,即利用第一人脸图像和第二人脸图像对第一模型进行第一阶段的训练,利用第一模型输出的注意力图、第一人脸图像和第二人脸图像对第二模型进行第二阶段的训练。经过训练后的整合的预设模型,即可实现去除图像中预设对象。
此外,在一些其他生成预设模型的方式中还可以:首先,通过收集的少量成对数据(即第四/五人脸图像)可以对第三模型进行初步训练,此时由于训练数据较少,训练得到第三模型去除预设对象的效果较差。接着,通过利用第三模型对大量包含预设对象的第六人脸图像进行处理,能够得到大量预设对象去除不干净的图像,并将其作为包含预设对象的第一人脸图像。然后,通过训练完毕的第一模型和训练完毕的第二模型,能够得到预设对象去除干净的第三人脸图像,从而可以得到大量成对数据(即第三/六人脸图像)。最后,可以利用大量成对图像来对第三模型进行优化训练,将优化后的第三模型作为预设模型。从而可以实现,利用少量成对数据和大量不成对数据对第三模型训练,使第三模型具备良好的去除预设对象的效果。
示例性的,图4为本公开实施例三所提供的一种图像处理方法中预设模型训练步骤的流程示意图。如图4所示,在一些可选的实现方式中预设模型可基于下述步骤生成:
S410、获取第一数量的包含预设对象的第四人脸图像、与第四人脸图像对应的不包含预设对象的第五人脸图像,以及第二数量的包含预设对象的第六人脸图像。
本实施例中,第四人脸图像中包含有预设对象,第五人脸图像中不包含预设对象,且第四人脸图像和第五人脸图像可以为成对的人脸图像。其中,第六人脸图像也包含有预设对象,且第四人脸图像可以与第六人脸图像存在重叠。其中,第四/五/六人脸图像的获取方式可以参考本公开其他实施例,在此不做赘述。
由于成对图像采集难度较高,可以在一定的采集成本范围内获取到第一数量的成对的第四/五人脸图像。而仅采集包含预设对象的第六人脸图像的采集难度较低,可以获取到大量第六图像。在控制采集成本的情况下,第二数量可大于第一数量,且可远远大于第一数量。
S420、根据第四人脸图像和第五人脸图像初步训练第三模型。
本实施例中,第三模型也可以认为是机器学习模型,例如神经网络模型。根据第四人脸图像和第五人脸图像对第三模型进行训练,可以包括:利用第三模型生成去除第四人脸图像中预设对象的图像,并以该输出图像与第五人脸图像的相似度达到预设程度为目标,对第三模型进行训练。
在一些可选的实现方式中,第三模型可以基于下述步骤初步训练:将第四人脸图像输入第三模型,以使第三模型输出第七人脸图像;将第五人脸图像和第七人脸图像输入第二判别器,并根据第二判别器的判别结果初步训练第三模型。
在这些可选的实现方式中,第三模型和第二判别器也可以组成生成对抗网络,且可随生成对抗网络进行训练,该训练过程也可以包括两阶段:一、训练第二判别器的阶段,即在第三模型参数固定的情况下,使用第三模型输出第七人脸图像;将第五人脸图像和第七人脸图像输入第二判别器,以通过第二判别器判别该些人脸图像,是属于真实的不包含预设对象的人脸图像,还是属于经第三模型去除预设对象的人脸图像。并且,可以在以提高判别结果的正确率为目标,训练该第二判别器。二、训练第三模型的阶段,即在第二判别器参数固定的情况下,以第二判别器无法区分第五人脸图像和第七人脸图像为目标,训练第三模型。该两阶段训练过程可以依次循环训练,且可先对第三模型进行训练也可先对第二判别器进行训练,也可以循环至预设条件停止训练。其中预设条件可以包括但不限于循环了预设次数,第二判别器的准确度高达一定精度等,在此不做穷举。
收集的少量成对数据(即第四/五人脸图像)可以对第三模型进行初步训练,此时由于训练数据较少,初步训练得到第三模型去除预设对象的效果较差。
S430、将第六人脸图像输入初步训练完毕的第三模型,并将初步训练完毕的第三模型输出的图像作为第一人脸图像,以及获取不包含预设对象的第二人脸图像。
利用初步训练完毕的第三模型对大量包含预设对象的第六人脸图像进行处理,能够得到大量预设对象去除效果较差的人脸图像。由于此时第三模型输出的图像中预设对象不能被去除干净,可以将这些人脸图像作为第一人脸图像,继续进行预设对象去除。此外,获取的第二人脸图像和第五人脸图像可以存在重叠。
S440、基于包含预设对象的第一人脸图像以及不包含预设对象的第二人脸图像训练第一模型。
S450、通过训练完毕的第一模型输出第一人脸图像中预设对象的注意力图。
S460、基于第一人脸图像以及注意力图训练第二模型。
S470、将第一人脸图像,经训练完毕的第一模型和训练完毕的第二模型处理,得到去除第一人脸图像中预设对象的第三人脸图像。
在第一模型和第二模型训练完毕后,可以将第一人脸图像经第一模型处理得到对应的注意力图,将第一人脸图像和注意力图经第二模型处理得到去除第一人脸图像中预设对象的第三人脸图像。从而基于训练完毕的第一模型和第二模型,可以根据大量不成对的人脸图像(即第一人脸图像和第二人脸图像)得到大量的成对的人脸图像(即大量包含预设对象的第六人脸图像和对应的不包含预设对象的第三人脸图像)。
S480、根据第三人脸图像以及第六人脸图像优化训练第三模型,将优化训练完毕的第三模型作为预设模型。
通过根据大量成对人脸图像来对第三模型进行优化训练,可以使第三模型具备较佳的去除预设对象效果。从而可以实现,利用少量成对数据和大量不成对数据对第三模型训练,使第三模型具备良好的去除胡子效果。此外,相较于传统的采集成对人脸图像,通过基于训练完毕的第一模型和第二模型根据不成对人脸图像,来生产大量的成对人脸图像,能够大大降低采集数据的成本。
示例性的,图5为本公开实施例三所提供的一种图像处理方法中预设模型训练步骤的示意图。参见图5,第一数量的成对的第四人脸图像C’和第五人脸图像C可以用于对第三模型M3进行初步训练,此时由于成对数据较少,初步训练得到第三模型去除预设对象(例如胡子)的效果较差。利用初步训练得到的第三模型,可以第二数量的第六人脸图像E’进行处理,得到大量的第一人脸图像A’。根据第一人脸图像A’和第二人脸图像B训练第一模型M1和第二模型M2的过程可参见图2。训练完毕的第二模型可输出去除预设对象的第三人脸图像A,从而可以得到大量的成对数据,即第三人脸图像A和第六人脸图像E。可以利用第三人脸图像A和第六人脸图像E’对第三模型M3优化训练,以使第三模型具备较佳的去除预设对象效果。
本实施例中,优化训练完毕的第三模型可以进行人脸图像中预设对象的去除,训练完毕的第一模型和第二模型的整合模型也可以进行人脸图像中预设对象的去除。优化训练后的第三模型,或整合模型可以集成于电子设备中,例如集成于服务器端或客户端中,以用于线上进行人脸图像中预设对象的去除特效,实现人脸图像美化功能。
此外,通常相较于整合模型来讲,第三模型的体量较小,更便于集成在存储/计算资源有限的电子设备中,例如更便于集成在客户端中。而相较于训练第三模型的步骤来讲,训练整合模型的步骤更加精简,更有利于快速训练得到去除预设对象效果的模型。因此,可以根据实际应用场景的具体需求,选择性训练整合模型或第三模型,两者可以皆达到很好的取出预设对象的效果。
本公开实施例的技术方案,可以将训练完成的第一模型和第二模型进行整合得到预设模型,或者将优化训练后的第三模型作为预设模型。可以根据实际应用场景的具体需求,选择性训练整合模型或第三模型,丰富了预设模型的生成方式。本公开实施例提供的图像处理方法中模型训练的方案与上述实施例提供的图像处理方法中模型训练的方案属于同一公开构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
实施例四
图6为本公开实施例四所提供的一种图像处理装置的结构示意图。本实施例提供的模型训练装置适用于利用不成对数据训练得到的预设模型去除图像中预设对象的情形。
如图6所示,本实施例提供的图像处理装置,可以包括:
输入模块610,用于将待处理人脸图像输入预设模型;
输出模块620,用于通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像;
其中,预设模型基于预设对象的注意力图训练生成。
在一些可选的实现方式中,预设对象包括胡子、刘海或眼袋。
在一些可选的实现方式中,图像处理装置还可以包括:
模型训练模块,用于基于下述步骤生成预设模型:
基于包含预设对象的第一人脸图像以及不包含预设对象的第二人脸图像训练第一模型;
通过训练完毕的第一模型输出第一人脸图像中预设对象的注意力图;
基于第一人脸图像以及注意力图训练第二模型;
基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型。
在一些可选的实现方式中,模型训练模块,可以包括:
第一模型训练单元,可以用于基于下述步骤训练第一模型:
将第一人脸图像和第二人脸图像的图像标签进行区别设置;
将第一人脸图像、第二人脸图像以及各图像对应的图像标签,输入第一模型;
通过第一模型确定候选对象,并根据候选对象输出第一人脸图像和第二人脸图像的预测标签;
根据预测标签与设置的图像标签训练第一模型,并将训练完毕的第一模型确定的候选对象作为预设对象。
在一些可选的实现方式中,模型训练模块,还可以包括:
第二模型训练单元,可以用于基于下述步骤训练第二模型:
将第一人脸图像和注意力图输入第二模型,通过第二模型输出去除第一人脸图像中预设对象的第三人脸图像;
将第二人脸图像和第三人脸图像输入第一判别器,并根据第一判别器的判别结果训练第二模型。
在一些可选的实现方式中,第二模型训练单元,可以具体用于:
通过第二模型根据注意力图,对第一人脸图像中预设对象对应的像素点进行处理,输出去除预设对象的第三人脸图像。
在一些可选的实现方式中,第二模型训练单元,可以具体用于:
将第一人脸图像中未被注意力图标记的像素点,复制并转移至注意力图标记的像素点的位置;
其中,注意力图标记的像素点属于预设对象。
在一些可选的实现方式中,第二模型训练单元,还可以具体用于:在输出去除预设对象的第三人脸图像之前,对第三人脸图像进行预设调整处理。
在一些可选的实现方式中,模型训练模块,可以具体用于:
将训练完毕的第一模型的输出层与训练完毕的第二模型的输入层建立连接,整合得到预设模型。
在一些可选的实现方式中,模型训练模块,可以包括:
第一人脸获取单元,可以用于基于以下步骤获取第一人脸图像:
获取第一数量的包含预设对象的第四人脸图像、与第四人脸图像对应的不包含预设对象的第五人脸图像,以及第二数量的包含预设对象的第六人脸图像;其中,第二数量大于第一数量;
根据第四人脸图像和第五人脸图像初步训练第三模型;
将第六人脸图像输入初步训练完毕的第三模型,并将初步训练完毕的第三模型输出的图像作为第一人脸图像;
相应的,模型训练模块,可以具体用于:
将第一人脸图像,经训练完毕的第一模型和训练完毕的第二模型处理,得到去除第一人脸图像中预设对象的第三人脸图像;
根据第三人脸图像以及第六人脸图像优化训练第三模型,将优化训练完毕的第三模型作为预设模型。
在一些可选的实现方式中,模型训练模块,可以包括:
第三模型训练单元,可以用于基于下述步骤初步训练第三模型:
将第四人脸图像输入第三模型,以使第三模型输出第七人脸图像;
将第五人脸图像和第七人脸图像输入第二判别器,并根据第二判别器的判别结果初步训练第三模型。
本公开实施例所提供的图像处理装置,可执行本公开任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
实施例五
下面参考图7,其示出了适于用来实现本公开实施例的电子设备(例如图7中的终端设备或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(Read-Only Memory,ROM)702中的程序或者从存储装置706加载到随机访问存储器(Random Access Memory,RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置706被安装,或者从ROM702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的图像处理方法中限定的上述功能。
本公开实施例提供的电子设备与上述实施例提供的图像处理方法属于同一公开构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例六
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的图像处理方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的、图像处理方法、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)或闪存(FLASH)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行、图像处理方法、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行、图像处理方法、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
将待处理人脸图像输入预设模型;通过预设模型输出去除待处理人脸图像中预设对象的目标人脸图像;其中,预设模型基于预设对象的注意力图训练生成。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元、模块的名称在某种情况下并不构成对该单元、模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、专用标准产品(Application Specific Standard Parts,ASSP)、片上(System on Chip,SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行、图像处理方法、装置或设备使用或与指令执行、图像处理方法、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体、图像处理方法、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种图像处理方法,该方法包括:
将待处理人脸图像输入预设模型;
通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;
其中,所述预设模型基于预设对象的注意力图训练生成。
根据本公开的一个或多个实施例,【示例二】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述预设对象包括胡子、刘海或眼袋。
根据本公开的一个或多个实施例,【示例三】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述预设模型基于下述步骤生成:
基于包含所述预设对象的第一人脸图像以及不包含所述预设对象的第二人脸图像训练第一模型;
通过训练完毕的第一模型输出所述第一人脸图像中预设对象的注意力图;
基于所述第一人脸图像以及所述注意力图训练第二模型;
基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型。
根据本公开的一个或多个实施例,【示例四】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述第一模型基于下述步骤训练:
将所述第一人脸图像和所述第二人脸图像的图像标签进行区别设置;
将所述第一人脸图像、第二人脸图像以及各图像对应的图像标签,输入第一模型;
通过所述第一模型确定候选对象,并根据所述候选对象输出所述第一人脸图像和所述第二人脸图像的预测标签;
根据所述预测标签与设置的图像标签训练所述第一模型,并将训练完毕的第一模型确定的候选对象作为预设对象。
根据本公开的一个或多个实施例,【示例五】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述第二模型基于下述步骤训练:
将所述第一人脸图像和所述注意力图输入第二模型,通过所述第二模型输出去除所述第一人脸图像中所述预设对象的第三人脸图像;
将所述第二人脸图像和所述第三人脸图像输入第一判别器,并根据所述第一判别器的判别结果训练所述第二模型。
根据本公开的一个或多个实施例,【示例六】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述通过所述第二模型输出去除所述第一人脸图像中所述预设对象的第三人脸图像,包括:
通过所述第二模型根据所述注意力图,对所述第一人脸图像中预设对象对应的像素点进行处理,输出去除所述预设对象的第三人脸图像。
根据本公开的一个或多个实施例,【示例七】提供了一种图像处理方法,还包括:
在一些可选的实现方式中,所述对所述第一人脸图像中预设对象对应的像素点进行处理,包括:
将所述第一人脸图像中未被所述注意力图标记的像素点,复制并转移至所述注意力图标记的像素点的位置;
其中,所述注意力图标记的像素点属于所述预设对象。
根据本公开的一个或多个实施例,【示例八】提供了一种图像处理方法,包括:
在一些可选的实现方式中,在所述输出去除所述预设对象的第三人脸图像之前,还包括:对所述第三人脸图像进行预设调整处理。
根据本公开的一个或多个实施例,【示例九】提供了一种图像处理方法,包括:
在一些可选的实现方式中,所述基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型,包括:
将训练完毕的第一模型的输出层与训练完毕的第二模型的输入层建立连接,整合得到预设模型。
根据本公开的一个或多个实施例,【示例十】提供了一种图像处理方法,包括:
在一些可选的实现方式中,所述第一人脸图像基于以下步骤获取:
获取第一数量的包含预设对象的第四人脸图像、与所述第四人脸图像对应的不包含所述预设对象的第五人脸图像,以及第二数量的包含所述预设对象的第六人脸图像;其中,所述第二数量大于所述第一数量;
根据所述第四人脸图像和所述第五人脸图像初步训练第三模型;
将所述第六人脸图像输入初步训练完毕的第三模型,并将初步训练完毕的第三模型输出的图像作为第一人脸图像;
相应的,所述基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型,包括:
将所述第一人脸图像,经训练完毕的第一模型和训练完毕的第二模型处理,得到去除所述第一人脸图像中所述预设对象的第三人脸图像;
根据所述第三人脸图像以及所述第六人脸图像优化训练第三模型,将优化训练完毕的第三模型作为预设模型。
根据本公开的一个或多个实施例,【示例十一】提供了一种图像处理方法,包括:
在一些可选的实现方式中,所述第三模型基于下述步骤初步训练:
将所述第四人脸图像输入第三模型,以使所述第三模型输出第七人脸图像;
将所述第五人脸图像和所述第七人脸图像输入第二判别器,并根据所述第二判别器的判别结果初步训练所述第三模型。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种图像处理方法,其特征在于,包括:
将待处理人脸图像输入预设模型;
通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;
其中,所述预设模型基于预设对象的注意力图训练生成。
2.根据权利要求1所述的图像处理方法,其特征在于,所述预设对象包括胡子、刘海或眼袋。
3.根据权利要求1或2所述的图像处理方法,其特征在于,所述预设模型基于下述步骤生成:
基于包含所述预设对象的第一人脸图像以及不包含所述预设对象的第二人脸图像训练第一模型;
通过训练完毕的第一模型输出所述第一人脸图像中预设对象的注意力图;
基于所述第一人脸图像以及所述注意力图训练第二模型;
基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型。
4.根据权利要求3所述的图像处理方法,其特征在于,所述第一模型基于下述步骤训练:
将所述第一人脸图像和所述第二人脸图像的图像标签进行区别设置;
将所述第一人脸图像、第二人脸图像以及各图像对应的图像标签,输入第一模型;
通过所述第一模型确定候选对象,并根据所述候选对象输出所述第一人脸图像和所述第二人脸图像的预测标签;
根据所述预测标签与设置的图像标签训练所述第一模型,并将训练完毕的第一模型确定的候选对象作为预设对象。
5.根据权利要求3所述的图像处理方法,其特征在于,所述第二模型基于下述步骤训练:
将所述第一人脸图像和所述注意力图输入第二模型,通过所述第二模型输出去除所述第一人脸图像中所述预设对象的第三人脸图像;
将所述第二人脸图像和所述第三人脸图像输入第一判别器,并根据所述第一判别器的判别结果训练所述第二模型。
6.根据权利要求5所述的图像处理方法,其特征在于,所述通过所述第二模型输出去除所述第一人脸图像中所述预设对象的第三人脸图像,包括:
通过所述第二模型根据所述注意力图,对所述第一人脸图像中预设对象对应的像素点进行处理,输出去除所述预设对象的第三人脸图像。
7.根据权利要求6所述的图像处理方法,其特征在于,所述对所述第一人脸图像中预设对象对应的像素点进行处理,包括:
将所述第一人脸图像中未被所述注意力图标记的像素点,复制并转移至所述注意力图标记的像素点的位置;
其中,所述注意力图标记的像素点属于所述预设对象。
8.根据权利要求6所述的方法,其特征在于,在所述输出去除所述预设对象的第三人脸图像之前,还包括:对所述第三人脸图像进行预设调整处理。
9.根据权利要求3所述的图像处理方法,其特征在于,所述基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型,包括:
将训练完毕的第一模型的输出层与训练完毕的第二模型的输入层建立连接,整合得到预设模型。
10.根据权利要求3所述的方法,其特征在于,所述第一人脸图像基于以下步骤获取:
获取第一数量的包含预设对象的第四人脸图像、与所述第四人脸图像对应的不包含所述预设对象的第五人脸图像,以及第二数量的包含所述预设对象的第六人脸图像;其中,所述第二数量大于所述第一数量;
根据所述第四人脸图像和所述第五人脸图像初步训练第三模型;
将所述第六人脸图像输入初步训练完毕的第三模型,并将初步训练完毕的第三模型输出的图像作为第一人脸图像;
相应的,所述基于训练完毕的第一模型和训练完毕的第二模型,生成预设模型,包括:
将所述第一人脸图像,经训练完毕的第一模型和训练完毕的第二模型处理,得到去除所述第一人脸图像中所述预设对象的第三人脸图像;
根据所述第三人脸图像以及所述第六人脸图像优化训练第三模型,将优化训练完毕的第三模型作为预设模型。
11.根据权利要求10所述的方法,其特征在于,所述第三模型基于下述步骤初步训练:
将所述第四人脸图像输入第三模型,以使所述第三模型输出第七人脸图像;
将所述第五人脸图像和所述第七人脸图像输入第二判别器,并根据所述第二判别器的判别结果初步训练所述第三模型。
12.一种图像处理装置,其特征在于,包括:
输入模块,用于将待处理人脸图像输入预设模型;
输出模块,用于通过所述预设模型输出去除所述待处理人脸图像中预设对象的目标人脸图像;
其中,所述预设模型基于预设对象的注意力图训练生成。
13.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像处理方法。
14.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的图像处理方法。
CN202111275627.4A 2021-10-29 2021-10-29 一种图像处理方法、装置、电子设备及存储介质 Pending CN114022931A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111275627.4A CN114022931A (zh) 2021-10-29 2021-10-29 一种图像处理方法、装置、电子设备及存储介质
PCT/CN2022/122489 WO2023071694A1 (zh) 2021-10-29 2022-09-29 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275627.4A CN114022931A (zh) 2021-10-29 2021-10-29 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114022931A true CN114022931A (zh) 2022-02-08

Family

ID=80058829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275627.4A Pending CN114022931A (zh) 2021-10-29 2021-10-29 一种图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114022931A (zh)
WO (1) WO2023071694A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071694A1 (zh) * 2021-10-29 2023-05-04 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI587242B (zh) * 2015-09-08 2017-06-11 宏達國際電子股份有限公司 人臉影像調整系統及人臉影像調整方法
CN108875521A (zh) * 2017-12-20 2018-11-23 北京旷视科技有限公司 人脸检测方法、装置、系统和存储介质
CN109583385A (zh) * 2018-11-30 2019-04-05 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN111612872B (zh) * 2020-05-22 2024-04-23 中国科学院自动化研究所 人脸年龄变化图像对抗生成方法及系统
CN111814566A (zh) * 2020-06-11 2020-10-23 北京三快在线科技有限公司 图像编辑方法、装置、电子设备及存储介质
CN112287852B (zh) * 2020-11-02 2023-11-21 腾讯科技(深圳)有限公司 人脸图像的处理方法、显示方法、装置及设备
CN114022931A (zh) * 2021-10-29 2022-02-08 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071694A1 (zh) * 2021-10-29 2023-05-04 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023071694A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
WO2023125374A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110796721A (zh) 虚拟形象的颜色渲染方法、装置、终端及存储介质
CN112101329A (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN111833242A (zh) 人脸变换方法、装置、电子设备和计算机可读介质
CN114330565A (zh) 一种人脸识别方法及装置
WO2023273697A1 (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN114913061A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN114937192A (zh) 图像处理方法、装置、电子设备及存储介质
CN113610034B (zh) 识别视频中人物实体的方法、装置、存储介质及电子设备
WO2023071694A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN112906553B (zh) 图像处理方法、装置、设备及介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113850716A (zh) 模型训练方法、图像处理方法、装置、电子设备及介质
CN115880526A (zh) 图像处理方法、装置、电子设备及存储介质
CN114863482A (zh) 图像处理方法、装置、电子设备以及存储介质
CN112085035A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN117671216B (zh) 一种显示方法和相关装置
CN113989103B (zh) 模型训练方法、图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination