CN109242775A - 一种属性信息迁移方法、装置、设备以及可读存储介质 - Google Patents

一种属性信息迁移方法、装置、设备以及可读存储介质 Download PDF

Info

Publication number
CN109242775A
CN109242775A CN201811019537.7A CN201811019537A CN109242775A CN 109242775 A CN109242775 A CN 109242775A CN 201811019537 A CN201811019537 A CN 201811019537A CN 109242775 A CN109242775 A CN 109242775A
Authority
CN
China
Prior art keywords
image
attribute
attribute information
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811019537.7A
Other languages
English (en)
Other versions
CN109242775B (zh
Inventor
陈明军
吴华鑫
吴子扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201811019537.7A priority Critical patent/CN109242775B/zh
Publication of CN109242775A publication Critical patent/CN109242775A/zh
Application granted granted Critical
Publication of CN109242775B publication Critical patent/CN109242775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种属性信息迁移方法、装置、设备以及可读存储介质，方法包括：获取包含目标属性信息的第一图像和不包含目标属性信息的第二图像；从第一图像中分割出目标属性信息；将目标属性信息合成至第二图像中，合成后得到包含目标属性信息的目标图像。本申请提供的属性信息迁移方法、装置、设备及存储介质，可将包含指定属性信息的图像中的指定属性信息迁移至不包含指定属性信息的图像中，用户体验较好。

Description

一种属性信息迁移方法、装置、设备以及可读存储介质
技术领域
本发明涉及图像处理技术领域，更具体涉及一种属性信息迁移方法、装置、设备以及可读存储介质。
背景技术
在某些应用领域中，需要将图像中的指定属性信息迁移至不包含该指定属性信息的图像中。
以人脸图像为例：在安防应用领域，用于训练人脸检测、识别模型的训练数据中包含特定属性信息的人脸图像非常有限，而直接采集包含特定属性信息的人脸图像非常费时费力，这就需要将指定属性信息迁移至不包含该指定属性信息的图像；在娱乐、商品类应用领域，用户希望可以将商品图像中模特佩戴的眼镜、帽子等穿戴在自己上传的人脸图像上，从而达到虚拟试穿的效果，该类应用同样需要将指定属性信息迁移至不包含该指定属性信息的人脸图像。
因此，如何将某种指定属性信息迁移至不包含该指定属性信息的图像是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种属性信息迁移方法、装置、设备以及可读存储介质，以将包含指定属性信息的图像中的指定属性信息迁移至不包含指定属性信息的图像中，其技术方案如下：
一种属性信息迁移方法，包括：
获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
从所述第一图像中分割出所述目标属性信息；
将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
其中，所述从所述第一图像中分割出所述目标属性信息，包括：
将所述第一图像输入预先建立的属性删除模型，获得所述属性删除模型生成的、只包含所述目标属性信息的图像，作为目标属性残差图像。
其中，所述将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像，包括：
将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的目标图像。
其中，所述属性删除模型和所述属性合成模型的训练过程包括：
采用标注有类别标签的训练图像训练属性判别模型，其中，所述训练图像为第一类训练图像、或第二类训练图像、或第三类训练图像，所述第一类训练图像为从训练图像集中获取的、包含所述目标属性信息的图像，所述第二类图像为从所述训练图像集中获取的、不包含所述目标属性信息的图像，所述第三类图像为所述属性删除模型输出的、不包含所述目标属性信息的图像、或所述属性合成模型输出的、包含所述目标属性信息的图像；
基于所述属性判别模型对所述属性删除模型和所述属性合成模型进行训练。
其中，获取所述第三类训练图像的过程包括：
将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型输出的、从输入的第一类训练图像中删除所述目标属性信息后的图像，作为所述第三类训练图像；
或者，
将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型生成的训练属性残差图像；将所述第二类训练图像和所述训练属性残差图像输入所述属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的图像，作为所述第三类训练图像。
其中，所述基于所述属性判别模型对所述属性删除模型和所述属性合成模型进行训练，包括：
将标注有类别标签的第三类训练图像输入所述属性判别模型，其中，输入所述属性判别模型的第三类图像中包含所述目标属性信息的图像的样本标签与所述第一类训练图像的样本标签相同，输入所述属性判别模型的第三类图像中不包含所述目标属性信息的图像的样本标签与所述第二类训练图像的样本标签相同；
固定所述属性判别模型的参数，基于所述属性判别模型的判别结果，更新所述属性删除模型和所述属性合成模型的参数。
其中，所述属性删除模型和所述属性合成模型的训练过程，还包括：
将所述属性合成模型输出的、包含所述目标属性信息的图像输入所述属性删除模型，获得所述属性删除模型生成的属性残差图像，作为第一属性残差图像；
固定所述属性删除模型的参数，将输入所述属性合成模型的属性残差图像作为第二属性残差图像，基于所述第一属性残差图像和第二属性残差图像之间的损失，更新所述属性合成模型的参数。
其中，所述将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，包括：
将所述目标属性残差图像与所述第二图像基于颜色通道进行拼接，拼接后得到6通道图像；
将所述6通道图像输入预先建立的所述属性合成模型。
其中，所述第一目标图像为包含指定人脸属性信息的人脸图像，所述第二目标图像为不包含所述指定人脸属性信息的人脸图像。
一种属性信息迁移装置，包括：图像获取模块、图像分割模块和图像合成模块；
所述图像获取模块，用于获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
所述图像分割模块，用于从所述第一图像中分割出所述目标属性信息；
所述图像合成模块，用于将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
其中，所述图像分割模块，具体用于将所述第一图像输入预先建立的属性删除模型，获得所述属性删除模型生成的、只包含所述目标属性信息的图像，作为目标属性残差图像。
其中，所述属性合成模块，具体用于将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的目标图像。
一种属性信息迁移设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
从所述第一图像中分割出所述目标属性信息；
将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的属性信息迁移方法的各个步骤。
经由上述的技术方案可知，本申请提供的属性信息迁移方法、装置、设备以及可读存储介质，首先获取包含目标属性信息的第一图像和不包含目标属性信息的第二图像，然后从包含目标属性信息的第一图像中分割出目标属性信息，最后，将目标属性信息合成至不包含目标属性信息的第二图像中，合成后得到包含目标属性信息的目标图像。本申请提供的属性信息迁移方法、装置、设备以及可读存储介质，可将包含指定属性信息的图像中的指定属性信息迁移至不包含指定属性信息的图像中，用户体验较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的属性信息迁移方法的流程示意图；
图2为本发明实施例提供的属性删除模型的拓扑结构的一示例的示意图；
图3为本发明实施例提供的属性合成模型的拓扑结构的一示例的示意图；
图4为本发明实施例提供的属性判别模型的拓扑结构的一示例的示意图；
图5为本发明实施例提供的属性信息迁移装置的结构示意图；
图6为本发明实施例提供的属性信息迁移设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人在实现发明创造的过程中发现：目前存在一些属性信息迁移的方案，其中，效果较好的方案为基于生成式对抗神经网络的属性迁移方案，其主要过程如下：获得包含指定属性信息的图像和不包含该指定属性信息的图像，搭建生成式对抗神经网络进行训练，训练完成的神经网络可以看作是一个端到端的生成系统，只要输入一张不包含该指定属性信息的图像，即可合成包含该指定属性信息的图像。然而，由于训练数据集标注信息的限制，现有方案只能生成包含根属性的图像，无法生成包含指定叶属性的图像。
需要说明的是，叶属性为根属性的子类，每种根属性都可能包含多种叶属性，比如，人脸属性中的眼镜属性为根属性，眼镜属性可以包括黑框眼镜、墨镜等多种叶属性，再比如，人脸属性中的帽子属性为根属性，帽子属性可以包括鸭舌帽、棒球帽等多种叶属性。由于每种根属性都可能包含很多种叶属性，因此，人工标注叶属性非常费时费力，基于此，现有方案是人工对图像进行根属性标注，因此，现有方案只能生成包含根属性的人脸图像，而无法生成包含指定叶属性的图像。
退一步，假设获得了标注有叶属性的训练图像，现有方案需要针对每一种叶属性单独训练一个生成式对抗神经网络，才能实现对应属性的迁移，而每种根属性的叶属性的种类可能会很多，这无疑会带来巨大的资源开销。
有鉴于此，本申请提供了一种属性信息迁移方法，该方法可在不标注叶属性信息的情况下，将包含指定叶属性信息的图像中的指定叶属性信息迁移至不包含该指定叶属性信息的图像中。
请参阅图1，示出了该属性信息迁移方法的流程示意图，该方法可以包括：
步骤S101：获取包含目标属性信息的第一图像和不包含目标属性信息的第二图像。
其中，第一图像和第二图像可以但不限定为人脸图像，相应地，目标属性信息可以但不限定为人脸属性信息，比如，第一图像为戴眼镜的人脸图像，第二图像为不戴眼镜的人脸图像。
S102：从第一图像中分割出目标属性信息。
需要说明的是，从第一图像中分割出的目标属性信息实际上就是属于根属性的叶属性信息。
在一种可能的实现方式中，从第一图像中分割出目标属性信息的过程可以包括：将第一图像输入预先建立的属性删除模型，获得属性删除模型生成的、只包含目标属性信息的图像，作为目标属性残差图像。
示例性地，第一图像为戴眼镜的人脸图像，相应地，第二图像为不戴眼镜的人脸图像，将第一图像输入预先建立的属性删除模型，属性删除模型会从第一图像中分割出眼镜属性信息，输出一幅只包含眼镜属性信息的图像。需要说明的是，属性删除模型输出的是输入图像的眼镜属性信息的像素信息，该信息实际就是一个属于根属性眼镜的叶属性信息，假设，第一图像中的眼镜为墨镜，那么，属性删除模型输出的就是墨镜的像素信息。
步骤S103：将目标属性信息合成至第二图像中，合成后得到包含目标属性信息的目标图像。
在一种可能的实现方式中，将目标属性信息合成至第二图像中，合成后得到包含目标属性信息的目标图像的过程可以包括：将上述目标属性残差图像和第二图像输入预先建立的属性合成模型，获得属性模型输出的、包含目标属性信息的目标图像。需要说明的是，在训练属性删除模型和属性合成模型时，不需要对训练图像进行叶属性标注。
示例性地，第二图像为不戴眼镜的人脸图像，目标属性残差图像为将戴眼镜的人脸图像输入属性删除模型后，属性删除模型输出的只包含眼镜属性信息的图像，将不戴眼镜的人脸图像和只包含眼镜属性信息的图像输入属性合成模型，属性合成模型会将眼镜属性信息合成至不戴眼镜的人脸图像中，从而获得戴眼镜的人脸图像。
本申请实施例提供的属性信息迁移方法，首先获取包含目标属性信息的第一图像和不包含目标属性信息的第二图像，然后从包含目标属性信息的第一图像中分割出目标属性信息，最后，将目标属性信息合成至不包含目标属性信息的第二图像中，合成后得到包含目标属性信息的目标图像。本申请实施例提供的属性信息迁移方法中，在训练属性删除模型和属性合成模型时，不需要对训练图像进行叶属性标注，属性删除模型可从包含目标属性信息的图像中分割出叶属性信息，即，本申请实施例可以在无叶属性标注信息的情况下，实现叶属性信息的迁移，节省了人力和耗时，并且，不需要针对根属性下的每种叶属性分别训练模型，避免了巨大的资源开销。
以下对上述实施例中的属性删除模型和属性合成模型进行介绍。
本申请基于生成式对抗神经网络实现属性信息的迁移，该生成式对抗神经网络除了包括属性删除模型和属性合成模型外，还包括属性判别模型，其中，属性判别模型用于指导属性删除模型和属性合成模型训练。
具体地，请参阅图2，示出了属性删除模型的拓扑结构的一示例的示意图，该属性删除模型包括卷积层(如图2中的Conv1、Conv2)和反卷积层(如图2中的Deconv3、Deconv4)，属性删除模型的输入为包含目标属性信息的图像，而卷积层的功能是把输入的图像编码成属性特征，反卷积层的功能就是对属性特征解码得到只包含目标属性信息的图像。
属性删除模型的目标输出为从输入图像中删除目标属性信息后的图像，从图2中可以看出，输入图像与最后一个反卷积层输出的图像相加，得到删除目标属性信息后的图像，也就是说，最后一个反卷积层输出的图像为删除目标属性信息后的图像与包含目标属性信息的图像的差，因此，可将最后一个反卷积层输出的图像称为属性残差图像。另外需要说明的是，在对模型训练完成后，利用训练好的模型进行属性信息迁移时，模型的输出为最后一个卷积层的输出(即图2中Deconv4输出的属性残差图像)，即此时的模型实质为属性分割模型。
属性合成模型的输入为不包含目标属性信息的图像和属性删除模型的最后一个卷积层输出的属性残差图像，属性合成模型的目标输出为包含目标属性信息的图像，即，将目标属性信息合成至不包含目标属性信息的图像后得到的图像。
请参阅图3，示出了属性合成模型的拓扑结构的一示例的示意图，属性合成模型也包括卷积层和反卷积层，从图3中可以看出，属性合成模型也包含与属性删除模型相同的残差连接结构，使用残差连接结构的目的在于，使属性合成模型只需要用网络参数生成属性相关的信息，而不用再去生成其它信息，因为其它信息在输入图像中已经有了，不需要让模型再去花费精力生成这一部分信息，只需要生成与属性相关的信息即可，该残差连接结构将输入的不包含目标属性信息的图像与最后一个卷积层输出的属性残差图像相加便可得到包含目标属性信息的图像。使用残差连接结构能够降低属性合成模型的学习难度，加速属性合成模型的收敛速度。比如，属性合成模型需要输出一张戴眼镜的人脸图像，如果不使用残差连接结构的话，那么需要模型学习生成一整张戴眼镜的人脸图像，如果使用残差连接结构，只需要让模型学习生成眼镜部分的信息即可，因为人脸的其它信息在输入图像中已经包含了，而生成眼镜部分的信息肯定比生成一整张戴眼镜的人脸图像更简单。
请参阅图4，示出了属性判别网络的拓扑结构的一示例的示意图，属性判别网络包括卷积层(如图4中的Conv1～Conv7)和全连接层(如图4中的FC8)。属性判别网络的输入可以为训练数据集中包含目标属性信息的训练图像和不包含目标属性信息的训练图像，还可以为属性删除模型输出的、不包含目标属性信息的图像(即从输入图像中删除目标属性信息后得到的图像)和属性合成模型输出的、包含目标属性信息的图像(即将输入的、不包含目标属性信息的图像与属性残差图像合成后得到的图像)，属性判别网络的作用是确定输入图像是否包含目标属性信息以及输入图像的真假，即属性判别模型负责对输入图像进行分类，需要说明的是，本实施例将训练数据集中的图像定义为真实图像，即真图像，将属性删除模型和属性合成模型输出的图像定义为伪造图像，即假图像。
以下对上述生成式对抗神经网络的训练过程进行介绍。
生成式对抗神经网络的训练过程包括：首先训练属性判别网络，然后基于属性判别网络训练属性删除网络和属性合成网络，训练属性判别网络的过程参见下述步骤(1)～(3)，基于属性判别网络训练属性删除网络和属性合成网络的过程参见步骤(4)～(5)：
(1)从训练数据集中获取包含目标属性信息的图像IA和不包含目标属性信息的图像将包含目标属性信息的图像IA输入属性删除模型，获得属性残差图像RA和属性删除模型最终输出的从IA中删除目标属性信息后得到的图像
示例性的，包含目标属性信息的图像IA为戴眼镜的人脸图像，为不戴眼镜的人脸图像，将戴眼镜的人脸图像输入属性删除模型，获得只包含眼镜信息的属性残差图像和从戴眼镜的人脸图像中删除眼镜信息后的图像。
(2)将不包含目标属性信息的图像和属性残差图像RA输入属性合成模型，获得属性合成模型输出的包含目标属性信息的图像
示例性地，将不戴眼镜的人脸图像与只包含眼镜信息的属性残差图像输入属性合成模型，获得属性合成模型输出的戴眼镜的人脸图像，即相当于将属性残差图像中的眼镜信息与不戴眼镜的人脸图像进行了合成。
需要说明的是，假设和RA为彩色图像，则在将和RA输入属性合成模型时，需要将和RA基于颜色通道拼接在一起，拼接后得到6通道图像，将该6通道图像输入属性合成模型。需要说明的，每张彩色图像都由RGB三个颜色通道构成，从矩阵的角度来解释，图像矩阵的尺寸是(H,W,3)，其中H是图像的高，W是图像的宽，3就是颜色通道的维度，也就是每个像素包含三个值，这三个值分别表示红色(R)，绿色(G)，蓝色(B)的数值，和RA都是RGB三个通道的图像，这两个图像的尺寸完全相同，都是(H,W,3)，因此，基于颜色通道拼接起来，就是6通道的图像，其尺寸大小就变成了(H,W,6)，也就是每个像素包含6个值。
(3)将包含目标属性信息的图像IA、不包含目标属性信息的图像属性删除模型输出的不包含目标属性信息的图像属性合成模型输出的包含目标属性信息的图像作为训练样本，以训练样本对应的类别为样本标签训练属性判别模型。
具体的，可分别为属性删除模型输出的图像和属性合成模型输出的图像(假图像)、从训练数据集中获取的不包含目标属性信息的图像(真图像)、从训练数据集中获取的包含目标属性信息的图像IA(真图像)设置类别标签，比如，可将属性删除模型输出的图像和属性合成模型输出的图像(假图像)的类别设置为0，将不包含目标属性信息的图像(真图像)的类别设置为1，将包含目标属性信息的图像IA(真图像)的类别设置为2。
将标注有对应类别标签的训练样本输入属性判别模型中进行分类，并计算交叉熵损失，交叉熵损失函数的计算公式如下：
其中，p是属性判别模型输出的三分类概率向量，y是输入的训练样本的标签向量，其中，属性删除模型输出的图像和属性合成模型输出的图像标签向量y＝[1,0,0]T，从训练数据集中获取的不包含目标属性信息的图像的标签向量为y＝[0,1,0]T，从训练数据集中获取的包含目标属性信息的图像IA的标签向量为y＝[0,0,1]T。
在训练属性判别模型时，固定属性删除模型和属性合成模型的网络参数，并通过交叉熵损失反向传播的梯度更新属性判别模型的网络参数。
(4)基于属性删除模型输出的不包含目标属性信息的图像属性合成模型输出的包含目标属性信息的图像和属性判别模型，训练属性删除模型和属性合成模型。
具体地，将属性删除模型输出的图像的类别设置为与从训练数据集中获取的图像相同的类别，将属性合成模型输出的图像的类别设置为与从训练数据集中获取的图像IA相同的类别，比如，的类别为1，则将的类别设置为1，IA的类别为2，则将的类别设置为2。将标注有类别标签的图像图像作为训练样本输入属性判别模型中分类并计算交叉熵损失。
固定属性判别网络的参数，并通过交叉熵损失反向传播更新属性删除模型的参数和属性合成模型的参数。
需要说明的是，本步骤实际是将假图像的类别设置为与真图像(IA)相同的类别，如此设置的目的是使得属性判别网络反向传播给属性删除模型和属性合成模型的梯度指导属性删除模型和属性合成模型生成尽可能真实的图像。
(5)将属性合成模型输出的图像输入属性删除网络生成属性残差图像计算属性残差图像与属性残差图像RA之间的L1损失，基于L1损失训练属性合成模型。
具体地，可通过下式计算与RA之间的L1损失：
其中，H表示属性残差图像的高，W表示属性残差图像的宽，i表示高的像素位置索引，j表示宽的像素位置索引，c是颜色通道的索引。由上式可以看出，与RA的L1损失实质是在求两个图像之间差的绝对值之和。
固定属性删除网络的参数，通过L1损失反向传播的梯度更新属性合成网络的参数。
在本实施例中，可预设训练迭代次数M，即将上述步骤执行M次后结束训练，具体地，可设置初始迭代次数变量N＝0，上述步骤每执行完一次变量N的值加1，当N的值为M时，结束训练过程。
在对属性删除模型和属性合成模型训练完成后，便可利用属性删除模型和属性合成模型实现目标属性信息的迁移。具体地，将包含目标属性信息的第一图像输入属性删除模型，获得属性删除模型生成的目标属性残差图像，然后，将不包含目标属性信息的第二图像和目标属性残差图像输入属性合成模型，获得属性合成模型输出的包含目标属性信息的图像，至此，将第一图像中的目标属性信息迁移至了第二目标图像。其中，在将第二图像和目标属性残差图像输入属性合成模型时，可将第二图像和目标属性残差图像基于颜色通道进行拼接，将拼接后的图像输入属性合成模型。
由上述训练过程可知，本申请实施例在对生成式对抗神经网络进行训练时，不需要对叶属性进行标注，且属性分割模型分割出的属性信息为叶属性信息，即本申请实施例在无叶属性标注信息的情况下，即可实现叶属性信息的迁移，节省了人力和耗时，并且，本申请针对根属性的多种叶属性只需要训练一个生成式对抗神经网络即可，不需要针对根属性下的每一种叶属性分别训练一个生成式对抗神经网络，避免了巨大的资源开销。
与上述属性信息迁移方法相对应，本申请实施例还提供了一种属性信息迁移装置，请参阅图5，示出了该属性信息迁移装置的结构示意图，可以包括：图像获取模块501、图像分割模块502和图像合成模块503。
图像获取模块501，用于获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像。
图像分割模块502，用于从所述第一图像中分割出所述目标属性信息。
图像合成模块503，用于将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
本申请实施例提供的属性信息迁移装置，首先获取包含目标属性信息的第一图像和不包含目标属性信息的第二图像，然后从包含目标属性信息的第一图像中分割出目标属性信息，最后，将目标属性信息合成至不包含目标属性信息的第二图像中，合成后得到包含目标属性信息的目标图像。本申请实施例提供的属性信息迁移装置可将包含指定属性信息的图像中的指定属性信息迁移至不包含指定属性信息的图像中，用户体验较好。
在一种可能的实现方式中，上述实施例提供的属性信息迁移装置中，图像分割模块502，具体用于将所述第一图像输入预先建立的属性删除模型，获得所述属性删除模型生成的、只包含所述目标属性信息的图像，作为目标属性残差图像。
在一种可能的实现方式中，上述实施例提供的属性信息迁移装置中，属性合成模块503，具体用于将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的目标图像。
上述实施例提供的属性信息迁移装置包括：模型训练模块。模型训练模块包括第一训练子模块和第二训练子模块。
第一训练子模块，用于采用标注有类别标签的训练图像训练属性判别模型，其中，所述训练图像为第一类训练图像、或第二类训练图像、或第三类训练图像，所述第一类训练图像为从训练图像集中获取的、包含所述目标属性信息的图像，所述第二类图像为从所述训练图像集中获取的、不包含所述目标属性信息的图像，所述第三类图像为所述属性删除模型输出的、不包含所述目标属性信息的图像、或所述属性合成模型输出的、包含所述目标属性信息的图像。
第二训练子模块，用于基于所述属性判别模型对所述属性删除模型和所述属性合成模型进行训练。
第一训练子模块，还用于将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型输出的、从输入的第一类训练图像中删除所述目标属性信息后的图像，作为所述第三类训练图像；或者，将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型生成的训练属性残差图像；将所述第二类训练图像和所述训练属性残差图像输入所述属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的图像，作为所述第三类训练图像。
第二训练子模块，具体用于将标注有类别标签的第三类训练图像输入所述属性判别模型，其中，输入所述属性判别模型的第三类图像中包含所述目标属性信息的图像的样本标签与所述第一类训练图像的样本标签相同，输入所述属性判别模型的第三类图像中不包含所述目标属性信息的图像的样本标签与所述第二类训练图像的样本标签相同；固定所述属性判别模型的参数，基于属性判别模型的判别结果，更新所述属性删除模型和所述属性合成模型的参数。
优选地，模型训练模块还可以包括：第三训练子模块。
第三训练子模块，具体用于将所述属性合成模型输出的、包含所述目标属性信息的图像输入所述属性删除模型，获得所述属性删除模型生成的属性残差图像，作为第一属性残差图像；固定所述属性删除模型的参数，将输入所述属性合成模型的属性残差图像作为第二属性残差图像，基于所述第一属性残差图像和第二属性残差图像之间的损失，更新所述属性合成模型的参数。
在一种可能的实现方式中，属性合成模块503，在将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型时，具体用于将所述目标属性残差图像与所述第二图像基于颜色通道进行拼接，拼接后得到6通道图像；将所述6通道图像输入预先建立的所述属性合成模型。
上述实施例提供的属性信息迁移装置中，图像获取模块获取的第一目标图像为包含指定人脸属性信息的人脸图像，第二目标图像为不包含所述指定人脸属性信息的人脸图像。
本申请实施例提供的属性信息迁移装置，在对生成式对抗神经网络进行训练时，不需要对叶属性进行标注，且属性分割模型分割出的属性信息为叶属性信息，即本申请实施例在无叶属性标注信息的情况下，即可实现叶属性信息的迁移，节省了人力和耗时，并且，本申请针对根属性的多种叶属性只需要训练一个生成式对抗神经网络即可，不需要针对根属性下的每一种叶属性分别训练一个生成式对抗神经网络，避免了巨大的资源开销。
本申请实施例还提供了一种属性信息迁移设备，请参阅图6，示出了该属性信息迁移设备的结构示意图，该设备可以包括：存储器601和处理器602。
存储器601，用于存储程序；
处理器602，用于执行所述程序，所述程序具体用于：
获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
从所述第一图像中分割出所述目标属性信息；
将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
属性信息迁移设备还包括：总线、通信接口603、输入设备604和输出设备605。
处理器602、存储器601、通信接口603、输入设备604和输出设备605通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器602可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器602可包括主处理器，还可包括基带芯片、调制解调器等。
存储器601中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器601可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备604可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备605可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
通信接口603可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器602执行存储器601中所存放的程序，以及调用其他设备，可用于实现本发明实施例所提供的属性信息迁移方法的各个步骤。
本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的属性信息迁移方法的各个步骤。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种属性信息迁移方法，其特征在于，包括：
获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
从所述第一图像中分割出所述目标属性信息；
将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
2.根据权利要求1所述的属性信息迁移方法，其特征在于，所述从所述第一图像中分割出所述目标属性信息，包括：
将所述第一图像输入预先建立的属性删除模型，获得所述属性删除模型生成的、只包含所述目标属性信息的图像，作为目标属性残差图像。
3.根据权利要求2所述的属性信息迁移方法，其特征在于，所述将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像，包括：
将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的目标图像。
4.根据权利要求3所述的属性信息迁移方法，其特征在于，所述属性删除模型和所述属性合成模型的训练过程包括：
采用标注有类别标签的训练图像训练属性判别模型，其中，所述训练图像为第一类训练图像、或第二类训练图像、或第三类训练图像，所述第一类训练图像为从训练图像集中获取的、包含所述目标属性信息的图像，所述第二类图像为从所述训练图像集中获取的、不包含所述目标属性信息的图像，所述第三类图像为所述属性删除模型输出的、不包含所述目标属性信息的图像、或所述属性合成模型输出的、包含所述目标属性信息的图像；
基于所述属性判别模型对所述属性删除模型和所述属性合成模型进行训练。
5.根据权利要求4所述的属性信息迁移方法，其特征在于，获取所述第三类训练图像的过程包括：
将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型输出的、从输入的第一类训练图像中删除所述目标属性信息后的图像，作为所述第三类训练图像；
或者，
将所述第一类训练图像输入所述属性删除模型，获得所述属性删除模型生成的训练属性残差图像；将所述第二类训练图像和所述训练属性残差图像输入所述属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的图像，作为所述第三类训练图像。
6.根据权利要求5所述的属性信息迁移方法，其特征在于，所述基于所述属性判别模型对所述属性删除模型和所述属性合成模型进行训练，包括：
将标注有类别标签的第三类训练图像输入所述属性判别模型，其中，输入所述属性判别模型的第三类图像中包含所述目标属性信息的图像的样本标签与所述第一类训练图像的样本标签相同，输入所述属性判别模型的第三类图像中不包含所述目标属性信息的图像的样本标签与所述第二类训练图像的样本标签相同；
固定所述属性判别模型的参数，基于所述属性判别模型的判别结果，更新所述属性删除模型和所述属性合成模型的参数。
7.根据权利要求6所述的属性信息迁移方法，其特征在于，所述属性删除模型和所述属性合成模型的训练过程，还包括：
将所述属性合成模型输出的、包含所述目标属性信息的图像输入所述属性删除模型，获得所述属性删除模型生成的属性残差图像，作为第一属性残差图像；
固定所述属性删除模型的参数，将输入所述属性合成模型的属性残差图像作为第二属性残差图像，基于所述第一属性残差图像和第二属性残差图像之间的损失，更新所述属性合成模型的参数。
8.根据权利要求3所述的属性信息迁移方法，其特征在于，所述将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，包括：
将所述目标属性残差图像与所述第二图像基于颜色通道进行拼接，拼接后得到6通道图像；
将所述6通道图像输入预先建立的所述属性合成模型。
9.根据权利要求1～8中任意一项所述的属性信息迁移方法，其特征在于，所述第一目标图像为包含指定人脸属性信息的人脸图像，所述第二目标图像为不包含所述指定人脸属性信息的人脸图像。
10.一种属性信息迁移装置，其特征在于，包括：图像获取模块、图像分割模块和图像合成模块；
所述图像获取模块，用于获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
所述图像分割模块，用于从所述第一图像中分割出所述目标属性信息；
所述图像合成模块，用于将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
11.根据权利要求10所述的属性信息迁移装置，其特征在于，所述图像分割模块，具体用于将所述第一图像输入预先建立的属性删除模型，获得所述属性删除模型生成的、只包含所述目标属性信息的图像，作为目标属性残差图像。
12.根据权利要求11所述的属性信息迁移装置，其特征在于，所述属性合成模块，具体用于将所述目标属性残差图像和所述第二图像输入预先建立的属性合成模型，获得所述属性合成模型输出的、包含所述目标属性信息的目标图像。
13.一种属性信息迁移设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取包含目标属性信息的第一图像和不包含所述目标属性信息的第二图像；
从所述第一图像中分割出所述目标属性信息；
将所述目标属性信息合成至所述第二图像中，合成后得到包含所述目标属性信息的目标图像。
14.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的属性信息迁移方法的各个步骤。
CN201811019537.7A 2018-09-03 2018-09-03 一种属性信息迁移方法、装置、设备以及可读存储介质 Active CN109242775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811019537.7A CN109242775B (zh) 2018-09-03 2018-09-03 一种属性信息迁移方法、装置、设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811019537.7A CN109242775B (zh) 2018-09-03 2018-09-03 一种属性信息迁移方法、装置、设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN109242775A true CN109242775A (zh) 2019-01-18
CN109242775B CN109242775B (zh) 2023-05-30

Family

ID=65060234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811019537.7A Active CN109242775B (zh) 2018-09-03 2018-09-03 一种属性信息迁移方法、装置、设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN109242775B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
EP3408841A4 (en) * 2016-01-26 2019-08-14 Coral Detection Systems Ltd. METHOD AND SYSTEMS FOR DETECTING ERRINKING PERSONS
CN110135583A (zh) * 2019-05-23 2019-08-16 北京地平线机器人技术研发有限公司 标注信息的生成方法、标注信息的生成装置和电子设备
CN111046784A (zh) * 2019-12-09 2020-04-21 科大讯飞股份有限公司 文档版面分析识别方法、装置、电子设备和存储介质
CN114463557A (zh) * 2022-01-25 2022-05-10 腾讯科技（深圳）有限公司 轮廓标记方法、装置、设备、存储介质及系统
CN114903590A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质
EP4287067A4 (en) * 2021-02-25 2024-08-07 Huawei Tech Co Ltd DATA PROCESSING METHOD AND APPARATUS, AND SYSTEM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
US20180240257A1 (en) * 2017-02-21 2018-08-23 Adobe Systems Incorporated Deep high-resolution style synthesis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240257A1 (en) * 2017-02-21 2018-08-23 Adobe Systems Incorporated Deep high-resolution style synthesis
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘世光等: "基于编辑传播的多源图像表观迁移", 《郑州大学学报(工学版)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3408841A4 (en) * 2016-01-26 2019-08-14 Coral Detection Systems Ltd. METHOD AND SYSTEMS FOR DETECTING ERRINKING PERSONS
CN109816048A (zh) * 2019-02-15 2019-05-28 聚时科技(上海)有限公司 一种基于属性迁移的图像合成方法
CN110135583A (zh) * 2019-05-23 2019-08-16 北京地平线机器人技术研发有限公司 标注信息的生成方法、标注信息的生成装置和电子设备
CN110135583B (zh) * 2019-05-23 2020-08-21 北京地平线机器人技术研发有限公司 标注信息的生成方法、标注信息的生成装置和电子设备
CN111046784A (zh) * 2019-12-09 2020-04-21 科大讯飞股份有限公司 文档版面分析识别方法、装置、电子设备和存储介质
CN111046784B (zh) * 2019-12-09 2024-02-20 科大讯飞股份有限公司 文档版面分析识别方法、装置、电子设备和存储介质
EP4287067A4 (en) * 2021-02-25 2024-08-07 Huawei Tech Co Ltd DATA PROCESSING METHOD AND APPARATUS, AND SYSTEM
CN114463557A (zh) * 2022-01-25 2022-05-10 腾讯科技（深圳）有限公司 轮廓标记方法、装置、设备、存储介质及系统
CN114903590A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质
CN114903590B (zh) * 2022-04-13 2023-10-27 中南大学湘雅医院 一种莫氏显微手术标记信息处理方法、系统及存储介质

Also Published As

Publication number Publication date
CN109242775B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109242775B (zh) 一种属性信息迁移方法、装置、设备以及可读存储介质
AU2019201268B2 (en) Segmentation of an image based on color and color differences
CN110163640B (zh) 一种在视频中植入广告的方法及计算机设备
US11042990B2 (en) Automatic object replacement in an image
US9741137B2 (en) Image-based color palette generation
US10937200B2 (en) Object-based color adjustment
US9552656B2 (en) Image-based color palette generation
CN105354248B (zh) 基于灰度的分布式图像底层特征识别方法及系统
US9177391B1 (en) Image-based color palette generation
US9311889B1 (en) Image-based color palette generation
CN109359499A (zh) 一种用于脸部分类的方法和装置
CN104820990A (zh) 一种交互式图像抠图系统
CN108596940A (zh) 一种视频分割方法和装置
CN109902672A (zh) 图像标注方法及装置、存储介质、计算机设备
CN107003834B (zh) 行人检测设备和方法
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
US11232607B2 (en) Adding color to digital images
CN113254000B (zh) 基于json数据生成2d场景的方法、装置、存储介质和设备
CN115115979A (zh) 视频中组成元素的识别、替换方法以及视频推荐方法
CN113920236A (zh) 面部定制方法、装置、电子设备及可读介质
US10102630B2 (en) Video object tagging using segmentation hierarchy
CN113220917B (zh) 一种背景图推荐方法、设备及存储介质
CN110796666B (zh) 一种基于形状描述符和孪生神经网络的纹理分割算法
US20240331163A1 (en) Systems for determining image masks using multiple input images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant