CN108765261A - 图像变换方法和装置、电子设备、计算机存储介质、程序 - Google Patents
图像变换方法和装置、电子设备、计算机存储介质、程序 Download PDFInfo
- Publication number
- CN108765261A CN108765261A CN201810333717.6A CN201810333717A CN108765261A CN 108765261 A CN108765261 A CN 108765261A CN 201810333717 A CN201810333717 A CN 201810333717A CN 108765261 A CN108765261 A CN 108765261A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- network
- converting network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 230000001965 increasing effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 12
- 238000012549 training Methods 0.000 description 44
- 230000004069 differentiation Effects 0.000 description 42
- 230000008859 change Effects 0.000 description 11
- 230000006854 communication Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 241000208340 Araliaceae Species 0.000 description 8
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 8
- 235000003140 Panax quinquefolius Nutrition 0.000 description 8
- 235000008434 ginseng Nutrition 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 206010034719 Personality change Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种图像变换方法和装置、电子设备、计算机存储介质、程序，其中，方法包括：基于图像变换网络对图像进行特征提取，得到图像特征；基于所述图像特征中的部分或全部特征，确定目标图像特征；基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。基于本申请上述实施例，基于图像特征中全部或部分特征，使人脸属性改变，并保持生成图像中其他部分与原图像一致，从而达到变换人脸属性的同时不影响图像效果。
Description
技术领域
本申请涉及计算机视觉技术，尤其是一种图像变换方法和装置、电子设备、计算机存储介质、程序。
背景技术
图像变换是将图像中的某些部分进行变换，如：增加或减少特定的内容，通过变换可达到不同效果；应用到人脸图像中，产生人脸属性变换，此处人脸属性是指所有可以用于描述人脸的特征，比如：肤色、是否有胡须、是否带眼镜、年轻或年老等。人脸属性变换在多个领域都有重要的应用，比如生成数据库、跨年龄人脸识别、娱乐等。
发明内容
本申请实施例提供的一种图像变换技术。
根据本申请实施例的一个方面，提供的一种图像变换方法，包括：
基于图像变换网络对图像进行特征提取，得到图像特征；
基于所述图像特征中的部分或全部特征，确定目标图像特征；
基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。
可选地，所述基于所述图像特征中的部分或全部特征，确定目标图像特征，包括：
对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。
可选地，所述对所述图像特征中的部分或全部特征值进行数值变换，得到目标图像特征，包括：
对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。
可选地，所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征之前，还包括：
基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；
存储所述有效特征的位置信息；
所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征，包括：
对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。
可选地，所述图像变换网络包括至少一个卷积层；
基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征，包括：
基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征。
可选地，所述基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征，包括：
基于第一卷积层输出的第一卷积特征或所述图像，利用第二卷积层的卷积核大小和步长，确定所述第二卷积层输出的第二卷积特征中的有效特征；所述第一卷积层的输出特征为所述第二卷积层的输入。
可选地，所述基于图像变换网络对图像进行特征提取，得到图像特征之前，还包括：
基于样本图像，对所述图像变换网络进行训练。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述图像变换网络对所述样本图像进行特征提取得到样本图像特征，基于样本图像特征获得待转换数值的样本特征构成的转换特征；
对所述转换特征中各特征进行数值变换，得到目标样本图像特征；
基于所述图像变换网络对所述目标样本图像特征进行解码，得到目标样本图像；
基于所述样本图像、所述目标样本图像和所述转换特征确定所述编码损失；
基于编码损失调整所述图像变换网络的参数。
可选地，基于所述样本图像、所述目标样本图像和所述转换特征确定所述编码损失，包括：
基于所述样本图像与所述转换特征确定第一损失；基于所述样本图像和所述目标样本图像确定第二损失；
基于所述第一损失和所述第二损失确定编码损失，基于所述编码损失调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述图像变换网络对所述样本图像进行先增加后减少的数值变换，得到第一目标图像；
基于所述图像变换网络对所述样本图像进行先减少后增加的数值变换，得到第二目标图像；
基于所述第一目标图像、所述第二目标图像和其分别对应的所述样本图像，确定所述图像变换网络的循环一致损失；
基于所述循环一致损失调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述编码损失和所述循环一致损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
结合判别网络训练所述图像变换网络，所述判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。
可选地，所述结合判别网络训练所述图像变换网络，包括：
基于所述图像变换网络对所述样本图像进行变换，得到目标图像；
将所述目标图像和所述样本图像输入所述判别网络，得到判别结果，所述判别结果包括所述目标图像和所述样本图像分别是否为真实图像；
基于所述判别结果确定所述判别网络和所述图像变换网络的判别损失；
基于所述判别损失训练所述判别网络和所述图像变换网络。
可选地，基于所述判别损失训练所述判别网络和所述图像变换网络，包括：
基于第一判别损失调整所述图像变换网络的参数，基于第二判别损失调整所述判别网络的参数；所述第一判别损失和所述第二判别损失分别基于所述判别网络相邻两次判别得到的判别结果获得。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述编码损失、所述循环一致损失和所述判别损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
对样本图像进行特征提取得到样本图像特征；
对经所述图像变换网络变换得到的目标样本图像进行特征提取，得到目标样本图像特征；
基于所述样本图像特征和所述目标样本图像特征，调整所述图像变换网络的参数。
可选地，所述基于所述样本图像特征和所述目标样本图像特征，调整所述图像变换网络的参数，包括：
基于所述样本图像特征和所述目标样本图像特征之间的距离，确定所述图像变换网络的特征损失；
基于所述特征损失调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述编码损失、所述循环一致损失、所述判别损失和所述特征损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
对样本图像进行背景提取得到图像背景；
对经所述图像变换网络变换得到的目标样本图像进行背景提取，得到目标图像背景；
基于所述图像背景和所述目标图像背景，调整所述图像变换网络的参数。
可选地，所述基于所述图像背景和所述目标图像背景，调整所述图像变换网络的参数，包括：
基于所述图像背景和所述目标图像背景之间的距离，确定所述图像变换网络的背景损失；
基于所述背景损失调整所述图像变换网络的参数。
可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：
基于所述编码损失、所述循环一致损失、所述判别损失、所述特征损失和所述背景损失加权求和的结果调整所述图像变换网络的参数。
根据本申请实施例的另一个方面，提供的一种图像变换装置，包括：
编码单元，用于基于图像变换网络对图像进行特征提取，得到图像特征；
变换单元，用于基于所述图像特征中的部分或全部特征，确定目标图像特征；
解码单元，用于基于图像变换网络对所述目标图像特征进行解码，得到目标图像。
可选地，所述变换单元，具体用于对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。
可选地，所述变换单元，具体用于对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。
可选地，还包括：
有效特征单元，用于基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；
存储单元，用于存储所述有效特征的位置信息；
所述变换单元，具体用于对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。
可选地，所述图像变换网络包括至少一个卷积层；
所述有效特征单元，具体用于基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征。
可选地，所述有效特征单元，用于基于第一卷积层输出的第一卷积特征或所述图像，利用第二卷积层的卷积核大小和步长，确定所述第二卷积层输出的第二卷积特征中的有效特征；所述第一卷积层的输出特征为所述第二卷积层的输入。
可选地，还包括：
训练单元，用于基于样本图像，对所述图像变换网络进行训练。
可选地，所述训练单元，包括：
转换特征模块，用于基于所述图像变换网络对所述样本图像进行特征提取得到样本图像特征，基于样本图像特征获得待转换数值的样本特征构成的转换特征；
数值变换模块，用于对所述转换特征中各特征进行数值变换，得到目标样本图像特征；
特征解码模块，用于基于所述图像变换网络对所述目标样本图像特征进行解码，得到目标样本图像；
编码损失模块，用于基于所述样本图像、所述目标样本图像和所述转换特征确定所述编码损失；
第一参数调整模块，用于基于编码损失调整所述图像变换网络的参数。
可选地，所述编码损失模块，具体用于基于所述样本图像与所述转换特征确定第一损失；基于所述样本图像和所述目标样本图像确定第二损失；
基于所述第一损失和所述第二损失确定编码损失，基于所述编码损失调整所述图像变换网络的参数。
可选地，所述训练单元，包括：
第一图像模块，用于基于所述图像变换网络对样本图像进行先增加后减少的数值变换，得到第一目标图像；
第二图像模块，用于基于所述图像变换网络对所述样本图像进行先减少后增加的数值变换，得到第二目标图像；
循环一致损失模块，用于基于所述第一目标图像、所述第二目标图像和其分别对应的所述图像，确定所述图像变换网络的循环一致损失；
第二参数调整模块，用于基于所述循环一致损失调整所述图像变换网络的参数。
可选地，所述训练单元，具体用于基于所述编码损失和所述循环一致损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述训练单元，具体用于结合判别网络训练所述图像变换网络，所述判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。
可选地，所述训练单元，包括：
图像变换模块，用于基于所述图像变换网络对所述样本图像进行变换，得到目标图像；
图像判别模块，用于将所述目标图像和所述样本图像输入所述判别网络，得到判别结果，所述判别结果包括所述目标图像和所述样本图像分别是否为真实图像；
判别损失模块，用于基于所述判别结果确定所述判别网络和所述图像变换网络的判别损失；
第三参数调整模块，用于基于所述判别损失训练所述判别网络和所述图像变换网络。
可选地，所述第三参数调整模块，具体用于基于第一判别损失调整所述图像变换网络的参数，基于第二判别损失调整所述判别网络的参数；所述第一判别损失和所述第二判别损失分别基于所述判别网络相邻两次判别得到的判别结果获得。
可选地，所述训练单元，具体用于基于所述编码损失、所述循环一致损失和所述判别损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述训练单元，包括：
样本特征模块，用于对样本图像进行特征提取得到样本图像特征；
变换特征提取模块，用于对经所述图像变换网络变换得到的目标样本图像进行特征提取，得到目标样本图像特征；
第四参数调整模块，用于基于所述样本图像特征和所述目标样本图像特征，调整所述图像变换网络的参数。
可选地，所述第四参数调整模块，具体用于基于所述样本图像特征和所述目标样本图像特征之间的距离，确定所述图像变换网络的特征损失；基于所述特征损失调整所述图像变换网络的参数。
可选地，所述训练单元，用于基于所述编码损失、所述循环一致损失、所述判别损失和所述特征损失加权求和的结果调整所述图像变换网络的参数。
可选地，所述训练单元，包括：
图像背景模块，用于对样本图像进行背景提取得到图像背景；
背景提取模块，用于对经所述图像变换网络变换得到的目标样本图像进行背景提取，得到目标图像背景；
第五参数调整模块，用于基于所述图像背景和所述目标图像背景，调整所述图像变换网络的参数。
可选地，所述第五参数调整模块，具体用于基于所述图像背景和所述目标图像背景之间的距离，确定所述图像变换网络的背景损失；基于所述背景损失调整所述图像变换网络的参数。
可选地，所述训练单元，用于基于所述编码损失、所述循环一致损失、所述判别损失、所述特征损失和所述背景损失加权求和的结果调整所述图像变换网络的参数。
根据本发明实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的图像变换装置。
根据本发明实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述图像变换方法的操作。
根据本发明实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述图像变换方法的操作。
根据本发明实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上所述图像变换方法的指令。
基于本申请上述实施例提供的一种图像变换方法，基于图像变换网络对图像进行特征提取，得到图像特征；基于图像特征中的部分或全部特征，确定目标图像特征；基于图像变换网络对目标图像特征进行解码，得到目标图像，基于图像特征中全部或部分特征，使人脸属性改变，并保持生成图像中其他部分与原图像一致，从而达到变换人脸属性的同时不影响图像效果。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请图像变换方法一个实施例的流程图。
图2为本申请图像变换装置一个实施例的结构示意图。
图3为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本申请图像变换方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，基于图像变换网络对图像进行特征提取，得到图像特征。
可选地，图像变换网络可包括图像编码器，基于图像编码器对图像进行特征提取，图像编码器Encoder可以包括至少一层卷积层，经过卷积层对图像进行特征提取，可得到图像对应的特征，该特征大小可能小于或等于图像的大小，为了便于后续操作，通常将该特征转换为与图像长宽比例相同的图像特征，转换的方法可以是通过填充等方式，本申请对具体转换特征大小的方式不做限定。
步骤120，基于图像特征中的部分或全部特征，确定目标图像特征。
在一个或多个可选的实施例中，对图像特征中的部分或全部特征进行特征变换，得到目标图像特征。对部分或全部特征进行变换可实现对图像中的部分或全部属性进行更改，例如：对人脸图像的人脸属性进行更改。人脸属性包括但不限于：年龄、性别、微笑程度、头部姿态、眼睛状态、情绪、颜值、视线、嘴部状态、皮肤状态、人种、人脸图片质量与模糊程度。
可选地，对图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。
可选地，当需要在图像中增加某一个或多个人脸属性时，对部分或全部特征中对应的数值增加设定数值，当需要将图像中某一个或多个人脸属性消减掉时，对部分或全部特征中对应的数值减少设定数值，这里的设定数值可以预先设定或根据对该人脸属性训练得到。
具体地，对部分或全部特征进行数值变换是由图像编码器决定的，图像变换网络获得的图像特征中能够体现原图像中所有特征的特征即为需要变换数值的特征，由于变换过程只改变了部分特征，更多的特征并没有变化，因此在通过改变选定特征来改变图像特征时，其余未变化的特征有利于保护原图信息，如：色调、细节等。
步骤130，基于图像变换网络对目标图像特征进行解码，得到目标图像。
可选地，图像变换网络还包括图像解码器，通过图像解码器对目标图像特征进行解密，图像解码器Decoder用于将特征解码为图像，当图像特征未经过数值变换，经过图像解码器的解码将得到原图像，而经过数值变换得到的目标图像特征，经解码即得到希望变换的目标图像。
可选地，还可以将目标图像作为输入图像，继续进行图像变换，实现连续的图像变换，例如：对于人脸图像，第一次变换增加一个眼镜，继续变换改变年龄，还可以根据实际需求，继续以目标图像进行变换。
基于本申请上述实施例提供的一种图像变换方法，基于图像变换网络对图像进行特征提取，得到图像特征；基于图像特征中的部分或全部特征，确定目标图像特征；基于图像变换网络对目标图像特征进行解码，得到目标图像，基于图像特征中全部或部分特征，使人脸属性改变，并保持生成图像中其他部分与原图像一致，从而达到变换人脸属性的同时不影响图像效果。
本申请图像变换方法的一个或多个可选的实施例中，在上述各实施例的基础上，操作120之前，还可以包括：
基于图像变换网络中各网络层的参数，确定图像特征中待变换数值的有效特征；
存储有效特征的位置信息。
操作120可以包括：
对图像特征中的有效特征进行数值变换，得到目标图像特征。
本实施例针对图像变换网络中每层不同的网络结构可以采用不同的稀疏结构计算方法，使提取出的稀疏结构可以有效覆盖输入图像的所有像素，使得改变潜在层的特征可以有效地对输入图像各个部分的特征进行修改；通过存储有效特征的位置信息，可以实现连续的图像变换或对同一图像快速多次变换。通过改变稀疏表达的特征的均值来提升生成图像的色调与输入图像的色调的一致性。
可选地，图像变换网络包括至少一个卷积层；例如：图像编码器包括至少一个卷积层；
基于图像变换网络中各网络层的参数，确定图像特征中待变换数值的有效特征，包括：
基于至少一个卷积层中各卷积层的卷积核大小和步长，确定图像特征中能够表达图像的有效特征。
本实施例中，经过卷积层的卷积操作，得到的有效特征图的大小通常是小于原图的，本示例通过根据卷积核大小和步长来计算每一个有效特征的位置，即确定能够覆盖所有原图像特征的所有特征。使用有效特征保存图像特征，实现部分特征可用于记录改变的特征，部分特征用于记录原图的信息，可在保证生成图像在改变特征的同时，其色调与原图基本一致。
可选地，基于至少一个卷积层中各卷积层的卷积核大小和步长，确定图像特征中能够表达图像的有效特征，包括：
基于第一卷积层输出的第一卷积特征或图像，利用第二卷积层的卷积核大小和步长，确定第二卷积层输出的第二卷积特征中的有效特征；第一卷积层的输出特征为第二卷积层的输入。
由于图像编码器包括至少一层卷积层，各卷积层之间根据输入的上一层卷积层输出的稀疏特征(稀疏特征包括所有有效特征，如果是第一层卷积层，则为输入图像，输入图像的特征包括所有像素点)来计算下一层特征的稀疏特征，确保下一层的稀疏特征可以有效覆盖上一层的所有需要用到的稀疏特征；如果上一层周围像素有padding填充结构，需要先将padding结构去掉，以保证该稀疏特征中的特征都是有效特征。
本申请图像变换方法的一个或多个可选的实施例中，在上述各实施例的基础上，在执行操作110之前，还可以包括：
基于样本图像，对图像变换网络进行训练。
为了实现更好的图像变换，针对不同任务都需要进行图像变换网络的训练，例如：对人脸属性变换进行训练。
可选地，基于样本图像，对图像变换网络进行训练，包括：
基于图像变换网络对样本图像进行特征提取得到样本图像特征，基于样本图像特征获得待转换数值的样本特征构成的转换特征；
对转换特征中各特征进行数值变换，得到目标样本图像特征；
基于图像变换网络对目标样本图像特征进行解码，得到目标样本图像；
基于样本图像、目标样本图像和转换特征确定编码损失；
基于编码损失调整图像变换网络的参数。
本实施例中，对图像编码器和图像解码器组成的图像变换网络需要对图像编码器和图像解码器进行训练，由于图像编码器和图像解码器之间进行了特征变换，因此，编码损失的确定除了需要基于样本图像和目标样本图像之外，还需要基于转换特征确定编码损失。
具体地，基于样本图像、目标样本图像和转换特征确定编码损失，包括：
基于样本图像与转换特征确定第一损失；基于样本图像和目标样本图像确定第二损失；
基于第一损失和第二损失确定编码损失，基于编码损失调整图像变换网络的参数。
本实施例中，图像变换网络包含两个部分：图像编码器Encoder(En)和图像解码器Decoder(De)，分别用于图像的编码与有效特征的解码。编码损失用于修改Encoder(En)和Decoder(De)的参数，其具体可基于公式(1)计算：
其中，x为输入图像，z为稀疏特征，x′为生成图像，KL为KL散度(Kullback–Leiblerdivergence，也称为相对熵)。q(z|x)是指输入图像x经过编码器得到输出特征为z的分布，p(z)是指一种特定的分布(例如：高斯分布)，KL散度约束图像经过编码器得到的特征分布q(z|x)和p(z)这种分布尽可能接近；pdata(x)表示x所在数据集data的分布，x～pdata的意思是，x服从分布pdata(x)，即x是从数据集data中取出的图像；p(x'|x)是指，在输入为x的条件下生成的图片为x'的分布，公式的第二项用于约束生成的图片要和原图片保持一致。λ1和λ2表示两个约束的权值。该损失函数通过同时对稀疏特征和生成图像进行约束来改变图像编码器Encoder(En)和图像解码器Decoder(De)的参数。
在一个或多个可选的实施例中，基于样本图像，对图像变换网络进行训练，包括：
基于图像变换网络对样本图像进行先增加后减少的数值变换，得到第一目标图像；
基于图像变换网络对样本图像进行先减少后增加的数值变换，得到第二目标图像；
基于第一目标图像、第二目标图像和和其分别对应的样本图像，确定图像变换网络的循环一致损失；
基于循环一致损失调整图像变换网络的参数。
本实施例中，由于网络可以对图像的特征进行增加或减少两种操作，因此在使用图像变换网络对图像特征进行增加操作之后再使用减少操作得到的是同一张图像。算法同时对先增加后减少和先减少后增加两种操作得到的图像进行约束。循环一致损失CycleConsistency Loss具体可基于公式(2)计算：
LCycle＝||G-(G+(x))-x||1+||G+(G-(y))-y||-y||1 公式(2)
其中，x、y为输入图像，其中对x执行先增加后减少的数值变换，对y执行先减少后增加的数值变换。以图像x为例，G+(x)表示经过增加数值变换得到的目标图像，G-(x)表示经过减少数值变换得到的目标图像，||G-(G+(x))-x||1表示图像x经过先增加后减少的数值变换得到的图像与图像x之间的L1距离。对于两个图像之间的L1距离，其通过分别计算两个图像中每个像素之差的绝对值，对获得的所有绝对值求和即获得两个图像之间的L1距离。图像y同理。
可选地，基于样本图像，对图像变换网络进行训练，包括：
基于编码损失和循环一致损失加权求和的结果调整图像变换网络的参数。
通过编码损失和循环一致损失两种损失对图像变换网络进行训练，可达到更好的训练效果。
在一个或多个可选的实施例中，基于样本图像，对图像变换网络进行训练，包括：
结合判别网络训练图像变换网络，判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。
为了使目标图像更接近真实图像，在该实施例中，本申请结合判别网络对图像变换网络进行训练，通过对抗训练使判别网络无法分辨目标图像是否是真实图像。
可选地，结合判别网络训练图像变换网络，包括：
基于图像变换网络对样本图像进行变换，得到目标图像；
将目标图像和样本图像输入判别网络，得到判别结果，判别结果包括目标图像和样本图像分别是否为真实图像；
基于判别结果确定判别网络和图像变换网络的判别损失；
基于判别损失训练判别网络和图像变换网络。
该训练过程包含两个部分，图像变换网络(生成器Generator G)和判别网络(判别器Discriminator D)。生成器用于生成目标图像并尽可能使生成的图像无法被判别器区分是否真实，判别器用于判断输入判别器的图像是真实图像还是生成器生成的图像并尽可能区分出输入的图像是哪一种图像。判别损失GAN Loss同时对生成器和判别器网络的参数进行修改。判别损失GAN Loss具体可基于公式(3)计算：
其中，x为输入到图像变换网络的图像，G(x)表示图像变换网络输出的目标图像，D(G(x))表示判别网络对目标图像判别得到的判别结果，D(x)表示判别网络对图像x判别得到的判别结果。Ex～pdata(x)[logD(x)]是指将原始图片输入判别器Discriminator，得到的标签(概率)越接近1越好。Ex～pdata(x)[log(1-D(G(x)))]中D(G(x))是指将Generator生成器生成的x输入判别器Discriminator，得到的标签(概率)越接近0越好。为了让两个公式可以一起计算，所以在后边用1-D(G(x))，可以将D(G(x))接近0改为1-D(G(x))接近1，与第一项一致。最大化公式第一项和第二项用于训练判别器，使其尽可能分辨出原始图像和生成图像。最小化公式第二项用于训练生成器，使生成器得到的图像尽可能迷惑判别器，使其分辨不出该图像为原是图像还是生成图像。
可选地，基于判别损失训练判别网络和图像变换网络，包括：
基于第一判别损失调整图像变换网络的参数，基于第二判别损失调整判别网络的参数；第一判别损失和第二判别损失分别基于判别网络相邻两次判别得到的判别结果获得。
本示例中，生成器与判别器所需要完成的任务是相反的，因此在训练过程中可以互相促进，使得双方的精度都提升。图像变换网络同时也是生成对抗网络(GAN)的生成器(Generator G)。
可选地，对图像编码器和图像解码器组成的图像变换网络进行训练，包括：
基于编码损失、循环一致损失和判别损失加权求和的结果调整图像变换网络的参数。
其加权求和中不同损失对应的权值与其对图像变换网络的影响相关，相关性越强其权值越大。
在一个或多个可选的实施例中，基于样本图像，对图像变换网络进行训练，包括：
对样本图像进行特征提取得到样本图像特征；
对经图像变换网络变换得到的目标样本图像进行特征提取，得到目标样本图像特征；
基于样本图像特征和目标样本图像特征，调整图像变换网络的参数。
当本申请中图像变换网络应用到人脸属性变换时，需要尽量保证人脸身份在变换过程中不变，本实施例中通过样本图像特征和目标样本图像特征调整图像变换网络的参数。可选地，当样本图像为人脸图像，可通过人脸识别网络对目标样本图像进行特征提取，人脸识别网络用于约束使得目标图像尽可能保持原始图像的身份特征。
可选地，基于样本图像特征和目标样本图像特征，调整图像变换网络的参数，包括：
基于样本图像特征和目标样本图像特征之间的距离，确定图像变换网络的特征损失；
基于特征损失调整图像变换网络的参数。
该示例中，特征损失ID loss用于使人脸识别网络提取的真实图像和生成图像中的人脸属性足够相近，达到保持人脸身份特征不变的效果。具体的距离计算方式为L1距离。特征损失ID loss具体可基于公式(4)计算：
LID＝||FID(x)-FID(G(x))||1 公式(4)
其中，x为输入到图像变换网络的图像，G(x)表示图像变换网络输出的目标图像。
可选地，基于样本图像，对图像变换网络进行训练，包括：
基于编码损失、循环一致损失、判别损失和特征损失加权求和的结果调整图像变换网络的参数。
其加权求和中不同损失对应的权值与其对图像变换网络的影响相关，相关性越强其权值越大。
在一个或多个可选的实施例中，基于样本图像，对图像变换网络进行训练，包括：
对样本图像进行背景提取得到图像背景；
对经图像变换网络变换得到的目标样本图像进行背景提取，得到目标图像背景；
基于图像背景和目标图像背景，调整图像变换网络的参数。
通常对于图像的变换与背景无关，因此，需要保持背景不变化，本实施例通过基于图像背景和目标图像背景，调整图像变换网络的参数，以达到在变换后背景不变的效果。
可选地，基于图像背景和目标图像背景，调整图像变换网络的参数，包括：
基于图像背景和目标图像背景之间的距离，确定图像变换网络的背景损失；
基于背景损失调整图像变换网络的参数。
该示例通过对提取的图像的背景进行约束，使目标图像的背景与原始图像的背景保持一致达到提升背景生成一致性以及图像特征转移效果的作用。可通过两个步骤实现：(1)提取原始图像的背景和目标图像的背景；(2)最小化两图像的背景之间的L1距离。背景损失The Mask Loss具体可基于公式(5)计算：
LMask＝||Mask(G(x))-Mask(x)||1 公式(5)
其中，x为输入到图像变换网络的图像，G(x)表示图像变换网络输出的目标图像。
可选地，基于样本图像，对图像变换网络进行训练，包括：
基于编码损失、循环一致损失、判别损失、特征损失和背景损失加权求和的结果调整图像变换网络的参数。
作为一个效果较佳的实施例，通过编码损失、循环一致损失、判别损失、特征损失和背景损失共同调整图像编码器和图像解码器的参数，其加权求和中不同损失对应的权值与其对图像变换网络的影响相关，权值越大影响越大。
本申请图像变换方法可应用到娱乐，跨年龄人脸识别算法等领域。
在娱乐领域中，使用本申请图像变换方法可以改变人脸属性。比如人们想要染发，可以通过此技术事先变换头发颜色来直观看一下效果，有利于人们作出最优的选择。
在跨年龄人脸识别算法等领域中，使用本申请图像变换方法可以生成年轻或年老的人脸，用于扩大跨年龄人脸识别算法的数据库，产生更多有效的数据，增加训练数据有利于提升跨年龄人脸识别算法的准确率。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图2为本发明图像变换装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图2所示，该实施例的装置包括：
编码单元21，用于基于图像变换网络对图像进行特征提取，得到图像特征.
变换单元22，用于基于图像特征中的部分或全部特征，确定目标图像特征。
解码单元23，用于基于图像变换网络对目标图像特征进行解码，得到目标图像。
基于本申请上述实施例提供的一种图像变换装置，基于图像变换网络对图像进行特征提取，得到图像特征；基于图像特征中的部分或全部特征，确定目标图像特征；基于图像变换网络对目标图像特征进行解码，得到目标图像，基于图像特征中全部或部分特征，使人脸属性改变，并保持生成图像中其他部分与原图像一致，从而达到变换人脸属性的同时不影响图像效果。
在一个或多个可选的实施例中，变换单元，具体用于对图像特征中的部分或全部特征进行特征变换，得到目标图像特征。
可选地，变换单元，具体用于对图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。
本申请图像变换装置的一个或多个可选的实施例中，在上述各实施例的基础上，还包括：
有效特征单元，用于基于图像变换网络中各网络层的参数，确定图像特征中待变换数值的有效特征；
存储单元，用于存储有效特征的位置信息；
变换单元22，具体用于对图像特征中的有效特征进行数值变换，得到目标图像特征。
本实施例针对图像编码器中每层不同的网络结构可以采用不同的稀疏结构计算方法，使提取出的稀疏结构可以有效覆盖输入图像的所有像素，使得改变潜在层的特征可以有效地对输入图像各个部分的特征进行修改；通过存储有效特征的位置信息，可以实现连续的图像变换或对同一图像快速多次变换。通过改变稀疏表达的特征的均值来提升生成图像的色调与输入图像的色调的一致性。
可选地，图像变换网络包括至少一个卷积层；
有效特征单元，具体用于基于至少一个卷积层中各卷积层的卷积核大小和步长，确定图像特征中能够表达图像的有效特征。
可选地，有效特征单元，用于基于第一卷积层输出的第一卷积特征或图像，利用第二卷积层的卷积核大小和步长，确定第二卷积层输出的第二卷积特征中的有效特征；第一卷积层的输出特征为第二卷积层的输入。
本申请图像变换装置的一个或多个可选的实施例中，在上述各实施例的基础上，还包括：
训练单元，用于基于样本图像，对图像变换网络进行训练。
为了实现更好的图像变换，针对不同任务都需要进行图像变换网络的训练，例如：对人脸属性变换进行训练。
可选地，训练单元，包括：
转换特征模块，用于基于图像变换网络对样本图像进行特征提取得到样本图像特征，基于样本图像特征获得待转换数值的样本特征构成的转换特征；
数值变换模块，用于对转换特征中各特征进行数值变换，得到目标样本图像特征；
特征解码模块，用于基于图像变换网络对目标样本图像特征进行解码，得到目标样本图像；
编码损失模块，用于基于样本图像、目标样本图像和转换特征确定编码损失；
第一参数调整模块，用于基于编码损失调整图像变换网络的参数。
本实施例中，可选地，图像变换网络包括图像编码器和图像解码器，对图像变换网络需要对图像编码器和图像解码器进行训练，由于图像编码器和图像解码器之间进行了特征变换，因此，编码损失的确定除了需要基于样本图像和目标样本图像之外，还需要基于转换特征确定编码损失。
具体地，编码损失模块，具体用于基于样本图像与转换特征确定第一损失；基于样本图像和目标样本图像确定第二损失；
基于第一损失和第二损失确定编码损失，基于编码损失调整图像变换网络的参数。
在一个或多个可选的实施例中，训练单元，包括：
第一图像模块，用于基于图像变换网络对样本图像进行先增加后减少的数值变换，得到第一目标图像；
第二图像模块，用于基于图像变换网络对样本图像进行先减少后增加的数值变换，得到第二目标图像；
循环一致损失模块，用于基于第一目标图像、第二目标图像和其分别对应的样本图像，确定图像变换网络的循环一致损失；
第二参数调整模块，用于基于循环一致损失调整图像变换网络的参数。
本实施例中，由于网络可以对图像的特征进行增加或减少两种操作，因此在使用图像变换网络对图像特征进行增加操作之后再使用减少操作得到的是同一张图像。算法同时对先增加后减少和先减少后增加两种操作得到的图像进行约束。
可选地，训练单元，具体用于基于编码损失和循环一致损失加权求和的结果调整图像变换网络的参数。
在一个或多个可选的实施例中，训练单元，具体用于结合判别网络训练图像变换网络，判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。
为了使目标图像更接近真实图像，在该实施例中，本申请结合判别网络对图像变换网络进行训练，通过对抗训练使判别网络无法分辨目标图像是否是真实图像。
可选地，训练单元，包括：
图像变换模块，用于基于图像变换网络对样本图像进行变换，得到目标图像；
图像判别模块，用于将目标图像和样本图像输入判别网络，得到判别结果，判别结果包括目标图像和样本图像分别是否为真实图像；
判别损失模块，用于基于判别结果确定判别网络和图像变换网络的判别损失；
第三参数调整模块，用于基于判别损失训练判别网络和图像变换网络。
可选地，第三参数调整模块，具体用于基于第一判别损失调整图像变换网络的参数，基于第二判别损失调整判别网络的参数；第一判别损失和第二判别损失分别基于判别网络相邻两次判别得到的判别结果获得。
可选地，训练单元，具体用于基于编码损失、循环一致损失和判别损失加权求和的结果调整图像变换网络的参数。
在一个或多个可选的实施例中，训练单元，包括：
样本特征模块，用于对样本图像进行特征提取得到样本图像特征；
变换特征提取模块，用于对经图像变换网络变换得到的目标样本图像进行特征提取，得到目标样本图像特征；
第四参数调整模块，用于基于样本图像特征和目标样本图像特征，调整图像变换网络的参数。
当本申请中图像变换网络应用到人脸属性变换时，需要尽量保证人脸身份在变换过程中不变，本实施例中通过样本图像特征和目标样本图像特征调整图像变换网络的参数。可选地，当样本图像为人脸图像，可通过人脸识别网络对目标样本图像进行特征提取，人脸识别网络用于约束使得目标图像尽可能保持原始图像的身份特征。
可选地，第四参数调整模块，具体用于基于样本图像特征和目标样本图像特征之间的距离，确定图像变换网络的特征损失；基于特征损失调整图像变换的参数。
可选地，训练单元，用于基于编码损失、循环一致损失、判别损失和特征损失加权求和的结果调整图像变换的参数。
在一个或多个可选的实施例中，训练单元，包括：
图像背景模块，用于对样本图像进行背景提取得到图像背景；
背景提取模块，用于对经图像变换网络变换得到的目标样本图像进行背景提取，得到目标图像背景；
第五参数调整模块，用于基于图像背景和目标图像背景，调整图像变换网络的参数。
通常对于图像的变换与背景无关，因此，需要保持背景不变化，本实施例通过基于图像背景和目标图像背景，调整图像变换网络的参数，以达到在变换后背景不变的效果。
可选地，第五参数调整模块，具体用于基于图像背景和目标图像背景之间的距离，确定图像变换网络的背景损失；基于背景损失调整图像变换网络的参数。
可选地，训练单元，用于基于编码损失、循环一致损失、判别损失、特征损失和背景损失加权求和的结果调整图像变换网络的参数。
根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本发明分类方法上述任一实施例的图像变换装置。
根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成本发明图像变换方法上述任一实施例的操作。
根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，指令被执行时执行本发明图像变换方法上述任一实施例的操作。
根据本发明实施例的一个方面，提供的一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，该设备中的处理器执行用于实现本发明图像变换方法任意一项实施例的指令。
本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备300的结构示意图：如图3所示，电子设备300包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)301，和/或一个或多个图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器302和/或随机访问存储器303中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，基于图像变换网络对图像进行特征提取，得到图像特征；基于图像特征中的部分或全部特征，确定目标图像特征；基于图像变换网络对目标图像特征进行解码，得到目标图像。
此外，在RAM 303中，还可存储有装置操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使处理器301执行上述通信方法对应的操作。输入/输出(I/O)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
需要说明的，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，基于图像变换网络对图像进行特征提取，得到图像特征；基于图像特征中的部分或全部特征，确定目标图像特征；基于图像变换网络对目标图像特征进行解码，得到目标图像。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种图像变换方法，其特征在于，包括：
基于图像变换网络对图像进行特征提取，得到图像特征；
基于所述图像特征中的部分或全部特征，确定目标图像特征；
基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征中的部分或全部特征，确定目标图像特征，包括：
对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述图像特征中的部分或全部特征值进行数值变换，得到目标图像特征，包括：
对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。
4.根据权利要求3所述的方法，其特征在于，所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征之前，还包括：
基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；
存储所述有效特征的位置信息；
所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征，包括：
对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。
5.根据权利要求4所述的方法，其特征在于，所述图像变换网络包括至少一个卷积层；
基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征，包括：
基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征。
6.一种图像变换装置，其特征在于，包括：
编码单元，用于基于图像变换网络对图像进行特征提取，得到图像特征；
变换单元，用于基于所述图像特征中的部分或全部特征，确定目标图像特征；
解码单元，用于基于图像变换网络对所述目标图像特征进行解码，得到目标图像。
7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求6所述的图像变换装置。
8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至5任意一项所述图像变换方法的操作。
9.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5任意一项所述图像变换方法的操作。
10.一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5任意一项所述图像变换方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810333717.6A CN108765261B (zh) | 2018-04-13 | 2018-04-13 | 图像变换方法和装置、电子设备、计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810333717.6A CN108765261B (zh) | 2018-04-13 | 2018-04-13 | 图像变换方法和装置、电子设备、计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108765261A true CN108765261A (zh) | 2018-11-06 |
| CN108765261B CN108765261B (zh) | 2022-07-05 |
Family
ID=64010700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810333717.6A Active CN108765261B (zh) | 2018-04-13 | 2018-04-13 | 图像变换方法和装置、电子设备、计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108765261B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711546A (zh) * | 2018-12-21 | 2019-05-03 | 深圳市商汤科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN109993678A (zh) * | 2019-03-26 | 2019-07-09 | 南京联创北斗技术应用研究院有限公司 | 一种基于深度对抗生成网络的鲁棒信息隐藏方法 |
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
| CN110188641A (zh) * | 2019-05-20 | 2019-08-30 | 北京迈格威科技有限公司 | 图像识别和神经网络模型的训练方法、装置和系统 |
| WO2020108336A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111260754A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 人脸图像编辑方法、装置和存储介质 |
| CN111401216A (zh) * | 2020-03-12 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| CN112634428A (zh) * | 2019-10-09 | 2021-04-09 | 四川大学 | 一种基于双向循环生成网络的多孔介质三维图像重建方法 |
| CN112991152A (zh) * | 2021-03-04 | 2021-06-18 | 网易（杭州）网络有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| US20220172462A1 (en) * | 2020-02-13 | 2022-06-02 | Tencent Technology (Shenzhen) Company Limited | Image processing method, apparatus, and device, and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098152A1 (en) * | 2015-10-02 | 2017-04-06 | Adobe Systems Incorporated | Modifying at least one attribute of an image with at least one attribute extracted from another image |
| CN107330954A (zh) * | 2017-07-14 | 2017-11-07 | 深圳市唯特视科技有限公司 | 一种基于衰减网络通过滑动属性操纵图像的方法 |
| CN107527318A (zh) * | 2017-07-17 | 2017-12-29 | 复旦大学 | 一种基于生成对抗式网络模型的发型更换方法 |
| CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN107665339A (zh) * | 2017-09-22 | 2018-02-06 | 中山大学 | 一种通过神经网络实现人脸属性转换的方法 |
| CN107784630A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 对人脸图像进行属性翻转的方法、装置和终端 |
| CN107798276A (zh) * | 2016-09-05 | 2018-03-13 | 中兴通讯股份有限公司 | 一种人脸图像的年龄变换方法及装置 |
-
2018
- 2018-04-13 CN CN201810333717.6A patent/CN108765261B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098152A1 (en) * | 2015-10-02 | 2017-04-06 | Adobe Systems Incorporated | Modifying at least one attribute of an image with at least one attribute extracted from another image |
| CN107798276A (zh) * | 2016-09-05 | 2018-03-13 | 中兴通讯股份有限公司 | 一种人脸图像的年龄变换方法及装置 |
| CN107330954A (zh) * | 2017-07-14 | 2017-11-07 | 深圳市唯特视科技有限公司 | 一种基于衰减网络通过滑动属性操纵图像的方法 |
| CN107527318A (zh) * | 2017-07-17 | 2017-12-29 | 复旦大学 | 一种基于生成对抗式网络模型的发型更换方法 |
| CN107665339A (zh) * | 2017-09-22 | 2018-02-06 | 中山大学 | 一种通过神经网络实现人脸属性转换的方法 |
| CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN107784630A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 对人脸图像进行属性翻转的方法、装置和终端 |
Non-Patent Citations (3)
| Title |
|---|
| ROTHER C .: "GrabCut : Interactive foreground extraction using iterated graph cut", 《ACM TRANS GRAPH》 * |
| 刘振宇: "基于RNN的人脸老化方法研究", 《通信技术》 * |
| 汤旭: "基于对抗生成网络的身份保持人脸老化", 《电子设计工程》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108336A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| US11798145B2 (en) | 2018-11-30 | 2023-10-24 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, device, and storage medium |
| CN109711546A (zh) * | 2018-12-21 | 2019-05-03 | 深圳市商汤科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN109711546B (zh) * | 2018-12-21 | 2021-04-06 | 深圳市商汤科技有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN109993678A (zh) * | 2019-03-26 | 2019-07-09 | 南京联创北斗技术应用研究院有限公司 | 一种基于深度对抗生成网络的鲁棒信息隐藏方法 |
| CN109993678B (zh) * | 2019-03-26 | 2020-04-07 | 南京联创北斗技术应用研究院有限公司 | 一种基于深度对抗生成网络的鲁棒信息隐藏方法 |
| CN110070037A (zh) * | 2019-04-22 | 2019-07-30 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110070037B (zh) * | 2019-04-22 | 2022-11-01 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
| CN110188641A (zh) * | 2019-05-20 | 2019-08-30 | 北京迈格威科技有限公司 | 图像识别和神经网络模型的训练方法、装置和系统 |
| CN112634428A (zh) * | 2019-10-09 | 2021-04-09 | 四川大学 | 一种基于双向循环生成网络的多孔介质三维图像重建方法 |
| US20220172462A1 (en) * | 2020-02-13 | 2022-06-02 | Tencent Technology (Shenzhen) Company Limited | Image processing method, apparatus, and device, and storage medium |
| CN111401216A (zh) * | 2020-03-12 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| CN111401216B (zh) * | 2020-03-12 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| CN111260754A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 人脸图像编辑方法、装置和存储介质 |
| CN112991152A (zh) * | 2021-03-04 | 2021-06-18 | 网易（杭州）网络有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108765261B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765261A (zh) | 图像变换方法和装置、电子设备、计算机存储介质、程序 | |
| Dolhansky et al. | Eye in-painting with exemplar generative adversarial networks | |
| Qiu et al. | Semanticadv: Generating adversarial examples via attribute-conditioned image editing | |
| Geng et al. | 3d guided fine-grained face manipulation | |
| US11645497B2 (en) | System and method for augmented reality using conditional cycle-consistent generative image-to-image translation models | |
| CN109902767B (zh) | 模型训练方法、图像处理方法及装置、设备和介质 | |
| CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| Risser et al. | Synthesizing structured image hybrids | |
| CN108776983A (zh) | 基于重建网络的人脸重建方法和装置、设备、介质、产品 | |
| Zhao et al. | Identity preserving face completion for large ocular region occlusion | |
| Singh et al. | Neural style transfer: A critical review | |
| US6816159B2 (en) | Incorporating a personalized wireframe image in a computer software application | |
| Xu et al. | Saliency prediction on omnidirectional image with generative adversarial imitation learning | |
| EP4150528A1 (en) | Semantic relation preserving knowledge distillation for image-to-image translation | |
| CN110853119A (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
| Boutros et al. | Idiff-face: Synthetic-based face recognition through fizzy identity-conditioned diffusion model | |
| CN104933742B (zh) | 一种卡通肖像自动生成方法 | |
| Tan et al. | Text-to-image synthesis with self-supervised bi-stage generative adversarial network | |
| EP4150514A1 (en) | High-resolution controllable face aging with spatially-aware conditional gans | |
| CN113408694A (zh) | 用于生成式神经网络的权重解调 | |
| Cho et al. | Towards enhanced controllability of diffusion models | |
| Yao et al. | Learning non-linear disentangled editing for stylegan | |
| CN115311403A (zh) | 深度学习网络的训练方法、虚拟形象生成方法及装置 | |
| Roy | Applying aging effect on facial image with multi-domain generative adversarial network | |
| CN112991152A (zh) | 一种图像处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |