CN112258381A - 模型训练方法、图像处理方法、装置、设备及存储介质 - Google Patents
模型训练方法、图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112258381A CN112258381A CN202011058190.4A CN202011058190A CN112258381A CN 112258381 A CN112258381 A CN 112258381A CN 202011058190 A CN202011058190 A CN 202011058190A CN 112258381 A CN112258381 A CN 112258381A
- Authority
- CN
- China
- Prior art keywords
- image
- loss value
- generator
- training
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 20
- 230000005012 migration Effects 0.000 claims description 27
- 238000013508 migration Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种模型训练方法、图像处理方法、装置、设备及存储介质，该方法包括：获取第一样本图像和第二样本图像，根据第一样本图像和第二样本图像训练第一判别器，得到第一判别损失值，并通过第一判别器确定第二判别损失值。根据第一样本图像和第一生成器的转换结果确定相似度损失值，根据第一样本图像和第二图像确定复原损失值。根据相似度损失值、第二判别损失值和复原损失值训练第一生成器和第二生成器，得到目标循环生成对抗网络模型。通过第一样本图像和第一图像计算相似度损失值，通过相似度损失值对第一生成器进行训练，可以提高有形变存在时，CycleGAN模型训练时的稳定性，得到稳定的CycleGAN模型。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型训练方法、图像处理方法、装置、设备及存储介质。
背景技术
图像迁移技术用于实现图像类别的转换，例如将一个类别的男性图像转换为另一个类别的女性图像，将一个类别的夏季图像转换为另一个类别的冬季图像。
目前，训练神经网络模型，通过训练后的神经网络模型实现图像类别的转换，可以显著提高图像转换的效果。循环生成对抗网络(CycleGAN，Cycle Generative AdversarialNetworks)模型是一种无需使用成对样本图像进行训练的图像类别转换模型，在CycleGAN模型的训练过程中，当两个类别的样本图像之间的形变较大时，会导致模型训练失败，无法得到稳定的、可以进行图像类别转换的CycleGAN模型。
发明内容
本申请实施例提供了一种模型训练方法、图像处理方法、装置、设备及存储介质，以解决在CycleGAN模型的训练过程中，当两个类别的样本图像之间的形变较大时，无法得到稳定的、可以进行图像类别转换的CycleGAN模型的问题。
有鉴于此，本申请第一方面提供了一种图像风格迁移模型的训练方法，所述图像风格迁移模型为循环生成对抗网络模型，所述循环生成对抗网络模型包括第一判别器、第一生成器和第二生成器，该方法包括：
获取多个第一类别的第一样本图像和多个第二类别的第二样本图像；
在第一训练方向，通过所述第一生成器对所述第一样本图像进行类别转换，得到第一图像，以及通过所述第二生成器对所述第一图像进行类别转换，得到第二图像；
根据标记为非所述第二类别的所述第一图像和所述第二样本图像训练所述第一判别器对所述第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为所述第二类别的所述第一图像，通过所述第一判别器确定第二判别损失值；
根据所述第一样本图像和所述第一图像确定相似度损失值，以及根据所述第一样本图像和所述第二图像确定复原损失值；所述相似度损失值表示所述第一样本图像与所述第一图像之间的形变误差；
根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器；
循环执行训练所述第一判别器，并训练所述第一生成器和所述第二生成器的步骤，在所述第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
可选的，所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器，包括：
根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
可选的，在所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整之前，所述方法还包括：
通过第一权重参数对所述相似度损失值进行调整，得到调整后的相似度损失值；所述第一权重参数用于调整所述第一样本图像与所述第一图像之间的形变误差；
所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整，包括：
根据所述第二判别损失值、所述复原损失值和所述调整后的相似度损失值，对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
可选的，所述根据所述第一样本图像和所述第一图像确定相似度损失值，包括：
根据所述第一样本图像，通过预先训练好的自编码器中的编码器确定第一隐变量，以及根据所述第一图像，通过所述编码器确定第二隐变量；
根据所述第一隐变量和所述第二隐变量，确定所述相似度损失值。
可选的，所述循环生成对抗网络模型还包括第二判别器，所述方法还包括：
在第二训练方向，对所述第二样本图像进行类别转换，以及训练所述第二判别器，得到所述第二训练方向对应的第一判别损失值和第二判别损失值；其中，所述第二训练方向与所述第一训练方向相反；
根据所述第二样本图像的类别转换结果和所述第二样本图像，确定所述第二训练方向对应的相似度损失值和复原损失值；
所述训练所述第一生成器和所述第二生成器的步骤，包括：根据所述第一训练方向和所述第二训练方向分别对应的相似度损失值、第二判别损失值和复原损失值训练所述第一生成器和所述第二生成器；
所述循环执行训练所述第一判别器，并训练所述第一生成器和所述第二生成器的步骤，在所述第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型，包括：循环执行训练所述第一判别器，训练所述第二判别器，以及训练所述第一生成器和所述第二生成器的步骤，在所述第一训练方向和所述第二训练方向分别对应的第一判别损失值符合第二预设结束条件时，得到所述目标循环生成对抗网络模型。
本申请实施例第二方面提供了一种图像处理方法，包括：
获取第一类别的图像，将所述第一类别的图像输入如本申请实施例第一方面所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像。
本申请实施例第三方面提供了一种图像处理方法，包括：
获取第二类别的图像，将所述第二类别的图像输入如本申请实施例第一方面所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
本申请实施例第四方面提供了一种图像风格迁移模型的训练装置，所述模型为循环生成对抗网络模型，所述循环生成对抗网络模型包括第一判别器、第一生成器和第二生成器，该装置包括：
获取模块，被配置为获取多个第一类别的第一样本图像和多个第二类别的第二样本图像；
转换模块，被配置为在第一训练方向，通过所述第一生成器对所述第一样本图像进行类别转换，得到第一图像，以及通过所述第二生成器对所述第一图像进行类别转换，得到第二图像；
判别器训练模块，被配置为根据标记为非所述第二类别的所述第一图像和所述第二样本图像训练所述第一判别器对所述第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为所述第二类别的所述第一图像，通过所述第一判别器确定第二判别损失值；
确定模块，被配置为根据所述第一样本图像和所述第一图像确定相似度损失值，以及根据所述第一样本图像和所述第二图像确定复原损失值；所述相似度损失值表示所述第一样本图像与所述第一图像之间的形变误差；
生成器训练模块，被配置为根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器；
循环训练模块，被配置为循环执行训练所述第一判别器，并训练所述第一生成器和所述第二生成器的步骤，在所述第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
可选的，所述生成器训练模块，具体被配置为根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
可选的，所述装置还包括：调整模块，被配置为通过第一权重参数对所述相似度损失值进行调整，得到调整后的相似度损失值；所述第一权重参数用于调整所述第一样本图像与所述第一图像之间的形变误差；
所述生成器训练模块，具体被配置为根据所述第二判别损失值、所述复原损失值和所述调整后的相似度损失值，对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
可选的，所述确定模块，具体被配置为根据所述第一样本图像，通过预先训练好的自编码器中的编码器确定第一隐变量，以及根据所述第一图像，通过所述编码器确定第二隐变量；根据所述第一隐变量和所述第二隐变量，确定所述相似度损失值。
可选的，所述循环生成对抗网络模型还包括第二判别器；
所述转换模块，还被配置为在第二训练方向，对所述第二样本图像进行类别转换，所述第二训练方向与所述第一训练方向相反；
所述判别器训练模块，还被配置训练所述第二判别器，得到所述第二训练方向对应的第一判别损失值和第二判别损失值；
所述确定模块，还被配置为根据所述第二样本图像的类别转换结果和所述第二样本图像，确定所述第二训练方向对应的相似度损失值和复原损失值；
所述生成器训练模块，具体被配置为根据所述第一训练方向和所述第二训练方向分别对应的相似度损失值、第二判别损失值和复原损失值训练所述第一生成器和所述第二生成器；
所述循环训练模块，具体被配置为循环执行训练所述第一判别器，训练所述第二判别器，以及训练所述第一生成器和所述第二生成器的步骤，在所述第一训练方向和所述第二训练方向分别对应的第一判别损失值符合第二预设结束条件时，得到所述目标循环生成对抗网络模型。
本申请实施例第五方面提供一种图像处理装置，包括：
获取模块，被配置为获取第一类别的图像，将所述第一类别的图像输入如本申请实施例第一方面所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像。
本申请实施例第六方面提供一种图像处理装置，包括：
获取模块，被配置为获取第二类别的图像，将所述第二类别的图像输入如本申请实施例第一方面所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
本申请实施例第七方面提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如本申请第一方面任一可选实现方式中所述的图像风格迁移模型的训练方法；或者，实现如本申请第二方面所述的图像处理方法。
本申请实施例第八方面提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如本申请第一方面任一可选实现方式中所述的图像风格迁移模型的训练方法；或者，实现如本申请第二方面所述的图像处理方法。
本申请实施例第九方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如本申请第一方面任一可选实现方式中所述的图像风格迁移模型的训练方法；或者，实现如本申请第二方面所述的图像处理方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例中，在循环生成对抗网络模型的训练过程中，获取多个第一类别的第一样本图像和多个第二类别的第二样本图像，在第一训练方向，通过第一生成器对第一样本图像进行类别转换，得到第一图像，以及通过第二生成器对第一图像进行类别转换，得到第二图像，根据标记为非第二类别的第一图像和第二样本图像训练第一判别器对第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为第二类别的第一图像，通过第一判别器确定第二判别损失值，根据第一样本图像和第一图像确定相似度损失值，以及根据第一样本图像和第二图像确定复原损失值。根据相似度损失值、第二判别损失值和复原损失值，训练第一生成器和第二生成器，循环训练循环生成对抗网络模型，并在第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。在循环生成对抗网络模型的训练过程中，通过第一样本图像和第一图像计算相似度损失值，在对第一生成器的参数调整时，可以根据相似度损失值确定第一样本图像与第一图像之间的形变误差，以对第一生成器的参数进行调整，可以提高有形变存在时，CycleGAN模型训练时的稳定性，得到稳定的CycleGAN模型。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，还可以根据这些附图获得其它的附图。
图1示出了现有技术中的一种循环生成对抗网络模型的训练示意图；
图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的步骤流程图；
图3是根据一示例性实施例示出的一种循环生成对抗网络模型的训练示意图；
图4是根据一示例性实施例示出的另一种图像风格迁移模型的训练方法的步骤流程图；
图5是根据一示例性实施例示出的另一种循环生成对抗网络模型的训练示意图；
图6是根据一示例性实施例示出的一种自编码器的结构示意图；
图7是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的结构框图；
图8是根据一示例性实施例示出的一种图像处理装置的结构框图；
图9是根据一示例性实施例示出的一种电子设备的结构框图；
图10是根据一示例性实施例示出的另一种图像风格迁移模型的训练装置的结构框图。
具体实施方式
为了使本领域的技术人员更好地理解本申请的技术方案，首先对现有技术中循环生成对抗网络的训练过程进行介绍。
参照图1，图1示出了现有技术中的一种循环生成对抗网络模型的训练示意图，CycleGAN模型中包括第一生成器GB、第二生成器GA和判别器DB。其中，第一生成器GB和第二生成器GA用于实现两个不同类别的图像之间的相互转换，例如第一生成器GB用于将第一类别的男性图像转换为第二类别的女性图像，第二生成器GA用于将第二类别的女性图像转换为第一类别的男性图像。判别器DB用于判断第一生成器GB转换得到的图像属于第二类别的女性图像的概率。对CycleGAN模型的理解可参考现有技术，本实施例在此不做赘述。
在CycleGAN模型的训练过程中，可以获取多个属于男性图像的第一样本图像(如图1所示的图像A)，以及获取多个属于女性图像的第二样本图像(如图1所示的图像B)，根据多个第一样本图像和多个第二样本图像交替迭代训练判别器DB，并训练第一生成器GB和第二生成器GA。首先将第一样本图像输入第一生成器GB，转换得到第一样本图像对应的第一图像(如图1所示的图像B1)，并标记第一图像为非第二类别的图像(例如设置第一图像的标签均为0，标签为0表示第一图像为根据真实的男性图像转换得到的女性图像，并不是真实的女性图像)，然后根据第二样本图像(第二样本图像的标签为1，标签为1表示第二样本图像为真实的女性图像)和第一图像对判别器DB进行训练，提高判别器DB对第二样本图像和第一图像的识别能力，即提高判别器DB对真实的女性图像B(第二类别)和根据男性图像A生成的女性图像B1(非第二类别)的识别能力，得到训练后的判别器DB，以及判别器DB对应的第一判别损失值。第一判别损失值为根据第一图像和第一样本图像训练第一判别器时计算得到的损失值，用于衡量判别器DB对第二类别的图像(图像B)和非第二类别的图像(图像B1)的识别能力，第一判别损失值的计算方法可参考现有技术。
在得到训练后的判别器DB之后，固定判别器DB的参数，对第一生成器GB和第二生成器GA进行训练。首先标记第一图像为第二类别的图像(例如设置第一图像的标签为1，标签为1表示第一图像为真实的女性图像)，将第一图像输入训练后的判别器DB，得到识别结果(即第一图像属于真实的女性图像的概率)，根据识别结果和第一图像的标签计算第二判别损失值，第二判别损失值表示第一图像与真实的女性图像之间的误差。与此同时，根据第一样本图像和第二图像确定复原损失值，复原损失值表示第二图像与第一样本图像之间的误差。
在得到第二判别损失值和复原损失值后，根据第二判别损失值对第一生成器GB的参数进行调整，根据复原损失值对第一生成器GB和第二生成器GA的参数进行调整，完成对第一生成器GB和第二生成器GA的一次训练。重复执行训练判别器DB，以及训练第一生成器GB和第二生成器GA的步骤，当第一判别损失值稳定后，即判别器DB无法识别真实的女性图像和根据男性图像生成的女性图像，确定训练完成。此时，可以通过训练后的第一生成器GB将男性图像转换为女性图像。CycleGAN模型的训练原理和具体训练过程可参考现有技术，本实施例在此不做详细赘述。
现有技术中，根据判别器确定第一样本图像和对应的第一图像之间的误差，得到第二判别损失值，根据第一样本图像和对应的第二图像得到复原损失值，通过第二判别损失值对第一生成器的参数进行调整，以及通过复原损失值对第一生成器和第二生成器的参数进行调整。当第一样本图像和第二样本图像之间的形变较大时，例如第一样本图像属于猫类图像，第二样本图像属于狗类图像，猫类图像与狗类图像的轮廓特征相差较大，导致猫类图像与狗类图像的形变较大。在训练过程中，形变较大时，会导致第二判别损失值和复原损失值较大，无法准确确定参数调整方向，无法对第一生成器和第二生成器的参数进行有效调整，进而无法得到稳定的、可以进行图像类别转换的CycleGAN模型，即训练得到的第一生成器无法根据猫类图像生成对应的狗类图像。
为了解决上述技术问题，本实施例提供了一种图像风格迁移模型的训练方法，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的步骤流程图，参照图2，本实施例提供的图像风格迁移模型的训练方法可以适用于图像类别的转换，以解决CycleGAN模型训练过程中，无法得到稳定的CycleGAN模型的问题。本实施例提供的图像风格迁移模型的训练方法可以由图像风格迁移模型的训练装置执行，图像风格迁移模型的训练装置通常以软件和/或硬件的方式实现，图像风格迁移模型的训练装置可以设置于电子设备，该方法可以包括以下步骤：
201、获取多个第一类别的第一样本图像和多个第二类别的第二样本图像。
其中，第一样本图像和第二样本图像为两个不同类别的样本图像，例如第一样本图像属于男性图像，第二样本图像属于女性图像，或者第一样本图像属于冬季图像，第二样本图像属于夏季图像，又或者第一样本图像属于狗类图像，第二样本图像属于猫类图像。第一样本图像和第二样本图像的具体类别可以根据需求设置，为便于理解，本实施例以第一样本图像属于第一类别，第二样本图像属于第二类别进行举例说明。
本实施例中，在对CycleGAN模型进行训练之前，可以预先获取包括多个第一样本图像的第一图像集合和包括多个第二样本图像的第二图像集合，在训练过程中可以从第一图像集合中获取第一样本图像，以及从第二图像集合中获取第二样本图像。具体获取第一样本图像和第二样本图像的方法可以根据需求设置，本实施例对此不做限制。
202、在第一训练方向，通过第一生成器对第一样本图像进行类别转换，得到第一图像，以及通过第二生成器对第一图像进行类别转换，得到第二图像。
参照图3，图3是根据一示例性实施例示出的一种循环生成对抗网络模型的训练示意图，CycleGAN模型中可以包括第一生成器GB、第二生成器GA和第一判别器DB。第一生成器GB用于将第一类别的第一样本图像转换为第二类别的图像，第二生成器GA用于将第二类别的图像转换为第一类别的图像。第一判别器DB用于判断第一生成器GB转换得到的图像属于第二类别的图像的概率。
其中，第一训练方向为训练第一生成器GB的方向，即将第一样本图像A依次输入第一生成器GB和第二生成器GA，根据第一生成器GB和第二生成器GA的转换结果，训练第一判别器DB，并训练第一生成器GB和第二生成器GA的训练方向。在获取得到第一样本图像和第二样本图像之后，首先可以将第一样本图像输入第一生成器GB，通过第一生成器GB转换得到第一图像，并将第一图像输入第二生成器GA，通过第二生成器GA转换得到第二图像。例如，如图3所示，可以将第一样本图像A输入第一生成器GB，通过第一生成器GB对第一样本图像A进行类别转换，得到第一图像B1，将第一图像B1输入第二生成器GA，通过第二生成器GA对第一图像B1进行类别转换，得到第二图像A1。具体通过第一生成器转换得到第一图像，根据第一图像转换得到第二图像的过程可参考现有技术，本实施例对此不做赘述。
203、根据标记为非第二类别的第一图像和第二样本图像训练第一判别器对第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为第二类别的第一图像，通过第一判别器确定第二判别损失值。
其中，第一判别损失值用于衡量第一判别器对第二样本图像的识别能力。
本实施例中，在转换得到第一图像之后，可以标记第一图像为非第二类别的图像，根据非第二类别的第一图像和第二类别的第二样本图像，对第一判别器进行训练，提高第一判别器对第二类别和非第二类别的图像的识别能力。
示例的，结合上述举例，在转换得到第一图像之后，可以设置第一图像的标签为0，即标记第一图像为非第二类别的图像，同时由于预先获取有多个第二类别的第二样本图像，可以设置第二样本图像的标签为1，此时可以根据非第二类别的样本图像(第一图像)和对应的标签0，以及第二类别的样本图像(第二样本图像)和对应的标签1，对第一判别器DB进行训练，提高第一判别器DB对第二类别和非第二类别的图像的识别能力。其中，根据非第二类别的第一图像和第二类别的第二样本图像对第一判别器DB进行训练的过程可参考现有技术中图像分类模型的训练过程，本实施例对此不做赘述。
需要说明的是，非第二类别的图像表示第一图像为根据第一类别的样本图像转换得到的图像，不是原始获取的第二类别的样本图像。标记第一图像为非第二类别的图像的目的是得到与第二类别的第二样本图像对应的非第二类别的样本图像，以对第一判别器进行训练。
本实施例中，第一判别损失值用于衡量第一判别器对第二类别的图像的识别能力。例如，将第二样本图像输入第一判别器DB之后，若得到的识别结果远小于1(例如0.2)，由于第二样本图像的标签为1，识别结果与真实结果之间的误差较大，说明第一判别器DB无法识别第二类别的图像；若得到的识别结果接近于1(例如0.9)，说明第一判别器DB可以识别第二类别的图像。同理，若将第一图像输入第一判别器DB，若得到的识别结果远大于0(例如0.8)，由于第一图像的标签为0，识别结果与真实结果误差较大，说明第一判别器DB无法识别非第二类别的图像；若得到的识别结果接近于0，识别结果与真实结果之间的误差较小，说明第一判别器DB可以识别非第二类别的图像。对第一判别损失值的理解可参考现有技术，本实施例对此不做赘述。
其中，第二判别损失值表示第一图像与第二类别的图像之间的误差。
本实施例中，可以标记第一图像为第二类别的图像，通过第一判别器确定第一图像与第二类别的图像之间的误差。标记第一图像为第二类别的图像的目的是为了确定第一图像与第二类别的图像之间误差，假设当前运行的第一判别器DB可以准确识别第二类别的图像，当输入第一判别器DB的图像为第二样本图像时，输出的识别结果接近于1，当输入第一判别器DB的图像为第一图像时，输出的识别结果接近于0。在得到第一图像B1之后，可以设置第一图像B1的标签为1，并将第一图像B1输入第一判别器DB，得到第一识别结果，计算第一识别结果和标签1的交叉熵误差，得到第二判别损失值。对第二判别损失值的理解可参考现有技术，本实施例对此不做赘述。
204、在第一训练方向，根据第一样本图像和第一图像确定相似度损失值，以及根据第一样本图像和第二图像确定复原损失值。
其中，相似度损失值表示第一样本图像与第一图像之间的形变误差。
本实施例中，可以根据第一样本图像和第一图像确定相似度损失值，以确定第一样本图像与第一图像之间的形变误差。如图3所示，可以将第一样本图像A输入预先训练得到的VGG(Visual Geometry Group)模型，通过预先训练得到的VGG模型提取第一样本图像A的特征，得到第一样本图像A的第一隐变量Z1。同理，将第一图像B1输入预先训练得到的VGG模型，得到第一图像B1的第二隐变量Z2。计算第一隐变量Z1和第二隐变量Z2之间距离，如可以计算第一隐变量Z1和第二隐变量Z2之间的均方误差，得到相似度损失值。具体训练VGG模型，根据预先训练得到的VGG模型确定第一隐变量和第二隐变量的过程，可参考现有技术中VGG模型的使用过程。需要说明的是，在实际应用中，也可以通过其他方法计算相似度损失值，本实施例对此不做限制。
本实施例中，复原损失值表示第一样本图像与第二图像之间的误差。如图3所示，第一类别的第一样本图像A通过第一生成器GB转换得到第一图像B1，第一图像B1通过第二生成器GA转换得到第二图像A1。在得到第二图像A1之后，可以根据第一图像A1和第一样本图像A计算第一样本图像A和第二图像A1的绝对值误差，得到复原损失值。对复原损失值的理解可参考现有技术，本实施例对此不做赘述。
205、根据相似度损失值、第二判别损失值和复原损失值，训练第一生成器和第二生成器。
本实施例中，在得到相似度损失值、第一判别损失值和复原损失值之后，可以根据相似度损失值、第一判别损失值和复原损失值对CycleGAN模型中的第一生成器和第二生成器的参数进行训练，完成对第一生成器GB和第二生成器GA的一次训练。
可选的，步骤205可以通过如下方式实现：
根据相似度损失值、第二判别损失值和复原损失值对第一生成器的参数进行调整，并根据复原损失值对第二生成器的参数进行调整。
结合上述举例，相似度损失值由第一样本图像和第一图像计算得到，第二判别损失值由第一判别器DB根据第一图像确定，也即相似度损失值和第二判别损失值与第一生成器GB有关。同时，复原损失值根据第一样本图像和第二图像计算得到，也即复原损失值与第一生成器GB和第二生成器GA有关，因此可以根据相似度损失值、复原损失值和第二判别损失值对第一生成器GB的参数进行调整，以及根据复原损失值对第二生成器GA的参数进行调整。根据相似度损失值、第一判别损失值和复原损失值训练第一生成器和第二生成器的过程，可参考现有技术中根据损失值训练第一生成器和第二生成器的过程，本实施例对此不做限制。
206、循环执行训练第一判别器，并训练第一生成器和第二生成器的步骤，在第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
本实施例中，循环执行步骤202至步骤205，先对第一判别器进行训练，然后对第一生成器和第二生成器进行训练，或者先对第一生成器和第二生成器进行训练，然后对第一判别器进行训练，在第一判别损失值符合第一预设结束条件时，结束训练，得到目标循环生成对抗网络模型。
第一预设结束条件表示第一判别器DB稳定，无法识别第二类别和非第二类别的图像。例如，第一预设结束条件可以为第一判别器DB的识别结果稳定在4.8至5.2之间，也即将图像输入第一判别器DB之后，无法确定图像为第二类别的图像或非第二类别的图像。对第一预设结束条件的理解可以参考现有技术，本实施例对此不做赘述。
本实施例中，在得到目标循环生成对抗网络模型之后，可以通过目标循环生成对抗网络模型中的第一生成器GB，将第一类别的图像转换为第二类别的图像，例如将一张男性图像输入第一生成器GB，得到第一生成器GB输出的一张女性图像。目标循环生成对抗网络模型的使用方法可以参考现有技术，本实施例对此不做限制。
综上所述，本实施例中，在循环生成对抗网络模型的训练过程中，在循环生成对抗网络模型的训练过程中，获取多个第一类别的第一样本图像和多个第二类别的第二样本图像，在第一训练方向，通过第一生成器对第一样本图像进行类别转换，得到第一图像，以及通过第二生成器对第一图像进行类别转换，得到第二图像，根据标记为非第二类别的第一图像和第二样本图像训练第一判别器对第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为第二类别的第一图像，通过第一判别器确定第二判别损失值，根据第一样本图像和第一图像确定相似度损失值，以及根据第一样本图像和第二图像确定复原损失值。根据相似度损失值、第二判别损失值和复原损失值，训练第一生成器和第二生成器，循环训练循环生成对抗网络模型，并在第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。在循环生成对抗网络模型的训练过程中，通过第一样本图像和第一图像计算相似度损失值，在对第一生成器的参数调整时，可以根据相似度损失值确定第一样本图像与第一图像之间的形变误差，以对第一生成器的参数进行调整，可以提高有形变存在时，CycleGAN模型训练时的稳定性，得到稳定的CycleGAN模型。
可选的，在步骤205之前，该方法还可以包括：
通过第一权重参数对相似度损失值进行调整，得到调整后的相似度损失值；第一权重参数用于调整第一样本图像与第一图像之间的形变误差；
相应的，根据相似度损失值、第二判别损失值和复原损失值对第一生成器的参数进行调整，并根据复原损失值对第二生成器的参数进行调整的步骤可以通过如下方式实现：
根据第二判别损失值、复原损失值和调整后的相似度损失值，对第一生成器的参数进行调整，并根据复原损失值对第二生成器的参数进行调整。
本实施例中，可以通过第一权重参数对相似度损失值进行调整，并根据调整后的相似度损失值对第一生成器的参数进行调整。结合上述举例，当第一类别的图像和第二类别的图像之间的形变较大时，可以为相似度损失值设置较小的第一权重参数，当第一权重参数较小时，可以调整得到较小的相似度损失值(调整后的相似度损失值)。在对第一生成器的参数进行调整时，通过较小的相似度损失值可以对第一生成器的参数进行更大范围的调整，使第一图像与第一样本图像之间具有更大的形变。相反的，当第一类别的图像和第二类别的图像之间的形变较小时，可以为相似度损失值设置较大的第一权重参数，当第一权重参数较大时，可以调整得到较大的相似度损失值，在对第一生成器的参数进行调整时，通过较大的相似度损失值可以对第一生成器的参数进行更小范围的调整，使第一图像与第一样本图像之间具有更小的形变。实际应用中，通过控制第一权重参数的大小，可以控制第一样本图像与第一图像之间的形变程度，方便对不同类别之间的图像进行转换。
图4是根据一示例性实施例示出的另一种图像风格迁移模型的训练方法的步骤流程图，参照图4，该方法可以包括如下步骤：
401、获取多个第一类别的第一样本图像和多个第二类别的第二样本图像。
402、在第一训练方向，对第一样本图像进行类别转换，以及在第二训练方向上，对第二样本图像进行类别转换。
其中，第二训练方向与第一训练方向相反。参照图5，图5是根据一示例性实施例示出的另一种循环生成对抗网络模型的训练示意图，CycleGAN模型中还可以包括第二判别器DA，第二判别器DA用于识别第一类别的图像和非第一类别的图像。第二训练方向为训练第二生成器GA的方向，即将第二样本图像B依次输入第二生成器GA和第一生成器GB，根据第二生成器GA和第一生成器GB的转换结果，训练第二判别器DA，并训练第二生成器GA和第一生成器GB的训练方向。
本实施例中，在训练过程中，在第一训练方向可以将第一样本图像输入第一生成器，转换得到第一图像，并将第一图像输入第二生成器，转换得到第二图像；在第二训练方向可以将第二样本图像输入第二生成器，转换得到第三图像，并将第三图像输入第一生成器，转换得到第四图像。如图5所示，可以将第二样本图像B输入第二生成器GA，转换得到第三图像A2，然后将第三图像A2输入第一生成器GB，转换得到第四图像B2。对第三图像和第四图像的理解可参考第一图像和第二图像，本实施例对此不做赘述。
实际应用中，可以首先根据第一样本图像依次转换得到第一图像和第二图像，然后根据第二样本图像依次转换得到第三图像和第四图像，或者首先根据第二样本图像依次转换得到第三图像和第四图像，然后根据第一样本图像依次转换得到第一图像和第二图像，本实施例对此不做限制。
403、训练第一判别器，得到第一训练方向对应的第一判别损失值和第二判别损失值，以及训练第二判别器，得到第二训练方向对应的第一判别损失值和第二判别损失值。
本实施例中，当CycleGAN模型中同时包括第一判别器DB和第二判别器DA时，在训练过程中，可以在第一训练方向上训练第一判别器，在第二训练方向上训练第二判别器。可以标记第一图像为非第二类别的图像，并根据第一图像和第二样本图像训练第一判别器，获得第一训练方向对应的第一判别损失值，以及标记第三图像为非第一类别的图像，以根据非第一类别的第三图像和第一类别的第一样本图像对第二判别器进行训练，获得第二训练方向对应的第一判别损失值。其中，第二训练方向对应的第一判别损失值用于衡量第二判别器对第一类别的图像的识别能力。
示例的，在第二判别器DA的训练过程中，在转换得到第三图像之后，可以设置第三图像的标签为0，即标记第三图像为非第一类别的图像，同时由于预先获取有多个第一类别的第一样本图像，第一样本图像的标签为1，此时可以根据非第一类别的样本图像(第三图像)和对应的标签0，以及第一类别的样本图像(第一样本图像)和对应的标签1，对第二判别器DA进行训练，提高第一判别器DA对第一类别和非第一类别的图像的识别能力。其中，根据非第一类别的第一图像和第一类别的第一样本图像对第二判别器DA进行训练的过程可参考现有技术图像分类模型的训练过程，本实施例对此不做限制。
需要说明的是，非第一类别的图像表示第三图像为根据第二类别的第二样本图像转换得到的图像，不是原始获取的第一类别的样本图像。标记第三图像为非第一类别的图像的目的是得到与第一类别的第一样本图像对应的样本图像，以对第二判别器DA进行训练。
本实施例中，在第二训练方向中，可以标记第三像为第一类别的图像，以确定第三图像与第一类别的图像之间误差。在计算过程中，假设当前运行的第二判别器DA可以准确识别第一类别的图像，如当输入第二判别器DA的图像为第一样本图像时，输出的识别结果接近于1，当输入第二判别器DA的图像为第三图像时，输出的识别结果接近于0。示例的，在得到第三图像之后，可以设置第三图像的标签为1，并将第三图像输入第二判别器DA，得到第二识别结果，计算第二识别结果和标签1的交叉熵误差，得到第二训练方向对应的第二判别损失值。对第二训练方向对应的第二判别损失值的理解可参考现有技术，本实施例对此不做赘述。
404、确定第一训练方向对应的相似度损失值和复原损失值，以及确定第二训练方向对应的相似度损失值和复原损失值。
本实施例中，在训练过程中，可以根据第二样本图像和第三图像确定第二训练方向对应的相似度损失值，以确定第二样本图像与第三图像之间的形变误差，以及根据第二样本图像和第四图像确定第二训练方向对应的复原损失值。确定第二训练方向对应的相似度损失值和复原损失值的过程与确定第一训练方向对应的相似度损失值和复原损失值的过程相同，本实施例对此不做赘述。
405、根据第一训练方向和第二训练方向分别对应的相似度损失值、第二判别损失值和复原损失值训练第一生成器和第二生成器。
406、循环执行训练第一判别器，训练第二判别器，以及训练第一生成器和第二生成器的步骤，在第一训练方向和第二训练方向分别对应的第一判别损失值符合第二预设结束条件时，得到目标循环生成对抗网络模型。
本实施例中，当CycleGAN模型中同时包括第一判别器和第二判别器时，在得到第一训练方向对应的相似度损失值、第二训练方向对应的相似度损失值、第一训练方向对应的复原损失值、第二训练方向对应的复原损失值、以及第一训练方向对应的第二判别损失值和第二训练方向对应的第二判别损失值之后，可以根据第一训练方向对应的相似度损失值、复原损失值和第二判别损失值，以及第二训练方向对应的相似度损失值、复原损失值和第二判别损失值对第一生成器和第二生成器的参数进行调整，完成对CycleGAN模型的一次训练。其中，根据第二训练方向对应的相似度损失值、复原损失值和第二判别损失值对第一生成器和第二生成器的参数进行调整的过程与根据第一训练方向对应的相似度损失值、复原损失值和第二判别损失值对第一生成器和第二生成器的参数进行调整的过程相同，本实施例对此不做赘述。
与此同时，在训练过程中，在第一训练方向和第二训练方向分别对应的第一判别损失值均符合第二预设结束条件时，结束训练，得到目标循环生成对抗网络模型。其中，第二预设结束条件与第一预设结束条件可以相同，或者第二预设结束条件可以根据第一训练方向对应的第一判别损失值和第二训练方向对应的第一判别损失值具体设置。需要说明的是，第一预设结束条件与第二预设结束条件的具体形式可以根据需求设置，本实施例对此不做限制。
相应的，在得到得到目标循环生成对抗网络模型之后，可以根据第一生成器将第一类别的图像转换为第二类别的图像，根据第二生成器将第二类别的图像转换为第一类别的图像。
需要说明的是，在CycleGAN模型的训练过程中，第一样本图像和第二样本图像的转换过程，第一判别器和第二判别器的训练过程，以及第一生成器和第二生成器的训练过程并不限于上述实施例所述的顺序，本领域技术人员可以根据实际需求调整各个步骤之间的顺序关系。
综上所述，本实施例中，在CycleGAN模型的训练过程中，在第一训练方向，根据第一样本图像和对应的第一图像计算相似度损失值，在第二训练方向，根据第二样本图像和对应的第三图像计算相似度损失值。在对CycleGAN模型中的第一生成器和第二生成器的参数进行调整时，可以根据第一训练方向对应的相似度损失值确定第一样本图像与第一图像之间的形变误差，以及根据第二训练方向对应的相似度损失值确定第二样本图像与第三图像之间的形变误差，从而可以准确确定参数的调整方向，提高形变存在时CycleGAN模型训练的稳定性。
本实施例中，当CycleGAN模型中包括第二判别器时，可以通过第二权重参数对第二训练方向对应的相似度损失值进行调整，得到调整后的相似度损失值，然后根据调整后的相似度损失值，对第二生成器的参数进行调整，对第二权重参数的理解可参考第一权重参数，本实施例对此不做赘述。
可选的，根据第一样本图像和第一图像确定第一训练方向对应的相似度损失值的步骤可以通过如下方式实现：
根据第一样本图像，通过预先训练好的自编码器中的编码器确定第一隐变量，以及根据第一图像，通过编码器确定第二隐变量；
根据第一隐变量和第二隐变量，确定相似度损失值。
本实施例中，首先可以根据多个第一样本图像和多个第二样本图像对预设的自编码器进行训练，得到训练好的自编码器，然后可以通过自编码器中的编码器计算相似度损失值。如图6所示，图6是根据一示例性实施例示出的一种自编码器的结构示意图，自编码器(AE，Auto-Encoder)模型可以包括编码器E和解码器D，编码器E用于提取图像X的隐变量，得到图像X的隐变量Z，解码器D用于根据隐变量Z重构得到与图像X对应的图像Y。对AE模型的结构的理解可参考现有技术，本实施例在此不做赘述。
可以预先根据多个第一样本图像和多个第二样本图像对预设的AE模型进行训练，得到训练后的AE模型。具体的，可以将多个第一样本图像和多个第二样本图像依次输入AE模型，得到对应的输出图像，根据AE模型的输入图像和输出图像确定AE模型的复原损失值，根据AE模型的复原损失值对AE模型的参数进行调整，得到训练后的AE模型。对AE模型进行训练的具体过程可参考现有技术，本实施例对此不做限制。
在计算相似度损失值的过程中，可以将第一样本图像输入训练好的AE模型中的编码器E，通过编码器E对第一样本图像进行特征提取，得到第一隐变量。如图5所示，当第一样本图像A为3×256×256(图像的尺寸)的图片时，可以将第一样本图像A输入编码器E，通过编码器E对第一样本图像A进行特征提取，得到3×128×128(隐变量的尺寸)的第一隐变量Z1。同理，通过编码器E对第一图像B1进行特征提取，得到3×128×128的第二隐变量Z2。计算第一隐变量Z1与第二隐变量Z2之间的距离(例如计算第一隐变量Z1与第二隐变量Z2的均方误差)，得到第一训练方向对应的相似度损失值。
其中，根据第二样本图像和第三图像确定第二训练方向对应的相似度损失值的方法与确定第一训练方向对应的相似度损失值的过程相同，本实施例对此不做限制。
可选的，AE模型也可以为(VAE，Variational Auto-Encoder)模型。
本实施例中，通过第一样本图像和第二样本图像对预设的AE模型进行训练，根据训练后的AE模型中的编码器分别对第一样本图像、第一图像、第二样本图像和第三图像进行特征提取，可以准确的提取图像中的特征，根据图像特征计算相似度损失值，可以提高相似度损失值的准确性。
可选的，预设自编码器为条件变分自编码器(CVAE，Conditional VariationalAuto-Encoder)。
根据多个第一样本图像和多个第二样本图像对预设的自编码器进行训练，得到训练好的自编码器的步骤，可以包括：
为每个第一样本图像分别设置第一特征向量，以及为每个第二样本图像分别设置与第一特征向量对应的第二特征向量；
根据每个第一样本图像和对应的第一特征向量，以及每个第二样本图像和对应的第二特征向量，对条件变分自编码器进行训练，得到训练好的自编码器。
本实施例中，预设自编码器可以为预设的条件变分自编码器。在CVAE模型的训练过程中，首先可以为第一样本图像和第二样本图像分别设置对应的特征向量，将第一样本图像和第二样本图像分成不同的类别。例如，可以分别设置第一样本图像的第一特征向量为(1，0)，以及设置第二样本图像的第二特征向量为与第一特征向量对应的第二特征向量(0，1)。第一特征向量和第二特征向量的具体形式可以根据需求设置，本实施例对此不做限制。
在对CVAE模型进行训练的过程中，可以根据第一样本图像和对应的第一特征向量，以及第二样本图像对应的第二特征向量，对CVAE模型进行训练，得到训练后的CVAE模型。同时，在训练过程中，可以设置CVAE模型的约束条件为标准高斯分布。根据样本图像和对应的标签向量对CVAE模型进行训练的过程可参考现有技术，本实施例对此不做限制。
本实施例中，自编码器为CVAE模型，在CVAE模型的训练过程中，为不同类别的样本图像分别设置对应的特征向量，根据样本图像和特征向量训练CVAE模型，根据训练后的CVAE模型中的编码器对不同类别的图像分别进行特征提取，可以消除不同类别的图像之间的不同的特征，保留相同的特征。例如，针对男性图像和女性图像，在特征提取过程中，可以分别保留男性图像和女性图像中人脸面部的轮廓特征，消除男性图像中的胡须特征。进一步的，在确定相似度损失值和第一判别损失值时，可以通过不同类别的图像之间相同的特征，计算得到更准确的相似度损失值。
本实施例还提供一种图像处理方法，包括：
获取第一类别的图像，将第一类别的图像输入如图2和图4所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像；和/或；
获取第二类别的图像，将第二类别的图像输入如图4所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
图7是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的结构框图，如图7所示，装置700可以包括：获取模块701、转换模块702、判别器训练模块703、确定模块704、生成器训练模块705和循环训练模块706。
获取模块701被配置为获取多个第一类别的第一样本图像和多个第二类别的第二样本图像。
转换模块702被配置为在第一训练方向，通过第一生成器对第一样本图像进行类别转换，得到第一图像，以及通过第二生成器对第一图像进行类别转换，得到第二图像。
判别器训练模块703被配置为根据标记为非第二类别的第一图像和第二样本图像训练第一判别器对第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为第二类别的第一图像，通过第一判别器确定第二判别损失值。
确定模块704被配置为根据第一样本图像和第一图像确定相似度损失值，以及根据第一样本图像和第二图像确定复原损失值；相似度损失值表示第一样本图像与第一图像之间的形变误差。
生成器训练模块705被配置为根据相似度损失值、第二判别损失值和复原损失值，训练第一生成器和第二生成器。
循环训练模块706被配置为循环执行训练第一判别器，并训练第一生成器和第二生成器的步骤，在第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
综上所述，本实施例中，在循环生成对抗网络模型的训练过程中，在循环生成对抗网络模型的训练过程中，在循环生成对抗网络模型的训练过程中，获取多个第一类别的第一样本图像和多个第二类别的第二样本图像，在第一训练方向，通过第一生成器对第一样本图像进行类别转换，得到第一图像，以及通过第二生成器对第一图像进行类别转换，得到第二图像，根据标记为非第二类别的第一图像和第二样本图像训练第一判别器对第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为第二类别的第一图像，通过第一判别器确定第二判别损失值，根据第一样本图像和第一图像确定相似度损失值，以及根据第一样本图像和第二图像确定复原损失值。根据相似度损失值、第二判别损失值和复原损失值，训练第一生成器和第二生成器，循环训练循环生成对抗网络模型，并在第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。在循环生成对抗网络模型的训练过程中，通过第一样本图像和第一图像计算相似度损失值，在对第一生成器的参数调整时，可以根据相似度损失值确定第一样本图像与第一图像之间的形变误差，以对第一生成器的参数进行调整，可以提高有形变存在时，CycleGAN模型训练时的稳定性，得到稳定的CycleGAN模型。
可选的，生成器训练模块705具体被配置为根据相似度损失值、第二判别损失值和复原损失值对第一生成器的参数进行调整，并根据复原损失值对第二生成器的参数进行调整。
装置700还可以包括调整模块。
调整模块被配置为通过第一权重参数对相似度损失值进行调整，得到调整后的相似度损失值；第一权重参数用于调整第一样本图像与第一图像之间的形变误差。
生成器训练模块705具体被配置为根据第二判别损失值、复原损失值和调整后的相似度损失值，对第一生成器的参数进行调整，并根据复原损失值对第二生成器的参数进行调整。
确定模块704具体被配置为根据第一样本图像，通过预先训练好的自编码器中的编码器确定第一隐变量，以及根据第一图像，通过编码器确定第二隐变量；根据第一隐变量和第二隐变量，确定相似度损失值。
可选的，循环生成对抗网络模型还包括第二判别器。
转换模块702还被配置为在第二训练方向，对第二样本图像进行类别转换，第二训练方向与第一训练方向相反。
判别器训练模块703还被配置为训练第二判别器，得到第二训练方向对应的第一判别损失值和第二判别损失值。
确定模块704还被配置为根据第二样本图像的类别转换结果和第二样本图像，确定第二训练方向对应的相似度损失值和复原损失值。
生成器训练模块705具体被配置为根据第一训练方向和第二训练方向分别对应的相似度损失值、第二判别损失值和复原损失值训练第一生成器和第二生成器。
循环训练模块706具体被配置为循环执行训练第一判别器，训练第二判别器，以及训练第一生成器和第二生成器的步骤，在第一训练方向和第二训练方向分别对应的第一判别损失值符合第二预设结束条件时，得到目标循环生成对抗网络模型。
图8是根据一示例性实施例示出的一种图像处理装置的结构框图，如图8所示，装置800可以包括：获取模块，被配置为获取第一类别的图像，将第一类别的图像输入如图2和图4所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像。
或者，获取模块被配置为获取第二类别的图像，将第二类别的图像输入如图4所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
图9是根据一示例性实施例示出的一种电子设备的结构框图，电子设备900可以包括：
处理器901；
用于存储所述处理器901可执行指令的存储器902；
其中，所述处理器901被配置为执行图2或图4所示实施例中所述的方法。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行图2或图4所示实施例中所述的方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得所述电子设备能够执行图2或图4所示实施例中所述的方法。
图10是根据一示例性实施例示出的另一种图像风格迁移模型的训练装置的结构框图，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1013，传感器组件1014，以及通信组件1016。
处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的音频数据处理方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1013为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述音频数据处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述音频数据处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像风格迁移模型的训练方法，其特征在于，所述图像风格迁移模型为循环生成对抗网络模型，所述循环生成对抗网络模型包括第一判别器、第一生成器和第二生成器，所述方法包括：
获取多个第一类别的第一样本图像和多个第二类别的第二样本图像；
在第一训练方向，通过所述第一生成器对所述第一样本图像进行类别转换，得到第一图像，以及通过所述第二生成器对所述第一图像进行类别转换，得到第二图像；
根据标记为非所述第二类别的所述第一图像和所述第二样本图像训练所述第一判别器对所述第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为所述第二类别的所述第一图像，通过所述第一判别器确定第二判别损失值；
根据所述第一样本图像和所述第一图像确定相似度损失值，以及根据所述第一样本图像和所述第二图像确定复原损失值；所述相似度损失值表示所述第一样本图像与所述第一图像之间的形变误差；
根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器；
循环执行训练所述第一判别器，并训练所述第一生成器和所述第二生成器的步骤，在所述第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器，包括：
根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整之前，所述方法还包括：
通过第一权重参数对所述相似度损失值进行调整，得到调整后的相似度损失值；所述第一权重参数用于调整所述第一样本图像与所述第一图像之间的形变误差；
所述根据所述相似度损失值、所述第二判别损失值和所述复原损失值对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整，包括：
根据所述第二判别损失值、所述复原损失值和所述调整后的相似度损失值，对所述第一生成器的参数进行调整，并根据所述复原损失值对所述第二生成器的参数进行调整。
4.一种图像处理方法，其特征在于，包括：
获取第一类别的图像，将所述第一类别的图像输入如权利要求1-5任一项所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像。
5.一种图像处理方法，其特征在于，包括：
获取第二类别的图像，将所述第二类别的图像输入如权利要求5所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
6.一种图像风格迁移模型的训练装置，其特征在于，所述图像风格迁移模型为循环生成对抗网络模型，所述循环生成对抗网络模型包括第一判别器、第一生成器和第二生成器，所述装置包括：
获取模块，被配置为获取多个第一类别的第一样本图像和多个第二类别的第二样本图像；
转换模块，被配置为在第一训练方向，通过所述第一生成器对所述第一样本图像进行类别转换，得到第一图像，以及通过所述第二生成器对所述第一图像进行类别转换，得到第二图像；
判别器训练模块，被配置为根据标记为非所述第二类别的所述第一图像和所述第二样本图像训练所述第一判别器对所述第二类别的图像的识别能力，并得到第一判别损失值，以及根据标记为所述第二类别的所述第一图像，通过所述第一判别器确定第二判别损失值；
确定模块，被配置为根据所述第一样本图像和所述第一图像确定相似度损失值，以及根据所述第一样本图像和所述第二图像确定复原损失值；所述相似度损失值表示所述第一样本图像与所述第一图像之间的形变误差；
生成器训练模块，被配置为根据所述相似度损失值、所述第二判别损失值和所述复原损失值，训练所述第一生成器和所述第二生成器；
循环训练模块，被配置为循环执行训练所述第一判别器，并训练所述第一生成器和所述第二生成器的步骤，在所述第一判别损失值符合第一预设结束条件时，得到目标循环生成对抗网络模型。
7.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取第一类别的图像，将所述第一类别的图像输入如权利要求1-3任一项所述的目标循环生成对抗网络模型中的第一生成器，得到第二类别的图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取第二类别的图像，将所述第二类别的图像输入如权利要求1所述的目标循环生成对抗网络模型中的第二生成器，得到第一类别的图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至3中任一项所述的图像风格迁移模型的训练方法；或者，实现如权利要求4或5所述的图像处理方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至3中任一项所述的图像风格迁移模型的训练方法；或者，实现如权利要求4或5所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058190.4A CN112258381B (zh) | 2020-09-29 | 2020-09-29 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058190.4A CN112258381B (zh) | 2020-09-29 | 2020-09-29 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258381A true CN112258381A (zh) | 2021-01-22 |
| CN112258381B CN112258381B (zh) | 2024-02-09 |
Family
ID=74233906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011058190.4A Active CN112258381B (zh) | 2020-09-29 | 2020-09-29 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258381B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785495A (zh) * | 2021-01-27 | 2021-05-11 | 驭势科技(南京)有限公司 | 图像处理模型训练方法、图像生成方法、装置和设备 |
| CN112819016A (zh) * | 2021-02-19 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112818820A (zh) * | 2021-01-28 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN113177891A (zh) * | 2021-04-28 | 2021-07-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113688912A (zh) * | 2021-08-26 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的对抗样本生成方法、装置、设备及介质 |
| CN113723437A (zh) * | 2021-04-02 | 2021-11-30 | 荣耀终端有限公司 | 一种ai模型的自动化训练方法及ai模型训练系统 |
| CN115082299A (zh) * | 2022-07-21 | 2022-09-20 | 中国科学院自动化研究所 | 非严格对齐的小样本不同源图像转换方法、系统及设备 |
| CN115311526A (zh) * | 2022-10-11 | 2022-11-08 | 江苏智云天工科技有限公司 | 基于改进的Cycle GAN网络的缺陷样本生成方法和系统 |
| CN116244458A (zh) * | 2022-12-16 | 2023-06-09 | 北京理工大学 | 生成器训练、样本对生成、检索模型训练及商标检索方法 |
| CN117291252A (zh) * | 2023-11-27 | 2023-12-26 | 浙江华创视讯科技有限公司 | 稳定视频生成模型训练方法、生成方法、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
| CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109978792A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成图像增强模型的方法 |
| CN110110686A (zh) * | 2019-05-14 | 2019-08-09 | 中国石油大学(华东) | 基于多损失双流卷积神经网络的人体动作识别方法 |
| CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
| CN110516201A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
-
2020
- 2020-09-29 CN CN202011058190.4A patent/CN112258381B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426858A (zh) * | 2017-08-29 | 2019-03-05 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
| CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN108961198A (zh) * | 2018-07-09 | 2018-12-07 | 中国海洋大学 | 一种多风格生成对抗网络的水下图像合成方法及其应用 |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109978792A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成图像增强模型的方法 |
| CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
| CN110110686A (zh) * | 2019-05-14 | 2019-08-09 | 中国石油大学(华东) | 基于多损失双流卷积神经网络的人体动作识别方法 |
| CN110516201A (zh) * | 2019-08-20 | 2019-11-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785495A (zh) * | 2021-01-27 | 2021-05-11 | 驭势科技(南京)有限公司 | 图像处理模型训练方法、图像生成方法、装置和设备 |
| CN112818820A (zh) * | 2021-01-28 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN112818820B (zh) * | 2021-01-28 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
| CN112819016A (zh) * | 2021-02-19 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113723437A (zh) * | 2021-04-02 | 2021-11-30 | 荣耀终端有限公司 | 一种ai模型的自动化训练方法及ai模型训练系统 |
| CN113177891B (zh) * | 2021-04-28 | 2023-09-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113177891A (zh) * | 2021-04-28 | 2021-07-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113688912A (zh) * | 2021-08-26 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的对抗样本生成方法、装置、设备及介质 |
| CN113688912B (zh) * | 2021-08-26 | 2024-01-05 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的对抗样本生成方法、装置、设备及介质 |
| CN115082299A (zh) * | 2022-07-21 | 2022-09-20 | 中国科学院自动化研究所 | 非严格对齐的小样本不同源图像转换方法、系统及设备 |
| CN115311526A (zh) * | 2022-10-11 | 2022-11-08 | 江苏智云天工科技有限公司 | 基于改进的Cycle GAN网络的缺陷样本生成方法和系统 |
| CN116244458B (zh) * | 2022-12-16 | 2023-08-25 | 北京理工大学 | 生成器训练、样本对生成、检索模型训练及商标检索方法 |
| CN116244458A (zh) * | 2022-12-16 | 2023-06-09 | 北京理工大学 | 生成器训练、样本对生成、检索模型训练及商标检索方法 |
| CN117291252A (zh) * | 2023-11-27 | 2023-12-26 | 浙江华创视讯科技有限公司 | 稳定视频生成模型训练方法、生成方法、设备及存储介质 |
| CN117291252B (zh) * | 2023-11-27 | 2024-02-20 | 浙江华创视讯科技有限公司 | 稳定视频生成模型训练方法、生成方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258381B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258381A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| US11532180B2 (en) | Image processing method and device and storage medium | |
| CN110602527B (zh) | 视频处理方法、装置及存储介质 | |
| EP2977956B1 (en) | Method, apparatus and device for segmenting an image | |
| CN107527059B (zh) | 文字识别方法、装置及终端 | |
| CN107945133B (zh) | 图像处理方法及装置 | |
| EP3855360A1 (en) | Method and device for training image recognition model, and storage medium | |
| CN109934275B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| KR20200131305A (ko) | 키포인트 검출 방법, 장치, 전자 기기 및 기억 매체 | |
| US20210012091A1 (en) | Method and apparatus for image processing, electronic device, and storage medium | |
| CN110399841B (zh) | 一种视频分类方法、装置及电子设备 | |
| CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN108830219B (zh) | 基于人机交互的目标跟踪方法、装置及存储介质 | |
| CN107463903B (zh) | 人脸关键点定位方法及装置 | |
| CN105354560A (zh) | 指纹识别方法及装置 | |
| CN106295499A (zh) | 年龄估计方法及装置 | |
| CN105279499A (zh) | 年龄识别方法及装置 | |
| CN104077563A (zh) | 人脸识别方法和装置 | |
| CN111259967A (zh) | 图像分类及神经网络训练方法、装置、设备及存储介质 | |
| CN112150457A (zh) | 视频检测方法、装置及计算机可读存储介质 | |
| CN110717399A (zh) | 人脸识别方法和电子终端设备 | |
| CN112115894A (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
| CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
| CN108171222B (zh) | 一种基于多流神经网络的实时视频分类方法及装置 | |
| CN107977636B (zh) | 人脸检测方法及装置、终端、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |