CN116012258B - 一种基于循环生成对抗网络的图像和谐化方法 - Google Patents
一种基于循环生成对抗网络的图像和谐化方法 Download PDFInfo
- Publication number
- CN116012258B CN116012258B CN202310110330.5A CN202310110330A CN116012258B CN 116012258 B CN116012258 B CN 116012258B CN 202310110330 A CN202310110330 A CN 202310110330A CN 116012258 B CN116012258 B CN 116012258B
- Authority
- CN
- China
- Prior art keywords
- image
- harmonious
- foreground
- background
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 125000004122 cyclic group Chemical group 0.000 title claims description 11
- 238000005286 illumination Methods 0.000 claims abstract description 92
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 239000002131 composite material Substances 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于循环生成对抗网络的图像和谐化方法，包括：基于所述合成图像，获取原始和谐化后的图像和具有假前景光照信息的图像；基于所述和谐化后的图像和所述具有假前景光照信息的图像，获取混合图像；基于所述混合图像的背景掩膜，利用光照一致性循环方式，获取具有真实光照信息的图像；基于所述混合图像的前景掩膜，利用结构保持循环方式，获取具有假前景光照信息的图像；基于所述具有真实光照信息的图像和具有假前景关照信息的图像，优化和谐化后的图像。本发明可完成图像和谐化，使其在视觉效果上保持一致。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于循环生成对抗网络的图像和谐化方法。
背景技术
在对图像进行处理的过程中，一个常见的操作就是把一张图像的部分内容(前景)粘贴到另一个图像(背景)中。合成图像可以用于数据增强、获取感兴趣的图像等。然而，如果只进行简单地复制粘贴操作，人眼可以轻易地分辨一张图像的真假，故需要图像和谐化方法使其在视觉上保持一致。随着深度学习的发展，基于神经网络的方法被应用到图像和谐化中。现有的大部分方法只是单纯地使网络学习输入数据与真值之间的关系，但是在前景的调整过程中，前景的结构信息应保持不变，只更改其光照信息，单独的生成器学习将此过程混合，无法保证最终改变的是结构信息还是光照信息，同时忽视了前景和背景两者之间的关系。基于生成对抗网络的方法考虑到了背景的风格与光照信息对于前景调整的指导作用，但是其中判别器起到的提升作用较小。除此之外，现有的只考虑根据背景调整光照，而忽视了根据前景调整背景的可能性。因此，本发明基于循环生成对抗网络提出了一种图像和谐化方法。
发明内容
为解决上述技术问题，本发明提出了一种基于循环生成对抗网络的图像和谐化方法，将图像和谐化方法使其在视觉上保持一致。
为实现上述目的，本发明提供了一种基于循环生成对抗网络的图像和谐化方法，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像；
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像；所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像；所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像和第二和谐化图像，获得所述混合图像；
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像；所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像；所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
可选地，所述混合图像为：
其中，为两张图像构成的混合图像，/>为第一和谐化图像，/>为第二和谐化图像，/>为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
可选地，所述光照一致性循环的表达式为：
其中，为混合图像的背景掩膜，/>为两张图像构成的混合图像，均为生成器，/>为作为输入的合成图像，Breal为具有目标光照信息的背景。
可选地，所述结构保持循环的表达式为：
其中，Ffake为合成图像的前景，均为生成器，M为混合图像的前景掩膜，/>为输入的合成图像，/>为混合图像。
可选地，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
可选地，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
其中，为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
与现有技术相比，本发明具有如下优点和技术效果：
1.从评价指标上看，在均方误差(MSE)、峰值信噪比(PSNR)、前景均方误差(FMSE)上均有提升。
2.特别的，当前景占比大时，提升效果更好，因为本发明同时使用了背景和前景的光照信息。
3.提升了算法的稳定性，与基础模型相比，拥有不同前景的图像拥有更稳定的和谐化效果。
4.利用无监督的图像和谐化方法，可对无成对数据的合成图像进行训练。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的图形和谐化模型总体结构示意图；
图2为本发明实施例的加入ICOCO数据集后的判别器训练过程示意图；
图3为本发明实施例的在iHarmony四个子数据集上的比较结果示意图；
图4为本发明实施例的不同前景比例数据上的比较结果示意图；
图5为本发明实施例的无监督的背景和谐化效果示意图；
图6为本发明实施例的和谐化的视觉效果比较示意图；
图7不同前景合成图像在基础网络和本网络作用下的和谐化效果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
如图1所示，本实施例提供了一种基于循环生成对抗网络的图像和谐化方法，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像和第二和谐化图像/>获得所述混合图像
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
进一步地，所述混合图像为：
其中，为两张图像构成的混合图像，/>为第一和谐化图像，/>为第二和谐化图像，/>为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
进一步地，所述光照一致性循环的表达式为：
其中，为混合图像的背景掩膜，/>为两张图像构成的混合图像，均为生成器，/>为作为输入的合成图像，Breal为具有目标光照信息的背景。
进一步地，所述结构保持循环的表达式为：
其中，Ffake为合成图像的前景，均为生成器，M为混合图像的前景掩膜，/>为输入的合成图像，/>为混合图像。
进一步地，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
进一步地，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
其中，为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
如图1所示，本实施例提供的一种基于循环生成对抗网络的图像和谐化方法，具体包括以下步骤：
S1：构造光照一致性循环
S1-1：将合成图像和其对应的前景掩膜(M)输入到生成器/>中，得到根据合成图像背景光照信息改变前景光照信息的和谐化图像/>此时整张和谐化图像在原背景光照条件下。
S1-2：将合成图像和对应的背景掩膜/>输入的生成器/>中(此生成器为固定参数的预训练模型)，得到根据合成图像前景光照信息改变背景光照信息的和谐化图像/>此时整张和谐化图像在原前景光照条件下。
S1-3：利用S1-1和S1-2中和谐化图像和对对应的前景掩膜(M)、背景掩膜利用如下公式(1)构建混合图像/>此时混合图像的前景来自/>背景来自/>
S1-4：将混合图像和其对应的背景掩膜/>输入到生成器/>中，得到根据混合图像中前景光照信息改变背景光照信息的和谐化图像/>此时整张和谐化图像在混合图像的前景光照条件下。
S1-5：将S1-1、S1-2、S1-4中生成的和谐化图像输入到判别器当中，利用判别器的对抗损失函数指导生成器生成前景背景在同一光照下的图像
S1-6：构造光照一致性循环：假设S1-1中的和谐画图像的前景(Freal)光照信息与真实的背景一致，那么S1-4中的和谐化图像/>中的背景(Breal)与输入图像中的背景完全一致，即为公式2：
S2：构造结构一致性循环
S2-1到S2-3：同S1-1到S1-3
S2-4：将混合图像和其对应的前景掩膜(M)输入到生成器/>中，得到根据混合图像中背景光照信息改变前景光照信息的和谐化图像/>此时整张和谐化图像在混合图像的背景光照条件下。
S2-5：将S2-4中生成的和谐化图像作为假数据输入到判别当中S2-5：构造前景结构循环，输入的合成图像中前景，S1-1和谐化图像中的前景，与S2-4中生成的前景有相同的结构，故可构成循环如公式3，该循环为图1的上部。
原理为：假设中的假背景(Bfake)与假前景光照一致，只有当和谐化的前景保持所有结构信息，最终根据假背景生成的Ffake与输入的合成图像中的前景相同。通过最小化最终生成的假前景和原始假背景之间的结构差异，使和谐化的前景结构与真实前景结构保持一致。
S3：构建数据集，提升生成对抗网络中判别器的泛化能力。
S3-1：选取10种类别的目标作为前景，根据COCO数据集自带的语义分割标注提取对应的掩膜
S3-2：挑选42598张来自COCO2014训练集，23144张来自COCO2014验证集中的图像，与在S3-1中得到的对应掩膜构成真实图像数据对。
S3-3：在网络的训练过程中，将S3-2中的数据对和IHarmony4(原数据集)中的真实图像数据对作为判别器的真实数据，将S1和S2当中所有生成器生成的和谐化图像作为判别器的假数据，来提高判别器的识别能力。
S4：设计无监督的背景和谐化方法(目的不同：此时进行背景和谐化时无成对的训练数据，训练过程不同：开放训练和参数固定的生成器不同)
S4-1：同S1-1，此时S1中的生成器参数固定
S4-2：同S1-2，将S1-2中的生成器开放训练
S4-3：同S1-3
S4-4：将S4-1和S4-2中生成的和谐化图像作为假数据输入到判别器，S3-2中的数据对和IHarmony4中的真实图像对作为真实数据。
S4-5：判别器产生的对抗损失函数指导生成器生成前景背景光照一致的图像，S4-1与S4-2生成图像的背景一致性损失函数保证S4-1中生成的图像背景结构不变，以防止模式崩溃。
在本实施例中，通过基于循环生成对抗网络的图像和谐化方法要解决的三个问题为：1.前景结构信息与光照信息混合问题。2.无监督的背景和谐化方法。3.提升生成对抗网络中判别器的泛化能力。
1.关于前景结构信息与光照信息混合问题；
现有的方法存在的问题为，在和谐化过程中，将结构信息与光照信息混合学习，导致光照信息变化不足或过度。在本实施例中，数据的输入为合成图像与前景掩膜(M)，输出为和谐化后的图像/>并尽可能与真实图像(I)相同，将合成图像中的前景和背景分别称为Ffake和Breal。其中F代表前景,fake和real代表处在待和谐化与目标光照状态，故而，真值图像中的前景称为Freal。首先，总体结构如图1所示，将图像和谐化问题分为前景的结构保持与光照一致性两个子问题。
光照一致性循环：图像和谐化中，前景需要根据背景的光照信息改变自身光照信息，但是通常会学习不充分或过度。为了精确的学习到光照变化，本专利中，利用背景信息提出了光照一致性限制。首先，生成器输出和谐化后的图像/>同时生成器/>利用合成图像和背景掩膜，生成具有假前景光照信息的图像/>利用如下公式:
为两张图像构成的混合图像。将/>背景掩膜/>作为输入，生成器/>可以得到具有真实光照信息的图像/>假设/>中生成的前景Freal光照信息与真实的背景一致，那么最终/>中的生成Breal与输入图像中的背景则完全一致，即为：
根据此光照一致性循环，生成的前景光照被转移到假背景中，并通过使最终生成的背景照明接近原始真实背景光照，令生成的前景照明与真实背景保持一致。同时，所有图像都在判别器监督下生成。光照一致性循环结构如图1的下部分所示。
结构保持循环：为了使图像和谐，需将不同光照下中的前景转换为背景光照下，但前景的结构应保持不变。现有的图像和谐化方法通过重建损失对前景进行监督学习，同时改变了前景的光照和结构。为了解决此问题，设计了前景结构保持循环，该循环如图1的上部分所示。
包含假背景和和谐化前景的混合图像已经在光照一致性循环中描述过，此过程的生成器/>使用与/>相同的网络结构，并且它们都根据背景光照调整前景的光照。输入前景，和谐化的前景，与最终生成的前景有相同的结构，故可构成循环：
假设中的假背景(Bfake)与假前景光照一致，只有当和谐化的前景保持所有结构信息，最终根据假背景生成的Ffake与输入的合成图像中的前景相同。通过最小化最终生成的假前景和原始假背景之间的结构差异，使和谐化的前景结构与真实前景结构保持一致，如图1所示。
2.无监督的背景和谐化方法。
此问题最大的难点在于，无法建立训练数据间一对一的映射，即需设计无监督的训练过程。本专利中，无监督的背景和谐化由两个生成器和/>与一个判别器D构成，其中，/>将合成图像中的真实背景(Breal)转变为与前景光照一致的假背景(Bfake),利用前面提到的混合图像，将生成的假背景再次转化为真背景。我们利用输入输出的真背景之间的循环一致性损失函数保证背景的内容不变，生成对抗损失函数保证生成图像的前景背景光照保持一致，通过这两个损失函数保证生成的假背景内容不变，只改变光照。
3.提升生成对抗网络中判别器的泛化能力。
由于传统生成对抗网络中，判别器只将iHarmony数据集中的真实图像作为真实数据输入，所以判别器只能学习到此部分数据中前景背景关系，从而对提升和谐化图像的真实性起到的作用小，但是判别器的目的是分辨任意图像的真假。为了解决判别器泛化能力低的问题，基于COCO数据集，我们构建了ICOCO数据集作为判别器的输入，具体方法为，提取10种类别的目标作为前景，根据其语义分割标注提取对应的掩膜，构成真实数据输入对。增加了真实图像数据对的同时，我们将所有由生成器产生的图像作为假数据，拓展之后的数据够成，如图2所示。
本实施例的有益效果为：
图像和谐化的效果明显提升，结果如图3所示和图4所示，分别为在四个子数据集和不同前景比例数据上的不同方法比较效果，评价指标均方误差(MSE)和峰值信噪比(PSNR)等都有提升。本实例中提出的无监督背景和谐化方法，可在不具有成对数据时完成图像和谐化，使其在视觉效果上保持一致。在不论与图像和谐化领域中有代表性的其他方法，还是我们选取的原始生成器网络相比，可以看到使用本实施例的实验结果有了明显的提升，具体无监督的背景和谐化效果图和和谐化的视觉效果比较图分别如图5图6所示；图7为不同前景合成图像在基础网络和本实施例的网络作用下的和谐化效果示意图，其中基础网络：ISSAM，本实施例的网络：SP-IC Cycle。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于循环生成对抗网络的图像和谐化方法，其特征在于，包括：
基于判别器对和谐化结果进行优化；所述判别器输入数据包括真数据、假数据；
基于合成图像和对应的前景掩膜、背景掩膜，获取混合图像；
获取所述混合图像包括：
基于所述合成图像和所述前景掩膜，获取第一和谐化图像；所述第一和谐化图像为根据合成图像背景光照信息改变前景光照信息的和谐化图像；将第一和谐化图像作为假数据输入到判别器；
基于所述合成图像和所述背景掩膜，获取第二和谐化图像；所述第二和谐化图像为根据合成图像前景光照信息改变背景光照信息的和谐化图像；
基于所述第一和谐化图像和第二和谐化图像，获得所述混合图像；
基于所述混合图像和对应的背景掩膜，获取第三和谐化图像；所述第三和谐化图像为根据混合图像中前景光照信息改变背景光照信息的和谐化图像；将所述第三和谐化图像作为假数据输入到判别器；
基于所述合成图像和第三和谐化图像来构建光照一致性循环，优化所述第一和谐化图像；
所述光照一致性循环的表达式为：
其中，为混合图像的背景掩膜，/>为两张图像构成的混合图像，/>均为生成器，/>为作为输入的合成图像，Breal为具有目标光照信息的背景；
基于所述混合图像和对应的前景掩膜，获取第四和谐化图像；所述第四和谐化图像为根据混合图像中背景光照信息改变前景光照信息的和谐化图像；将所述第四和谐化图像作为假数据输入到判别器；
基于所述合成图像和第四和谐化图像来构建结构保持循环，对优化后的所述第一和谐化图像再次优化；
所述结构保持循环的表达式为：
其中，Ffake为合成图像的前景，均为生成器，M为混合图像的前景掩膜，为输入的合成图像，/>为混合图像；
构建真实图像数据对；
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据，所述真实图像数据和合成图像对应的真值图像对作为真数据对判别器进行训练；
基于训练后的所述判别器，对所述第一和谐化图像进行优化处理，获取视觉上一致的和谐化图像。
2.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，所述混合图像为：
其中，为两张图像构成的混合图像，/>为第一和谐化图像，/>为第二和谐化图像，/>为第二和谐化图像的背景掩膜，M为第一和谐化图像的前景掩膜。
3.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，对所述判别器进行训练包括：
将所述第一和谐化图像、第三和谐化图像、第四和谐化图像作为假数据输入所述判别器，将所述真实图像数据对输入所述判别器，基于所述假数据和所述真实图像数据对对所述判别器进行训练；
对所述判别器进行训练还包括：对所述判别器设置损失函数；
所述判别器设置的损失函数为：
其中，Ih,Ic分别为来自IHarmony4与ICOCO的真实数据，为第一、第三、第四和谐化图像的集合，Mh，Mc为图像对应的掩膜。
4.根据权利要求1所述的基于循环生成对抗网络的图像和谐化方法，其特征在于，获取视觉上一致的所述和谐化图像包括：
基于所述第一和谐化图像、第三和谐化图像、第四和谐化图像构成光照和结构的循环一致性损失函数，基于所述循环一致性损失函数和训练后的所述判别器，判别器给出的对抗损失函数，优化获取的所述第一和谐化图像，获得视觉上一致的和谐化图像；
所述判别器给出的对抗损失函数为：
其中，为第一、第三、第四和谐化图像的集合，Mh为图像对应的掩膜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110330.5A CN116012258B (zh) | 2023-02-14 | 2023-02-14 | 一种基于循环生成对抗网络的图像和谐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110330.5A CN116012258B (zh) | 2023-02-14 | 2023-02-14 | 一种基于循环生成对抗网络的图像和谐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116012258A CN116012258A (zh) | 2023-04-25 |
| CN116012258B true CN116012258B (zh) | 2023-10-13 |
Family
ID=86030046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310110330.5A Active CN116012258B (zh) | 2023-02-14 | 2023-02-14 | 一种基于循环生成对抗网络的图像和谐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012258B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305271A (zh) * | 2018-01-25 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种视频帧图像处理方法和装置 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN111696028A (zh) * | 2020-05-22 | 2020-09-22 | 华南理工大学 | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 |
| CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
| CN113222875A (zh) * | 2021-06-01 | 2021-08-06 | 浙江大学 | 一种基于色彩恒常性的图像和谐化合成方法 |
| CN113596323A (zh) * | 2021-07-13 | 2021-11-02 | 咪咕文化科技有限公司 | 智能合影方法、装置、移动终端及计算机程序产品 |
| WO2022105308A1 (zh) * | 2020-11-20 | 2022-05-27 | 南京大学 | 一种基于生成对抗级联网络增广图像的方法 |
| CN114882168A (zh) * | 2022-04-08 | 2022-08-09 | 清华大学 | 一种基于视觉的触觉传感器的数字孪生方法及装置 |
| CN115100024A (zh) * | 2022-05-27 | 2022-09-23 | 北京邮电大学 | 基于风格迁移的图像和谐化系统 |
| CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
| CN115205544A (zh) * | 2022-07-26 | 2022-10-18 | 福州大学 | 一种基于前景参考图像的合成图像和谐化方法及系统 |
| CN115456921A (zh) * | 2022-08-30 | 2022-12-09 | 北京邮电大学 | 合成图像和谐化模型训练方法、和谐化方法及装置 |
| WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
| CN115587924A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 |
| CN115661280A (zh) * | 2022-10-08 | 2023-01-31 | 北京达佳互联信息技术有限公司 | 在视频中植入多媒体的方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5840069B2 (ja) * | 2012-05-08 | 2016-01-06 | 富士フイルム株式会社 | 光音響画像生成装置、システム、及び方法 |
| JP6669095B2 (ja) * | 2017-02-06 | 2020-03-18 | 日亜化学工業株式会社 | 窒化物半導体発光素子の製造方法 |
| CN110084193B (zh) * | 2019-04-26 | 2023-04-18 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
| CN111738908B (zh) * | 2020-06-11 | 2023-04-07 | 山东大学 | 结合实例分割和循环生成对抗网络的场景转换方法及系统 |
-
2023
- 2023-02-14 CN CN202310110330.5A patent/CN116012258B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305271A (zh) * | 2018-01-25 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种视频帧图像处理方法和装置 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN111696028A (zh) * | 2020-05-22 | 2020-09-22 | 华南理工大学 | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 |
| WO2022105308A1 (zh) * | 2020-11-20 | 2022-05-27 | 南京大学 | 一种基于生成对抗级联网络增广图像的方法 |
| CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
| CN113222875A (zh) * | 2021-06-01 | 2021-08-06 | 浙江大学 | 一种基于色彩恒常性的图像和谐化合成方法 |
| WO2022267641A1 (zh) * | 2021-06-25 | 2022-12-29 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
| CN113596323A (zh) * | 2021-07-13 | 2021-11-02 | 咪咕文化科技有限公司 | 智能合影方法、装置、移动终端及计算机程序产品 |
| CN114882168A (zh) * | 2022-04-08 | 2022-08-09 | 清华大学 | 一种基于视觉的触觉传感器的数字孪生方法及装置 |
| CN115100024A (zh) * | 2022-05-27 | 2022-09-23 | 北京邮电大学 | 基于风格迁移的图像和谐化系统 |
| CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
| CN115205544A (zh) * | 2022-07-26 | 2022-10-18 | 福州大学 | 一种基于前景参考图像的合成图像和谐化方法及系统 |
| CN115456921A (zh) * | 2022-08-30 | 2022-12-09 | 北京邮电大学 | 合成图像和谐化模型训练方法、和谐化方法及装置 |
| CN115587924A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 |
| CN115661280A (zh) * | 2022-10-08 | 2023-01-31 | 北京达佳互联信息技术有限公司 | 在视频中植入多媒体的方法、装置、电子设备及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| "Deep Image-Based Illumination Harmonization";Zhongyun Bao等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recogniton》;第15842-18551页 * |
| "Foreground-Aware Semantic Representations for Imgae Harmonization";Konstantin Sofiiuk等;《Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision》;第1620-1629页 * |
| "MRI image harmonization using cycle-consistent generative adversarial network";Gourav Modanwal等;《Computer-Aided Diagnosis》;第1-20页 * |
| "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks";Jun Yan Zhu等;《Proceedingds of the IEEE International Conference on Computer Vision》;第2223-2232页 * |
| "基于生成对抗网络的轻量级图像卡通风格化方法";孙劲光;《激光与光电子学进展》;第1-10页 * |
| "基于神经网络的中国绘画图像风格迁移";陈存健;《中国优秀硕士学位论文全文数据库》(第4期);第I138-607页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116012258A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423700A (zh) | 人证核实的方法及装置 | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| Krause et al. | Fast and accurate simulations of calorimeter showers with normalizing flows | |
| CN110414350A (zh) | 基于注意力模型的双路卷积神经网络的人脸防伪检测方法 | |
| CN110097609A (zh) | 一种基于样本域的精细化绣花纹理迁移方法 | |
| Li et al. | Globally and locally semantic colorization via exemplar-based broad-GAN | |
| Souza et al. | Efficient neural architecture for text-to-image synthesis | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| Zhao et al. | Transfer learning with ensemble of multiple feature representations | |
| Ma et al. | Must-gan: Multi-level statistics transfer for self-driven person image generation | |
| Song et al. | AgeGAN++: Face aging and rejuvenation with dual conditional GANs | |
| CN110490247A (zh) | 图像处理模型生成方法、图像处理方法及装置、电子设备 | |
| CN112069993B (zh) | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 | |
| Kiani et al. | Image colorization using generative adversarial networks and transfer learning | |
| Singh | Colorization of old gray scale images and videos using deep learning | |
| CN109413068B (zh) | 一种基于对偶gan的无线信号加密方法 | |
| Weng et al. | Data augmentation computing model based on generative adversarial network | |
| CN116012258B (zh) | 一种基于循环生成对抗网络的图像和谐化方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| Sun et al. | Virtual reality-based visual interaction: a framework for classification of ethnic clothing totem patterns | |
| Yuan et al. | Explore double-opponency and skin color for saliency detection | |
| Wei et al. | Segmentation and synthesis of embroidery art images based on deep learning convolutional neural networks | |
| Guo et al. | Facial parts swapping with generative adversarial networks | |
| CN116468844A (zh) | 一种人脸神经辐射场的光照编辑方法及系统 | |
| CN115496675A (zh) | 一种基于Neighborhood注意力机制的阴影去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |