CN112884679A - 一种图像转换方法、装置、存储介质和电子设备 - Google Patents
一种图像转换方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN112884679A CN112884679A CN202110324882.7A CN202110324882A CN112884679A CN 112884679 A CN112884679 A CN 112884679A CN 202110324882 A CN202110324882 A CN 202110324882A CN 112884679 A CN112884679 A CN 112884679A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- matrix
- content
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 185
- 230000006870 function Effects 0.000 claims description 64
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000012549 training Methods 0.000 abstract description 11
- 238000003062 neural network model Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像转换方法、装置、存储介质和电子设备，通过获得图像生成模型基于原始图像生成的第一图像；将第一图像和预设的目标域的第二图像输入至风格判别模型中，获得第一矩阵；将第一图像和原始图像输入至内容判别模型，获得第二矩阵；根据第一矩阵，通过预设的风格损失函数确定第一图像的风格损失值；根据第二矩阵，通过预设的内容损失函数确定第一图像的内容损失值；根据内容损失值和风格损失值，调节图像生成模型的参数。本发明可以依据内容损失值和风格损失值反馈调整图像生成模型的参数，提高图像生成模型的精度，也使得图像生成模型无需经过更深层的训练和识别，提高了训练过程和图像转换的效率。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种图像转换方法、装置、存储介质和电子设备。
背景技术
在计算机视觉中，许多任务可以被描述为图像到图像的转换，例如，黑白图像与彩色图像的互相转换、航拍图与数字地图的相互转换等。这一类转换任务具有丰富的应用场景，例如图像增强、自动驾驶等。
传统的图像转换方法需要建模、添加纹理、添加光照等繁琐步骤。图像转换方法的关键在于图像的生成，由于图像数据的复杂性，生成的图像需要满足以下两点要求：与原始图像在内容上保持一致、与目标域图像在风格上保持一致。为了确保准确度，现有的深度卷积网络层次较深，导致训练过程和生成图像的效率低下。
发明内容
鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种图像转换方法、装置、存储介质和电子设备。
第一方面，一种图像转换方法，包括：
获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
结合第一方面，在某些可选的实施方式中，所述图像转换方法还包括：
根据所述风格损失值，调节所述风格判别模型的参数。
结合第一方面，在某些可选的实施方式中，将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，包括：
将所述第一图像和所述预设的第二图像输入至所述风格判别模型中；
所述风格判别模型分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；
所述风格判别模型根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。
结合第一方面，在某些可选的实施方式中，所述将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，包括：
将所述第一图像和所述原始图像输入至内容判别模型中；
所述内容判别模型对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；
所述内容判别模型对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；
所述内容判别模型根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。
结合上一个实施方式，在某些可选的实施方式中，所述通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值，包括：
通过内容损失函数计算所述第二矩阵和所述第二特征压缩矩阵的第一方差；
根据所述第一方差确定所述第一图像的内容损失值。
结合第一方面，在某些可选的实施方式中，所述通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值，包括：
通过所述预设的风格损失函数计算所述第一矩阵与第一预设矩阵的第二方差，其中，所述第一预设矩阵的各元素均为1；
通过所述预设的风格损失函数计算所述第一矩阵与第二预设矩阵的第三方差，其中，所述第二预设矩阵的各元素均为0；
根据所述第二方差和所述第三方差，确定所述第一图像的风格损失值。
结合第一方面，在某些可选的实施方式中，所述图像转换方法还包括：
根据所述内容损失值和所述风格损失值，调节所述内容损失函数和所述风格损失函数的共有因子，以同时调节所述内容损失函数的权重和所述风格损失函数的权重。
第二方面，一种图像转换装置，包括：图像获得单元、第一矩阵获得单元、第二矩阵获得单元、风格损失确定单元、内容损失确定单元和参数调整单元；
所述图像获得单元，被配置为执行获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
所述第一矩阵获得单元，被配置为执行将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
所述第二矩阵获得单元，被配置为执行将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
所述风格损失确定单元，被配置为执行通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
所述内容损失确定单元，被配置为执行通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
所述参数调整单元，被配置为执行根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
第三方面，一种存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的图像转换方法。
第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的图像转换方法。
借由上述技术方案，本发明提供的一种图像转换方法、装置、存储介质和电子设备，通过获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。由此可以看出，本发明可以依据内容损失值和风格损失值确定图像生成模型所生成的第一图像是否达到要求，通过反馈调整图像生成模型的参数，提高图像生成模型的精度，同时也使得图像生成模型无需经过更深层的训练和识别，提高了本发明训练过程和图像转换的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的第一种图像转换方法的流程图；
图2示出了本发明实施例提供的第二种图像转换方法的流程图；
图3示出了本发明实施例提供的风格判别器的处理流程图；
图4示出了本发明实施例提供的第三种图像转换方法的流程图；
图5示出了本发明实施例提供的一种图像转换装置的结构示意图；
图6示出了本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
在计算机视觉中，许多任务可以被描述为图像到图像的转换，例如，黑白图像与彩色图像的互相转换、航拍图与数字地图转换等。这一类转换任务具有丰富的应用场景，例如图像增强、自动驾驶等。
传统的图像转换方法需要建模、添加纹理、添加光照等繁琐步骤，效率较低。经本方案发明人研究发现将神经网络应用于图像转换，使得转换任务可以在端到端的条件下进行，极大地简化了转换流程。图像转换方法的关键在于图像的生成，由于图像数据的复杂性，生成的图像需要满足以下两点要求：与原始图像在内容上保持一致、与目标域的图像在风格上保持一致。例如，将一张彩色图像转换为黑白图像，不仅要求转换后的图像中的事物与彩色图像中的事物一致，还要求转换后的图像是黑白风格的图像。普通的深度卷积网络由于其网络结构原因，使得导致训练过程和生成图像的效率低下，且精度不高，下面进行说明。
图像转换方法可以分为：有监督的图像转换方法和无监督的图像转换方法。对于有监督的图像转换方法来说，数据集由有标注的样本组成，有标注的样本是指对各个样本上均具有标注，以区分不同样本的类别。有监督的图像转换方法具有良好的模型性能，但是有标注数据往往需要大量的人工进行标注，效率较为低下。在无监督的图像转换方法中，数据集由不存在对应关系的不同图像域的图像组成，这种方法需要大量的训练样本进行深度神经网络模型训练，效率较为低下。
经本发明发明人研究发现，对于无监督的图像转换方法，可以通过对抗式的神经网络模型框架提高效率。该神经网络模型框架内由图像生成模型、风格判别模型组成和内容判别模型组成，图像生成模型用于学习输入图像的分布并生成相应的图片样本；风格判别模型用于判定生成的图片样本的图像风格是否目标图像风格；内容判别模型用于判定生成的图片样本的内容是否与输入图像的内容一致。通过风格判别模型与图像生成模型之间的互相博弈，使得图像生成模型生成的图片样本的图像风格更加接近目标图像风格；内容判别模型与图像生成模型之间互相博弈，使得图像生成模型生成的图片样本的内容更接近输入图像的内容，对抗式的神经网络模型框架可以极大提升了生成图像的精度和效率。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明提供了一种图像转换方法，包括：
S100、获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
可选的，原始图像可以指的是输入图像生成模型中的原始域的图像。例如，若需要将一只小狗的彩色图像转换为相应的黑白图像，那么可以将彩色图像输入至图像生成模型中，即这里所说的“彩色图像”可以理解为“原始域”的图像，下述的“目标域”的图像可以理解为“黑白图像”，本发明对此不做限制。
可选的，对于“目标域”的图像可以理解为“目标域”的真实图像。以上述将一只小狗的彩色图像转换为相应的黑白图像为例，该小狗相应的黑白图像有一定标准，比如首先图像必须是黑白的，不能有其他色彩；其次彩色图像与黑白图像的内容要一致，即原来的彩色图像中“小狗”与黑白图像中的“小狗”在神态和外形等方面要保持一致。符合这些标准的黑白图像可以理解为“目标域”的真实图像，本发明对此不做限制。
可选的，本文所说的图像生成模型可以是一种神经网络模型，本发明对此不做限制。
可选的，将原始图像输入图像生成模型，图像生成模型输出生成的第一图像，但第一图像可能不满足“目标域”的图像标准，所以可以执行后续步骤。
可选的，本发明所说的图像生成模型可以包括：下采样模块、残差模块和上采样模块。下采样模块和残差模块由复数的卷积层和残差层组成，完成对输入的原始图像进行特征矩阵压缩。上采样模块由复数的反卷积层组成，对压缩后的特征矩阵进行复原。上采样模块输出与原始图像相对应的目标域的图像。图像生成模型的具体执行过程为：通过卷积层对输入原始图像进行下采样操作，不断压缩特征矩阵的尺寸，再通过残差层。最后通反卷积层对压缩后的特征矩阵的尺寸进行复原作，最终输出与原始图像的尺寸相同的第一图像。
残差层可以执行包括卷积、卷积后的归一化处理、以及使用激活函数，其中，残差层在进行卷积的时候，本发明不限制卷积核的大小，例如可以进行三层卷积，卷积核可以依次是1×1、3×3和1×1，本发明对此不做限制。
可选的，图像生成模型可以共享下采样模块和残差模块的参数权重，例如图像生成模型可以用相同的卷积核对原始图像进行卷积操作，所有权参数重是一样的，这里所说的参数权重即为卷积核。
可选的，本发明所提供的图像转换方法可以是基于对抗式的神经网络模型框架实现的，本发明对此不做限制。
可选的，结合图1所示的实施方式，在某些可选的实施方式中，所述图像生成模型的网络结构为ResNet融合U-Net的跳跃结构；
所述方法还包括：
所述图像生成模型通过所述跳跃结构，将所述原始图像的浅层特征跳跃连接到深层特征，以使得所述第一图像的背景与所述原始图像的背景一致。
S200、将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
可选的，本发明所说的第二图像可以是目标域的图像，即可以根据实际需要，提前预设各种“目标域”的图像，例如“黑白图像”、“彩色图像”、“航拍图像”、“数字图像”和“矢量图像”等均可以预设至少一张相应图像作为相应“目标域”的图像，本发明对此不做限制。
可选的，本发明对于目标域的第二图像的内容不做限制，仅要求第二图像符合目标域的风格要求即可。例如，若“目标域”为黑白图像，则仅要求第二图像是真正的黑白图像即可，不要求第二图像是具体一种事物或场景的黑白图像，本发明对此不做限制。
可选的，所述风格判别模型可以通过输出的特征矩阵内的值表示样本的真实置信度。即第一矩阵内的值可以表示第一图像在图像风格上为目标域的图像的真实置信度，本发明对此不做限制。
可选的，以彩色图像转换为黑白图像为例，真正的黑白图像对应的矩阵可以设定为全为“1”的矩阵或者全为“0”的矩阵，即黑白图像对应的矩阵内的值均为“1”或者“均为0”，本发明对此不做限制。
以真正的黑白图像对应的矩阵内的值均为“1”为例，那么对于非真正的黑白图像而言，对应的矩阵内的值均是“0”或者包括“0”。这种方式下，可以计算真正的黑白图像对应的矩阵与非真正的黑白图像对应的矩阵的乘积，得到第一矩阵，本发明对此不做限制。
例如，如图2所示，结合图1所示的实施方式，在某些可选的实施方式中，所述S200，包括：S210、S220和S230；
S210、将所述第一图像和预设的第二图像输入至风格判别模型中；
S220、所述风格判别模型分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；
S230、所述风格判别模型根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。
其中，图2中的S100、S300、S400、S500和S600均已在图1实施方式中说明，这里不再赘述。
可选的，对于卷积、实例正则化和激活函数层操作等概念，可以参见神经网络模型的相关解释，本文对此不做过多描述。以图3描述的风格判别模型的执行过程为例，图3中的“Conv”为卷积，括号中第一个参数为卷积核的大小，第二个参数为卷积步长，第三个参数为每个边长填充的大小，例如(4，2，1)则为卷积核的大小为4×4，卷积步长为2，向量的上下左右分别填充1行。
图3中的“IN”为Instance Normalization，即实例正则化。
图3中的“LeakyReLU”是激活函数层，激活函数层可以将非线性特性引入到风格判别模型中。若没有激活函数层，每层都相当于矩阵相乘，就算叠加了若干层之后，无非还是个矩阵相乘，没有实际的意义。
图3中最上面的一行数字是经过卷积、IN、LeakyReLU操作后，输出向量的大小，如3×256×256经过第一步的卷积和LeakyReLU的操作之后，输出为6×128×128，最终输出可以为30×30的矩阵，本发明对此不做限制。
S300、将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
可选的，步骤S300中所说的卷积神经网络模型可以是VGG16网络模型，当然，也可以是VGG18或者其它层数的卷积神经网络模型，本发明对此不做限制。
可选的，如图4所示，结合图1所示的实施方式，在某些可选的实施方式中，所述S300，包括：S310、S320、S330和S340；
S310、将所述第一图像和所述原始图像输入至内容判别模型中；
S320、所述内容判别模型对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；
S330、所述内容判别模型对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；
S340、所述内容判别模型根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。
可选的，所述内容判别模型可以执行包括卷积、激活、池化操作，由低到高提取第一图像和原始图像的特征，输出内容差值表示第一图像的内容与原始图像的内容的接近程度。
S400、通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
可选的，本文所说的风格损失函数可以如公式1所示，其中，LGAN(G，Ds)表示：对抗损失；G表示：图像生成模型；Ds表示内容判别器；
表示：目标域真实样本分布的期望，pdata(y)代表目标域真实样本的分布；Ds(y)表示：将第二图像输入到风格判别模型得到的特征矩阵；
表示：原始图像真实样本分布的期望，pdata(x)代表原始图像真实样本的分布；Ds(G(x))表示：将第一图像输入到风格判别器所得到的特征矩阵，本发明对此不做限制。
可选的，Ds(y)和Ds(G(x))具体可以通过第一矩阵获得，本发明对此不做限制。
公式1：
可选的，风格损失值可以体现所述第一图像与所述目标域的图像在图像风格上的接近程度，本发明对此不做限制。
例如，结合图1所示的实施方式，在某些可选的实施方式中，所述S400，包括：步骤一、步骤二和步骤三；
步骤一、通过所述预设的风格损失函数计算所述第一矩阵与第一预设矩阵的第二方差，其中，所述第一预设矩阵的各元素均为1；
步骤二、通过所述预设的风格损失函数计算所述第一矩阵与第二预设矩阵的第三方差，其中，所述第二预设矩阵的各元素均为0；
步骤三、根据所述第二方差和所述第三方差，确定所述第一图像的风格损失值。
S500、通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
可选的，本文所说的内容损失函数，如公式2所示，其中，Lcontent(G，Dc)表示：内容损失；Dc表示：内容判别器；Dc(x)表示：将原始图像输入到内容判别器所得到的特征矩阵；Dc(G(x))表示将第一图像输入到内容判别器所得到的特征矩阵：，本发明对此不做限制。
可选的，Dc(x)和Dc(G(x))具体可以通过第二矩阵获得，本发明对此不做限制。
公式2：
可选的，内容损失值可以体现所述第一图像与所述原始图像在内容上的接近程度，本发明对此不做限制。
可选的，结合图4所示的实施方式，在某些可选的实施方式中，所述S500，包括：步骤四和步骤五；
步骤四、通过内容损失函数计算所述第二矩阵和所述第二特征压缩矩阵的第一方差；
步骤五、根据所述第一方差确定所述第一图像的内容损失值。
S600、根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
可选的，本发明通过所述内容损失值和所述风格损失值反馈调节图像生成模型的参数，可以快速训练图像生成模型，使得图像生成模型的精度满足要求，本发明对此不做限制。
可选的，本发明可以应用在图像转换过程中不断训练图像生成模型，从而不断调整生成的图像，使得生成的图像在风格上与目标域的图像一致，且在内容上与原始图像一致，本发明对此不做限制。
本发明还可以应用于预先训练图像生成模型，采用的训练策略是在训练图像生成模型的时候将风格判别模型和内容判别模型的参数权重固定，在训练风格判别模型和内容判别模型的时候将图像生成模型的参数权重固定，本发明对此不做限制。
结合图1所示的实施方式，在某些可选的实施方式中，所述方法还包括：
根据所述风格损失值，调节所述风格判别模型的参数，以提高所述风格判别模型确定所述第一矩阵的准确度。
可选的，风格损失值可能受图像生成模型的精度影响，也可能受风格判别模型的精度影响，所以可以根据所述风格损失值，调节所述风格判别模型的参数，进一步提高本发明的精度，同时也提高了训练效率，本发明对此不做限制。
结合图1所示的实施方式，在某些可选的实施方式中，所述方法还包括：
根据所述内容损失值和所述风格损失值，调节所述内容损失函数和所述风格损失函数的共有因子，以同时调节所述内容损失函数的权重和所述风格损失函数的权重。
可选的，本发明的内容损失函数和风格损失函数还可以用一个总损失函数来表示，如公式3所示。其中，L(G,DS,Dc)表示：总损失函数；Loss_id_B表示：识别损失；λ为：超参数，在实验前设置的，具体的取值见公式；α为：超参数，在实验前设置，
epoch为训练的轮数，本发明对此不做限制。
可选的，可以将目标域的图像y输入到图像生成模型中，生成的第一图像为G(y),识别损失可以识别G(y)与y的距离，如公式所示：
公式3：
可选的，通过共有因子λ，可以调节风格损失和内容损失的权重比例，本发明对此不做限制。
如图5所示，本发明提供了一种图像转换装置，包括：图像获得单元100、第一矩阵获得单元200、第二矩阵获得单元300、风格损失确定单元400、内容损失确定单元500和参数调整单元600；
所述图像获得单元100，被配置为执行获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
所述第一矩阵获得单元200，被配置为执行将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
所述第二矩阵获得单元300，被配置为执行将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
所述风格损失确定单元400，被配置为执行通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
所述内容损失确定单元500，被配置为执行通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
所述参数调整单元600，被配置为执行根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
结合图5所示的实施方式，在某些可选的实施方式中，所述图像转换装置还包括：风格参数单元；
所述风格参数单元，被配置为执行根据所述风格损失值，调节所述风格判别模型的参数。
结合图5所示的实施方式，在某些可选的实施方式中，第一矩阵获得单元200，包括：第一输入子单元、第一卷积子单元、第一矩阵子单元；
所述第一输入子单元，被配置为执行将所述第一图像和预设的第二图像输入至风格判别模型中；
所述第一卷积子单元，被配置为执行分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；
所述第一矩阵子单元，被配置为执行根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。
结合图5所示的实施方式，在某些可选的实施方式中，所述第二矩阵获得单元300，包括：第二输入子单元、第二卷积子单元、第一池化子单元和第二矩阵子单元；
所述第二输入子单元，被配置为执行将所述第一图像和所述原始图像输入至内容判别模型中；
所述第二卷积子单元，被配置为执行对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；
所述第一池化子单元，被配置为执行对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；
所述第二矩阵子单元，被配置为执行根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。
结合上一个实施方式，在某些可选的实施方式中，所述内容损失确定单元500，包括：第一方差子单元和第一内容子单元；
通过内容损失函数计算所述第二矩阵和所述第二特征压缩矩阵的第一方差；
根据所述第一方差确定所述第一图像的内容损失值。
结合图5所示的实施方式，在某些可选的实施方式中，所述风格损失确定单元400，包括：第二方差子单元、第三方差子单元和风格子单元；
所述第二方差子单元，被配置为执行通过所述预设的风格损失函数计算所述第一矩阵与第一预设矩阵的第二方差，其中，所述第一预设矩阵的各元素均为1；
所述第三方差子单元，被配置为执行通过所述预设的风格损失函数计算所述第一矩阵与第二预设矩阵的第三方差，其中，所述第二预设矩阵的各元素均为0；
所述风格子单元，被配置为执行根据所述第二方差和所述第三方差，确定所述第一图像的风格损失值。
结合图5所示的实施方式，在某些可选的实施方式中，所述图像转换装置还包括：共有因子单元；
所述共有因子单元，被配置为执行根据所述内容损失值和所述风格损失值，调节所述内容损失函数和所述风格损失函数的共有因子，以同时调节所述内容损失函数的权重和所述风格损失函数的权重。
一种存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的图像转换方法。
如图6所示，本发明提供了一种电子设备70，所述电子设备70包括至少一个处理器701、以及与所述处理器701连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述任一项所述的图像转换方法。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种图像转换方法，其特征在于，包括：
获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
2.根据权利要求1所述的图像转换方法，其特征在于，所述图像转换方法还包括：
根据所述风格损失值，调节所述风格判别模型的参数。
3.根据权利要求1所述的图像转换方法，其特征在于，所述将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，包括：
将所述第一图像和所述预设的第二图像输入至所述风格判别模型中；
所述风格判别模型分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；
所述风格判别模型根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。
4.根据权利要求1所述的图像转换方法，其特征在于，所述将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，包括：
将所述第一图像和所述原始图像输入至内容判别模型中；
所述内容判别模型对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；
所述内容判别模型对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；
所述内容判别模型根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。
5.根据权利要求4所述的图像转换方法，其特征在于，所述通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值，包括：
通过内容损失函数计算所述第二矩阵和所述第二特征压缩矩阵的第一方差；
根据所述第一方差确定所述第一图像的内容损失值。
6.根据权利要求1所述的图像转换方法，其特征在于，所述通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值，包括：
通过所述预设的风格损失函数计算所述第一矩阵与第一预设矩阵的第二方差，其中，所述第一预设矩阵的各元素均为1；
通过所述预设的风格损失函数计算所述第一矩阵与第二预设矩阵的第三方差，其中，所述第二预设矩阵的各元素均为0；
根据所述第二方差和所述第三方差，确定所述第一图像的风格损失值。
7.根据权利要求1所述的图像转换方法，其特征在于，所述图像转换方法还包括：
根据所述内容损失值和所述风格损失值，调节所述内容损失函数和所述风格损失函数的共有因子，以同时调节所述内容损失函数的权重和所述风格损失函数的权重。
8.一种图像转换装置，其特征在于，包括：图像获得单元、第一矩阵获得单元、第二矩阵获得单元、风格损失确定单元、内容损失确定单元和参数调整单元；
所述图像获得单元，被配置为执行获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
所述第一矩阵获得单元，被配置为执行将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
所述第二矩阵获得单元，被配置为执行将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
所述风格损失确定单元，被配置为执行通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
所述内容损失确定单元，被配置为执行通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
所述参数调整单元，被配置为执行根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。
9.一种存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的图像转换方法。
10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7中任一项所述的图像转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110324882.7A CN112884679A (zh) | 2021-03-26 | 2021-03-26 | 一种图像转换方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110324882.7A CN112884679A (zh) | 2021-03-26 | 2021-03-26 | 一种图像转换方法、装置、存储介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884679A true CN112884679A (zh) | 2021-06-01 |
Family
ID=76042506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110324882.7A Pending CN112884679A (zh) | 2021-03-26 | 2021-03-26 | 一种图像转换方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884679A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744158A (zh) * | 2021-09-09 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
-
2021
- 2021-03-26 CN CN202110324882.7A patent/CN112884679A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744158A (zh) * | 2021-09-09 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN110322416B (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| CN109711481B (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
| CN109361934B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112580782B (zh) | 基于通道增强的双注意力生成对抗网络及图像生成方法 | |
| CN112400186B (zh) | 图像生成 | |
| CN111460931A (zh) | 基于颜色通道差值图特征的人脸欺骗检测方法及系统 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN114969405A (zh) | 一种跨模态图文互检方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| WO2022166797A1 (zh) | 图像生成模型的训练方法、生成方法、装置及设备 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| CN115690522B (zh) | 一种基于多池化融合通道注意力的目标检测方法及其应用 | |
| CN110084250B (zh) | 一种图像描述的方法及系统 | |
| CN110660020A (zh) | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 | |
| CN112686282A (zh) | 一种基于自学习数据的目标检测方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| Liu et al. | Name your style: An arbitrary artist-aware image style transfer | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN113361387A (zh) | 人脸图像融合方法及装置、存储介质及电子设备 | |
| CN113989405B (zh) | 一种基于小样本持续学习的图像生成方法 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN112884679A (zh) | 一种图像转换方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |