CN113724132A - 图像风格迁移处理方法、装置、电子设备及存储介质 - Google Patents
图像风格迁移处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113724132A CN113724132A CN202111291199.4A CN202111291199A CN113724132A CN 113724132 A CN113724132 A CN 113724132A CN 202111291199 A CN202111291199 A CN 202111291199A CN 113724132 A CN113724132 A CN 113724132A
- Authority
- CN
- China
- Prior art keywords
- image
- debugging
- migrated
- debugging parameter
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013508 migration Methods 0.000 title claims abstract description 103
- 230000005012 migration Effects 0.000 title claims abstract description 102
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明实施例公开了一种图像风格迁移处理方法、装置、电子设备及存储介质。所述方法包括：对目标图像进行风格迁移得到迁移后图像；对迁移后图像在目标指标项下进行调试参数解析得到迁移后图像匹配的迁移后调试参数信息；进而，依据迁移后调试参数信息对迁移后图像进行图像调试。采用本申请方案，不仅能在风格转换上得到提升，有效保证生成图像的风格转化，而且能自适应获取风格迁移后图像的调优参数，尽可能保证图像内容的精确度，解决调试时需依赖大量先验知识、耗时长效率低以及风格迁移只针对风格不涉及图像参数优化的问题，能够释放人力，提高效率，更具有客观性和适应性。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像风格迁移处理方法、装置、电子设备及存储介质。
背景技术
随着计算机网络、图像处理技术的成熟，视频监控以及智能手机技术也有长足发展，随之而来的是人们对视频图像质量要求也越来越高。
目前，图像风格迁移在影视娱乐、人机交互及机器视觉等领域扮演着越来越重要的角色，例如，可以通过摄像头实时将人物头像变成卡通人物头像；而在自动驾驶中，可以利用风格迁移辅助图片向分割图片转换等。但是，目前风格迁移方法只局限在图像风格变换，对图像进行迁移，面对监控领域高精度高指标的风格变换仍然存在精度低、适用性差及未涉及获取调优参数值的问题。
发明内容
本发明实施例中提供了一种图像风格迁移处理方法、装置、电子设备及存储介质，以实现解决图像调试时需依赖大量先验知识、耗时长效率低的问题。
第一方面，本发明实施例中提供了一种图像风格迁移处理方法，所述方法包括：
对目标图像进行风格迁移，得到迁移后图像；
对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
第二方面，本发明实施例中还提供了一种图像风格迁移处理装置，所述装置包括：
风格迁移模块，用于对目标图像进行风格迁移，得到迁移后图像；
调试参数确定模块，用于对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
图像调试模块，用于依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述图像风格迁移处理方法。
第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述图像风格迁移处理方法。
本发明实施例中提供了一种图像风格迁移处理方法，对目标图像进行风格迁移得到迁移后图像；对迁移后图像在目标指标项下进行调试参数解析得到迁移后图像匹配的迁移后调试参数信息；进而，依据迁移后调试参数信息对迁移后图像进行图像调试。采用本申请方案，不仅能在风格转换上得到提升，有效保证生成图像的风格转化，而且能自适应获取风格迁移后图像的调优参数，尽可能保证图像内容的精确度，解决调试时需依赖大量先验知识、耗时长效率低以及风格迁移只针对风格不涉及图像参数优化的问题，能够释放人力，提高效率，更具有客观性和适应性。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种图像风格迁移处理方法的流程图；
图2是本发明实施例中提供的一种风格迁移的流程示意图；
图3是本发明实施例中提供的另一种图像风格迁移处理方法的流程图；
图4是本发明实施例中提供的一种调试参数生成模型的训练过程图；
图5是本发明实施例中提供的一种调试参数矢量转换图；
图6是本发明实施例中提供的一种图像风格迁移处理装置的结构框图；
图7是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的图像风格迁移处理方法、装置、电子设备及存储介质进行详细阐述。
图1是本发明实施例中提供的一种图像风格迁移处理方法的流程图。本发明实施例可适用于对图像风格进行迁移的情况。该方法可由图像风格迁移处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的图像风格迁移处理方法，可包括以下步骤：
S110、对目标图像进行风格迁移，得到迁移后图像。
图像的风格迁移可包括通过对不同风格的图像进行解析后，使其中一种风格的图像在保留图像内容的情况下，将其风格转变为其它不同种类风格。例如将具有第一风格的目标图像进行风格迁移，在保留目标图像包含的图像内容的前提下，实现将第一风格转变为第二风格，从而得到风格迁移后的图像。
在本实施例的一种可选方案中，对目标图像进行风格迁移，得到迁移后图像，可以包括以下步骤A1-A2：
步骤A1、从目标图像中提取高频内容信息与低频风格信息；以及，确定目标图像采用的目标图像增益。
参见图2，在对目标图像进行风格迁移时，可以对原始的目标图像进行预处理，从目标图像中提取高频的内容信息和低频的风格信息。可选地，采用高斯滤波对目标图像进行模糊处理，得到低频风格信息。将目标图像与对目标图像进行模糊处理得到的模糊图像进行图像作差，得到高频内容信息，尽量保持原始的目标图像中的细节和内容。
参见图2，低频风格信息和高频内容信息可以采用图像格式进行表示，低频风格信息中包括图像亮度、色彩以及轮廓等与风格相关的特征信息。从目标图像中提取高频内容信息与低频风格信息的公式可以如下：
其中，
表示目标图像，
与
分别表示低频风格信息和高频内容信
息，
表示高斯滤波进行模糊处理的操作。步骤A2、将高频内容信息与低频风格信息输入到
目标图像增益下的预设生成对抗网络模型GAN，得到迁移后图像。
其中，预设生成对抗网络模型GAN用于对输入信息进行特征提取与融合以进行图像风格迁移；不同的图像增益匹配不同的预设生成对抗网络模型GAN。
参见图2，使用生成对抗网络模型GAN进行风格迁移时，不是直接对原始的目标图像进行迁移，而是使用前述从目标图像中提取的高频内容信息与低频风格信息分别作为预设生成对抗网络模型GAN的输入。
通过预设生成对抗网络模型GAN分别从高频内容信息与低频风格信息中进行一次特征提取，并将分别提取的高频内容特征与低频风格特征进行融合，得到融合后特征，在此基础上预设生成对抗网络模型GAN对融合后特征继续进行特征提取以完成风格迁移，得到迁移后图像。
可选地，高频内容特征与低频风格特征进行融合可以以多通道形式通过concat连接进行特征级上的融合。可选地，预设生成对抗网络模型GAN的嵌入网络结构不做限定，可以如编码解码器、U-Net、密集网络等模型网络。
在上述可选方案中，通过生成对抗网络获取风格迁移图像，该网络单独训练,将原图分离为高频内容信息和低频风格信息，分别提取特征图后再以特征融合形式合并，通过风格和内容特征图的分开提取，可以得到更符合条件的权重参数，实现在风格迁移的基础上保留更多原图细节。
考虑到图像迁移涉及到不同增益下的图像效果，为了避免需遍历不同增益，造成工作量大，耗时较长，因此预设生成对抗网络模型GAN在进行模型训练时使用的训练样本可以包括通过在不同增益下经对训练图像进行滑动窗口切块生成的图像数据集，这样预设生成对抗网络模型GAN就可以适应不同增益的图像的风格迁移过程。当使用预设生成对抗网络模型GAN进行风格迁移时，可以确定目标图像的目标图像增益，这样就可以确定与目标图像增益相匹配的预设生成对抗网络模型GAN来进行风格迁移。
S120、对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息。
S130、依据迁移后调试参数信息，对迁移后图像进行图像调试。
通常图像风格迁移的变换以及图像质量的调试时，需要对多个甚至几十个指标项的参数进行调试，存在一定挑战。如当环境较复杂时，很难权衡所有调试参数来达到一个均衡图像效果，且每个调试人员的主观评价存在差异，存在不确定性。同时，图像调试的工作量大，耗时较长，更多依赖先验知识和调试经验，有一定局限性。
为此，在得到迁移后图像时，可以从目标指标项的维度，来对迁移后图像进行调试参数的自适应解析，从而可以获取与迁移后图像相匹配的迁移后调试参数信息，这样就可以直接使用自适应获取的迁移后调试参数信息来对迁移后图像进行自适应图像调试。
在上述方案中，自适应模拟风格迁移后图像的调试参数，高效且客观，调试时将获取的调试参数值直接写入大大释放了人力以及节约成本，同时不再依赖先验知识和调试经验，解决调试效果局限性，且能保证图像内容精确度。
可选地，上述的目标指标可以包括但不限于以下至少一项：平均梯度（AG）、对比度（C）、峰值信噪比（PSNR）、边缘信息保留值（EIPV）、亮度（L）、饱和度（S）以及结构相似性（CC）等。
根据本发明实施例中提供的图像风格迁移处理方法，不仅能在风格转换上得到提升，有效保证生成图像的风格转化，而且能自适应获取风格迁移后图像的调优参数，尽可能保证图像内容的精确度，解决了图像调试时需依赖大量认为先验知识、耗时长效率低以及风格迁移只针对风格不涉及图像参数优化的问题，能够释放人力，提高效率，更具有客观性和适应性。
图3是本发明实施例中提供的另一种图像风格迁移处理方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示，本申请实施例中提供的图像风格迁移处理方法，可包括以下步骤：
S310、对目标图像进行风格迁移，得到迁移后图像。
S320、将迁移后图像输入到预设调试参数生成模型，得到迁移后图像在目标指标项下的调试参数矢量特征。
其中，预设调试参数生成模型使用的训练样本包括通过在不同增益下经对训练图像滑动窗口切块生成的风格迁移后图像数据集，训练样本的样本标签通过对目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到。
在进行图像调试时，需保证不同增益下的图像效果，通常每隔6db进行一次图像调
试，如0db、6db、12db等依次类推，最后根据设备实际能力及图像效果限制最高增益。为此，
在训练调试参数生成模型时，需要调试参数生成模型能适应不同增益的图像进行参数生
成，这里就需要使得调试参数生成模型使用的训练样本包括对不同增益下经对训练图像进
行滑动窗口切块所生成的风格迁移后的图像数据作为调试参数生成模型的训练样本数据。
在一种可选方案中，对不同增益的训练图像进行滑动窗口切块，得到各图像切块数据，这样
一方面可扩充训练集规模，另一方面可通过切块将图像中局部细节挑选出来，给网络一个
尽可能好的参考；例如，假设切块后图像数据集为F，D表示不同增益段，每个增益段数据集
大小为N，则切块后的图像数据集可表示为
。可选地，考虑到内存限
制，滑动窗口的大小可为128x128，步长为64，mini-batch大小为16。
可选地，可以使用平均梯度（AG）、对比度（C）、峰值信噪比（PSNR）、边缘信息保留值
（EIPV）、亮度（L）、饱和度（S）、结构相似性（CC）等目标指标参数对上述数据集F进行计算，获
得目标指标项下训练样本的调试参数数据集
，
表示各指标算法操作，H表示
调试参数总个数。
参见图4，可以将通过在不同增益下经对训练图像进行滑动窗口切块生成的图像
数据集
,将F输入到生成对抗网络模型GAN得到风格迁移后的图像
。将得到的图像
作为训练样本，而将对
目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到矢量信息作为样
本标签，通过反向传播对生成对抗网络模型GAN进行更新，得到训练完成的生成对抗网络模
型GAN。
将生成的风格迁移后图像输入自适应调试参数生成模型，可获得该图像对应的调试参数矢量特征。该网络模型也是单独训练，通过卷积神经网络CNN的全卷积结构，生成归一化后指标。具体卷积核大小及通道数不做限制，网络输出大小由调试参数个数决定。
在本实施例的一种可选方案中，预设调试参数生成模型使用的训练样本的样本标签的生成过程，可包括以下步骤B1-B2：
步骤B1、按照调试参数数据集中的调试参数值与调试参数个数，对每个调试参数值进行归一化处理，得到归一化的调试参数值。
步骤B2、对归一化的调试参数值进行离散化矢量转换处理，将归一化后的调试参数值映射到固定大小的矢量图中，得到训练样本的样本标签。
由于每个目标指标项下的调试参数各自选取范围不同，故在进行参数生成模型设
计之前，先将调试参数数据集
，进行归一化处理。例如归一后的调试参数值为
(
)，其中，每个指标的调试参数的取值范围为R，计算出的调试参数值
为q，H为调试参数总个数。
参见图5，在得到目标指标项下归一后的一组调试参数值后，这一组调试参数值表
示为
，然后将这一组调试参数值进行离散化矢量转换，将目标指标项下归一后的
一组调试参数值映射到HxH的矢量图中，q所在位置设为1，其余位置设为0，这样转换为一个
归一后的特征矢量图。
在上述方案中，提出一种多向量参数归一化方法，考虑到多种调试参数范围大小存在差异，对其进行离散映射，将每个向量的值归一到统一矩阵，对应位置映射为1，其余为0，更好保证了网络训练及参数的一致性。
S330、对迁移后图像在目标指标项下的调试参数矢量特征进行反向归一，得到对应的迁移后调试参数信息。
预设调试参数生成模型使用的样本标签通过对目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到，因此预设调试参数生成模型输出的是调试参数矢量特征。因此，在得到目标指标项下的调试参数矢量特征直接进行反向归一可得到对应的迁移后调试参数信息。
在本实施例的一种可选方案中，预设调试参数生成模型进行反向传播训练时的损失函数使用均方差损失、结构相似性损失以及梯度损失进行约束。
在损失函数的设计时，可以使用多任务损失，除了基本的MSE均方误差损失
，还加入了结构相似性损失
以及梯度损失
多指标作为约束，计算公
式如下所示。
其中，
、N表示特征图大小，
和
分别表示标签值和网络输出；
表示结构
相似性操作；G表示梯度计算操作。
在上述方案中，训练调试参数生成模型是，在损失函数中加入梯度和结构相似性指标作为约束项，更好约束网络进行训练，增加了网络对于标签和输出的识别能力。
S340、依据迁移后调试参数信息，对迁移后图像进行图像调试。
在本实施例的一种可选方案中，预设生成对抗网络模型GAN与预设调试参数生成模型分别单独训练完成后，通过输出输入的连接形成端到端的将生成对抗网络模型GAN与预设调试参数生成模型连接，两网络互不干扰。
图6是本发明实施例中提供的一种图像风格迁移处理装置的结构框图。本发明实施例可适用于对图像风格进行迁移的情况。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。
如图6所示，本申请实施例中提供的图像风格迁移处理装置，可包括：风格迁移模块610、调试参数确定模块620以及图像调试模块630。
风格迁移模块610，用于对目标图像进行风格迁移，得到迁移后图像；
调试参数确定模块620，用于对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
图像调试模块630，用于依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
在上述实施例的基础上，可选地，风格迁移模块610包括：
确定目标图像采用的目标图像增益；
从目标图像中提取高频内容信息与低频风格信息；
将高频内容信息与低频风格信息输入到目标图像增益下的预设生成对抗网络模型GAN，得到迁移后图像；
其中，预设生成对抗网络模型GAN用于对输入信息进行特征提取与融合以进行图像风格迁移；不同的图像增益匹配不同的预设生成对抗网络模型GAN。
在上述实施例的基础上，可选地，调试参数确定模块620包括：
将所述迁移后图像输入到预设调试参数生成模型，得到所述迁移后图像在目标指标项下的调试参数矢量特征；
对迁移后图像在目标指标项下的调试参数矢量特征进行反向归一，得到对应的迁移后调试参数信息；
其中，预设调试参数生成模型使用的训练样本包括通过在不同增益下经对训练图像进行滑动窗口切块生成的图像数据集，所述训练样本的样本标签通过对目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到。
在上述实施例的基础上，可选地，所述预设调试参数生成模型进行反向传播训练时的损失函数使用均方差损失、结构相似性损失以及梯度损失进行约束。
在上述实施例的基础上，可选地，训练样本的样本标签的生成过程包括：
按照调试参数数据集中的调试参数值与调试参数个数，对每个调试参数值进行归一化处理，得到归一化的调试参数值；
对归一化的调试参数值进行离散化矢量转换处理，将归一化后的调试参数值映射到固定大小的矢量图中，得到所述训练样本的样本标签。
在上述实施例的基础上，可选地，目标指标包括平均梯度、对比度、峰值信噪比、边缘信息保留值、亮度、饱和度、结构相似性。
本发明实施例中所提供的图像风格迁移处理装置可执行上述本发明任意实施例中所提供的图像风格迁移处理方法，具备执行该图像风格迁移处理方法相应的功能和有益效果，详细过程参见前述实施例中图像风格迁移处理方法的相关操作。
图7是本发明实施例中提供的一种电子设备的结构示意图。如图7所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器710和存储装置720；该电子设备中的处理器710可以是一个或多个，图7中以一个处理器710为例；存储装置720用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器710执行，使得所述一个或多个处理器710实现如本发明实施例中任一项所述的图像风格迁移处理方法。
该电子设备还可以包括：输入装置730和输出装置740。
该电子设备中的处理器710、存储装置720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
该电子设备中的存储装置720作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的图像风格迁移处理方法对应的程序指令/模块。处理器710通过运行存储在存储装置720中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中图像风格迁移处理方法。
存储装置720可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器710执行时，程序进行如下操作：
对目标图像进行风格迁移，得到迁移后图像；
对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器710执行时，程序还可以进行本发明任意实施例中所提供的图像风格迁移处理方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行图像风格迁移处理方法，该方法包括：
对目标图像进行风格迁移，得到迁移后图像；
对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（Random AccessMemory，RAM）、只读存储器（Read Only Memory，ROM）、可擦式可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率（RadioFrequency，RF）等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种图像风格迁移处理方法，其特征在于，所述方法包括：
对目标图像进行风格迁移，得到迁移后图像；
对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
2.根据权利要求1所述的方法，其特征在于，对目标图像进行风格迁移，得到迁移后图像，包括：
确定目标图像采用的目标图像增益；
从目标图像中提取高频内容信息与低频风格信息；
将高频内容信息与低频风格信息输入到目标图像增益下的预设生成对抗网络模型GAN，得到迁移后图像；
其中，预设生成对抗网络模型GAN用于对输入信息进行特征提取与融合以进行图像风格迁移；不同的图像增益匹配不同的预设生成对抗网络模型GAN。
3.根据权利要求1所述的方法，其特征在于，对迁移后图像在目标指标项下进行调试参数解析设，得到迁移后图像匹配的迁移后调试参数信息，包括：
将所述迁移后图像输入到预设调试参数生成模型，得到所述迁移后图像在目标指标项下的调试参数矢量特征；
对迁移后图像在目标指标项下的调试参数矢量特征进行反向归一，得到对应的迁移后调试参数信息；
其中，预设调试参数生成模型使用的训练样本包括通过在不同增益下经对训练图像进行滑动窗口切块生成的风格迁移后图像数据集，所述训练样本的样本标签通过对目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到。
4.根据权利要求3所述的方法，其特征在于，所述预设调试参数生成模型进行反向传播训练时的损失函数使用均方差损失、结构相似性损失以及梯度损失进行约束。
5.根据权利要求3所述的方法，其特征在于，所述训练样本的样本标签的生成过程包括：
按照调试参数数据集中的调试参数值与调试参数个数，对每个调试参数值进行归一化处理，得到归一化的调试参数值；
对归一化的调试参数值进行离散化矢量转换处理，将归一化后的调试参数值映射到固定大小的矢量图中，得到所述训练样本的样本标签。
6.根据权利要求1所述的方法，其特征在于，目标指标包括平均梯度、对比度、峰值信噪比、边缘信息保留值、亮度、饱和度、结构相似性。
7.一种图像风格迁移处理装置，其特征在于，所述装置包括：
风格迁移模块，用于对目标图像进行风格迁移，得到迁移后图像；
调试参数确定模块，用于对迁移后图像在目标指标项下进行调试参数解析，得到迁移后图像匹配的迁移后调试参数信息；
图像调试模块，用于依据所述迁移后调试参数信息，对所述迁移后图像进行图像调试。
8.根据权利要求7所述的装置，其特征在于，调试参数确定模块包括：
将所述迁移后图像输入到预设调试参数生成模型，得到所述迁移后图像在目标指标项下的调试参数矢量特征；
对迁移后图像在目标指标项下的调试参数矢量特征进行反向归一，得到对应的迁移后调试参数信息；
其中，预设调试参数生成模型使用的训练样本包括通过在不同增益下经对训练图像进行滑动窗口切块生成的图像数据集，所述训练样本的样本标签通过对目标指标项下训练样本的调试参数数据集进行归一化并映射到矢量得到。
9.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-6中任一所述的图像风格迁移处理方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一所述的图像风格迁移处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111291199.4A CN113724132B (zh) | 2021-11-03 | 2021-11-03 | 图像风格迁移处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111291199.4A CN113724132B (zh) | 2021-11-03 | 2021-11-03 | 图像风格迁移处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724132A true CN113724132A (zh) | 2021-11-30 |
| CN113724132B CN113724132B (zh) | 2022-02-18 |
Family
ID=78686500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111291199.4A Active CN113724132B (zh) | 2021-11-03 | 2021-11-03 | 图像风格迁移处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724132B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
| CN115861042A (zh) * | 2023-02-08 | 2023-03-28 | 荣耀终端有限公司 | 一种图像处理方法、电子设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN110570481A (zh) * | 2019-07-31 | 2019-12-13 | 中国地质大学（武汉） | 基于风格迁移的书法字库自动修复方法及系统 |
| CN110598781A (zh) * | 2019-09-05 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
| US10664718B1 (en) * | 2017-09-11 | 2020-05-26 | Apple Inc. | Real-time adjustment of hybrid DNN style transfer networks |
| CN112581361A (zh) * | 2020-12-30 | 2021-03-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型的训练方法、图像风格迁移方法及装置 |
| CN113160042A (zh) * | 2021-05-21 | 2021-07-23 | 北京邮电大学 | 一种图像风格迁移模型训练方法、装置及电子设备 |
-
2021
- 2021-11-03 CN CN202111291199.4A patent/CN113724132B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170139572A1 (en) * | 2015-11-17 | 2017-05-18 | Adobe Systems Incorporated | Image Color and Tone Style Transfer |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| US10664718B1 (en) * | 2017-09-11 | 2020-05-26 | Apple Inc. | Real-time adjustment of hybrid DNN style transfer networks |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN110570481A (zh) * | 2019-07-31 | 2019-12-13 | 中国地质大学（武汉） | 基于风格迁移的书法字库自动修复方法及系统 |
| CN110598781A (zh) * | 2019-09-05 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
| CN112581361A (zh) * | 2020-12-30 | 2021-03-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型的训练方法、图像风格迁移方法及装置 |
| CN113160042A (zh) * | 2021-05-21 | 2021-07-23 | 北京邮电大学 | 一种图像风格迁移模型训练方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENDONG LIU;XIN YANG等: ""Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer"", 《2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》 * |
| 兰天;辛月兰;殷小芳;刘卫铭;姜星宇: ""基于生成对抗网络的无监督图像风格迁移"", 《计算机工程与科学》 * |
| 周博琛: ""基于嵌入式平台的图像风格迁移系统设计"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
| CN115861042A (zh) * | 2023-02-08 | 2023-03-28 | 荣耀终端有限公司 | 一种图像处理方法、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724132B (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347873B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
| CN113724132B (zh) | 图像风格迁移处理方法、装置、电子设备及存储介质 | |
| CN108335306B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106664467B (zh) | 视频数据流捕获和摘要的方法、系统、介质和设备 | |
| WO2022041830A1 (zh) | 行人重识别方法和装置 | |
| CN113392174A (zh) | 基于大数据和人工智能的信息解析方法及系统 | |
| WO2022017163A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN109360028B (zh) | 用于推送信息的方法和装置 | |
| CN106462572A (zh) | 用于分布式光学字符识别和分布式机器语言翻译的技术 | |
| KR20200145827A (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
| US10958828B2 (en) | Advising image acquisition based on existing training sets | |
| CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN114418834A (zh) | 一种文字生成方法、装置、电子设备及存储介质 | |
| CN114332590B (zh) | 联合感知模型训练、联合感知方法、装置、设备和介质 | |
| CN113784171A (zh) | 视频数据处理方法、装置、计算机系统及可读存储介质 | |
| CN113792742A (zh) | 遥感图像的语义分割方法和语义分割模型的训练方法 | |
| CN113050860A (zh) | 一种控件识别方法和相关装置 | |
| CN113505848A (zh) | 模型训练方法和装置 | |
| AU2011265380B2 (en) | Determining transparent fills based on a reference background colour | |
| CN110188815B (zh) | 一种特征点采样方法、装置、设备及存储介质 | |
| WO2022143811A1 (zh) | 一种生存力评估方法、装置、评估设备及存储介质 | |
| CN111199540A (zh) | 图像质量评价方法、装置、电子设备及存储介质 | |
| CN112399177B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| KR20160128869A (ko) | 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |