CN114022352B - 遥感图像风格迁徙模型的创建方法和装置 - Google Patents
遥感图像风格迁徙模型的创建方法和装置 Download PDFInfo
- Publication number
- CN114022352B CN114022352B CN202210002463.6A CN202210002463A CN114022352B CN 114022352 B CN114022352 B CN 114022352B CN 202210002463 A CN202210002463 A CN 202210002463A CN 114022352 B CN114022352 B CN 114022352B
- Authority
- CN
- China
- Prior art keywords
- image
- style
- remote sensing
- model
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 69
- 238000013508 migration Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004260 weight control Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种遥感图像风格迁徙模型的创建方法和装置，该方法包括：采用迭代方式执行以下步骤，直至获得的总体特征损失达到预设阈值：将原始图像输入初始学习算法模型获取生成图像；将原始图像、生成图像和风格图像输入预训练模型获取总体特征损失；根据总体特征损失调整初始学习算法模型的参数、预训练模型中多个不同特征信息的权重以及内容特征信息的权重和风格特征信息的权重之间的混合比例；将根据符合预设阈值的总体特征损失调整后的初始学习算法模型作为遥感图像风格迁徙模型。通过该实施例方案，避免了强风格图像的风格不平衡，维持了原始图像的纹理特征和颜色特征，并兼具了明显的真实风格效果。
Description
技术领域
本申请实施例涉及深度学习的遥感图像处理技术，尤指一种遥感图像风格迁徙模型的创建方法和装置。
背景技术
当前基于深度学习的艺术风格迁徙算法：
采用艺术风格的生成模型和基于优化的模型得到的内容图像风格化输出存在较大局部变化，线条扭曲和纹理的畸变，同时不能反映图像的真实色彩，使得当前基于深度学习的艺术风格迁徙算法不适用于遥感真实图像的风格迁移，几乎不能在遥感图像的风格迁移上应用，同时基于优化的风格迁移模型需要迭代优化时间较长，且风格化后的生成图像存在较大色块和伪影。
主流算法采用生成模式的算法模型，并通过训练内容图像和风格图像获得风格迁移模型，采用现有的风格迁移模型，如果要保留线条和纹理的真实性，常用的技术为增加“图像实例分割步骤”。图像实例分割步骤不仅会增加时间成本，还难以保证分割的准确性，进而影响了风格迁移的最终效果。采用预训练模型作为特征损失控制模型的训练，虽然获得推理速度的提升，但是最终生成的图像由于风格图像的全局性风格特征的影响，很难在遥感图像上带来令人满意的结果。同时，全局强风格图像的风格特点仅能在纹理线条和图像内容简单的图像上应用。其中，强风格图像指与原始图像风格相比差异大的风格图像，强风格图像中包括高层次的语义信息，例如颜色特征等。
发明内容
本申请实施例提供了一种遥感图像风格迁徙模型的创建方法和装置，能够避免强风格图像的风格不平衡，维持原始图像的纹理特征和颜色特征，并兼具明显的真实风格效果。
本申请实施例提供了一种遥感图像风格迁徙模型的创建方法，所述方法可以包括：
采用迭代方式执行以下步骤，直至获得的总体特征损失达到预设阈值： 将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像；将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失；根据所述总体特征损失调整所述初始学习算法模型的参数、调整所述预训练模型中多个不同特征信息的权重以及调整内容特征信息的权重和风格特征信息的权重之间的混合比例；所述多个不同特征信息包括：所述内容特征信息和所述风格特征信息；所述内容特征信息是指所述原始图像的不同特征信息，所述风格特征信息是指所述风格图像的不同特征信息；
将根据符合所述预设阈值的总体特征损失调整后的初始学习算法模型作为遥感图像风格迁徙模型。
在本申请的示例性实施例中，所述将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像，可以包括：
通过所述初始学习算法模型中不同卷积层的组合对所述原始图像进行上采样、下采样和特征提取，并采用预设的拼接通道拼接由不同卷积层提取的特征信息，获取所述生成图像。
在本申请的示例性实施例中，所述采用预设的拼接通道拼接由不同卷积层提取的特征信息，可以包括：
采用所述拼接通道自底向上拼接由不同卷积层提取的特征信息；
其中，所述拼接通道是将卷积层和上采样层进行堆叠后与下采样层进行堆叠获得的。
在本申请的示例性实施例中，所述将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失，可以包括：
对所述原始图像、所述生成图像和所述风格图像的不同卷积层的图像信息进行特征提取，获取特征信息；
将所述原始图像的特征信息和所述生成图像的特征信息相比较，计算内容特征损失；并将所述生成图像的特征信息和所述风格图像的特征信息相比较，计算风格特征损失；
根据所述内容特征损失和所述风格特征损失计算所述总体特征损失。
在本申请的示例性实施例中，所述调整所述预训练模型中多个不同特征信息的权重，可以包括：
采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值。
在本申请的示例性实施例中，所述采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值，可以包括：按照等倍数递单调增的方式由低到高依次设置每层卷积层的权重值，即所述卷积层层级越高，特征信息越重要，权重值越大。
在本申请的示例性实施例中，所述特征信息可以包括：纹理特征信息、颜色特征信息和语义特征信息；
所述纹理特征信息、所述颜色特征信息和所述语义特征信息对应的权重值依次增加。
在本申请的示例性实施例中，所述方法还可以包括：
将待进行风格迁徙的遥感图像输入遥感图像风格迁徙模型中；
通过所述遥感图像风格迁徙模型对输入的所述遥感图像进行处理，输出风格迁徙后的遥感图像。
本申请实施例还提供了一种遥感图像风格迁徙装置，包括第一处理器和第一计算机可读存储介质，所述第一计算机可读存储介质中存储有第一指令，当所述第一指令被所述第一处理器执行时，实现上述的遥感图像风格迁徙模型的创建方法。
与相关技术相比，本申请实施例可以包括：采用迭代方式执行以下步骤，直至获得的总体特征损失达到预设阈值： 将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像；将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失；根据所述总体特征损失调整所述初始学习算法模型的参数、调整所述预训练模型中多个不同特征信息的权重以及调整内容特征信息的权重和风格特征信息的权重之间的混合比例；所述多个不同特征信息包括：所述内容特征信息和所述风格特征信息；所述内容特征信息是指所述原始图像的不同特征信息，所述风格特征信息是指所述风格图像的不同特征信息；将根据符合所述预设阈值的总体特征损失调整后的初始学习算法模型作为遥感图像风格迁徙模型。通过该实施例方案，避免了强风格图像的风格不平衡，维持了原始图像的纹理特征和颜色特征，并兼具了明显的真实风格效果。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
本申请使用的遥感图像风格迁徙模型保持了遥感图像风格迁徙的局部细节和全局细节，规避了局部像素剧烈变化造成的图像伪影；将预训练模型的风格特征融合不同权重的训练过程，不仅控制了模型的风格学习强度同时保持了图像的风格，避免强风格图像的风格不平衡，通过上述模型生成的内容跟风格图像能够维持原有内容图像的纹理特征和颜色特征，同时具有明显的真实风格效果，从而实现了端到端的生成图像输出；通过优化算法模型，实现了对复杂对象、复杂线条和内容的图像的风格迁移。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的遥感图像风格迁徙模型的创建方法流程图；
图2为本申请实施例的初始学习算法模型原理示意图；
图3为本申请实施例的预训练模型原理示意图；
图4为本申请实施例的预训练模型的更新迭代方法示意图；
图5为本申请实施例的遥感图像风格迁徙模型的创建装置组成框图；
图6为本申请实施例的遥感图像风格迁徙方法流程图；
图7为本申请实施例的遥感图像风格迁徙装置组成框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种遥感图像风格迁徙模型的创建方法，如图1所示，所述方法可以包括步骤S101-S102：
S101、采用迭代方式执行以下步骤，直至获得的总体特征损失达到预设阈值： 将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像；将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失；根据所述总体特征损失调整所述初始学习算法模型的参数、调整所述预训练模型中多个不同特征信息的权重以及调整内容特征信息的权重和风格特征信息的权重之间的混合比例；所述多个不同特征信息包括：所述内容特征信息和所述风格特征信息；所述内容特征信息是指所述原始图像的不同特征信息，所述风格特征信息是指所述风格图像的不同特征信息；
S102、将根据符合所述预设阈值的总体特征损失调整后的初始学习算法模型作为遥感图像风格迁徙模型。
在本申请的示例性实施例中，旨在解决遥感图像风格迁徙算法获取的内容风格图像（即风格迁徙后获得的遥感图像）存在的伪影和细节丢失，保持内容图像（即原始图像）的细节信息，实现内容图像的风格转化，实现特征提取权重控制，合理控制特征提取网络的低层颜色纹理特征、中层局部语意特征、深层高级语意特征和关键点特征的提取，同时保持算法模型的推理速度，从而为实现端到端的风格迁徙输出提供技术基础。
在本申请的示例性实施例中，可以预先创建初始学习算法模型和预训练特征提取算法模型（即预训练模型，也可以称为特征提取器，或预训练特征提取器），并通过预训练模型对初始学习算法模型进行训练，获取最终的遥感图像风格迁徙模型。
在本申请的示例性实施例中，可以首先将原始图像经过初始学习算法模型生成一张处理后的图像，记作生成图像。
在本申请的示例性实施例中，如图2所示，可以定义一种基于深度学习的超分图像生成网络模型（图像生成器），作为该初始学习算法模型，该初始学习算法模型可以维持原始图像和生成图像的尺寸，使得生成图像具有原始图像的内容特征，同时带有一定的图像风格。
在本申请的示例性实施例中，所述将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像，可以包括：
通过所述初始学习算法模型中不同卷积层的组合对所述原始图像进行上采样、下采样和特征提取，并采用预设的拼接通道拼接由不同卷积层提取的特征信息，获取所述生成图像。
在本申请的示例性实施例中，所述采用预设的拼接通道拼接由不同卷积层提取的特征信息，可以包括：
采用所述拼接通道自底向上拼接由不同卷积层提取的特征信息；
其中，所述拼接通道是将卷积层和上采样层进行堆叠后与下采样层进行堆叠获得的。
在本申请的示例性实施例中，初始学习算法模型的基本构成是通过卷积网络实现上下采样、残差块以及通道拼接，从而获取生成图像。
在本申请的示例性实施例中，具体地，通过卷积层的不同组合对初始学习算法模型的输入图像（即原始图像）进行下采样和特征提取，并采用拼接通道的方式，自底向上拼接不同卷积层输出的特征信息，使得原始图像在卷积里面的特征信息流保留浅层纹理特点，作为生成图像的参考，通过类似的卷积层、上采样层和下采样层的堆叠构成[ [卷积层+下采样]+上采样]的图像通道特征的拼接特征信息，最后形成生成图像。
在本申请的示例性实施例中，获取生成图像以后可以基于该生成图像、原始图像和待参考的风格图像，并结合预训练模型计算总体特征损失，并根据该总体特征损失更新初始学习算法模型的参数，根据该总体特征损失融合特征乘权机制控制风格图像和内容图像的迁移权重，对预训练模型的浅层级纹理特征、颜色特征，深层次语意特征施加不同的权重达到最小化内容特征损失和风格特征损失的目的。
在本申请的示例性实施例中，预训练特征提取算法模型（即预训练模型，风格图像和内容图像特征提取器）用于提取不同层级（卷积层）的预训练模型的输出特征，来控制初始学习算法模型（用于学习内容图像的内容信息和风格图像的风格信息）的参数调整。预训练模型可以采用公开科研数据集上训练后的模型，作为内容图像和风格图像的特征提取器。例如：VGG16和VGG19等，基于imagenet数据集的分类深度模型，确保内容特征和风格特征的稳定提取。
在本申请的示例性实施例中，如图3所示，所述将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失，可以包括：
对所述原始图像、所述生成图像和所述风格图像的不同卷积层的图像信息进行特征提取，获取特征信息；
将所述原始图像的特征信息和所述生成图像的特征信息相比较，计算内容特征损失；并将所述生成图像的特征信息和所述风格图像的特征信息相比较，计算风格特征损失；
根据所述内容特征损失和所述风格特征损失计算所述总体特征损失。
在本申请的示例性实施例中，将内容图像（即原始图像）、生成图像、风格图像（参考的风格图像）输入到预训练模型中，对上述不同的图像的不同层级的信息进行特定特征（即特定的特征信息）的提取。其中，所述特定的特征信息可以包括：纹理特征信息、颜色特征信息和语义特征信息。然后对上述特征信息进行卷积，用于计算损失结果。即，将提取到的图像的特征信息输入卷积层进行训练，通过对比输入的图像和输出的图像，计算风格特征损失和内容特征损失。具体地，计算损失结果时，是将原始图像和生成图像的特征信息进行对比，计算出内容特征损失的结果；同时对生成图像和风格图像的特征信息进行对比，得到的风格特征损失的结果。最后，可以将风格特征损失和内容特征损失求和得到一个总体特征损失，总体特征损失会在后续有一个反向更新的过程，从而不断的迭代优化初始学习算法模型。
在本申请的示例性实施例中，所述调整所述预训练模型中多个不同特征信息的权重，可以包括：
采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值。
在本申请的示例性实施例中，所述采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值，可以包括：按照等倍数单调递增的方式由低到高依次设置每层卷积层的权重值。
在本申请的示例性实施例中，所述纹理特征信息、所述颜色特征信息和所述语义特征信息对应的权重值依次增加。
在本申请的示例性实施例中，为了控制生成图像的质量，设置了不同的权重字典对生成图像、原始图像、风格图像的特征进行控制，以更好地保留原始图像的结构（纹理细节和颜色布局）和更好地保持风格图像的风格（颜色布局和色块差异），减小原始图像和生成图像的结构差异，减小生成图像和风格图像的风格差异。
在本申请的示例性实施例中，权重字典的构成是建立权重控制的学习参数，对不同层级特征设置不同的权重值，权重值可以按照等倍数单调递增序列设置，例如，layer1（1层）的权值为0.2，layer2（2层）设置为0.4，则其余层均是以2的倍数单调递增的序列，最终形成0.2为底数，2 为倍数的权重字典。
在本申请的示例性实施例中，这样设置的原因是由于低层级风格特征的纹理信息和高层级的语义信息重要程度不同，预训练模型更想获得高层级语义信息和颜色信息，故此设置了单调递增的权重字典（卷积层层级越高，特征信息越重要，相应地权重值越大）。
在本申请的示例性实施例中，预训练模型的更新迭代方法如图4所示，例如，为控制风格迁徙的风格比重和颜色信息，可以选取5个不同层次的特征信息，对这些特征信息施加不同的权重，以控制预训练模型的训练，如图4中1、2、3、4和5代表不同的特征信息，对应训练中的格里姆风格矩阵，可以分别施加0.1、0.2、0.4、0.8，1.6的权重。
在本申请的示例性实施例中，预训练模型的学习过程中除了权重字典的固定设置策略，同时混合了内容特征信息的权重和风格特征信息的权重的动态调整策略，该策略按照总体特征损失变化的历史进行动态调整内容特征信息Q和风格特征信息K之间的混合比例，最终达到进行风格迁徙后获得的真实图像保持原始图像的内容特点以及风格图像的风格特点，例如，可以最终经过动态调整设置K和Q的比例为100：1完成预训练模型的学习。
在本申请的示例性实施例中，遥感图像的风格迁移任务，使用预训练模型和初始学习算法模型的结合保持了风格迁徙任务的细节，并避免了局部像素变化造成伪影：
1、预训练模型的风格特征融合不同权重训练过程，控制模型的风格学习强度和风格保持，避免强风格图像的风格不平衡；
2、生成的内容风格图像局部细节保持和复杂遥感图像的细节保持，维持原有内容图像（即原始图像）的纹理特征和颜色特征，同时兼具明显的真实风格效果；实现了端到端的生成图像输出。
3、优化了算法模型，通过简单的端到端的网络算法模型（遥感图像风格迁徙模型）实现了对复杂对象、复杂线条和内容的图像的风格迁移。
本申请实施例还提供了一种遥感图像风格迁徙装置1，如图5所示，包括第一处理器11和第一计算机可读存储介质12，所述第一计算机可读存储介质12中存储有第一指令，当所述第一指令被所述第一处理器11执行时，实现所述的遥感图像风格迁徙模型的创建方法。
在本申请的示例性实施例中，前述的遥感图像风格迁徙模型的创建方法实施例中的任意实施例均适用于该装置实施例中，在此不再一一赘述。
本申请实施例还提供了一种遥感图像风格迁徙方法，如图6所示，所述方法可以包括步骤S201-S202：
S201、将待进行风格迁徙的遥感图像输入所建立的遥感图像风格迁徙模型中；
S202、通过所述遥感图像风格迁徙模型对输入的所述遥感图像进行处理，输出风格迁徙后的遥感图像。
在本申请的示例性实施例中，前述的遥感图像风格迁徙模型的创建方法实施例中的任意实施例均适用于该遥感图像风格迁徙方法实施例中，在此不再一一赘述。
本申请实施例还提供了一种遥感图像风格迁徙装置2，如图7所示，可以包括第二处理器21和第二计算机可读存储介质22，所述第二计算机可读存储介质22中存储有第二指令，当所述第二指令被所述第二处理器21执行时，实现上述的遥感图像风格迁徙方法。
在本申请的示例性实施例中，前述的遥感图像风格迁徙模型的创建方法实施例中的任意实施例均适用于该遥感图像风格迁徙装置实施例中，在此不再一一赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (7)
1.一种遥感图像风格迁徙模型的创建方法，其特征在于，所述方法包括：
采用迭代方式执行以下步骤，直至获得的总体特征损失达到预设阈值： 将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像；
将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失；
根据所述总体特征损失调整所述初始学习算法模型的参数、调整所述预训练模型中多个不同特征信息的权重以及调整内容特征信息的权重和风格特征信息的权重之间的混合比例；
所述多个不同特征信息包括：所述内容特征信息和所述风格特征信息；
所述调整所述预训练模型中多个不同特征信息的权重，包括：
采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值，所述卷积层层级越高，特征信息越重要，权重值越大；
所述特征信息包括：纹理特征信息、颜色特征信息和语义特征信息；
所述纹理特征信息、所述颜色特征信息和所述语义特征信息对应的权重值依次增加；
将根据符合所述预设阈值的总体特征损失调整后的初始学习算法模型作为遥感图像风格迁徙模型。
2.根据权利要求1所述的遥感图像风格迁徙模型的创建方法，其特征在于，所述将作为训练数据的原始图像输入预先建立的初始学习算法模型，获取生成图像，包括：
通过所述初始学习算法模型中不同卷积层的组合对所述原始图像进行上采样、下采样和特征提取，并采用预设的拼接通道拼接由不同卷积层提取的特征信息，获取所述生成图像。
3.根据权利要求2所述的遥感图像风格迁徙模型的创建方法，其特征在于，所述采用预设的拼接通道拼接由不同卷积层提取的特征信息，包括：
采用所述拼接通道自底向上拼接由不同卷积层提取的特征信息；
其中，所述拼接通道是将卷积层和上采样层进行堆叠后与下采样层进行堆叠获得的。
4.根据权利要求1所述的遥感图像风格迁徙模型的创建方法，其特征在于，所述将所述原始图像、所述生成图像和预设的风格图像输入预先建立的预训练模型，获取总体特征损失，包括：
对所述原始图像、所述生成图像和所述风格图像的不同卷积层的图像信息进行特征提取，获取特征信息；
将所述原始图像的特征信息和所述生成图像的特征信息相比较，计算内容特征损失；并将所述生成图像的特征信息和所述风格图像的特征信息相比较，计算风格特征损失；
根据所述内容特征损失和所述风格特征损失计算所述总体特征损失。
5.根据权利要求4所述的遥感图像风格迁徙模型的创建方法，其特征在于，所述采用预设的权重字典对所述预训练模型中不同卷积层的特征信息设置不同的权重值，包括：按照等倍数单调递增的方式由低到高依次设置每层卷积层的权重值。
6.根据权利要求1所述的遥感图像风格迁徙模型的创建方法，其特征在于，所述方法还包括：
将待进行风格迁徙的遥感图像输入遥感图像风格迁徙模型中；
通过所述遥感图像风格迁徙模型对输入的所述遥感图像进行处理，输出风格迁徙后的遥感图像。
7.一种遥感图像风格迁徙装置，包括第一处理器和第一计算机可读存储介质，所述第一计算机可读存储介质中存储有第一指令，其特征在于，当所述第一指令被所述第一处理器执行时，实现如权利要求1-6任意一项所述的遥感图像风格迁徙模型的创建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210002463.6A CN114022352B (zh) | 2022-01-05 | 2022-01-05 | 遥感图像风格迁徙模型的创建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210002463.6A CN114022352B (zh) | 2022-01-05 | 2022-01-05 | 遥感图像风格迁徙模型的创建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022352A CN114022352A (zh) | 2022-02-08 |
| CN114022352B true CN114022352B (zh) | 2022-04-08 |
Family
ID=80069273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210002463.6A Active CN114022352B (zh) | 2022-01-05 | 2022-01-05 | 遥感图像风格迁徙模型的创建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022352B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| CN113436060A (zh) * | 2021-06-29 | 2021-09-24 | 东莞理工学院 | 一种异源遥感图像风格迁移方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
| CA3181057A1 (en) * | 2020-06-05 | 2021-12-09 | Unity IPR ApS | Methods and systems for optimal transport of non-linear transformations |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
-
2022
- 2022-01-05 CN CN202210002463.6A patent/CN114022352B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102360490A (zh) * | 2011-09-30 | 2012-02-22 | 北京航空航天大学 | 基于颜色转换和编辑传播的图像季节特征增强方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| CN113436060A (zh) * | 2021-06-29 | 2021-09-24 | 东莞理工学院 | 一种异源遥感图像风格迁移方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| SEMI2I: Semantically Consistent Image-to-Image Translation for Domain Adaptation of Remote Sensing Data;Onur Tasar等;《 IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium》;20210217;第1837-1840页 * |
| 基于深度学习的图像风格迁移算法研究与实现;陈小娥;《长春工程学院学报(自然科学版)》;20200615(第02期);第93-98页 * |
| 深度神经网络条件随机场高分辨率遥感图像建筑物分割;王宇等;《遥感学报》;20191125(第06期);第188-202页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022352A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN111311518B (zh) | 基于多尺度混合注意力残差网络的图像去噪方法及装置 | |
| CN109670558B (zh) | 使用深度学习的数字图像完成 | |
| US10147459B2 (en) | Artistic style transfer for videos | |
| CN108876745B (zh) | 图像处理方法及装置 | |
| US8310485B1 (en) | Creating animation effects | |
| US20180082407A1 (en) | Style transfer-based image content correction | |
| CN109544662B (zh) | 一种基于SRUnet的动漫风格线稿上色方法及系统 | |
| CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| CN109816100B (zh) | 一种基于双向融合网络的显著性物体检测方法及装置 | |
| JP2022514566A (ja) | 画像復元方法及びその装置、電子機器並びに記憶媒体 | |
| CN111316316A (zh) | 用于图像复原的神经网络及其训练与使用方法 | |
| CN107240085A (zh) | 一种基于卷积神经网络模型的图像融合方法及系统 | |
| CN109447897B (zh) | 一种真实场景图像合成方法及系统 | |
| CN113793286B (zh) | 一种基于多阶注意力神经网络的媒体图像水印移除方法 | |
| CN110852980A (zh) | 交互式图像填充方法及系统、服务器、设备及介质 | |
| CN115063297A (zh) | 基于参数重构的图像超分辨率重建方法及系统 | |
| US20230146181A1 (en) | Integrated machine learning algorithms for image filters | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN114930824A (zh) | 深度调色板预测 | |
| CN113450282B (zh) | 美化图像的方法和系统 | |
| CN114022352B (zh) | 遥感图像风格迁徙模型的创建方法和装置 | |
| CN113850721A (zh) | 单幅图像超分辨率重建方法、装置、设备及可读存储介质 | |
| CN117541459A (zh) | 图像生成模型的训练方法及装置 | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610094 No. 16, floor 1, building 7, No. 333, middle section of Shuangnan Avenue, Dongsheng Street, Shuangliu District, Chengdu, Sichuan Patentee after: Chengdu Guoxing Aerospace Technology Co.,Ltd. Address before: 610094 No. 16, floor 1, building 7, No. 333, middle section of Shuangnan Avenue, Dongsheng Street, Shuangliu District, Chengdu, Sichuan Patentee before: CHENGDU GUOXING AEROSPACE TECHNOLOGY Co.,Ltd. |