CN115936972A - 图像生成方法、遥感图像风格迁移方法以及装置 - Google Patents
图像生成方法、遥感图像风格迁移方法以及装置 Download PDFInfo
- Publication number
- CN115936972A CN115936972A CN202211183663.2A CN202211183663A CN115936972A CN 115936972 A CN115936972 A CN 115936972A CN 202211183663 A CN202211183663 A CN 202211183663A CN 115936972 A CN115936972 A CN 115936972A
- Authority
- CN
- China
- Prior art keywords
- style
- target
- content
- image
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000005012 migration Effects 0.000 title claims abstract description 35
- 238000013508 migration Methods 0.000 title claims abstract description 35
- 238000001228 spectrum Methods 0.000 claims abstract description 338
- 238000006243 chemical reaction Methods 0.000 claims abstract description 64
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 230000010354 integration Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 28
- 238000010183 spectrum analysis Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 240000003173 Drymaria cordata Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本说明书实施例提供图像生成方法、遥感图像风格迁移方法以及装置，其中所述图像生成方法包括：获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠的风格特征和内容特征进行有效解耦，获得完整、真实的内容频谱和风格频谱，使得生成的目标图像更加真实。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种图像生成方法。本说明书一个或者多个实施例同时涉及一种遥感图像风格迁移方法，一种图像生成装置，一种遥感图像风格迁移装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。
背景技术
随着计算机技术发展，图像处理的手段也越来越丰富。以图像风格迁移为例，图像风格迁移的目的是将一张风格图像的视觉元素迁移到另一张图像，从而生成风格化图像。使用图像风格迁移技术，人们可以将图像转换为一张带有特定风格的图像。
目前，可以使用大量的输入图像和输出图像对神经网络模型进行训练，使得训练完成的神经网络模型能够完成图像风格迁移。但是，由于图像中的内容和风格是天然纠缠在一起的，应用上述方案，无法将图像中的内容和风格剥离开来，保留图像内容不变，导致迁移后的图像失真严重。因此，亟需一种真实的图像生成方案。
发明内容
有鉴于此，本说明书实施例提供了一种图像生成方法。本说明书一个或者多个实施例同时涉及一种遥感图像风格迁移方法，一种图像生成装置，一种遥感图像风格迁移装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种图像生成方法，包括：
获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；
对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；
根据目标图像特征，生成目标图像。
根据本说明书实施例的第二方面，提供了一种遥感图像风格迁移方法，包括：
获取源图像和具有目标风格的目标图像；
提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征；
分别对遥感内容特征和遥感风格特征进行频域转换，确定目标遥感内容频域特征和目标遥感风格频域特征；
基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱；
对目标遥感内容频谱和目标遥感风格频谱进行整合变换，得到目标遥感图像特征；
根据目标遥感图像特征，生成风格迁移后的遥感图像。
根据本说明书实施例的第三方面，提供了一种图像生成装置，包括：
第一获取模块，被配置为获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
第一转换模块，被配置为分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
第一提取模块，被配置为基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；
第一整合模块，被配置为对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；
第一生成模块，被配置为根据目标图像特征，生成目标图像。
根据本说明书实施例的第四方面，提供了一种遥感图像生成装置，包括：
第二获取模块，被配置为获取源图像和具有目标风格的目标图像；
第二提取模块，被配置为提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征；
第二转换模块，被配置为分别对遥感内容特征和遥感风格特征进行频域转换，确定目标遥感内容频域特征和目标遥感风格频域特征；
第三提取模块，被配置为基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱；
第二整合模块，被配置为对目标遥感内容频谱和目标遥感风格频谱进行整合变换，得到目标遥感图像特征；
第二生成模块，被配置为根据目标遥感图像特征，生成风格迁移后的遥感图像。
根据本说明书实施例的第五方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面所提供的方法的步骤。
根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面或者第二方面所提供的方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述第一方面或者第二方面所提供的方法的步骤。
本说明书一个实施例提供的图像生成方法，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠在一起的风格特征和内容特征进行有效解耦，使得提取到的内容频谱和风格频谱更加完整、真实，进一步提高了生成的目标图像的真实性。
附图说明
图1是本说明书一个实施例提供的一种图像生成系统的框架图；
图2是本说明书一个实施例提供的另一种图像生成系统的框架图；
图3是本说明书一个实施例提供的一种图像生成方法的流程图；
图4是本说明书一个实施例提供的一种图像生成方法中的频率混合模型的训练流程图；
图5是本说明书一个实施例提供的一种遥感图像风格迁移方法的流程图；
图6是本说明书一个实施例提供的一种模型训练效果的折线统计图；
图7是本说明书一个实施例提供的另一种图像生成方法的流程图；
图8是本说明书一个实施例提供的一种图像生成方法的处理流程图；
图9是本说明书一个实施例提供的一种图像生成装置的结构示意图；
图10是本说明书一个实施例提供的一种遥感图像生成装置的结构示意图；
图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
风格迁移：例如图A是一幅油画，内容可以是想象中的任意抽象或者具象，图B是一张真实的影像照片，内容是真实的山水场景，那么将图B转成为如A一样抽象的或者具象的山水油画，这个过程就是风格迁移的过程。
频域：空域信号可以通过傅里叶变换，转为对应的频谱。
解耦：即将两种本来纠缠在一起的分量，有效的剥离开。
在本说明书中，提供了一种图像生成方法，本说明书一个或者多个实施例同时涉及一种遥感图像风格迁移方法，一种图像生成装置，一种遥感图像风格迁移装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
随着计算机技术发展，图像处理的手段也越来越丰富。以图像风格迁移为例，图像风格迁移的目的是将一张风格图像的视觉元素迁移到另一张图像，从而生成风格化图像。目前，可以使用大量的输入图像和输出图像对神经网络模型进行训练，使得训练完成的神经网络模型能够完成图像风格迁移。但是，由于图像中的内容和风格是天然纠缠在一起的，应用上述方案，无法将图像中的内容和风格剥离开来，保留图像内容不变，导致迁移后的图像失真严重。因此，亟需一种真实的图像生成方案。
为了生成真实、准确的图像，本说明书实施例提供了一种图像生成方案，从频域的角度，提出图像中，内容和风格的频谱成分是不同的，因此，可以从频域的角度，对图像中的内容和风格进行解耦，从而完成真实、准确的风格迁移任务。
具体地，本说明书实施例提供了一种图像生成方案，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠在一起的风格特征和内容特征进行有效解耦，使得提取到的内容频谱和风格频谱更加完整、真实，进一步提高了生成的目标图像的真实性。
参见图1，图1示出了本说明书一个实施例提供的一种图像生成系统的框架图，其中，图像生成系统包括服务端和客户端；
客户端：向服务端发送初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
服务端：分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像；将目标图像发送至客户端；
客户端：接收并展示目标图像。
实际应用中，客户端可以直接向服务端发送初始内容图像和初始风格图像，由服务端获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征。
应用本说明书实施例的方案，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠在一起的风格特征和内容特征进行有效解耦，使得提取到的内容频谱和风格频谱更加完整、真实，进一步提高了生成的目标图像的真实性。
参见图2，图2示出了本说明书一个实施例提供的另一种图像生成系统的框架图，该系统可以包括服务端100以及多个客户端200。多个客户端200之间通过服务端100可以建立通信连接，在图像生成场景中，服务端100即用来在多个客户端200之间提供图像生成服务，多个客户端200可以分别作为发送端或接收端，通过服务端100实现实时通信。
用户通过客户端200可与服务端100进行交互以接收其它客户端200发送的数据，或将数据发送至其它客户端200等。在图像生成场景中，可以是用户通过客户端200向服务端100发布数据流，服务端100根据该数据流生成目标图像，并将该目标图像推送至其他建立通信的其他客户端中。
其中，客户端200与服务端100之间通过网络建立连接。网络为客户端与服务端之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。客户端200所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端100。
客户端200可以为浏览器、APP(Application，应用程序)、或网页应用如H5(HyperText Markup Language5，超文本标记语言第5版)应用、或轻应用(也被称为小程序，一种轻量级应用程序)或云应用等，客户端200可以基于服务端提供的相应服务的软件开发工具包(SDK，Software Development Kit)，如基于实时通信(RTC，Real TimeCommunication)SDK开发获得等。客户端200可以部署在电子设备中，需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端100可以包括提供各种服务的服务器，例如为多个客户端提供通信服务的服务器，又如为客户端上使用的模型提供支持的用于后台训练的服务器，又如对客户端发送的数据进行处理的服务器等。
需要说明的是，服务端100可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是，本说明书实施例中提供的图像生成方法一般由服务端执行，但是，在本说明书的其它实施例中，客户端也可以与服务端具有相似的功能，从而执行本说明书实施例所提供的图像生成方法。在其它实施例中，本说明书实施例所提供的图像生成方法还可以是由客户端与服务端共同执行。
参见图3，图3示出了本说明书一个实施例提供的一种图像生成方法的流程图，具体包括以下步骤：
步骤302：获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征。
本说明书一个或多个实施例中，要实现图像风格的迁移，需要获取提供内容的初始内容图像和提供风格的初始风格图像，进一步地，为了便于对初始内容图像和初始风格图像进行处理，可以获取初始内容图像的至少一个内容特征，获取初始风格图像的至少一个风格特征。
具体地，初始内容图像是提供目标图像的内容的图像，内容特征指的是初始内容图像的特征，由于提供内容的图像中也包括风格，因此，内容特征中同时包括内容分量和风格分量。同理，初始风格图像是提供目标图像的风格的图像，风格特征指的是初始风格图像的特征，由于提供风格的图像中也包括内容，因此，风格特征中同时包括内容分量和风格分量。
实际应用中，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征的方式有多种，可以是直接从图像特征数据库中获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；还可以获取初始内容图像和初始风格图像，实时生成初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征。
本说明书一种可选的实施例中，上述获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征的步骤，可以包括以下步骤：
获取初始内容图像和初始风格图像；
对初始内容图像进行特征提取，获得初始内容图像的至少一个内容特征；
对初始风格图像进行特征提取，获得初始风格图像的至少一个风格特征。
具体地，获取初始内容图像和初始风格图像的方式，可以是人工输入初始内容图像和初始风格图像，还可以是从数据获取设备或数据库中读取初始内容图像和初始风格图像。
进一步地，在获取初始内容图像和初始风格图像之后，可以分别对初始内容图像和初始风格图像进行特征提取，获得初始内容图像的至少一个内容特征，和初始风格图像的至少一个风格特征。
需要说明的是，特征提取的方式可以是利用图像特征提取算法，如方向梯度直方图(HOG，Histogram Of Oriented Gradients)，局部二值模式(LBP，Local BinaryPattern)，(，LBP特征，哈尔特征(Haar，Haar-like features)等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。还可以利用预设网络完成特征提取，预设网络包括但不限于可视化物体识别网络(VGG，Visual Geometry Group Network)、深度学习卷积神经网络(AlexNet)、残差神经网络(Resnet)、密集卷积网络(Densenet)，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
应用本说明书实施例的方案，获取初始内容图像和初始风格图像，对初始内容图像进行特征提取，获得初始内容图像的至少一个内容特征，对初始风格图像进行特征提取，获得初始风格图像的至少一个风格特征，使得获得的内容特征和风格特征更加准确。
步骤304：分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征。
本说明书一个或多个实施例中，在获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征之后，进一步地，为了能分别将内容特征和风格特征各自包含的内容和风格剥离开来，可以先将内容特征和风格特征转换到频域，获得目标内容频域特征和目标风格频域特征。
实际应用中，可以直接利用频域转换算法对内容特征和风格特征进行频域转换。为了提高频域转换的效率，还可以利用预先训练的频率混合模型实现对内容特征和风格特征的频域转换，确定目标内容频域特征和目标风格频域特征，频率混合模型中包括频域转换层、频谱分析层以及整合变换层。频域转换层，用于对内容特征和风格特征进行频域转换，也即，上述分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征的步骤，可以包括以下步骤：
分别将内容特征和风格特征输入频率混合模型的频域转换层，经频域转换层，对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征。
需要说明的是，频率转换算法也可以理解为二维傅里叶变换(2-D FFT，2-D FastFourier Transform)，上述分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征的步骤，可以包括以下步骤：
对内容特征进行傅里叶变换，确定内容特征对应的目标内容频域特征；
对风格特征进行傅里叶变换，确定风格特征对应的目标风格频域特征。
具体地，由于二维傅里叶变换通常通过在水平方向和垂直方向上执行一维傅里叶变换(1-D FFT，1-D Fast Fourier Transform)，因此一维傅里叶变换可以扩展到二维信号，如灰色图像，因此，可以利用下述公式(1)分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征：
其中，x[m,n]为二维信号，m∈[0，M-1]，n∈[0，N-1]，M和N为实数，X[u,v]代表[m,n]的二维傅里叶变换，u、v用于确定正余弦频率，X[u,v]所在的坐标系为频域。
应用本说明书实施例的方案，通过对内容特征和风格特征进行傅里叶变换，将内容特征和风格特征转换到频域，便于对内容和风格进行有效解耦。
步骤306：基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱。
本说明书一个或多个实施例中，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征，分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征之后，进一步地，可以基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱。
具体地，以内容频域特征为例，在内容频域特征，中心部分代表高频分量，四周代表低频分量，可以根据内容频谱分布规律确定内容频谱特征中的内容频谱。
实际应用中，从目标内容频域特征和目标风格频域特征中，提取目标内容频谱和目标风格频谱的方式有多种，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
本说明书一种可选的实现方式中，内容包括图像中的形状、轮廓、物体等，风格包括颜色、纹理等，由于内容分量主要集中在高频部分，风格分量主要集中在低频部分。以内容频谱分布规律为例，内容频谱分布在内容频域特征中的中心部分，那么就可以给中心部分的高频分量设置较高的权重，给四周的低频分量设置较低的权重，从而从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱。
本说明书另一种可能的实现方式中，由于内容频域特征中的高频分量和低频分量并不是以中心和四周完全分离开的，因此，基于中心部分和四周部分设置权重，获得的目标内容频谱和目标风格频谱准确性不高。
为了提高获得的目标内容频谱和目标风格频谱的准确性，可以利用预设频域卷积核，提取目标内容频谱和目标风格频谱，也即，上述基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱的步骤，可以包括以下步骤：
获取预设频域卷积核，其中，预设频域卷积核包括内容频域卷积核和风格频域卷积核，内容频域卷积核基于内容频域特征中的内容频谱分布规律学习得到，风格频域卷积核基于风格频域特征中的风格频谱分布规律学习得到；
利用内容频域卷积核，从目标内容频域特征中提取目标内容频谱；
利用风格频域卷积核，从目标风格频域特征中提取目标风格频谱。
具体地，为了更准确的提取目标内容频谱和目标风格频谱，可以分别设置用于提取目标内容频谱的内容频域卷积核，用于提取目标风格频谱的风格频域卷积核。频域卷积核中包括了大量针对频域特征设置的权重，这些权重是基于内容频域特征中的内容频谱分布规律以及风格频域特征中的风格频谱分布规律学习得到的，因此，可以对频域特征进行更精细的处理，获得准确性更高的目标内容频谱和目标风格频谱。
实际应用中，在获取内容频域卷积核和风格频域卷积核之后，可以将内容频域卷积核和目标内容频域特征相乘，获得目标内容频谱，将风格频域卷积核和目标风格频域特征相乘，获得目标风格频谱。
应用本说明书实施例的方案，利用内容频域卷积核，从目标内容频域特征中提取目标内容频谱，利用风格频域卷积核，从目标风格频域特征中提取目标风格频谱，提高了目标内容频谱和目标风格频谱的准确性，进一步提高了生成的目标图像的准确性。
需要说明的是，预设频域卷积核可以设置在频率混合模型中的频谱分析层，也即，上述基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱的步骤，可以包括以下步骤：
分别将目标内容频域特征和目标风格频域特征输入频率混合模型的频谱分析层，经频谱分析层，基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，提取目标内容频谱和目标风格频谱。
步骤308：对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征。
本说明书一个或多个实施例中，在获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征，分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征，基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱之后，进一步地，可以对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征。
本说明书一种可选的实现方式中，获得目标内容频谱和目标风格频谱之后，可以整合目标内容频谱和目标风格频谱，对整合后的目标图像频谱进行变换，获得目标图像特征，也即，上述对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征的步骤，可以包括以下步骤：
整合目标内容频谱和目标风格频谱，获得目标图像频谱；
对目标图像频谱进行特征转换，得到目标图像特征。
实际应用中，整合目标内容频谱和目标风格频谱的方式，可以是直接将目标内容频谱和目标风格频谱相加，进一步地，还可以根据用户的需求，分别为目标内容频谱设置对应的内容频谱权重，为目标风格频谱设置对应的风格频谱权重，利用内容频谱权重和风格频谱权重，对目标内容频谱和目标风格频谱进行加权，获得目标图像频谱。
示例性地，若用户希望生成的目标图像中，视觉上风格比内容弱一点，则对应的内容频谱权重大于风格频谱权重；若用户希望生成的目标图像中，视觉上风格比内容强一点，则对应的内容频谱权重小于风格频谱权重；若用户希望生成的目标图像中，视觉上风格与内容相当，则直接将目标内容频谱和目标风格频谱相加。
需要说明的是，为了提高获得目标图像特征的效率，上述整合变换的过程，也可以在频率混合模型中的整合变换层完成，也即，上述对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征的步骤，可以包括以下步骤：
将目标内容频谱和目标风格频谱输入频率混合模型的整合变换层，经整合变换层，对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征。
应用本说明书实施例的方案，根据用户需求，整合目标内容频谱和目标风格频谱，获得目标图像频谱，使得最终得到的目标图像更符合用户需求，提高了用户体验度。
进一步地，获得目标图像频谱之后，可以利用反傅里叶变换算法，确定目标图像特征，也即，上述对目标图像频谱进行特征转换，得到目标图像特征的步骤，可以包括以下步骤：
对目标图像频谱进行反傅里叶变换，确定目标图像频谱对应的目标图像特征。
具体地，可以利用以下公式(2)对目标图像频谱进行反傅里叶变换，确定目标图像频谱对应的目标图像特征：
fcs＝F-1(Fcs) (2)
其中，fcs为目标图像特征，Fcs为目标图像频谱，F-1为二维反傅里叶变换操作。
应用本说明书实施例的方案，通过对目标图像频谱进行反傅里叶变换，确定目标图像频谱对应的目标图像特征，从频域转换到空域，进一步可以生成准确的目标图像。
步骤310：根据目标图像特征，生成目标图像。
本说明书一个或多个实施例中，在获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征，分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征，基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱，对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征之后，进一步地，可以根据目标图像特征，生成目标图像。
实际应用中，可以将目标图像特征输入解码器中，根据目标图像特征还原得到目标图像。
应用本说明书实施例的方案，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠在一起的风格特征和内容特征进行有效解耦，使得提取到的内容频谱和风格频谱更加完整、真实，保持图像的内容不发生扭曲，失真，进一步提高了生成的目标图像的真实性。
参见图4，图4示出了本说明书一个实施例提供的一种图像生成方法中的频率混合模型的训练流程图，具体包括以下步骤：
步骤402：获取样本集，其中，样本集包括多个样本图像对，样本图像对包括样本内容图像和样本风格图像。
本说明书实施例中，可以获取多个样本图像对，每个样本图像对中包括样本内容图像和样本风格图像。样本内容图像为提供内容的图像，样本风格图像为提供风格的图像，将样本风格图像中的风格迁移至样本内容图像中，即可获得风格迁移后的图像。因此，可以利用多个样本图像对，对初始频率混合模型进行训练，获得完成训练的频率混合模型。
具体地，获取样本集的方式可以是人工输入大量样本图像对组成样本集，也可以是从其他数据获取设备或者数据库中读取大量样本图像对组成样本集，获取样本集的方式具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
步骤404：针对样本集中的每个样本图像对，分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征。
需要说明的是，特征提取的方式有多种，可以利用图像特征提取算法完成特征提取，还可以利用预设网络完成特征提取，预设网络包括但不限于可视化物体识别网络(VGG，Visual Geometry Group Network)、深度学习卷积神经网络(AlexNet)、残差神经网络(Resnet)、密集卷积网络(Densenet)，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
步骤406：将样本内容特征和样本风格特征输入初始频率混合模型，确定样本风格化特征。
步骤408：根据样本风格化特征，生成预测图像。
本说明书实施例中，初始频率混合模型中包括初始频域转换层、初始频谱分析层以及初始整合变换层。初始频域转换层用于将样本内容特征和样本风格特征进行频域转换，确定样本内容频域特征和样本风格频域特征；初始频谱分析层用于基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从样本内容频域特征和样本风格频域特征中提取样本内容频谱和样本风格频谱；初始整合变换层，用于对样本内容频谱和样本风格频谱进行整合变换，得到样本风格化特征。
需要说明的是，初始频率混合模型中还可以包括初始解码器，该初始解码器可以根据样本风格化特征，生成预测图像。当然，初始解码器还可以独立于初始频率混合模型，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
步骤410：根据预测图像和样本图像对中的图像，计算损失值。
本说明书实施例中，损失值包括内容损失值、风格损失值、对比学习损失值以及对抗损失值中的至少一种；上述根据预测图像和样本图像对中的图像，计算损失值的步骤，可以至少包括以下一个步骤：
根据预测图像的预测特征和样本内容图像的样本内容特征，计算内容损失值；
根据预测图像的预测特征和样本风格图像的样本风格特征，计算风格损失值；
将预测图像和样本风格图像输入预设鉴别器中，计算对抗损失值；
根据正样本对的正样本特征和负样本对的负样本特征，计算正样本特征在总样本特征中的样本概率，根据样本概率，计算对比学习损失值，其中，正样本对包括风格相同且内容不同的预测图像，负样本对包括风格不同的预测图像。
本说明书实施例中，为了保证模型预测生成的图像与样本内容图像拥有相同的内容，在得到预测图像之后，分别提取预测图像和样本内容图像的预测特征和样本内容特征。获得预测特征和样本内容特征之后，在预测特征和样本内容特征之间计算均方误差，即可获得内容损失值。
为了保证模型预测生成的图像与样本风格图像拥有相同的风格，两张图像的数据分布一致，在得到预测图像之后，分别提取预测图像和样本风格图像的预测特征和样本风格特征。获得预测特征和样本风格特征之后，在预测特征和样本内容特征之间计算均值和方差，进一步在均值和方差之间计算均方误差，即可获得风格损失值。
为了使训练获得的模型能够根据不同的样本图像对生成不同风格的图像，因此，可以计算对比学习损失值，以了解预测图像之间的关系。对比学习损失值应用于风格分量，将风格相同且内容不同的预测图像作为正样本，风格不同的预测图像作为负样本，利用以下公式(3)拉近相同风格样本间的距离，而推远不同风格样本间的距离，使得不同风格间的样本拥有一定的区分度：
其中，P是投影网络，Ics和Ics +构成正样本对，Ics和Ics -构成负样本对，利用投影网络P可以提取正样本对和负样本对中的样本特征。τ是控制推拉力的温度参数，优选地，τ＝0.2。
为了使训练获得的模型生成的图像真实性更高，可以将预测图像和样本风格图像输入预设鉴别器中，计算对抗损失值，根据对抗损失值调整模型参数。
步骤412：根据损失值，调整初始频率混合模型的参数，并返回执行分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征的步骤。
步骤414：在达到训练停止条件的情况下，获得完成训练的频率混合模型。
本说明书一种可能的实现方式中，训练停止条件包括损失值小于或等于预设阈值。在得到损失值之后，将损失值与预设阈值进行比较。
具体地，若损失值大于预设阈值，说明初始频率混合模型的预测能力较差，此时可以调整初始频率混合模型的模型参数，并返回执行分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征的步骤，继续对初始频率混合模型进行训练，直至损失值小于或等于预设阈值，说明初始频率混合模型的预测能力足够，达到训练停止条件，获得完成训练的频率混合模型。
本说明书另一种可能的实现方式中，除了比较损失值和预设阈值的大小关系之外，还可以结合迭代次数，确定当前的初始频率混合模型是否训练完成。
具体地，若损失值大于预设阈值，则调整初始频率混合模型的模型参数，并返回执行分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征的步骤，继续对初始频率混合模型进行训练，直至达到预设迭代次数的情况下，停止迭代，得到完成训练的频率混合模型，其中，预设阈值和预设迭代次数具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
应用说明书实施例的方案，通过根据损失值，调整初始频率混合模型的参数，不断对初始频率混合模型的模型参数进行调整，能使最终得到的频率混合模型更加精准。
需要说明的是，本说明书实施例提供的图像生成方法可以应用到图像生成领域，如图像增强、图像变化、图像风格迁移等场景，具体的图像数据包括但不限于用户图像、遥感图像、风景图像等等，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
参见图5，图5示出了本说明书一个实施例提供的一种遥感图像风格迁移方法的流程图，具体包括以下步骤：
步骤502：获取源图像和具有目标风格的目标图像。
步骤504：提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征。
步骤506：分别对遥感内容特征和遥感风格特征进行频域转换，确定目标遥感内容频域特征和目标遥感风格频域特征。
步骤508：基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱。
步骤510：对目标遥感内容频谱和目标遥感风格频谱进行整合变换，得到目标遥感图像特征。
步骤512：根据目标遥感图像特征，生成风格迁移后的遥感图像。
需要说明的是，步骤504-步骤512与上述步骤302-步骤310的实现方式相同，本实施例便不再进行赘述。
示例性地，源图像为夏季的遥感图像，目标风格为冬季场景，具有目标风格的目标图像为冬季的目标遥感图像。利用图5所示的遥感图像风格迁移方法，即可获得冬季场景的源图像。
应用本说明书实施例的方案，由于高分辨率遥感图像的获取需要较高代价，通过生成风格迁移后的遥感图像，丰富了遥感图像的多样性，实现了数据增强，控制图像获取成本。
本说明书一种可选的实施例中，由于目标图像为遥感图像，而遥感图像携带包括地理信息和/或时间信息的时空信息，也就是说，目标图像携带时空信息，时空信息包括地理信息和/或时间信息，可以利用时空信息对目标图像进行特征提取，进一步地，可以利用时空信息提取目标遥感风格频谱。也即，上述提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征的步骤，可以包括以下步骤：
根据时空信息，提取目标图像的至少一个遥感风格特征；
基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱的步骤，可以包括以下步骤：
基于风格频谱分布规律和时空信息，从目标遥感风格频域特征中提取目标遥感风格频谱。
具体地，地理信息是指遥感图像的拍摄位置信息，地理信息可以以南北方进行划分，还可以是遥感图像对应的经纬度信息。时间信息是指遥感图像拍摄时的时间，时间信息可以是遥感图像对应的季节信息，还可以是具体的时间，本说明书实施例中，地理信息和时间信息具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
需要说明的是，由于不同时空信息对应的遥感图像的风格是不同的，例如在秋季，南方的树木依旧是绿色的，而北方的树木已经变黄。又如，在北方，冬天的遥感图像是白雪皑皑的，春天的遥感图像是绿意盎然的。因此，可以基于地理信息和/或时间信息，有针对性地提取遥感图像的遥感风格特征。
实际应用中，根据时空信息，提取目标图像的至少一个遥感风格特征的方式有多种，可以利用图像特征提取算法实现特征提取；还可以针对不同的时空信息训练不同的机器学习模型，根据目标图像的时空信息匹配对应的机器学习模型，利用匹配获得的机器学习模型，实现特征提取。
进一步地，根据目标图像携带的时空信息，提取目标图像的至少一个遥感风格特征，对遥感风格特征进行频域转换，确定目标遥感风格频域特征之后，基于遥感风格频域特征中的风格频谱分布规律，从目标遥感风格频域特征中提取目标遥感风格频谱时，可以加入时空信息，从而提取目标遥感风格频谱。
实际应用中，可以基于遥感风格频域特征中的风格频谱分布规律和时空信息学习得到多个遥感风格频域卷积核，利用目标图像的时空信息匹配对应的目标遥感风格频域卷积核，利用目标遥感风格频域卷积核，从目标遥感风格频域特征中提取目标遥感风格频谱。
应用本说明书实施例的方案，利用遥感图像携带的地理信息和/或时间信息，有针对性地对遥感图像进行风格迁移，提高了遥感图像风格迁移的效率以及准确性。
本说明书另一种可选的实施例中，遥感图像包括多种，如遥感建筑图像、遥感风景图像等等，以目标图像为遥感建筑图像为例，由于遥感建筑图像携带了建筑物形态信息，因此，可以利用建筑物形态信息对目标图像进行特征提取，进一步地，可以利用建筑物形态信息提取目标遥感风格频谱。也即，上述提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征的步骤，可以包括以下步骤：
根据建筑物形态信息，提取遥感建筑图像的至少一个遥感风格特征；
基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱的步骤，可以包括以下步骤：
基于风格频谱分布规律和建筑物形态信息，从目标遥感风格频域特征中提取目标遥感风格频谱。
具体地，建筑物形态信息是指建筑物的外在表现信息，包括但不限于建筑物的外形、颜色等。如大窗、阁楼、坡屋顶，具体根据实际情况进行选择，本说明书实施例对此不作任何限定。
需要说明的是，由于不同建筑物形态信息对应的遥感建筑图像的风格是不同的，因此，可以根据建筑物形态信息，有针对性地提取遥感建筑图像的遥感风格特征。例如尖塔高耸、尖形拱门、大窗户及绘有圣经故事的花窗玻璃的建筑物对应哥特式建筑风格；组群分布，主次分明，富有层次感的建筑物对应中式建筑风格。
实际应用中，根据建筑物形态信息，提取遥感建筑图像的至少一个遥感风格特征的方式有多种，可以利用图像特征提取算法实现特征提取；还可以针对不同的建筑物形态信息训练不同的机器学习模型，根据遥感建筑图像的建筑物形态信息匹配对应的机器学习模型，利用匹配获得的机器学习模型，实现特征提取。
进一步地，根据遥感建筑图像携带的建筑物形态信息，提取遥感建筑图像的至少一个遥感风格特征，对遥感风格特征进行频域转换，确定目标遥感风格频域特征之后，基于遥感风格频域特征中的风格频谱分布规律，从目标遥感风格频域特征中提取目标遥感风格频谱时，可以加入建筑物形态信息，从而提取目标遥感风格频谱。
实际应用中，可以基于遥感风格频域特征中的风格频谱分布规律、建筑物形态信息学习得到多个遥感风格频域卷积核，利用遥感建筑图像的建筑物形态信息匹配对应的目标遥感风格频域卷积核，利用目标遥感风格频域卷积核，从目标遥感风格频域特征中提取目标遥感风格频谱。
应用本说明书实施例的方案，利用遥感建筑图像携带的建筑物形态信息，有针对性地对遥感建筑图像进行风格迁移，提高了遥感建筑图像风格迁移的效率以及准确性。
参见图6，图6示出了本说明书一个实施例提供的一种模型训练效果的折线统计图。实际应用中，将图5所示的方法作为数据增强的手段嵌入到模型的训练过程中，可以解决遥感图像集中图像的季节分布不均衡，某个季节的数据缺失的问题，生成更多新的图像，从而丰富训练集的类别，提高模型指标。参见下表1，表1为的模型指标对比表，包括传统方案与本方案的模型指标：
表1模型指标对比表
从图6和表1均能看出，本说明书实施例提供的方法，可以有效避免后期出现的过拟合情况，整体模型训练过程是比较稳定的，量化指标也有较大的提升。
参见图7，图7示出了本说明书一个实施例提供的另一种图像生成方法的流程图，具体包括：
将初始内容图像(Ic)和初始风格图像(Is)输入编码器中，从编码器中的四个特征提取层1(Relu2_1)、特征提取层2(Relu3_1)、特征提取层3(Relu4_1)以及特征提取层4(Relu5_1)中进行下采样，提取初始内容图像和初始风格图像对应的特征。其中，特征提取层1提取获得内容特征1(fc1)和风格特征1(fs1)、特征提取层2提取获得内容特征2(fc2)和风格特征2(fs2)、特征提取层3提取获得内容特征3(fc3)和风格特征3(fs3)、特征提取层4提取获得内容特征4(fc4)和风格特征4(fs4)、编码器为预训练好的可视化物体识别网络(VGG，Visual Geometry Group Network)，不参与模型训练。
在获得内容特征1(fc1)和风格特征1(fs1)之后，将内容特征1(fc1)和风格特征1(fs1)共同输入频率混合模型(FM,Fre Mixer)，频率混合模型将内容特征1(fc1)和风格特征1(fs1)进行融合，得到图像特征1(fcs1)。对其余内容特征和风格特征的处理与内容特征1和风格特征1的处理方式相同，本实施例便不再进行赘述。
在获得图像特征1(fcs1)、图像特征2(fcs2)、图像特征3(fcs3)以及图像特征4(fcs4)之后，将这四个图像特征分别进入解码器对应的解码块中进行上采样处理，通过不断卷积操作得到最终的风格化后的目标图像(Ics)。
进一步地，在获得目标图像(Ics)之后，可以将初始内容图像(Ic)、初始风格图像(Is)和目标图像(Ics)输入损失网络中，计算损失函数，利用损失函数对频率混合模型和编码器进行训练。
需要说明的是，由于图像的分辨率很大，并且是多种多样的，因此可以对图像进行预处理，如缩放，使模型可以看到更大的图像范围。进一步地，还可以对图像进行裁剪(Crop)，将图像裁剪成统一的大小。裁剪也是一种数据增强。比如图像A第一次裁剪的是左上角，第二次裁剪的是右下角，这样对模型而言，相当于看到了两张图片。以初始内容图像(Ic)为例，先将初始内容图像的短边缩放到512，再随机裁剪到256*256尺寸。
具体地，频率混合模型处理过程中，以第i个特征提取层提取到的风格特征(fsi)、内容特征(fci)为例：对内容特征(fci)进行二维傅里叶变换，确定内容特征(fci)对应的内容频域特征(Fci)；对风格特征(fsi)进行二维傅里叶变换，确定风格特征(fsi)对应的风格频域特征(Fsi)。利用内容频域卷积核(Kc)，从内容频域特征(Fci)中提取内容频谱(Fci-dis)；利用风格频域卷积核(Ks)，从风格频域特征(Fsi)中提取风格频谱(Fsi-dis)。整合内容频谱(Fci-dis)和风格频谱(Fsi-dis)，获得图像频谱(fcsi)。
应用本说明书实施例的方案，从频域的角度出发，认为内容和风格具有不同的频段，因此认为从频段上进行两者的解耦会更加有效。并且，利用可视化物体识别网络在多尺度上进行频域解耦，提高了风格和内容解耦的效率以及准确性，进一步提高了风格迁移后的目标图像的准确性。
参见图8，图8示出了本说明书一个实施例提供的一种图像生成方法的处理流程图，具体包括：
获取初始内容图像和初始风格图像，对初始内容图像进行特征提取，获得初始内容图像的至少一个内容特征，对初始风格图像进行特征提取，获得初始风格图像的至少一个风格特征。分别对内容特征和风格特征进行二维傅里叶变换，将空域特征转换到频域特征，获得目标风格频域特征和目标内容频域特征。获取可学习的风格频域卷积核和内容频域卷积核，将风格频域卷积核与目标风格频域特征相乘，确定目标风格频谱，将内容频域卷积核与目标内容频域特征相乘，确定目标内容频谱。确定目标风格频谱和目标内容频谱之后，将目标内容频谱和目标风格频谱相加，获得目标图像频谱。进一步地，对目标图像频谱进行二维反傅里叶变换，确定目标图像频谱对应的目标图像特征，根据目标图像特征，即可生成目标图像。
需要说明的是，由于风格频域卷积核和内容频域卷积核是频域卷积核，因此包含振幅和相位两个维度，通过学习，即可从目标风格频域特征和目标内容频域特征中解耦出所需的目标内容频谱和目标风格频谱。
实际应用中，对应于上述内容，频率混合模型的伪代码如下所示：
Algorithm1:Pseudocode of Frequency Mixer Module FM.
#f_c\f_s:the feature map of content\style image,(B,C,H,W).//定义初始内容图像的特征图与初始风格图像的特征图的输入矩阵格式为(B，C，H，W)，B为样本数、C为图像通道数、H为图像高度、W为图像宽度。
F_c＝rfft2(f_c,dim＝(2,3),norm＝'ortho')
F_s＝rfft2(f_s,dim＝(2,3),norm＝'ortho')//对风格特征进行二维傅里叶变换，d im＝(2,3)代表二维傅里叶变换在2,3维度进行操作。
#K_c\K_s:the learnable frequency domain filter for F_c\F_s,(C/H,W//2+1).See section Methodology for detail.//(C/H,W//2+1)为风格频域卷积核和内容频域卷积核的维度。有关详细信息，可参阅方法部分。
F_c_disentangled＝F_c*K_c
F_s_disentangled＝F_s*K_s
#F_cs_re-enstangled:the re-enstangled feature map of stylized image,(B,C,H,W).
F_cs_re-enstangled＝irfft2(F_c_disentangled+F_s_disentangled,dim＝(2,3),norm＝'ortho')
#rfft2/irfft2:2D FFT/IFFT for the feature map.
与上述图像生成方法实施例相对应，本说明书还提供了图像生成装置实施例，图9示出了本说明书一个实施例提供的一种图像生成装置的结构示意图。如图9所示，该装置包括：
第一获取模块902，被配置为获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
第一转换模块904，被配置为分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
第一提取模块906，被配置为基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；
第一整合模块908，被配置为对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；
第一生成模块910，被配置为根据目标图像特征，生成目标图像。
可选地，第一获取模块902，进一步被配置为获取初始内容图像和初始风格图像；对初始内容图像进行特征提取，获得初始内容图像的至少一个内容特征；对初始风格图像进行特征提取，获得初始风格图像的至少一个风格特征。
可选地，第一整合模块908，进一步被配置为整合目标内容频谱和目标风格频谱，获得目标图像频谱；对目标图像频谱进行特征转换，得到目标图像特征。
可选地，第一转换模块904，进一步被配置为分别将内容特征和风格特征输入频率混合模型的频域转换层，经频域转换层，对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
第一提取模块906，进一步被配置为分别将目标内容频域特征和目标风格频域特征输入频率混合模型的频谱分析层，经频谱分析层，基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，提取目标内容频谱和目标风格频谱；
第一整合模块908，进一步被配置为将目标内容频谱和目标风格频谱输入频率混合模型的整合变换层，经整合变换层，对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征。
可选地，第一转换模块904，进一步被配置为对内容特征进行傅里叶变换，确定内容特征对应的目标内容频域特征；对风格特征进行傅里叶变换，确定风格特征对应的目标风格频域特征。
可选地，第一提取模块906，进一步被配置为获取预设频域卷积核，其中，预设频域卷积核包括内容频域卷积核和风格频域卷积核，内容频域卷积核基于内容频域特征中的内容频谱分布规律学习得到，风格频域卷积核基于风格频域特征中的风格频谱分布规律学习得到；用内容频域卷积核，从目标内容频域特征中提取目标内容频谱；利用风格频域卷积核，从目标风格频域特征中提取目标风格频谱。
可选地，该装置还包括：训练模块，被配置为获取样本集，其中，样本集包括多个样本图像对，样本图像对包括样本内容图像和样本风格图像；针对样本集中的每个样本图像对，分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征；将样本内容特征和样本风格特征输入初始频率混合模型，确定样本风格化特征；根据样本风格化特征，生成预测图像；根据预测图像和样本图像对中的图像，计算损失值；根据损失值，调整初始频率混合模型的参数，并返回执行分别对样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征的步骤；在达到训练停止条件的情况下，获得完成训练的频率混合模型。
可选地，损失值包括内容损失值、风格损失值、对比学习损失值以及对抗损失值中的至少一种；训练模块，进一步被配置为根据预测图像的预测特征和样本内容图像的样本内容特征，计算内容损失值；根据预测图像的预测特征和样本风格图像的样本风格特征，计算风格损失值；将预测图像和样本风格图像输入预设鉴别器中，计算对抗损失值；根据正样本对的正样本特征和负样本对的负样本特征，计算正样本特征在总样本特征中的样本概率，根据样本概率，计算对比学习损失值，其中，正样本对包括风格相同且内容不同的预测图像，负样本对包括风格不同的预测图像。
应用本说明书实施例的方案，获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；分别对内容特征和风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从目标内容频域特征和目标风格频域特征中提取目标内容频谱和目标风格频谱；对目标内容频谱和目标风格频谱进行整合变换，得到目标图像特征；根据目标图像特征，生成目标图像。通过利用频域转换，对图像中纠缠在一起的风格特征和内容特征进行有效解耦，使得提取到的内容频谱和风格频谱更加完整、真实，进一步提高了生成的目标图像的真实性。
上述为本实施例的一种图像生成装置的示意性方案。需要说明的是，该图像生成装置的技术方案与上述的图像生成方法的技术方案属于同一构思，图像生成装置的技术方案未详细描述的细节内容，均可以参见上述图像生成方法的技术方案的描述。
与上述遥感图像生成方法实施例相对应，本说明书还提供了遥感图像生成装置实施例，图10示出了本说明书一个实施例提供的一种遥感图像生成装置的结构示意图。如图10所示，该装置包括：
第二获取模块1002，被配置为获取源图像和具有目标风格的目标图像；
第二提取模块1004，被配置为提取源图像的至少一个遥感内容特征和目标图像的至少一个遥感风格特征；
第二转换模块1006，被配置为分别对遥感内容特征和遥感风格特征进行频域转换，确定目标遥感内容频域特征和目标遥感风格频域特征；
第三提取模块1008，被配置为基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从目标遥感内容频域特征和目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱；
第二整合模块1010，被配置为对目标遥感内容频谱和目标遥感风格频谱进行整合变换，得到目标遥感图像特征；
第二生成模块1012，被配置为根据目标遥感图像特征，生成风格迁移后的遥感图像。
可选地，目标图像携带时空信息，时空信息包括地理信息和/或时间信息；第二提取模块1004，进一步被配置为根据时空信息，提取目标图像的至少一个遥感风格特征；
第三提取模块1008，进一步被配置为基于风格频谱分布规律和时空信息，从目标遥感风格频域特征中提取目标遥感风格频谱。
可选地，目标图像包括遥感建筑图像，遥感建筑图像携带建筑物形态信息；第二提取模块1004，进一步被配置为根据建筑物形态信息，提取遥感建筑图像的至少一个遥感风格特征；
第三提取模块1008，进一步被配置为基于风格频谱分布规律和建筑物形态信息，从目标遥感风格频域特征中提取目标遥感风格频谱。
应用本说明书实施例的方案，通过利用频域转换，对遥感图像中纠缠在一起的遥感风格特征和遥感内容特征进行有效解耦，使得提取到的遥感内容频谱和遥感风格频谱更加完整、真实，进一步提高了风格迁移后的遥感图像的真实性，丰富了遥感图像的多样性，实现了数据增强，控制遥感图像获取成本。
上述为本实施例的一种遥感图像生成装置的示意性方案。需要说明的是，该遥感图像生成装置的技术方案与上述的遥感图像生成方法的技术方案属于同一构思，遥感图像生成装置的技术方案未详细描述的细节内容，均可以参见上述遥感图像生成方法的技术方案的描述。
图11示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器420与存储器1110通过总线1130相连接，数据库1150用于保存数据。
计算设备1100还包括接入设备1140，接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Card))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX，World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near Field Communication)接口，等等。
在本说明书的一个实施例中，计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图11所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
其中，处理器1120用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像生成方法或者遥感图像生成方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像生成方法或者遥感图像生成方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或者遥感图像生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像生成方法或者遥感图像生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像生成方法或者遥感图像生成方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或者遥感图像生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像生成方法或者遥感图像生成方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像生成方法或者遥感图像生成方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像生成方法或者遥感图像生成方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种图像生成方法，包括：
获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
分别对所述内容特征和所述风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从所述目标内容频域特征和所述目标风格频域特征中提取目标内容频谱和目标风格频谱；
对所述目标内容频谱和所述目标风格频谱进行整合变换，得到目标图像特征；
根据所述目标图像特征，生成目标图像。
2.根据权利要求1所述的方法，所述获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征的步骤，包括：
获取初始内容图像和初始风格图像；
对所述初始内容图像进行特征提取，获得所述初始内容图像的至少一个内容特征；
对所述初始风格图像进行特征提取，获得所述初始风格图像的至少一个风格特征。
3.根据权利要求1所述的方法，所述对所述目标内容频谱和所述目标风格频谱进行整合变换，得到目标图像特征的步骤，包括：
整合所述目标内容频谱和所述目标风格频谱，获得目标图像频谱；
对所述目标图像频谱进行特征转换，得到目标图像特征。
4.根据权利要求1所述的方法，所述分别对所述内容特征和所述风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征的步骤，包括：
分别将所述内容特征和所述风格特征输入频率混合模型的频域转换层，经所述频域转换层，对所述内容特征和所述风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
所述基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从所述目标内容频域特征和所述目标风格频域特征中提取目标内容频谱和目标风格频谱的步骤，包括：
分别将所述目标内容频域特征和所述目标风格频域特征输入所述频率混合模型的频谱分析层，经所述频谱分析层，基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，提取所述目标内容频谱和所述目标风格频谱；
所述对所述目标内容频谱和所述目标风格频谱进行整合变换，得到目标图像特征的步骤，包括：
将所述目标内容频谱和所述目标风格频谱输入所述频率混合模型的整合变换层，经所述整合变换层，对所述目标内容频谱和所述目标风格频谱进行整合变换，得到目标图像特征。
5.根据权利要求1或4所述的方法，所述分别对所述内容特征和所述风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征的步骤，包括：
对所述内容特征进行傅里叶变换，确定所述内容特征对应的目标内容频域特征；
对所述风格特征进行傅里叶变换，确定所述风格特征对应的目标风格频域特征。
6.根据权利要求1或4所述的方法，所述基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从所述目标内容频域特征和所述目标风格频域特征中提取目标内容频谱和目标风格频谱的步骤，包括：
获取预设频域卷积核，其中，所述预设频域卷积核包括内容频域卷积核和风格频域卷积核，所述内容频域卷积核基于内容频域特征中的内容频谱分布规律学习得到，所述风格频域卷积核基于风格频域特征中的风格频谱分布规律学习得到；
利用所述内容频域卷积核，从所述目标内容频域特征中提取所述目标内容频谱；
利用所述风格频域卷积核，从所述目标风格频域特征中提取所述目标风格频谱。
7.根据权利要求4所述的方法，所述频率混合模型的训练方式包括：
获取样本集，其中，所述样本集包括多个样本图像对，所述样本图像对包括样本内容图像和样本风格图像；
针对所述样本集中的每个样本图像对，分别对所述样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征；
将所述样本内容特征和样本风格特征输入初始频率混合模型，确定样本风格化特征；
根据所述样本风格化特征，生成预测图像；
根据所述预测图像和所述样本图像对中的图像，计算损失值；
根据所述损失值，调整所述初始频率混合模型的参数，并返回执行所述分别对所述样本内容图像和样本风格图像进行特征提取，确定样本内容特征和样本风格特征的步骤；
在达到训练停止条件的情况下，获得完成训练的频率混合模型。
8.根据权利要求7所述的方法，所述损失值包括内容损失值、风格损失值、对比学习损失值以及对抗损失值中的至少一种；
所述根据所述预测图像和所述样本图像对中的图像，计算损失值的步骤，至少包括如下一个步骤：
根据所述预测图像的预测特征和所述样本内容图像的样本内容特征，计算所述内容损失值；
根据所述预测图像的预测特征和所述样本风格图像的样本风格特征，计算所述风格损失值；
将所述预测图像和所述样本风格图像输入预设鉴别器中，计算所述对抗损失值；
根据正样本对的正样本特征和负样本对的负样本特征，计算所述正样本特征在总样本特征中的样本概率，根据所述样本概率，计算所述对比学习损失值，其中，所述正样本对包括风格相同且内容不同的预测图像，所述负样本对包括风格不同的预测图像。
9.一种遥感图像风格迁移方法，包括：
获取源图像和具有目标风格的目标图像；
提取所述源图像的至少一个遥感内容特征和所述目标图像的至少一个遥感风格特征；
分别对所述遥感内容特征和所述遥感风格特征进行频域转换，确定目标遥感内容频域特征和目标遥感风格频域特征；
基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从所述目标遥感内容频域特征和所述目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱；
对所述目标遥感内容频谱和所述目标遥感风格频谱进行整合变换，得到目标遥感图像特征；
根据所述目标遥感图像特征，生成风格迁移后的遥感图像。
10.根据权利要求9所述的方法，所述目标图像携带时空信息，所述时空信息包括地理信息和/或时间信息；
所述提取所述源图像的至少一个遥感内容特征和所述目标图像的至少一个遥感风格特征的步骤，包括：
根据所述时空信息，提取所述目标图像的至少一个遥感风格特征；
所述基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从所述目标遥感内容频域特征和所述目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱的步骤，包括：
基于所述风格频谱分布规律和所述时空信息，从所述目标遥感风格频域特征中提取目标遥感风格频谱。
11.根据权利要求9所述的方法，所述目标图像包括遥感建筑图像，所述遥感建筑图像携带建筑物形态信息；
所述提取所述源图像的至少一个遥感内容特征和所述目标图像的至少一个遥感风格特征的步骤，包括：
根据所述建筑物形态信息，提取所述遥感建筑图像的至少一个遥感风格特征；
所述基于遥感内容频域特征中的内容频谱分布规律和遥感风格频域特征中的风格频谱分布规律，分别从所述目标遥感内容频域特征和所述目标遥感风格频域特征中提取目标遥感内容频谱和目标遥感风格频谱的步骤，包括：
基于所述风格频谱分布规律和所述建筑物形态信息，从所述目标遥感风格频域特征中提取目标遥感风格频谱。
12.一种图像生成装置，包括：
第一获取模块，被配置为获取初始内容图像的至少一个内容特征和初始风格图像的至少一个风格特征；
第一转换模块，被配置为分别对所述内容特征和所述风格特征进行频域转换，确定目标内容频域特征和目标风格频域特征；
第一提取模块，被配置为基于内容频域特征中的内容频谱分布规律和风格频域特征中的风格频谱分布规律，分别从所述目标内容频域特征和所述目标风格频域特征中提取目标内容频谱和目标风格频谱；
第一整合模块，被配置为对所述目标内容频谱和所述目标风格频谱进行整合变换，得到目标图像特征；
第一生成模块，被配置为根据所述目标图像特征，生成目标图像。
13.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项或者权利要求9至11任意一项所述方法的步骤。
14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项或者权利要求9至11任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211183663.2A CN115936972B (zh) | 2022-09-27 | 2022-09-27 | 图像生成方法、遥感图像风格迁移方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211183663.2A CN115936972B (zh) | 2022-09-27 | 2022-09-27 | 图像生成方法、遥感图像风格迁移方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115936972A true CN115936972A (zh) | 2023-04-07 |
| CN115936972B CN115936972B (zh) | 2024-03-22 |
Family
ID=86649626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211183663.2A Active CN115936972B (zh) | 2022-09-27 | 2022-09-27 | 图像生成方法、遥感图像风格迁移方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115936972B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| CN111798367A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112766079A (zh) * | 2020-12-31 | 2021-05-07 | 北京航空航天大学 | 一种基于内容风格分离的无监督图像到图像翻译方法 |
| CN112770062A (zh) * | 2020-12-22 | 2021-05-07 | 北京奇艺世纪科技有限公司 | 一种图像生成方法及装置 |
| CN112862733A (zh) * | 2021-01-21 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN113192161A (zh) * | 2021-04-22 | 2021-07-30 | 清华珠三角研究院 | 一种虚拟人形象视频生成方法、系统、装置及存储介质 |
| CN113392270A (zh) * | 2020-10-30 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
| CN113436060A (zh) * | 2021-06-29 | 2021-09-24 | 东莞理工学院 | 一种异源遥感图像风格迁移方法和装置 |
| US20220020191A1 (en) * | 2020-07-15 | 2022-01-20 | Acer Incorporated | Method and computer program product for image style transfer |
-
2022
- 2022-09-27 CN CN202211183663.2A patent/CN115936972B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| US20190228587A1 (en) * | 2018-01-24 | 2019-07-25 | Google Llc | Image Style Transfer for Three-Dimensional Models |
| CN109685749A (zh) * | 2018-09-25 | 2019-04-26 | 平安科技（深圳）有限公司 | 图像风格转换方法、装置、设备和计算机存储介质 |
| CN111798367A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US20220020191A1 (en) * | 2020-07-15 | 2022-01-20 | Acer Incorporated | Method and computer program product for image style transfer |
| CN113392270A (zh) * | 2020-10-30 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
| CN112770062A (zh) * | 2020-12-22 | 2021-05-07 | 北京奇艺世纪科技有限公司 | 一种图像生成方法及装置 |
| CN112766079A (zh) * | 2020-12-31 | 2021-05-07 | 北京航空航天大学 | 一种基于内容风格分离的无监督图像到图像翻译方法 |
| CN112862733A (zh) * | 2021-01-21 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN113192161A (zh) * | 2021-04-22 | 2021-07-30 | 清华珠三角研究院 | 一种虚拟人形象视频生成方法、系统、装置及存储介质 |
| CN113436060A (zh) * | 2021-06-29 | 2021-09-24 | 东莞理工学院 | 一种异源遥感图像风格迁移方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李海洋: ""基于频域特征提取的人脸图像迁移方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 3287 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115936972B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147794A (zh) | 一种基于深度学习的无人车室外场景实时分割方法 | |
| CN111325271B (zh) | 图像分类方法及装置 | |
| CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
| JP2022553252A (ja) | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム | |
| WO2024088012A1 (zh) | 图文识别方法及图文识别模型的数据处理方法 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN115601485B (zh) | 任务处理模型的数据处理方法及虚拟人物动画生成方法 | |
| CN113361387A (zh) | 人脸图像融合方法及装置、存储介质及电子设备 | |
| CN116168274A (zh) | 对象检测方法以及对象检测模型训练方法 | |
| CN111259700B (zh) | 用于生成步态识别模型的方法和装置 | |
| CN117372782A (zh) | 一种基于频域分析的小样本图像分类方法 | |
| CN115936972B (zh) | 图像生成方法、遥感图像风格迁移方法以及装置 | |
| CN116629375A (zh) | 模型处理方法以及系统 | |
| CN107221019B (zh) | 图表转换方法及装置 | |
| CN111553961B (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 | |
| CN111738087B (zh) | 一种游戏角色面部模型的生成方法和装置 | |
| CN115761390A (zh) | 图像场景识别方法及装置 | |
| CN112270296A (zh) | 一种基于云平台的智慧城市可视化管理系统及方法 | |
| CN111402223A (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
| Cheng | [Retracted] Computer Graphic Image Design and Visual Communication Design in the Internet of Things Scenario | |
| CN116258647B (zh) | 图像去噪方法，天气图像修复方法及计算设备 | |
| CN116758390B (zh) | 一种图像数据处理方法、装置、计算机设备以及介质 | |
| CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
| CN117593666B (zh) | 一种极光图像的地磁台站数据预测方法及系统 | |
| CN116958168A (zh) | 一种材质提取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |