CN113436060A - 一种异源遥感图像风格迁移方法和装置 - Google Patents
一种异源遥感图像风格迁移方法和装置 Download PDFInfo
- Publication number
- CN113436060A CN113436060A CN202110729885.9A CN202110729885A CN113436060A CN 113436060 A CN113436060 A CN 113436060A CN 202110729885 A CN202110729885 A CN 202110729885A CN 113436060 A CN113436060 A CN 113436060A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- content
- network
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000005012 migration Effects 0.000 claims abstract description 97
- 238000013508 migration Methods 0.000 claims abstract description 97
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000001537 neural effect Effects 0.000 claims abstract description 36
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012549 training Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 77
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种异源遥感图像风格迁移方法和装置,所述方法包括:获取两张异源遥感图像分别作为内容图像和风格图像,对图像进行预处理,并将内容图像作为初始生成图像;利用特征提取网络提取出内容图像、风格图像的内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数;根据风格图像生成真实图像;生成对抗网络根据初始生成图像和真实图像,构建对抗网络损失函数;根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,获得最终生成图像。本发明同时对特征空间和数据空间进行约束,获得的最终生成图像更加客观和逼真,迁移效果更好;仅用两幅遥感图像作为训练数据,训练时间短,迁移效率高。
Description
技术领域
本发明涉及深度学习和遥感图像技术领域,更具体地,涉及一种异源遥感图像风格迁移方法和装置。
背景技术
图像风格迁移是图像处理领域中的热门研究方向,它以一副风格图像作为引导,对目标图像进行风格转换,使目标图像具备与风格图像相似的风格形式。随着遥感领域各项技术的快速发展,遥感图像成像传感器的种类层出不穷,包括不同的光学传感器、雷达传感器和近红外传感器等。异源遥感图像是指利用不同传感器拍摄得到的遥感图像,所以它们在数据表征和统计分布特性上有着较大的差异。目前,遥感技术在图像配准、目标检测和变化检测等应用上的研究主要是针对同源遥感图像开展的,但是现实中获取不同时段同一场景下的两幅同源遥感图像是一件昂贵和困难的事情,所以开展异源遥感图像风格迁移的研究具有一定的应用价值。目前已经存在许多优秀的风格迁移方法,主要面向的是自然图像,应用在遥感类图像上的效果不尽人意,无法满足实际的需求。
Homogeneous transformation based on deep-level features inheterogeneous remote sensing images首次在异源遥感图像变化检测问题中引入了风格迁移,他们直接使用Gaty等人提出的神经风格迁移(Neural Style Transfer,NST)分别对两幅异源遥感图像进行风格迁移,先将原先的一对异源遥感图像转换为两对同源遥感图像,再利用同源变化检测算法对这两对同源遥感图像分别进行变化检测;该方法直接使用面向自然图像的风格迁移方法对遥感图像进行处理,使得迁移后的遥感图像不管是在视觉上还是统计分布特性上都无法满足真正的同源特性,这也极大地影响了后序进行变化检测的准确度和难度。
Can sar images and optical images transfer with each other,展示了使用生成对抗网络(Generative adversarial networks,GAN)进行异源遥感图像风格迁移的实验效果;生成对抗网络是一种深度学习模型,它包含生成网络G(Generator)和判别网络D(Discriminator),通过生成网络和判别网络之间的对抗训练来达到纳什均衡,使生成网络能学习到真实样本的数据分布。文章中预先收集了上千张高分辨率雷达图像和光学遥感图像来对生成对抗网络进行训练,利用对抗网络的性能优势,得到了引人注目的迁移效果;该方法对数据集在数量和质量上的要求较高,这使得对抗网络在遥感领域的推广和应用受到一定的限制。
过对现有的应用于遥感图像的风格迁移方法进行分析和总结,可以归纳出以下问题:一是面向自然图像的图像风格迁移方法直接用于遥感图像时迁移效果差;二是现有的面向遥感图像的风格迁移方法在时间效率上有待提高;三是利用生成对抗网络进行遥感图像风格迁移需要预先收集大量的高质量图像,限制了生成对抗网络在遥感图像上的应用;四是现有的风格迁移方法仅在特征空间或者数据空间进行拟合来完成同源转换,存在一定的局限性。
2021年6月22日公开的中国专利CN113012038A提供了一种图像风格迁移处理方法、移动终端和云端服务器。该方法包括的步骤有风格特征提取、内容特征提取和风格内容融合,主要是通过第一卷积神经网络对第一图像进行风格特征提取,再利用第二卷积神经网络对第二图像的内容特征进行提取,然后进一步对这两个风格特征和内容特征进行融合,获得目标风格图像。该方法仅在特征空间进行约束,拟合来完成同源转换,存在一定的局限性,迁移得到的目标风格图像效果不逼真,迁移效果差;并且用于训练的第一图像和第二图像的数据量巨大,训练时间长,降低了迁移效率。
发明内容
本发明为克服上述现有技术对异源遥感图像进行风格迁移时,约束条件单一且迁移效率低的缺陷,提供一种异源遥感图像风格迁移方法和装置,迁移方法同时考虑了特征空间和数据空间的约束,并且仅需两幅遥感图像就能满足网络训练的需求,节省网络训练时间,提高了迁移效率。
为解决上述技术问题,本发明的技术方案如下:
本发明提供了一种异源遥感图像风格迁移方法,包括:
S1:获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;
S2:构造特征提取网络,将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中,分别提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数;
S3:根据预处理后的风格图像生成真实图像;
S4:构造生成对抗网络,所述生成对抗网络包括判别网络和生成网络;将真实图像和初始生成图像输入判别网络中,构建对抗网络损失函数;
S5:根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,生成网络输出最终生成图像,完成异源遥感图像的风格迁移。
优选地,所述步骤S1中,对内容图像和风格图像进行预处理的具体方法为:
S1.1:对内容图像和风格图像进行图像配准操作;
S1.2:图像配准后,将内容图像和风格图像调整为相同的尺寸。
优选地,所述步骤S2中,基于现有的VGG16网络构造特征提取网络;所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层。
优选地,所述步骤S2中,针对初始生成图像构建神经风格迁移损失函数的具体方法为:
S2.1:选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征,根据内容特征构建初始生成图像的内容损失:
Lcontent(Igen)=||F(Igen)-F(Icontent)||2
式中,Lcontent(Igen)表示初始生成图像的内容损失,Igen表示初始生成图像,Icontent表示内容图像,F(*)表示提取内容特征函数,||·||2表示2范数;
S2.2:选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征,构建初始生成图像的风格损失:
Gl(*)=[F(*)][F(*)]T
式中,Lstyle(Igen)表示初始生成图像的风格损失,Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵,(*)T表示求转置操作;ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合,l表示第l池化层;
S2.3:根据初始生成图像的内容损失和风格损失,针对初始生成图像构建神经风格迁移损失函数:
LNST(Igen)=αLcontent(Igen)+βLstyle(Igen)
式中,LNST(Igen)表示神经风格迁移损失函数,α表示内容损失权重,β表示风格损失权重。
优选地,所述步骤S3中,利用图像块数据增强法根据预处理后的风格图像生成真实图像,具体为:
利用滑动窗口对预处理后的风格图像进行无重叠地遍历,在遍历的过程中,分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转,遍历完整张分割图像后生成一幅真实图像Iaug;滑动窗口的大小为p*p,1<p≤N,且N能被p整除,N表示判别网络的感受野。
优选地,所述步骤S4中,判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层;判别网络中每层的卷积参数设置为:
kj=sj
N=Πjkj
式中,kj表示第j层的卷积核大小,sj表示第j层的卷积步长,N表示判别网络的感受野。
优选地,所述步骤S4中,对抗网络损失函数为:
LLSGAN(Igen,D)=LLSGAN(D)+LLsGAN(Igen)
其中,χ表示初始生成图像的数据域分布,γ表示风格图像的数据域分布,表示表示求取平均值操作,D(*)表示判别网络的判别输出;LLSGAN(D)表示判别网络的损失函数,LLSGAN(Igen)表示对抗网络中生成网络的损失函数,LLSGAN(Igen,D)表示对抗网络损失函数。
优选地,所述S4中,总损失函数为:
L(Igen,D)=LLSGAN(Igen,D)+λLNST(Igen)
式中,L(Igen,D)表示总损失函数,λ表示权衡约束权重。
优选地,所述S4中,获得最终生成图像的具体方法为:
计算总损失函数的梯度,交替地进行初始生成图像Igen的更新和生成对抗网络的优化,直到总损失函数收敛或者达到设定的迭代次数,输出最终生成图像。
本发明还提供一种异源遥感图像风格迁移装置,所述装置包括:
图像获取处理模块,用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块,将预处理后的风格图像发送至真实图像生成模块,将初始生成图像发送至生成对抗网络模块;
特征提取模块,用于构造特征提取网络,接收预处理后的内容图像、风格图像和初始生成图像,提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数,将神经风格迁移损失函数发送至图像风格迁移模块;
真实图像生成模块,用于接收预处理后的风格图像,生成真实图像,并将真实图像发送至生成对抗网络模块;
生成对抗网络模块,用于构造包括判别网络和生成网络的生成对抗网络,判别网络接收真实图像和初始生成图像,根据初始生成图像和真实图像,构建对抗网络损失函数,将对抗网络损失函数发送至图像风格迁移模块;
图像风格迁移模块,用于接收神经风格迁移损失函数和对抗网络损失函数,并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,获得最终生成图像,完成异源遥感图像的风格迁移。
与现有技术相比,本发明技术方案的有益效果是:
本发明通过构建特征提取网络,提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,构建神经风格迁移损失函数,对初始生成图像引入了特征空间上的约束;根据预处理后的风格图像生成真实图像;构建生成对抗网络,根据初始生成图像和真实图像,构建对抗网络损失函数,对初始生成图像引入了数据空间上的约束;根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,则对初始生成图像同时进行特征空间和数据空间约束;计算总损失函数的梯度,直到总损失函数收敛或者达到设定的迭代次数,获得的最终生成图像更加客观和逼真,迁移效果更好;仅需两幅遥感图像作为内容图像和风格图像,对训练数据要求简单,训练时间短,迁移效率高,提高了本发明的普适性,更利于推广和应用。
附图说明
图1为实施例1所述的一种异源遥感图像风格迁移方法的数据流向图;
图2为实施例1所述的一种异源遥感图像风格迁移方法的流程图;
图3为实施例1所述的特征提取网络的结构图;
图4为实施例1所述的判别网络的结构图;
图5为实施例1所述的图像块数据增强法获得的图像示例图;
图6为实施例1所述的风格图像的示意图;
图7为实施例1所述的内容图像的示意图;
图8为实施例1所述的一种异源遥感图像风格迁移方法获得的最终生成图片与现有技术的生成图片的迁移结果比较示意图;
图9为实施例2所述的一种异源遥感图像风格迁移装置的结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,将两张异源遥感图像分别作为内容图像和风格图像,并复制内容图像作为初始生成图像,将预处理后的内容图像、风格图像和初始生成图像输入特征提取网络中,构建出神经风格迁移损失函数;根据预处理后的风格图像生成真实图像;将真实图像和初始生成图像输入生成对抗网络的判别网络中,根据真实图像和初始生成图像构建对抗网络损失函数;根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,对初始生成图像进行更新,生成对抗网络的生成网络输出最终生成图像,完成异源遥感图像的风格迁移。
针对以上过程,本实施例提供了一种异源遥感图像风格迁移方法,如图2所示,包括:
S1:获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;
对内容图像和风格图像进行预处理的具体方法为:
S1.1:对内容图像和风格图像进行图像配准操作;
S1.2:图像配准后,将内容图像和风格图像调整为相同的尺寸;
S2:构造特征提取网络,将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中,分别提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数;
基于现有的VGG16网络构造特征提取网络;如图3所示,所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层;
针对初始生成图像构建神经风格迁移损失函数的具体方法为:
S2.1:选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征,根据内容特征构建初始生成图像的内容损失:
Lcontent(Igen)=||F(Igen)-F(Icontent)||2
式中,Lcontent(Igen)表示初始生成图像的内容损失,Igen表示初始生成图像,Icontent表示内容图像,F(*)表示图像的内容特征,||·||2表示2范数;
特征提取网络中不同层的输出有不同的特征,所以分离地选择对应的网络层输出作为图像的内容特征和风格特征;鉴于遥感图像有着复杂的地物表征,于是选择最深层的卷积层输出作为内容特征,本实施例中,第十三卷积层作为最深层,选择第十三卷积层的输出作为内容图像的内容特征;
S2.2:选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征,构建初始生成图像的风格损失:
Gl(*)=[F(*)][F(*)]T
式中,Lstyle(Igen)表示初始生成图像的风格损失,Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵,(*)T表示求转置操作;ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合,l表示第l池化层;
通过构造格拉姆矩阵来表示风格特征,由于不同深度的特征有不同粒度的风格效果,所以选择多个不同深度的层输出作为风格特征,所以选择了第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格特征,以表征不同粒度的风格效果;
S2.3:根据初始生成图像的内容损失和风格损失,针对初始生成图像构建神经风格迁移损失函数:
LNST(Igen)=αLcontent(Igen)+βLstyle(Igen)
式中,LNST(Igen)表示神经风格迁移损失函数,α表示内容损失权重,β表示风格损失权重;神经风格迁移损失函数的目的是引入了特征空间上的约束;
S3:根据预处理后的风格图像生成真实图像;
利用图像块数据增强法根据预处理后的风格图像生成真实图像,具体为:
利用滑动窗口对预处理后的风格图像进行无重叠地遍历,在遍历的过程中,分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转,遍历完整张分割图像后生成一幅真实图像Iaug;滑动窗口的大小为p*p,1<p≤N,且N能被p整除,N表示判别网络的感受野;
如图5所示,从左到右依次是风格图像、滑动窗口大小为16*16生成的真实图像、滑动窗口大小为32*32生成的真实图像、滑动窗口大小为64*64生成的真实图像;
S4:构造生成对抗网络,所述生成对抗网络包括判别网络和生成网络;将真实图像和初始生成图像输入判别网络中,构建对抗网络损失函数;
生成对抗网络包含的判别网络用于判别生成的真实图像和初始生成图像在数据分布和风格形式上的一致性;
如图4所示,构造的判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层;判别网络中每层的卷积参数设置为:
kj=sj
N=Πjkj
式中,kj表示第j层的卷积核大小,sj表示第j层的卷积步长,N表示判别网络的感受野;
在生成对抗网络中,初始生成图像Igen作为网络得到的伪图像,真实图像为每一轮使用图像块数据增强法得到的Iaug,因此基于最小二乘构建的对抗网络损失函数为:
LLSGAN(Igen,D)=LLSGAN(D)+LLSGAN(Igen)
其中,χ表示初始生成图像的数据域分布,γ表示风格图像的数据域分布,表示表示求取平均值操作,D(*)表示判别网络的判别输出;LLSGAN(D)表示判别网络的损失函数,LLSGAN(Igen)表示对抗网络中生成网络的损失函数,LLSGAN(Igenn,D)表示对抗网络损失函数;
S5:根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,生成网络输出最终生成图像,完成异源遥感图像的风格迁移;
总损失函数为:
L(Igen,D)=LLSGAN(Igen,D)+λLNST(Igen)
式中,L(Igen,D)表示总损失函数,λ表示权衡约束权重;
总损失函数同时对特征空间和数据空间进行约束,计算总损失函数的梯度,交替地进行初始生成图像Igen的更新和生成对抗网络的优化,直到总损失函数收敛或者达到设定的迭代次数,输出最终生成图像。
在具体实施过程中,如图6所示,该图是由Quickbrid卫星于2009年7月拍摄到的光学遥感图像,将其作为风格图像;如图7所示,该图是COSMO-SkyMed卫星于2010年1月拍摄到的雷达图像,将其作为内容图像;由于所拍摄卫星的空间分辨率不同,获取的两幅图像也具备不同的图像分辨率,需要将两张图像进行图像配准操作后调整为相同的尺寸,输入进本实施例构建的特征提取网络和生成对抗网络中,复制内容图像作为初始生成图像,对初始生成图像初始化;利用本实施例所提供的方法,构建神经风格迁移损失函数和对抗网络损失函数,再根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,计算总损失函数的梯度,交替地进行初始生成图像的更新和生成对抗网络的优化,直到总损失函数收敛或者达到设定的迭代次数,输出最终生成图像;
如图8所示,是利用本实施例提供的方法获得的最终生成图像与现有技术生成图片的迁移结果的比较示意图,最左边是本方法获得的最终生成图像,中间是神经风格迁移(NST)获得的生成图片,最右边是迭代式图像风格迁移(IIST)获得的生成图片,对比三张图像,可以明显看出本实施例提出的方法获得的最终生成图像更加客观而真实,迁移效果更好。并且与这两种方法相比,本实施例提出的方法仅需要两张遥感图片对位数据样本,训练数据的数量和质量要求都远远低于现有技术,不仅节省了训练时间,提高了网络训练学习的效率,也在一定程度上克服了实际应用中对数据需求的局限性,间接提高了本方法的普适性,是本方法更易推广和应用。
实施例2
本实施例提供了一种异源遥感图像风格迁移装置,如图9所示,所述装置包括:
图像获取处理模块,用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块,将预处理后的风格图像发送至真实图像生成模块,将初始生成图像发送至生成对抗网络模块;
特征提取模块,用于构造特征提取网络,接收预处理后的内容图像、风格图像和初始生成图像,提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数,将神经风格迁移损失函数发送至图像风格迁移模块;
真实图像生成模块,用于接收预处理后的风格图像,生成真实图像,并将真实图像发送至生成对抗网络模块;
生成对抗网络模块,用于构造包括判别网络和生成网络的生成对抗网络,判别网络接收真实图像和初始生成图像,根据初始生成图像和真实图像,构建对抗网络损失函数,将对抗网络损失函数发送至图像风格迁移模块;
图像风格迁移模块,用于接收神经风格迁移损失函数和对抗网络损失函数,并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,获得最终生成图像,完成异源遥感图像的风格迁移。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种异源遥感图像风格迁移方法,其特征在于,包括:
S1:获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;
S2:构造特征提取网络,将预处理后的内容图像、风格图像和初始生成图像输入构造的特征提取网络中,分别提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数;
S3:根据预处理后的风格图像生成真实图像;
S4:构造生成对抗网络,所述生成对抗网络包括判别网络和生成网络;将真实图像和初始生成图像输入判别网络中,构建对抗网络损失函数;
S5:根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,生成网络输出最终生成图像,完成异源遥感图像的风格迁移。
2.根据权利要求1所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S1中,对内容图像和风格图像进行预处理的具体方法为:
S1.1:对内容图像和风格图像进行图像配准操作;
S1.2:图像配准后,将内容图像和风格图像调整为相同的尺寸。
3.根据权利要求2所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S2中,基于现有的VGG16网络构造特征提取网络;所述特征提取网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层、第十三卷积层和第五池化层。
4.根据权利要求3所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S2中,针对初始生成图像构建神经风格迁移损失函数的具体方法为:
S2.1:选择特征提取网络的第十三卷积层的输出作为内容图像的内容特征,根据内容特征构建初始生成图像的内容损失:
Lcontent(Igen)=||F(Igen)-F(Icontent)||2
式中,Lcontent(Igen)表示初始生成图像的内容损失,Igen表示初始生成图像,Icontent表示内容图像,F(*)表示提取内容特征函数,‖·‖2表示2范数;
S2.2:选择特征提取网络的第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的输出作为风格图像的风格特征,构建初始生成图像的风格损失:
Gl(*)=[F(*)][F(*)]T
式中,Lstyle(Igen)表示初始生成图像的风格损失,Gl(*)表示第l池化层输出图像的风格特征的格拉姆矩阵,(*)T表示求转置操作;ls表示第一池化层、第二池化层、第三池化层、第四池化层和第五池化层的集合,l表示第l池化层;
S2.3:根据初始生成图像的内容损失和风格损失,针对初始生成图像构建神经风格迁移损失函数:
LNST(Igen)=αLcontent(Igen)+βLstyle(Igen)
式中,LNST(Igen)表示神经风格迁移损失函数,α表示内容损失权重,β表示风格损失权重。
5.根据权利要求4所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S3中,利用图像块数据增强法根据预处理后的风格图像生成真实图像,具体为:
利用滑动窗口对预处理后的风格图像进行无重叠地遍历,在遍历的过程中,分别以1/2的概率对窗口内的图像块执行水平方向和垂直方向上的镜像翻转,遍历完整张风格图像后生成一幅真实图像Iaug;滑动窗口的大小为p*p,1<p≤N,且N能被p整除,N表示判别网络的感受野。
6.根据权利要求5所述的异源遥感图像风格迁移方法,其特征在于,所述步骤S4中,判别网络包括依次连接的第十四卷积层、第一激活层、第十五卷积层、第二激活层和第十六卷积层。
8.根据权利要求7所述的异源遥感图像风格迁移方法,其特征在于,所述S4中,总损失函数为:
L(Igen,D)=LLSGAN(Igen,D)+λLNST(Igen)
式中,L(Igen,D)表示总损失函数,λ表示权衡约束权重。
9.根据权利要求8所述的异源遥感图像风格迁移方法,其特征在于,所述S4中,获得最终生成图像的具体方法为:
计算总损失函数的梯度,交替地进行初始生成图像Igen的更新和生成对抗网络的优化,直到总损失函数收敛或者达到设定的迭代次数,输出最终生成图像。
10.一种异源遥感图像风格迁移装置,其特征在于,所述装置包括:
图像获取处理模块,用于获取两张异源遥感图像分别作为内容图像和风格图像,对内容图像和风格图像进行预处理,并将内容图像作为初始生成图像;将预处理后的内容图像、风格图像和初始生成图像发送至特征提取模块,将预处理后的风格图像发送至真实图像生成模块,将初始生成图像发送至生成对抗网络模块;
特征提取模块,用于构造特征提取网络,接收预处理后的内容图像、风格图像和初始生成图像,提取出内容图像的内容特征和风格图像的风格特征,根据内容特征和风格特征,针对初始生成图像构建神经风格迁移损失函数,将神经风格迁移损失函数发送至图像风格迁移模块;
真实图像生成模块,用于接收预处理后的风格图像,生成真实图像,并将真实图像发送至生成对抗网络模块;
生成对抗网络模块,用于构造包括判别网络和生成网络的生成对抗网络,判别网络接收真实图像和初始生成图像,根据初始生成图像和真实图像,构建对抗网络损失函数,将对抗网络损失函数发送至图像风格迁移模块;
图像风格迁移模块,用于接收神经风格迁移损失函数和对抗网络损失函数,并根据神经风格迁移损失函数和对抗网络损失函数构建总损失函数,对总损失函数进行优化,获得最终生成图像,完成异源遥感图像的风格迁移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729885.9A CN113436060B (zh) | 2021-06-29 | 2021-06-29 | 一种异源遥感图像风格迁移方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729885.9A CN113436060B (zh) | 2021-06-29 | 2021-06-29 | 一种异源遥感图像风格迁移方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436060A true CN113436060A (zh) | 2021-09-24 |
CN113436060B CN113436060B (zh) | 2023-03-10 |
Family
ID=77757826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110729885.9A Active CN113436060B (zh) | 2021-06-29 | 2021-06-29 | 一种异源遥感图像风格迁移方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436060B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022352A (zh) * | 2022-01-05 | 2022-02-08 | 成都国星宇航科技有限公司 | 遥感图像风格迁徙模型的创建方法和装置 |
CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
CN115936972A (zh) * | 2022-09-27 | 2023-04-07 | 阿里巴巴(中国)有限公司 | 图像生成方法、遥感图像风格迁移方法以及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711137A (zh) * | 2018-05-18 | 2018-10-26 | 西安交通大学 | 一种基于深度卷积神经网络的图像色彩表达模式迁移方法 |
CN110310221A (zh) * | 2019-06-14 | 2019-10-08 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
CN110853110A (zh) * | 2019-09-20 | 2020-02-28 | 杭州火烧云科技有限公司 | 一种基于生成对抗网络的图片自动调色方法 |
-
2021
- 2021-06-29 CN CN202110729885.9A patent/CN113436060B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711137A (zh) * | 2018-05-18 | 2018-10-26 | 西安交通大学 | 一种基于深度卷积神经网络的图像色彩表达模式迁移方法 |
CN110310221A (zh) * | 2019-06-14 | 2019-10-08 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
CN110853110A (zh) * | 2019-09-20 | 2020-02-28 | 杭州火烧云科技有限公司 | 一种基于生成对抗网络的图片自动调色方法 |
Non-Patent Citations (2)
Title |
---|
周长家: "基于深度混合生成模型的图像风格迁移研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》, no. 02, 15 February 2021 (2021-02-15), pages 138 - 1019 * |
陈淮源 等: "基于深度学习的图像风格迁移研究进展", 《计算机工程与应用》, vol. 57, no. 11, 1 June 2021 (2021-06-01), pages 37 - 43 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022352A (zh) * | 2022-01-05 | 2022-02-08 | 成都国星宇航科技有限公司 | 遥感图像风格迁徙模型的创建方法和装置 |
CN114022352B (zh) * | 2022-01-05 | 2022-04-08 | 成都国星宇航科技有限公司 | 遥感图像风格迁徙模型的创建方法和装置 |
CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
CN115936972A (zh) * | 2022-09-27 | 2023-04-07 | 阿里巴巴(中国)有限公司 | 图像生成方法、遥感图像风格迁移方法以及装置 |
CN115936972B (zh) * | 2022-09-27 | 2024-03-22 | 阿里巴巴(中国)有限公司 | 图像生成方法、遥感图像风格迁移方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113436060B (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113436060B (zh) | 一种异源遥感图像风格迁移方法和装置 | |
CN112766199B (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN107609638B (zh) | 一种基于线性编码器和插值采样优化卷积神经网络的方法 | |
CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
CN113674140B (zh) | 一种物理对抗样本生成方法及系统 | |
CN110245711B (zh) | 基于角度旋转生成网络的sar目标识别方法 | |
CN113486827B (zh) | 基于域对抗与自监督的多源遥感影像迁移学习方法 | |
CN106780543A (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
CN109785371A (zh) | 一种基于归一化互相关和sift的太阳图像配准方法 | |
CN105989336B (zh) | 基于带权重的解卷积深度网络学习的场景识别方法 | |
CN109685743A (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
CN110070517B (zh) | 基于退化成像机理和生成对抗机制的模糊图像合成方法 | |
CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
CN112102165B (zh) | 一种基于零样本学习的光场图像角域超分辨系统及方法 | |
CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
CN114863348B (zh) | 基于自监督的视频目标分割方法 | |
CN113538241B (zh) | 面向场景文本识别的超分辨率图像生成方法 | |
CN114998757A (zh) | 用于无人机航摄图像分析的目标检测方法 | |
CN111709443B (zh) | 一种基于旋转不变卷积神经网络的书法字风格分类方法 | |
CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
CN113610024A (zh) | 一种多策略的深度学习遥感影像小目标检测方法 | |
Zhao et al. | Label freedom: Stable diffusion for remote sensing image semantic segmentation data generation | |
CN117830835A (zh) | 一种基于深度学习的卫星遥感图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |