CN113538615A - 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 - Google Patents

基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 Download PDF

Info

Publication number
CN113538615A
CN113538615A CN202110730847.5A CN202110730847A CN113538615A CN 113538615 A CN113538615 A CN 113538615A CN 202110730847 A CN202110730847 A CN 202110730847A CN 113538615 A CN113538615 A CN 113538615A
Authority
CN
China
Prior art keywords
image
discriminator
generated
scale
generation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110730847.5A
Other languages
English (en)
Other versions
CN113538615B (zh
Inventor
聂婕
王京禹
魏志强
王成龙
王成贺
郑程予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110730847.5A priority Critical patent/CN113538615B/zh
Publication of CN113538615A publication Critical patent/CN113538615A/zh
Application granted granted Critical
Publication of CN113538615B publication Critical patent/CN113538615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于遥感图像处理技术领域,公开了基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,构建双流生成器深度卷积对抗生成网络,该网络包括生成器、后融合模块、判别器,所述生成器由两条具有不同尺度的U‑NET结构的生成网络组成;一条是原始尺度的生成网络,另一条是宏观尺度的生成网络,将两个尺度生成特征图进行后融合,得到最终的生成图像;将生成图像与对应的真实图像输入判别器,通过生成器与判别器持续的训练对抗,来生成与真实图像更为相近的着色图片。通过本发明缓解上色中的不适定问题,且能获得高质量的遥感图像着色图片。

Description

基于双流生成器深度卷积对抗生成网络的遥感图像上色方法
技术领域
本发明属于遥感图像处理技术领域,特别涉及基于双流生成器深度卷积对抗生成网络的遥感图像上色方法。
背景技术
随着深层生成模型的发展,图像上色技术得到了广泛的研究,在接近人类感知方面取得了很大的进展。目前,对遥感图像进行上色的需求是迫切的,但是由于遥感设备的局限性,以及受到空气中的烟雾或其他噪声的影响使捕获的遥感图像出现色度对比度低,色度不饱和的问题。遥感图像上色的最大挑战是在极其不平衡的空间结构背景下保持空间一致性以及获得生动的着色信息。前者需要对大规模分布进行稳定的学习,后者需要对局部像素进行专门的建模。
目前实现遥感图像着色的方法是使用深度卷积生成对抗网络,生成器使用单尺度的U-NET结构用于遥感图像的生成,生成的图像与真实图像作为判别器的输入。通过生成器和判别器互相博弈,使得网络生成的彩色图片越来越逼近真实图片。除此之外,目前也存在根据特征金字塔网络(FPN)设计的多尺度输出图像级联求和的网络。其中每个输出都被监督为一个独立的鉴别器,通过不同尺度的鉴别器对颜色输出进行监督。
目前基于深度卷积生成对抗网络的着色方法,只在单一尺度提取特征生成图片,但是遥感图像的物体分布是不平衡的,例如,总是有微观物体(汽车或船只)被宏观连续纹理区域包围,这使得单尺度的上色容易在一致空间中产生突变像素,使得生成图像真实性差。而以往通过引入多尺度判别器来解决上述问题的方法,只优化了Jensen-Shannon散度的测量,而不能对宏观尺度空间稳定性施加很强的约束。
发明内容
针对现有技术存在的不足,本发明提供一种基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,提出一种双流生成器深度卷积对抗生成网络,该网络包括生成器、后融合模块、判别器,所述生成器由两条具有不同尺度的U-NET结构的生成网络组成,以保持宏观尺度的空间一致性和微观对象细节。在双流深度卷积生成对抗网络中,宏观尺度分布可以作为约束微观尺度生成模型的先验,以缓解上色中的不适定问题。另外,选择两个尺度对应元素相加的策略实现不同尺度融合,从获得高质量的遥感图像着色图片。
为了解决上述技术问题,本发明采用的技术方案是:
基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,包括以下步骤:
一、构建双流生成器深度卷积对抗生成网络,该网络包括生成器、后融合模块、判别器,所述生成器由两条具有不同尺度的U-NET结构的生成网络组成;
一条是原始尺度的生成网络,以遥感图像原始灰度图作为输入,输出原始图片相同尺寸的特征图;另一条是宏观尺度的生成网络,先对灰度图进行平均池化得到大小为原始灰度图一半尺寸,再将其输入U-NET生成网络,生成尺寸为原始灰度图一半的小尺度特征图,将该小尺度特征图进行上采样,得到原始大小的特征图;
最终将两个尺度生成特征图输入后融合模块进行一个后融合,得到最终的生成图像;
将生成图像与对应的真实图像输入判别器,使判别器正确判别生成图像与真实图像,通过生成器与判别器博弈的方法优化网络;
二、将原始图像输入所述双流生成器深度卷积对抗生成网络,通过生成器与判别器持续的训练对抗,来生成与真实图像更为相近的着色图片。
进一步的,生成网络首先对输入图像进行编码操作,不断提取特征,直到特征图可以足够提取高维特征时,再进行解码操作,使用反卷积的方式进行特征恢复;将编码过程的每层加到解码过程中的对应层实现跳跃连接,最终输出提取出的特征图。
进一步的,步骤一中,采用双三次线性插值的方法对小尺度生成特征进行上采样,通过在现有像素之间添加新像素来放大图像,得到原始大小的特征图;
要添加的像素的位置是(x,y),那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的;利用Bicubic构造函数计算周围16个点对(x,y)的影响系数,影响系数如以下公式所示:
Figure BDA0003139266460000031
进一步的,两个尺度生成的特征图在后融合时,选择两个尺度对应元素相加的策略实现不同尺度融合,获得高质量的遥感图像着色图片。
进一步的,两个尺度生成的特征图后融合时,将宏观尺度生成特征图经过上采样、卷积操作,获得与原始图像相同通道数量和尺寸大小的特征图,然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加,将获得的特征图再进行卷积操作,生成最终的彩色遥感图像。
优选的是,两个尺度生成的特征图在后融合时,首先将宏观尺度生成特征图上采样为64通道,256*256大小的特征图,再将其进行卷积操作获得3通道的特征图;然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小,通道为3的特征图;最后对这个特征图进行卷积核为1*1,步长为1的卷积,从而生成最终的彩色遥感图像。
进一步的,通过生成器与判别器博弈的方法优化网络时,首先,进行生成器G训练,此时判别器D固定不动,训练生成器G时,有以下公式:
Figure BDA0003139266460000032
f2=λ||G(x1,x2)-y)||1 (2)
式中,x1为第一条线路的样本,x2为第二条线路的样本,G(x1,x2)为生成的图像样本,y为原始图像,D(G(x1,x2))表示判别器D判别生成图像是真实图像的概率;f1是判别器判别生成图片是假图时给的分数;当训练生成器G时,希望生成的图片越真越好,因此,判别器D给生成图片的打分越高越好,所以f1越小越好;
f2是L1范数损失函数,它是把生成图像与真实图像对应像素值的绝对差值的总和最小化,λ为超参数;
由此,得到其中一个目标函数,如下公式(3)所示:
Figure BDA0003139266460000041
Figure BDA0003139266460000042
为生成器G的损失,该目标函数是最小化判别器D给生成图片的得分和最小化生成图片和真实图片的对应像素差值;
然后,进行判别器D训练,此时生成器G固定不动,训练判别器D时,有以下公式:
Figure BDA0003139266460000043
Figure BDA0003139266460000044
式中,D(y∣(x1,x2))表示判别器D将真实图像y识别为真样本的概率,f3是判别器D给真实图像y的分数;f4是判别器D给生成图片的分数的经过一些运算的相反数,这里期望判别器D给生成图片低分,所以它的相反数应该是高分;
由此,得到一个目标函数,使f3和f4最大化,如下公式(6)所示:
Figure BDA0003139266460000045
J(D)为判别器D的损失,该目标函数是最大化判别器D给真实图片的得分、最小化判别器D给生成图片的得分。
与现有技术相比,本发明优点在于:
1.采用本发明的双流生成器深度卷积生成对抗网络进行遥感图像上色,在不同尺度提取特征,通过宏观尺度网络解决微观尺度网络中大范围纹理区域的过拟合问题,解决了遥感图像类别分布不平衡引起的着色空间不一致的问题,减少了不适定问题的发生。当使用相同大小的卷积核时,微观尺度生成网络具有比宏观尺度更大的感受野。正是由于较大的感受野,使得宏观尺度网络能够捕捉到更多的上下文信息,更加注重区域相关性,因此能够平滑由于遥感图像分布不平衡所造成的着色空间不连续性。
2.宏观尺度的生成网络可以作为原始尺度生成模型的先验,通过宏观尺度提取的特征对微观尺度提取的特征,即细节信息,进行平滑处理,解决遥感图像中出现的不适定问题。而对于微观尺度网络,更加重视细节的提取。因此,融合宏观尺度和微观尺度不仅可以保证着色的空间完整性和一致性,而且还可以考虑到颜色的提取细节。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的双流生成器深度卷积对抗生成网络结构图;
图2为本发明实施例的宏观尺度生成网络的网络结构图;
图3为本发明实施例的后融合方法示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,包括以下步骤:
一、构建双流生成器深度卷积对抗生成网络,该网络包括生成器、后融合模块、判别器,所述生成器由两条具有不同尺度的U-NET结构的生成网络组成,以保持宏观尺度的空间一致性和微观对象细节。
其中,一条是原始尺度的生成网络(即微观尺度生成网络),以遥感图像原始灰度图作为输入,输出原始图片相同尺寸的特征图;另一条是宏观尺度的生成网络,先对灰度图进行平均池化得到大小为原始灰度图一半尺寸,再将其输入U-NET生成网络,生成尺寸为原始灰度图一半的小尺度特征图,将该小尺度特征图进行上采样,得到原始大小的特征图。
结合图1所示,以原始图尺寸为256*256为例,生成器的输入图像为遥感图像灰度图,灰度图同时进入两条U-NET结构的生成网络,原始尺度的生成网络输出的特征图尺寸为256*256;宏观尺度的生成网络先对灰度图进行平均池化得到大小为原始灰度图一半尺寸,即128*128的灰度图,再将其输入U-NET网络,生成尺寸为128*128的特征图。将小特征图采用双三次线性插值的方法进行上采样,得到原始大小的特征图。最终将两个尺度生成特征图进行一个后融合,得到最终的生成图片。
最终将两个尺度生成特征图输入后融合模块进行一个后融合,得到最终的生成图像。
将生成图像与对应的真实图像输入判别器,使判别器正确判别生成图像与真实图像,通过生成器与判别器博弈的方法优化网络。
其中,在此网络中,优化网络方法如下:
1.首先,生成器G训练。当训练生成器G时,判别器D固定不动。
训练生成器G时,有以下公式:
Figure BDA0003139266460000061
f2=λ||G(x1,x2)-y)||1 (2)
式中,x1为第一条线路的样本,x2为第二条线路的样本,G(x1,x2)为生成的图像样本,y为原始图像,D(G(x1,x2))表示判别器D判别生成图像是真实图像的概率;f1是判别器判别生成图片是假图时给的分数。当训练生成器G时,希望生成的图片越真越好,因此,判别器D给生成图片的打分越高越好(实际上真图给高分、假图即生成图给低分),所以f1越小越好。
f2是L1范数损失函数,它是把生成图像与真实图像对应像素值的绝对差值的总和最小化;λ为超参数,本实施例取值λ=100。
由此,得到其中一个目标函数,如下公式(3)所示:
Figure BDA0003139266460000062
Figure BDA0003139266460000063
为生成器G的损失,该目标函数是最小化判别器D给生成图片的得分(这里的得分指的是判别器认为生成图片是真实图片的概率)和最小化生成图片和真实图片的对应像素差值。
2.然后,判别器D训练。当训练判别器D时,生成器G固定不动。
训练判别器D时,希望判别器D给真实图片高分,给生成图片低分,有以下公式:
Figure BDA0003139266460000071
Figure BDA0003139266460000072
式中,D(y∣(x1,x2))表示判别器D将真实图像y识别为真样本的概率,f3是判别器D给真实图像y的分数。f4是判别器D给生成图片的分数的经过一些运算的相反数,这里期望判别器D给生成图片低分,所以它的相反数应该是高分。
由此,得到一个目标函数,使f3和f4最大化,如下公式(6)所示:
Figure BDA0003139266460000073
J(D)为判别器D的损失,该目标函数是最大化判别器D给真实图片的得分、最小化判别器D给生成图片的得分。
最后,通过生成器、判别器交替训练,优化网络。
二、将原始图像输入所述双流生成器深度卷积对抗生成网络,通过生成器与判别器持续的训练对抗,来生成与真实图像更为相近的着色图片。
在双流深度卷积生成对抗网络中,宏观尺度分布可以作为约束微观尺度生成模型的先验,以缓解上色中的不适定问题。另外,选择两个尺度对应元素相加的策略实现不同尺度融合,从获得高质量的遥感图像着色图片。
下面分别介绍各部分:
1.生成器
生成网络首先对输入图像进行编码操作,不断提取特征,直到特征图可以足够提取高维特征时(本实施例此处特征图尺寸为2*2大小时),再进行解码操作,使用反卷积的方式进行特征恢复;将编码过程的每层加到解码过程中的对应层实现跳跃连接,最终输出提取出的特征图。其中,宏观尺度生成网络的网络结构如图2所示。
2.上采样方法
采用双三次线性插值的方法对小尺度生成特征进行上采样,通过在现有像素之间添加新像素来放大图像,得到原始大小的特征图;
如果要添加的像素的位置是(x,y),那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的;利用Bicubic构造函数计算周围16个点对(x,y)的影响系数,影响系数如以下公式所示:
Figure BDA0003139266460000081
需要注意的是,这种插值方法可以反向传播。
3.后融合方法
两个尺度生成的特征图在后融合时,选择两个尺度对应元素相加的策略实现不同尺度融合,获得高质量的遥感图像着色图片。
具体的,两个尺度生成的特征图后融合时,将宏观尺度生成特征图经过上采样、卷积操作,获得与原始图像相同通道数量和尺寸大小的特征图,然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加,将获得的特征图再进行卷积操作,生成最终的彩色遥感图像。结合图3所示的后融合示意图,将宏观尺度生成特征图首先上采样为64通道,256*256大小的特征图,再将其进行卷积操作获得3通道的特征图。然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小,通道为3的特征图。最后对这个特征图进行卷积核为1*1,步长为1的卷积,从而生成最终的彩色遥感图像。
综上所述,本发明采用双流生成器深度卷积生成对抗网络进行遥感图像上色,在不同尺度提取特征,通过宏观尺度网络解决微观尺度网络中大范围纹理区域的过拟合问题,解决了遥感图像类别分布不平衡引起的着色空间不一致的问题,减少了不适定问题的发生。
宏观尺度网络能够捕捉到更多的上下文信息,能够平滑由于遥感图像分布不平衡所造成的着色空间不连续性,通过融合宏观尺度和微观尺度不仅可以保证着色的空间完整性和一致性,而且还可以考虑到颜色的提取细节。
当然,上述说明并非是对本发明的限制,本发明也并不限于上述举例,本技术领域的普通技术人员,在本发明的实质范围内,做出的变化、改型、添加或替换,都应属于本发明的保护范围。

Claims (7)

1.基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,包括以下步骤:
一、构建双流生成器深度卷积对抗生成网络,该网络包括生成器、后融合模块、判别器,所述生成器由两条具有不同尺度的U-NET结构的生成网络组成;
一条是原始尺度的生成网络,以遥感图像原始灰度图作为输入,输出原始图片相同尺寸的特征图;另一条是宏观尺度的生成网络,先对灰度图进行平均池化得到大小为原始灰度图一半尺寸,再将其输入U-NET生成网络,生成尺寸为原始灰度图一半的小尺度特征图,将该小尺度特征图进行上采样,得到原始大小的特征图;
最终将两个尺度生成特征图输入后融合模块进行一个后融合,得到最终的生成图像;
将生成图像与对应的真实图像输入判别器,使判别器正确判别生成图像与真实图像,通过生成器与判别器博弈的方法优化网络;
二、将原始图像输入所述双流生成器深度卷积对抗生成网络,通过生成器与判别器持续的训练对抗,来生成与真实图像更为相近的着色图片。
2.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,生成网络首先对输入图像进行编码操作,不断提取特征,直到特征图可以足够提取高维特征时,再进行解码操作,使用反卷积的方式进行特征恢复;将编码过程的每层加到解码过程中的对应层实现跳跃连接,最终输出提取出的特征图。
3.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,步骤一中,采用双三次线性插值的方法对小尺度生成特征进行上采样,通过在现有像素之间添加新像素来放大图像,得到原始大小的特征图;
要添加的像素的位置是(x,y),那么这一点的像素大小根据其周围的16个点在水平和垂直方向上计算的;利用Bicubic构造函数计算周围16个点对(x,y)的影响系数,影响系数如以下公式所示:
Figure FDA0003139266450000021
4.根据权利要求1所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,两个尺度生成的特征图在后融合时,选择两个尺度对应元素相加的策略实现不同尺度融合,获得高质量的遥感图像着色图片。
5.根据权利要求4所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,两个尺度生成的特征图后融合时,将宏观尺度生成特征图经过上采样、卷积操作,获得与原始图像相同通道数量和尺寸大小的特征图,然后将其与另一条生成网络生成的原始尺度生成特征图对应通道对应元素相加,将获得的特征图再进行卷积操作,生成最终的彩色遥感图像。
6.根据权利要求5所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,首先将宏观尺度生成特征图上采样为64通道,256*256大小的特征图,再将其进行卷积操作获得3通道的特征图;然后将其与另一条生成网络生成的原始尺度特征图对应通道对应元素相加得到256*256大小,通道为3的特征图;最后对这个特征图进行卷积核为1*1,步长为1的卷积,从而生成最终的彩色遥感图像。
7.根据权利要求1-6任一项所述的基于双流生成器深度卷积对抗生成网络的遥感图像上色方法,其特征在于,通过生成器与判别器博弈的方法优化网络时,首先,进行生成器G训练,此时判别器D固定不动,训练生成器G时,有以下公式:
Figure FDA0003139266450000022
f2=λ||G(x1,x2)-y)||1 (2)
式中,x1为第一条线路的样本,x2为第二条线路的样本,G(x1,x2)为生成的图像样本,y为原始图像,D(G(x1,x2))表示判别器D判别生成图像是真实图像的概率;f1是判别器判别生成图片是假图时给的分数;当训练生成器G时,希望生成的图片越真越好,因此,判别器D给生成图片的打分越高越好,所以f1越小越好;
f2是L1范数损失函数,它是把生成图像与真实图像对应像素值的绝对差值的总和最小化,λ为超参数;
由此,得到其中一个目标函数,如下公式(3)所示:
Figure FDA0003139266450000031
Figure FDA0003139266450000035
为生成器G的损失,该目标函数是最小化判别器D给生成图片的得分和最小化生成图片和真实图片的对应像素差值;
然后,进行判别器D训练,此时生成器G固定不动,训练判别器D时,有以下公式:
Figure FDA0003139266450000032
Figure FDA0003139266450000033
式中,D(y∣(x1,x2))表示判别器D将真实图像y识别为真样本的概率,f3是判别器D给真实图像y的分数;f4是判别器D给生成图片的分数的经过一些运算的相反数,这里期望判别器D给生成图片低分,所以它的相反数应该是高分;
由此,得到一个目标函数,使f3和f4最大化,如下公式(6)所示:
Figure FDA0003139266450000034
J(D)为判别器D的损失,该目标函数是最大化判别器D给真实图片的得分、最小化判别器D给生成图片的得分。
CN202110730847.5A 2021-06-29 2021-06-29 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 Active CN113538615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110730847.5A CN113538615B (zh) 2021-06-29 2021-06-29 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110730847.5A CN113538615B (zh) 2021-06-29 2021-06-29 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

Publications (2)

Publication Number Publication Date
CN113538615A true CN113538615A (zh) 2021-10-22
CN113538615B CN113538615B (zh) 2024-01-09

Family

ID=78097211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110730847.5A Active CN113538615B (zh) 2021-06-29 2021-06-29 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

Country Status (1)

Country Link
CN (1) CN113538615B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070213939A1 (en) * 2005-10-21 2007-09-13 Choong-Chin Liew Method and apparatus for correlating levels of biomarker products with disease
WO2012156530A1 (en) * 2011-05-19 2012-11-22 Signature Diagnostics Ag Methods and kits for diagnosing colorectal cancer
WO2012156529A1 (en) * 2011-05-19 2012-11-22 Signature Diagnostics Ag Methods and kits for diagnosing colorectal cancer
US20130287772A1 (en) * 2010-03-01 2013-10-31 Caris Life Sciences Luxembourg Holdings Biomarkers for theranostics
CN108596026A (zh) * 2018-03-16 2018-09-28 中国科学院自动化研究所 基于双流生成对抗网络的跨视角步态识别装置及训练方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112232156A (zh) * 2020-09-30 2021-01-15 河海大学 一种基于多头注意力生成对抗网络的遥感场景分类方法
CN112651329A (zh) * 2020-12-23 2021-04-13 中国人民解放军空军工程大学 一种双流特征学习生成对抗网络的低分辨率船舶分类方法
CN112733659A (zh) * 2020-12-30 2021-04-30 华东师范大学 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法
WO2021088300A1 (zh) * 2019-11-09 2021-05-14 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070213939A1 (en) * 2005-10-21 2007-09-13 Choong-Chin Liew Method and apparatus for correlating levels of biomarker products with disease
US20130287772A1 (en) * 2010-03-01 2013-10-31 Caris Life Sciences Luxembourg Holdings Biomarkers for theranostics
WO2012156530A1 (en) * 2011-05-19 2012-11-22 Signature Diagnostics Ag Methods and kits for diagnosing colorectal cancer
WO2012156529A1 (en) * 2011-05-19 2012-11-22 Signature Diagnostics Ag Methods and kits for diagnosing colorectal cancer
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108596026A (zh) * 2018-03-16 2018-09-28 中国科学院自动化研究所 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN108961272A (zh) * 2018-07-02 2018-12-07 浙江工业大学 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN111626317A (zh) * 2019-08-14 2020-09-04 广东省智能制造研究所 基于双流条件对抗生成网络的半监督高光谱数据分析方法
WO2021088300A1 (zh) * 2019-11-09 2021-05-14 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112232156A (zh) * 2020-09-30 2021-01-15 河海大学 一种基于多头注意力生成对抗网络的遥感场景分类方法
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112651329A (zh) * 2020-12-23 2021-04-13 中国人民解放军空军工程大学 一种双流特征学习生成对抗网络的低分辨率船舶分类方法
CN112733659A (zh) * 2020-12-30 2021-04-30 华东师范大学 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANGYU LIU ET AL: "Remote sensing image fusion based on two-stream fusion network", 《INFORMATION FUSION》, vol. 55, pages 1 - 15, XP085911317, DOI: 10.1016/j.inffus.2019.07.010 *
YITING TAO ET AL: "GAN-Assisted Two-Stream Neural Network for High-Resolution Remote Sensing Image Classification", 《REMOTE SENSING》, vol. 9, no. 1328, pages 1 - 29 *
赵增顺;高寒旭;孙骞;滕升华;常发亮;DAPENG OLIVER WU;: "生成对抗网络理论框架、衍生模型与应用最新进展", 小型微型计算机系统, no. 12, pages 44 - 48 *

Also Published As

Publication number Publication date
CN113538615B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN108921225B (zh) 一种图像处理方法及装置、计算机设备和存储介质
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
Yin et al. FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN110555434A (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN112750201B (zh) 三维重建方法及相关装置、设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
CN117409192B (zh) 一种基于数据增强的红外小目标检测方法及装置
CN111462208A (zh) 一种基于双目视差和外极线约束的无监督深度预测方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN109658508B (zh) 一种多尺度细节融合的地形合成方法
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
CN113538615A (zh) 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN114708591A (zh) 基于单字连接的文档图像中文字符检测方法
CN114862699A (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN111047571B (zh) 一种具有自适应选择训练过程的图像显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant