CN113744159A - 一种遥感图像去雾方法、装置及电子设备 - Google Patents
一种遥感图像去雾方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113744159A CN113744159A CN202111056318.8A CN202111056318A CN113744159A CN 113744159 A CN113744159 A CN 113744159A CN 202111056318 A CN202111056318 A CN 202111056318A CN 113744159 A CN113744159 A CN 113744159A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- layer
- fog
- sensing image
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000003860 storage Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供了一种遥感图像去雾方法、装置及电子设备,其中,该方法包括:根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用生成对抗网络中的判别器模型对生成器模型进行调整;将待去雾的有雾遥感图像划分为多个预设规格的目标图块,将多个目标图块分别输入至生成器模型,得到多个预设规格的无雾图块;对多个无雾图块进行合成,得到与待处理的有雾遥感图像同规格的无雾遥感图像。通过本发明实施例提供的遥感图像去雾方法、装置及电子设备,可以设置较小的预设规格,从而降低训练生成对抗网络的复杂度;不需要任何的人工干预,也无需总结云雾成像规律,能够自适应地实现高效去除遥感图像中的薄云或雾。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种遥感图像去雾方法、装置、电子设备及计算机可读存储介质。
背景技术
当遥感卫星在几十或几百米高空处对地面进行遥感拍摄时,所拍摄的图像常常会受到大气层中云雾的干扰,较薄的云雾虽然没有完全遮挡住地面的景物,但是会对地面景物的成像效果带来明显影响,因此,薄云或雾的去除已成为遥感图像处理的前端任务。
目前,已有学者针对薄云或雾的去除提出了许多不同方案,例如:均值滤波、中值滤波、同态滤波、暗通道先验等。前三种方案都是将薄云或雾当作图像噪声来处理,以实现对云雾的去除;而暗通道先验方案是人工的总结薄云或雾的成像规律,从而实现云雾去除和恢复。上述方案虽然在一定程度上实现了云雾的去除,但去云雾后的结果图像严重失真,亮度、对比度等均与真实图像存在巨大的差异;并且,处理过程需要人工总结云雾成像规律,比较依赖先验知识。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种遥感图像去雾方法、装置、电子设备及计算机可读存储介质。
第一方面,本发明实施例提供了一种遥感图像去雾方法,包括:根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整;将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块,将多个所述目标图块分别输入至所述生成器模型,得到多个所述预设规格的无雾图块;对多个所述无雾图块进行合成,得到与所述待处理的有雾遥感图像同规格的无雾遥感图像。
可选地,预设规格为mn×mn;所述生成器模型包括:n个依次设置的编码层和n个依次设置的解码层;第1个所述编码层用于将输入至所述生成器模型的、所述预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个所述编码层用于将第i-1个所述编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n];第1个所述解码层用于将第n个所述编码层输出的1×1的特征解码为的m×m特征,并输出;第j个所述解码层用于将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
可选地,每个所述编码层用于将输入至所述编码层的特征编码为具有更多通道数的特征;每个所述解码层用于将输入至所述解码层的特征解码为具有更少通道数的特征,且第j个所述解码层输出的特征的通道数小于第j-1个所述解码层输出的特征的通道数;并且,第j个所述解码层用于在通道的维度上将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合。
可选地,在所述训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整时,还包括:将无监督学习损失函数和监督学习损失函数相结合,优化所述生成对抗网络的损失函数。
可选地,预设规格为N×N,所述将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块包括:确定W×H的所述有雾遥感图像的行划分数a和列划分数b,且 表示向上取整函数;从所述有雾遥感图像中提取第1行、第1列的目标图块M1,1,且所述目标图块M1,1最后的像素点为所述有雾遥感图像中第N行、第N列的像素点pN,N;按照所述目标图块的行数和列数从小到大的顺序依次确定所述目标图块对应的行重叠数和列重叠数,且第u行、第v列的目标图块Mu,v对应的行重叠数wu和列重叠数hv依次为:
表示向下取整函数;u∈[2,a],v∈[2,b],w1=h1=0;从所述有雾遥感图像中提取第u行、第v列的目标图块Mu,v,且所述目标图块Mu,v最后的像素点为所述有雾遥感图像中第x行、第y列的像素点px,y,且:
第二方面,本发明实施例提供了一种遥感图像去雾装置,包括:训练模块、处理模块以及合成模块。
训练模块用于根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整。
处理模块用于将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块,将多个所述目标图块分别输入至所述生成器模型,得到多个所述预设规格的无雾图块。
合成模块用于对多个所述无雾图块进行合成,得到与所述待处理的有雾遥感图像同规格的无雾遥感图像。
可选地,预设规格为mn×mn;所述生成器模型包括:n个依次设置的编码层和n个依次设置的解码层。
第1个所述编码层用于将输入至所述生成器模型的、所述预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个所述编码层用于将第i-1个所述编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n]。
第1个所述解码层用于将第n个所述编码层输出的1×1的特征解码为的m×m特征,并输出;第j个所述解码层用于将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
可选地,每个所述编码层用于将输入至所述编码层的特征编码为具有更多通道数的特征。
每个所述解码层用于将输入至所述解码层的特征解码为具有更少通道数的特征,且第j个所述解码层输出的特征的通道数小于第j-1个所述解码层输出的特征的通道数。
并且,第j个所述解码层用于在通道的维度上将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合。
第三方面,本发明实施例提供了一种电子设备,包括:总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述收发器、所述存储器和所述处理器通过所述总线相连,所述计算机程序被所述处理器执行时实现如上所述的遥感图像去雾方法中的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括:可读存储介质上存储的计算机程序;所述计算机程序被处理器执行时实现如上所述的遥感图像去雾方法中的步骤。
本发明实施例提供的遥感图像去雾方法、装置、电子设备及计算机可读存储介质,通过将有雾遥感图像进行划分,使信息量过多的高清遥感图像切分为多个信息量相对较小的目标图块,并利用生成对抗网络对每个目标图块进行去雾处理,最终将每个目标图块合成复原,以得到无雾遥感图像。该方法可以设置较小的预设规格,从而可以降低训练生成对抗网络的复杂度;相比于现有方案来说,该方法不需要任何的人工干预,也无需总结云雾成像规律,能够自适应地实现高效去除遥感图像中的薄云或雾。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1示出了本发明实施例所提供的一种遥感图像去雾方法的流程图;
图2示出了本发明实施例所提供的遥感图像去雾方法的一种详细流程图;
图3示出了本发明实施例所提供的遥感图像去雾装置的结构示意图;
图4示出了本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
图1示出了本发明实施例所提供的一种遥感图像去雾方法的流程图。如图1所示,该方法包括步骤101-103。
步骤101:根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用生成对抗网络中的判别器模型对生成器模型进行调整。
其中,生成对抗网络类似于博弈的过程,其可以包括生成器和判别器,生成器是一种用于产生指定分布数据的模型,并且可以将输入的数据生成文字、图像或者视频等数据;而判别器的本质是一种二分类模型,会对生成器生成的图像等数据进行判断,判断该数据是否是真实的训练数据中的数据。在本发明实施例中,建立了可以对图像数据进行去雾处理的生成器模型和可以对该生成器模型的生成图像进行判断真伪的判别器模型,从而建立生成对抗网络。通过将一定数量的预设规格的有雾样本图像和无雾样本图像做为训练数据集,可以训练得到生成对抗网络中的生成器模型;并且,利用生成对抗网络中的判别器模型对该生成器模型进行调整,可以得到生成结果更加逼真的生成器模型。其中,该预设规格能够表示图像的大小或分辨率,且无雾样本图像与有雾样本图像的预设规格相同。可选地,无雾样本图像与有雾样本图像的数量也可以相同。
步骤102:将待去雾的有雾遥感图像划分为多个预设规格的目标图块,将多个目标图块分别输入至生成器模型,得到多个预设规格的无雾图块。
本发明实施例中所涉及的遥感是从不同的角度、不同的高度探测地面目标的特性,具有覆盖范围宽、频率快、信息量大的特点。而遥感具体又可以包括航空遥感或卫星遥感,通过遥感获得的图像就是遥感图像,例如,遥感图像可以是航空遥感图像或者卫星遥感图像。拍摄遥感图像时通常会拍到大气层中云雾,虽然较薄的云雾没有完全遮挡住地面景物,但会使地面景物的成像效果变差,导致所拍摄的遥感图像是有雾且模糊的,本实施例将该类遥感图像称为有雾遥感图像。
本发明实施例中,在需要对有雾遥感图像进行去雾处理时,可以将待去雾的有雾遥感图像进行划分处理,得到多个预设规格的目标图块,该目标图块是用于输入至生成对抗网络中的生成器模型的输入数据,并且,经过该生成器模型的去雾处理可以将输入的该目标图块转换为相同预设规格的无雾图块。
步骤103:对多个无雾图块进行合成,得到与待处理的有雾遥感图像同规格的无雾遥感图像。
其中,将生成器模型经去雾处理所得到的多个无雾图块进行合成,能够得到无雾遥感图像,该无雾遥感图像的规格与待处理的有雾遥感图像的规格相同,即二者大小或分辨率相同。例如,将多个无雾图块通过拼接的方式重新合成为一张图片,该图片与处理前的有雾遥感图像大小相同。本实施例中,对无雾图块执行的合成操作与对有雾遥感图像执行的划分操作是互逆的操作,即若按照某划分规则对有雾遥感图像进行划分,则需要按照与该划分规则相反的合成规则对多个无雾图块进行合成。
本发明实施例通过将有雾遥感图像进行划分,使信息量过多的高清遥感图像切分为多个信息量相对较小的目标图块,并利用生成对抗网络对每个目标图块进行去雾处理,最终将每个目标图块合成复原,以得到无雾遥感图像。该方法可以设置较小的预设规格,从而可以降低训练生成对抗网络的复杂度;相比于现有方案来说,该方法不需要任何的人工干预,也无需总结云雾成像规律,能够自适应地实现高效去除遥感图像中的薄云或雾。
可选地,预设规格为mn×mn;生成器模型包括:n个依次设置的编码层和n个依次设置的解码层。
本发明实施例中,输入至生成器模型的图像(如上述的无雾样本图像、有雾样本图像、目标图块)具有一定的预设规格N×N,可以将该图像的预设规格设置为mn×mn,即N=mn;其中,m和n均为正整数,且m>1。例如,m等于2,n等于4,则该图像的预设规格为24×24,即图像的分辨率为16×16。其中,该生成器模型包括编码层和解码层,编码层或者解码层的层数与该图像的预设规格相关,本发明实施例可以基于预设规格中n来确定该编码层或者解码层的层数,一般情况下,编码层或者解码层的层数均等于n。例如,当该图像的预设规格为24×24时,该生成器模型的编码层和解码层数量相同,均可以为4层,即生成器模型的编码次数为4次,生成器模型的解码次数也是4次;并且,该编码层或者该解码层是按序依次排列设置的,若编码层的层数为4,则4个编码层可以依次称为第1个编码层、第2个编码层、第3个编码层和第4个编码层,解码层同理,此处不再赘述。
第1个编码层用于将输入至生成器模型的、预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个编码层用于将第i-1个编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n]。
其中,第1个编码层用于处理输入至生成器模型的、预设规格为mn×mn的图像,并将该预设规格为mn×mn的图像编码处理为mn-1×mn-1的特征,并将该mn-1×mn-1的特征输出至下一个编码层,即第2个编码层,该第1个编码层输出特征的规格为mn-1×mn-1。例如,当m等于2、n等于4,编码层的层数为4时,能够确定该输入至该生成器模型的图像的预设规格为16×16,此时,第1个编码层能够将该预设规格为16×16图像进行编码处理,得到规格为8×8(24 -1×24-1)的特征。
本发明实施例中,在i的取值范围在2至n的情况下,第i个编码层用于处理输入至该第i个编码层的特征,即第i-1个编码层输出的特征;其中,第i-1个编码层所输出的特征是规格为mn-i+1×mn-i+1的特征,该mn-i+1×mn-i+1的特征经过该第i个编码层的处理能够得到并输出规格为mn-i×mn-i的特征。例如,在m等于2、n等于4、编码层的层数为4且i等于3的情况下,能够确定本次编码是由第3个编码层处理的,该第3个编码层可以将输入至其中的第2个编码层所输出的、规格为4×4(24-3+1×24-3+1)的特征编码处理为规格为2×2(24-3×24-3)的特征,并输出。
第1个解码层用于将第n个编码层输出的1×1的特征解码为的m×m特征,并输出;第j个解码层用于将第j-1个解码层输出的mj-1×mj-1的特征与第n-j+1个编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
其中,如上所述,第n个编码层所输出的特征的规格为1×1(mn-n×mn-n),第1个解码层用于处理由第n个编码层所输出的规格为1×1(m0×m0)的特征,并将该规格为1×1的特征通过解码处理为m×m(m1×m1)的特征,并输出至下一个解码层,即第2个解码层。例如,若m等于2,输入至该第1个解码层的特征的规格为1×1,此时,第1个解码层能够将该规格为1×1图像进行解码处理,得到规格为2×2(21×21)的特征。
本发明实施例中,在j的取值范围在2至n的情况下,第j个解码层用于处理输入至第j个解码层的特征,该输入至第j个解码层的特征包括第j-1个解码层输出的特征;其中,第j-1个解码层所输出的特征是规格为mj-1×mj-1的特征,将该规格为mj-1×mj-1的特征与第n-j+1个编码层所输出的、规格为mj-1×mj-1的特征进行结合得到结合结果,令该结合结果经过该第j个解码层进行解码处理,能够得到并输出规格为mj×mj的特征;并且,当j取值为n时,该第n个解码层的输出结果即可表示为该生成器模型的输出结果。其中,第n-j+1个编码层所输出的特征与第j-1个解码层所输出的特征是同规格的,且均为mj-1×mj-1的特征。
例如,在m等于2、n等于4、解码层的层数与编码层的层数相同均为4层、且j等于3的情况下,能够确定本次解码是由第3个解码层处理的,该第3个解码层可以将输入至其中的第2个解码层所输出的、规格为4×4(23-1×23-1)的特征与第2(4-3+1)个编码层所输出的、规格为4×4(23-1×23-1)的特征进行结合,并得到结合结果,之后,将该结合结果进行解码处理以得到8×8(23×23)的特征,并输出。
本发明实施例对生成对抗网络中的生成器模型进行改进,从第2个解码层起,每次对输入的特征进行解码时都分别结合了此前编码所得到的同规格特征,将该两种特征进行融合,融合的结果包含图像更多的细节信息,针对融合的结果再进行解码,以得到质量更高的图像,从而解决在图像去雾的过程中输出图像严重失真的问题。
可选地,每个编码层用于将输入至编码层的特征编码为具有更多通道数的特征。
本发明实施例中,输入至第1个编码层的预设规格的图像其本质也是一个特征;其中,在对特征进行逐层编码时,每一个编码层都能够将待处理的特征编码成具有更多通道数的特征,并且,经编码层所输出的特征的通道数是逐层递增的。其中,编码成为更多通道数的过程实际是在对待处理的特征进行提取时,尽量避免丢失过多的信息。例如,可以通过卷积的方式实现编码,即编码层可以为卷积层,预设第1个编码层的卷积核为64个,若输入至第1个编码层的、预设规格是16×16的特征(图像),其通道数如果是3个,即该特征的规格可以完整地表示为16×16×3。在经过该第1个编码层的编码处理后,可以得到8×8×64规格的特征。之后可以根据实际需要预设每一个编码层所用的卷积核数量,该卷积核的数量可以逐层增大,从而使每个编码层输出的特征可以具有逐层递增的通道数。
每个解码层用于将输入至解码层的特征解码为具有更少通道数的特征,且第j个解码层输出的特征的通道数小于第j-1个解码层输出的特征的通道数。并且,第j个解码层用于在通道的维度上将第j-1个解码层输出的mj-1×mj-1的特征与第n-j+1个编码层输出的mj-1×mj-1的特征进行结合。
其中,在对特征进行逐层解码时,每一个解码层都能够将输入的特征解码成具有更少通道数的特征,并且,经解码层所输出的特征的通道数是逐层递减的。由于解码处理能够增大特征的分辨率,例如第j个解码层能够将mj-1×mj-1的特征解码为mj×mj的特征,此时减少特征的通道数也不会造成丢失过多的信息;并且,在对待处理的特征进行解码的同时,通过将同规格的特征进行融合,能够为每次解码所输入的特征增加细节信息,尽量保证每次的解码结果不失真。
除第1个解码层以外,其余每个解码层在对上一解码层所输出的特征进行处理时,均需要将该特征与对应的编码层所输出的相同规格的特征进行结合,得到结合结果,并对该结合结果解码;本发明实施例中,解码层在通道的维度上将两个特征进行结合,即该两个特征在通道的维度上可以相互结合,该结合结果会根据上述两个特征的通道数而增加。例如,解码层可以为反卷积层,通过反卷积的处理方式实现解码,且后一个解码层所输出的特征的通道数小于前一个解码层所输出的特征的通道数。例如,m=2,n=4,第3个解码层可以将输入至其中的第2个解码层所输出的、包含128通道数的规格为4×4×128的特征,和与之相对应的第2个编码层所输出的、包含128通道数的规格为4×4×128的特征进行结合,并得到规格为4×4×256的结合结果,之后,将该4×4×256的结合结果进行反卷积处理,以得到8×8×64的特征,并输出,即可得到经过该第3个解码层所输出的特征的通道数比第2个解码层输出的特征的通道数少,且每个解码层输出的特征的通道数是逐层递减的。
本发明实施例中,遥感图像不同于其它普通图像,去雾的目的除为了在视觉上获得更好的效果外,更为了恢复和还原被雾气所遮挡的地物细节信息。因此,不仅要实现去雾效果,还要确保地物细节信息重建的还原度。为弥补该细节信息随着编码层与解码层的加深而逐渐丢失的问题,本发明在编码过程中对输入至编码层的特征的通道数进行增加,并且在解码过程中,基于输入至解码层的特征,和与其相对应的同等规格的编码层所输出的特征进行解码,其中编码层输出的特征包含了更多遥感地物的细节信息,且空间分辨率更高,而解码层输出的特征是高级的、抽象的语义信息,将二者结合能够得到保留较多细节信息的特征,保证了最终输出图像的细节与清晰度,提高了处理后输出图像的质量,解决了通过生成器模型生成的图像所具有的失真、细节受损问题。
可选地,“训练得到生成对抗网络中的生成器模型,并利用生成对抗网络中的判别器模型对生成器模型进行调整时”,该方法还包括:将无监督学习损失函数和监督学习损失函数相结合,优化生成对抗网络的损失函数。
其中,生成器模型用于生成去雾图像,判别器模型用于判断该生成器模型生成的去雾图像的真实性。通常情况下,生成器模型训练完成后,生成的去雾图像可能整体上看来去雾效果不错,并具有较高的分辨率,但却容易忽略细节信息,导致图像失真、去雾效果不佳。本发明实施例中,为了使该生成器模型所生成的去雾图像更加趋近于真实拍摄的无雾遥感图像,结合无监督学习和监督学习对该生成对抗网络进行训练。
具体地,生成对抗网络的原始损失函数为无监督学习损失函数,该原始损失函数能够关注图像的全局信息,并学习到雾的数据分布规律;但衡量去雾效果是一种全局的判断,可能会忽略遥感图像的细节信息,图像的局部区域可能会产生较大的随机性。对于去雾任务的数据集来说,是有标签的,属于监督学习的范畴。因此,本发明实施例加入传统的监督学习的损失函数对去雾过程进行约束,减少其随机性,保证去雾后的图像与原始无雾图像在细节上的相似,避免过多的破坏原地物信息,地物信息的还原度更高,实现去雾的同时也兼顾保真。
可选地,由于遥感图像与其它在生活中拍摄的图像尺寸不同,例如由天上的卫星所拍摄的遥感图像,单幅遥感图像的尺寸极大,包含的地理区域极广,蕴含的信息极多,基于此,将整幅遥感图像直接输入至生成器模型中进行去雾处理是不可取的,会导致生成器模型过于复杂,去雾处理效率较低,且难以保证模型训练效果以及最终的去雾效果。故如上述步骤102所示,本发明实施例将遥感图像分为多个小尺寸的目标图块,从而可以简化生成器模型的结构,以提高去雾效果。
其中,为了便于实现编码、解码,本发明实施例将输入至生成器模型的图像限制为具有相同的行和列,即预设规格的行和列是相同的,均为N,即预设规格为N×N;例如,如上所述,该预设规格可以为mn×mn。其中,上述步骤102“将待去雾的有雾遥感图像划分为多个预设规格的目标图块”可以包括:
本发明实施例中,用W和H分别表示有雾遥感图像分辨率的行数和列数,例如,有雾遥感图像的分辨率为600×800,则行数W=600,列数H=800,该有雾遥感图像在行的方向上有600个像素点,在列的方向上有800个像素点。上述的600×800只是为了举例说明,真实的有雾遥感图像的尺寸较大,一般远大于600×800。
本发明实施例基于W、H、N三者的大小关系确定如何划分该有雾遥感图像,确定在行的方向上能够分出多少目标图块,即行划分数a,以及确定在列的方向上能够分出多少目标图块,即列划分数b。本实施例采用向上取整的方式确定行划分数a和列划分数b,可以保证所有的目标图块能够覆盖完整的有雾遥感图像,也可以尽量减小目标图块之间重复的部分。其中,对任意整数进行向上取整,结果还是该整数本身;即,若W或H为N的整数倍,则相应的划分数为W或H与N的比值,即
步骤A2:从有雾遥感图像中提取第1行、第1列的目标图块M1,1,且目标图块M1,1最后的像素点为有雾遥感图像中第N行、第N列的像素点pN,N。
本发明实施例中,如上所述,在行的方向上,可以从有雾遥感图像中提取出a个目标图块,在列的方向上,可以从有雾遥感图像中提取出b个目标图块。将每个目标图块视为一个单元,对于从有雾遥感图像中提取出的第一个目标图块M1,1,其位于所有目标图块的第1行、第1列。由于目标图块的规格均为N×N,本实施例将有雾遥感图像中第1行、第1列的像素点p1,1至第N行、第N列的像素点pN,N之间的部分作为该目标图块M1,1,即该目标图块M1,1最后一行、最后一列对应的最后的像素点为有雾遥感图像中第N行、第N列的像素点pN,N。
步骤A3:按照目标图块的行数和列数从小到大的顺序依次确定目标图块对应的行重叠数和列重叠数,且第u行、第v列的目标图块Mu,v对应的行重叠数wu和列重叠数hv依次为:
本发明实施例中,由于W、H不一定是N的整数倍,且每个目标图块的规格都是固定的N×N,导致至少部分目标图块与相邻的其他目标图块可能是部分重叠的,本实施例以行重叠数和列重叠数表示该目标图块的重叠程度。其中,目标图块Mu,v的行重叠数wu表示该目标图块Mu,v与上一行的目标图块Mu-1,v之间重叠的像素数量,列重叠数hv表示该目标图块Mu,v与上一列的目标图块Mu,v-1之间重叠的像素数量。本发明实施例中,在确定行重叠数时,需要按照目标图块的行数从小到大的顺序依次确定,即先确定第2行的目标图块(如目标图块M2,1)的行重叠数w2,之后再确定第3行的目标图块(如目标图块M3,1)的行重叠数w2,……以此类推,直至确定最后一行的目标图块(如目标图块Ma,1)的行重叠数wa。相似的,在确定列重叠数时,需要按照目标图块的列数从小到大的顺序依次确定,即依次确定列重叠数h1、h2、…、hb。其中,对于同一行的目标图块,其具有相同的行重叠数;例如,目标图块Mu,1、Mu,2、Mu,b等的行重叠数均为wu;同样的,同一列的目标图块也具有相同的列重叠数。并且,行重叠数和列重叠数的初始值均为0,即w1=h1=0。
本发明实施例中,在行的方向上,所有的目标图块(共a个)具有a×N个像素点,而有雾遥感图像的行像素点数为W(W≤a×N),故所有的行重叠数总共为,a×N-W,即在确定每一行重叠数时,本实施例采用对剩余重叠数取平均值、并向下取整的方式来确定当前的行重叠数。例如,在确定第2行(即u=2)的目标图块的行重叠数w2时,共a-u+1=a-1个目标图块分所有的行重叠像素点,即行重叠数之后再确定其他目标图块的行重叠数时,例如在确定任意第u行的行重叠数wu时,由未确定行重叠数的目标图块(共a-u+1个)平分剩余的重叠像素点,且剩余的重叠像素点的数量为进而通过向下取整可以确定该行重叠数wu。
本发明实施例采用取均值并向下取整的方式确定行重叠数,可以保证行重叠数分布均匀,并且尽量为行数靠前的目标图块分配较小的行重叠数、甚至不分配行重叠数,将重叠的部分分配到有雾遥感图像的边角位置,使得用户观看最终合成的无雾遥感图像时不易观察到因像素重叠导致的异常。并且,对于最后一行的目标图块,即u=a时,由于a、N、W、wi均为整数,故:
因此,所有行重叠数之和为本实施例提供的确定行重叠数的方式可以保证所有的行重叠数与所需的重叠数一致,使得所有的目标图块在行的方向上能够完全覆盖有雾遥感图像。此外,本实施例确定列重叠数hv的过程与确定行重叠数的过程相似,此处不做详述。
步骤A4:从有雾遥感图像中提取第u行、第v列的目标图块Mu,v,且目标图块Mu,v最后的像素点为有雾遥感图像中第x行、第y列的像素点px,y,且:
本发明实施例中,对于第u行的目标图块,在确定行重叠数wu之后,可以确定该目标图块最后一行的像素点对应有雾遥感图像中第行的像素点,同样的,对于第v列的目标图块,该目标图块最后一列的像素点对应有雾遥感图像中第列的像素点。本实施例通过以上方式可以定位到每个目标图块最后一行、最后一列的像素点位于有雾遥感图像中的哪个位置,从而可以从有雾遥感图像中提取出每个目标图块,进而划分出所有的目标图块,目标图块的数量共a×b个,并且有雾遥感图像中最后一行、最后一列的像素点为pW,H,最后一个目标图块Ma,b最后的像素点也为pW,H。
需要说明的是,本发明实施例中的“划分”并不限定为无重叠式的剪裁。其中,若W和H为N的整数倍,划分出的目标图块之间互不重叠;但若W或H中的至少一个不是N的整数倍,则至少部分目标图块是与相邻(行方向上相邻,或者列方向上相邻)的其他目标图块之间存在重叠,该重叠程度的大小用上述的行重叠数、列重叠数表示。此外,本发明实施例中形如规格为A×B,并未限定该规格对应的通道数,例如,规格为A×B,并不用于限定该规格为A×B×1;即在存在通道数的情况下,规格为A×B,指的是该规格可以为A×B×1、A×B×2等,具体可基于实际情况而定。
下面通过一个实施例详细介绍该遥感图像去雾方法流程,参见图2所示,该方法包括以下步骤201-204。
步骤201:构建用于对遥感图像进行去雾操作的生成对抗网络。
其中,可以基于上述步骤101中所描述的过程构建生成对抗网络,此处不再赘述。
步骤202:将待去雾的有雾遥感图像划分为多个预设规格的目标图块。
其中,可以基于上述步骤A1-A4所描述的过程对待去雾的有雾遥感图像进行划分,此处不再赘述。
步骤203:将多个目标图块分别输入生成对抗网络中的生成器模型,得到多个预设规格的无雾图块。
步骤204:将多个预设规格的无雾图块进行合成,得到与待处理的有雾遥感图像同规格的无雾遥感图像。
本发明实施例还提供了一种遥感图像去雾装置,参见图3所示,该装置包括:训练模块31、处理模块32以及合成模块33。
训练模块31用于根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整。
处理模块32用于将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块,将多个所述目标图块分别输入至所述生成器模型,得到多个所述预设规格的无雾图块。
合成模块33用于对多个所述无雾图块进行合成,得到与所述待处理的有雾遥感图像同规格的无雾遥感图像。
可选地,预设规格为mn×mn;所述生成器模型包括:n个依次设置的编码层和n个依次设置的解码层。
第1个所述编码层用于将输入至所述生成器模型的、所述预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个所述编码层用于将第i-1个所述编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n]。
第1个所述解码层用于将第n个所述编码层输出的1×1的特征解码为的m×m特征,并输出;第j个所述解码层用于将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
可选地,每个所述编码层用于将输入至所述编码层的特征编码为具有更多通道数的特征。
每个所述解码层用于将输入至所述解码层的特征解码为具有更少通道数的特征,且第j个所述解码层输出的特征的通道数小于第j-1个所述解码层输出的特征的通道数;并且,第j个所述解码层用于在通道的维度上将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合。
可选地,在所述训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整时,训练模块31还用于:将无监督学习损失函数和监督学习损失函数相结合,优化所述生成对抗网络的损失函数。
可选地,预设规格为N×N,处理模块32包括:图块划分单元。
图像划分单元用于确定W×H的所述有雾遥感图像的行划分数a和列划分数b,且 表示向上取整函数;从所述有雾遥感图像中提取第1行、第1列的目标图块M1,1,且所述目标图块M1,1最后的像素点为所述有雾遥感图像中第N行、第N列的像素点pN,N;按照所述目标图块的行数和列数从小到大的顺序依次确定所述目标图块对应的行重叠数和列重叠数,且第u行、第v列的目标图块Mu,v对应的行重叠数wu和列重叠数hv依次为:
表示向下取整函数;u∈[2,a],v∈[2,b],w1=h1=0;从所述有雾遥感图像中提取第u行、第v列的目标图块Mu,v,且所述目标图块Mu,v最后的像素点为所述有雾遥感图像中第x行、第y列的像素点px,y,且:
本发明实施例提供的遥感图像去雾装置,通过将有雾遥感图像进行划分,使信息量过多的高清遥感图像切分为多个信息量相对较小的目标图块,并利用生成对抗网络对每个目标图块进行去雾处理,最终将每个目标图块合成复原,以得到无雾遥感图像。该装置可以设置较小的预设规格,从而可以降低训练生成对抗网络的复杂度;相比于现有方案来说,该装置不需要任何的人工干预,也无需总结云雾成像规律,能够自适应地实现高效去除遥感图像中的薄云或雾。
此外,本发明实施例还提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该收发器、该存储器和处理器分别通过总线相连,计算机程序被处理器执行时实现上述遥感图像去雾方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
具体的,参见图4所示,本发明实施例还提供了一种电子设备,该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中,该电子设备还包括:存储在存储器1150上并可在处理器1120上运行的计算机程序,计算机程序被处理器1120执行时实现上述遥感图像去雾方法实施例的各个过程。
收发器1130,用于在处理器1120的控制下接收和发送数据。
本发明实施例中,总线架构(用总线1110来代表),总线1110可以包括任意数量互联的总线和桥,总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个,包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port,AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制,这样的体系结构包括:工业标准体系结构(Industry Standard Architecture,ISA)总线、微通道体系结构(Micro Channel Architecture,MCA)总线、扩展ISA(Enhanced ISA,EISA)总线、视频电子标准协会(Video Electronics Standards Association,VESA)、外围部件互连(Peripheral Component Interconnect,PCI)总线。
处理器1120可以是一种集成电路芯片,具有信号处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括:通用处理器、中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、复杂可编程逻辑器件(Complex Programmable LogicDevice,CPLD)、可编程逻辑阵列(Programmable Logic Array,PLA)、微控制单元(Microcontroller Unit,MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如,处理器可以是单核处理器或多核处理器,处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成,或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory,RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
总线1110还可以将,例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起,总线接口1140在总线1110和收发器1130之间提供接口,这些都是本领域所公知的。因此,本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件,也可以是多个元件,例如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发器1130从其他设备接收外部数据,收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质,还可以提供用户接口1160,例如:触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解,在本发明实施例中,存储器1150可进一步包括相对于处理器1120远程设置的存储器,这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如,蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband,eMBB)系统、海量机器类通信(massive Machine Type of Communication,mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications,uRLLC)系统等。
应理解,本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器,或可包括易失性存储器和非易失性存储器两者。其中,非易失性存储器包括:只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存(Flash Memory)。
易失性存储器包括:随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如:静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中,存储器1150存储了操作系统1151和应用程序1152的如下元素:可执行模块、数据结构,或者其子集,或者其扩展集。
具体而言,操作系统1151包含各种系统程序,例如:框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序,例如:媒体播放器(Media Player)、浏览器(Browser),用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括:小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述遥感图像去雾方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
计算机可读存储介质包括:永久性和非永久性、可移动和非可移动媒体,是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括:电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定,计算机可读存储介质不包括暂时信号本身,例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
在本申请所提供的几个实施例中,应该理解到,所披露的装置、电子设备和方法,可以通过其他的方式实现。例如,以上描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的、机械的或其他的形式连接。
所述作为分离部件说明的单元可以是或也可以不是物理上分开的,作为单元显示的部件可以是或也可以不是物理单元,既可以位于一个位置,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(包括:个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
在本发明实施例的描述中,所属技术领域的技术人员应当知道,本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此,本发明实施例可以具体实现为以下形式:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外,在一些实施例中,本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式,该计算机可读存储介质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括:电、磁、光、电磁、红外或半导体的系统、装置或器件,或者以上任意的组合。计算机可读存储介质更具体的例子包括:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(Flash Memory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中,计算机可读存储介质可以是任意包含或存储程序的有形介质,该程序可以被指令执行系统、装置、器件使用或与其结合使用。
上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输,包括:无线、电线、光缆、射频(Radio Frequency,RF)或者以上任意合适的组合。
可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,例如:Java、Smalltalk、C++,还包括常规的过程式程序设计语言,例如:C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括:局域网(LAN)或广域网(WAN),可以连接到用户计算机,也可以连接到外部计算机。
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
应当理解,流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合,都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而生产出一种机器,这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行,产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样,存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
以上所述,仅为本发明实施例的具体实施方式,但本发明实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明实施例的保护范围之内。因此,本发明实施例的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种遥感图像去雾方法,其特征在于,包括:
根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整;
将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块,将多个所述目标图块分别输入至所述生成器模型,得到多个所述预设规格的无雾图块;
对多个所述无雾图块进行合成,得到与所述待处理的有雾遥感图像同规格的无雾遥感图像。
2.根据权利要求1所述的方法,其特征在于,所述预设规格为mn×mn;所述生成器模型包括:n个依次设置的编码层和n个依次设置的解码层;
第1个所述编码层用于将输入至所述生成器模型的、所述预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个所述编码层用于将第i-1个所述编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n];
第1个所述解码层用于将第n个所述编码层输出的1×1的特征解码为的m×m特征,并输出;第j个所述解码层用于将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
3.根据权利要求2所述的方法,其特征在于,
每个所述编码层用于将输入至所述编码层的特征编码为具有更多通道数的特征;
每个所述解码层用于将输入至所述解码层的特征解码为具有更少通道数的特征,且第j个所述解码层输出的特征的通道数小于第j-1个所述解码层输出的特征的通道数;
并且,第j个所述解码层用于在通道的维度上将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合。
4.根据权利要求1所述的方法,其特征在于,在所述训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整时,还包括:将无监督学习损失函数和监督学习损失函数相结合,优化所述生成对抗网络的损失函数。
5.根据权利要求1所述的方法,其特征在于,所述预设规格为N×N,所述将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块包括:
从所述有雾遥感图像中提取第1行、第1列的目标图块M1,1,且所述目标图块M1,1最后的像素点为所述有雾遥感图像中第N行、第N列的像素点pN,N;
按照所述目标图块的行数和列数从小到大的顺序依次确定所述目标图块对应的行重叠数和列重叠数,且第u行、第v列的目标图块Mu,v对应的行重叠数wu和列重叠数hv依次为:
从所述有雾遥感图像中提取第u行、第v列的目标图块Mu,v,且所述目标图块Mu,v最后的像素点为所述有雾遥感图像中第x行、第y列的像素点px,y,且:
6.一种遥感图像去雾装置,其特征在于,包括:训练模块、处理模块以及合成模块;
所述训练模块用于根据多个预设规格的无雾样本图像和有雾样本图像训练得到生成对抗网络中的生成器模型,并利用所述生成对抗网络中的判别器模型对所述生成器模型进行调整;
所述处理模块用于将待去雾的有雾遥感图像划分为多个所述预设规格的目标图块,将多个所述目标图块分别输入至所述生成器模型,得到多个所述预设规格的无雾图块;
所述合成模块用于对多个所述无雾图块进行合成,得到与所述待处理的有雾遥感图像同规格的无雾遥感图像。
7.根据权利要求6所述的装置,其特征在于,所述预设规格为mn×mn;所述生成器模型包括:n个依次设置的编码层和n个依次设置的解码层;
第1个所述编码层用于将输入至所述生成器模型的、所述预设规格的图像编码为mn-1×mn-1的特征,并输出;第i个所述编码层用于将第i-1个所述编码层输出的mn-i+1×mn-i+1的特征编码为mn-i×mn-i的特征,并输出,i∈[2,n];
第1个所述解码层用于将第n个所述编码层输出的1×1的特征解码为的m×m特征,并输出;第j个所述解码层用于将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合,并将结合结果解码为mj×mj的特征,j∈[2,n]。
8.根据权利要求7所述的装置,其特征在于,
每个所述编码层用于将输入至所述编码层的特征编码为具有更多通道数的特征;
每个所述解码层用于将输入至所述解码层的特征解码为具有更少通道数的特征,且第j个所述解码层输出的特征的通道数小于第j-1个所述解码层输出的特征的通道数;
并且,第j个所述解码层用于在通道的维度上将第j-1个所述解码层输出的mj-1×mj-1的特征与第n-j+1个所述编码层输出的mj-1×mj-1的特征进行结合。
9.一种电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的遥感图像去雾方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的遥感图像去雾方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056318.8A CN113744159B (zh) | 2021-09-09 | 2021-09-09 | 一种遥感图像去雾方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056318.8A CN113744159B (zh) | 2021-09-09 | 2021-09-09 | 一种遥感图像去雾方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744159A true CN113744159A (zh) | 2021-12-03 |
CN113744159B CN113744159B (zh) | 2023-10-24 |
Family
ID=78737509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111056318.8A Active CN113744159B (zh) | 2021-09-09 | 2021-09-09 | 一种遥感图像去雾方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744159B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
WO2023115915A1 (zh) * | 2021-12-22 | 2023-06-29 | 山东浪潮科学研究院有限公司 | 一种基于gan的遥感影像去云雾方法、设备、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
US20190325269A1 (en) * | 2018-04-20 | 2019-10-24 | XNOR.ai, Inc. | Image Classification through Label Progression |
CN111179202A (zh) * | 2019-12-31 | 2020-05-19 | 内蒙古工业大学 | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 |
CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
CN113298816A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种遥感图像语义分割方法、装置和计算机设备 |
-
2021
- 2021-09-09 CN CN202111056318.8A patent/CN113744159B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190325269A1 (en) * | 2018-04-20 | 2019-10-24 | XNOR.ai, Inc. | Image Classification through Label Progression |
CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
CN110322419A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种遥感图像去雾方法及系统 |
CN111179202A (zh) * | 2019-12-31 | 2020-05-19 | 内蒙古工业大学 | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 |
CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
CN113298816A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种遥感图像语义分割方法、装置和计算机设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023115915A1 (zh) * | 2021-12-22 | 2023-06-29 | 山东浪潮科学研究院有限公司 | 一种基于gan的遥感影像去云雾方法、设备、存储介质 |
CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
CN115471429B (zh) * | 2022-10-31 | 2023-04-07 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113744159B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
US9501818B2 (en) | Local multiscale tone-mapping operator | |
EP3707906B1 (en) | Electronic apparatus and control method thereof | |
US11386583B2 (en) | Image coding apparatus, probability model generating apparatus and image decoding apparatus | |
CN113744159B (zh) | 一种遥感图像去雾方法、装置及电子设备 | |
EP2916543A1 (en) | Method for coding/decoding depth image and coding/decoding device | |
CN111507909A (zh) | 一种有雾图像清晰化的方法、装置及存储介质 | |
US20230008085A1 (en) | Method for embedding watermark in video data and apparatus, method for extracting watermark in video data and apparatus, device, and storage medium | |
CN110569961A (zh) | 一种神经网络训练方法、装置及终端设备 | |
WO2021258959A1 (zh) | 图像修复的方法、装置及电子设备 | |
CN111968058A (zh) | 一种低剂量ct图像降噪方法 | |
JP2009509418A (ja) | 時間予測のための分類フィルタリング | |
US10186022B2 (en) | System and method for adaptive pixel filtering | |
Chen et al. | Naturalization module in neural networks for screen content image quality assessment | |
KR20190067111A (ko) | 움직임 흐림 제거 방법 및 장치 | |
CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
JP6065613B2 (ja) | 動画像符号化装置 | |
US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
KR20070040393A (ko) | 선명도 개선기를 포함한 비디오 프로세서 | |
CN111429458B (zh) | 一种图像还原的方法、装置及电子设备 | |
KR102083166B1 (ko) | 이미지 처리 방법 및 장치 | |
CN110782415A (zh) | 一种图像补全方法、装置及终端设备 | |
CN110650339A (zh) | 一种视频压缩方法、装置及终端设备 | |
CN111754412A (zh) | 构建数据对的方法、装置及终端设备 | |
JP2010068084A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |