CN112767243A - 一种高光谱图像超分辨率的实现方法及系统 - Google Patents
一种高光谱图像超分辨率的实现方法及系统 Download PDFInfo
- Publication number
- CN112767243A CN112767243A CN202011553197.3A CN202011553197A CN112767243A CN 112767243 A CN112767243 A CN 112767243A CN 202011553197 A CN202011553197 A CN 202011553197A CN 112767243 A CN112767243 A CN 112767243A
- Authority
- CN
- China
- Prior art keywords
- network
- spectrum
- resolution
- space
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001228 spectrum Methods 0.000 claims abstract description 117
- 230000003595 spectral effect Effects 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 72
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 7
- DKDSFVCSLPKNPV-UHFFFAOYSA-N disulfur difluoride Chemical compound FSSF DKDSFVCSLPKNPV-UHFFFAOYSA-N 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高光谱图像超分辨率的实现方法及系统，对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像，在空间信息恢复和光谱信息保存方面都体现了更好的性能。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种高光谱图像超分辨率的实现方法及系统。
背景技术
高光谱图像(HSI)有几十个甚至几百个波段，高光谱图像不仅具有丰富的空间纹理信息，而且还具有丰富的光谱信息，这一特性使其广泛应用于农业、医学、军事和遥感等领域。但是受高光谱传感器和光学成像系统的硬件限制，与全色图像或多光谱图像相比，高光谱图像具有较低的空间分辨率。这严重限制了它的进一步应用与发展，因此近年来，作为提高高光谱图像分辨率的主要技术之一高光谱图像超分辨率收到国内外研究者的广泛关注。
高光谱图像超分是一种在从低分辨率高光谱图像中获取高分辨率高光谱图像的技术，目前采用基于软件方法的超分辨率技术是提升高光谱图像空间分辨率的有效手段，它克服了硬件条件的限制。高光谱图像超分技术大多数是从RGB图像超分技术演变而来。对于RGB图像超分，近几十年来提出了许多研究。最近RGB图像超分问题由于使用了卷积神经网络而取得了很大的进展，受到启发，越来越多的学者采用卷积神经网络框架来进行高光谱图像超分研究。但是与RGB图像不同的是，高光谱图像由数百或数千个光谱波段组成，高光谱图像的光谱特征提取困难，容易导致重构的高光谱图像出现光谱信息丢失的问题。将卷积神经网络框架直接应用于高光谱图像超分，虽然能够提升空间分辨率，但是也会导致光谱特征损失严重。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中在高光谱图像超分辨率的实现时容易造成光谱特征损失的缺陷，从而提供一种高光谱图像超分辨率的实现方法及系统。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种高光谱图像超分辨率的实现方法，包括如下步骤：
对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；
将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。
在一实施例中，将低分辨的高光谱图像输入到光谱映射网络后，依次进行浅层光谱特征提取、深层光谱特征提取、光谱差融合及光谱信息重构处理。
在一实施例中，浅层光谱特征提取，利用一组3D卷积网络作为光谱映射网络的浅层特征提取网络，从低分辨率的高光谱图像提取浅层特征FSF作为光谱特征提取模块的输入；
深层光谱特征提取，将浅层特征FSF输入3D卷积层组成的光谱特征提取模块进一步进行特征提取，将每一层网络的输出Fspe,i都与FSF,Fspe,1,Fspe,2…Fspe,i-1进行连接，最后将最终输出Fspe,c引入残差学习与FSF进行跳跃连接，输出特征图FSS；
光谱差融合，首先计算低分辨的高光谱图像的光谱差：
di＝Li-Li-1，
其中，i是通道索引，Li是第i通道，di为第i个通道的光谱差；
然后进行光谱融合，其过程为：
Fd＝d+FSS，
其中，d为光谱差，d＝[d1,d2,…dn]，将各个通道的均值与低分辨率的高光谱图像最后一个通道的差作为光谱差的第n个通道，FSS为光谱特征提取模块输出的特征图，Fd为融合后的特征；
光谱信息重构，将融合后的特征输入到一组3D卷积网络中进行光谱信息重构，输出光谱重构特征Fspectral。
在一实施例中，将低分辨的高光谱图像输入到空间重构网络后，依次进行空间下采样、空间特征提取和空间信息重构处理。
在一实施例中，空间下采样，通过2D卷积网络对低分辨的高光谱图像进行空间下采样将图像的大小缩小为原来的1/N；
空间特征提取，利用空间特征提取模块对空间下采样后的图像进行空间特征提取输出空间特征FS；
空间信息重构，将空间特征FS通过一组卷积网络和一层上采样网络进行空间信息重构，输出空间重构特征Fspatial。
在一实施例中，将光谱信息重构后的特征和空间信息重构后的特征进行融合，得到融合后的特征为：
FSSF＝Fspectral+Fspatial，
将融合的特征输入到一组3D卷积网络中获取到高分辨率的高光谱图像。
第二方面，本发明实施例提供一种高光谱图像超分辨率的实现系统，包括：
低分辨率的高光谱图像获取模块，用于对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；
高分辨率的高光谱图像生成模块，用于将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面的高光谱图像超分辨率的实现方法。
第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面的高光谱图像超分辨率的实现方法。
本发明技术方案，具有如下优点：
1、本发明提供了一种高光谱图像超分辨率的实现方法及系统，对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像，在空间信息恢复和光谱信息保存方面都体现了更好的性能。
2、本发明提供了一种高光谱图像超分辨率的实现方法，提出一种光谱差融合策略，可以在光谱映射网络中有效地探索波段之间的相关性，可以为光谱信息重构的过程提供准确的光谱参考，有利于减少光谱损失。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的高光谱图像超分辨率的实现方法的一个示例的流程图；
图2为本发明实施例中提供利用空谱特征提取网络生成高分辨率的高光谱图像的过程示意图；
图3为本发明实施例中提供的高光谱图像超分辨率的实现系统的一个具体示例的模块组成图；
图4为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种高光谱图像超分辨率的实现方法，如图1所示，该方法包括如下步骤：
步骤S1：对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像。
本发明实施例考虑到单图像低分辨率高光谱图像，首先使用插值的方法将其放大到与期望输出相同大小的低分辨高光谱图像，由于在插值的方法中仅考虑空间信息，插值过程中许多空间的细节信息已经丢失，而且光谱信息也出现失真，因此需要进行进一步提高分辨率的处理。
步骤S2：将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。
本发明实施例提供的光谱映射网络关注的是高光谱图像超分重构过程中尽可能保存更多的光谱信息，因此其用来学习低分辨率高光谱图像到高分辨率高光谱图像的光谱映射关系，以确保重构的高光谱图像的光谱信息接近所需的高光谱图像。低分辨的高光谱图像输入到光谱映射网络后对依次进行四个步骤的处理：浅层光谱特征提取，深度光谱特征提取，光谱差融合和光谱信息重构，其中浅层特征提取是从更浅的网络的值提取的，一般是在第一层网络从输入数据提取得到，提取到的浅层特征的表示能力不强，而深度光谱特征提取是在浅层特征的基础上提取的，一般越深的网络网络层提取的特征越细，表征能力越强，鲁棒性更好。利用光谱映射网络对低分辨的高光谱图像进行处理的具体过程为：
步骤S11：浅层光谱特征提取，如图2所示，利用一组3D卷积网络作为光谱映射网络的浅层特征提取网络，从低分辨率的高光谱图像提取浅层特征FSF作为光谱特征提取模块的输入。虽然低分辨率的高光谱图像的空间分辨率较低，但是却有着丰富的光谱信息，为了提取到深层次的光谱特征，首先要对低分辨率的高光谱图像进行浅层的光谱特征提取。
步骤S12：深度光谱特征提取，如图2所所示，将浅层特征FSF输入3D卷积层组成的光谱特征提取模块进一步进行特征提取，将每一层网络的输出Fspe,i都与FSF,Fspe,1,Fspe,2…Fspe,i-1进行连接，最后将最终输出Fspe,c引入残差学习与FSF进行跳跃连接，输出特征图FSS；深度光谱特征的提取是通过浅层特征传递到空谱特征提取模块的每一层实现的，在光谱特征提取模块中采用3D卷积核，以利于光谱特征的提取，当前的网络都与前面的网络进行直接连接，通过将浅层特征传递给光谱特征提取模块的每一层以改善光谱特征的流动和梯度。
步骤S13：光谱差融合，首先计算低分辨的高光谱图像的光谱差：
di＝Li-Li-1，
其中，i是通道索引，Li是第i通道，di为第i个通道的光谱差；
然后进行光谱融合，其过程为：
Fd＝d+FSS，
其中，d为光谱差，d＝[d1,d2,…dn]，将各个通道的均值与低分辨率的高光谱图像最后一个通道的差作为光谱差的第n个通道，FSS为光谱特征提取模块输出的特征图，Fd为融合后的特征；光谱差融合与残差网络的跳跃连接类似，跳跃连接解决了网络层数较深的情况下梯度消失的问题，而光谱差融合则解决了光谱信息重构过程中光谱信息丢失的问题。
步骤S14：光谱信息重构，将融合后的特征输入到一组3D卷积网络中进行光谱信息重构。在已经完成了对光谱特征的提取的基础上，在这一层网络中将学习提取到的光谱特征和低分辨的高光谱图像的映射关系，为了学习光谱信息的内在递归性，本发明实施例将卷积核的大小设为1×1，将光谱重建问题转化为网络映射学习问题。
本发明实施例将低分辨的高光谱图像输入到空间重构网络后，依次进行空间下采样、空间特征提取和空间信息重构处理，来提高图像的空间细节信息。利用空间重构网络对低分辨的高光谱图像进行处理的具体过程为：
步骤S21：空间下采样，通过2D卷积网络对低分辨的高光谱图像进行空间下采样将图像的大小缩小为原来的1/N；本发发明实施例中空间下采样由2层卷积网络完成，图2中downscale表示步长等于2的卷积层。低分辨的高光谱图像经过下采样网络后，图像的大小缩小为原来的1/4，这样设计的目的有以下两个有益效果：第一，是为了减少计算成本，一般来说HSI的尺寸较大，输入图像经过两层下采样网络后，图像的尺寸为原来的1/4(仅作为举例，不以此为限)，计算量大大减少；第二，是为了增加空间重构网络每一层网络的特征图，由于计算成本减少后续网络的卷积层数量和卷积核数量得到增加，获得更多的特征图以提取到更多的空间信息特征，对提高空间重构网络的性能具有重要意义。
步骤S22：空间特征提取，利用空间特征提取模块对空间下采样后的图像进行空间特征提取输出空间特征FS；与光谱映射网络类似，在空间重构网络也采用一组空间特征提取模块进行空间信息特征提取，但是空间重构网络中的空间特征提取模块有了以下改进：第一，空间重构网络关注的是提升空间细节信息，所用的卷积核都是2D卷积，进一步减少了计算复杂度；第二，空间重构网络的空间特征提取模块的网络层数量比光谱映射网络的多，能够得到更多的特征图，可以提取更多的空间信息特征，空间重构网络的空间特征提取模块中第c层的输出表示为Fspa,c，最后的连接结果为Fspa,C，空间特征提取模块的最后输出表示为FS。
步骤S23：空间信息重构，将空间特征FS通过一组卷积网络和一层上采样网络进行空间信息重构，输出空间重构特征Fspatial。
本发明实施例采用一层卷积核大小为1×1的卷积网络用于空间信息特征融合，1×1卷积层能够自适应地融合不同级别的一系列特征，这样得到的空间信息特征有更好的鲁棒性。空间信息特征融合后，我采用一个上采样网络来进行空间信息重构，上采样网络是由一个sub-pixel卷积层组成，sub-pixel卷积层是一种以增大图像尺寸为目的的反卷积层。利用因子r将一个像素的通道数据重新整形为一个通道中的r×r像素数据，这样就可以将大小为N×M×Hr2的特征图重组为一个大小为rN×rM×H数据，实现了上采样。这样经过sub-pixel卷积层后，得到的特征图恢复了下采样前的尺寸并完成了空间信息重构。
步骤S31：将光谱信息重构后的特征和空间信息重构后的特征进行融合，则融合后的特征为：
FSSF＝Fspectral+Fspatial，
步骤S32：将融合的特征输入到一组3D卷积网络中获取到高分辨率的高光谱图像。
本发明实施例提供的高光谱图像超分辨率的实现方法，利用空谱特征提取网络学习了低分辨率的高光谱图像和高分辨率的高光谱图像之间的映射关系，不需要额外的输入图像就能提高了空间分辨率，而且有很好的光谱保存能力，其中以在光谱映射网络中有效地探索波段之间的相关性，可以为光谱信息重构的过程提供准确的光谱参考，有利于减少光谱损失，通过实验结果验证了本发明提出的方法在空间信息恢复和光谱信息保存方面都比现有的方法有更好的性能。
实施例2
本发明实施例提供一种高光谱图像超分辨率的实现系统，如图3所示，包括：
低分辨率的高光谱图像获取模块1，用于对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
高分辨率的高光谱图像生成模块，用于将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。此模块执行实施例1中的步骤S21-步骤32所描述的过程，在此不再赘述。
本发明实施例提供的高光谱图像超分辨率的实现系统，利用空谱特征提取网络学习了低分辨率的高光谱图像和高分辨率的高光谱图像之间的映射关系，不需要额外的输入图像就能提高了空间分辨率，而且有很好的光谱保存能力，其中以在光谱映射网络中有效地探索波段之间的相关性，可以为光谱信息重构的过程提供准确的光谱参考，有利于减少光谱损失，通过实验结果验证了本发明提出的方法在空间信息恢复和光谱信息保存方面都比现有的方法有更好的性能。
实施例3
本发明实施例提供一种计算机设备，如图4所示，该设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图4以通过总线连接为例。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的高光谱图像超分辨率的实现方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。
一个或者多个模块存储在存储器52中，当被处理器51执行时，执行实施例1中的高光谱图像超分辨率的实现方法。
上述计算机设备具体细节可以对应参阅实施例1中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种高光谱图像超分辨率的实现方法，其特征在于，包括如下步骤：
对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；
将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。
2.根据权利要求1所述的高光谱图像超分辨率的实现方法，其特征在于，将低分辨的高光谱图像输入到光谱映射网络后，依次进行浅层光谱特征提取、深层光谱特征提取、光谱差融合及光谱信息重构处理。
3.根据权利要求2所述的高光谱图像超分辨率的实现方法，其特征在于，
浅层光谱特征提取，利用一组3D卷积网络作为光谱映射网络的浅层特征提取网络，从低分辨率的高光谱图像提取浅层特征FSF作为光谱特征提取模块的输入；
深层光谱特征提取，将浅层特征FSF输入3D卷积层组成的光谱特征提取模块进一步进行特征提取，将每一层网络的输出Fspe,i都与FSF,Fspe,1,Fspe,2…Fspe,i-1进行连接，最后将最终输出Fspe,c引入残差学习与FSF进行跳跃连接，输出特征图FSS；
光谱差融合，首先计算低分辨的高光谱图像的光谱差：
di＝Li-Li-1，
其中，i是通道索引，Li是第i通道，di为第i个通道的光谱差；
然后进行光谱融合，其过程为：
Fd＝d+FSS，
其中，d为光谱差，d＝[d1,d2,…dn]，将各个通道的均值与低分辨率的高光谱图像最后一个通道的差作为光谱差的第n个通道，FSS为光谱特征提取模块输出的特征图，Fd为融合后的特征；
光谱信息重构，将融合后的特征输入到一组3D卷积网络中进行光谱信息重构，输出光谱重构特征Fspectral。
4.根据权利要求3所述的高光谱图像超分辨率的实现方法，其特征在于，将低分辨的高光谱图像输入到空间重构网络后，依次进行空间下采样、空间特征提取和空间信息重构处理。
5.根据权利要求4所述的高光谱图像超分辨率的实现方法，其特征在于，
空间下采样，通过2D卷积网络对低分辨的高光谱图像进行空间下采样将图像的大小缩小为原来的1/N；
空间特征提取，利用空间特征提取模块对空间下采样后的图像进行空间特征提取输出空间特征FS；
空间信息重构，将空间特征FS通过一组卷积网络和一层上采样网络进行空间信息重构，输出空间重构特征Fspatial。
6.根据权利要求5所述的高光谱图像超分辨率的实现方法，其特征在于，将光谱信息重构后的特征和空间信息重构后的特征进行融合，得到融合后的特征为：
FSSF＝Fspectral+Fspatial，
将融合的特征输入到一组3D卷积网络中获取到高分辨率的高光谱图像。
7.一种高光谱图像超分辨率的实现系统，其特征在于，包括：
低分辨率的高光谱图像获取模块，用于对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；
高分辨率的高光谱图像生成模块，用于将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-6任一项所述的高光谱图像超分辨率的实现方法。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-6任一项所述的高光谱图像超分辨率的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011553197.3A CN112767243B (zh) | 2020-12-24 | 2020-12-24 | 一种高光谱图像超分辨率的实现方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011553197.3A CN112767243B (zh) | 2020-12-24 | 2020-12-24 | 一种高光谱图像超分辨率的实现方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767243A true CN112767243A (zh) | 2021-05-07 |
| CN112767243B CN112767243B (zh) | 2023-05-26 |
Family
ID=75694155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011553197.3A Active CN112767243B (zh) | 2020-12-24 | 2020-12-24 | 一种高光谱图像超分辨率的实现方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767243B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
| CN113628111A (zh) * | 2021-07-28 | 2021-11-09 | 西安理工大学 | 基于梯度信息约束的高光谱图像超分辨方法 |
| CN114998109A (zh) * | 2022-08-03 | 2022-09-02 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897737A (zh) * | 2017-01-24 | 2017-06-27 | 北京理工大学 | 一种基于超限学习机的高光谱遥感图像地物分类方法 |
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| CN108460342A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于卷积网和循环神经网络的高光谱图像分类方法 |
| CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
| CN109167924A (zh) * | 2018-10-24 | 2019-01-08 | 清华-伯克利深圳学院筹备办公室 | 基于混合相机的视频成像方法、系统、设备及存储介质 |
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
| CN111192193A (zh) * | 2019-11-26 | 2020-05-22 | 西安电子科技大学 | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 |
| CN111429355A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN111709882A (zh) * | 2020-08-06 | 2020-09-25 | 南京理工大学 | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 |
-
2020
- 2020-12-24 CN CN202011553197.3A patent/CN112767243B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897737A (zh) * | 2017-01-24 | 2017-06-27 | 北京理工大学 | 一种基于超限学习机的高光谱遥感图像地物分类方法 |
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| CN108460342A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于卷积网和循环神经网络的高光谱图像分类方法 |
| CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
| CN109167924A (zh) * | 2018-10-24 | 2019-01-08 | 清华-伯克利深圳学院筹备办公室 | 基于混合相机的视频成像方法、系统、设备及存储介质 |
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
| CN111192193A (zh) * | 2019-11-26 | 2020-05-22 | 西安电子科技大学 | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 |
| CN111429355A (zh) * | 2020-03-30 | 2020-07-17 | 新疆大学 | 一种基于生成对抗网络的图像超分辨率重建方法 |
| CN111709882A (zh) * | 2020-08-06 | 2020-09-25 | 南京理工大学 | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
| CN113628111A (zh) * | 2021-07-28 | 2021-11-09 | 西安理工大学 | 基于梯度信息约束的高光谱图像超分辨方法 |
| CN113628111B (zh) * | 2021-07-28 | 2024-04-12 | 西安理工大学 | 基于梯度信息约束的高光谱图像超分辨方法 |
| CN114998109A (zh) * | 2022-08-03 | 2022-09-02 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767243B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
| CN110717851B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN112767243A (zh) | 一种高光谱图像超分辨率的实现方法及系统 | |
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN109146788B (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN111161146B (zh) | 一种由粗糙到精细的单张图像超分辨率重建方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN113763299B (zh) | 一种全色与多光谱图像融合方法、装置及其应用 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN113139585B (zh) | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 | |
| CN109934771B (zh) | 基于循环神经网络的无监督遥感图像超分辨率重建方法 | |
| CN113033630A (zh) | 一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN110689509B (zh) | 基于循环多列3d卷积网络的视频超分辨率重建方法 | |
| CN113222819B (zh) | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN117252761A (zh) | 一种跨传感器遥感图像超分辨率增强方法 | |
| CN112085655B (zh) | 一种基于密集残差注意面部先验网络的人脸超分辨率方法 | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| CN115311184A (zh) | 基于半监督深度神经网络的遥感图像融合方法及系统 | |
| CN111724309B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN114429424B (zh) | 一种适用于退化方式不定的遥感图像超分重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |