CN111275632B - 多光谱图像锐化方法、装置、设备及存储介质 - Google Patents
多光谱图像锐化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111275632B CN111275632B CN202010020082.1A CN202010020082A CN111275632B CN 111275632 B CN111275632 B CN 111275632B CN 202010020082 A CN202010020082 A CN 202010020082A CN 111275632 B CN111275632 B CN 111275632B
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- multispectral
- multispectral image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003707 image sharpening Methods 0.000 title claims abstract description 31
- 238000002347 injection Methods 0.000 claims abstract description 106
- 239000007924 injection Substances 0.000 claims abstract description 106
- 238000001228 spectrum Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 20
- 238000000701 chemical imaging Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 239000000243 solution Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本发明提供一种多光谱图像锐化方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；并对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像；继而采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。通过多尺度细节注入网络模型中，每个尺度的卷积层提取多光谱图像在该尺度下的细节信息，并结合预处理后的多光谱图像，得到高空间分辨率的多光谱图像，提取多光谱图像的细节信息，提高锐化效果，同时提高了对于多光谱图像的锐化效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种多光谱图像锐化方法、装置、设备及存储介质。
背景技术
多光谱图像是指包含多个带的图像，每个带是一幅灰度图像。多光谱图像在灾情检测、情报收集和地质检测等领域得到了广泛的应用，因此，提升多光谱图像的空间分辨率也变得越来越重要。
相关技术中，通过卫星采集多光谱图像和全色图像，控制器采用小波变换、拉普拉斯金字塔的方式提取全色图像中的细节信息，并将该细节信息插入至多光谱图像中，得到高空间分辨率的多光谱图像。
但是，相关技术中，采用小波变换、拉普拉斯金字塔的方式获取高空间分辨率的多光谱图像，降低了获取高空间分辨率的多光谱图像的效率，且处理后的多光谱图像不够清晰。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种多光谱图像锐化方法、装置、设备及存储介质，以便解决相关技术中获取高空间分辨率的多光谱图像的效率较低，且处理后的多光谱图像不够清晰的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种多光谱图像锐化方法，包括：
分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；
对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；
采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。
进一步地，所述分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，包括：
分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；
对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；
所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。
进一步地，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。
进一步地，所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像之前，所述方法还包括:
对所述待处理图像进行分块采样，得到多个采样块；
所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，包括：
采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
进一步地，所述多尺度细节注入网络模型通过如下方式进行训练得到：
获取多光谱图像样本，以及全色图像样本；
分别对所述多光谱图像样本和所述全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；
对所述预处理后的多光谱图像样本和所述全色图像样本进行拼接处理，得到待处理图像样本；
采用所述多尺度细节注入网络模型，对所述待处理图像样本进行处理，得到所述多尺度细节注入网络模型输出的预测多光谱图像；
根据所述预测多光谱图像和所述多光谱图像样本对应的参照图像，确定所述多尺度细节注入网络模型的损失函数值；
根据所述损失函数值，对每个尺度的所述卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。
进一步地，每个尺度的所述卷积层包括多个子卷积层，每个尺度的所述卷积层中的最后一个子卷积层用以提取所述多光谱图像在所述尺度下的细节信息。
进一步地，所述细节注入层用以对所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像进行叠加处理，得到所述高空间分辨率的多光谱图像。
第二方面，本发明实施例还提供了一种多光谱图像锐化装置，包括：
预处理模块，用于分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；
拼接模块，用于对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；
输出模块，用于采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。
进一步地，所述预处理模块，具体用于分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。
进一步地，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。
进一步地，所述装置还包括：
获取模块，用于对所述待处理图像进行分块采样，得到多个采样块；
所述输出模块，具体用于采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
进一步地，所述多尺度细节注入网络模型通过如下方式进行训练得到：获取多光谱图像样本，以及全色图像样本；分别对所述多光谱图像样本和所述全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；对所述预处理后的多光谱图像样本和所述全色图像样本进行拼接处理，得到待处理图像样本；采用所述多尺度细节注入网络模型，对所述待处理图像样本进行处理，得到所述多尺度细节注入网络模型输出的预测多光谱图像；根据所述预测多光谱图像和所述多光谱图像样本对应的参照图像，确定所述多尺度细节注入网络模型的损失函数值；根据所述损失函数值，对每个尺度的所述卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。
进一步地，每个尺度的所述卷积层包括多个子卷积层，每个尺度的所述卷积层中的最后一个子卷积层用以提取所述多光谱图像在所述尺度下的细节信息。
进一步地，所述细节注入层用以对所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像进行叠加处理，得到所述高空间分辨率的多光谱图像。
第三方面，本发明实施例还提供了一种多光谱图像锐化设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
本发明的有益效果是：本发明实施例提供一种多光谱图像锐化方法、装置、设备及存储介质，分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；并对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像；继而采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的卷积层用以提取多光谱图像在尺度下的细节信息，细节注入层用以根据多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像，得到高空间分辨率的多光谱图像。通过多尺度细节注入网络模型中，每个尺度的卷积层提取多光谱图像在该尺度下的细节信息，并结合预处理后的多光谱图像，得到高空间分辨率的多光谱图像，可以更好的提取多光谱图像的细节信息，提高锐化效果，使得获取的多光谱图像的空间分辨率更高，同时提高了对于多光谱图像的锐化效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种多光谱图像锐化方法的流程示意图；
图2为本发明实施例提供的一种多光谱图像锐化方法的流程示意图；
图3为本发明实施例提供的一种多光谱图像锐化方法的流程示意图；
图4为本发明实施例提供的一种多尺度细节注入网络模型的训练方法的流程示意图；
图5为本发明实施例提供的一种多光谱图像锐化装置的结构示意图；
图6为本发明实施例提供的一种多光谱图像锐化装置的结构示意图；
图7为本发明实施例提供的一种多光谱图像锐化设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本发明实施例提供的多光谱图像锐化方法，可以由多光谱图像锐化设备执行，该多光谱图像锐化设备可以为具有图像处理功能的计算机设备或服务器执行，该计算机设备可以为终端，例如计算机、电脑、平板电脑等，还可以为其他具备数据处理功能的设备执行，本发明实施例对此不进行具体限制。
图1为本发明实施例提供的一种多光谱图像锐化方法的流程示意图，如图1所示，该方法可包括：
S101、分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像。
其中，多光谱图像和全色图像是由卫星上设置的传感器所采集的同一区域的图像。
在一种可能的实施方式中，终端可以获取多光谱图像，以及与该多光谱图像匹配的全色图像，分别对该多光谱图像和全色图像平滑处理，得到平滑处理后的多光谱图像和全色图像，并对平滑处理后的多光谱图像和全色图像进行下采样处理，得到下采样后的多光谱图像和预处理后的全色图像，对下采样后的多光谱图像进行上采样处理，得到预处理后的多光谱图像。
需要说明的是，多光谱图像为IKONOS(伊科诺斯)卫星所发送的数据，这多光谱图像可以由4个波段组成，分别对应红、绿、蓝和近红外波段。全色图像和高光谱图像空间分辨率之比为4:1，例如，全色图像的尺寸可以为256×256，多光谱图像的尺寸可以为64×64。
S102、对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像。
其中，终端可以在第三个维度上对预处理后的多光谱图像和全色图像进行拼接。
在一些实施方式中，终端可以将预处理后的多光谱图像作为前部分的波段数据，将预处理后的全色图像作为后部分的波段数据进行拼接，得到拼接后的图像，对拼接后的图像进行分块采样，得到待处理图像。
例如，终端可以将预处理后的多光谱图像作为前b个波段数据，将预处理后的多光谱图像作为前b+1个波段数据，进行拼接得到拼接后的图像。
S103、采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
其中，多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的卷积层用以提取多光谱图像在尺度下的细节信息，细节注入层用以根据多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像，得到高空间分辨率的多光谱图像。
在一些实施方式中，预设的多尺度细节注入网络模型中的多个尺度的卷积层，可以根据预设尺寸的卷积核对待处理图像进行卷积处理，并采用线性整流函数进行激活处理，得到多个尺度下的细节信息，多尺度细节注入网络模型可以根据多个尺度下的细节信息和预处理后的多光谱图像，得到锐化后的多光谱图像，即高空间分辨率的多光谱图像。
在本发明实施例中，预处理后的多光谱图像可以为低分辨率的多光谱图像，多尺度细节注入网络模型可以为基于多尺度细节的卷积神经网络模型。
综上所述，本发明实施例提供一种多光谱图像锐化方法，分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；并对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像；继而采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的卷积层用以提取多光谱图像在尺度下的细节信息，细节注入层用以根据多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像，得到高空间分辨率的多光谱图像。通过多尺度细节注入网络模型中，每个尺度的卷积层提取多光谱图像在该尺度下的细节信息，并结合预处理后的多光谱图像，得到高空间分辨率的多光谱图像，可以更好的提取多光谱图像的细节信息，提高锐化效果，使得获取的多光谱图像的空间分辨率更高，同时提高了对于多光谱图像的锐化效率。
可选的，图2为本发明实施例提供的一种多光谱图像锐化方法的流程示意图，如图2所示，上述S101，可以包括：
S201、分别对多光谱图像和全色图像进行下采样，得到低分辨率的多光谱图像和全色图像。
在一种可能的实施方式中，终端可以通过与采集多光谱图像和全色图像的传感器的调制传递函数，相对应的高斯滤波器对多光谱图像和全色图像进行平滑处理，得到平滑处理后的多光谱图像和全色图像，根据预设倍数对平滑处理后的多光谱图像和全色图像进行下采样，得到低分辨率的多光谱图像和全色图像。
例如，多光谱图像对应的数据可以为M∈Rl*w*b，其中，l和w分别表示多光谱图像的长和宽，b表示波段数，R表示全体实数的集合，多光谱图像对应的数据可以为P∈RL*W，L和W分别表示全色图像的长和宽，R表示全体实数的集合，L＝s*l，W＝s*w，s表示多光谱图像和全色图像的空间分辨率之比。终端可以对多光谱图像和全色图像，进行s倍的下采样，则得到的低分辨率的多光谱图像为得到的低分辨率的全色图像为P1∈Rl*w。
S202、对低分辨率的多光谱图像进行上采样，得到与低分辨率的全色图像的尺度相同的多光谱图像。
在一些实施方式中，根据多光谱图像和全色图像的空间分辨率的比值s，对低分辨率的多光谱图像，进行s倍的上采样，得到与低分辨率的全色图像的尺度相同的多光谱图像。
例如，低分辨率的多光谱图像为l和w分别表示多光谱图像的长和宽，b表示波段数，R表示全体实数的集合，s表示多光谱图像和全色图像的空间分辨率之比，对低分辨率的多光谱图像进行s倍的上采样，得到与低分辨率的全色图像的尺度相同的多光谱图像可以为/>l和w分别表示多光谱图像的长和宽，b表示波段数，R表示全体实数的集合。
在本发明实施例中，预处理后的多光谱图像可以为尺度相同的多光谱图像，预处理后的全色图像可以为低分辨率的全色图像。
可选的，待处理图像的部分波段数据为预处理后的多光谱图像的数据，待处理图像的另一部分波段数据为预处理后的全色图像的数据。
需要说明的是，待处理图像的前部分波段数据可以为预处理后的多光谱图像的数据，后部分的波段数据预处理后的全色图像的数据，当然前部分波段数据也可以为预处理后的全色图像的数据，后部分的波段数据可以为预处理后的多光谱图像的数据，本发明实施例对此不进行具体限制。
可选的，图3为本发明实施例提供的一种多光谱图像锐化方法的流程示意图，如图3所示，在上述S103之前，该方法还包括：
S301、对待处理图像进行分块采样，得到多个采样块。
其中，待处理图像可以包括待处理多光谱图像和待处理全色图像，每个采样块可以包括部分多光谱图像，以及对应的部分全色图像。
在一种可能的实施方式中，终端可以根据预设间隔，同时对拼接后的待处理多光谱图像和待处理全色图像进行采样，则可以得到多个采样块，每个采样块包含的像素点数目较少。
需要说明的是，预设间隔可以为5个像素点，也可以为7个像素点，还可以为其他数目的像素点，本发明实施对此不进行具体限制。
上述S103可以包括：
S302、采用多尺度细节注入网络模型，对多个采样块进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
综上所述，通过对待处理图像进行分块采样，得到多个采样块，采用多尺度细节注入网络模型，对多个采样块进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。通过多尺度细节注入网络模型对输入的采样块进行处理，可以提高多尺度细节注入网络模型的处理速度，也提高了获取高空间分辨率的多光谱图像的效率。
可选的，上述多尺度细节注入网络模型可采用下述方式进行训练得到。下述多尺度细节注入网络模型的训练方法可由执行该多光谱图像退化方法的设备执行，也可以由其他设备执行，该其它设备例如可以为用于进行网络模型训练的计算机设备(终端)或服务器执行。图4为本发明实施例提供的一种多尺度细节注入网络模型的训练方法的流程示意图，如图4所示，该方法还包括：
S401、获取多光谱图像样本，以及全色图像样本。
其中，多光谱图像样本和全色图像样本是由卫星上设置的传感器所采集的同一区域的图像。
另外，多光谱图像样本，以及全色图像样本用于训练多尺度细节注入网络模型。
S402、分别对多光谱图像样本和全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本。
在本发明实施例中，对多光谱图像样本和全色图像样本进行预处理的方式，与上述S101中分别对多光谱图像和多光谱图像匹配的全色图像进行预处理的方式类似，此处不再一一赘述。
S403、对预处理后的多光谱图像样本和全色图像样本进行拼接处理，得到待处理图像样本。
需要说明的是，对预处理后的多光谱图像样本和全色图像样本进行拼接的方式，与上述S102中，对预处理后的多光谱图像和全色图像进行拼接的方式类似，此处不再一一赘述。
S404、采用多尺度细节注入网络模型，对待处理图像样本进行处理，得到多尺度细节注入网络模型输出的预测多光谱图像。
其中，终端可以通过卷积神经网络和线性整流函数，来构建多尺度细节注入模型，通过零均值的高斯分布随机初始化各层卷积核的权重参数和偏置参数。
在一种可能的实施方式中，预设的多尺度细节注入网络模型中的多个尺度的卷积层，可以根据预设尺寸的卷积核对待处理图像进行卷积处理，并采用线性整流函数进行激活处理，得到多个尺度下的细节信息，多尺度细节注入网络模型可以根据多个尺度下的细节信息和预处理后的多光谱图像，得到预测多光谱图像。
S405、根据预测多光谱图像和多光谱图像样本对应的参照图像，确定多尺度细节注入网络模型的损失函数值。
在本发明实施例中，终端可以通过欧氏距离损失函数，计算预测多光谱图像和多光谱图像样本对应的参照图像之间的损失函数值，也可以采用其他方式计算损失函数值，本发明实施例对此不进行具体限制。
另外，欧氏距离损失函数的表达式可以为θ表示多尺度细节注入网络模型预优化的参数集合，NP表示多个样本块的总数量，||.||F表示矩阵F-范数，M1 (i)为预设的多光谱图像样本对应的参照图像，O(i)为预测多光谱图像。
S406、根据损失函数值，对每个尺度的卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。
在一些实施方式中，终端可以采用自适应矩估计算法，根据损失函数值，对每个尺度的卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新，直至损失函数值满足预设条件时，得到多尺度细节注入网络模型，该多尺度细节注入网络模型中的权重矩阵和偏置矩阵为最优参数。
另外，当损失函数值稳定在预设范围时，则可以确定损失函数值满足预设条件时，当然，当损失函数小于预设阈值时，则也可以确定损失函数值满足预设条件时，本发明实施例对此不进行具体限制。
综上所述，通过计算损失函数，并根据损失函数来更新，多尺度细节注入网络模型中每个尺度的卷积层中卷积核的权重矩阵和/或偏置矩阵，使得多尺度细节注入网络模型的参数达到最优，当通过该基于最优参数的多尺度细节注入网络模型输出的多光谱图像，可以具有更多的细节信息，更高的空间分辨率。
可选的，每个尺度的卷积层包括多个子卷积层，每个尺度的卷积层中的最后一个子卷积层用以提取多光谱图像在尺度下的细节信息。
在一种可能的实施方式中，多尺度细节注入网络模型可以包括多个尺度卷积层，多个尺度卷积层可以为小尺度卷积层、中尺度卷积层和大尺度卷积层。小尺度卷积层、中尺度卷积层和大尺度卷积层均可以包括多个子卷积层。例如，小尺度卷积层的多个子卷积层可以为conv1层、conv2层、conv3层，中尺度卷积层的多个子卷积层可以为conv4层、conv5层、conv6层，大尺度卷积层的多个子卷积层可以为conv7层、conv8层、conv9层。
以小尺度卷积层的处理过程为例：将每个样本块输入至conv1层，conv1层中可以设置有16个大小为3*3的卷积核，在conv1层中，通过卷积核进行运算，并经过线性整流函数进行激活处理，则conv1层输出的特征图/>其中，/>表示输入的样本块，W1、B1分别表示conv1层中卷积核的权重矩阵和偏执矩阵，/>用于表示线性整流函数。
再将conv1层输出的特征图输入至conv2层，conv2层中可以设置有16个大小为3*3的卷积核，在conv2层中，通过卷积核进行运算，并经过线性整流函数进行激活处理，则conv2层输出的特征图/> 其中，/>表示conv1层输出的特征图，W2、B2分别表示conv2层中卷积核的权重矩阵和偏执矩阵，/>用于表示线性整流函数。
继而将conv2层输出的特征图输入至conv3层，conv3层中可以设置有b个大小为3*3的卷积核，在conv3层中，通过卷积核进行运算，并经过线性整流函数进行激活处理，则conv3层输出的特征图/> 其中，/>表示conv2层输出的特征图，W3、B3分别表示conv3层中卷积核的权重矩阵和偏执矩阵，/>用于表示线性整流函数。conv3层输出的特征图/>为小尺度卷积层输出的细节信息。
同理，中尺度卷积层的conv6层，即最后一个子卷积层，可以输出特征图大尺度卷积层的conv9层，即最后一个子卷积层，可以输出特征图/>
需要说明的是，中尺度卷积层的每个子卷积层的卷积核可以为5*5，大尺度卷积层的每个子卷积层的卷积核可以为7*7。
可选的，细节注入层用以对多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像进行叠加处理，得到高空间分辨率的多光谱图像。
在本发明实施例中，小尺度尺度卷积层输出细节信息可以为中尺度卷积层输出细节信息可以为/>大尺度卷积层输出细节信息可以为/>预处理后的多光谱图像可以为/>则叠加后所得到的高空间分辨率的多光谱图像/>
综上所述，本发明实施例提供的多光谱图像锐化方法，细节注入层根据每个尺度的卷积层中的最后一个子卷积层提取细节信息，和预处理后的多光谱图像进叠加处理，通过空间卷积模板的自动调整可以对待处理的多光谱图像产生自适应，使得得到的多光谱图像包含的空间特性更多，具有更多的细节信息，提高了多光谱图像的空间分辨率。
图5为本发明实施例提供的一种多光谱图像锐化装置的结构示意图，如图5所示，该装置包括：
预处理模块501，用于分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；
拼接模块502，用于对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像；
输出模块503，用于采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的卷积层用以提取多光谱图像在尺度下的细节信息，细节注入层用以根据多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像，得到高空间分辨率的多光谱图像。
可选的，预处理模块501，具体用于分别对多光谱图像和全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；对低分辨率的多光谱图像进行上采样，得到与低分辨率的全色图像的尺度相同的多光谱图像；预处理后的多光谱图像为尺度相同的多光谱图像，预处理后的全色图像为低分辨率的全色图像。
可选的，待处理图像的部分波段数据为预处理后的多光谱图像的数据，待处理图像的另一部分波段数据为预处理后的全色图像的数据。
可选的，如图6所示，装置还包括：
获取模块504，用于对待处理图像进行分块采样，得到多个采样块；
输出模块，具体用于采用多尺度细节注入网络模型，对多个采样块进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
可选的，多尺度细节注入网络模型通过如下方式进行训练得到：获取多光谱图像样本，以及全色图像样本；分别对多光谱图像样本和全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；对预处理后的多光谱图像样本和全色图像样本进行拼接处理，得到待处理图像样本；采用多尺度细节注入网络模型，对待处理图像样本进行处理，得到多尺度细节注入网络模型输出的预测多光谱图像；根据预测多光谱图像和多光谱图像样本对应的参照图像，确定多尺度细节注入网络模型的损失函数值；用于根据损失函数值，对每个尺度的卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。
可选的，每个尺度的卷积层包括多个子卷积层，每个尺度的卷积层中的最后一个子卷积层用以提取多光谱图像在尺度下的细节信息。
可选的，细节注入层用以对多光谱图像在多个尺度下的细节信息，以及预处理后的多光谱图像进行叠加处理，得到高空间分辨率的多光谱图像。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本发明实施例提供的一种多光谱图像锐化设备的结构示意图，该种多光谱图像锐化设备具备数据处理功能。
该计算机设备可以包括：处理器801、存储器802。
存储器802用于存储程序，处理器801调用存储器802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种多光谱图像锐化方法，其特征在于，包括：
分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，其中，所述多光谱图像和所述全色图像是由卫星上设置的传感器所采集的同一区域的图像；
对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；
采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。
2.如权利要求1所述的方法，其特征在于，所述分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，包括：
分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；
对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；
所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。
3.如权利要求2所述的方法，其特征在于，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。
4.如权利要求1所述的方法，其特征在于，所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像之前，所述方法还包括:
对所述待处理图像进行分块采样，得到多个采样块；
所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，包括：
采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。
5.如权利要求2所述的方法，其特征在于，所述多尺度细节注入网络模型通过如下方式进行训练得到：
获取多光谱图像样本，以及全色图像样本；
分别对所述多光谱图像样本和所述全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；
对所述预处理后的多光谱图像样本和所述全色图像样本进行拼接处理，得到待处理图像样本；
采用所述多尺度细节注入网络模型，对所述待处理图像样本进行处理，得到所述多尺度细节注入网络模型输出的预测多光谱图像；
根据所述预测多光谱图像和所述多光谱图像样本对应的参照图像，确定所述多尺度细节注入网络模型的损失函数值；
根据所述损失函数值，对每个尺度的所述卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。
6.如权利要求1所述的方法，其特征在于，每个尺度的所述卷积层包括多个子卷积层，每个尺度的所述卷积层中的最后一个子卷积层用以提取所述多光谱图像在所述尺度下的细节信息。
7.如权利要求1-6中任一所述的方法，其特征在于，所述细节注入层用以对所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像进行叠加处理，得到所述高空间分辨率的多光谱图像。
8.一种多光谱图像锐化装置，其特征在于，包括：
预处理模块，用于分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，其中，所述多光谱图像和所述全色图像是由卫星上设置的传感器所采集的同一区域的图像；
拼接模块，用于对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；
输出模块，用于采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。
9.一种多光谱图像锐化设备，其特征在于，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020082.1A CN111275632B (zh) | 2020-01-08 | 2020-01-08 | 多光谱图像锐化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020082.1A CN111275632B (zh) | 2020-01-08 | 2020-01-08 | 多光谱图像锐化方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275632A CN111275632A (zh) | 2020-06-12 |
| CN111275632B true CN111275632B (zh) | 2023-09-26 |
Family
ID=70998905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010020082.1A Active CN111275632B (zh) | 2020-01-08 | 2020-01-08 | 多光谱图像锐化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275632B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998041079A2 (en) * | 1997-03-17 | 1998-09-24 | Space Imaging, Inc. | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
| CN106204450A (zh) * | 2016-07-08 | 2016-12-07 | 咸阳师范学院 | 基于深度稀疏自编码的多尺度几何遥感图像融合方法 |
| CN109859110A (zh) * | 2018-11-19 | 2019-06-07 | 华南理工大学 | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 |
-
2020
- 2020-01-08 CN CN202010020082.1A patent/CN111275632B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998041079A2 (en) * | 1997-03-17 | 1998-09-24 | Space Imaging, Inc. | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
| CN106204450A (zh) * | 2016-07-08 | 2016-12-07 | 咸阳师范学院 | 基于深度稀疏自编码的多尺度几何遥感图像融合方法 |
| CN109859110A (zh) * | 2018-11-19 | 2019-06-07 | 华南理工大学 | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 石岩 ; .基于二维不可分形态小波变换的多光谱图像全色锐化方法.北京交通大学学报.2018,(05),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275632A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Learning spatial-spectral prior for super-resolution of hyperspectral imagery | |
| Zhang et al. | Pan-sharpening using an efficient bidirectional pyramid network | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Rao et al. | A residual convolutional neural network for pan-shaprening | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| Ran et al. | Remote sensing images super-resolution with deep convolution networks | |
| KR102556028B1 (ko) | 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| Li et al. | HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion | |
| CN116547694A (zh) | 用于对模糊图像去模糊的方法和系统 | |
| CN115311184A (zh) | 基于半监督深度神经网络的遥感图像融合方法及系统 | |
| Gao et al. | Unsupervised missing information reconstruction for single remote sensing image with Deep Code Regression | |
| Huang et al. | Pan-sharpening via multi-scale and multiple deep neural networks | |
| Qin et al. | Deep ResNet based remote sensing image super-resolution reconstruction in discrete wavelet domain | |
| Cui et al. | Exploring resolution and degradation clues as self-supervised signal for low quality object detection | |
| Liu et al. | Wavelet-based self-supervised learning for multi-scene image fusion | |
| CN111275632B (zh) | 多光谱图像锐化方法、装置、设备及存储介质 | |
| Moustafa et al. | Rapid real-time generation of super-resolution hyperspectral images through compressive sensing and GPU | |
| CN110807746B (zh) | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 | |
| CN114638761A (zh) | 一种高光谱图像全色锐化方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |