CN108230281A - 遥感图像处理方法、装置和电子设备 - Google Patents

Abstract

本申请公开了遥感图像处理方法、装置和电子设备。所述方法的一具体实施方式包括：匹配全色图像的特征与多光谱图像的特征，得到多个特征对；基于特征对，确定图像间映射矩阵；根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域；融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。该实施方式可以处理的遥感图像的范围更广，避免了位深度转换带来的图像精度的损失，提高了融合后的图像的精度。

Description

遥感图像处理方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，具体涉及计算机图像处理技术领域，尤其涉及遥感图像处理方法、装置和电子设备。

背景技术

同一光学遥感卫星常常会获取全色与多光谱两种图像。前者有较高空间分辨率，保证了数据的空间几何信息；后者有较高光谱分辨率，保证了数据中更丰富的光谱信息。为了更好的从这些数据中挖掘信息，可以将全色与多光谱数据进行融合，从而结合两类数据的空间分辨率优势和光谱分辨率优势。

在传统的遥感数据融合中，首先会对全色图像和多光谱图像进行数据间配准，然后对配准后的数据进行色彩转换。在进行数据间配准时，通常采用的遥感图像间配准方法主要为地理坐标配准方法和特征点配准方法。

发明内容

本提出一种遥感图像处理的技术方案。

第一方面，本申请提供了一种遥感图像处理方法，方法包括：匹配全色图像的特征与多光谱图像的特征，得到多个特征对；基于特征对，确定图像间映射矩阵；根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域；融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在一些实施例中，融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像包括：基于颜色空间变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；和/或基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在一些实施例中，基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像包括：基于以下一项或多项滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像：双边滤波变换、高斯滤波变换和引导滤波变换。

在一些实施例中，融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像包括：基于全色图像的重叠区域与多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域；确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度；根据相似度的最大值确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性；根据相关性，得到融合后的遥感图像。

在一些实施例中，全色图像的重叠区域和多光谱图像的重叠区域分别包括至少一个相互对应的局部窗口，每个局部窗口包括至少一个像素。

在一些实施例中，融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像包括：融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像；拼接相互对应的各个局部窗口的融合后的遥感图像，得到融合后的遥感图像。

在一些实施例中，融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像包括：基于相互对应的各个局部窗口，遍历全色图像的重叠区域和多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域中与相互对应的各个局部窗口相对应的局部窗口；确定相互对应的各个局部窗口中期望融合遥感图像和多光谱图像的相似度；根据相似度的最大值确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性；根据相关性，得到相互对应的各个局部窗口的融合后的遥感图像。

在一些实施例中，根据相关性，得到相互对应的各个局部窗口的融合后的遥感图像包括：确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性；根据对应像素的相关性融合全色图像的重叠区域和多光谱图像的重叠区域的相互对应的各个局部窗口的遥感图像。

在一些实施例中，确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性包括：根据包含对应像素的所有相互对应的局部窗口的相关性，确定各个局部窗口中对应像素的相关性。

在一些实施例中，根据包含对应像素的所有相互对应的局部窗口的相关性，确定对应像素的相关性包括：确定包含对应像素的所有相互对应的局部窗口的相关性的平均值，平均值为各个局部窗口中对应像素的相关性。

在一些实施例中，基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像包括：根据全色图像对多光谱图像的至少一通道进行滤波处理，得到融合后的遥感图像。

第二方面，本申请提供了一种遥感图像处理装置，装置包括：特征匹配单元，用于匹配全色图像的特征与多光谱图像的特征，得到多个特征对；映射矩阵确定单元，用于基于特征对，确定图像间映射矩阵；重叠区域确定单元，用于根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域；遥感图像融合单元，用于融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在一些实施例中，遥感图像融合单元包括：颜色空间变换子单元，用于基于颜色空间变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；和/或滤波变换子单元，用于基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在一些实施例中，滤波变换子单元包括以下一项或多项：双边滤波变换子单元，用于基于双边滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；高斯滤波变换子单元，用于基于高斯滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；引导滤波变换子单元，用于基于引导滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在一些实施例中，遥感图像融合单元包括：目标区域确定子单元，用于基于全色图像的重叠区域与多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域；相似度确定子单元，用于确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度；相关性确定子单元，用于根据相似度的最大值确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性；目标图像计算子单元，用于根据相关性，得到融合后的遥感图像。

在一些实施例中，重叠区域确定单元中的全色图像的重叠区域和多光谱图像的重叠区域分别包括至少一个相互对应的局部窗口，每个局部窗口包括至少一个像素。

在一些实施例中，遥感图像融合单元包括：局部窗口融合子单元，用于融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像；局部窗口拼接子单元，用于拼接相互对应的各个局部窗口的融合后的遥感图像，得到融合后的遥感图像。

在一些实施例中，局部窗口融合子单元包括：目标局部窗口确定子单元，用于基于相互对应的各个局部窗口，遍历全色图像的重叠区域和多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域中与相互对应的各个局部窗口相对应的局部窗口；局部窗口相似度确定子单元，用于确定相互对应的各个局部窗口中期望融合遥感图像和多光谱图像的相似度；局部窗口相关性确定子单元，用于根据相似度的最大值确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性；目标局部窗口融合子单元，用于根据相关性，得到相互对应的各个局部窗口的融合后的遥感图像。

在一些实施例中，目标局部窗口融合子单元包括：对应像素相关性确定子单元，用于确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性；基于像素相关性融合子单元，用于根据对应像素的相关性融合全色图像的重叠区域和多光谱图像的重叠区域的相互对应的各个局部窗口的遥感图像。

在一些实施例中，对应像素相关性确定子单元进一步用于：根据包含对应像素的所有相互对应的局部窗口的相关性，确定各个局部窗口中对应像素的相关性。

在一些实施例中，对应像素相关性确定子单元进一步用于：确定包含对应像素的所有相互对应的局部窗口的相关性的平均值，平均值为各个局部窗口中对应像素的相关性。

在一些实施例中，滤波变换子单元包括：根据全色图像对多光谱图像的至少一通道进行滤波处理，得到融合后的遥感图像。

第三方面，本申请提供了一种电子设备，包括：存储器，存储可执行指令；一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：匹配全色图像的特征与多光谱图像的特征，得到多个特征对；基于特征对，确定图像间映射矩阵；根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域；融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

本申请提供的遥感图像处理方法、装置和电子设备，通过首先匹配全色图像的特征与多光谱图像的特征，得到多个特征对；之后基于特征对，确定图像间映射矩阵；之后根据所述图像间映射矩阵，确定所述全色图像与多光谱图像的重叠区域；最后融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像，实现了全色图像和多光谱图像在重叠区域的图像融合，并且由于在图像融合过程中无需遥感图像具备地理坐标且无需图像在不同位深度间进行转换，从而可以处理的遥感图像的范围更广，避免了位深度转换带来的图像精度的损失，提高了融合后的图像的精度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的遥感图像处理方法的一个实施例的流程图；

图2是根据本申请的基于图像间映射矩阵计算图像的重叠区域的示意图；

图3是根据本申请实施例的融合全色图像的重叠区域与多光谱图像的重叠区域得到融合后的遥感图像的一个实施例的示意性流程图；

图4是根据本申请实施例的融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像的一个实施例的示意性流程图；

图5a是根据本申请的遥感图像处理方法的一个实施例的遥感图像中的全色图像；

图5b是与图5a中的全色图像配对获取的多光谱图像；

图5c为应用本申请的遥感图像处理方法的实施例融合图5a和图5b得到的全色多光谱图像；

图6是根据本申请的遥感图像处理装置的一个实施例的结构示意图；

图7是根据本申请的遥感图像融合单元的一个实施例的结构示意图；

图8是根据本申请的局部窗口融合子单元的一个实施例的结构示意图；

图9是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，图1示出了根据本申请的遥感图像处理方法的一个实施例的流程100。所述的遥感图像处理方法，包括以下步骤：

步骤101，匹配全色图像的特征与多光谱图像的特征，得到多个特征对。

在本实施例中，遥感图像处理方法运行于其上的电子设备(例如图1所示的服务器)可以对全色图像和多光谱图像分别提取特征。

这里的全色图像，是采用单通道探测器获取整个可见光波区(一般定义在0.38～0.76um间)的黑白图像。全色遥感图像一般空间分辨率高，但无法显示地物色彩。这里的多光谱图像，是指多波段探测器对地物辐射中多个单波段摄取的图像。多光谱图像的图像数据中会有多个波段的光谱信息。对各个不同的波段，分别赋予颜色标准(RGB)色彩模式，将得到彩色图像。例如，将R，G，B分别赋予R，G，B三个波段的光谱信息，合成将得到模拟真彩色图像。多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。

这里的匹配全色图像的特征与多光谱图像的特征，可以为匹配全色图像的特征点与多光谱图像的特征点，也可以为匹配全色图像的特征线与多光谱图像的特征线，还可以为匹配全色图像的其它特征与多光谱图像的其它特征。

示例性的，下面以特征点为例，说明全色图像的特征点与多光谱图像的特征点的提取和匹配。

特征点又称为兴趣点、关键点，它是在图像中突出且具有代表意义的一些明显点。提取特征点是在两张待匹配的图像中寻找那些最容易识别的像素点，例如角点，由图像中一些几何结构的关节点构成，很多都是线条之间产生的交点，又例如纹理丰富的物体边缘点。提取特征点的算法，可以为现有技术或未来发展的技术中能够具有一定程度抗尺度、色彩、仿射变化，具备鲁棒性特征点提取能力的算法，本申请对此不做限定。例如，可以通过尺度不变特征变换(SIFT)算法来提取特征点。

提取特征点通常可以包括以下两个步骤：提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点(角点)，比如纹理丰富的物体边缘点等；提取描述子，可以用一些数学上的特征对检测子进行描述，如梯度直方图，局部随机二值特征等，得到特征点的描述子。

在提取特征点之后，可以匹配全色图像的特征点与多光谱图像的特征点。首先，可以判断它们在两张图像中的对应关系，判断所用的算法可以为现有技术或未来发展的技术中判断特征点在两张图像中的对应关系的算法，本申请对此不做限定。例如，可以采用高维数据的快速最近邻算法(FLANN)判断描述子在两张图像中的对应关系。为了去除错误的匹配点，保留正确的匹配点，还可以采用现有技术或未来发展的技术中的消噪算法对得到的描述子进行消噪，本申请对此不做限定。例如，可以采用随机抽样一致性(RANSAC)算法对得到的描述子进行消噪。

步骤102，基于特征对，确定图像间映射矩阵。

在本实施例中，在步骤101得到的特征对的基础上，可以获取图像间映射矩阵。在这里，基于特征对确定图像间映射矩阵，可以为基于特征点对确定图像间映射矩阵，或者基于特征线对确定图像间映射矩阵，又或者基于其它特征对确定图像间映射矩阵。

示例性的，下面仍以特征点对为例，说明基于特征对确定图像间映射矩阵的过程：

假设(x₁,y₁)和(x₂,y₁)为提取到的两幅图像间同名像点(代表实际地物中的相同位置的一对像素点，称为同名像点)中的一对，那同名像点之间满足如下映射关系：

其中，A为仿射变换矩阵，其中参数a₁₁...a₃₃共同表达了图像间的相对关系中的平移、尺度缩放、旋转、剪切等具体参数，因此，可以利用同名像点求解上式中的参数矩阵A，也即得到图像间映射矩阵。这里可以采用现有技术或未来发展的技术中的确定参数矩阵的算法来确定参数矩阵，本申请对此不做限定。例如，可以采用RANSAC算法来确定参数矩阵。

步骤103，根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域。

在本实施例中，基于步骤102中得到的图像间映射矩阵，可以计算全色图像与多光谱图像的重叠区域，得到重叠图像。

示例性的，仍以基于特征点对确定的图像间映射矩阵为例，计算图像间重叠区域：

请参考图2，在图2中，基于图像间映射矩阵，可以计算A图像的重叠区域：A图像的重叠区域为多边形，设定多边形的顶点分别为点P₁、P₂、P₃、P₄，点P₂为A图像的右下点坐标，点P₁为B图像左上点坐标在A图像上的同名像点坐标，由上述图1中步骤103得到的映射关系，可以得出P₁在图像A中的实际坐标点，在计算点P₃的坐标时，可以由B图像的左下点坐标，计算其在A图像上的同名像点P′₃坐标，连线P₁P′₃，P₁P′₃与A图像下边界的交点为点P₃坐标；同理，在计算点P₄的坐标时，可以计算B图像的右上点坐标在A图像上的同名像点P′₄的坐标，连线P₁P′₄，P₁P′₄与A图像右边界的交点为点P₄坐标。计算得到点P₁、P₂、P₃、P₄在图像A中的坐标，也就得到A图像的重叠区域，根据图1中步骤103得到的映射关系，可以得到图像B的重叠区域，于是得到重叠区域的边界：P₁P₃、P₃P₂、P₂P₄、P₄P₁。

返回图1，步骤104，融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在本实施例中，可以通过多种方法融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像。例如，可以基于颜色空间变换融合全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像；备选地或附加地，还可以基于滤波变换融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像。

在本实施例的一些可选实现方式中，上述的基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像可以包括：基于以下一项或多项滤波变换融合全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像：双边滤波变换、高斯滤波变换和引导滤波变换。

在本实施例的一些可选实现方式中，上述的基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像可以包括：根据全色图像对多光谱图像的至少一通道进行滤波处理，得到融合后的遥感图像。

这里的多光谱图像的通道，是指传感器选择接收电磁波的能力，实际上就是指传感器的工作波段。传感器的每一个工作波段，都可以称之为一个通道。一台传感器能接收几个电磁波段，就称之为几通道传感器。例如，若一个工作波段为10到20nm，那么光谱区为0.4到2.5微米的就需要50到100多个光谱通道。

如背景技术中提到的，在传统的遥感数据融合中，首先会对全色图像和多光谱图像进行数据间配准，然后对配准后的数据进行色彩转换。在进行数据间配准时，通常采用的遥感图像间配准方法主要为地理坐标配准方法和特征点配准方法。

然而，在传统的遥感数据融合中，如采用地理坐标配准，由于存在地理坐标误差和图像畸变，会导致配准精度受到制约，并且这一配准方法并不适用于为了图像脱密而不具备地理坐标的图像。若采用特征点匹配，匹配中仍存在大量错误匹配，且原始遥感数据多为16位存储，在进行色彩转换时，会将16位存储转换为普通图像的8位存储，之后再在不同色彩空间进行转换。这样的转换伴随有16位到8位的精度损失，同时由于误差的存在，会使转换后数据的对比度不够，从而影响数据融合效果。

与之相比，本申请的上述实施例提供的遥感图像处理方法，通过首先匹配全色图像的特征与多光谱图像的特征，得到多个特征对；之后基于特征对，确定图像间映射矩阵；之后根据所述图像间映射矩阵，确定所述全色图像与多光谱图像的重叠区域；最后融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像，实现了全色图像和多光谱图像在重叠区域的图像融合，并且由于在图像融合过程中无需遥感图像具备地理坐标且无需图像在不同位深度间进行转换，从而可以处理的遥感图像的范围更广，避免了位深度转换带来的图像精度的损失，提高了融合后的图像的精度。

请参考图3，图3示出了根据本申请实施例的融合全色图像的重叠区域与多光谱图像的重叠区域得到融合后的遥感图像的一个实施例的示意性流程图。

本实施例的方法可包括如下步骤：

步骤301，基于全色图像的重叠区域与多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域。

在本实施例中，可以根据全色图像的重叠区域与多光谱图像的重叠区域中的同名像点对，确定期望融合遥感图像的重叠区域中与同名像点对对应的同名像点，从而得到融合后的遥感图像的重叠区域。这里的期望融合遥感图像，为融合全色图像的重叠区域与多光谱图像的重叠区域时期望达到的融合目标。

步骤302，确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度。

在本实施例中，理想的期望融合遥感图像应当与多光谱图像尽可能的相似，因此可以采用滤波变换算法来确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度。这里的滤波变换算法，可以为引导滤波变换、高斯滤波变换或双边滤波变换等。

步骤303，根据相似度的最大值确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性。

在本实施例中，根据步骤302中确定的相似度的最大值，可以确定期望融合遥感图像的重叠区域和全色图像的重叠区域的线性或非线性相关性。例如，可以通过引导滤波或高斯滤波确定期望融合遥感图像的重叠区域和全色图像的重叠区域的线性相关性，或者通过双边滤波确定期望融合遥感图像的重叠区域和全色图像的重叠区域的非线性相关性。

步骤304，根据相关性，得到融合后的遥感图像。

在本实施例中，在确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性之后，可以利用相关性将全色图像的重叠区域的各个像素的细节融合至融合后的遥感图像中相对应的各个像素中。

本申请的上述实施例提供的融合全色图像的重叠区域与多光谱图像的重叠区域得到融合后的遥感图像的方法，通过首先基于全色图像的重叠区域与多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域；之后确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度；之后根据相似度的最大值确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性；最后根据相关性，得到融合后的遥感图像，实现了基于与多光谱图像的最大相似度而保留多光谱图像的丰富色彩，并且基于期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性而得到融合后的遥感图像，保留了全色图像中的丰富细节，从而实现了高精度的图像融合。

在上述实施例的一些可选实现方式中，考虑到遥感图像的数据量较大，全色图像的重叠区域和多光谱图像的重叠区域可以分别包括至少一个相互对应的局部窗口，每个局部窗口包括至少一个像素。这里的局部窗口是指以任意像素k为中心以r(r>0)为半径的窗口，局部窗口中包括至少一个像素。

在上述实施例的一些可选实现方式中，融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像可以包括：融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像；拼接相互对应的各个局部窗口的融合后的遥感图像，得到融合后的遥感图像。

在本实现方式中，可以对相互对应的各个局部窗口的融合后的遥感图像进行拼接，从而得到融合后的遥感图像。在进行拼接时，可以首先对相互对应的各个局部窗口的边缘特征基于特征模板匹配特征，之后基于已匹配的特征进行融合。

请参考图4，图4示出了根据本申请实施例的融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像的一个实施例的示意性流程图。

如图4所示，本实施例的方法可以包括如下步骤：

步骤401，基于相互对应的各个局部窗口，遍历全色图像的重叠区域和多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域中与相互对应的各个局部窗口相对应的局部窗口。

在本实施例中，可以根据全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的同名像点对，之后确定期望融合遥感图像的重叠区域中与相互对应的各个局部窗口的同名像点对对应的同名像点，从而得到融合后的遥感图像的重叠区域中与相互对应的各个局部窗口相对应的局部窗口。

步骤402，确定相互对应的各个局部窗口中期望融合遥感图像和多光谱图像的相似度。

在本实施例中，由于理想的期望融合遥感图像应当与多光谱图像尽可能的相似，因此相互对应的各个局部窗口中的期望融合遥感图像与多光谱图像也应当尽可能的相似，在这里，可以采用滤波变换算法来确定相互对应的各个局部窗口中期望融合遥感图像和多光谱图像的相似度。这里的滤波变换算法，可以为引导滤波变换、高斯滤波变换或双边滤波变换等。

步骤403，根据相似度的最大值确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性。

在本实施例中，根据步骤402中确定的相似度的最大值，可以确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性，例如可以通过引导滤波或高斯滤波确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的线性相关性，或者通过双边滤波确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的非线性相关性。

步骤404，根据相关性，得到相互对应的各个局部窗口的融合后的遥感图像。

在本实施例中，在确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性之后，可以利用相关性将相互对应的各个局部窗口中全色图像的各个像素的细节融合至融合后的遥感图像与其对应的像素中。

在本实施例的一些可选实现方式中，上述的根据相关性，得到相互对应的各个局部窗口融合后的遥感图像可以包括：确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性；根据对应像素的相关性融合全色图像的重叠区域和多光谱图像的重叠区域的相互对应的各个局部窗口的遥感图像。

在本实施例的一些可选实现方式中，上述的确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性可以包括：根据包含对应像素的所有相互对应的局部窗口的相关性，确定各个局部窗口中对应像素的相关性。

在本实施例的一些可选实现方式中，上述的根据包含对应像素的所有相互对应的局部窗口的相关性，确定对应像素的相关性包括：确定包含对应像素的所有相互对应的局部窗口的相关性的平均值，平均值为各个局部窗口中对应像素的相关性。也即，在确定相互对应的局部窗口中每个像素的相关性时，计算包含此像素的所有局部窗口的相关性的平均值。

示例性的，下面以引导滤波变换为例，说明融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像的过程。

首先，可以定义引导滤波如下：

其中，q为融合后的遥感图像数据，q_i为融合后的融合遥感图像中的像素i，I为全色图像，I_i为全色图像中的像素i，q与I在以局部窗口ω_k(以像素k为中心r为半径的窗口)中存在局部线性关系，a_k和b_k分别为线性系数，且a_k和b_k在局部窗口ω_k中为常数，表示对像素i所属的每一个窗口ω_k进行计算取均值。

之后，假设p为原始输入的多光谱图像数据，为了得到理想的融合后的遥感图像数据，需要满足融合后的遥感图像数据q与原始输入的多光谱图像数据p尽可能相似的条件，于是求解a_k，b_k系数的问题可以转化为以下最优化问题：

采用线性回归求解上述求解公式，得到

其中，a_k和b_k分别为在局部窗口ω_k中为常数的线性系数，I为全色图像，I_i为全色图像中的像素i，ω_k为局部窗口(以像素k为中心r为半径的窗口)，p_i为多光谱图像中的像素i，ξ为预设的权重值，为全色图像在局部窗口ω_k中的方差，i∈ω_k表示像素i属于局部窗口ω_k，|ω|为窗口ω_k中的像素数量，μ_k为全色图像在局部窗口ω_k中的均值，为多光谱图像在窗口ω_k中的均值。

最后，根据上述求解得到的线性系数a_k和b_k，可以得到以下融合后的遥感图像：

其中，q_i为融合后的遥感图像中的像素i；|ω|为窗口ω_k中的像素数量，k:i∈ω_k表示k为像素i所属的局部窗口ω_k中的像素k，a_k和b_k分别为在局部窗口k中为常数的线性系数；I_i为全色图像中像素i，k∈ω_i表示像素k属于以像素i为中心的局部窗口ω_i。

继续参见图5a、图5b和图5c，图5a是遥感图像中的全色图像，图5b是遥感图像中与全色图像配对获取的多光谱图像，图5c为应用遥感图像处理方法融合全色图像和多光谱图像得到的融合后的遥感图像。

由图5a、图5b和图5c可以看出，对于充分表达空间细节信息的全色图像图5a和包含光谱信息的多光谱图像图5b，采用本申请中提供的遥感图像处理方法进行融合，可以得到图5c中所示的融合后的遥感图像，该融合后的遥感图像为高分辨率的多光谱图像，保留了全色图像的细节以及多光谱图像的光谱信息，从而提高了融合全色图像与多光谱图像得到融合后的遥感图像的精度。

进一步参考图6，作为对上述方法的实现，本申请提供了一种遥感图像处理装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的遥感图像处理装置600可以包括：特征匹配单元610、映射矩阵确定单元620、重叠区域确定单元630和遥感图像融合单元640。

特征匹配单元610，用于匹配全色图像的特征与多光谱图像的特征，得到多个特征对。

映射矩阵确定单元620，用于基于特征对，确定图像间映射矩阵。

重叠区域确定单元630，用于根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域。

遥感图像融合单元640，用于融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在本实施例的一些可选实现方式中，遥感图像融合单元包括：颜色空间变换子单元，用于基于颜色空间变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；和/或滤波变换子单元，用于基于滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在本实施例的一些可选实现方式中，滤波变换子单元包括以下一项或多项：双边滤波变换子单元，用于基于双边滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；高斯滤波变换子单元，用于基于高斯滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像；引导滤波变换子单元，用于基于引导滤波变换融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。

在本实施例的一些可选实现方式中，滤波变换子单元包括：根据全色图像对多光谱图像的至少一通道进行滤波处理，得到融合后的遥感图像。

本领域技术人员可以理解，上述遥感图像处理装置600还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图6中未示出。

进一步参考图7，作为对上述方法的实现，本申请提供了一种遥感图像融合单元的一个实施例，该装置实施例与图3所示的方法实施例相对应，由此，上文针对方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。该装置具体可以应用于各种电子设备中。

如图7所示，本实施例的遥感图像融合单元700可以包括：目标区域确定子单元710、相似度确定子单元720、相关性确定子单元730和目标图像计算子单元740。

其中，目标区域确定子单元710，用于基于全色图像的重叠区域与多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域。

相似度确定子单元720，用于确定期望融合遥感图像的重叠区域和多光谱图像的重叠区域的相似度。

相关性确定子单元730，用于根据相似度的最大值确定期望融合遥感图像的重叠区域和全色图像的重叠区域的相关性。

目标图像计算子单元740，用于根据相关性，得到融合后的遥感图像。

在本实施例的一些可选实现方式中，重叠区域确定单元中的全色图像的重叠区域和多光谱图像的重叠区域分别包括至少一个相互对应的局部窗口，每个局部窗口包括至少一个像素。

在本实施例的一些可选实现方式中，遥感图像融合单元包括：局部窗口融合子单元，用于融合全色图像的重叠区域与多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像；局部窗口拼接子单元，用于拼接相互对应的各个局部窗口的融合后的遥感图像，得到融合后的遥感图像。

进一步参考图8，作为对上述方法的实现，本申请提供了一种局部窗口融合子单元的一个实施例，该装置实施例与图4所示的方法实施例相对应，由此，上文针对方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。该装置具体可以应用于各种电子设备中。

如图8所示，本实施例的局部窗口融合子单元800可以包括：目标局部窗口确定子单元810、局部窗口相似度确定子单元820、局部窗口相关性确定子单元830和目标局部窗口融合子单元840。

其中，目标局部窗口确定子单元810，用于基于相互对应的各个局部窗口，遍历全色图像的重叠区域和多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域中与相互对应的各个局部窗口相对应的局部窗口。

局部窗口相似度确定子单元820，用于确定相互对应的各个局部窗口中期望融合遥感图像和多光谱图像的相似度。

局部窗口相关性确定子单元830，用于根据相似度的最大值确定相互对应的各个局部窗口中期望融合遥感图像和全色图像的相关性。

目标局部窗口融合子单元840，用于根据相关性，得到相互对应的各个局部窗口的融合后的遥感图像。

在本实施例的一些可选实现方式中，目标局部窗口融合子单元包括：对应像素相关性确定子单元，用于确定全色图像的重叠区域和多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性；基于像素相关性融合子单元，用于根据对应像素的相关性融合全色图像的重叠区域和多光谱图像的重叠区域的相互对应的各个局部窗口的遥感图像。

在本实施例的一些可选实现方式中，对应像素相关性确定子单元进一步用于：根据包含对应像素的所有相互对应的局部窗口的相关性，确定各个局部窗口中对应像素的相关性。

在本实施例的一些可选实现方式中，对应像素相关性确定子单元进一步用于：确定包含对应像素的所有相互对应的局部窗口的相关性的平均值，平均值为各个局部窗口中对应像素的相关性。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，计算机系统900包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信部912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器902和/或随机访问存储器903通信以执行可执行指令，通过总线904与通信部912相连、并经通信部912与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取预先标注的高光谱图像数据，其中，预先标注的高光谱图像数据包括高光谱图像中至少一部分图像特征的标注信息；随机选取预先标注的高光谱图像数据中的一部分作为第一图像数据；以及将第一图像数据作为训练数据训练预设的高光谱图像解译模型。

此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使处理器901执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至总线904。通信部912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，匹配全色图像的特征与多光谱图像的特征，得到多个特征对；基于特征对，确定图像间映射矩阵；根据图像间映射矩阵，确定全色图像与多光谱图像的重叠区域；融合全色图像的重叠区域与多光谱图像的重叠区域，得到融合后的遥感图像。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种遥感图像处理方法，其特征在于，所述方法包括：

匹配全色图像的特征与多光谱图像的特征，得到多个特征对；

基于所述特征对，确定图像间映射矩阵；

根据所述图像间映射矩阵，确定所述全色图像与多光谱图像的重叠区域；

融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像。

2.根据权利要求1所述的遥感图像的处理方法，其特征在于，其特征在于，所述融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像包括：

基于所述全色图像的重叠区域与所述多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域；

确定所述期望融合遥感图像的重叠区域和所述多光谱图像的重叠区域的相似度；

根据所述相似度的最大值确定所述期望融合遥感图像的重叠区域和所述全色图像的重叠区域的相关性；

根据所述相关性，得到融合后的遥感图像。

3.根据权利要求2所述的遥感图像的处理方法，其特征在于，所述融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像包括：

融合所述全色图像的重叠区域与所述多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像；

拼接所述相互对应的各个局部窗口的融合后的遥感图像，得到融合后的遥感图像。

4.根据权利要求3所述的遥感图像的处理方法，其特征在于，所述融合所述全色图像的重叠区域与所述多光谱图像的重叠区域中相互对应的各个局部窗口的遥感图像，得到相互对应的各个局部窗口的融合后的遥感图像包括：

基于所述相互对应的各个局部窗口，遍历所述全色图像的重叠区域和所述多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域中与所述相互对应的各个局部窗口相对应的局部窗口；

确定相互对应的各个局部窗口中所述期望融合遥感图像和所述多光谱图像的相似度；

根据所述相似度的最大值确定所述相互对应的各个局部窗口中所述期望融合遥感图像和所述全色图像的相关性；

根据所述相关性，得到所述相互对应的各个局部窗口的融合后的遥感图像。

5.根据权利要求4所述的遥感图像的处理方法，其特征在于，所述根据所述相关性，得到所述相互对应的各个局部窗口的融合后的遥感图像包括：

确定所述全色图像的重叠区域和所述多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性；

根据所述对应像素的相关性融合所述全色图像的重叠区域和所述多光谱图像的重叠区域的相互对应的各个局部窗口的遥感图像。

6.根据权利要求5所述的遥感图像处理方法，其特征在于，所述确定所述全色图像的重叠区域和所述多光谱图像的重叠区域中相互对应的各个局部窗口中对应像素的相关性包括：

根据包含所述对应像素的所有相互对应的局部窗口的相关性，确定所述各个局部窗口中对应像素的相关性。

7.根据权利要求6所述的遥感图像处理方法，其特征在于，所述根据包含所述对应像素的所有相互对应的局部窗口的相关性，确定所述对应像素的相关性包括：

确定包含对应像素的所有相互对应的局部窗口的相关性的平均值，所述平均值为所述各个局部窗口中对应像素的相关性。

8.一种遥感图像处理装置，其特征在于，所述装置包括：

特征匹配单元，用于匹配全色图像的特征与多光谱图像的特征，得到多个特征对；

映射矩阵确定单元，用于基于所述特征对，确定图像间映射矩阵；

重叠区域确定单元，用于根据所述图像间映射矩阵，确定所述全色图像与多光谱图像的重叠区域；

遥感图像融合单元，用于融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像。

9.根据权利要求8所述的遥感图像的处理装置，其特征在于，所述遥感图像融合单元包括：

目标区域确定子单元，用于基于所述全色图像的重叠区域与所述多光谱图像的重叠区域，确定期望融合遥感图像的重叠区域；

相似度确定子单元，用于确定所述期望融合遥感图像的重叠区域和所述多光谱图像的重叠区域的相似度；

相关性确定子单元，用于根据所述相似度的最大值确定所述期望融合遥感图像的重叠区域和所述全色图像的重叠区域的相关性；

目标图像计算子单元，用于根据所述相关性，得到融合后的遥感图像。

10.一种电子设备，其特征在于，包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：

匹配全色图像的特征与多光谱图像的特征，得到多个特征对；

基于所述特征对，确定图像间映射矩阵；

根据所述图像间映射矩阵，确定所述全色图像与多光谱图像的重叠区域；

融合所述全色图像的重叠区域与所述多光谱图像的重叠区域，得到融合后的遥感图像。