CN110532853A - 遥感超时相数据的分类方法及装置 - Google Patents

Abstract

本公开涉及遥感超时相数据的分类方法及装置，该方法包括：对目标遥感超时相数据进行影像配准；构建影像配准后的遥感超时相数据的退化模型；使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。由此，可以提高遥感超时相数据的分类精度。

Description

遥感超时相数据的分类方法及装置

技术领域

本公开涉及遥感图像处理技术领域，尤其涉及一种遥感超时相数据的分类方法及装置。

背景技术

超时相成像(英文：Hyper-Temporal Imaging，简称：HTI)，其针对某一关注区域获得的一系列的时间序列具有强连续性的图像数据，特别是针对高速运动目标，时间跨度太大的多时相数据不能全面迅速的反映运动目标的速度和走向趋势，因此需要对在一定时间内的持续观测所获得的超时相数据进行辨识和预测。

一直以来，遥感图像的超时相数据(可称为遥感超时相数据)的获取能力很大程度上制约着遥感图像的应用效率与相应处理技术的发展。随着我国近年来航天事业的迅猛发展，对地观测载荷和相应的观测数据呈爆炸的增长态势，为超时相遥感图像的获取创造了有利条件，特别是在越来越多航天光学载荷采用面阵CMOS探测器的趋势与背景下，可以通过面阵相机进行连续曝光来在极短的时间内获取超时相序列数据，或者通过卫星编队策略优化技术来获取来自不同卫星的同一目标区域的超时相序列数据。

遥感超时相数据具有时间上的有序性和空间上的连续性，能够提供大范围的动态观测影像，通过对目标进行连续拍摄、或通过对同一地域在不同时间拍摄的大量遥感数据的精细化分类及分析处理，能够实现对运动目标和静态目标的持续观测和监视，挖掘出运动目标和热点区域的变化信息。超时相数据可从单一载荷或多个载荷获取。单一载荷通过推帧工作模式和凝视视频模式获取。在推帧工作模式下，卫星不进行额外的姿态调整，通过面阵相机的连续拍摄获得具有一定重叠率的影像数据，对同一地物连续成像时间短；凝视视频工作模式需要转动相机主光轴以指向地面某一固定区域，从而进行持续成像以获取同一点在多视角下的图像数据。因此，利用遥感超时相数据开展空间分辨率提升、精细化分类的技术研究，为实现更精准的影像判读和目标识别检测提供了决策支持，提高了态势感知信息处理的能力。

常用的遥感影像分类方法主要有监督分类、非监督分类以及其他一些方法。这些方法受限于特定的高分辨率卫星影像，针对中低分辨率的卫星无法精准判读地物信息，且多源遥感影像数据的获取及后续处理带来的缺陷，也为遥感数据的信息互补、分析挖掘以及研判分析带来了一定的困难。

因此，现有技术中的遥感图像数据的分类方法是不合适的。

发明内容

有鉴于此，本公开提出了一种遥感超时相数据的分类方法及装置。

根据本公开的一方面，提供了一种遥感超时相数据的分类方法，包括：

对目标遥感超时相数据进行影像配准；

构建影像配准后的遥感超时相数据的退化模型；

使用退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。

进一步地，在对目标遥感超时相数据进行影像配准前还包括：获取目标遥感超时相数据；

进一步地，如果目标遥感超时相数据的幅宽大于阈值，则分类方法还包括：

从目标遥感超时相数据中裁切出感兴趣区域，

其中，对目标遥感超时相数据进行影像配准，包括：

对感兴趣区域中的遥感超时相数据进行影像配准。

进一步地，如果目标遥感超时相数据的工作模式为推帧工作模式，则从目标遥感超时相数据中裁切出感兴趣区域，包括：

利用公式计算目标遥感超时相数据在预定时间t秒内的卫星的速度，并且利用公式S＝v·t计算卫星的飞行距离，其中，R表示地球半径，H表示卫星高度，G表示万有引力，M表示地球质量，v表示卫星在t秒内的速度，S表示卫星在t秒内的飞行距离，t至少由帧率时间t₁、曝光时间t₂、以及休眠时间t₃组成；

通过将目标遥感超时相数据放入所建立的平面直角坐标系，利用公式height＝I_h-L_pixelC_group-2·Rv_pixel和width＝I_w-2·Rv_pixel，计算感兴趣区域的宽度和高度，其中，I_h表示原始图像的高度，L_pixel表示相邻帧之间发生的像素位移，C_group表示i帧遥感超时相数据的帧数，Rv_pixel表示像素的移动距离，I_w表示原始图像的宽度；

利用公式x＝Rv_pixel+(C_group-i)×L_pixel-Rv_pixel＝(C_group-i)×L_pixel和y＝Rv_pixel-Rv_pixel＝0，计算感兴趣区域的起点的坐标；

根据感兴趣区域的起点的坐标以及感兴趣区域的宽度和高度，从目标遥感超时相数据中裁切出感兴趣区域，

其中，利用公式计算L_pixel，r是卫星所携带的图像拍摄设备的分辨率。

进一步地，如果目标遥感超时相数据的工作模式为凝视视频工作模式，则从目标遥感超时相数据中裁切出感兴趣区域，包括：

根据需求确定感兴趣区域的开始点的坐标和结束点的坐标；

根据开始点的坐标和结束点的坐标，从目标遥感超时相数据中裁切出感兴趣区域。

进一步地，对目标遥感超时相数据进行影像配准，包括：

从目标遥感超时相数据中选择参考帧；

对参考帧进行波段分解，并且对目标遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

进一步地，对感兴趣区域中的遥感超时相数据进行影像配准，包括：

从感兴趣区域中的遥感超时相数据中选择参考帧；

对参考帧进行波段分解，并且对感兴趣区域中的遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

进一步地，构建影像配准后的遥感超时相数据的退化模型，包括：

根据遥感超时相低分辨率影像，计算模糊矩阵B、欠采样矩阵D和影像的加性噪声方差n；

根据配准映射矩阵M、模糊矩阵B、欠采样矩阵D和加性噪声方差n，建立退化模型为I_i＝DB_iM_ix+n_i,1≤i≤p，

其中，B_i是第i帧影像对应的模糊矩阵，x是原始高分辨率卫星影像；I_i是观测到的第i帧低分辨率卫星影像；M_i是第i帧影像对应的配准映射矩阵；n_i是第i帧影像对应的加性噪声方差，p为选取的遥感超时相数据的帧数。

进一步地，使用退化模型对影像配准后的遥感超时相数据进行超分辨率重建，包括：

基于退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

针对超分辨率重建后的每个波段影像，选择参考波段，并采用预定配准算法将其它波段分别与参考波段进行配准，获取配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

进一步地，使用训练模型来对超分辨率重建后的遥感超时相数据进行分类，包括：

从超分辨率重建后的遥感超时相数据中选取训练样本集；

使用训练样本集分别对多种分类模型进行训练，并获取多种分类模型各自输出的分类结果；

根据多种分类模型各自输出的分类结果，计算多种分类模型对训练样本集进行分类的分类精度；

从多种分类模型中选取分类精度高于预定值的至少一种分类模型；

使用所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类，计算所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类的分类精度，并将分类精度最高的分类模型所输出的分类结果作为目标遥感超时相数据的分类结果。

根据本公开的另一方面，提供了一种遥感超时相数据的分类装置，包括：

获取模块，用于获取目标遥感超时相数据；

配准模块，用于对目标遥感超时相数据进行影像配准；

构建模块，用于构建影像配准后的遥感超时相数据的退化模型；

重建模块，用于使用退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

分类模块，用于使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。

进一步地，如果目标遥感超时相数据的幅宽大于阈值，则分类装置还包括：

裁切模块，用于从目标遥感超时相数据中裁切出感兴趣区域，

其中，配准模块被配置为：对感兴趣区域中的遥感超时相数据进行影像配准。

进一步地，如果目标遥感超时相数据的工作模式为推帧工作模式，则裁切模块被配置为：

利用公式计算目标遥感超时相数据在预定时间t秒内的卫星的速度，并且利用公式S＝v·t计算卫星的飞行距离，其中，R表示地球半径，H表示卫星高度，G表示万有引力，M表示地球质量，v表示卫星在t秒内的速度，S表示卫星在t秒内的飞行距离，t至少由帧率时间t₁、曝光时间t₂、以及休眠时间t₃组成；

通过将目标遥感超时相数据放入所建立的平面直角坐标系，利用公式height＝I_h-L_pixelC_group-2·Rv_pixel和width＝I_w-2·Rv_pixel，计算感兴趣区域的宽度和高度，其中，I_h表示原始图像的高度，L_pixel表示相邻帧之间发生的像素位移，C_group表示i帧遥感超时相数据的帧数，Rv_pixel表示像素的移动距离，I_w表示原始图像的宽度；

利用公式x＝Rv_pixel+(C_group-i)×L_pixel-Rv_pixel＝(C_group-i)×L_pixel和y＝Rv_pixel-Rv_pixel＝0，计算感兴趣区域的起点的坐标；

根据感兴趣区域的起点的坐标以及感兴趣区域的宽度和高度，从目标遥感超时相数据中裁切出感兴趣区域，

其中，利用公式计算L_pixel，r是卫星所携带的图像拍摄设备的分辨率。

进一步地，如果目标遥感超时相数据的工作模式为凝视视频工作模式，则裁切模块被配置为：

根据需求确定感兴趣区域的开始点的坐标和结束点的坐标；

根据开始点的坐标和结束点的坐标，从目标遥感超时相数据中裁切出感兴趣区域。

进一步地，配准模块被配置为：

从目标遥感超时相数据中选择参考帧；

对参考帧进行波段分解，并且对目标遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

进一步地，配准模块被配置为：

从感兴趣区域中的遥感超时相数据中选择参考帧；

对参考帧进行波段分解，并且对感兴趣区域中的遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

进一步地，构建模块被配置为：

根据遥感超时相低分辨率影像，计算模糊矩阵B、欠采样矩阵D和影像的加性噪声方差n；

根据配准映射矩阵M、模糊矩阵B、欠采样矩阵D和加性噪声方差n，建立退化模型为I_i＝DB_iM_ix+n_i,1≤i≤p，

其中，B_i是第i帧影像对应的模糊矩阵，x是原始高分辨率卫星影像；I_i是观测到的第i帧低分辨率卫星影像；M_i是第i帧影像对应的配准映射矩阵；n_i是第i帧影像对应的加性噪声方差，p为选取的遥感超时相数据的帧数。

进一步地，重建模块被配置为：

基于退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

针对超分辨率重建后的每个波段影像，选择参考波段，并采用预定配准算法将其它波段分别与参考波段进行配准，获取配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

进一步地，分类模块被配置为：

从超分辨率重建后的遥感超时相数据中选取训练样本集；

使用训练样本集分别对多种分类模型进行训练，并获取多种分类模型各自输出的分类结果；

根据多种分类模型各自输出的分类结果，计算多种分类模型对训练样本集进行分类的分类精度；

从多种分类模型中选取分类精度高于预定值的至少一种分类模型；

使用所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类，计算所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类的分类精度，并将分类精度最高的分类模型所输出的分类结果作为目标遥感超时相数据的分类结果。

本公开实施例提供的技术方案可以包括以下有益效果：通过对所获取的目标遥感超时相数据进行影像配准和超分辨率重建，并且使用训练模型来对超分辨率重建后的遥感超时相数据进行分类，这样，通过对遥感超时相数据进行影像配准，可以克服星载平台因大气扰动和平台抖动所导致的图像间非规则的几何畸变和位置错位，并且通过对影像配准后的遥感超时相数据进行超分辨率重建，可以提升遥感超时相数据的空间分辨率和图像质量，并且能够恢复影像的细节信息，由此可以提高遥感超时相数据的分类精度。

即使所获取的目标遥感超时相数据的分辨率较低，通过本公开实施例提供的技术方案也能够对该分辨率较低的遥感超时相数据(例如，中低分辨率的卫星影像)进行精准分类，从而规避了遥感超时相数据的分类依赖于所获取的遥感超时相数据。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1是根据一示例性实施例示出的一种遥感超时相数据的分类方法的流程图。

图2是根据一示例性实施例示出的一种基于凝视视频工作模式的裁切感兴趣区域的示意图。

图3是根据一示例性实施例示出的一种基于推帧工作模式的裁切感兴趣区域的示意图。

图4是根据一示例性实施例示出的一种进行影像配准和超分辨率重建的示意图。

图5是根据一示例性实施例示出的一种使用模型对目标遥感超时相数据进行分类的示意图。

图6是根据一示例性实施例示出的一种遥感超时相数据的分类装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1是根据一示例性实施例示出的一种遥感超时相数据的分类方法的流程图。如图1所示，该分类方法可以包括如下步骤。

在步骤S110中，获取目标遥感超时相数据。

本实施例中，可利用星载面阵CMOS相机进行连续曝光，在秒级内获取同一地区在推帧工作模式和凝视视频工作模式的遥感超时相数据I₁,I₂,I₃,...,I_i。示例性的，本实施例采用同一区域连续7帧超时相数据(高分四号)，两帧数据之间间隔是1s。

在步骤S130中，对所述目标遥感超时相数据进行影像配准。

本实施例中，在目标遥感超时相数据的幅宽不大时，例如目标遥感超时相数据的幅宽不大于预定阈值，则可直接对所获取的目标遥感超时相数据进行影像配准。考虑到星载平台由于大气扰动和平台抖动会导致发生图像间非规则的几何畸变和位置错位，本实施例在对目标遥感超时相数据进行分类之前先对目标遥感超时相数据进行影像配准(也称为波段间亚像元高精度配准)，以克服前述几何畸变和位置错位。

在一种可能的实现方式中，如果目标遥感超时相数据的幅宽大于阈值，则上述分类方法还可包括：从所述目标遥感超时相数据中裁切出感兴趣区域，其中，对所述目标遥感超时相数据进行影像配准，包括：对所述感兴趣区域中的遥感超时相数据进行影像配准。

本实施例中，如果目标遥感超时相数据的幅宽大于阈值，则遥感超时相数据的幅宽比较大(卫星影像较大)，基本的嵌入式设备无法一次完成计算任务并且处理速度会非常的慢，因此处理之前需要对遥感超时相数据进行感兴趣区域(英文：Region of Interest，简称：ROI区域)裁切，即，需要从目标遥感超时相数据裁切出感兴趣区域。因此，在进行影像配准之前，先从目标遥感超时相数据裁切出感兴趣区域，以提高处理速度。

应能够理解的是，在卫星影像较大时，基本的嵌入式设备无法一次完成计算任务并且处理速度比较慢，因此在进行影像配准之前，需要从目标遥感超时相数据裁切出感兴趣区域。相对地，在卫星影像不大时，基本的嵌入式设备应能够一次完成计算任务并且处理速度应不慢，因此在进行影像配准之前，应无需从目标遥感超时相数据裁切出感兴趣区域。

在一种可能的实现方式中，如果所述目标遥感超时相数据的工作模式为推帧工作模式，则从所述目标遥感超时相数据中裁切出感兴趣区域，可以包括：

利用(公式1)计算所述目标遥感超时相数据在预定时间t秒内的卫星的速度，并且利用S＝v·t(公式2)计算卫星的飞行距离，其中，R表示地球半径，H表示卫星高度，G表示万有引力，M表示地球质量，v表示所述卫星在t秒内的速度，S表示所述卫星在t秒内的飞行距离，t至少由帧率时间t₁、曝光时间t₂、以及休眠时间t₃组成；

通过将所述目标遥感超时相数据放入所建立的平面直角坐标系，利用height＝I_h-L_pixelC_group-2·Rv_pixel(公式3)和width＝I_w-2·Rv_pixel(公式4)，计算所述感兴趣区域的宽度和高度，其中，I_h表示原始图像的高度，L_pixel表示相邻帧之间发生的像素位移，C_group表示i帧遥感超时相数据的帧数，Rv_pixel表示像素的移动距离，I_w表示原始图像的宽度；

利用公式x＝Rv_pixel+(C_group-i)×L_pixel-Rv_pixel＝(C_group-i)×L_pixel(公式5)和y＝Rv_pixel-Rv_pixel＝0，计算所述感兴趣区域的起点的坐标；

根据所述感兴趣区域的宽度和高度，从所述目标遥感超时相数据裁切出所述感兴趣区域，

其中，利用(公式6)计算L_pixel，r是卫星所携带的图像拍摄设备的分辨率。

本实施例中，如图2所示，在推帧工作模式下，遥感超时相数据的帧间变化主要是由于卫星的飞行所导致的，因此可根据地球半径R(常量)、卫星高度H、万有引力G(常量)和地球质量M(常量)，利用上述公式1来计算步骤S110中所获取的遥感超时相数据I₁,I₂,I₃,...,I_i在t秒内的卫星的速度v。可根据组成t的时间，例如，帧率时间t₁、曝光时间t₂、休眠时间t₃等，利用t＝t₁+t₂+...+t_n(公式7)来计算出t。随后，可根据卫星的速度v和时间t并利用上述公式2来计算卫星的距离s。

其中，帧率时间t₁可由硬件设备控制，是相机的固有属性。曝光时间t₂可由软件控制，可以有效的通过更多的光线，以得到具有更好效果的图像。休眠时间t₃一般是人为控制的，以保证硬件设备的稳定性、以及对硬件设备的保护等。

卫星飞行会产生空间位移，在相邻帧之间发生的像素位移是Lpixel，在计算出卫星的距离s后，可通过上述公式6来计算出Lpixel。

然后，可建立平面直角坐标系，其中，建立平面直角坐标系的示意图可参见图2。选取其中一帧影像作为原点，将遥感超时相数据放入到所建立的平面直角坐标系中，并利用上述公式3和4来计算ROI区域的宽度和高度。

由于卫星的相机是稳定的相机，因此在水平方向上不会发生位移，即，ROI区域的宽度直接去除两边的冗余即可。另外，第i张图像相比于第一张图像偏移的位移减去冗余大小即为ROI区域的起点的坐标，也就是说，可通过上述公式5来计算ROI区域的起点的坐标。

由此，可根据计算出的ROI区域的宽度和高度、以及ROI区域的起点的坐标这三者，从目标遥感超时相数据裁切出所述感兴趣区域。

在一种可能的实现方式中，如果所述目标遥感超时相数据的工作模式为凝视视频工作模式，则从所述目标遥感超时相数据中裁切出感兴趣区域，可以包括：根据需求确定感兴趣区域的开始点的坐标和结束点的坐标；根据所述开始点的坐标和所述结束点的坐标，从所述目标遥感超时相数据裁切出所述感兴趣区域。

本实施例中，在凝视视频工作模式下，卫星对同一个目标点长时间持续拍摄，因此得到的图像位置不变，因而，如图3所示，可直接根据需求来确定好ROI区域的起点的坐标和终点的坐标，并根据起始点的坐标来进行ROI区域的裁切。

在一种实现方式中，上述步骤S130可以包括：

从所述目标遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述目标遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

本实施例中，如图4所示，从序列帧遥感超时相卫星影像R1、R2、…、Rk中选择其中的一帧Ri作为参考帧I_ref；可对选取的参考帧I_ref进行波段分解，且对序列帧遥感超时相卫星影像R1、R2、…、Rk分别进行波段分解(即，逐帧进行波段分解)；采用改进的SIFT配准算法(例如，特征点配准方法)，将分解后的遥感超时相数据与参考帧I_ref的每个对应波段I_ref-band1,I_ref-band2,...,I_ref-bandn分别进行配准，并获取波段配准后的配准映射矩阵M₁,M₂,...,M_k。

在一种可能的实现方式中，对所述感兴趣区域中的遥感超时相数据进行影像配准，包括：

从所述感兴趣区域中的遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述感兴趣区域中的遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

对所述感兴趣区域中的遥感超时相数据进行影像配准的相关描述可参阅前文关于对所述目标遥感超时相数据进行影像配准的具体说明，在此不再赘述。

在步骤S150中，构建影像配准后的遥感超时相数据的退化模型。

本实施例中，考虑到遥感超时相数据获取过程中由多种因素会导致数据几何变形、模糊和欠采样，从而导致图像的质量下降或退化，本实施例在对目标遥感超时相数据进行分类之前先通过构建遥感超时相数据的退化模型、稍后利用所构建的退化模型对影像配准后的遥感超时相数据进行超分辨率重建，以克服前述图像的质量下降或退化。

在一种实现方式中，上述步骤S150可以包括：

根据遥感超时相低分辨率影像，计算模糊矩阵B、欠采样矩阵D和影像的加性噪声方差n；

根据所述配准映射矩阵M、所述模糊矩阵B、所述欠采样矩阵D和所述加性噪声方差n，建立所述退化模型为I_i＝DB_iM_ix+n_i,1≤i≤p，

其中，B_i是第i帧影像对应的模糊矩阵，x是原始高分辨率卫星影像；I_i是观测到的第i帧低分辨率卫星影像；M_i是第i帧影像对应的配准映射矩阵；n_i是第i帧影像对应的加性噪声方差，p为选取的遥感超时相数据的帧数。

本实施例中，如图4所示，可在获取波段配准后的配准映射矩阵M₁,M₂,...,M_k的同时，针对序列帧遥感超时相卫星影像R1、R2、…、Rk，并行地进行模糊退化矩阵B的估算、欠采样矩阵D的计算和影像的加性噪声方差n的计算，由此，可使用配准映射矩阵M₁,M₂,...,M_k、模糊矩阵B、欠采样矩阵D和加性噪声方差n，来构建出退化模型。

在步骤S170中，使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建。

本实施例中，考虑到获取的遥感超时相数据的分辨率可能较低，如果直接对该分辨率较低的遥感超时相数据进行分类，则分类精度较低，甚至无法进行分类，本实施例在对目标遥感超时相数据进行分类之前对影像配准后的遥感超时相数据进行超分辨率重建，以提升遥感超时相数据的空间分辨率和图像质量，并且恢复影像的细节信息，由此可以提高遥感超时相数据的分类精度。

在一种实现方式中，上述步骤S170可以包括：基于所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；针对超分辨率重建后的每个波段影像，选择参考波段，并采用所述预定配准算法将其它波段分别与所述参考波段进行配准，获取配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

本实施例中，如图4所示，采用之前所选择的参考帧为基准，基于HMRF方法进行超分辨率重建，有效恢复影像的细节信息，提高遥感超时相数据的空间分辨率和图像质量；针对超分重建后的每个波段影像，再次以第一波段为参考，采用与上述步骤S150中所述的影像配准方法将该参考波段与其他几个波段分别进行配准，获得配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

在步骤S190中，使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。

本实施例中，将超分辨率重建后的遥感超时相数据输入训练模型中，训练模型的输出结果为目标遥感超时相数据的分类结果。应能够理解，本实施例对训练模型的构成及其数量不作具体限定。

在一种实现方式中，上述步骤S190可以包括：

从超分辨率重建后的遥感超时相数据中选取训练样本集；

使用所述训练样本集分别对多种分类模型进行训练，并获取所述多种分类模型各自输出的分类结果；

根据所述多种分类模型各自输出的分类结果，计算所述多种分类模型对所述训练样本集进行分类的分类精度；

从所述多种分类模型中选取分类精度高于预定值的至少一种分类模型；

使用所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类，计算所选取的分类模型对所述超分辨率重建后的遥感超时相数据进行分类的分类精度，并将分类精度最高的分类模型所输出的分类结果作为所述目标遥感超时相数据的分类结果。

本实施例中，考虑到单一分类器(训练模型)的分类精度受限、分类结果不统一，分类边界可能会出现矛盾，分类精度可能会出现差异等，提出了上述更精细化的分类方法，从而实现具有更精细的地表覆盖信息识别和提取能力，进一步提升分类精度。

如图5所示，根据人工经验或采用随机抽样的方法从融合后的超分结果(即，超分辨率重建后的遥感超时相数据)中选取训练样本集例如TS₁、TS₂、TS₃、...、TS_n；分别将训练样本集TS₁、TS₂、TS₃、...、TS_n输入最小距离分类模型、马氏距离分类模型、最大似然分类模型、神经网络分类模型、SVM支持向量机分类模型，并分别获取最小距离分类模型、马氏距离分类模型、最大似然分类模型、神经网络分类模型、SVM支持向量机分类模型所输出的分类结果；使用混淆矩阵对前述各分类结果的分类精度进行计算，以评价每个分类模型的分类精度；通过最优投票分类方法，将计算精度最高的两种/三种分类模型进行组合，对超分辨率重建后的遥感超时相数据再次进行分类，并获取分类后的高精度结果；再次使用混淆矩阵对前述高精度结果的分类精度进行计算，以评价组合的分类模型各自的分类精度；将分类精度最高的分类模型所输出的分类结果作为目标遥感超时相数据的分类结果。

本实施例的遥感超时相数据的分类方法，通过对所获取的目标遥感超时相数据进行影像配准和超分辨率重建，并且使用训练模型来对超分辨率重建后的遥感超时相数据进行分类，这样，通过对遥感超时相数据进行影像配准，可以克服星载平台因大气扰动和平台抖动所导致的图像间非规则的几何畸变和位置错位，并且通过对影像配准后的遥感超时相数据进行超分辨率重建，可以提升遥感超时相数据的空间分辨率和图像质量，并且能够恢复影像的细节信息，由此可以提高遥感超时相数据的分类精度。

即使所获取的目标遥感超时相数据的分辨率较低，通过本公开实施例提供的技术方案也能够对该分辨率较低的遥感超时相数据(例如，中低分辨率的卫星影像)进行精准分类，从而规避了遥感超时相数据的分类依赖于所获取的遥感超时相数据。

通过搭建嵌入式众核GPU平台进行算法并行加速，可快速生成高精度的分类结果，同时有效提升算法的适应性和可靠度。

图6是根据一示例性实施例示出的一种遥感超时相数据的分类装置的框图。如图6所示，该分类装置600可以包括获取模块610、配准模块620、构建模块630、重建模块640和分类模块650。

获取模块610用于获取目标遥感超时相数据。配准模块620与获取模块610连接，用于对所述目标遥感超时相数据进行影像配准。构建模块630与配准模块620连接，用于构建影像配准后的遥感超时相数据的退化模型。重建模块640与配准模块620和构建模块630连接，用于使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建。分类模块650与重建模块640连接，用于使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。

在一种可能的实现方式中，如果目标遥感超时相数据的幅宽大于阈值，则所述分类装置600还包括：

裁切模块(未示出)，用于从所述目标遥感超时相数据中裁切出感兴趣区域，

其中，所述配准模块620被配置为：对所述感兴趣区域中的遥感超时相数据进行影像配准。

在一种可能的实现方式中，如果所述目标遥感超时相数据的工作模式为推帧工作模式，则所述裁切模块被配置为：

利用公式计算所述目标遥感超时相数据在预定时间t秒内的卫星的速度，并且利用公式S＝v·t计算卫星的飞行距离，其中，R表示地球半径，H表示卫星高度，G表示万有引力，M表示地球质量，v表示所述卫星在t秒内的速度，S表示所述卫星在t秒内的飞行距离，t至少由帧率时间t₁、曝光时间t₂、以及休眠时间t₃组成；

通过将所述目标遥感超时相数据放入所建立的平面直角坐标系，利用公式height＝I_h-L_pixelC_group-2·Rv_pixel和width＝I_w-2·Rv_pixel，计算所述感兴趣区域的宽度和高度，其中，I_h表示原始图像的高度，L_pixel表示相邻帧之间发生的像素位移，C_group表示i帧遥感超时相数据的帧数，Rv_pixel表示像素的移动距离，I_w表示原始图像的宽度；

根据所述感兴趣区域的宽度和高度，从所述目标遥感超时相数据裁切出所述感兴趣区域，

其中，利用公式计算L_pixel，r是卫星所携带的图像拍摄设备的分辨率。

在一种可能的实现方式中，如果所述目标遥感超时相数据的工作模式为凝视视频工作模式，则所述裁切模块被配置为：

根据需求确定感兴趣区域的开始点的坐标和结束点的坐标；

根据所述开始点的坐标和所述结束点的坐标，从所述目标遥感超时相数据裁切出所述感兴趣区域。

在一种可能的实现方式中，所述配准模块620被配置为：

从所述目标遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述目标遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

在一种可能的实现方式中，所述配准模块620被配置为：

从所述感兴趣区域中的遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述感兴趣区域中的遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

在一种可能的实现方式中，所述构建模块630被配置为：

根据遥感超时相低分辨率影像，计算模糊矩阵B、欠采样矩阵D和影像的加性噪声方差n；

根据所述配准映射矩阵M、所述模糊矩阵B、所述欠采样矩阵D和所述加性噪声方差n，建立所述退化模型为I_i＝DB_iM_ix+n_i,1≤i≤p，

其中，B_i是第i帧影像对应的模糊矩阵，x是原始高分辨率卫星影像；I_i是观测到的第i帧低分辨率卫星影像；M_i是第i帧影像对应的配准映射矩阵；n_i是第i帧影像对应的加性噪声方差，p为选取的遥感超时相数据的帧数。

在一种可能的实现方式中，所述重建模块640被配置为：

基于所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

针对超分辨率重建后的每个波段影像，选择参考波段，并采用所述预定配准算法将其它波段分别与所述参考波段进行配准，获取配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

在一种可能的实现方式中，所述分类模块650被配置为：

从超分辨率重建后的遥感超时相数据中选取训练样本集；

使用所述训练样本集分别对多种分类模型进行训练，并获取所述多种分类模型各自输出的分类结果；

根据所述多种分类模型各自输出的分类结果，计算所述多种分类模型对所述训练样本集进行分类的分类精度；

从所述多种分类模型中选取分类精度高于预定值的至少一种分类模型；

使用所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类，计算所选取的分类模型对所述超分辨率重建后的遥感超时相数据进行分类的分类精度，并将分类精度最高的分类模型所输出的分类结果作为所述目标遥感超时相数据的分类结果。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种遥感超时相数据的分类方法，其特征在于，包括：

对目标遥感超时相数据进行影像配准；

构建影像配准后的遥感超时相数据的退化模型；

使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。

2.根据权利要求1所述的分类方法，其特征在于，如果目标遥感超时相数据的幅宽大于阈值，则所述分类方法还包括：

从所述目标遥感超时相数据中裁切出感兴趣区域，

其中，对所述目标遥感超时相数据进行影像配准，包括：

对所述感兴趣区域中的遥感超时相数据进行影像配准。

3.根据权利要求2所述的分类方法，其特征在于，如果所述目标遥感超时相数据的工作模式为推帧工作模式，则从所述目标遥感超时相数据中裁切出感兴趣区域，包括：

利用公式计算所述目标遥感超时相数据在预定时间t秒内的卫星的速度，并且利用公式S＝v·t计算卫星的飞行距离，其中，R表示地球半径，H表示卫星高度，G表示万有引力，M表示地球质量，v表示所述卫星在t秒内的速度，S表示所述卫星在t秒内的飞行距离，t至少由帧率时间t₁、曝光时间t₂、以及休眠时间t₃组成；

通过将所述目标遥感超时相数据放入所建立的平面直角坐标系，利用公式height＝I_h-L_pixelC_group-2·Rv_pixel和width＝I_w-2·Rv_pixel，计算所述感兴趣区域的宽度和高度，其中，I_h表示原始图像的高度，L_pixel表示相邻帧之间发生的像素位移，C_group表示i帧遥感超时相数据的帧数，Rv_pixel表示像素的移动距离，I_w表示原始图像的宽度；

利用公式x＝Rv_pixel+(C_group-i)×L_pixel-Rv_pixel＝(C_group-i)×L_pixel和y＝Rv_pixel-Rv_pixel＝0，计算所述感兴趣区域的起点的坐标；

根据所述感兴趣区域的起点的坐标以及所述感兴趣区域的宽度和高度，从所述目标遥感超时相数据中裁切出所述感兴趣区域，

其中，利用公式计算L_pixel，r是卫星所携带的图像拍摄设备的分辨率。

4.根据权利要求2所述的分类方法，其特征在于，如果所述目标遥感超时相数据的工作模式为凝视视频工作模式，则从所述目标遥感超时相数据中裁切出感兴趣区域，包括：

根据需求确定感兴趣区域的开始点的坐标和结束点的坐标；

根据所述开始点的坐标和所述结束点的坐标，从所述目标遥感超时相数据中裁切出所述感兴趣区域。

5.根据权利要求1所述的分类方法，其特征在于，对所述目标遥感超时相数据进行影像配准，包括：

从所述目标遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述目标遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

6.根据权利要求2所述的分类方法，其特征在于，对所述感兴趣区域中的遥感超时相数据进行影像配准，包括：

从所述感兴趣区域中的遥感超时相数据中选择参考帧；

对所述参考帧进行波段分解，并且对所述感兴趣区域中的遥感超时相数据分别进行波段分解；

采用预定配准算法，将波段分解后的遥感超时相数据分别与所述参考帧的每个对应波段进行配准，并获取波段配准后的配准映射矩阵M。

7.根据权利要求5或6所述的分类方法，其特征在于，构建影像配准后的遥感超时相数据的退化模型，包括：

根据遥感超时相低分辨率影像，计算模糊矩阵B、欠采样矩阵D和影像的加性噪声方差n；

根据所述配准映射矩阵M、所述模糊矩阵B、所述欠采样矩阵D和所述加性噪声方差n，建立所述退化模型为I_i＝DB_iM_ix+n_i,1≤i≤p，

其中，B_i是第i帧影像对应的模糊矩阵，x是原始高分辨率卫星影像；I_i是观测到的第i帧低分辨率卫星影像；M_i是第i帧影像对应的配准映射矩阵；n_i是第i帧影像对应的加性噪声方差，p为选取的遥感超时相数据的帧数。

8.根据权利要求1-7中任一项所述的分类方法，其特征在于，使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建，包括：

基于所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

针对超分辨率重建后的每个波段影像，选择参考波段，并采用所述预定配准算法将其它波段分别与所述参考波段进行配准，获取配准后的结果数据，并对配准后的结果数据进行波段融合，获取融合后的高分辨率影像。

9.根据权利要求1-6中任一项所述的分类方法，其特征在于，使用训练模型来对超分辨率重建后的遥感超时相数据进行分类，包括：

从超分辨率重建后的遥感超时相数据中选取训练样本集；

使用所述训练样本集分别对多种分类模型进行训练，并获取所述多种分类模型各自输出的分类结果；

根据所述多种分类模型各自输出的分类结果，计算所述多种分类模型对所述训练样本集进行分类的分类精度；

从所述多种分类模型中选取分类精度高于预定值的至少一种分类模型；

使用所选取的分类模型对超分辨率重建后的遥感超时相数据进行分类，计算所选取的分类模型对所述超分辨率重建后的遥感超时相数据进行分类的分类精度，并将分类精度最高的分类模型所输出的分类结果作为所述目标遥感超时相数据的分类结果。

10.一种遥感超时相数据的分类装置，其特征在于，包括：

获取模块，用于获取目标遥感超时相数据；

配准模块，用于对所述目标遥感超时相数据进行影像配准；

构建模块，用于构建影像配准后的遥感超时相数据的退化模型；

重建模块，用于使用所述退化模型对影像配准后的遥感超时相数据进行超分辨率重建；

分类模块，用于使用训练模型来对超分辨率重建后的遥感超时相数据进行分类。