CN116311192B - 空间目标定位、区域超分辨重建及类型识别的系统及方法 - Google Patents

Abstract

本发明涉及目标识别技术领域，具体提供一种空间目标定位、区域超分辨重建及类型识别的系统及方法，通过目标检测网络进行检测，在输入的空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像；将目标区域图像数据输入目标区域清晰化超分辨重建网络，得到进一步增强目标区域的特征信息的目标区域图像，超分辨重建后的目标区域图像通过强特征数据增广算法，得到增广后的目标图像；将得到的目标区域图像输入识别网络中进行目标类型识别；解决了空间目标图像样本小、清晰度低，同一类型的空间目标图像形态相差较大所带来的识别困难的问题，解决了只有专业人士才能对空间目标图像类型进行识别的难题，在识别精度上也优于已有的技术。

Description

空间目标定位、区域超分辨重建及类型识别的系统及方法

技术领域

本发明涉及目标识别技术领域，尤其涉及一种空间目标定位、区域超分辨重建及类型识别的系统及方法。

背景技术

目前，全球各国对太空资源的争夺愈发的激烈，太空领域研究的投入逐渐加大，空间目标的类型识别作为其中研究之一，其在太空安全，军事打击等方面有着重要的应用价值；所谓空间目标是指卫星，空间碎片，宇宙飞行物等，而空间目标图像则是通过各类成像系统对其拍摄行程的图像。现有的空间目标图像类型识别技术仅仅是单流程的，即对获得的空间目标图像直接进行类型识别，不包含其他技术处理流程。然而，由于成像系统的限制，导致通常所获得的太空背景下的空间目标图像样本较少，图像清晰度较低；同时由于成像系统拍摄角度的不同，会造成同一类型的空间目标图像之间存在形态差异，基于上述问题现有的空间目标图像类型识别技术的识别准确率不高；本方法能够解决由于缺少技术处理导致的识别精度低、有效特征少的问题。

发明内容

本发明为解决上述问题，提供一种一种空间目标定位、区域超分辨重建及类型识别的系统及方法。

本发明提供一种空间目标定位、区域超分辨重建及类型识别的系统及方法，其特征在于，所述方法的步骤包括：

S1、设计目标检测网络，所述目标检测网络由检测阶段一和检测阶段二组成；输入空间目标图像，通过目标检测网络进行检测，定位到目标所在区域，提取目标区域图像；

S2、设计目标区域清晰化超分辨重建网络，所述目标区域清晰化超分辨重建网络包括目标区域清晰网络和目标区域超分辨重建网络；所述目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层；所述目标区域图像通过特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层，再通过目标区域超分辨重建网络，得到进一步增强特征信息的目标区域图像；

S3、将步骤S2得到的目标区域图像通过强特征数据增广算法，增强同一类型的目标区域图像的特征信息和同一类型但成像角度不同的目标区域图像的特征信息，得到增广后的目标区域图像集；

S4、设计识别网络，所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层，所述自注意力特征提取层包括四个阶段；将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络，再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别，得到识别结果。

优选地，步骤S1包括以下子步骤：

S101、输入尺寸为W×H×C的空间目标图像，通过检测阶段一得到尺寸为特征图，所述W为图像宽，H为图像高，C为图像通道数；

S102、将得到的特征图通过检测阶段二得到尺寸为/>特征图，在所述空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像。

优选地，步骤S2包括：

S201、输入目标区域图像，通过所述特征提取阶段获得尺寸为W×H×64的特征图；

S202、将特征图通过所述注意力机制阶段，获得尺寸为W×H×32的注意力机制特征图；

S203、将步骤S202获得的注意力机制特征图通过非线性映射阶段，学习低清晰度到高清晰度间的映射关系，得到尺寸为 的特征图；

S204、将得到的 特征图通过图像恢复阶段，得到尺寸为的特征图，通过上采样层将其恢复到原始输入尺寸W×H×C，完成目标区域的清晰化；

S205、通过目标区域超分辨重建网络，将恢复原尺寸的特征图的尺寸放大到r^a倍，得到待进行数据增广的图像；所述r表示上采样放大倍数。

优选地，步骤S3具体包括：

S301、将待进行数据增广的图像输入，设置随机区域遮挡数据增广次数为n；

S302、生成随机矩形区域对同一图像进行遮挡；

S303、若增广图像数据数量满足数据增广次数n，得到n张增广图像数据；若增广图像数据数量不满足数据增广次数n，重复步骤S302，直至满足后得到n张增广图像；所述的n张增广图像即目标图像集。

优选地，步骤S4具体包括：

S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图；

S402、将特征图输入图像块划分层，划分后，图像尺寸更改为 ，深度为512；

S403、将划分后的图像通过自注意力特征提取层，得到尺寸为的特征图；

S404、将特征图输入通道注意力层，在特征图的维度方向上计算权重分数，并对每个特征图按照权重分数赋予权值，但不改变特征图尺寸大小；

S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的空间目标图像的类型，以概率分数最大的类别为识别结果。

优选地，步骤S101中的检测阶段一包括：两个模块一和两个模块二，排列顺序为模块一、模块二、模块一、模块二；所述模块一和模块二均由卷积层、批量归一化和激活层组成，所述卷积层的卷积核大小均为3×3；所述激活层采用ReLU函数进行激活，所述模块一保持特征图的宽高不变，所述模块二对特征图的宽高进行下采样，所述下采样倍率为2倍；

所述步骤S102中的检测阶段二包括：三个模块三及两个通道注意力层，排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三；所述模块三由模块一、模块二和模块四组成，每个模块的卷积层的通道数设置为输入特征图通道数的一半；所述模块四与所述模块一结构相同，但卷积核尺寸为1×1；所述通道注意力层不改变特征图的尺寸大小，仅对不同通道上的特征图赋予权重，以表征重要的特征信息。

优选地，步骤S201中所述特征提取阶段包括两个模块，每个模块由卷积层、批量归一化及激活层组成，所述卷积层的卷积核大小皆为3×3，通道数分别为32、64；所述激活层采用ReLU函数；

所述步骤S202中所述输入注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成，每个卷积层会得到一个尺寸为W×H×3的特征图，将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法，得到注意力映射图，再将其与第三个特征图矩阵进行矩阵乘法，生成尺寸为W×H×3的注意力特征图，最后通过一个卷积核大小为7×7、通道数为128的卷积层，最终得到尺寸W×H×32注意力特征图；

所述步骤S203中的非线性映射阶段由四个模块组成，所述模块之间采用跳连接的方式进行连接，所述的模块包括两个卷积层和一个激活层；所述卷积层中第一个卷积层卷积核大小为3×3，通道数为输入特征图通道数，不改变输入特征图的宽和高；第二个卷积层卷积核大小为3×3，通道数为输入特征图通道数的二倍，且将输入特征图的宽和高变为原来的一半；所述激活层采用ReLU函数，经过非线性映射阶段最终会得到尺寸为的特征图；

所述步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成；所述卷积层卷积核大小皆为3×3，通道数分别为1024和C，所述激活层采用ReLU函数；

所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层，不同卷积层及残差块之间采用稠密连接；所述三个卷积层的通道数皆为64，第一卷积层卷积核大小设置为7×7，以增大感受野大小，第二、三卷积层卷积核大小为3×3；所述残差块由两个卷积层和一个激活层组成，所述残差块中的卷积层的卷积核大小为3×3，所述激活层采用ReLU函数。

优选地，步骤S401中所述浅层特征提取融合网络由三个卷积层组成；所述卷积层的卷积核大小为3×3，通道数为32，第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连；

所述步骤S403中的自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块，阶段一通过线性变换将特征图的维度设置为M，不改变特征图的高和宽，经过该层后图像的尺寸变为，再将其输入移动窗自注意变换模块中，移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成，通过窗口多头自注意机制模块，将输入的图片划分为不重叠的多个窗口，在每个窗口中计算自注意力分数，同时使用多头机制将得到的注意力分数进行组合，得到多头自注意力特征图，再将其送入移动窗口多头自注意力机制模块，经移动窗口操作，使得窗口移动前后产生重叠，计算不同区域间的特征的多头自注意力分数，经过阶段一的处理，输出的特征图尺寸仍为/>；阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样，使来自上一阶段的特征图的高和宽会减半，维度翻倍，后续的操作都与阶段一相同，经过阶段二至阶段四的处理，仅改变特征图尺寸大小，各阶段分别为/>，/>，/>。

优选地， ReLU函数为：f(x)=max(0,x)，其中max为最大值函数，x为网络输入。

本发明还提供一种基于目标定位、区域超分辨重建及类型识别的系统，其特征在于：包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块；

所述目标检测模块，用于输入空间目标图像，在输入空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像；

所述目标区域清晰化超分辨重建模块，包括目标区域清晰化单元和目标区域超分辨重建单元，用于得到进一步增强目标区域特征信息的目标区域图像；

所述强特征数据增广模块，用于提高同一类型的图像数据的特征信息和同一类型间的图像特征信息，得到增广后的目标图像数据；

所述识别网络模块，包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，用于判断空间目标类型。

与现有技术相比，本发明能够取得如下有益效果：

（1）解决了空间目标图像样本小、清晰度低，同一类型的空间目标图像形态相差较大所带来的识别困难的问题；

（2）解决了只有专业人士才能对空间目标图像类型进行识别的难题；

（3）与现有技术相比具有更高的识别精度；

（4）目标检测的种类范围广。

附图说明

图1是根据本发明具体实施方式中的基于目标定位、区域超分辨重建及类型识别的系统的流程示意图。

图2是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标检测网络示意图。

图3是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标区域清晰化网络结构图。

图4是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标区域超分辨重建网络结构图。

图5是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的随机区域遮挡数据增广处理流程图。

图6是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法识别网络结构图。

具体实施方式

在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

如图1所示，空间目标定位、区域超分辨重建及类型识别的方法的步骤包括：

S1、为了提高对空间目标图像类型识别的准确率，设计目标检测网络，所述目标检测网络主要是由检测阶段一及检测阶段二组成；通过输入空间目标图像，通过目标检测网络进行检测，定位到目标所在区域，提取目标区域图像；

S2、设计目标区域清晰化超分辨重建网络结构，该网络包括目标区域清晰网络和目标区域超分辨重建网络，其中目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段和图像恢复阶段；为了改善重建后纹理，目前的方法大多采用加深网络及改进损失函数进行约束，而没利用不同深度的特征图信息；因此，，设计一种多深度特征融合稠密连接卷积网络，即目标区域超分辨重建网络，利用多深度信息，提升重建后纹理细节；所述目标区域超分辨重建网络包括三个卷积层，六个残差块和渐进上采样层，不同卷积层及残差块之间采用稠密连接；将所述目标区域图像数据输入目标区域清晰化超分辨重建网络，进一步增强目标区域特征；

S3、设计强特征数据增广算法，将得到的目标区域图像输入强特征数据增广算法，增加相同类型同一成像角度的特征信息，在此基础上，通过对其他成像角度的进行数据增广，来完善同一类型间的图像特征信息，增强图像数据的鲁棒性，达到对图像数据的强特征数据增广，得到增广后的目标图像集；

S4、设计识别网络结构，该网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，其中浅层特征提取融合网络包括三个卷积层，第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连，以此实现不同层间特征信息的传递，达到特征融合的目的；多阶段移动窗口自注意力机制网络包括图像块划分层、四个阶段的自注意力特征提取层和通道注意力层；将通过上述步骤得到的目标区域图像数据输入识别网络中进行目标类型识别，得到识别结果。

本发明还包括了一种空间目标定位、区域超分辨重建及类型识别系统，其特征在于：包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块；

所述目标检测模块用于在输入空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像；

所述目标区域清晰化超分辨重建模块包括目标区域清晰化单元和目标区域超分辨重建单元，用于得到进一步提升目标区域特征信息的目标区域图像；

所述强特征数据增广模块用于得到增广后的目标图像数据；

所述识别网络模块用于判断空间目标类型。

实施例1

本实施例提供一种空间目标检测定位-区域超分辨重建-类型识别方法，包括如下步骤：S1、输入的空间目标图像，通过目标检测网络进行检测，定位到目标所在区域，提取目标区域图像，如图2所示，具体步骤为：

S101、输入尺寸为W×H×C的原图像，通过检测阶段一得到尺寸为 的特征图，所述W为图像宽，H为图像高，C为图像通道数；

S102、将特征图通过检测阶段二得到尺寸为的特征图，在所述空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像。

检测阶段一包括：两个模块一和两个模块二，排列顺序为模块一、模块二、模块一、模块二；所述模块一和模块二均由卷积层、批量归一化和激活层组成，所述卷积层的卷积核大小均为3×3；所述激活层采用ReLU函数进行激活，所述模块一保持特征图的宽高不变，所述模块二对特征图的宽高进行下采样，所述下采样倍率为2倍；

检测阶段二包括：三个模块三及两个通道注意力层，排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三；所述模块三由模块一、模块二和模块四组成，每个模块的卷积层的通道数设置为输入特征图通道数的一半；所述模块四与所述模块一结构相同，但卷积核尺寸为1×1；所述通道注意力层不改变特征图的尺寸大小，仅对不同通道上的特征图赋予权重，以表征重要的特征信息（如图2所示）。

S2、将所述目标区域图像输入目标区域清晰化超分辨重建网络，得到进一步提升目标区域特征信息的目标区域图像，如图3-4所示，具体步骤为：

S201、输入目标区域图像，通过所述特征提取阶段获得尺寸为W×H×64的特征图；

S202、将特征图通过所述注意力机制阶段，获得尺寸为W×H×32的注意力机制特征图；

S203、将步骤S202获得的注意力机制特征图通过非线性映射阶段，学习低清晰度到高清晰度间的映射关系，得到尺寸为的特征图；

S204、将得到的特征图通过图像恢复阶段，得到尺寸为/>的特征图，通过上采样层将其恢复到原始输入尺寸W×H×C，完成目标区域的清晰化；

由于一个清晰度较高的图像对于超分辨重建过程中纹理细节的提升有很大帮助，将图像清晰化和图像超分辨重建级联起来可以更加有效的提升目标区域的特征信息；

S205、通过目标区域超分辨重建网络将所述目标区域图像的尺寸放大到r^a倍，得到待进行数据增广的图像数据；所述r表示上采样放大倍数。

步骤S201中所述特征提取阶段包括两个模块，每个模块由卷积层、批量归一化及激活层组成，所述卷积层的卷积核大小皆为3×3，通道数分别为32、64；所述激活层采用ReLU函数；

步骤S202中所述输入注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成，每个卷积层会得到一个尺寸为W×H×3的特征图，将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法，得到注意力映射图，再将其与第三个特征图矩阵进行矩阵乘法，生成尺寸为W×H×3的注意力特征图，最后通过一个卷积核大小为7×7、通道数为128的卷积层，最终得到尺寸W×H×32注意力特征图；

步骤S203中的非线性映射阶段由四个模块组成，所述模块之间采用跳连接的方式进行连接，所述的模块包括两个卷积层和一个激活层；所述卷积层中第一个卷积层卷积核大小为3×3，通道数为输入特征图通道数，不改变输入特征图的宽和高；第二个卷积层卷积核大小为3×3，通道数为输入特征图通道数的二倍，且将输入特征图的宽和高变为原来的一半；激活层采用ReLU函数，经过非线性映射阶段最终会得到尺寸为的特征图；

步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成；所述卷积层卷积核大小皆为3×3，通道数分别为1024和C，所述激活层采用ReLU函数；

所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层，不同卷积层及残差块之间采用稠密连接；所述三个卷积层的通道数皆为64，第一卷积层卷积核大小设置为7×7，以增大感受野大小，第二、三卷积层卷积核大小为3×3；所述残差块由两个卷积层和一个激活层组成，所述残差块中的卷积层的卷积核大小为3×3，所述激活层采用ReLU函数; 前三层卷积及残差块得到大小为W×H×C的特征图，将其送入渐进上采样层，通过大小为1×1×r²C的卷积核进行卷积，经卷积操作后获得大小为W×H×r²C的特征图，通过重新编排特征图使其尺寸变为rW×rH×C以此达到上采样的目的，所述的渐进上采样，即将n个上采样层串联起来进行上采样操作，也就是先将原始图像放大到原始尺寸的r倍，在此基础上再将图像尺寸放大r倍，逐步达到总体放大rⁿ倍的效果（如图3-4所示）。

S3、为了解决空间目标图像仅能增加图像数据量，而不能有效增加图像有效特征，推理时若使用与训练数据成像角度不相同的图像数据，识别网络仍不能对相同类型的空间目标图像进行准确识别的问题，引入随机区域遮挡的方法来提高同一类型的图像数据的特征信息，该方法通过在图像中随机生成矩形区域对图像进行遮挡，所谓随机是指生成的矩形区域的位置及其大小每次都不相同，通过设置随机区域遮挡数据增广次数n，对同一张图像进行n次随机区域遮挡，以获得n张遮挡后的数据增广图像，使之能够克服成像角度不同以及样本较少带来的特征缺失，增加相同类型同一成像角度的特征信息，在此基础上，通过对其他成像角度的进行数据增广，来完善同一类型间的图像特征信息，增强图像数据的鲁棒性，达到对图像数据的强特征数据增广。将所述提升目标区域特征信息的目标区域图像输入强特征数据增广算法，提高同一类型的图像数据的特征信息和同一类型间的图像特征信息，得到增广后的目标图像数据，具体步骤为：

S301、将待进行数据增广的图像输入，设置随机区域遮挡数据增广次数为n；

S302、生成随机矩形区域对同一图像进行遮挡；

S303、若增广图像数据数量满足数据增广次数n，得到n张增广图像数据；若增广图像数据数量不满足数据增广次数n，重复步骤S302，直至满足后得到n张增广图像；所述的n张增广图像即目标图像集（如图5所示）。

S4、设计识别网络，所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层，所述自注意力特征提取层包括四个阶段；将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络，再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别，得到识别结果；具体步骤为：

S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图；

S402、将特征图输入图像块划分层，划分后，图像尺寸更改为，深度为512；

S403、将划分后的图像通过自注意力特征提取层，得到尺寸为的特征图；

S404、将特征图输入通道注意力层，在特征图的维度方向上计算权重分数，并对每个特征图按照权重分数赋予权值，但不改变特征图尺寸大小；

S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的空间目标图像的类型，以概率分数最大的类别为识别结果（如图6所示）。

步骤S401中所述浅层特征提取融合网络由三个卷积层组成；所述卷积层的卷积核大小为3×3，通道数为32，第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连；

步骤S403中的自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块，阶段一通过线性变换将特征图的维度设置为M，不改变特征图的高和宽，经过该层后图像的尺寸变为，再将其输入移动窗自注意变换模块中，移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成，通过窗口多头自注意机制模块，将输入的图片划分为不重叠的多个窗口，在每个窗口中计算自注意力分数，同时使用多头机制将得到的注意力分数进行组合，得到多头自注意力特征图，再将其送入移动窗口多头自注意力机制模块，经移动窗口操作，使得窗口移动前后产生重叠，计算不同区域间的特征的多头自注意力分数，经过阶段一的处理，输出的特征图尺寸仍为；阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样，使来自上一阶段的特征图的高和宽会减半，维度翻倍，后续的操作都与阶段一相同，经过阶段二至阶段四的处理，仅改变特征图尺寸大小，各阶段分别为/>，/>，/>；然后，将阶段四得到的特征图输入到通道注意力层中，在特征图的维度方向上计算权重分数，并对每个特征图按照权重分数赋予权值，以此获得不同维度上特征的权重，该过程不改变特征图尺寸大小；最后，通过一个全连接层计算输出各个目标类型的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的空间目标图像的类型。

本方法使用16类不同成像角度获得的卫星目标图像数据，共计1600张，每类卫星目标图像100张，经目标检测网路获得1600张目标区域图像，每类100张，再经目标区域清晰化超分辨重建网络获得1600张清晰目标区域图像，每类100张，最后经过强特征数据增广算法，获得17600张增广数据，每类1100张，将其作为训练数据输入目标识别网路进行训练，共训练50轮。

推理数据为382张不同于训练数据时所使用的成像角度数据，分别采用现有单流程识别网络算法vgg19、resnet152、vision_transformer、swin_transformer和本发明设计的多流程算法对推理数据进行推理识别，识别准确率结果如表1所示。

经过对比与现有单流程识别网络算法相比，识别准确率提升20%左右。

表1

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.空间目标定位、区域超分辨重建及类型识别的方法，其特征在于，包括如下步骤：

S1、输入空间目标图像，通过目标检测网络进行检测，定位到目标所在的区域，提取目标区域图像；所述目标检测网络包括两个检测阶段，用于锚定目标区域并提取目标区域图像；

S2、设计目标区域清晰化超分辨重建网络，所述目标区域清晰化超分辨重建网络包括目标区域清晰网络和目标区域超分辨重建网络；所述目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层；将步骤S1提取的目标区域图像通过特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层，再通过目标区域超分辨重建网络，得到特征信息增强的目标区域图像；

S3、将步骤S2得到的目标区域图像通过强特征数据增广算法，增强同一类型的目标区域图像的特征信息和同一类型但成像角度不同的目标区域图像的特征信息，得到增广后的目标区域图像集；

S4、设计识别网络，所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层，所述自注意力特征提取层包括四个阶段；

将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络，再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别，得到识别结果；

所述步骤S4具体包括：

S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图,所述W为图像宽，H为图像高；

S402、将特征图输入图像块划分层，划分后，图像尺寸更改为，深度为512 ；

S403、将划分后的图像通过自注意力特征提取层，得到尺寸为的特征图；

所述自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块，阶段一通过线性变换将特征图的维度设置为M；

S404、将特征图输入通道注意力层，在特征图的维度方向上计算权重分数，并对每个特征图按照权重分数赋予权值，但不改变特征图尺寸大小；

S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的空间目标图像的类型，以概率分数最大的类别为识别结果。

2.根据权利要求1所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于：所述步骤S1包括以下子步骤：

S101、输入尺寸为W×H×C的空间目标图像，通过检测阶段一得到尺寸为特征图，C为图像通道数；

S102、将得到的特征图通过检测阶段二得到尺寸为/>特征图，在所述空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像。

3.根据权利要求2所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于，所述步骤S2包括：

S201、输入目标区域图像，通过所述特征提取阶段获得尺寸为W×H×64的特征图；

S202、将特征图通过所述注意力机制阶段，获得尺寸为W×H×32的注意力机制特征图；

S203、将步骤S202获得的注意力机制特征图通过非线性映射阶段，学习低清晰度到高清晰度间的映射关系，得到尺寸为的特征图；

S204、将得到的特征图通过图像恢复阶段，得到尺寸为/>的特征图，通过上采样层将其恢复到原始输入尺寸W×H×C，完成目标区域的清晰化；

S205、通过目标区域超分辨重建网络，将恢复原尺寸的特征图的尺寸放大到r^a倍，得到待进行数据增广的图像；所述r表示上采样放大倍数。

4.根据权利要求3所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于，所述步骤S3具体包括：

S301、将待进行数据增广的图像输入，设置随机区域遮挡数据增广次数为n；

S302、生成随机矩形区域对同一图像进行遮挡；

S303、若增广图像数据数量满足数据增广次数n，得到n张增广图像数据；若增广图像数据数量不满足数据增广次数n，重复步骤S302，直至满足后得到n张增广图像；所述的n张增广图像即目标图像集。

5.根据权利要求4所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于：所述步骤S101中的检测阶段一包括：两个模块一和两个模块二，排列顺序为模块一、模块二、模块一、模块二；所述模块一和模块二均由卷积层、批量归一化和激活层组成，所述卷积层的卷积核大小均为3×3；所述激活层采用ReLU函数进行激活，所述模块一保持特征图的宽高不变，所述模块二对特征图的宽高进行下采样，所述下采样倍率为2倍；

所述步骤S102中的检测阶段二包括：三个模块三及两个通道注意力层，排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三；所述模块三由模块一、模块二和模块四组成，每个模块的卷积层的通道数设置为输入特征图通道数的一半；所述模块四与所述模块一结构相同，但卷积核尺寸为1×1；所述通道注意力层不改变特征图的尺寸大小，仅对不同通道上的特征图赋予权重，以表征重要的特征信息。

6.根据权利要求5所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于：

所述步骤S201中所述特征提取阶段包括两个模块，每个模块由卷积层、批量归一化及激活层组成，所述卷积层的卷积核大小皆为3×3，通道数分别为32、64；所述激活层采用ReLU函数；

所述步骤S202中所述注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成，每个卷积层会得到一个尺寸为W×H×3的特征图，将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法，得到注意力映射图，再将其与第三个特征图矩阵进行矩阵乘法，生成尺寸为W×H×3的注意力特征图，最后通过一个卷积核大小为7×7、通道数为128的卷积层，最终得到尺寸W×H×32注意力特征图；

所述步骤S203中的非线性映射阶段由四个模块组成，所述模块之间采用跳连接的方式进行连接，所述的模块包括两个卷积层和一个激活层；所述卷积层中第一个卷积层卷积核大小为3×3，通道数为输入特征图通道数，不改变输入特征图的宽和高；第二个卷积层卷积核大小为3×3，通道数为输入特征图通道数的二倍，且将输入特征图的宽和高变为原来的一半；所述激活层采用ReLU函数，经过非线性映射阶段最终会得到尺寸为的特征图；

所述步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成；所述卷积层卷积核大小皆为3×3，通道数分别为1024和C，所述激活层采用ReLU函数；

所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层，不同卷积层及残差块之间采用稠密连接；所述三个卷积层的通道数皆为64，第一卷积层卷积核大小设置为7×7，以增大感受野大小，第二、三卷积层卷积核大小为3×3；所述残差块由两个卷积层和一个激活层组成，所述残差块中的卷积层的卷积核大小为3×3，所述激活层采用ReLU函数。

7.根据权利要求6所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于：所述步骤S401中所述浅层特征提取融合网络由三个卷积层组成；所述卷积层的卷积核大小为3×3，通道数为32，第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连；

不改变特征图的高和宽，经过该层后图像的尺寸变为，再将其输入移动窗自注意变换模块中，移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成，通过窗口多头自注意机制模块，将输入的图片划分为不重叠的多个窗口，在每个窗口中计算自注意力分数，同时使用多头机制将得到的注意力分数进行组合，得到多头自注意力特征图，再将其送入移动窗口多头自注意力机制模块，经移动窗口操作，使得窗口移动前后产生重叠，计算不同区域间的特征的多头自注意力分数，经过阶段一的处理，输出的特征图尺寸仍为/>；

阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样，使来自上一阶段的特征图的高和宽会减半，维度翻倍，后续的操作都与阶段一相同，经过阶段二至阶段四的处理，仅改变特征图尺寸大小，各阶段分别为，/>，/>。

8.根据权利要求7所述的空间目标定位、区域超分辨重建及类型识别的方法，其特征在于，所述ReLU函数为：f(x)=max(0,x)，其中max为最大值函数，x为网络输入。

9.一种空间目标定位、区域超分辨重建及类型识别的系统，使用如权利要求1所述的方法，其特征在于：包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块；

所述目标检测模块，用于输入空间目标图像，在输入空间目标图像上生成锚框检测定位到目标所在区域，提取目标区域图像；

所述目标区域清晰化超分辨重建模块，包括目标区域清晰化单元和目标区域超分辨重建单元，用于得到进一步增强目标区域特征信息的目标区域图像；

所述强特征数据增广模块，用于提高同一类型的图像数据的特征信息和同一类型间的图像特征信息，得到增广后的目标图像数据；

所述识别网络模块，包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络，用于判断空间目标类型。