CN116311192A - 空间目标定位、区域超分辨重建及类型识别的系统及方法 - Google Patents
空间目标定位、区域超分辨重建及类型识别的系统及方法 Download PDFInfo
- Publication number
- CN116311192A CN116311192A CN202310539852.7A CN202310539852A CN116311192A CN 116311192 A CN116311192 A CN 116311192A CN 202310539852 A CN202310539852 A CN 202310539852A CN 116311192 A CN116311192 A CN 116311192A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- layer
- module
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000003321 amplification Effects 0.000 claims abstract description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000007246 mechanism Effects 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 27
- 238000013434 data augmentation Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 7
- 230000008685 targeting Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004873 anchoring Methods 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标识别技术领域,具体提供一种空间目标定位、区域超分辨重建及类型识别的系统及方法,通过目标检测网络进行检测,在输入的空间目标图像上生成锚框检测定位到目标所在区域,提取目标区域图像;将目标区域图像数据输入目标区域清晰化超分辨重建网络,得到进一步增强目标区域的特征信息的目标区域图像,超分辨重建后的目标区域图像通过强特征数据增广算法,得到增广后的目标图像;将得到的目标区域图像输入识别网络中进行目标类型识别;解决了空间目标图像样本小、清晰度低,同一类型的空间目标图像形态相差较大所带来的识别困难的问题,解决了只有专业人士才能对空间目标图像类型进行识别的难题,在识别精度上也优于已有的技术。
Description
技术领域
本发明涉及目标识别技术领域,尤其涉及一种空间目标定位、区域超分辨重建及类型识别的系统及方法。
背景技术
目前,全球各国对太空领域研究的投入逐渐加大,空间目标的类型识别作为其中研究之一,其有着重要的应用价值;所谓空间目标是指卫星,空间碎片,宇宙飞行物等,而空间目标图像则是通过各类成像系统对其拍摄行程的图像。现有的空间目标图像类型识别技术仅仅是单流程的,即对获得的空间目标图像直接进行类型识别,不包含其他技术处理流程。然而,由于成像系统的限制,导致通常所获得的太空背景下的空间目标图像样本较少,图像清晰度较低;同时由于成像系统拍摄角度的不同,会造成同一类型的空间目标图像之间存在形态差异,基于上述问题现有的空间目标图像类型识别技术的识别准确率不高;本方法能够解决由于缺少技术处理导致的识别精度低、有效特征少的问题。
发明内容
本发明为解决上述问题,提供一种一种空间目标定位、区域超分辨重建及类型识别的系统及方法。
本发明提供一种空间目标定位、区域超分辨重建及类型识别的系统及方法,其特征在于,所述方法的步骤包括:
S1、设计目标检测网络,所述目标检测网络由检测阶段一和检测阶段二组成;输入空间目标图像,通过目标检测网络进行检测,定位到目标所在区域,提取目标区域图像;
S2、设计目标区域清晰化超分辨重建网络,所述目标区域清晰化超分辨重建网络包括目标区域清晰网络和目标区域超分辨重建网络;所述目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层;所述目标区域图像通过特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层,再通过目标区域超分辨重建网络,得到进一步增强特征信息的目标区域图像;
S3、将步骤S2得到的目标区域图像通过强特征数据增广算法,增强同一类型的目标区域图像的特征信息和同一类型但成像角度不同的目标区域图像的特征信息,得到增广后的目标区域图像集;
S4、设计识别网络,所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层,所述自注意力特征提取层包括四个阶段;将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络,再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别,得到识别结果。
优选地,步骤S1包括以下子步骤:
优选地,步骤S2包括:
S201、输入目标区域图像,通过所述特征提取阶段获得尺寸为W×H×64的特征图;
S202、将特征图通过所述注意力机制阶段,获得尺寸为W×H×32的注意力机制特征图;
S203、将步骤S202获得的注意力机制特征图通过非线性映射阶段,学习低清晰度到高清晰度间的映射关系,得到尺寸为 的特征图;
S205、通过目标区域超分辨重建网络,将恢复原尺寸的特征图的尺寸放大到rn倍,得到待进行数据增广的图像;所述r表示上采样放大倍数。
优选地,步骤S3具体包括:
S301、将待进行数据增广的图像输入,设置随机区域遮挡数据增广次数为n;
S302、生成随机矩形区域对同一图像进行遮挡;
S303、若增广图像数据数量满足数据增广次数n,得到n张增广图像数据;若增广图像数据数量不满足数据增广次数n,重复步骤S302,直至满足后得到n张增广图像;所述的n张增广图像即目标图像集。
优选地,步骤S4具体包括:
S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图;
S402、将特征图输入图像块划分层,划分后,图像尺寸更改为 ,深度为512;
S404、将特征图输入通道注意力层,在特征图的维度方向上计算权重分数,并对每个特征图按照权重分数赋予权值,但不改变特征图尺寸大小;
S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数,每个类别对应一个概率分数,概率分数最大的类别判定为所预测的空间目标图像的类型,以概率分数最大的类别为识别结果。
优选地,步骤S101中的检测阶段一包括:两个模块一和两个模块二,排列顺序为模块一、模块二、模块一、模块二;所述模块一和模块二均由卷积层、批量归一化和激活层组成,所述卷积层的卷积核大小均为3×3;所述激活层采用ReLU函数进行激活,所述模块一保持特征图的宽高不变,所述模块二对特征图的宽高进行下采样,所述下采样倍率为2倍;
所述步骤S102中的检测阶段二包括:三个模块三及两个通道注意力层,排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三;所述模块三由模块一、模块二和模块四组成,每个模块的卷积层的通道数设置为输入特征图通道数的一半;所述模块四与所述模块一结构相同,但卷积核尺寸为1×1;所述通道注意力层不改变特征图的尺寸大小,仅对不同通道上的特征图赋予权重,以表征重要的特征信息。
优选地,步骤S201中所述特征提取阶段包括两个模块,每个模块由卷积层、批量归一化及激活层组成,所述卷积层的卷积核大小皆为3×3,通道数分别为32、64;所述激活层采用ReLU函数;
所述步骤S202中所述输入注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成,每个卷积层会得到一个尺寸为W×H×3的特征图,将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法,得到注意力映射图,再将其与第三个特征图矩阵进行矩阵乘法,生成尺寸为W×H×3的注意力特征图,最后通过一个卷积核大小为7×7、通道数为128的卷积层,最终得到尺寸W×H×32注意力特征图;
所述步骤S203中的非线性映射阶段由四个模块组成,所述模块之间采用跳连接的方式进行连接,所述的模块包括两个卷积层和一个激活层;所述卷积层中第一个卷积层卷积核大小为3×3,通道数为输入特征图通道数,不改变输入特征图的宽和高;第二个卷积层卷积核大小为3×3,通道数为输入特征图通道数的二倍,且将输入特征图的宽和高变为原来的一半;所述激活层采用ReLU函数,经过非线性映射阶段最终会得到尺寸为的特征图;
所述步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成;所述卷积层卷积核大小皆为3×3,通道数分别为1024和C,所述激活层采用ReLU函数;
所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层,不同卷积层及残差块之间采用稠密连接;所述三个卷积层的通道数皆为64,第一卷积层卷积核大小设置为7×7,以增大感受野大小,第二、三卷积层卷积核大小为3×3;所述残差块由两个卷积层和一个激活层组成,所述残差块中的卷积层的卷积核大小为3×3,所述激活层采用ReLU函数。
优选地,步骤S401中所述浅层特征提取融合网络由三个卷积层组成;所述卷积层的卷积核大小为3×3,通道数为32,第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连;
所述步骤S403中的自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块,阶段一通过线性变换将特征图的维度设置为M,不改变特征图的高和宽,经过该层后图像的尺寸变为,再将其输入移动窗自注意变换模块中,移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成,通过窗口多头自注意机制模块,将输入的图片划分为不重叠的多个窗口,在每个窗口中计算自注意力分数,同时使用多头机制将得到的注意力分数进行组合,得到多头自注意力特征图,再将其送入移动窗口多头自注意力机制模块,经移动窗口操作,使得窗口移动前后产生重叠,计算不同区域间的特征的多头自注意力分数,经过阶段一的处理,输出的特征图尺寸仍为/>;阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样,使来自上一阶段的特征图的高和宽会减半,维度翻倍,后续的操作都与阶段一相同,经过阶段二至阶段四的处理,仅改变特征图尺寸大小,各阶段分别为/>,/>,/>。
优选地, ReLU函数为:f(x)=max(0,x),其中max为最大值函数,x为网络输入。
本发明还提供一种基于目标定位、区域超分辨重建及类型识别的系统,其特征在于:包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块;
所述目标检测模块,用于输入空间目标图像,在输入空间目标图像上生成锚框检测定位到目标所在区域,提取目标区域图像;
所述目标区域清晰化超分辨重建模块,包括目标区域清晰化单元和目标区域超分辨重建单元,用于得到进一步增强目标区域特征信息的目标区域图像;
所述强特征数据增广模块,用于提高同一类型的图像数据的特征信息和同一类型间的图像特征信息,得到增广后的目标图像数据;
所述识别网络模块,包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,用于判断空间目标类型。
与现有技术相比,本发明能够取得如下有益效果:
(1)解决了空间目标图像样本小、清晰度低,同一类型的空间目标图像形态相差较大所带来的识别困难的问题;
(2)解决了只有专业人士才能对空间目标图像类型进行识别的难题;
(3)与现有技术相比具有更高的识别精度;
(4)目标检测的种类范围广。
附图说明
图1是根据本发明具体实施方式中的基于目标定位、区域超分辨重建及类型识别的系统的流程示意图。
图2是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标检测网络示意图。
图3是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标区域清晰化网络结构图。
图4是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的目标区域超分辨重建网络结构图。
图5是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法的随机区域遮挡数据增广处理流程图。
图6是根据本发明具体实施方式中的空间目标定位、区域超分辨重建及类型识别的方法识别网络结构图。
具体实施方式
在下文中,将参考附图描述本发明的实施例。在下面的描述中,相同的模块使用相同的附图标记表示。在相同的附图标记的情况下,它们的名称和功能也相同。因此,将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
如图1所示,空间目标定位、区域超分辨重建及类型识别的方法的步骤包括:
S1、为了提高对空间目标图像类型识别的准确率,设计目标检测网络,所述目标检测网络主要是由检测阶段一及检测阶段二组成;通过输入空间目标图像,通过目标检测网络进行检测,定位到目标所在区域,提取目标区域图像;
S2、设计目标区域清晰化超分辨重建网络结构,该网络包括目标区域清晰网络和目标区域超分辨重建网络,其中目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段和图像恢复阶段;为了改善重建后纹理,目前的方法大多采用加深网络及改进损失函数进行约束,而没利用不同深度的特征图信息;因此,,设计一种多深度特征融合稠密连接卷积网络,即目标区域超分辨重建网络,利用多深度信息,提升重建后纹理细节;所述目标区域超分辨重建网络包括三个卷积层,六个残差块和渐进上采样层,不同卷积层及残差块之间采用稠密连接;将所述目标区域图像数据输入目标区域清晰化超分辨重建网络,进一步增强目标区域特征;
S3、设计强特征数据增广算法,将得到的目标区域图像输入强特征数据增广算法,增加相同类型同一成像角度的特征信息,在此基础上,通过对其他成像角度的进行数据增广,来完善同一类型间的图像特征信息,增强图像数据的鲁棒性,达到对图像数据的强特征数据增广,得到增广后的目标图像集;
S4、设计识别网络结构,该网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,其中浅层特征提取融合网络包括三个卷积层,第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连,以此实现不同层间特征信息的传递,达到特征融合的目的;多阶段移动窗口自注意力机制网络包括图像块划分层、四个阶段的自注意力特征提取层和通道注意力层;将通过上述步骤得到的目标区域图像数据输入识别网络中进行目标类型识别,得到识别结果。
本发明还包括了一种空间目标定位、区域超分辨重建及类型识别系统,其特征在于:包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块;
所述目标检测模块用于在输入空间目标图像上生成锚框检测定位到目标所在区域,提取目标区域图像;
所述目标区域清晰化超分辨重建模块包括目标区域清晰化单元和目标区域超分辨重建单元,用于得到进一步提升目标区域特征信息的目标区域图像;
所述强特征数据增广模块用于得到增广后的目标图像数据;
所述识别网络模块用于判断空间目标类型。
实施例1
本实施例提供一种空间目标检测定位-区域超分辨重建-类型识别方法,包括如下步骤:S1、输入的空间目标图像,通过目标检测网络进行检测,定位到目标所在区域,提取目标区域图像,如图2所示,具体步骤为:
S101、输入尺寸为W×H×C的原图像,通过检测阶段一得到尺寸为 的特征图,所述W为图像宽,H为图像高,C为图像通道数;
检测阶段一包括:两个模块一和两个模块二,排列顺序为模块一、模块二、模块一、模块二;所述模块一和模块二均由卷积层、批量归一化和激活层组成,所述卷积层的卷积核大小均为3×3;所述激活层采用ReLU函数进行激活,所述模块一保持特征图的宽高不变,所述模块二对特征图的宽高进行下采样,所述下采样倍率为2倍;
检测阶段二包括:三个模块三及两个通道注意力层,排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三;所述模块三由模块一、模块二和模块四组成,每个模块的卷积层的通道数设置为输入特征图通道数的一半;所述模块四与所述模块一结构相同,但卷积核尺寸为1×1;所述通道注意力层不改变特征图的尺寸大小,仅对不同通道上的特征图赋予权重,以表征重要的特征信息(如图2所示)。
S2、将所述目标区域图像输入目标区域清晰化超分辨重建网络,得到进一步提升目标区域特征信息的目标区域图像,如图3-4所示,具体步骤为:
S201、输入目标区域图像,通过所述特征提取阶段获得尺寸为W×H×64的特征图;
S202、将特征图通过所述注意力机制阶段,获得尺寸为W×H×32的注意力机制特征图;
由于一个清晰度较高的图像对于超分辨重建过程中纹理细节的提升有很大帮助,将图像清晰化和图像超分辨重建级联起来可以更加有效的提升目标区域的特征信息;
S205、通过目标区域超分辨重建网络将所述目标区域图像的尺寸放大到rn倍,得到待进行数据增广的图像数据;所述r表示上采样放大倍数。
步骤S201中所述特征提取阶段包括两个模块,每个模块由卷积层、批量归一化及激活层组成,所述卷积层的卷积核大小皆为3×3,通道数分别为32、64;所述激活层采用ReLU函数;
步骤S202中所述输入注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成,每个卷积层会得到一个尺寸为W×H×3的特征图,将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法,得到注意力映射图,再将其与第三个特征图矩阵进行矩阵乘法,生成尺寸为W×H×3的注意力特征图,最后通过一个卷积核大小为7×7、通道数为128的卷积层,最终得到尺寸W×H×32注意力特征图;
步骤S203中的非线性映射阶段由四个模块组成,所述模块之间采用跳连接的方式进行连接,所述的模块包括两个卷积层和一个激活层;所述卷积层中第一个卷积层卷积核大小为3×3,通道数为输入特征图通道数,不改变输入特征图的宽和高;第二个卷积层卷积核大小为3×3,通道数为输入特征图通道数的二倍,且将输入特征图的宽和高变为原来的一半;激活层采用ReLU函数,经过非线性映射阶段最终会得到尺寸为的特征图;
步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成;所述卷积层卷积核大小皆为3×3,通道数分别为1024和C,所述激活层采用ReLU函数;
所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层,不同卷积层及残差块之间采用稠密连接;所述三个卷积层的通道数皆为64,第一卷积层卷积核大小设置为7×7,以增大感受野大小,第二、三卷积层卷积核大小为3×3;所述残差块由两个卷积层和一个激活层组成,所述残差块中的卷积层的卷积核大小为3×3,所述激活层采用ReLU函数; 前三层卷积及残差块得到大小为W×H×C的特征图,将其送入渐进上采样层,通过大小为1×1×r2C的卷积核进行卷积,经卷积操作后获得大小为W×H×r2C的特征图,通过重新编排特征图使其尺寸变为rW×rH×C以此达到上采样的目的,所述的渐进上采样,即将n个上采样层串联起来进行上采样操作,也就是先将原始图像放大到原始尺寸的r倍,在此基础上再将图像尺寸放大r倍,逐步达到总体放大rn倍的效果(如图3-4所示)。
S3、为了解决空间目标图像仅能增加图像数据量,而不能有效增加图像有效特征,推理时若使用与训练数据成像角度不相同的图像数据,识别网络仍不能对相同类型的空间目标图像进行准确识别的问题,引入随机区域遮挡的方法来提高同一类型的图像数据的特征信息,该方法通过在图像中随机生成矩形区域对图像进行遮挡,所谓随机是指生成的矩形区域的位置及其大小每次都不相同,通过设置随机区域遮挡数据增广次数n,对同一张图像进行n次随机区域遮挡,以获得n张遮挡后的数据增广图像,使之能够克服成像角度不同以及样本较少带来的特征缺失,增加相同类型同一成像角度的特征信息,在此基础上,通过对其他成像角度的进行数据增广,来完善同一类型间的图像特征信息,增强图像数据的鲁棒性,达到对图像数据的强特征数据增广。将所述提升目标区域特征信息的目标区域图像输入强特征数据增广算法,提高同一类型的图像数据的特征信息和同一类型间的图像特征信息,得到增广后的目标图像数据,具体步骤为:
S301、将待进行数据增广的图像输入,设置随机区域遮挡数据增广次数为n;
S302、生成随机矩形区域对同一图像进行遮挡;
S303、若增广图像数据数量满足数据增广次数n,得到n张增广图像数据;若增广图像数据数量不满足数据增广次数n,重复步骤S302,直至满足后得到n张增广图像;所述的n张增广图像即目标图像集(如图5所示)。
S4、设计识别网络,所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层,所述自注意力特征提取层包括四个阶段;将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络,再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别,得到识别结果;具体步骤为:
S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图;
S404、将特征图输入通道注意力层,在特征图的维度方向上计算权重分数,并对每个特征图按照权重分数赋予权值,但不改变特征图尺寸大小;
S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数,每个类别对应一个概率分数,概率分数最大的类别判定为所预测的空间目标图像的类型,以概率分数最大的类别为识别结果(如图6所示)。
步骤S401中所述浅层特征提取融合网络由三个卷积层组成;所述卷积层的卷积核大小为3×3,通道数为32,第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连;
步骤S403中的自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块,阶段一通过线性变换将特征图的维度设置为M,不改变特征图的高和宽,经过该层后图像的尺寸变为,再将其输入移动窗自注意变换模块中,移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成,通过窗口多头自注意机制模块,将输入的图片划分为不重叠的多个窗口,在每个窗口中计算自注意力分数,同时使用多头机制将得到的注意力分数进行组合,得到多头自注意力特征图,再将其送入移动窗口多头自注意力机制模块,经移动窗口操作,使得窗口移动前后产生重叠,计算不同区域间的特征的多头自注意力分数,经过阶段一的处理,输出的特征图尺寸仍为;阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样,使来自上一阶段的特征图的高和宽会减半,维度翻倍,后续的操作都与阶段一相同,经过阶段二至阶段四的处理,仅改变特征图尺寸大小,各阶段分别为/>,/>,/>;然后,将阶段四得到的特征图输入到通道注意力层中,在特征图的维度方向上计算权重分数,并对每个特征图按照权重分数赋予权值,以此获得不同维度上特征的权重,该过程不改变特征图尺寸大小;最后,通过一个全连接层计算输出各个目标类型的概率分数,每个类别对应一个概率分数,概率分数最大的类别判定为所预测的空间目标图像的类型。
本方法使用16类不同成像角度获得的卫星目标图像数据,共计1600张,每类卫星目标图像100张,经目标检测网路获得1600张目标区域图像,每类100张,再经目标区域清晰化超分辨重建网络获得1600张清晰目标区域图像,每类100张,最后经过强特征数据增广算法,获得17600张增广数据,每类1100张,将其作为训练数据输入目标识别网路进行训练,共训练50轮。
推理数据为382张不同于训练数据时所使用的成像角度数据,分别采用现有单流程识别网络算法vgg19、resnet152、vision_transformer、swin_transformer和本发明设计的多流程算法对推理数据进行推理识别,识别准确率结果如表1所示。
经过对比与现有单流程识别网络算法相比,识别准确率提升20%左右。
表1
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (10)
1.空间目标定位、区域超分辨重建及类型识别的方法,其特征在于,包括如下步骤:
S1、输入空间目标图像,通过目标检测网络进行检测,定位到目标所在的区域,提取目标区域图像;所述目标检测网络包括两个检测阶段,用于锚定目标区域并提取目标区域图像;
S2、设计目标区域清晰化超分辨重建网络,所述目标区域清晰化超分辨重建网络包括目标区域清晰网络和目标区域超分辨重建网络;所述目标区域清晰网络包括特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层;将步骤S1提取的目标区域图像通过特征提取阶段、注意力机制阶段、非线性映射阶段、图像恢复阶段和上采样层,再通过目标区域超分辨重建网络,得到特征信息增强的目标区域图像;
S3、将步骤S2得到的目标区域图像通过强特征数据增广算法,增强同一类型的目标区域图像的特征信息和同一类型但成像角度不同的目标区域图像的特征信息,得到增广后的目标区域图像集;
S4、设计识别网络,所述识别网络包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,所述多阶段移动窗口自注意力机制网络包括图像块划分层、自注意力特征提取层和通道注意力层,所述自注意力特征提取层包括四个阶段;将通过步骤S3得到的目标区域图像集先通过浅层特征提取融合网络,再通过多阶段移动窗口自注意力机制网络的图像块划分层、自注意力特征提取层和通道注意力层进行空间目标图像的类型识别,得到识别结果。
3.根据权利要求2所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于,所述步骤S2包括:
S201、输入目标区域图像,通过所述特征提取阶段获得尺寸为W×H×64的特征图;
S202、将特征图通过所述注意力机制阶段,获得尺寸为W×H×32的注意力机制特征图;
S205、通过目标区域超分辨重建网络,将恢复原尺寸的特征图的尺寸放大到rn倍,得到待进行数据增广的图像;所述r表示上采样放大倍数。
4.根据权利要求3所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于,所述步骤S3具体包括:
S301、将待进行数据增广的图像输入,设置随机区域遮挡数据增广次数为n;
S302、生成随机矩形区域对同一图像进行遮挡;
S303、若增广图像数据数量满足数据增广次数n,得到n张增广图像数据;若增广图像数据数量不满足数据增广次数n,重复步骤S302,直至满足后得到n张增广图像;所述的n张增广图像即目标图像集。
5.根据权利要求4所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于:所述步骤S4具体包括:
S401、将目标图像集通过浅层特征提取融合网络得到大小为W×H×32的特征图;
S404、将特征图输入通道注意力层,在特征图的维度方向上计算权重分数,并对每个特征图按照权重分数赋予权值,但不改变特征图尺寸大小;
S405、将步骤S404得到的特征图通过一个全连接层计算输出各个目标类型的概率分数,每个类别对应一个概率分数,概率分数最大的类别判定为所预测的空间目标图像的类型,以概率分数最大的类别为识别结果。
6.根据权利要求5所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于:所述步骤S101中的检测阶段一包括:两个模块一和两个模块二,排列顺序为模块一、模块二、模块一、模块二;所述模块一和模块二均由卷积层、批量归一化和激活层组成,所述卷积层的卷积核大小均为3×3;所述激活层采用ReLU函数进行激活,所述模块一保持特征图的宽高不变,所述模块二对特征图的宽高进行下采样,所述下采样倍率为2倍;
所述步骤S102中的检测阶段二包括:三个模块三及两个通道注意力层,排列顺序为模块三、通道注意力层、模块三、通道注意力层、模块三;所述模块三由模块一、模块二和模块四组成,每个模块的卷积层的通道数设置为输入特征图通道数的一半;所述模块四与所述模块一结构相同,但卷积核尺寸为1×1;所述通道注意力层不改变特征图的尺寸大小,仅对不同通道上的特征图赋予权重,以表征重要的特征信息。
7.根据权利要求6所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于:
所述步骤S201中所述特征提取阶段包括两个模块,每个模块由卷积层、批量归一化及激活层组成,所述卷积层的卷积核大小皆为3×3,通道数分别为32、64;所述激活层采用ReLU函数;
所述步骤S202中所述输入注意力机制阶段由三个卷积核大小为1×1、通道数为3的卷积层并联组成,每个卷积层会得到一个尺寸为W×H×3的特征图,将第一个特征图矩阵转置后与第二个特征图矩阵做矩阵乘法,得到注意力映射图,再将其与第三个特征图矩阵进行矩阵乘法,生成尺寸为W×H×3的注意力特征图,最后通过一个卷积核大小为7×7、通道数为128的卷积层,最终得到尺寸W×H×32注意力特征图;
所述步骤S203中的非线性映射阶段由四个模块组成,所述模块之间采用跳连接的方式进行连接,所述的模块包括两个卷积层和一个激活层;所述卷积层中第一个卷积层卷积核大小为3×3,通道数为输入特征图通道数,不改变输入特征图的宽和高;第二个卷积层卷积核大小为3×3,通道数为输入特征图通道数的二倍,且将输入特征图的宽和高变为原来的一半;所述激活层采用ReLU函数,经过非线性映射阶段最终会得到尺寸为的特征图;
所述步骤S204中的图像恢复阶段由两个卷积层及两个激活层组成;所述卷积层卷积核大小皆为3×3,通道数分别为1024和C,所述激活层采用ReLU函数;
所述目标区域超分辨重建网络包括三个卷积层、六个残差块和渐进上采样层,不同卷积层及残差块之间采用稠密连接;所述三个卷积层的通道数皆为64,第一卷积层卷积核大小设置为7×7,以增大感受野大小,第二、三卷积层卷积核大小为3×3;所述残差块由两个卷积层和一个激活层组成,所述残差块中的卷积层的卷积核大小为3×3,所述激活层采用ReLU函数。
8.根据权利要求7所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于:所述步骤S401中所述浅层特征提取融合网络由三个卷积层组成;所述卷积层的卷积核大小为3×3,通道数为32,第一个和第二个卷积层通过跳连接的方式与第三个卷积层相连;
所述步骤S403中的自注意力特征提取层的四个阶段均包括线性嵌入层和移动窗自注意变换模块,阶段一通过线性变换将特征图的维度设置为M,不改变特征图的高和宽,经过该层后图像的尺寸变为,再将其输入移动窗自注意变换模块中,移动窗自注意变换模块由窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接组成,通过窗口多头自注意机制模块,将输入的图片划分为不重叠的多个窗口,在每个窗口中计算自注意力分数,同时使用多头机制将得到的注意力分数进行组合,得到多头自注意力特征图,再将其送入移动窗口多头自注意力机制模块,经移动窗口操作,使得窗口移动前后产生重叠,计算不同区域间的特征的多头自注意力分数,经过阶段一的处理,输出的特征图尺寸仍为;阶段二至阶段四在操作前都会经过一个图像块融合层进行下采样,使来自上一阶段的特征图的高和宽会减半,维度翻倍,后续的操作都与阶段一相同,经过阶段二至阶段四的处理,仅改变特征图尺寸大小,各阶段分别为/>,/>,/>。
9.根据权利要求8所述的空间目标定位、区域超分辨重建及类型识别的方法,其特征在于,所述ReLU函数为:f(x)=max(0,x),其中max为最大值函数,x为网络输入。
10.一种空间目标定位、区域超分辨重建及类型识别的系统,其特征在于:包括目标检测定位模块、目标区域清晰化超分辨重建模块、强特征数据增广模块和识别网络模块;
所述目标检测模块,用于输入空间目标图像,在输入空间目标图像上生成锚框检测定位到目标所在区域,提取目标区域图像;
所述目标区域清晰化超分辨重建模块,包括目标区域清晰化单元和目标区域超分辨重建单元,用于得到进一步增强目标区域特征信息的目标区域图像;
所述强特征数据增广模块,用于提高同一类型的图像数据的特征信息和同一类型间的图像特征信息,得到增广后的目标图像数据;
所述识别网络模块,包括浅层特征提取融合网络和多阶段移动窗口自注意力机制网络,用于判断空间目标类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310539852.7A CN116311192B (zh) | 2023-05-15 | 2023-05-15 | 空间目标定位、区域超分辨重建及类型识别的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310539852.7A CN116311192B (zh) | 2023-05-15 | 2023-05-15 | 空间目标定位、区域超分辨重建及类型识别的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116311192A true CN116311192A (zh) | 2023-06-23 |
CN116311192B CN116311192B (zh) | 2023-08-22 |
Family
ID=86790861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310539852.7A Active CN116311192B (zh) | 2023-05-15 | 2023-05-15 | 空间目标定位、区域超分辨重建及类型识别的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116311192B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
WO2022032823A1 (zh) * | 2020-08-10 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
CN114170086A (zh) * | 2021-12-13 | 2022-03-11 | 辽宁工程技术大学 | 一种基于双重注意力机制的超分辨率算法 |
CN115423788A (zh) * | 2022-09-16 | 2022-12-02 | 山东大学 | 一种基于深度学习的消化道识别系统及方法 |
CN115661505A (zh) * | 2022-09-07 | 2023-01-31 | 杭州电子科技大学 | 一种语义感知的图像阴影检测方法 |
CN115984930A (zh) * | 2022-12-26 | 2023-04-18 | 中国电信股份有限公司 | 微表情识别方法、装置、微表情识别模型的训练方法 |
-
2023
- 2023-05-15 CN CN202310539852.7A patent/CN116311192B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022032823A1 (zh) * | 2020-08-10 | 2022-02-17 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
CN114170086A (zh) * | 2021-12-13 | 2022-03-11 | 辽宁工程技术大学 | 一种基于双重注意力机制的超分辨率算法 |
CN115661505A (zh) * | 2022-09-07 | 2023-01-31 | 杭州电子科技大学 | 一种语义感知的图像阴影检测方法 |
CN115423788A (zh) * | 2022-09-16 | 2022-12-02 | 山东大学 | 一种基于深度学习的消化道识别系统及方法 |
CN115984930A (zh) * | 2022-12-26 | 2023-04-18 | 中国电信股份有限公司 | 微表情识别方法、装置、微表情识别模型的训练方法 |
Non-Patent Citations (2)
Title |
---|
YUANFEI HUANG 等: "Interpretable Detail-Fidelity Attention Network for Single Image Super-Resolution", ARXIV:2009.13134V1 [CS.CV] 28 SEP 2020, pages 1 - 14 * |
吴靖 等: "基于深度学习的单帧图像超分辨率重建综述", 电 子 学 报, pages 2265 - 2287 * |
Also Published As
Publication number | Publication date |
---|---|
CN116311192B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
CN108475415B (zh) | 用于图像处理的方法和系统 | |
CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
CN113469191B (zh) | 基于多层特征融合注意力机制的sar图像叠掩区提取方法 | |
CN115953303A (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
CN114998756A (zh) | 一种基于yolov5的遥感图像检测方法、装置及存储介质 | |
CN114419612A (zh) | 一种用于景区车牌识别的图像超分辨率重建方法及装置 | |
CN117036980A (zh) | 基于高分辨率特征自注意的卫星遥感图像小目标检测方法 | |
CN114255168A (zh) | 基于残差卷积神经网络的ldct图像超分辨增强方法及装置 | |
CN114550305B (zh) | 一种基于Transformer的人体姿态估计方法及系统 | |
CN112529908B (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
CN116311192B (zh) | 空间目标定位、区域超分辨重建及类型识别的系统及方法 | |
CN113807362A (zh) | 基于层间语义信息融合深度卷积网络的图像分类方法 | |
CN111680667B (zh) | 一种基于深度神经网络的遥感图像地物分类方法 | |
CN113240584A (zh) | 一种基于图片边缘信息的多任务手势图片超分辨率方法 | |
CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
CN115100409B (zh) | 一种基于孪生网络的视频人像分割算法 | |
CN114743023B (zh) | 一种基于RetinaNet模型的麦蜘蛛图像检测方法 | |
CN114972155B (zh) | 一种基于上下文信息和反向注意力的息肉图像分割方法 | |
CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
CN112001479B (zh) | 基于深度学习模型的处理方法、系统及电子设备 | |
CN113111736A (zh) | 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |