CN116091854B - 一种对hrrp序列进行空间目标分类的方法和系统 - Google Patents
一种对hrrp序列进行空间目标分类的方法和系统 Download PDFInfo
- Publication number
- CN116091854B CN116091854B CN202211599022.5A CN202211599022A CN116091854B CN 116091854 B CN116091854 B CN 116091854B CN 202211599022 A CN202211599022 A CN 202211599022A CN 116091854 B CN116091854 B CN 116091854B
- Authority
- CN
- China
- Prior art keywords
- feature
- classification
- global
- space
- hrrp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 abstract description 8
- 101001048529 Plectranthus scutellarioides Hydroxyphenylpyruvate reductase Proteins 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 3
- 230000005251 gamma ray Effects 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种对HRRP序列进行空间目标分类的方法和系统,包括HRRP序列输入、基于浅层特征提取模块对空间目标对象细粒度特征进行提取,并完成特征图结构向token结构转换、基于时空特征提取模块对空间目标对象的时‑空特征、全局‑局部特征进行提取和融合、空间目标对象分类输出;该方法能够有效的利用HRRP序列实现空间目标识别,即便HRRP序列是缺失的;考虑到HRRP序列数据蕴含空间目标的微动特征和结构特征,设计了由Transformer和卷积神经网络构成的双分支并行模块,能够有效保留缺失HPPR序列数据间的长距离依赖关系,且在捕获全局特征的同时不会丢失目标的局部特征。
Description
技术领域
本发明涉及雷达目标分类技术领域,尤其涉及一种对HRRP序列进行空间目标分类的方法和系统。
背景技术
空间目标分类在空间安全、资源利用以及侦查监视中具有重要作用,地基相控阵雷达已成为空间目标识别的重要传感器。包括空间碎片、火箭、部分卫星等在内的许多空间目标除了质心的平动外,通常还具有绕质心的微动,由微动引起的目标到雷达距离的变化会对雷达回波产生复杂的频率调制,除空间维度反映的目标尺寸和结构形状等特征外,时间维度表现出微动特征也是空间目标分类的重要依据。
HRRP(High-Resolution Range Profile,高分辨一维距离像)表征目标各散射中心在雷达视线上的投影,也包含目标的空间特征,HRRP仅需对宽带雷达回波进行距离向的脉冲压缩处理即可获得,具有更加容易获取的优势,由单个HRRP按时间顺序构成的HRRP序列不但具有上述单个HRRP的性质,而且还能够反映目标的微动特性。因此,利用HRRP序列对空间目标识别更具潜力。然而,由于雷达对空间目标进行观测时,需同时观测多个目标,兼顾“搜索、跟踪、特征提取、目标识别”等多功能,并且实际中常存在干扰,导致雷达接收的HRRP序列存在着较大程度的缺失,这给利用HRRP序列对空间目标识别增添了难度。
发明内容
本发明的目的在于针对上述现有技术的不足,提供了一种对HRRP序列进行空间目标分类的方法和系统,能从HRRP序列中提取可区分的时空特征,即便HRRP序列是缺失的,仍能够实现高精度的空间目标分类。
为实现上述目的,本发明采用了如下技术方案:
本发明提供了一种对HRRP序列进行空间目标分类的方法,包括以下步骤:
S1、HRRP序列输入;
S2、基于浅层特征提取模块对空间目标对象细粒度特征进行提取,并完成特征图结构向token结构转换,送入步骤S3;
所述浅层特征提取模块包括卷积嵌入和位置信息嵌入;
S2.1、所述卷积嵌入,提取空间目标对象的细粒度特征,送入步骤S3.1和步骤S2.2;
S2.2、所述位置信息嵌入,生成特征图并将特征图结转换为token结构并添加分类标记,送入S3.2;
S3、基于时空特征提取模块对空间目标对象的时-空特征、全局-局部特征进行提取和融合,送入S4;
S3.1、基于CNN的局部特征提取分支提取空间目标对象的局部特征,将局部特征送入下一个局部特征提取分支和桥接分支,基于步骤S3.3将局部特征进行语义对齐和融合;
S3.2、基于稀疏自注意力的全局特征提取分支提取空间目标对象的全局特征,基于步骤S3.3与步骤S3.1提取的局部特征进行融合;
S3.3、特征桥接分支,完成局部特征向全局特征的语义对齐,融合局部特征和全局特征,并送入下一个全局特征提取分支,直到最后一次融合终止,送入S4;
S4、空间目标对象分类输出;
S4.1、分离并提取分类标记;
S4.2、送入分类器,计算分类概率,输出类别。
进一步,所述S2中,浅层特征提取模块包括卷积嵌入、位置信息嵌入和添加分类标记;所述卷积嵌入具体为:
S101、卷积运算
未激活的输出特征图Z(l)和第l-1层的输出特征图X(l-1)之间的映射关系为:
其中,为Z(l)中第p个通道的特征图;/>为接第l-1层第q个特征图与第l层第p个未激活的特征图的卷积核;/>为第l层第p个特征图的偏置;I为第l-1层的特征图的通道总数;/>和/>均为网络中学习的参数,且/>为一维的卷积核;/>为第l-1层的输出中的第q个通道特征图;
S102、批归一化
批规范化的表达式为:
其中,和/>分别为批归一化BN前后在第l层的第b个样本第p个通道的特征图;γBN用来调整数值分布的方差大小;βBN用来调节数值均值的位置;E[·]和Var[·]分别为对数据的所有样本的第p个通道的特征图做均值和方差运算;
S103、用ReLU函数对批归一化后的结果进行激活
S104、对l层的激活值S(l)做池化运算以抑制冗余信息
池化层的输出X为:
X(l)=Maxpooling(S(l))
其中,是第l层的特征图;Nl为经过激活的特征图的通道数;Dl为经过激活的特征图的每个通道数据的维度。
进一步,
所述S2.2中:
所述位置信息嵌入具体为:
由于序列数据的需要精确的位置信息,即增加位置信息,即:
其中,pos为各token在序列中的索引;i表示各token的维度;k为表示一个自然数;
各token之间的顺序为:
其中,为经过位置嵌入后的Xembedding的第pos个token的第i个维度的数值;Xembedding为添加了位置信息后的token;/>为X(L)的第pos个特征图的第i个维度的数值;X(L)为从原始的HRRP序列中提取目标的低层级的细粒度特征并形成的新的特征序列。
所述添加分类标记具体为:
在所有的tokens的最前面添加一个可学习的最终用于分类的token标记记作命名为分类标记;所述分类标记聚集了网络所学习的特征,最后被分离提取送入分类器。
进一步,所述S3中,所述时空特征提取模块包括基于CNN的局部特征提取分支、基于稀疏自注意力的全局特征提取分支和特征桥接分支;
所述基于CNN的局部特征提取分支的输出表达式为:
XLout=ReLU(XLin+F(XLin))
其中,XLin为局部特征提取分支的输入;F()为映射关系;ReLU为非线性激活函数。
进一步,所述S3.2中,基于稀疏自注意力的全局特征提取分支的输出表达式为:
其中,为本分支的输入/>中的第p个token;DG为全局特征提取分支的每个token的维度;NG为全局特征提取分支中token的数量;E[·]和Var[·]分别为对Xp取均值和方差运算;ε是一个很小的值,为避免分母为0;γLN用来调整数值分布的方差大小;βLN用来调节数值均值的位置;层归一化处理后的序列被记作
所述多头稀疏自注意力的形式为:
Qa为第a个头相对应的查询矩阵;Ka为第a个头相对应的查询矩阵;Va为第a个头相对应的键值矩阵;dQ为归一化因子;
将拼接结果映射回原始空间得到多头注意力的输出,即:
MultiHead(Q,K,V)=Concat(Z1,Z2,…,Zh)·WO
其中,Q=[Q1,Q2,…,Qh],K=[K1,K2,…,Kh],V=[V1,V2,…,Vh];WO为输出映射矩阵;
将多头自注意力进行稀疏化处理,,再经过两层的前馈网络和一个残差连接即得到全局特征提取分支的最后输出为:
XGout=XGMout+W2·GeLU(W1·LN(XGMout)+b1)+b2
其中,W1,W2为可学习的权重矩阵;b1,b2为可学习的偏置;LN(·)为层归一化操作;GeLU(·)为非线性激活函数;XGMout为基于稀疏自注意力的全局特征提取分支的输出。
进一步,所述3.3中,基于特征桥接分支特征语义对齐和特征融合的输出表达式为:
S301、特征通道与所述全局特征提取分支所需的token的通道对齐,表达式为:
XF1=Conv(XLout,W1×1)
其中,W1×1为特征桥接分支的1×1卷积核;XF1为通道对齐后的结果;Conv为卷积运算;
S302、单个特征图与单个token的维度对齐;
当第p个通道的特征图中坐标位置m被映射到插值前XF1的第p个通道的特征图中像素位置n,当位置n不为整数时,像素值的表达式为:
其中,XF2为设插值后的输出;为XF1的第p个通道特征图坐标位置为r处的像素值;
S303、特征融合,将所述全局特征与所述局部特征进行融合,具体为:
其中,为从全局特征提取分支的输出XGout中分离出除class token的部分;X[cls]为分类标记;XF为融合特征。
进一步,所述S4中,空间目标对象分类输出具体为:
S401、分离并提取分类标记X[cls];
S402、softmax分类概率计算为:
其中,yk为K维输出向量的第k个元素,代表样本属于第k个类别的概率;Wk,·和Wj,·是全连接层权重矩阵的第k行和第j行;
类别输出,表达式为:
进一步,一种对HRRP序列进行空间目标分类的系统,所述系统用于实现对缺失的HRRP序列进行空间目标分类的方法,还包括:
数据输入模块:输入HRRP序列数据;
浅层特征提取模块:用于提取空间目标对象细粒度特征,并完成特征图结构向token标记转换;
时空特征提取模块:对空间目标对象的时-空特征、全局-局部特征进行提取和融合,能够作为网络基本单元设置网络层数;
空间目标对象分类输出模块。
本发明的有益效果为:该方法能够有效的实现空间目标识别在HRRP序列数据的缺失的条件下的空间目标分类;
考虑到了HRRP序列数据蕴含空间目标的微动特征和结构特征,提出了双分支并行结构,能够有效保留缺失HPPR序列数据间的长距离依赖关系,且在捕获全局特征的同时不会丢失目标的局部特征。
附图说明
图1为本发明一种对HRRP序列进行空间目标分类的方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参阅图1,一种对HRRP序列进行空间目标分类的方法,包括以下步骤:
S1、HRRP序列输入;
S2、基于浅层特征提取模块对空间目标对象细粒度特征进行提取,并完成特征图结构向token标记转换,送入步骤S3;
所述浅层特征提取模块包括卷积嵌入和位置信息嵌入;
S2.1、所述卷积嵌入,提取空间目标对象的细粒度特征,送入步骤S3.1和步骤S2.2;
S2.2、所述位置信息嵌入,生成特征图并将特征图结转换为token结构并添加分类标记,送入S3.2;
S3、基于时空特征提取模块对空间目标对象的时-空特征、全局-局部特征进行提取和融合,送入S4;
S3.1、基于CNN的局部特征提取分支提取空间目标对象的局部特征,将局部特征送入下一个局部特征提取分支和桥接分支,基于步骤S3.3将局部特征进行语义对齐和融合;
S3.2、基于稀疏自注意力的全局特征提取分支提取空间目标对象的全局特征,基于步骤S3.3与步骤S3.1提取的局部特征进行融合;
S3.3、特征桥接分支,完成局部特征向全局特征的语义对齐,融合局部特征和全局特征,并送入下一个全局特征提取分支,直到最后一次融合终止,送入S4;
S4、空间目标对象分类输出;
S4.1、分离并提取分类标记;
S4.2、送入分类器,计算分类概率,输出类别。
其中,通过捕获时间特征和空间特征从缺失的HRRP序列中以得到有效的可区分的时空特征用以对空间目标分类。
所述S2中,浅层特征提取模块包括卷积嵌入、位置信息嵌入和添加分类标记;所述卷积嵌入具体为:
经过预处理后的HRRP序列可被表示为
其中,为第n个慢时间所对应的HRRP;N0为慢时间的长度,即HRRP序列长度;D0为每个HRRP的维度,即距离单元个数;上标T表示转置;对于第l(l=1,2,…,L)层卷积层,输入特征图记作X(l-1);
S101、卷积运算
未激活的输出特征图Z(l)和第l-1层的输出特征图X(l-1)之间的映射关系为:
其中,为Z(l)中第p个通道的特征图;/>为接第l-1层第q个特征图与第l层第p个未激活的特征图的卷积核;/>为第l层第p个特征图的偏置;I为第l-1层的特征图的通道总数;/>和/>均为网络中学习的参数,且/>为一维的卷积核;/>为第l-1层的输出中的第q个通道特征图;
S102、批归一化
批规范化的表达式为:
其中,和/>分别为批归一化BN前后在第l层的第b个样本第p个通道的特征图;γBN用来调整数值分布的方差大小;βBN用来调节数值均值的位置;E[·]和Var[·]分别为对数据的所有样本的第p个通道的特征图做均值和方差运算;
S103、用ReLU(非线性激活函数)函数对批归一化后的结果进行激活,
S104、对l层的激活值S(l)做池化运算以抑制冗余信息
池化层的输出X为:
X(l)=Maxpooling(S(l))
其中,是第l层的特征图;Nl为经过激活的特征图的通道数;Dl为经过激活的特征图的每个通道数据的维度。
所述S2.2中:
所述位置信息嵌入具体为:
由于序列数据的需要精确的位置信息,即增加位置信息,即:
其中,pos为各token在序列中的索引;i表示各token的维度;k为表示一个自然数;
各token之间的顺序为:
其中,为经过位置嵌入后的Xembedding的第pos个token的第i个维度的数值;Xembedding为添加了位置信息后的token;/>为X(L)的第pos个特征图的第i个维度的数值;X(L)为从原始的HRRP序列中提取目标的低层级的细粒度特征并形成的新的特征序列。
所述添加分类标记具体为:
在所有的tokens的最前面添加一个可学习的最终用于分类的token标记记作命名为分类标记;所述分类标记聚集了网络所学习的特征,最后被分离提取送入分类器。
单个HRRP中蕴含结构特征,还蕴含着时序特征为了能够同时提取这两种特征,并将结构特征和时序特征有机的聚合起来,通过层级堆叠,得到了最后的可分性的时空聚合特征;
考虑到HRRP序列数据具有时序的特点,以及微动曲线在缺失的HRRP序列中的不连续,利用序列数据处理和长距离依赖关系建模的优势构建了全局特征提取分支。
所述S3中,所述时空特征提取模块包括基于CNN的局部特征提取分支、基于稀疏自注意力的全局特征提取分支和特征桥接分支;
所述基于CNN的局部特征提取分支的输出表达式为:
XLout=ReLU(XLin+F(XLin))
其中,XLin为局部特征提取分支的输入;F(·)为映射关系;ReLU为非线性激活函数。
所述S3.2中,基于稀疏自注意力的全局特征提取分支的输出表达式为:
其中,为本分支的输入/>中的第p个token;DG为全局特征提取分支的每个token的维度;NG为全局特征提取分支中token的数量;E[·]和Var[·]分别为对xp取均值和方差运算;ε是一个很小的值,为避免分母为0;γLN用来调整数值分布的方差大小;βLN用来调节数值均值的位置;层归一化处理后的序列被记作
所述多头稀疏自注意力的形式为:
Qa为第a个头相对应的查询矩阵;Ka为第a个头相对应的查询矩阵;Va为第a个头相对应的键值矩阵;dQ为归一化因子;
将拼接结果映射回原始空间得到多头注意力的输出,即:
MultiHead(Q,K,V)=Concat(Z1,Z2,…,Zh)·WO
其中,Q=[Q1,Q2,…,Qh],K=[K1,K2,…,Kh],V=[V1,V2,…,Vh];WO为输出映射矩阵;
将多头自注意力进行稀疏化处理,,再经过两层的前馈网络和一个残差连接即得到全局特征提取分支的最后输出为:
XGout=XGMout+W2·GeLU(W1·LN(XGMout)+b1)+b2
其中,W1,W2为可学习的权重矩阵;b1,b2为可学习的偏置;LN(·)为层归一化操作;GeLU(·)为非线性激活函数;XGMout为基于稀疏自注意力的全局特征提取分支的输出。
其中,全局特征提取分支中的稀疏自注意力机制建模了缺失的HRRP序列之间的相互关系,而这种相互间的关系属于全局性的特征。
然而,全局特征忽略了数据中的局部信息,需利用卷积神经网络学习目标对象的空间局部特征。
局部特征提取分支包括两个1×1的卷积、一个1×3的卷积和一个残差连接结构。1×1卷积可以灵活控制特征通道的数目从而减少网络的参数量;另一方面,还可以增强网络的非线性表达能力。
1×3的局部特征提取卷积用来提取数据中的局部特征。
残差结构可提高复杂网络中信息的传播效率。
所述3.3中,基于特征桥接分支特征语义对齐和特征融合的输出表达式为:
S301、特征通道与所述全局特征提取分支所需的token的通道对齐,表达式为:
XF1=Conv(XLout,W1×1)
其中,W1×1为特征桥接分支的1×1卷积核;XF1为通道对齐后的结果;Conv为卷积运算;
S302、单个特征图与单个token的维度对齐;
当第p个通道的特征图中坐标位置m被映射到插值前XF1的第p个通道的特征图中像素位置n,当位置n不为整数时,像素值的表达式为:
其中,XF2为设插值后的输出;为XF1的第p个通道特征图坐标位置为r处的像素值;
S303、特征融合,将所述全局特征与所述局部特征进行融合,具体为:
其中,为从全局特征提取分支的输出XGout中分离出除class token的部分;X[cls]为分类标记;XF为融合特征。
所述S4中,空间目标对象分类输出具体为:S401、分离并提取分类标记X[cls];
S402、softmax分类概率计算为:
其中,yk为K维输出向量的第k个元素,代表样本属于第k个类别的概率;Wk,·和Wj,·是全连接层权重矩阵的第k行和第j行;
类别输出,表达式为:
一种对HRRP序列进行空间目标分类的系统,所述系统用于实现对缺失的HRRP序列进行空间目标分类的方法,还包括:
数据输入模块:输入HRRP序列数据;
浅层特征提取模块:用于提取空间目标对象细粒度特征,并完成特征图结构向token标记转换;
时空特征提取模块:对空间目标对象的时-空特征、全局-局部特征进行提取和融合,能够作为网络基本单元设置网络层数;
空间目标对象分类输出模块。
以上所述实施例仅表达了本发明的实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种对HRRP序列进行空间目标分类的方法,其特征在于,包括以下步骤:
S1、HRRP序列输入;
S2、基于浅层特征提取模块对空间目标对象细粒度特征进行提取,并完成特征图结构向token结构转换,送入步骤S3;
所述浅层特征提取模块包括卷积嵌入和位置信息嵌入;
S2.1、所述卷积嵌入,提取空间目标对象的细粒度特征,送入步骤S3.1和步骤S2.2;
S2.2、所述位置信息嵌入,生成特征图并将特征图转换为token结构并添加分类标记,送入S3.2;
S3、基于时空特征提取模块对空间目标对象的时-空特征、全局-局部特征进行提取和融合,送入S4;
S3.1、基于CNN的局部特征提取分支提取空间目标对象的局部特征,将局部特征送入下一个局部特征提取分支和桥接分支,基于步骤S3.3将局部特征进行语义对齐和融合;
S3.2、基于稀疏自注意力的全局特征提取分支提取空间目标对象的全局特征,基于步骤S3.3与步骤S3.1提取的局部特征进行融合;
S3.3、特征桥接分支,完成局部特征向全局特征的语义对齐,融合局部特征和全局特征,并送入下一个全局特征提取分支,直到最后一次融合终止,送入S4;
S4、空间目标对象分类输出;
S4.1、分离并提取分类标记;
S4.2、送入分类器,计算分类概率,输出类别。
2.根据权利要求1所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S2中,浅层特征提取模块包括卷积嵌入、位置信息嵌入和添加分类标记;
所述卷积嵌入具体为:
S101、卷积运算
未激活的输出特征图和第/>层的输出特征图/>之间的映射关系为:
;
其中,为/>中第/>个通道的特征图;/>为接第/>层第/>个特征图与第/>层第/>个未激活的特征图的卷积核;/>为第/>层第/>个特征图的偏置;/>为第/>层的特征图的通道总数;/>和/>均为网络中学习的参数,且/>为一维的卷积核;/>为第/>层的输出中的第/>个通道特征图;
S102、批归一化
批规范化的表达式为:
;
其中,和/>分别为批归一化BN前后在第/>层的第/>个样本第/>个通道的特征图中第/>个元素数值;/>用来调整数值分布的方差大小;/>用来调节数值均值的位置;/>和/>分别为对数据的所有样本的第/>个通道的特征图做均值和方差运算;
S103、用ReLU函数对批归一化后的结果进行激活
;
S104、对层的激活值/>做池化运算以抑制冗余信息
池化层的输出为:
;
其中,是第/>层的特征图;/>为经过激活的特征图的通道数;/>为经过激活的特征图的每个通道数据的维度。
3.根据权利要求2所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S2.2中:
所述位置信息嵌入具体为:由于序列数据需要精确的位置信息,即增加位置信息,即:
;
其中,;/>为各token在序列中的索引;/>表示各token的维度;/>为表示一个自然数;
各token之间的顺序为:
;
其中,为经过位置嵌入后的/>的第/>个token的第/>个维度的数值;/>为添加了位置信息后的token;/>为/>的第/>个特征图的第/>个维度的数值;/>为从原始的HRRP序列中提取目标的低层级的细粒度特征并形成的新的特征序列;
所述添加分类标记具体为:
在所有的tokens的最前面添加一个可学习的最终用于分类的token标记记作,命名为分类标记;所述分类标记聚集了网络所学习的特征,最后被分离提取送入分类器。
4.根据权利要求3所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S3中,所述时空特征提取模块包括基于CNN的局部特征提取分支、基于稀疏自注意力的全局特征提取分支和特征桥接分支;
所述基于CNN的局部特征提取分支的输出表达式为:
;
其中,为局部特征提取分支的输入;/>为映射关系;/>为非线性激活函数。
5.根据权利要求4所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S3.2中,基于稀疏自注意力的全局特征提取分支的输出表达式为:
;
其中,为本分支的输入/>中的第/>个token;/>为全局特征提取分支的每个token的维度;/>为全局特征提取分支中token的数量;/>和/>分别为对/>取均值和方差运算;/>为趋近于零的常数;/>用来调整数值分布的方差大小;/>用来调节数值均值的位置;层归一化处理后的序列被记作/>;
多头稀疏自注意力的形式为:
;
为第/>个头相对应的查询矩阵;/>为第/>个头相对应的查询矩阵;/>为第/>个头相对应的键值矩阵;/>为归一化因子;
将拼接结果映射回原始空间得到多头注意力的输出,即:
;
其中,,/>,/>;/>为输出映射矩阵;
将多头自注意力进行稀疏化处理,再经过两层的前馈网络和一个残差连接即得到全局特征提取分支的最后输出为:
;
其中,为可学习的权重矩阵;/>为可学习的偏置;/>为层归一化操作;为非线性激活函数;/>为基于稀疏自注意力的全局特征提取分支的输出。
6.根据权利要求5所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S3.3中,基于特征桥接分支特征语义对齐和特征融合的输出表达式为:
S301、特征通道与所述全局特征提取分支所需的token的通道对齐,表达式为:
;
其中,为特征桥接分支的1×1卷积核;/>为通道对齐后的结果;/>为卷积运算;
S302、单个特征图与单个token的维度对齐;
当第个通道的特征图中坐标位置/>被映射到插值前/>的第/>个通道的特征图中像素位置/>,当位置/>不为整数时,像素值的表达式为:
;
其中,为插值后的输出; />为/>的第/>个通道特征图坐标位置为/>处的像素值;
S303、特征融合,将所述全局特征与所述局部特征进行融合,具体为:
;
其中,为从全局特征提取分支的输出/>中分离出除class token的部分;/>为分类标记;/>为融合特征。
7.根据权利要求6所述的一种对HRRP序列进行空间目标分类的方法,其特征在于,所述S4中,空间目标对象分类输出具体为:
S401、分离并提取分类标记;
S402、softmax分类概率计算为:
;
其中,为/>维输出向量的第/>个元素,代表样本属于第/>个类别的概率;/>和/>是全连接层权重矩阵的第/>行和第/>行;
类别输出,表达式为:
。
8.一种对HRRP序列进行空间目标分类的系统,其特征在于,所述系统用于实现如权利要求1至7中任一项所述的对HRRP序列进行空间目标分类的方法,还包括:
数据输入模块:输入HRRP序列数据;
浅层特征提取模块:用于提取空间目标对象细粒度特征,并完成特征图结构向token结构转换;
时空特征提取模块:对空间目标对象的时-空特征、全局-局部特征进行提取和融合,能够作为网络基本单元设置网络层数;
空间目标对象分类输出模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211599022.5A CN116091854B (zh) | 2022-12-14 | 2022-12-14 | 一种对hrrp序列进行空间目标分类的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211599022.5A CN116091854B (zh) | 2022-12-14 | 2022-12-14 | 一种对hrrp序列进行空间目标分类的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116091854A CN116091854A (zh) | 2023-05-09 |
CN116091854B true CN116091854B (zh) | 2023-09-22 |
Family
ID=86212879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211599022.5A Active CN116091854B (zh) | 2022-12-14 | 2022-12-14 | 一种对hrrp序列进行空间目标分类的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091854B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033979B (zh) * | 2023-09-04 | 2024-06-04 | 中国人民解放军空军预警学院 | 一种形状相同且微动形式为包含关系的空间目标识别方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109828251A (zh) * | 2019-03-07 | 2019-05-31 | 中国人民解放军海军航空大学 | 基于特征金字塔轻量卷积神经网络的雷达目标识别方法 |
AU2020104006A4 (en) * | 2020-12-10 | 2021-02-18 | Naval Aviation University | Radar target recognition method based on feature pyramid lightweight convolutional neural network |
CN112699782A (zh) * | 2020-12-29 | 2021-04-23 | 杭州电子科技大学 | 基于N2N和Bert的雷达HRRP目标识别方法 |
CN112764024A (zh) * | 2020-12-29 | 2021-05-07 | 杭州电子科技大学 | 基于卷积神经网络和Bert的雷达目标识别方法 |
CN113643284A (zh) * | 2021-09-09 | 2021-11-12 | 西南交通大学 | 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法 |
CN114663952A (zh) * | 2022-03-28 | 2022-06-24 | 北京百度网讯科技有限公司 | 对象分类方法、深度学习模型的训练方法、装置和设备 |
CN114821335A (zh) * | 2022-05-20 | 2022-07-29 | 电子科技大学 | 基于深度特征与线性判别特征融合的未知目标判别方法 |
CN114972775A (zh) * | 2022-06-06 | 2022-08-30 | 京东科技控股股份有限公司 | 特征处理方法、装置、产品、介质及设备 |
CN115047421A (zh) * | 2022-04-14 | 2022-09-13 | 杭州电子科技大学 | 一种基于Transformer的雷达目标识别方法 |
CN115062754A (zh) * | 2022-04-14 | 2022-09-16 | 杭州电子科技大学 | 一种基于优化胶囊的雷达目标识别方法 |
CN115439679A (zh) * | 2022-08-01 | 2022-12-06 | 武汉理工大学 | 一种联合多注意及Transformer的高光谱图像分类方法 |
-
2022
- 2022-12-14 CN CN202211599022.5A patent/CN116091854B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109828251A (zh) * | 2019-03-07 | 2019-05-31 | 中国人民解放军海军航空大学 | 基于特征金字塔轻量卷积神经网络的雷达目标识别方法 |
AU2020104006A4 (en) * | 2020-12-10 | 2021-02-18 | Naval Aviation University | Radar target recognition method based on feature pyramid lightweight convolutional neural network |
CN112699782A (zh) * | 2020-12-29 | 2021-04-23 | 杭州电子科技大学 | 基于N2N和Bert的雷达HRRP目标识别方法 |
CN112764024A (zh) * | 2020-12-29 | 2021-05-07 | 杭州电子科技大学 | 基于卷积神经网络和Bert的雷达目标识别方法 |
CN113643284A (zh) * | 2021-09-09 | 2021-11-12 | 西南交通大学 | 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法 |
CN114663952A (zh) * | 2022-03-28 | 2022-06-24 | 北京百度网讯科技有限公司 | 对象分类方法、深度学习模型的训练方法、装置和设备 |
CN115047421A (zh) * | 2022-04-14 | 2022-09-13 | 杭州电子科技大学 | 一种基于Transformer的雷达目标识别方法 |
CN115062754A (zh) * | 2022-04-14 | 2022-09-16 | 杭州电子科技大学 | 一种基于优化胶囊的雷达目标识别方法 |
CN114821335A (zh) * | 2022-05-20 | 2022-07-29 | 电子科技大学 | 基于深度特征与线性判别特征融合的未知目标判别方法 |
CN114972775A (zh) * | 2022-06-06 | 2022-08-30 | 京东科技控股股份有限公司 | 特征处理方法、装置、产品、介质及设备 |
CN115439679A (zh) * | 2022-08-01 | 2022-12-06 | 武汉理工大学 | 一种联合多注意及Transformer的高光谱图像分类方法 |
Non-Patent Citations (5)
Title |
---|
CMT: Convolutional Neural Networks Meet Vision Transformers;Jianyuan Guo等;《Computer Vision and Pattern Recognition》;12175-12185 * |
Radar HRRP Target Recognition Model Based on a Stacked CNN–Bi-RNN With Attention Mechanism;Mian Pan等;《IEEE Transactions on Geoscience and Remote Sensing》;第60卷;1-14 * |
Space Target Classification With Corrupted HRRP Sequences Based on Temporal–Spatial Feature Aggregation Network;Yuan-Peng Zhang等;《IEEE Transactions on Geoscience and Remote Sensing》;第61卷;1-18 * |
基于稀疏Transformer的遥感旋转目标检测;何林远;《激光与光电子学进展》;第59卷(第18期);180003-1-180003-9 * |
基于非均匀采样数据的HRRP目标识别方法;熊鑫等;《空军预警学院学报》;第33卷(第3期);175-179 * |
Also Published As
Publication number | Publication date |
---|---|
CN116091854A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Fractional Fourier image transformer for multimodal remote sensing data classification | |
Wang et al. | Storm: Structure-based overlap matching for partial point cloud registration | |
Zhu et al. | Two-dimensional DOA estimation via deep ensemble learning | |
CN116091854B (zh) | 一种对hrrp序列进行空间目标分类的方法和系统 | |
CN110082716B (zh) | 一种医院复杂环境室内定位系统及定位方法 | |
CN111126570A (zh) | 预训练复数全卷积神经网络的sar目标分类方法 | |
CN107025445A (zh) | 基于类信息熵的多源遥感图像组合选择方法 | |
Xiao et al. | Specific emitter identification of radar based on one dimensional convolution neural network | |
CN114445816A (zh) | 一种基于二维图像和三维点云的花粉分类方法 | |
Ihekoronye et al. | Aerial supervision of drones and other flying objects using convolutional neural networks | |
Yao et al. | Wideband DOA estimation based on deep residual learning with Lyapunov stability analysis | |
Li et al. | MCTNet: A multi-scale CNN-transformer network for change detection in optical remote sensing images | |
Guo et al. | Concealed object detection for passive millimeter-wave security imaging based on task-aligned detection transformer | |
CN109871907A (zh) | 基于sae-hmm模型的雷达目标高分辨率距离像识别方法 | |
Li et al. | A new data fusion framework of business intelligence and analytics in economy, finance and management | |
Jia et al. | A global Point-Sift attention network for 3D point cloud semantic segmentation | |
Wang et al. | Multi-view SAR automatic target recognition based on deformable convolutional network | |
CN116597300A (zh) | 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法 | |
Ghosh et al. | A hybrid CNN-transformer architecture for semantic segmentation of radar sounder data | |
Xu et al. | SAR target recognition based on variational autoencoder | |
Yeboah et al. | Semantic scene segmentation for indoor robot navigation via deep learning | |
Liu et al. | Abnormal behavior analysis strategy of bus drivers based on deep learning | |
Oh et al. | Local selective vision transformer for depth estimation using a compound eye camera | |
Wan et al. | Squeeze excitation densely connected residual convolutional networks for specific emitter identification based on measured signals | |
Sheng et al. | DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |