CN112764024A - 基于卷积神经网络和Bert的雷达目标识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和Bert的雷达目标识别方法，包括以下步骤：S1，收集数据并划分训练集和测试集，对数据进行强度归一化和重心对齐处理；S2，将上述处理的HRRP样本输入到CNN模块，用CNN对处理后的样本进行提取特征；S3，用Bert处理CNN提取的有效特征，提取更加深层的特征；S4，搭建分类器，对HRRP目标分类，对Bert的输出，再次使用注意力机制，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

Description

基于卷积神经网络和Bert的雷达目标识别方法

技术领域

本发明属于雷达目标识别领域技术领域，具体涉及一种基于卷积神经网络和Bert的雷达目标识别方法。

背景技术

雷达目标识别技术，是利用雷达和计算机对目标进行识别分类的技术，通过对雷达回波中的幅度、相位、频谱和极化等目标特征信息的分析，使用模型计算目标的大小、形状、重量和表面层的物理特性参数，最后依据大量训练数据确定模型，在分类器中进行识别分类。一维高分辨距离像(HRRP)是高分辨宽带雷达对目标的回波。高分辨宽带雷达的距离分辨率远远小于目标尺寸，其雷达目标回波信号往往呈现出多样性和对目标微小变化的敏感性，导致其特征难以捕捉与区分。在雷达目标识别领域，HRRP中包含了对分类和识别极其重要的结构信息，因此，基于HRRP的雷达自动目标识别方法逐步成为雷达自动目标识别领域研究的热点。

特征提取和利用是目标识别中的极其重要的一环。待识别的原始HRRP样本往往拥有很高的维度，很难直接利用其本质属性对其进行识别分类。特征提取的主要工作是通过对HRRP进行线性或非线性变换，将其映射到多维空间，为后续的识别任务提供帮助(如降低数据维度、强化判别信息等)。通过特征提取得到的有效HRRP特征不仅可以充分表达雷达数据的结构信息，还能体现不同雷达信号的差异性，从而提高HRRP目标识别分类的准确率。

传统的HRRP特征提取方法主要分为两大部分：(1)基于变换(Transformer)的特征提取方法，如谱图等。这些方法都是将HRRP信号投影到频域，之后对其频域特征进行建模识别。(2)基于降维后的数据，进行特征提取的方法。虽然传统特征提取方法有很好的识别性能，但是这些方法大多是无监督且有损的，并且特征提取方法的选择高度依赖科研人员对数据的认识和经验，因此，很多情况下，难以达到好的效果。

在深度学习中，基于监督学习的方法可以自动的提取训练数据的可分性特征，弥补了传统方法的不足。主要可以分为循环神经网络深度学习法，卷积神经网络深度学习法和编码器-解码器的方法。第一种方法采用的时域切分法，使得特征高度冗余，无法高效利用先验信息，后两种方法可以对HRRP数据整体包络信息进行有效提取，但忽略了序列相关性。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于卷积神经网络和Bert的雷达目标识别方法。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于卷积神经网络和Bert的雷达目标识别方法，包括以下步骤：

S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到，训练集和测试集比例保持在7:3，将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数；对数据进行强度归一化和重心对齐处理；

S2，将上述处理的HRRP样本输入到CNN模块，用CNN对处理后的样本进行提取特征；

S3，用Bert处理CNN提取的有效特征，提取更加深层的特征；

S4，搭建分类器，对HRRP目标分类，对Bert的输出，再次使用注意力机制，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

优选地，所述S1进一步包括：

S101，强度归一化，假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP数据中距离单元总数，归一化之后的HRRP表示为：

S102，重心对齐，为了使训练和测试具备统一标准，采用重心对齐法消除平移敏感性,重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，重心g的计算方法如下：

优选地，所述S2进一步包括：

S201，将经过预处理的X输入到卷积模块之中，卷积模块中包含了卷积层，批归一化，和Relu三个过程，输入的X经过N个kernel_size为(1,5)的卷积核，得到输出

N表示总的通道数，i表示第i个通道，虽然卷积核大小相同，但是权重初始化不同，所以这N个通道也是不同的，提取到不同的局部特征：

式中

表示卷积操作；

S202，卷积层后的数据需要进一步处理，为了使模型易于收敛，网络训练过程更加稳定，在卷积之后加入了批归一化，通过计算每个mini_batch中数据的均值和方差，假设一个小批次中有N_m个HRRP样本，那么定义输出为

其中Fⁿ表示第n个HRRP样本对应的卷积输出，在每个小批次中，对

中的HRRP数据进行批归一化得到

表示为：

其中，Fⁿ(k,l)表示批归一化之前的HRRP样本对应的卷积层输出中，第k个通道中的第l个元素，

即为批归一化之后的HRRP数据，α^k和β^k为可训练的对应于第k个通道的参数，ε是一个很小的数，为了防止除数为0，E(.)为求均值操作，Var(.)表示求方差操作；

S203，之后使用激活函数ReLU对

中每一个元素进行非线性激活得到

若输入为

则经过ReLU之后对应的输出

表示为：

优选地，所述S3进一步包括：

S301，获取位置信息，通过卷积模块提取的特征中，并不包含时序信息，Bert模块中中采用词嵌入的方式，动态学习位置信息；

S302，多头注意力机制，提取有效特征，多头注意力机制将通过卷积模块中的N维特征，分成12组，在每一组中进行self-attention，再将12组的结果进行合并，X中每一维特征分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q，K，V三个矩阵，进行如下计算得到Z：

再将Z₀到Z₁₁按列相连，乘以随机初始化的矩阵W，即可得到最终的Z；

S303，前馈层中，将N维特征映射到高维，再从高维映射到低维，进一步保留有效特征；

S304，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构很好地消除层数加深所带来的信息损失问题，将损失快速回传，避免梯度消失,与卷积模块中批归一化一样，加入层归一化，使训练过程更加稳定:

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度,μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

优选地，所述S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重；

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

采用本发明具有如下的有益效果：

(1)应用卷积神经网络。因为卷积神经网络不仅能够自动从HRRP样本中提取特征，而且卷积神经网络所提取的序列特征保留了原始回波中蕴含的目标结构信息，以便于供后续bert模型使用。

(2)应用了Bert模型。Bert模型可以更好地利用雷达目标的整体固定的物理结构特性这一先验，而且Bert的网络结构可以使模型层数更深，更好地抽象HRRP数据的特征，进行更好地识别。

(3)分类部分采用了注意力机制。再分类是对Bert提取到的特征做了细化，进一步筛选出更加有利于分类的特征，结合Bert模型提取的不同层次的特征进一步提高模型的识别正确率。

附图说明

图1为本发明实施例的基于卷积神经网络和Bert的雷达高分辨距离像识别方法的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的基于卷积神经网络和Bert的雷达高分辨距离像识别方法的步骤流程图，其包括以下步骤：

S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到，训练集和测试集比例保持在7:3，将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数；对数据进行强度归一化和重心对齐处理。原始的HRRP数据主要存在强度敏感性和平移敏感性问题，需要对其进行预处理。使用L₂强度归一化，改善HRRP强度敏感性的问题。原始HRRP数据是通过距离窗从雷达回波数据中截取的，截取时，录取的距离像在距离波门中的位置不固定，从而导致HRRP的平移敏感性。使用重心对齐对HRRP进行处理，降低平移敏感性。

S2，将上述处理的HRRP样本输入到CNN模块，用CNN对处理后的样本进行提取特征。CNN模块在保留HRRP样本内所蕴含的目标物理结构信息的同时，提取并增强HRRP局部包络中所含的信息，改善了由时域切分法所得序列存在高度冗余、内部时间点数据维度和序列长度相互制约的不足。

S3，用Bert处理CNN提取的有效特征，提取更加深层的特征；在传统模型中，RNN模型的预测，只能依靠当前时刻和之前时刻的信息。但是HRRP数据中包含了目标样本的整体结构先验，只利用HRRP结构的单向信息，是不利于对其进行建模识别的。双向RNN虽然考虑了两个方向，但也只是从左到右，从右到左的一个堆叠，当前时刻并不能很好的利用之前和之后时刻的信息。

Bert模块用于抽象并描述HRRP所蕴含的目标物理结构特征，并融合多层次的物理结构特征进行识别。Bert模型相对于传统单向RNN模型，和bi-directional RNN的模型，Bert模型可以更好地利用雷达目标的整体固定的物理结构特性这一先验，弥补了传统RNN模型和bi-directional RNN的不足。Bert结构中的注意力机制，可以更好的抑制相关性较弱的特征，给予重要特征更大的权重，降低两边噪声的干扰。

S4，搭建分类器，对HRRP目标分类，对Bert的输出，再次使用注意力机制，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试，三类识别正确率分别为99.8％,，99.2％，99.7％。

具体应用实例中，S1进一步包括：

S101，强度归一化，假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP数据中距离单元总数，归一化之后的HRRP表示为：

S102，重心对齐，为了使训练和测试具备统一标准，采用重心对齐法消除平移敏感性,重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，重心g的计算方法如下：

具体应用实例中，S2进一步包括：

S201，将经过预处理的X输入到卷积模块之中，卷积模块中包含了卷积层，批归一化，和Relu三个过程，输入的X经过N个kernel_size为(1,5)的卷积核，得到输出

N表示总的通道数，i表示第i个通道，虽然卷积核大小相同，但是权重初始化不同，所以这N个通道也是不同的，提取到不同的局部特征：

式中

表示卷积操作；

S202，卷积层后的数据需要进一步处理，为了使模型易于收敛，网络训练过程更加稳定，在卷积之后加入了批归一化，通过计算每个mini_batch中数据的均值和方差，假设一个小批次中有N_m个HRRP样本，那么定义输出为

其中Fⁿ表示第n个HRRP样本对应的卷积输出，在每个小批次中，对

中的HRRP数据进行批归一化得到

表示为：

其中，Fⁿ(k,l)表示批归一化之前的HRRP样本对应的卷积层输出中，第k个通道中的第l个元素，

即为批归一化之后的HRRP数据，α^k和β^k为可训练的对应于第k个通道的参数，ε是一个很小的数，为了防止除数为0，E(.)为求均值操作，Var(.)表示求方差操作；

S203，之后使用激活函数ReLU对

中每一个元素进行非线性激活得到

若输入为

则经过ReLU之后对应的输出

表示为：

具体应用实例中，S3进一步包括：

S301，获取位置信息，通过卷积模块提取的特征中，并不包含时序信息，Bert模块中采用词嵌入的方式，动态学习位置信息；

S302，多头注意力机制，提取有效特征，多头注意力机制将通过卷积模块中的N维特征，分成12组，在每一组中进行self-attention，再将12组的结果进行合并，X中每一维特征分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q，K，V三个矩阵，进行如下计算得到Z：

再将Z₀到Z₁₁按列相连，乘以随机初始化的矩阵W，即可得到最终的Z；

S303，前馈层中，将N维特征映射到高维，再从高维映射到低维，进一步保留有效特征；

S304，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构很好地消除层数加深所带来的信息损失问题，将损失快速回传，避免梯度消失,与卷积模块中批归一化一样，加入层归一化，使训练过程更加稳定:

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度,μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

具体应用实例中，S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重；

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (5)

1.一种基于卷积神经网络和Bert的雷达目标识别方法，其特征在于，包括以下步骤：

S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到，训练集和测试集比例保持在7:3，将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数；对数据进行强度归一化和重心对齐处理；

S2，将上述处理的HRRP样本输入到CNN模块，用CNN对处理后的样本进行提取特征；

S3，用Bert处理CNN提取的有效特征，提取更加深层的特征；

S4，搭建分类器，对HRRP目标分类，对Bert的输出，再次使用注意力机制，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

2.如权利要求1所述的基于卷积神经网络和Bert的雷达目标识别方法，其特征在于，所述S1进一步包括：

S101，强度归一化，假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP数据中距离单元总数，归一化之后的HRRP表示为：

S102，重心对齐，为了使训练和测试具备统一标准，采用重心对齐法消除平移敏感性，重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，重心g的计算方法如下：

3.如权利要求1所述的基于卷积神经网络和Bert的雷达目标识别方法，其特征在于，所述S2进一步包括：

S201，将经过预处理的X输入到卷积模块之中，卷积模块中包含了卷积层，批归一化，和Relu三个过程，输入的X经过N个kernel_size为(1,5)的卷积核，得到输出

N表示总的通道数，i表示第i个通道，虽然卷积核大小相同，但是权重初始化不同，所以这N个通道也是不同的，提取到不同的局部特征：

式中

表示卷积操作；

S202，卷积层后的数据需要进一步处理，为了使模型易于收敛，网络训练过程更加稳定，在卷积之后加入了批归一化，通过计算每个mini_batch中数据的均值和方差，假设一个小批次中有N_m个HRRP样本，那么定义输出为

其中Fⁿ表示第n个HRRP样本对应的卷积输出，在每个小批次中，对

中的HRRP数据进行批归一化得到

表示为：

其中，Fⁿ(k,l)表示批归一化之前的HRRP样本对应的卷积层输出中，第k个通道中的第l个元素，

即为批归一化之后的HRRP数据，α^k和β^k为可训练的对应于第k个通道的参数，ε是一个很小的数，为了防止除数为0，E(.)为求均值操作，Var(.)表示求方差操作；

S203，之后使用激活函数ReLU对

中每一个元素进行非线性激活得到

若输入为

则经过ReLU之后对应的输出

表示为：

4.如权利要求1所述的基于卷积神经网络和Bert的雷达目标识别方法，其特征在于，所述S3进一步包括：

S301，获取位置信息，通过卷积模块提取的特征中，并不包含时序信息，Bert模块中采用词嵌入的方式，动态学习位置信息；

S302，多头注意力机制，提取有效特征，多头注意力机制将通过卷积模块中的N维特征，分成12组，在每一组中进行self-attention，再将12组的结果进行合并，X中每一维特征分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q，K，V三个矩阵，进行如下计算得到Z：

再将Z₀到Z₁₁按列相连，乘以随机初始化的矩阵W，即可得到最终的Z；

S303，前馈层中，将N维特征映射到高维，再从高维映射到低维，进一步保留有效特征；

S304，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构很好地消除层数加深所带来的信息损失问题，将损失快速回传，避免梯度消失,与卷积模块中批归一化一样，加入层归一化，使训练过程更加稳定:

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度,μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

5.如权利要求1所述的基于卷积神经网络和Bert的雷达目标识别方法，其特征在于，所述S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重；

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

Images