CN112782660A - 基于Bert的雷达目标识别方法 - Google Patents

Abstract

本发明公开了一种基于Bert的雷达目标识别方法，包括以下步骤：S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，需要对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到；S2，对HRRP数据进行幂次变换，并使用注意力机制；S3，用Bert模型处理幂次变换的输出，提取更加深层的特征；S4，搭建分类器，对HRRP目标分类，对Bert模型的输出，再次使用注意力机制的思想，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

Description

基于Bert的雷达目标识别方法

技术领域

本发明属于雷达目标识别技术领域，具体涉及一种基于Bert的雷达目标识别方法。

背景技术

随着社会和科技的发展，雷达目标识别的技术，在战争和生活中的应用逐渐广泛。雷达作为一种无线探测电子设备，具有全天时，全天候的优势，因而成为了军事和科技发展中的重要工具。雷达目标识别技术，是利用雷达和计算机对目标进行识别分类的技术，通过对雷达回波中的幅度、相位、频谱和极化等目标特征信息的分析，使用模型计算目标的大小、形状、重量和表面层的物理特性参数，最后依据大量训练数据确定模型，在分类器中进行识别分类。

一维高分辨距离像(HRRP)是高分辨宽带雷达对目标的回波。高分辨宽带雷达的距离分辨率远远小于目标尺寸，其雷达目标回波信号往往存在多样性和敏感性的特点，导致其特征难以捕捉与区分。在雷达目标识别领域，HRRP中包含了对分类和识别极其重要的物理结构信息，因此，基于HRRP的雷达自动目标识别方法逐步成为雷达自动目标识别领域研究的热点。

特征提取和利用是目标识别领域关键性的步骤，待识别的HRRP数据的维度，往往很高，想要直接利用其进行识别分类十分困难。特征提取可以将HRRP数据映射到多维空间，强化判别信息。

传统特征提取方法主要包括基于变化的提取方法和基于降维的提取方法。前者是将信号投影到频域，进行建模识别分类。由于这些特征提取方法高度依赖科研人员的经验，因此效果往往不好。由于传统特征提取方法的上述缺点，深度学习的方法逐渐被应用到了雷达目标识别中。基于监督学习的方法可以自动的提取训练数据的可分性特征，主要可以分为循环神经网络深度学习法，卷积神经网络深度学习法和编码器-解码器的方法。第一种方法采用的时域切分法，使得特征高度冗余，无法高效利用先验信息，后两种方法可以对HRRP数据整体包络信息进行有效提取，但忽略了序列相关性，没有充分利用HRRP数据中的时序信息。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于Bert的雷达目标识别方法，用于基于Bert的雷达HRRP目标识别框架，先对数据进行预处理，降低敏感性，通过幂次变化调整HRRP数据中蕴含的多种形式的特征，之后再通过Bert模块对数据进行深层特征的提取，最后采用注意力机制，并且使用softmax进行目标识别分类。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于Bert的雷达目标识别方法，包括以下步骤：

S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，需要对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到。训练集和测试集比例保持在7:3，将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数；对数据进行强度归一化和重心对齐处理；

S2，对HRRP数据进行幂次变换，并使用注意力机制；

S3，用Bert模型处理幂次变换的输出，提取更加深层的特征；

S4，搭建分类器，对HRRP目标分类，对Bert模型的输出，再次使用注意力机制的思想，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

优选地，所述步骤S1进一步包括：

S101，强度归一化，假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP内包含的距离单元总数，则HRRP归一化计算如下：

S102，重心对齐，使用重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，其中HRRP重心g的计算方法如下：

优选地，所述步骤S2进一步包括：

对HRRP数据进行幂次变换，并使用注意力机制，对经过上述预处理的HRRP数据进行多次幂次变换，幂次变换层输出表示为：

其中α_i为每种幂次换的权重，k表示幂次，通过学习，学出不同的权重，使Bert模块得到更合适的输入，其中每一条样本最终会呈现如下形式：

优选地，所述步骤S3进一步包括：

S301，确定使用Bert的层数，构建Bert模型；

S302，假设输入为X的形状为[batch_size,N]，batch_size为每个批次的数目，N为各时间点维数，先对数据进行替换操作，并且为它加入时序信息，即位置信息，Bert中按照特征长度，会随机初始化同样形状的数据，作为位置信息，在训练中进行学习；

S303，多头注意力机制，提取有效特征，多头注意力机制将通过嵌入层中得到的M维特征，分成12组，在每一组中进行自注意力算法，在将12组的结果进行合并，嵌入层中的输出X，X中每一组分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q，K，V，三个矩阵，进行如下计算得到Z_i：

Z_i表示每一组的计算结果，再将[Z₀...Z₁₁]按列堆叠起来，乘以一个随机初始化的W，即可得到最终此层的输出Z；

S304，前馈层中，将N维特征，映射到高维，再从高维映射到低维，进一步保留有用的信息；

S305，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构可以很好地消除层数加深所带来的信息损失问题，也可以将损失快速回传，避免梯度消失，加入了层归一化，使训练过程更加稳定：

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度，μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

S306，将S302到S305组在一起为一层Bert，总共堆叠12层。

优选地，所述步骤S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重。

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率可表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

采用本发明具有如下的有益效果：

(1)本发明实施例中应用了带注意力机制的幂次变换模块，幂次变换可以很好地提高识别的性能，本发明实施例中加入了注意力机制，可以学习每种幂次变换的不同权重，从而为下一层网络提供更加合适的输入。

(2)本发明实施例中应用了Bert模块。Bert模型可以更好地利用雷达目标的整体固定的物理结构特性这一先验，而且Bert的网络结构可以使模型层数更深，更好地抽象HRRP数据的特征，进行更好地识别。

(3)本发明实施例中分类部分，采用了注意力机制。再分类是对Bert提取到的特征做了细化，进一步筛选出更加有利于分类的特征，结合Bert模型提取的不同层次的特征进一步提高我们模型的识别正确率。

附图说明

图1为本发明实施例的基于Bert的雷达目标识别方法的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的基于Bert的雷达目标识别方法的步骤流程图，具体实施步骤如下：

S1:收集数据并划分训练集和测试集。通过雷达采集的HRRP数据，需要对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到。训练集和测试集比例保持在7:3,。将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数。对数据进行强度归一化和重心对齐处理。

S2，对HRRP数据进行幂次变换，并使用注意力机制。直接将HRRP数据送入Bert模型中，由于HRRP数据中各个距离单元内的回波幅度较大，会导致Bert训练不稳定。幂次变换对提高识别性能有很大的帮助下。因此在将数据输入Bert之前，先对数据进行幂次变换。为了使幂次变化的适应性更好，在幂次变化模块使用了注意力机制，用来给予不同幂次变化后数据不同的权重，以使网络获得最有利于网络学习的输入。

S3，用Bert模型处理幂次变换的输出，提取更加深层的特征。构建Bert模型，优化模型超参数和结构。在传统模型中，循环神经网络，只能依靠当前时刻，和之前时刻的信息。但是HRRP数据中包含了目标样本的整体结构先验，如果只是利用HRRP结构的单向信息，是不利于对HRRP数据进行学习并且识别的。双向循环神经网络虽然考虑了两个方向，但也只是从左到右，从右到左的一个堆叠，当前时刻并不能很好的利用之前和之后时刻的信息。

Bert模型用于抽象并描述HRRP所蕴含的目标物理结构特征，并融合多层次的物理结构特征进行识别。Bert模型相对于传统单向RNN模型，和bi-directional RNN的模型，Bert模型可以更好地利用雷达目标的整体固定的物理结构特性这一先验，弥补了传统循环神经网络模型和双向神经网络的不足。Bert结构中的注意力机制，可以更好的抑制相关性较弱的特征，给予重要特征更大的权重，降低两边噪声的干扰。

S4，搭建分类器，对HRRP目标分类，对Bert模型的输出，再次使用注意力机制的思想，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

具体地，S1中，原始的HRRP数据主要存在强度敏感性和平移敏感性问题，需要对其进行预处理。使用L₂强度归一化，改善HRRP强度敏感性的问题。原始HRRP数据是通过距离窗从雷达回波数据中截取的，截取时，录取的距离像在距离波门中的位置不固定，从而导致HRRP的平移敏感性。使用重心对齐对HRRP进行处理，降低平移敏感性。

具体地，对数据进行强度归一化和重心对齐处理如下：

S101，强度归一化。假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP内包含的距离单元总数，则HRRP归一化计算如下：

S102，重心对齐。重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，其中HRRP重心g的计算方法如下：

具体地，S2，使用带注意力机制的幂次变换，具体步骤如下：

S201，对HRRP数据进行幂次变换，并使用注意力机制。对经过上述预处理的HRRP数据进行多次幂次变换，幂次变换层输出可以表示为：

其中α_i为每种幂次换的权重，k表示幂次。通过学习，学出不同的权重，使Bert模块可以得到更合适的输入。其中每一条样本最终会呈现如下形式：

具体地，S3，用Bert处理幂次变换的输出，提取更加深层的特征，具体步骤如下：

S301，确定使用Bert的层数，构建Bert模型。

S302，假设输入为X的形状为[batch_size,N],batch_size为每个批次的数目，N为各时间点维数，先对数据进行替换操作，并且为它加入时序信息，即位置信息。Bert中按照特征长度，会随机初始化同样形状的数据，作为位置信息，在训练中进行学习。

S303，多头注意力机制，提取有效特征。多头注意力机制将通过嵌入层中得到的M维特征，分成12组，在每一组中进行自注意力算法，在将12组的结果进行合并。嵌入层中的输出X，X中每一组分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q，K，V三个矩阵。进行如下计算得到Z_i：

Z_i表示每一组的计算结果。再将[Z₀...Z₁₁]按列堆叠起来，乘以一个随机初始化的W，即可得到最终此层的输出Z。

S304，前馈层中，将N维特征，映射到高维，再从高维映射到低维，进一步保留有用的信息。

S305，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构可以很好地消除层数加深所带来的信息损失问题，也可以将损失快速回传，避免梯度消失。

与CNN中批归一化一样，在这里加入了层归一化，使训练过程更加稳定。

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度。μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

S306，将S302到S305组在一起为一层Bert，总共堆叠12层。

具体应用实例中，步骤S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重。

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率可表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (5)

1.一种基于Bert的雷达目标识别方法，其特征在于，包括以下步骤：

S1，收集数据并划分训练集和测试集，通过雷达采集的HRRP数据，需要对每个类别进行采样，分别选出训练集和测试集，之后进行合并，保证每个类别的数据形式都有被采样到。训练集和测试集比例保持在7:3，将训练数据集记为D＝{(x_i,y_k)}_{i∈[1,n],k∈[1,c]}，其中x_i表示第i个样本，y_k表示样本属于第k类，一共采集了c类目标，n表示样本总数；对数据进行强度归一化和重心对齐处理；

S2，对HRRP数据进行幂次变换，并使用注意力机制；

S3，用Bert模型处理幂次变换的输出，提取更加深层的特征；

S4，搭建分类器，对HRRP目标分类，对Bert模型的输出，再次使用注意力机制的思想，将更有效的特征进行保留，最后采用softmax对网络的输出进行分类；

S5，将经过S1处理后的HRRP测试集送入S2、S3、S4步骤中已训练完成的模型中进行测试。

2.如权利要求1所述的基于Bert的雷达目标识别方法，其特征在于，所述步骤S1进一步包括：

S101，强度归一化，假设原始HRRP数据表示为x_raw＝[x₁,x₂,x₃…,x_M]，其中M表示HRRP内包含的距离单元总数，则HRRP归一化计算如下：

S102，重心对齐，使用重心对齐法通过平移HRRP使其重心位于HRRP中心点附近，其中HRRP重心g的计算方法如下：

3.如权利要求1所述的基于Bert的雷达目标识别方法，其特征在于，所述步骤S2进一步包括：

对HRRP数据进行幂次变换，并使用注意力机制，对经过上述预处理的HRRP数据进行多次幂次变换，幂次变换层输出表示为：

其中α_i为每种幂次换的权重，k表示幂次，通过学习，学出不同的权重，使Bert模块得到更合适的输入，其中每一条样本最终会呈现如下形式：

4.如权利要求1所述的基于Bert的雷达目标识别方法，其特征在于，所述步骤S3进一步包括：

S301，确定使用Bert的层数，构建Bert模型；

S302，假设输入为X的形状为[batch_size,N]，batch_size为每个批次的数目，N为各时间点维数，先对数据进行替换操作，并且为它加入时序信息，即位置信息，Bert中按照特征长度，会随机初始化同样形状的数据，作为位置信息，在训练中进行学习；

S303，多头注意力机制，提取有效特征，多头注意力机制将通过嵌入层中得到的M维特征，分成12组，在每一组中进行自注意力算法，在将12组的结果进行合并，嵌入层中的输出X，X中每一组分别乘以三个随机初始化的矩阵W_q，W_k，W_V得到Q,K,V，三个矩阵，进行如下计算得到Z_i：

Z_i表示每一组的计算结果，再将[Z₀...Z₁₁]按列堆叠起来，乘以一个随机初始化的W，即可得到最终此层的输出Z；

S304，前馈层中，将N维特征，映射到高维，再从高维映射到低维，进一步保留有用的信息；

S305，残差和层归一化，Add层就是残差连接模块，因为要叠加深层神经网络，残差结构可以很好地消除层数加深所带来的信息损失问题，也可以将损失快速回传，避免梯度消失，加入了层归一化，使训练过程更加稳定：

式中x∈R^N×C×H×W，层归一化对每个样本C，H，W维度上的数据求均值和标准差，保留N维度，μ为均值，

为方差，α和β为参数，ε为一个非常小的值。

S306，将S302到S305组在一起为一层Bert，总共堆叠12层。

5.如权利要求1所述的基于Bert的雷达目标识别方法，其特征在于，所述步骤S4进一步包括：

S401，Bert模块之后，Output的形状为[batch_size，M，N]，在分类器中，应用注意力机制：

α_i为M这一维度中，每一维的权重，L(i)为每一维特征，根据每一维特征的重要程度的不同，去学习不同的权重。

S402，通过softmax层对特征F_ATT进行分类，若训练集中所包含的目标总数为C，测试HRRP样本X_test对应于目标集中第i类目标的概率可表示为：

其中，exp(.)表示取指数运算，F_s(i)指的是向量F_s中的第i个元素，F_s＝W_sF_ATT，W_s是向量F_s的权重矩阵，通过最大后验概率将测试HRRP样本X_test分类到最大目标概率c₀中：

S403，在所提模型的参数训练过程中，采用交叉熵作为代价函数，由代价函数在训练中计算损失，更新模型参数：

其中N为一个批次里的训练样本数，z(i)用来表示第n个训练样本的类别，P(i|x_train)表示训练样本对应于第i个类别的概率值。

Images