CN114021603A - 一种基于模型重参数化的雷达信号调制方式识别方法 - Google Patents

Abstract

本发明属于雷达信号调制方式识别技术领域，具体涉及一种基于模型重参数化的雷达信号调制方式识别方法。本发明可以将训练过程中的多分支结构等价转换为推理时的单路结构从而提高模型的推理效率，并降低计算成本，同时不影响训练模型的识别精度，适用于计算资源受限的移动或嵌入式平台。本发明采用的多分支结构在训练时可以达到更好的分类效果，可以在提高对雷达信号的识别性能的同时，提高算法的推理效率，便于在嵌入式设备或专用芯片中部署。

Description

一种基于模型重参数化的雷达信号调制方式识别方法

技术领域

本发明属于雷达信号调制方式识别技术领域，具体涉及一种基于模型重参数化的雷达信号调制方式识别方法。

背景技术

传统的LPI雷达信号识别算法采用特征提取的方法对信号进行识别，通过提取雷达信号的多种脉内特征向量，并通过适当的分类器对雷达信号进行分类，这种方法可以有效提高识别性能。

近年来，随着深度学习理论的飞速发展以及计算机硬件水平的不断提高，深度学习在各个领域都取得了令人瞩目的成果。因此深度学习算法逐渐被引入到雷达信号识别领域，从而得到更好的分类性能。深度学习可以在训练集上通过迭代训练自动学习数据的重要深层特征并在多分级别上分层表示。深度学习模型的结构和参数均可以自由调节，使用方便，效率高，可以自动获得有效解决各种复杂问题的能力。这些优点使得深度学习算法优于传统方法。

然而，随着深度学习的不断发展，深度学习模型的结构变得越来越复杂，尽管取得了更好的性能，但是却不利于在实际应用当中部署。由于嵌入式平台或者专用芯片通常受限于计算资源，并且获取足够训练数据的成本较高，单纯通过采用更多的训练参数和更复杂的结构来增强模型性能是不切实际的。因此，在不增加额外推理时间和计算成本的前提下，如何提高卷积神经网络模型对雷达信号的识别性能是非常有意义的。

发明内容

本发明的目的在于提供一种基于模型重参数化的雷达信号调制方式识别方法。

一种基于模型重参数化的雷达信号调制方式识别方法，包括以下步骤：

步骤1：获取雷达信号数据集，通过Choi-Williams时频分布将雷达信号转化为二维时频图像，并生成训练集和测试集；对训练集中雷达信号的调制方式进行标注；

步骤2：使用无偏置的3×3卷积，1×1卷积和恒等卷积来构造多分支卷积模块，并将多分支卷积模块组合为用于训练的RepVGG多分支模型；

步骤3：在训练集上通过交叉熵损失函数和Adam优化函数训练多分支卷积神经网络模型，并保存最终的训练模型；

步骤4：加载训练模型，将已经收敛的多分支卷积神经网络进行结构重参数化，实现多分支合并，得到用于推理的单路卷积神经网络；

步骤5：获取待识别的雷达信号，将其输入至用于推理的单路卷积神经网络中，实现雷达信号调制的识别。

进一步地，步骤1中假设雷达信号的表示形式为

y(t)＝x(t)+N(t)

通过Choi-Williams时频分布，将一维雷达信号转换为二维时频图，可以显示雷达信号频率随时间的变化；Choi-Williams的分布表示如下：

其中，t，ω分别表示时频分布的时域分量和频域分量；f(θ，v)为时频分布的核函数，τ表示时延，核函数表示如下：

雷达信号的时频图可以看作一幅二维图像，时频分布的时间分量和频率分量分别表示图像的x轴和y轴；时频图中可以直观地表示出雷达信号频率随时间的变化关系，从而有效地表征雷达信号的调制方式特征。

进一步地，步骤2中RepVGG模型的输入图像大小224×224，模型一共分为5个阶段，每个阶段分别具有[1，2，4，14，1]个多分支卷积模块，每个阶段的通道数分别为[48，48，96，192，512]，每个阶段的第一个卷积层的步进设为2，用来进行下采样。

进一步地，步骤3中采用交叉熵和Adam优化算法对模型进行训练，采用余弦学习率退火方法调整模型训练过程中的学习率。

进一步地，步骤4采用结构重参数化将多分支结构模块转化为单个3×3的卷积层用于推理；

使用

表示3×3卷积层的卷积核，其中C₁和C₂表示输入和输出的通道数，

表示1×1分支的卷积核；使用μ⁽³⁾，σ⁽³⁾，_γ ⁽³⁾，β⁽³⁾作为3×3卷积层之后的BN层的累计平均值，标准偏差，学习比例因子和偏差；μ⁽¹⁾，σ⁽¹⁾，γ⁽¹⁾，β⁽¹⁾为1×l卷积层之后的BN层对应的参数，μ⁽⁰⁾，σ⁽⁰⁾，γ⁽⁰⁾，β⁽⁰⁾表示恒等分支之后的BN层的参数；令

分别表示输入和输出数据；*表示卷积运算；如果C₁＝C₂，H₁＝H₂，W₁＝W₂，则有

M⁽²⁾＝bn(M⁽¹⁾*W⁽³⁾，μ⁽³⁾，σ⁽³⁾，γ⁽³⁾，β⁽³⁾)

+bn(M⁽¹⁾*W⁽¹⁾，μ⁽¹⁾，σ⁽¹⁾，γ⁽¹⁾，β⁽¹⁾)

+bn(M⁽¹⁾，μ⁽⁰⁾，σ⁽⁰⁾，γ⁽⁰⁾，β⁽⁰⁾)

如果不使用恒等分支，则上式中只包含前面两项，其中bn(·)表示批归一化函数；

首先将每个BN及其之前的卷积层等价转换为带有偏差的卷积层，假设{W′，b′}是从{W，μ，σ，γ，β}转换而得到的卷积核和偏差，则有

因此，可以得到：

bn(M*W，μ，σ，γ，β)_{：，i，：，：}＝(M*W′)_{：，i，：，：}+b′_i

通过上述变换，可以得到一个3×3卷积核，两个1×1卷积核和三个偏差向量；然后，通过将三个偏差向量想加来得到最终的偏差向量，并通过将1×1卷积核与3×3卷积核的中心点相加从而得到最终的3×3卷积。

本发明的有益效果在于：

本发明可以将训练过程中的多分支结构等价转换为推理时的单路结构从而提高模型的推理效率，并降低计算成本，同时不影响训练模型的识别精度，适用于计算资源受限的移动或嵌入式平台。本发明采用的多分支结构在训练时可以达到更好的分类效果，可以在提高对雷达信号的识别性能的同时，提高算法的推理效率，便于在嵌入式设备或专用芯片中部署。

附图说明

图1是本发明的流程图。

图2是不同雷达信号的时频图。

图3是结构化重参数模型RepVGG的训练结构和推理结构。

图4是结构化重参数过程示意图。

图5是RepVGG多分支卷积结构。

图6是结构化重参数模型RepVGG和普通卷积神经网络CNN的识别结果混淆矩阵。

图7是结构化重参数模型RepVGG和普通卷积神经网络CNN的识别结果准确率随信噪比的变化曲线。

图8是RepVGG结构定义表。

图9是不同信噪比下的雷达信号识别准确率表。

图10是训练时模型和测试时模型对比表。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明涉及雷达信号调制方式识别领域，具体涉及一种基于模型重参数化的雷达信号调制方式识别方法。本发明可以将训练过程中的多分支结构等价转换为推理时的单路结构从而提高模型的推理效率，并降低计算成本，同时不影响训练模型的识别精度，适用于计算资源受限的移动或嵌入式平台。并且多分支结构在训练时可以达到更好的分类效果。因此该方法可以在提高对雷达信号的识别性能的同时，提高算法的推理效率，便于在嵌入式设备或专用芯片中部署。

本发明的目的是这样实现的：

步骤1：通过Choi-Williams时频分布将雷达信号转化为二维时频图像，并生成训练集和测试集；

步骤2：使用无偏置的3×3卷积，1×1卷积和恒等卷积来构造多分支卷积模块，并将多分支卷积模块组合为用于训练的RepVGG多分支模型；

步骤3：在训练集上通过交叉熵损失函数和Adam优化函数训练多分支卷积神经网络模型，并保存最终的训练模型；

步骤4：加载训练模型，将已经收敛的多分支卷积神经网络进行结构重参数化，实现多分支合并，得到用于推理的单路卷积神经网络；

步骤5：在推理模型上对测试数据进行推理测试，实现雷达信号调制的识别；

本发明还包括这样一些特征：

1.步骤1中假设雷达信号的表示形式为

y(t)＝x(t)+N(t) (1)

通过Choi-Williams时频分布，将一维雷达信号转换为二维时频图(Time-Frequency image)，可以显示雷达信号频率随时间的变化。Choi-Williams时频分布具有高分辨率，交叉项不明显等特点。Choi-Williams的分布表示如下

其中，t，ω分别表示时频分布的时域分量和频域分量，f(θ，τ)为时频分布的核函数；τ表示时延。核函数可以看作是一个低通滤波器，可以有效减少交叉项的干扰。核函数表示如下

雷达信号的时频图可以看作一幅二维图像，时频分布的时间分量和频率分量分别表示图像的x轴和y轴。时频图中可以直观地表示出雷达信号频率随时间的变化关系，从而有效地表征雷达信号的调制方式特征。

2.步骤2中通过使用无偏置的3×3卷积，1×1卷积和恒等卷积来构造训练时的RepVGG模型。

所提出的RepVGG模型输入图像大小224×224，模型一共分为5个阶段，每个阶段分别具有[1，2，4，14，1]个多分支卷积模块，每个阶段的通道数分别为[48，48，96，192，512]，每个阶段的第一个卷积层的步进(stride)设为2，用来进行下采样，进行下采样的层由于输出和输出特征尺寸不一致，因此不能使用恒等连接分支。如图8所示为RepVGG模型的结构定义，

3.步骤3中采用交叉熵和Adam优化算法对模型进行训练，采用余弦学习率退火方法调整模型训练过程中的学习率。并在RTX 3090GPU上进行训练，迭代120个epoch。

4.步骤4采用结构重参数化将多分支结构模块转化为单个3×3的卷积层用于推理。

使用

表示3×3卷积层的卷积核，其中C₁和C₂表示输入和输出的通道数，

表示1×1分支的卷积核。使用μ⁽³⁾，σ⁽³⁾，γ⁽³⁾，β⁽³⁾作为3×3卷积层之后的BN层的累计平均值，标准偏差，学习比例因子和偏差。μ⁽¹⁾，σ⁽¹⁾，γ⁽¹⁾，β⁽¹⁾为1×1卷积层之后的BN层对应的参数，μ⁽⁰⁾，σ⁽⁰⁾，γ⁽⁰⁾，β⁽⁰⁾表示恒等分支之后的BN层的参数。令

分别表示输入和输出数据。*表示卷积运算。如果C₁＝C₂，H₁＝H₂，W₁＝W₂，则有

如果不使用恒等分支，则公式(4)只包含前面两项。其中bn(·)表示批归一化函数

首先将每个BN及其之前的卷积层等价转换为带有偏差的卷积层，假设{W′，b′}是从{W，μ，σ，γ，β}转换而得到的卷积核和偏差，则有

因此，可以得到

bn(M*W，μ，σ，γ，β)_{：，i，：，：}＝(M*W′)_{：，i，：，}：+b′_i (7)

公式(7)的参数变换也适用于恒等分支，因为恒等分支可以看作以单位矩阵为卷积核的1×1卷积。通过上述变换，可以得到一个3×3卷积核，两个1×1卷积核和三个偏差向量。然后，通过将三个偏差向量想加来得到最终的偏差向量，并通过将1×1卷积核与3×3卷积核的中心点相加从而得到最终的3×3卷积。

本发明基于结构重参数化的模型重构与加速方法可以有效提高模型的推理速度并降低对内存等硬件条件，同时模型的重构过程并不会降低模型的识别精度。

与现有技术相比，本发明的有益效果是：

1.模型类似于VGG的普通拓扑结构，结构简单，推理模型没有分支结构，推理效率高，并行度高，便于嵌入式应用和专用硬件平台的部署

2.模型主体使仅用卷积核大小为3×3的卷积层和ReLU激活函数，计算密度高。

3.设计简单高效，无需自动化搜索，手动优化，复合缩放等繁琐复杂的设计即可实例化。

4.单路结构具有更高的灵活性，可以灵活地修改各层的通道数量(剪枝)。

5.将训练时模型与推理时模型解耦，同时兼顾模型的性能和效率。

实施例1：

参照图1，是基于结构重参数化模型的雷达信号调制方式识别算法系统流程图。

步骤1：参照图2，通过Choi-Williams时频分布将雷达信号通过时频分析转化为二维时频图像，并生成训练集和测试集。雷达信号的调试方式包括：线性调频(LFM)，BPSK，Frank码，Costas码，P1码，P2码，P3码，P4码信号；

步骤2：通过使用3×3卷积，1×1卷积和恒等卷积来构造用于训练的多分支RepVGG模型，其中卷积层只包含卷积核参数，不包含偏置项参数；

步骤2-1：参照图3(b)，搭建结构模块，每个模块中，当步进为1时，模块包含带有批归一化的3×3卷积，1×1卷积和恒等卷积，当步进为2时，模块包含带有批归一化的3×3卷积和1×1卷积；

步骤2-2：参照图4，将结构块搭建为RepVGG模型，模型的输入数据大小为224×224，共分为5个阶段，每个阶段分别具有[1，2，4，14，1]个卷积层，每个阶段的通道数分别为[48，48，96，192，512]，每个阶段的第一个卷积层的步进(stride)设为2，用来进行下采样；

步骤3：在训练集上通过交叉熵损失函数和Adam优化函数训练多分支卷积神经网络模型，通过误差的反向传播更新模型的训练参数；

步骤4：参照图5，将训练到收敛状态的多分支卷积神经网络进行结构重参数化，实现分支合并，得到用于推理的单路卷积神经网络；

步骤4-1：得到每个模块中的卷积参数，和批归一化参数，通过如下公式将批归一化层参数转化为卷积层参数

步骤4-2：将不同分支的卷积层对应参数相加得到多分支合并之后的卷积层参数；

步骤4-3：搭建新的卷积模型，将转换后的3×3单路卷积模块替换训练模型中的多分支卷积模块，并将转换后的卷积层参数加载到推理模型中；

步骤5：加载转换后的单路卷积推理模型，在推理模型上对测试数据进行测试，实现雷达信号调制的识别；

上述方法在PC(RTX 3090GPU)上通过keras深度学习框架进行验证，并使用tensorflow作为框架后端，从图9中可以看出，多分支的卷积神经网络模型可以有效提高模型的识别精度，尤其是在低信噪比情况下。

从图10中可以看出，将分支合并，在不改变模型识别性能的情况下，可以显著降低模型的参数量，有效提高模型的推理速度。通过将多分支合并为3×3卷积层，模型的推理速度提高了约18％，模型的参数量降低了约12％。

综上，基于结构重参数化的RepVGG模型是一种快速，简单和实用的卷积神经网络结构，实现了训练时模型和测试时模型的解耦合。将多分支结构在训练过程中提高识别准确率的优点和单路模型在推理过程中速度快的优点相结合，可以实现在专用硬件或嵌入式平台上高效地运行。与具有复杂结构的模型相比，可以更好地平衡精度与速度的关系。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于模型重参数化的雷达信号调制方式识别方法，其特征在于，包括以下步骤：

步骤1：获取雷达信号数据集，通过Choi-Williams时频分布将雷达信号转化为二维时频图像，并生成训练集和测试集；对训练集中雷达信号的调制方式进行标注；

步骤2：使用无偏置的3×3卷积，1×1卷积和恒等卷积来构造多分支卷积模块，并将多分支卷积模块组合为用于训练的RepVGG多分支模型；

步骤3：在训练集上通过交叉熵损失函数和Adam优化函数训练多分支卷积神经网络模型，并保存最终的训练模型；

步骤4：加载训练模型，将已经收敛的多分支卷积神经网络进行结构重参数化，实现多分支合并，得到用于推理的单路卷积神经网络；

步骤5：获取待识别的雷达信号，将其输入至用于推理的单路卷积神经网络中，实现雷达信号调制的识别。

2.根据权利要求1所述的一种基于模型重参数化的雷达信号调制方式识别方法，其特征在于：步骤1中假设雷达信号的表示形式为y(t)＝x(t)+N(t)

通过Choi-Williams时频分布，将一维雷达信号转换为二维时频图，可以显示雷达信号频率随时间的变化；Choi-Williams的分布表示如下：

其中，t，ω分别表示时频分布的时域分量和频域分量；f(θ，τ)为时频分布的核函数，τ表示时延，核函数表示如下：

雷达信号的时频图可以看作一幅二维图像，时频分布的时间分量和频率分量分别表示图像的x轴和y轴；时频图中可以直观地表示出雷达信号频率随时间的变化关系，从而有效地表征雷达信号的调制方式特征。

3.根据权利要求1所述的一种基于模型重参数化的雷达信号调制方式识别方法，其特征在于：步骤2中RepVGG模型的输入图像大小224×224，模型一共分为5个阶段，每个阶段分别具有[1，2，4，14，1]个多分支卷积模块，每个阶段的通道数分别为[48，48，96，192，512]，每个阶段的第一个卷积层的步进设为2，用来进行下采样。

4.根据权利要求1所述的一种基于模型重参数化的雷达信号调制方式识别方法，其特征在于：步骤3中采用交叉熵和Adam优化算法对模型进行训练，采用余弦学习率退火方法调整模型训练过程中的学习率。

5.根据权利要求1所述的一种基于模型重参数化的雷达信号调制方式识别方法，其特征在于：步骤4采用结构重参数化将多分支结构模块转化为单个3×3的卷积层用于推理；

使用

表示3×3卷积层的卷积核，其中C₁和C₂表示输入和输出的通道数，

表示1×1分支的卷积核；使用μ⁽³⁾，σ⁽³⁾，γ⁽³⁾，β⁽³⁾作为3×3卷积层之后的BN层的累计平均值，标准偏差，学习比例因子和偏差；μ⁽¹⁾，σ⁽¹⁾，γ⁽¹⁾，β⁽¹⁾为1×1卷积层之后的BN层对应的参数，μ⁽⁰⁾，σ⁽⁰⁾，γ⁽⁰⁾，β⁽⁰⁾表示恒等分支之后的BN层的参数；令

分别表示输入和输出数据；*表示卷积运算；如果C₁＝C₂，H₁＝H₂，W₁＝W₂，则有

M⁽²⁾＝bn(M⁽¹⁾*W⁽³⁾，μ⁽³⁾，σ⁽³⁾，γ⁽³⁾，β⁽³⁾)+bn(M⁽¹⁾*W⁽¹⁾，μ⁽¹⁾，σ⁽¹⁾，γ⁽¹⁾，β⁽¹⁾)+bn(M⁽¹⁾，μ⁽⁰⁾，σ⁽⁰⁾，γ⁽⁰⁾，β⁽⁰⁾)

如果不使用恒等分支，则上式中只包含前面两项，其中bn(·)表示批归一化函数；

首先将每个BN及其之前的卷积层等价转换为带有偏差的卷积层，假设{W′，b′}是从{W，μ，σ，γ，β}转换而得到的卷积核和偏差，则有

因此，可以得到：

bn(M*W，μ，σ，γ，β)_{：，i，：，：}＝(M*W′)_{：，i，：，：}+b′_i

通过上述变换，可以得到一个3×3卷积核，两个1×1卷积核和三个偏差向量；然后，通过将三个偏差向量想加来得到最终的偏差向量，并通过将1×1卷积核与3×3卷积核的中心点相加从而得到最终的3×3卷积。

Images