CN117743946B - 基于融合特征和组卷积ViT网络的信号类型识别方法及系统 - Google Patents

Abstract

本发明提出了基于融合特征和组卷积ViT网络的信号类型识别方法及系统，属于电磁信号的自动调制识别技术领域，包括：将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；采用可视图算法将调制信号转化为时间序列可视化网络；将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；将组卷积残差网络提取的深度特征送入Transformer Encoder模块中，利用多头自注意力机制对输入的全局建模能力，继续获取信号的全局特征。最后将提取的特征通过全连接层进行分类决策，识别出信号的调制类型。

Description

基于融合特征和组卷积ViT网络的信号类型识别方法及系统

技术领域

本发明属于电磁信号的自动调制识别技术领域，尤其涉及基于融合特征和组卷积ViT网络的信号类型识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着现代社会对频谱资源需求的增加，电磁环境日益复杂。认知无线电技术作为一种频谱管理方式可有效提高频谱利用效率，应对复杂的电磁环境挑战。自动调制识别方法可帮助认知无线电系统辨别不同调制方式的信号，从而更智能地适应多样化的通信场景。自动调制识别方法通过分析信号的调制特征，比如幅度、相位、频率等特征，来识别出信号的调制方式。在电子干扰、目标识别、无线电检测等军事和民用领域有广泛应用。

传统的自动调制识别方法分为基于相似性和基于特征的两大类，然而，基于相似性的方法计算复杂度高，而基于特征的方法则受特征选取的依赖。这促使了基于深度学习的自动调制方法（DL-AMR）的兴起，取代了传统方法的不足。早期的DL-AMR主要采用卷积神经网络（CNN）和递归神经网络（RNN），但是CNN难以捕捉长距离依赖，而RNN对时序信号的顺序处理导致长期记忆能力下降。因此，为了解决这些问题，研究开始引入在自然语言处理领域取得显著效果的Transformer模型。

其中，一种主流方式是利用Transformer直接处理一维信号序列，因为Transformer能够在全局范围内建模序列之间的依赖关系，从而适应不同长度和复杂度的调制信号序列。然而，一维信号序列仅包含信号的时域信息，缺乏频域信息以及信号的局部特征和动态变化信息。

随着Vision Transformer（ViT）网络在计算机视觉领域的卓越表现，将其引入自动调制识别领域，对信号的特征进行处理，但是ViT网络缺乏CNN网络自身强大的归纳偏置能力，在小规模数据集上的效果有所降低。

发明内容

为克服上述现有技术的不足，本发明提供了基于融合特征和组卷积ViT网络的信号类型识别方法及系统，融合了调制信号的时频图特征和可视化网络特征，利用多组卷积残差网络对传统ViT模型归纳偏置层进行了优化，从而显著提升了网络的分类准确性和泛化能力。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于融合特征和组卷积ViT网络的信号类型识别方法，包括：

将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；

多组卷积残差网络提取的深度特征被送入Transformer Encoder中，利用多头自注意力机制的全局建模能力，进一步提取全局特征。

作为进一步的技术方案，将调制信号变换到时频域，得到时频图，具体过程为：

将采集的不同调制类型的电磁信号，存储为同相/正交分量形式，电磁信号为时域调制信号；

通过短时傅里叶变换将时域调制信号转换为时频域，得到时频图。

作为进一步的技术方案，通过短时傅里叶变换将时域调制信号转换为时频域，具体为：

选择汉宁窗作为窗口函数，在时域调制信号上滑动窗口，实现将输入时域调制信号分为成许多帧，将窗口函数应用于每个帧，通过将窗口函数的形状乘以与窗口函数重叠的信号片段实现，对每个窗口化的帧应用傅里叶变换，将时域信号转换为频域信号；

对于每个时刻的频谱信息，通过将它们进行重叠相加，得到最终的时频表示。

作为进一步的技术方案，在输入信号的两端填充零值的方法来执行傅里叶变换。

作为进一步的技术方案，还包括对时频图应用标准化预处理。

作为进一步的技术方案，采用可视图算法将调制信号转化为时间序列可视化网络，具体包括：

针对采集的电磁信号是具有多个样本点的时间序列，将时间序列的每个样本点作为可视图的节点，得到可视图节点集合；

在可视图算法里，相邻的两个节点是相连的，对于不相邻的节点，满足可视规则的两个节点是相连的；

基于可视规则，得到时间序列可视化网络。

作为进一步的技术方案，将时频图和时间序列可视化网络分别输入特征融合模块，得到融合特征；

特征融合模块中，通过初始化卷积层，使用卷积核进行特征提取；

最大池化层用于降低特征图的空间维度，同时保留主要的特征；

融合时频图和时间序列可视化网络用于全面捕捉信号的时频特性和时域演变规律。

作为进一步的技术方案，将融合特征输入多组卷积残差网络中进行特征提取，获取调制信号的更高级、复杂特征；

多组卷积残差网络具有多个卷积块级联的形式，并带有跳跃连接，用于提取调制信号的深度特征，用于分析出多尺度时空信号相关性。

作为进一步的技术方案，所述多组卷积残差网络有两个基础结构，分别为C-Block和Cx-Block；

C-Block对应输入通道数和输出通道数相同的情况，用来加深网络，通过增加层次来提高网络的表示能力；

Cx-Block对应输入通道数和输出通道数不同的情况，用来改变网络的维度，通过调整通道数，Cx-Block用来控制网络中信息的流动和维度的变化；

所述多组卷积残差网络通过交替使用Cx-Block和C-Block，以及残差连接和池化操作，形成深度网络结构，提升多层次、多尺度的图像特征。

作为进一步的技术方案，所述C-Block结构先通过第一个卷积核进行通道数的降维，再通过卷积核用于捕获更大范围的特征，残差连接为了梯度消失或者梯度爆炸，同时加速训练过程。

作为进一步的技术方案，还包括：将多组卷积残差网络提取的深度特征进行展平，得到具体的特征维度，然后通过线性层改变特征维度到ViT网络的常数隐藏向量，接着组合一个Class Token，其通过Transformer Encoder后的状态代表图像输出表示，和可学习的随机初始化的位置信息相加；

将添加完位置信息的多组卷积残差网络嵌入层的序列送入Transformer Encoder中，Transformer Encoder包含4层，每个层都由多头自注意力机制和前馈网络组成，层归一化被应用在层之前，在每层之后还应用残差连接；

前馈网络先将每个位置的特征映射到更高维度的表达空间，再映射回原来维度，通过两个全连接层和激活函数实现，最后，通过线性层对提取的特征进行分类。

作为进一步的技术方案，所述多头自注意力机制形成过程为：

将输入序列经过线性映射层映射为三个子空间，查询空间、键空间、值空间，8个注意力头分别学习子空间的不同表示，自注意力头是值空间的加权和，权重是由查询空间和键空间计算得到的，然后对每个头的自注意力计算进行拼接和线性变换，最终形成多头自注意力机制。

第二方面，公开了基于融合特征和组卷积ViT网络的信号类型识别方法及系统，包括：

时频图获取模块，被配置为：将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

时间序列可视化网络获取模块，被配置为：采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

特征融合模块，被配置为：将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

多组卷积残差网络处理模块，被配置为：融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；

Transformer Encoder处理模块，被配置为：将多组卷积残差网络提取的深度特征送入Transformer Encoder中，利用多头自注意力机制的全局建模能力，进一步获取其调制信号的全局特征。

以上一个或多个技术方案存在以下有益效果：

本发明技术方案的网络充分结合了多组卷积残差网络的归纳偏置能力和ViT多头自注意力机制模块的全局建模能力，实现了对调制信号的局部深度特征和全局特征的提取，从而显著提升了网络的分类准确性和泛化能力。

本发明技术方案多组卷积残差网络通过交替使用Cx-Block和C-Block，以及残差连接和池化操作，形成深度网络结构，有助于提升多层次、多尺度的图像特征，从而提高网络的表示能力。通过多组卷积残差网络代替传统ViT网络的块嵌入层，利用这种CNN网络架构自身的归纳偏置作用，弥补了传统ViT网络对于输入二维位置信息的缺失。同时残差连接结构有助于缓解梯度消失问题，使得网络在训练过程中更稳定。

本发明技术方案融合时频图和时间序列可视化网络能够全面捕捉信号的时频特性和时域演变规律，有助于更全面地理解信号的结构和动态特征。特征融合有助于提高模型的鲁棒性，使其对噪声和干扰具有更好的适应性。通过同时考虑不同表征的信息，模型可以更好地应对复杂的实际环境。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例基于融合特征和组卷积ViT网络的信号类型识别方法框图；

图2为传统ViT的嵌入层示意图；

图3为本发明实施例网络的嵌入层对比示意图；

图4为本发明实施例特征融合模块示意图；

图5为本发明实施例多组卷积残差网络基础结构C-Block示意图；

图6为本发明实施例多组卷积残差网络基础结构Cx-Block示意图

图7为本发明实施例多组卷积残差网络架构示意图；

图8为本发明实施例Transformer Encoder框架示意图；

图9为本发明实施例样本点的时间序列示意图；

图10为本发明实施例时序序列可视化网络示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了基于融合特征和组卷积ViT网络的信号类型识别方法，包括：

参见附图1所示，首先，通过短时傅里叶变换（STFT）将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息。接下来，对时频图进行归一化预处理，提高模型的稳定性和收敛速度。

随后，采用可视图算法将调制信号转化为时间序列可视化网络，具体为二值网络，取值仅为0和1，其中0表示两个时间节点之间没有连接，1表示两个时间节点之间存在连接，时间序列可视化网络用于捕捉时间序列数据点之间的关系，有效挖掘时间序列结构和演化特征。

通过特征融合模块，将时频图和时间序列可视化网络的特征提取融合，形成更加综合和多维的特征表示。这融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取。多组卷积残差网络通过替代Vision Transformer（ViT）的块嵌入层，利用卷积残差网络的归纳偏置能力，弥补了传统ViT位置嵌入不携带输入二维位置信息的缺陷（针对小规模数据集）。相对于现有技术，本发明技术方案的网络充分结合了多组卷积残差网络的归纳偏置能力和ViT多头自注意力机制模块的全局建模能力，实现了对调制信号的局部深度特征和全局特征的提取，从而显著提升了网络的分类准确性和泛化能力。

本实施例子的具体步骤如下：

步骤S1：将采集的不同时域调制类型的电磁信号，存储为同相/正交分量形式，实现对信号的相位和幅度信息的明确表达，信号维度为（2,128）。通过STFT方法将时域调制信号转换为时频域，用来分析信号在时间和频率上的变化：这里选择汉宁窗作为窗口函数，在信号上滑动窗口，实现将输入信号分为成许多帧，将窗口函数应用于每个帧，通过将窗口函数的形状乘以与窗口函数重叠的信号片段实现，对每个窗口化的帧应用傅里叶变换，将时域信号转换为频域信号。通常，相邻帧之间有一定重叠，确保对信号的完整覆盖，这对于每个时刻的频谱信息，通过将它们进行重叠相加，得到最终的时频特征表示，即时频图。STFT的计算如公式（11）所示：

(11)

其中是样本数量，/>是离散的数字频率，/>是应用于信号的窗口函数，这里使用汉宁窗，/>指时间延迟函数。STFT生成的数据是二维的，提供信号的时域和频域信息，表示为时频特征图/>。这里给定汉宁窗的窗口长度为127，步长为2，则最终得到的时频图的维度为（2,64,64）。在窗口滑动过程中，会出现窗口没有完全覆盖输入信号的情况，这可能导致边缘效应，因为窗口没有足够的数据来执行傅里叶变换，这里采用在输入信号的两端填充零值的方法进行解决。

对时频图应用标准化预处理，使用数据的均值和标准差进行标准化，使数据的分布接近标准正态分布，提高模型的稳定性。

标准化的计算如公式（12）如下：

(12)

其中是时频图数据，/>是均值，/>是标准差。

步骤S2：将采集的不同调制类型的电磁信号，通过可视图算法，将其转换为可视化网络。可视图算法利用透视思想，给出边连接的判断准则，其构造算法如下：

针对采集的电磁信号是128个样本点的时间序列，将时间序列的每个样本点作为可视图的节点，得到可视图节点集合为/>。节点之间的边连接存在与否由可视规则决定。在可视图算法里，相邻的两个节点是相连的。对于不相邻的节点，满足如下可视规则的两个节点是相连的：

(13)

在公式（13）中，代表该节点为原时间序列的第/>个节点。对可视规则可做如下理解：对于节点/>和节点/>，用直线连接两个节点，若节点/>和节点/>之间所有的节点值都在该条直线之下，则节点/>和/>之间存在边连接；否则不存在边连接。

图9是一个由6个样本点组成的时间序列的可视规则示意图。对应的可视图有6个节点。相邻节点肯定有边连接，对于节点1和节点3之间是否存在边连接时，节点2在节点1和节点3连线之上，因此节点1和节点3之间不存在边连接。但对于节点2和节点5是否存在边连接时，节点3和节点4都在连线之下，因此节点2和节点5存在边连接。通过上述公式（13）的可视规则，得到时序序列可视化网络。将存在边连接的样本点按照其位置信息进行标注可视化网络，相应位置处为1，其余位置为0。时间序列可视化网络是一种二值网络，其中边的取值仅为0和1，其中0表示两个节点之间没有连接，而1表示它们之间存在连接，参见附图10所示。这种网络是对复杂网络的一种简化，不考虑节点之间的具体关联程度，只关注它们是否相连。因此，其网络拓扑统计特征反映了时间序列在新的向量空间中的统计特征。时间序列可视化网络捕捉时间序列数据点间的关系，同时提供了对时间序列结构和演化特征的有效挖掘。根据以上可视图算法，可知对于维度为（2,128）的时间序列信号，最终得到的时间序列可视化网络维度为（2,128,128）。

步骤S3：将时频图和时间序列可视化网络分别输入特征融合模块，得到融合特征。特征融合模块的框架如图4所示，其实例架构配置如表1所示，通过初始化卷积层，使用7x7的卷积核进行特征提取，输出通道数为64，步幅为2有助于降低特征图的空间分辨率。最大池化层用于降低特征图的空间维度，同时保留主要的特征。融合时频图和时间序列可视化网络能够全面捕捉信号的时频特性和时域演变规律，有助于更全面地理解信号的结构和动态特征。特征融合有助于提高模型的鲁棒性，使其对噪声和干扰具有更好的适应性。通过同时考虑不同表征的信息，模型可以更好地应对复杂的实际环境。

表1 实例特征融合模块架配置

步骤S4：将融合特征输入多组卷积残差网络中进行深度特征提取，该网络在分类准确率和处理速度方面均性能卓越。多组卷积残差网络设计多个卷积块级联的形式，提高网络深度提取特征能力，可以获取调制信号更复杂、抽象特征，同时引入残差块允许跳跃连接，避免深度网络梯度消失问题，使得网络训练更稳定；所提出的网络能够详尽地分析出多尺度时空信号相关性，保证在最便宜的计算成本下显著提高在恶劣条件下的调制分类准确性。

多组卷积残差网络有两个基础结构，分别为C-Block和Cx-Block，如图5-图6所示，C-Block对应输入通道数和输出通道数相同的情况，用来加深网络，通过增加层次来提高网络的表示能力。它有助于学习更复杂的特征表示，使得网络能够更加地适应训练数据，增加泛化能力。Cx-Block对应输入通道数和输出通道数不同的情况，用来改变网络的维度，通过调整通道数，Cx-Block可以用来控制网络中信息的流动和维度的变化。这对于适应不同任务或者处理不同类型的输入数据非常有用。C-Block结构先通过第一个1x1的卷积核进行通道数的降维，将输入通道数减少到原来的1/4，有助于减少参数量，提高计算效率。再通过3x3卷积核用于捕获更大范围的特征，有助于学习更全面的信息。残差连接为了梯度消失或者梯度爆炸，同时加速训练过程。Cx-Block结构其余结构和C-Block作用相同，除以下方面，第一个步幅为S的卷积层，迅速减小特征图的特征维度，控制参数量。这里残差连接的输出和之前的卷积输出通道在通道维度上合并，得到一个具有更丰富通道信息的特征图。多组卷积残差网络整体框架如图7所示，实例网络架构配置如表2所示，多组卷积残差网络通过交替使用Cx-Block和C-Block，以及残差连接和池化操作，形成深度网络结构，有助于提升多层次、多尺度的图像特征，从而提高网络的表示能力。通过多组卷积残差网络代替传统ViT网络的块嵌入层，利用这种CNN网络架构自身的归纳偏置作用，弥补了传统ViT网络对于输入二维位置信息的缺失。同时残差连接结构有助于缓解梯度消失问题，使得网络在训练过程中更稳定。

表2 实例多组卷积残差网络架构配置

步骤S5：先将多组卷积残差网络提取的深度特征进行展平，得到（64,64）的特征维度，然后通过线性层改变特征维度到ViT网络的常数隐藏向量大小512，接着组合一个Class Token，其通过Transformer Encoder后的状态代表图像输出表示，和可学习的随机初始化的一维位置信息相加。

具体计算如下：

(14)

其中代表线性映射层，/>代表图片的一维位置信息。

步骤S6：将添加完位置信息的多组卷积残差网络嵌入层的序列送入TransformerEncoder中，Transformer Encoder包含4层，每个层都由多头自注意力机制和前馈网络（多层感知机）组成，层归一化（LN）被应用在层之前，在每层之后还应用残差连接，如图8所示，计算过程如公式（15）（16）所示。

(15)

(16)

其中代表Transformer Encoder的第/>层。

ViT网络中的编码器包含多个层，每个层都包括多头自注意力机制和前馈网络（多层感知机）。

多头自注意力机制将输入序列经过线性映射层,/>,映射为三个子空间：查询空间/>、键空间/>、值空间/>，8个注意力头分别学习子空间的不同表示，自注意力头是值空间/>的加权和，权重是由/>和/>计算得到的。然后对每个头的自注意力计算进行拼接和线性变换/>，最终形成多头自注意力机制，计算过程如公式（17）（18）（19）所示。

(17)

(18)

(19)

其中。

前馈网络一般都是多层感知机，先将每个位置的特征映射到更高维度的表达空间，再映射回原来维度，通过两个全连接层和激活函数实现，计算过程如公式（20）所示。最后，通过线性层对提取的特征进行分类。

(20)

其中，。

最后，通过线性层对提取的特征进行分类，以概率分布的形式输出每个类别的概率，选择概率最高的类别作为识别出的信号调制方式。

总之，本申请实施例子技术方案利用特征融合形式，将通过STFT将时间序列转换为时频图，利用可视图算法将时间序列转化为时间序列可视化网络，通过引入这两种不同的特征提取方式，实现了对调制信号多方面信息的获取，综合时域和频域信息以及时间序列的动态关系，从而提高自动调制识别的性能和泛化能力。

本申请实施例子技术方案设计双通道特征融合模块，根据不同输入分别设计对应通道配置，利用特征融合模块将时频图和时间序列可视化网络进行特征提取和融合，形成更加全面和综合的特征。

本申请实施例子技术方案使用多组卷积残差网络代替传统的ViT网络的块嵌入层，以CNN网络自有的归纳偏置来弥补ViT网络对于输入二维位置信息的缺失。如图2-3所示，标准的Transformer网络接收一个一维序列的令牌嵌入作为输入，对于传统ViT网络，会将输入分成展平的输入块，通过一个可训练的线性映射层改变输入块的维度。这里将融合特征送入多组卷积残差网络中，该网络由多个卷积块级联形式构成，并通过残差连接和池化技术，形成深度网络结构，有助于提升多层次、多尺度的特征，从而提高网络的表示能力，以此来提取调制信号的局部深度特征和携带的位置信息。

实施例二

本实施例的目的是提供一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

实施例四

本实施例的目的是提供基于融合特征和组卷积ViT网络的信号类型识别系统，包括：

时频图获取模块，被配置为：将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

时间序列可视化网络获取模块，被配置为：采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

特征融合模块，被配置为：将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

多组卷积残差网络处理模块，被配置为：融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取。

Transformer Encoder处理模块，被配置为：将多组卷积残差网络提取的深度特征送入Transformer Encoder中，利用多头自注意力机制的全局建模能力，进一步获取其调制信号的全局特征。

本实施例子技术方案通过短时傅里叶变换（STFT）将调制信号变换到时频域，以获取信号的瞬态特性和频率变化信息。接下来，对时频图进行归一化预处理，提高模型的稳定性和收敛速度。随后，采用可视图算法将时序信号转化为时间序列可视化网络，捕捉时间序列数据点之间的关系，有效挖掘时间序列结构。

通过特征融合模块，将时频图和时间序列可视化网络的特征提取融合，形成更加综合和多维的特征表示。融合后的特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取。多组卷积残差网络通过替代Vision Transformer（ViT）的块嵌入层，利用卷积残差网络的归纳偏置能力，弥补了传统ViT位置嵌入不携带输入二维位置信息的缺陷（针对小规模数据集）。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于融合特征和组卷积ViT网络的信号类型识别方法，其特征是，包括：

将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；

将融合特征输入多组卷积残差网络中进行更复杂、抽象的特征提取，获取深度特征；

多组卷积残差网络具有多个卷积块级联的形式，并带有跳跃连接，用于提取深度特征，用于分析出多尺度时空信号相关性；

其中，所述多组卷积残差网络有两个基础结构，分别为C-Block和Cx-Block；

C-Block对应输入通道数和输出通道数相同的情况，用来加深网络，通过增加层次来提高网络的表示能力；

Cx-Block对应输入通道数和输出通道数不同的情况，用来改变网络的维度，通过调整通道数，Cx-Block用来控制网络中信息的流动和维度的变化；

所述多组卷积残差网络通过交替使用Cx-Block和C-Block，以及残差连接和池化操作，形成深度网络结构，提升多层次、多尺度的图像特征；

将多组卷积残差网络提取的深度特征送入Transformer Encoder中，利用多头自注意力机制的全局建模能力，进一步提取调制信号的全局特征；

还包括：将多组卷积残差网络提取的深度特征进行展平，得到具体的特征维度，然后通过线性层改变特征维度到ViT网络的常数隐藏向量，接着组合一个Class Token，其通过Transformer Encoder后的状态代表图像输出表示，和可学习的随机初始化的位置信息相加；

将添加完位置信息的多组卷积残差网络嵌入层的序列送入Transformer Encoder中，Transformer Encoder包含4层，每个层都由多头自注意力机制和前馈网络组成，层归一化被应用在层之前，在每层之后还应用残差连接；

前馈网络先将每个位置的特征映射到更高维度的表达空间，再映射回原来维度，通过两个全连接层和激活函数实现，最后，通过线性层对提取的特征进行分类。

2.如权利要求1所述的基于融合特征和组卷积ViT网络的信号类型识别方法，其特征是，通过短时傅里叶变换将时域调制信号转换为时频域，具体为：

选择汉宁窗作为窗口函数，在时域调制信号上滑动窗口，实现将输入时域调制信号分为成许多帧，将窗口函数应用于每个帧，通过将窗口函数的形状乘以与窗口函数重叠的信号片段实现，对每个窗口化的帧应用傅里叶变换，将时域信号转换为频域信号；

对于每个时刻的频谱信息，通过将它们进行重叠相加，得到最终的时频表示，即时频图。

3.如权利要求2所述的基于融合特征和组卷积ViT网络的信号类型识别方法，其特征是，在输入信号的两端填充零值的方法来执行傅里叶变换；

还包括对时频图应用标准化预处理。

4.如权利要求1所述的基于融合特征和组卷积ViT网络的信号类型识别方法，其特征是，采用可视图算法将调制信号转化为时间序列可视化网络，具体包括：

针对采集的电磁信号是具有多个样本点的时间序列，将时间序列的每个样本点作为可视图的节点，得到可视图节点集合；

在可视图算法里，相邻的两个节点是相连的，对于不相邻的节点，满足可视规则的两个节点是相连的；

基于可视规则，得到时间序列可视化网络。

5.如权利要求1所述的基于融合特征和组卷积ViT网络的信号类型识别方法，其特征是，将时频图和时间序列可视化网络分别输入特征融合模块，得到融合特征；

特征融合模块中，通过初始化卷积层，使用卷积核进行特征提取；

最大池化层用于降低特征图的空间维度，同时保留主要的特征；

融合时频图和时间序列可视化网络用于全面捕捉信号的时频特性和时域演变规律。

6.基于融合特征和组卷积ViT网络的信号类型识别系统，其特征是，包括：

时频图获取模块，被配置为：将调制信号变换到时频域，得到时频图，以获取信号的瞬态特性和频率变化信息；

时间序列可视化网络获取模块，被配置为：采用可视图算法将调制信号转化为时间序列可视化网络，用于捕捉时间序列数据点之间的关系；

特征融合模块，被配置为：将时频图和时间序列可视化网络的特征进行提取融合，形成更加综合和多维的特征表示即融合特征；

多组卷积残差网络处理模块，被配置为：融合特征被送入多组卷积残差网络，该网络能够进行多尺度时空信号相关性提取；将融合特征输入多组卷积残差网络中进行更复杂、抽象的特征提取，获取深度特征；

多组卷积残差网络具有多个卷积块级联的形式，并带有跳跃连接，用于提取深度特征，用于分析出多尺度时空信号相关性；

其中，所述多组卷积残差网络有两个基础结构，分别为C-Block和Cx-Block；

C-Block对应输入通道数和输出通道数相同的情况，用来加深网络，通过增加层次来提高网络的表示能力；

Cx-Block对应输入通道数和输出通道数不同的情况，用来改变网络的维度，通过调整通道数，Cx-Block用来控制网络中信息的流动和维度的变化；

所述多组卷积残差网络通过交替使用Cx-Block和C-Block，以及残差连接和池化操作，形成深度网络结构，提升多层次、多尺度的图像特征；

Transformer Encoder处理模块，被配置为：将多组卷积残差网络提取的深度特征送入Transformer Encoder中，利用多头自注意力机制的全局建模能力，进一步获取其调制信号的全局特征；还包括：将多组卷积残差网络提取的深度特征进行展平，得到具体的特征维度，然后通过线性层改变特征维度到ViT网络的常数隐藏向量，接着组合一个Class Token，其通过Transformer Encoder后的状态代表图像输出表示，和可学习的随机初始化的位置信息相加；

将添加完位置信息的多组卷积残差网络嵌入层的序列送入Transformer Encoder中，Transformer Encoder包含4层，每个层都由多头自注意力机制和前馈网络组成，层归一化被应用在层之前，在每层之后还应用残差连接；

前馈网络先将每个位置的特征映射到更高维度的表达空间，再映射回原来维度，通过两个全连接层和激活函数实现，最后，通过线性层对提取的特征进行分类。

7.一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-5任一所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求1-5任一所述方法的步骤。