CN113114599B - 基于轻量级神经网络的调制识别方法 - Google Patents
基于轻量级神经网络的调制识别方法 Download PDFInfo
- Publication number
- CN113114599B CN113114599B CN202110271141.7A CN202110271141A CN113114599B CN 113114599 B CN113114599 B CN 113114599B CN 202110271141 A CN202110271141 A CN 202110271141A CN 113114599 B CN113114599 B CN 113114599B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- feature data
- data received
- modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/0012—Modulated-carrier systems arrangements for identifying the type of modulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于轻量级神经网络的调制识别方法,根据调制信号数据特征,引入自注意力机制、分组卷积机制和拆分注意力机制对轻量级神经网络Resnet18进行改进,构建了基于轻量级神经网络的调制识别模型,将调制信号的IQ信号数据转换为三维数据,输入训练好的调制识别模型进行调制识别。采用本发明可以有效提升调制识别率,尤其是在低信噪比情况下具有良好的调制识别率。
Description
技术领域
本发明属于调制识别技术领域,更为具体地讲,涉及一种基于轻量级神经网络的调制识别方法。
背景技术
信号的自动调制识别技术(AMC)在信号的监测和估计之间扮演着重要角色,是软件无线电和非合作通信的重要机制之一。在通信过程中,对通信信号解调的重要前提就是要明确原信号的参数及其调制方式,如信号幅值、信号带宽、时延等信息。调制方式是区分不同信号类型的重要参数之一,在完成信号检测与估计之后,只有完成对接收信号调制方式的识别判定,才能正确的对信号进行处理。目前调制识别广泛的应用于民用和军用领域,并发挥着越来越重要的作用。
目前调制识别领域常用的调制识别算法主要是基于特征(FB)提取的调制识别算法和基于似然函数(LB)的调制识别算法,基于特征工程算法常见多为基于高阶累积量、信号瞬时特征和信号谱特征算法,前者受限于特征选取的好坏,局限性强,人为选择,泛化能力弱。基于似然函数的调制识别方法对模型和参数估计敏感度比较大,需要计算大量数据来获得信号先验信息,如码率、频偏等信息,在许多非合作通信中这种方法并不适用,获取先验证信息为系统结构设计增大难度,尤其在低信噪比环境下,更是加大了获取信号先验信息的难度,难以提取特征参数,识别效果不理想。
深度学习数据直接从数据原始特征出发,能够更好获取原始数据特征,在图像识别和目标检测领域取得了优秀的成果。同时是目前调制识别领域的研究热点,算法对原始数据进行预处理,构建CNN网络模型,使用图像和IQ信号数据集完成调制识别,在目标检测和图像识别领域,可以通过加深网络层数来提高图像识别率,充分提取数据特征。在目前调制识别算法当中也多应用传统CNN网络,但是随着网络层数加深,对设备要求增高,导致推广应用难度较大。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于轻量级神经网络的调制识别方法,通过对轻量级神经网络Resnet18进行适应性改进,提高调制识别的识别率。
为了实现上述发明目的,本发明基于轻量级神经网络的调制识别方法包括以下步骤:
S1:根据需要确定进行调制识别的调制类别,记其数量为N,对每个调制类别分别采集若干个预设长度L的IQ信号样本,将每个IQ信号样本经维度转换得到大小为1×2×L的三维IQ信号样本,并标注其对应的调制类别标签;
S2:构建基于轻量级神经网络的调制识别模型,包括自注意力模块和轻量级神经网络SK-Resnext18,自注意力模块用于对输入的IQ信号数据进行处理得到自注意力特征图,然后将自注意力特征图输入至轻量级神经网络SK-Resnext18进行调制识别;
轻量级神经网络SK-Resnext18包括级联的输入层、4个功能层和输出层,每个功能层分别包括级联的2个瓶颈层:BottleNeck1和BottleNeck2,其中:
瓶颈层BottleNeck1的结构包括两个分支和add层,其中第一分支包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1;
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1;
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3;
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1;
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1;
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为3×2,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2;
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至Add层;
瓶颈层BottleNeck1的第二分支包括平均池化层、第五卷积层Conv5和第三批量归一化层BN3,其中:
平均池化层用于对接收到的特征数据进行平均池化,将处理结果发送至第五卷积层Conv5;
第五卷积层Conv5的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从平均池化层接收到的特征数据进行卷积操作后发送至第三批量归一化层BN3;
第三批量归一化层BN3用于对从第五卷积层Conv5接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add;
叠加层Add用于将从第二批量归一化层BN2和第三批量归一化层BN3所接收到的特征数据叠加后作为瓶颈层BottleNeck1的特征数据进行输出;
瓶颈层BottleNeck2包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2和叠加层Add,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1;
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1;
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3;
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1;
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1;
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2;
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add;
叠加层Add用于将输入瓶颈层BottleNeck2的特征数据和从第二批量归一化层BN2所接收到的特征数据叠加后作为瓶颈层BottleNeck2的特征数据进行输出;
S3:采用步骤S1中的三维IQ信号样本作为步骤S2中所构建的基于轻量级神经网络的调制识别模型的输入,对应的调制类别标签作为期望输出,对基于轻量级神经网络的调制识别模型进行训练,得到训练好的调制识别模型;
S4:对于需要进行调制识别的调制信号,采集预设长度L的IQ信号并进行维度转换得到大小为1×2×L的三维IQ信号,将该三维IQ信号输入步骤S3中训练好的调制识别模型中,得到调制识别结果。
本发明基于轻量级神经网络的调制识别方法,根据调制信号数据特征,引入自注意力机制、分组卷积机制和拆分注意力机制对轻量级神经网络Resnet18进行改进,构建了基于轻量级神经网络的调制识别模型,将调制信号的IQ信号数据转换为三维数据,输入训练好的调制识别模型进行调制识别。采用本发明可以有效提升调制识别率。
附图说明
图1是ResNeSt Block的结构示意图;
图2是拆分注意力机制的原理图;
图3是压缩激发机制的原理图;
图4是本发明基于轻量级神经网络的调制识别方法的具体实施方式流程图;
图5是本发明中基于轻量级神经网络的调制识别模型的结构图;
图6是本实施例中轻量级神经网络SK-Resnext18中输入层的结构图;
图7是本发明中瓶颈层BottleNeck1的结构图;
图8是本发明中瓶颈层BottleNeck2的结构图;
图9是本发明中枢纽层Cardinal的结构图;
图10是本实施例中不同类别调制信号的时域示例图;
图11是本发明和基于CNN网络的调制识别方法的识别率对比图;
图12是本发明和基于LSTM网络/双层LSTM网络的调制识别方法的识别率对比图;
图13是本发明和基于三层BRNN网络/CCNN网络的调制识别方法的识别率对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
为了更好地说明本发明的技术方案,首先对本发明用于构建基于轻量级神经网络的调制识别模型的理论机制进行简要说明。
·自注意力机制
现有技术在调制信号输入调制识别模型时,缺少预处理阶段,导致忽略了很多数据之间的相关特征,使得调制识别率不够理想。为了解决该问题,本发明在构建调制识别模型时,引入了自注意力机制模块,以便更好地统合数据。
在自注意力机制中,对输入数据分别采用3个矩阵与其相乘,得到3个特征Q(Query),K(Key),V(Value),首先计算Q与K之间的点乘,然后为了防止其结果过大,会除以一个尺度标度其中为Q和K向量的维度,最后通过Softmax操作对结果进行归一化分布概率分布,然后再乘以特征V就得到权重求和的表示,最终结果可表示为:
自注意力机制的具体原理和工作过程可以参见文献“Vaswani A,Shazeer N,Parmar N,et al.Attention Is All You Need[J].arXiv,2017.”。
·分组卷积机制
ResNeSt(拆分注意力网络)网络是基于ResNet(残差网络)网络改进得到的,其性能相对于ResNet网络有明显提升,其改进重点在于分组卷积机制和拆分注意力机制。
图1是ResNeSt Block的结构示意图。如图1所示,ResNeSt块可以分为若干组,特征映射组的数目由基数超参数K给出,将其得到的特征映射组称为基数组。另外,再引入一个新的基数超参数R,它代表每一个特征映射组中的分列数目,因此特征组的总数量为G=K×R。还可以将一系列转换{ζ1,ζ2,...,ζ3}应用于每个单独的组,然后每个组的中间表示就是Ui=ζi(X),其中i∈{1,2,...,G}。
每一个枢纽Cardinal中,都有r个基数组Radix,在各个基数组Radix中进行卷积(conv)等操作,在每个枢纽Cardinal的最后,会有一个拆分注意力模块Split Attention进行输出,最终将所有的输出输入到拼接模块Concatenate中,经过全连接层处理,再结合残差网络的特性,就得到完整的输出。
·拆分注意力机制
根据图1可知,在每一个枢纽Cardinal中,最后都会有一个拆分注意力模块SplitAttention,以便引入拆分注意力机制,其主要目的是在特征图组中增强各通道的联系。
图2是拆分注意力机制的原理图。如图2所示,每个基数组的组合表示可以通过多个分裂以后的注意力模块Attention求和来融合。第k个基数组的表示其中k=1,2,...,K。H,W和C是该注意力模块输出特征图的尺寸。
在特征图注意力机制中,使用了一种压缩激发(Selective Kernel Networks)网络。Selective Kernel Networks(SkNet)并不是一个完整的网络结构,而是一个子结构,可以嵌到其他分类或检测模型中,SkNet的核心思想在于通过网络根据损失去学习特征权重,使得有效的特征图(feature map)权重大,无效或效果小的特征图权重小的方式训练模型达到更好的结果。
图3是压缩激发机制的原理图。如图3所示,在压缩激发机制中,首先进行spilt操作,将数据特征分为两个部分,再进行是Squeeze(压缩)操作,顺着空间维度来进行特征压缩,将每个二维的特征通道变成一个实数,这个实数某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布,而且使得靠近输入的层也可以获得全局的感受野,这一点在很多任务中都是非常有用的。其次是Excitation(激发)操作,它是一个类似于循环神经网络中门的机制。通过权重参数W来为每个特征通道生成权重,其中权重参数W被学习用来显式地建模特征通道间的相关性。最后是一个Reweight(加权)的操作,将Excitation的输出的权重看作是进过特征选择后的每个特征通道的重要性,然后通过乘法逐通道加权到先前的特征上,完成在通道维度上的对原始特征的重标定。
本发明将以上3种机制引入轻量级神经网络Resnet18中,针对IQ数据的特点,构建基于轻量级神经网络的调制识别模型来进行调制识别。图4是本发明基于轻量级神经网络的调制识别方法的具体实施方式流程图。如图4所示,本发明基于轻量级神经网络的调制识别方法的具体步骤包括:
S401:获取IQ调制数据集:
根据需要确定进行调制识别的调制类别,记其数量为N,对每个调制类别分别采集若干个预设长度L的IQ信号样本。由于IQ信号包括I、Q两路信号,即IQ信号为2×L的数据,为了适应调制识别模型的需要,本发明将每个IQ信号样本经维度转换得到大小为1×2×L的三维IQ信号样本,并标注其对应的调制类别标签。
S402:构建基于轻量级神经网络的调制识别模型:
图5是本发明中基于轻量级神经网络的调制识别模型的结构图。如图5所示,本发明中基于轻量级神经网络的调制识别模型包括自注意力模块和轻量级神经网络SK-Resnext18,自注意力模块用于对输入的IQ信号数据进行处理得到自注意力特征图,然后将自注意力特征图输入至轻量级神经网络SK-Resnext18进行调制识别。
本发明中的轻量级神经网络SK-Resnext18是基于Resnet18网络改进的,其整体结构与Resnet18网络大致相同。表1是图5中轻量级神经网络SK-Resnext18的结构表。
表1
如表1所示,本发明中轻量级神经网络SK-Resnext18包括级联的输入层(input),4个功能层(layer1-layer4)和输出层(output),每个功能层分别包括级联的2个瓶颈层:BottleNeck1和BottleNeck2。
输入层用于对接收的三维IQ信号样本进行降采样操作处理后进行输出。由于本发明中三维IQ信号样本的大小为1×2×L,为了适应其需要,本实施例中将输入层中每个卷积层核大小设置为3×2,以便在充分降采样的同时减小计算量。图6是本实施例中轻量级神经网络SK-Resnext18中输入层的结构图。如图6所示,本实施例中,轻量级神经网络SK-Resnext18中输入层包括级联的三个卷积单元和最大池化层(Max Pooling),其中每个卷积单元分别包括一个卷积层(Conv)、一个批量归一化层(Batch Normalization,BN)以及一个Relu激活函数层,卷积层用于对所接收到的数据进行卷积操作,第一个卷积单元中卷积层的卷积核个数为32,卷积核的尺寸为3×2,步长为2,第二个卷积单元中卷积层的卷积核个数为32,卷积核的尺寸为3×2,步长为1,第三个卷积单元中卷积层的卷积核个数为64,卷积核的尺寸为3×2,步长为1。批量归一化层用于对对应卷积层输出的特征进行批量归一化。Relu激活函数层用于对对应批量归一化层的处理结果采用Relu激活函数进行处理,将处理结果进行输出。最大池化层用于接收第三个卷积单元的Relu激活函数层处理结果并对其进行最大池化后将处理结果进行输出。
本发明中的瓶颈层BottleNeck1和瓶颈层BottleNeck2用于对Resnet18网络中的残差块进行替换。图7是本发明中瓶颈层BottleNeck1的结构图。如图7所示,本发明中瓶颈层BottleNeck1的结构包括两个分支和add层,其中第一分支包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1。
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1。
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3。
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1。
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate。
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1。
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate。
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为3×2,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2。
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至Add层。
瓶颈层BottleNeck1的第二分支包括平均池化层(Average Pooling)、第五卷积层Conv5和第三批量归一化层BN3,其中:
平均池化层用于对接收到的特征数据进行平均池化,将处理结果发送至第五卷积层Conv5。
第五卷积层Conv5的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从平均池化层接收到的特征数据进行卷积操作后发送至第三批量归一化层BN3。
第三批量归一化层BN3用于对从第五卷积层Conv5接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add。
叠加层Add用于将从第二批量归一化层BN2和第三批量归一化层BN3所接收到的特征数据叠加后作为瓶颈层BottleNeck1的特征数据进行输出。
图8是本发明中瓶颈层BottleNeck2的结构图。如图8所示,本发明中瓶颈层BottleNeck2包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2和叠加层Add,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1。
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1。
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3。
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1。
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate。
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1。
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate。
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2。
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add。
叠加层Add用于将输入瓶颈层BottleNeck2的特征数据和从第二批量归一化层BN2所接收到的特征数据叠加后作为瓶颈层BottleNeck2的特征数据进行输出。
根据以上描述可知,在瓶颈层BottleNeck1和瓶颈层BottleNeck2的中均采用了分组卷积机制,即在同一层中使用两个卷积核分支(Cardinal)提取网络特征,使得网络提取特征更为多样。通过将输入特征分成两个部分并使用相对独立的操作,实现并行处理,从而提高了运算速度,并且更好地保留了调制信号特征。
在瓶颈层BottleNeck1和瓶颈层BottleNeck2中都包含了枢纽层Cardinal,用于实现拆分注意力机制,本发明中的枢纽层Cardinal均采用统一结构。图9是本发明中枢纽层Cardinal的结构图。如图9所示,本发明中枢纽层Cardinal包括第一数据拆分层Split1、第二数据拆分层Split2、第一叠加层Add1、全局池化层、第一全连接层FC1、第二全连接层FC2、Softmax层、第一乘法层Mull1、第二乘法层Mull2、第二叠加层Add2,其中:
第一数据拆分层Split1用于对枢纽层Cardinal的输入数据进行拆分,得到两个子数据,这两个子数据叠加起来即为原始输入数据,将两个子数据分别发送至第一叠加层Add1和第一乘法层Mull1。
第二数据拆分层Split2用于对枢纽层Cardinal的输入数据进行拆分,得到两个子数据,同样地,这两个子数据叠加起来即为原始输入数据,将两个子数据分别发送至第一叠加层Add1和第二乘法层Mull2。
第一叠加层Add1用于将从第一数据拆分层Split1和第二数据拆分层Split2接收到的数据进行叠加,将叠加后的数据发送至全局池化层。
全局池化层用于对所接收到的数据进行全局池化,将处理结果发送至第一全连接层FC1。
第一全连接层FC1用于对从全局池化层所接收到的数据进行通道数目压缩,减少网络参数量,将处理结果发送到第二全连接层FC2。
第二全连接层FC2用于对从第一全连接层FC1所接收到的数据进行通道数目提升还原,将处理结果发送到Softmax层。通过第一全连接层FC1和第二全连接层FC2的非线性变化来获取特征值。
Softmax层用于对所接收到的特征数据进行处理,将处理结果分别发送至第一乘法层Mull1和第一乘法层Mull2。
第一乘法层Mull1用于对从第一数据拆分层Split1和Softmax层接收到的数据进行乘法操作,将处理结果发送至第二叠加层Add2。
第二乘法层Mull2用于对从第二数据拆分层Split2和Softmax层接收到的数据进行乘法操作,将处理结果发送至第二叠加层Add2。
第二叠加层Add2用于将从第一乘法层Mull1和第一乘法层Mull2接收到的数据进行叠加,将叠加后的数据作为枢纽层Cardinal的处理结果进行输出。
根据以上描述可知,在枢纽层Cardinal中通过两个拆分层将输入枢纽层Cardinal的数据分为两组进行特征运算,对两组特征求和,通过全局池化层得到与每一个分组相同维度的矢量,再由全连接层fc1和fc2实现权重系数的分配和分组权重计算从而保持了与原始输入特征层输入维度的相对应,为保证每一个分支特征层的权重独立分布,通过Softmax层对每一个分组的权重分别计算得到注意力数值,最后将原始输入与得到拆分后的组注意力特征进行点操作,即注意力赋值相加,从而实现了本发明中的拆分注意力机制。
S403:训练调制识别模型:
采用步骤S101中的三维IQ信号样本作为步骤S102中所构建的基于轻量级神经网络的调制识别模型的输入,对应的调制类别标签作为期望输出,对基于轻量级神经网络的调制识别模型进行训练,得到训练好的调制识别模型。
S404:调制识别:
对于需要进行调制识别的调制信号,采集预设长度L的IQ信号并进行维度转换得到大小为1×2×L的三维IQ信号,将该三维IQ信号输入步骤S103中训练好的调制识别模型中,得到调制识别结果。
为了更好地说明本发明的技术效果,采用一个具体实例对本发明进行实验验证。本发明中所采用的调制信号采用布拉德利大学的Timothy J O'Shea公开的调制信号数据集RML2016.10a,这个数据集分别包含162060个数据样本,包含数字调制和模拟调制方式共11个调制类别,分别是8种数字调制BPSK,8PSK,CPFSK,GFSK,PAM4,QAM16,QAM64,QPSK和3种模拟调制AM-DSB,AM-SSB,WBFM,这些数据在不同的SNR(-20dB到18dB,每次均匀间隔2dB,共20个等级)上的近似均为分布,两个数据集均借助GNU Radio这个开源的软件无线电平台产生这两个数据集都非常逼近于真实场景的数据,数据集产生时使用了真实的语音和文本信号,采用GNU Radio动态信道模型的分块电路模块,模拟了大量的信道中的其他影响因素,如中心频移、采样率偏差、多径、衰落、加性高斯白噪声等,将真实信号通过严格未知的信号模型后,再通过分片和矩形滑窗处理128个采样,对仿真产生的数据,随机挑选时间段进行采样,再将采样的结果保存到输出向量中。将2×128的IQ信号数据reshape成1×2×128,对应图像中的长宽维度。将整个数据集中的90%作为训练集,10%作为测试集。在训练过程中初始batch_size设置为256,训练次数设置为60次,学习率设置为0.01。
图10是本实施例中不同类别调制信号的时域示例图。如图10所示,不同类别调制信号之间存在着许多相似之处和差异,但是由于使用了脉冲整流信号,它们并非能被专业的观察人士立即鉴定出类别。
为了更好地说明本发明的技术效果,采用现有的基于常见神经网络模型的调制识别方法作为对比方法,和本发明进行参数量和识别率对比。
图11是本发明和基于CNN网络的调制识别方法的识别率对比图。图12是本发明和基于LSTM网络/双层LSTM网络的调制识别方法的识别率对比图。图13是本发明和基于三层BRNN网络/CCNN网络的调制识别方法的识别率对比图。根据图11至图13可知,本发明与其他对比方法相比,在低信噪比下有着更加优秀的识别率,整体网络模型识别率好,对多种调制信号识别效果好,在0dB时,识别效率达到了90%。同时,由于本发明中的SK-Resnext18网络为轻量级神经网络,拥有较少的参数量和更快的训练速度,在性能较差的设备上也有广泛的应用前景。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于轻量级神经网络的调制识别方法,其特征在于,包括以下步骤:
S1:根据需要确定进行调制识别的调制类别,记其数量为N,对每个调制类别分别采集若干个预设长度L的IQ信号样本,将每个IQ信号样本经维度转换得到大小为1×2×L的三维IQ信号样本,并标注其对应的调制类别标签;
S2:构建基于轻量级神经网络的调制识别模型,包括自注意力模块和轻量级神经网络SK-Resnext18,自注意力模块用于对输入的IQ信号数据进行处理得到自注意力特征图,然后将自注意力特征图输入至轻量级神经网络SK-Resnext18进行调制识别;
轻量级神经网络SK-Resnext18包括级联的输入层、4个功能层和输出层,每个功能层分别包括级联的2个瓶颈层:BottleNeck1和BottleNeck2,其中:
瓶颈层BottleNeck1的结构包括两个分支和add层,其中第一分支包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1;
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1;
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3;
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1;
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1;
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为3×2,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2;
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至Add层;
瓶颈层BottleNeck1的第二分支包括平均池化层Average Pooling、第五卷积层Conv5和第三批量归一化层BN3,其中:
平均池化层用于对接收到的特征数据进行平均池化,将处理结果发送至第五卷积层Conv5;
第五卷积层Conv5的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从平均池化层接收到的特征数据进行卷积操作后发送至第三批量归一化层BN3;
第三批量归一化层BN3用于对从第五卷积层Conv5接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add;
叠加层Add用于将从第二批量归一化层BN2和第三批量归一化层BN3所接收到的特征数据叠加后作为瓶颈层BottleNeck1的特征数据进行输出;
瓶颈层BottleNeck2包括第一卷积层Conv1、第一批量归一化层BN1、第一Relu激活函数层Relu1、第二卷积层Conv2、第一枢纽层Cardinal1、第三卷积层Conv3、第二枢纽层Cardinal2、拼接层Concatenate、第四卷积层Conv4、第二批量归一化层BN2和叠加层Add,其中:
第一卷积层Conv1的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对所接收到的特征数据进行卷积操作后发送至第一归一化层BN1;
第一批量归一化层BN1用于对从第一卷积层Conv1接收到的特征数据进行批量归一化,将处理结果发送至第一Relu激活函数层Relu1;
第一Relu激活函数层Relu1,用于对从第一批量归一化层BN1接收到的特征数据采用Relu激活函数进行处理,将处理结果发送至第二卷积层Conv2和第三卷积层Conv3;
第二卷积层Conv2的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第一枢纽层Cardinal1;
第一枢纽层Cardinal1用于对从第二卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
第三卷积层Conv3的卷积核个数为128,卷积核的尺寸为3×2,步长为1,用于对从第一Relu激活函数层Relu1接收到的特征数据进行卷积操作后发送第二枢纽层Cardinal1;
第二枢纽层Cardinal2用于对从第三卷积层Conv2接收到的特征数据采用拆分注意力机制进行处理,将处理结果发送至拼接层Concatenate;
拼接层Concatenate用于将从第一枢纽层Cardinal1和第二枢纽层Cardinal2接收到的特征数据进行通道数合并,将合并后的特征数据发送至第四卷积层Conv4;
第四卷积层Conv4的卷积核个数为64,卷积核的尺寸为1×1,步长为1,用于对从拼接层Concatenate接收到的特征数据进行卷积操作后发送第二批量归一化层BN2;
第二批量归一化层BN2用于对从第四卷积层Conv4接收到的特征数据进行批量归一化,将处理结果发送至叠加层Add;
叠加层Add用于将输入瓶颈层BottleNeck2的特征数据和从第二批量归一化层BN2所接收到的特征数据叠加后作为瓶颈层BottleNeck2的特征数据进行输出;
S3:采用步骤S1中的三维IQ信号样本作为步骤S2中所构建的基于轻量级神经网络的调制识别模型的输入,对应的调制类别标签作为期望输出,对基于轻量级神经网络的调制识别模型进行训练,得到训练好的调制识别模型;
S4:对于需要进行调制识别的调制信号,采集预设长度L的IQ信号并进行维度转换得到大小为1×2×L的三维IQ信号,将该三维IQ信号输入步骤S3中训练好的调制识别模型中,得到调制识别结果。
2.根据权利要求1所述的调制识别方法,其特征在于,所述步骤S2中输入层括级联的三个卷积单元和最大池化层,其中:
每个卷积单元分别包括一个卷积层、一个批量归一化层以及一个Relu激活函数层,卷积层用于对所接收到的数据进行卷积操作,第一个卷积单元中卷积层的卷积核个数为32,卷积核的尺寸为3×2,步长为2,第二个卷积单元中卷积层的卷积核个数为32,卷积核的尺寸为3×2,步长为1,第三个卷积单元中卷积层的卷积核个数为64,卷积核的尺寸为3×2,步长为1;批量归一化层用于对对应卷积层输出的特征进行批量归一化;Relu激活函数层用于对对应批量归一化层的处理结果采用Relu激活函数进行处理,将处理结果进行输出;
最大池化层用于接收第三个卷积单元的Relu激活函数层处理结果并对其进行最大池化后将处理结果进行输出。
3.根据权利要求1所述的调制识别方法,其特征在于,所述步骤步骤S2中枢纽层Cardinal包括第一数据拆分层Split1、第二数据拆分层Split2、第一叠加层Add1、全局池化层、第一全连接层FC1、第二全连接层FC2、Softmax层、第一乘法层Mull1、第二乘法层Mull2、第二叠加层Add2,其中:
第一数据拆分层Split1用于对枢纽层Cardinal的输入数据进行拆分,得到两个子数据,这两个子数据叠加起来即为原始输入数据,将两个子数据分别发送至第一叠加层Add1和第一乘法层Mull1;
第二数据拆分层Split2用于对枢纽层Cardinal的输入数据进行拆分,得到两个子数据,这两个子数据叠加起来即为原始输入数据,将两个子数据分别发送至第一叠加层Add1和第二乘法层Mull2;
第一叠加层Add1用于将从第一数据拆分层Split1和第二数据拆分层Split2接收到的数据进行叠加,将叠加后的数据发送至全局池化层;
全局池化层用于对所接收到的数据进行全局池化,将处理结果发送至第一全连接层FC1;
第一全连接层FC1用于对从全局池化层所接收到的数据进行通道数目压缩,将处理结果发送至第二全连接层FC2;
第二全连接层FC2用于对从第一全连接层FC1所接收到的数据进行通道数目提升还原,将处理结果发送至Softmax层;
Softmax层用于对所接收到的特征数据进行处理,将处理结果分别发送至第一乘法层Mull1和第一乘法层Mull2;
第一乘法层Mull1用于对从第一数据拆分层Split1和Softmax层接收到的数据进行乘法操作,将处理结果发送至第二叠加层Add2;
第二乘法层Mull2用于对从第二数据拆分层Split2和Softmax层接收到的数据进行乘法操作,将处理结果发送至第二叠加层Add2;
第二叠加层Add2用于将从第一乘法层Mull1和第一乘法层Mull2接收到的数据进行叠加,将叠加后的数据作为枢纽层Cardinal的处理结果进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271141.7A CN113114599B (zh) | 2021-03-12 | 2021-03-12 | 基于轻量级神经网络的调制识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271141.7A CN113114599B (zh) | 2021-03-12 | 2021-03-12 | 基于轻量级神经网络的调制识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113114599A CN113114599A (zh) | 2021-07-13 |
CN113114599B true CN113114599B (zh) | 2022-01-11 |
Family
ID=76711202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271141.7A Active CN113114599B (zh) | 2021-03-12 | 2021-03-12 | 基于轻量级神经网络的调制识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113114599B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3111759B1 (fr) * | 2020-06-19 | 2024-02-09 | St Microelectronics Sa | Procédé de réception de données dans une transmission radiofréquence |
CN113824453B (zh) | 2020-06-19 | 2022-09-09 | 意法半导体有限公司 | 用于在无线电频率传输中接收数据的设备和方法 |
CN113284146B (zh) * | 2021-07-23 | 2021-10-22 | 天津御锦人工智能医疗科技有限公司 | 结直肠息肉图像的识别方法、装置及存储介质 |
CN114550277A (zh) * | 2022-04-25 | 2022-05-27 | 中科南京智能技术研究院 | 一种轻量级人脸识别方法及系统 |
CN115277324B (zh) * | 2022-07-25 | 2023-11-10 | 电信科学技术第五研究所有限公司 | 基于卷积神经网络的fsk信号识别方法 |
CN116488974B (zh) * | 2023-03-20 | 2023-10-20 | 中国人民解放军战略支援部队航天工程大学 | 一种结合注意力机制的轻量化调制识别方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN112006654A (zh) * | 2020-07-16 | 2020-12-01 | 中国科学技术大学 | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 |
CN112132266A (zh) * | 2020-09-23 | 2020-12-25 | 中国人民解放军陆军工程大学 | 基于卷积循环网络的信号调制识别系统及调制识别方法 |
CN112270263A (zh) * | 2020-10-28 | 2021-01-26 | 电子科技大学 | 基于差分密度星座图的调制识别方法 |
CN112308133A (zh) * | 2020-10-29 | 2021-02-02 | 成都明杰科技有限公司 | 基于卷积神经网络的调制识别方法 |
CN112348165A (zh) * | 2020-09-25 | 2021-02-09 | 泰山学院 | 基于混合循环网络的水声通信信号分类识别方法及系统 |
-
2021
- 2021-03-12 CN CN202110271141.7A patent/CN113114599B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN112006654A (zh) * | 2020-07-16 | 2020-12-01 | 中国科学技术大学 | 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法 |
CN112132266A (zh) * | 2020-09-23 | 2020-12-25 | 中国人民解放军陆军工程大学 | 基于卷积循环网络的信号调制识别系统及调制识别方法 |
CN112348165A (zh) * | 2020-09-25 | 2021-02-09 | 泰山学院 | 基于混合循环网络的水声通信信号分类识别方法及系统 |
CN112270263A (zh) * | 2020-10-28 | 2021-01-26 | 电子科技大学 | 基于差分密度星座图的调制识别方法 |
CN112308133A (zh) * | 2020-10-29 | 2021-02-02 | 成都明杰科技有限公司 | 基于卷积神经网络的调制识别方法 |
Non-Patent Citations (2)
Title |
---|
Modulation Recognition Based on Lightweight Neural Networks;Wang Tongyue, Jin Yanhua;《2020 13th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20201125;全文 * |
Novel Automatic Modulation Classification for M-Qam Signals Using Adaptive Fuzzy Clustering Model;Guo-Yu Zhang,Xiao Yan,等;《 2018 15th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP)》;20190204;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113114599A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113114599B (zh) | 基于轻量级神经网络的调制识别方法 | |
Xu et al. | A spatiotemporal multi-channel learning framework for automatic modulation recognition | |
CN110855591B (zh) | 一种基于卷积神经网络结构的qam和psk信号类内调制分类方法 | |
CN110163282B (zh) | 基于深度学习的调制方式识别方法 | |
CN112702294B (zh) | 一种基于深度学习的多层次特征提取的调制识别方法 | |
CN110532932B (zh) | 一种多分量雷达信号脉内调制方式识别方法 | |
Lin et al. | Learning of time-frequency attention mechanism for automatic modulation recognition | |
CN107038421A (zh) | 基于稀疏堆栈自编码的调制样式识别方法 | |
CN113014524B (zh) | 一种基于深度学习的数字信号调制识别方法 | |
CN112347871B (zh) | 一种用于通信载波监视系统的干扰信号调制识别方法 | |
CN110336594A (zh) | 一种基于共轭梯度下降法的深度学习信号检测方法 | |
CN114422311B (zh) | 联合深度神经网络和专家先验特征的信号调制识别方法及系统 | |
CN113723556B (zh) | 基于熵加权-多模态域对抗神经网络的调制方式识别方法 | |
CN114896887B (zh) | 一种基于深度学习的用频设备射频指纹识别方法 | |
CN111431825B (zh) | 一种基于深度多流神经网络的信号自动分类识别方法 | |
CN110808932B (zh) | 基于多分布测试数据融合的多层感知器快速调制识别方法 | |
CN116628566A (zh) | 一种基于聚合残差变换网络的通信信号调制分类方法 | |
CN115982613A (zh) | 一种基于改进卷积神经网络的信号调制识别系统及方法 | |
CN114925720A (zh) | 基于时空混合特征提取网络的小样本调制信号识别方法 | |
CN115834310B (zh) | 一种基于LGTransformer的通信信号调制识别方法 | |
CN112565128A (zh) | 基于混合神经网络的无线电信号调制识别网络及实现方法 | |
CN115409056A (zh) | 一种面向大动态信噪比下的自动调制识别方法 | |
CN113343796B (zh) | 一种基于知识蒸馏的雷达信号调制方式识别方法 | |
Wang et al. | Automatic modulation classification based on CNN, LSTM and attention mechanism | |
CN115913849A (zh) | 基于一维复值残差网络的电磁信号辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |