CN111723666B - 一种基于半监督学习的信号识别方法和装置 - Google Patents
一种基于半监督学习的信号识别方法和装置 Download PDFInfo
- Publication number
- CN111723666B CN111723666B CN202010431907.9A CN202010431907A CN111723666B CN 111723666 B CN111723666 B CN 111723666B CN 202010431907 A CN202010431907 A CN 202010431907A CN 111723666 B CN111723666 B CN 111723666B
- Authority
- CN
- China
- Prior art keywords
- sample
- unlabeled
- loss value
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于半监督学习的信号识别方法和装置,包括以下步骤:步骤S1:创建神经网络模型,获取信号样本和待分类调制类别,有标签样本转至步骤S2,无标签样本转至步骤S3;步骤S2:有标签样本输入神经网络模型,计算中心损失值和交叉熵损失值;步骤S3:无标签样本与随机噪声结合获得无标签噪声副本,同时输入神经网络模型,计算两者之间的KL散度损失值;步骤S4:根据以上三种损失值生成总损失函数,对神经网络模型的参数进行优化直到收敛;步骤S5:输入带预测标签的信号样本至神经网络模型获取输出向量组,输出最大值的输出向量。与现有技术相比,本发明具有大幅度减少训练模型所需要的有标签样本数量、有效地提高信号识别的准确率等优点。
Description
技术领域
本发明涉及无线信号识别领域,尤其是涉及一种基于半监督学习的信号识别方法和装置。
背景技术
无线电波调制信号在实际生活中运用广泛,接收器通过对接收的无线电波调制信号进行识别、分类,解调出所含信号,无线信号传播无疑大大提高了信息传递的速率,但是无论是实际应用还是在理论研究,经常遇到数据采集困难、样本标注代价高等问题,导致有标签样本非常有限,不足以为每类信号提供充足的有标签数据,从而使训练得到的深度学习网络模型容易过拟合。而对于数量较多的无标签样本的使用率却较少,半监督学习可以有效利用无标签样本,以减少深度CNN模型中的过度拟合。
现有技术公开了一种基于卷积神经网络的古字体分类方法,基于分类任务的目标函数将中心损失函数与传统的交叉熵损失函数配合使用,增大类间距离并减小类内距离,在一定程度上提高了特征的分辨能力,但是进行训练的样本均为有标签样本,仍未有效利用无标签样本。
发明内容
本发明的目的就是为了克服上述现有技术存在的有标签样本有限导致深度学习网络模型容易过拟合、无标签样本的使用率不足的缺陷而提供一种基于半监督学习的信号识别方法和装置。
本发明的目的可以通过以下技术方案来实现:
一种基于半监督学习的信号识别方法,对无线电波调制信号进行识别,具体包括以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,获取信号样本和待分类调制类别,判断所述信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:所述有标签样本输入神经网络模型进行训练,所述神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:所述无标签样本与随机噪声结合获得无标签噪声副本,所述无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据所述中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据所述总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取所述带预测标签的信号样本的输出向量组,以所述输出向量组中最大值的输出向量作为预测结果进行输出。
所述特征提取层包括最大池化层和卷积层,所述卷积层的数量为3层。
所述语义层包括一层全连接层。
所述分类层包括一层全连接层。
所述中心损失值的计算公式如下所示:
进一步地,所述步骤S2中计算出标签样本的中心损失值后,待分类调制类别通过梯度下降进行更新,具体更新方式为:
其中,δ为指示函数,当所述指示函数内的测试条件为真时,指示函数的函数值为1,否则为0。
所述交叉熵损失值的计算公式如下所示:
其中,Lce为交叉熵损失值,xj为有标签样本,F(xj)为有标签样本的输出向量。
所述KL散度损失值的计算公式如下所示:
其中,Lkl为KL散度损失值,xi为无标签样本,xi′为无标签噪声副本,F(xi)为无标签样本的输出向量,F(xi′)为无标签噪声副本的输出向量,s为无标签样本的数量。
所述总损失函数具体如下:
L=Lce+λctLct+λklLkl
其中,L为样本总损失,λct和λkl为中心损失值和KL散度损失值所占权重的超参数。
所述步骤S4中神经网络模型的参数优化方法包括反向传播和梯度下降算法。
一种使用所述基于半监督学习的信号识别方法的装置,包括存储器和处理器,所述方法以计算机程序的形式存储于存储器中,由处理器执行,执行时实现以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,获取信号样本和待分类调制类别,判断所述信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:所述有标签样本输入神经网络模型进行训练,所述神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:所述无标签样本与随机噪声结合获得无标签噪声副本,所述无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据所述中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据所述总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取所述带预测标签的信号样本的输出向量组,以所述输出向量组中最大值的输出向量作为预测结果进行输出。
与现有技术相比,本发明对有标签样本和无标签样本进行训练,结合中心损失值、交叉熵损失值和KL散度损失值生产总损失函数,然后进行反向传递来更新神经网络模型的参数,能够大幅度减少训练模型所需要的有标签样本数量,在无线电波调制信号的有标签样本不足的情况下具有较好的性能,并且在实际场景下具有较好的鲁棒性,能有效地提高信号识别的准确率。
附图说明
图1为本发明的结构示意图;
图2为本发明的流程示意图;
图3为本发明语义层的t-SNE降维可视化效果图;
图4为本发明准确率、交叉熵损失、中心损失和KL散度损失与训练次数的关系图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图2所示,一种基于半监督学习的信号识别方法,大幅度减少训练模型所需要的有标签样本数量,在无线电波调制信号识别存在有标签样本不足的情况下仍具有较好的性能,具体包括以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,如图1所示,获取信号样本和待分类调制类别,判断信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:有标签样本输入神经网络模型进行训练,神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:无标签样本与随机噪声结合获得无标签噪声副本,无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取带预测标签的信号样本的输出向量组,以输出向量组中最大值的输出向量作为预测结果进行输出。
特征提取层包括最大池化层和卷积层,卷积层的数量为3层。
语义层包括一层全连接层,分类层包括一层全连接层。
中心损失值的计算公式如下所示:
步骤S2中计算出标签样本的中心损失值后,待分类调制类别通过梯度下降进行更新,具体更新方式为:
其中,δ为指示函数,当指示函数内的测试条件为真时,指示函数的函数值为1,否则为0。
交叉熵损失值的计算公式如下所示:
其中,Lce为交叉熵损失值,xj为有标签样本,F(xj)为有标签样本的输出向量。
KL散度损失值的计算公式如下所示:
其中,Lkl为KL散度损失值,xi为无标签样本,xi′为无标签噪声副本,F(xi)为无标签样本的输出向量,F(xi′)为无标签噪声副本的输出向量,s为无标签样本的数量。
总损失函数具体如下:
L=Lce+λctLct+λklLkl
其中,L为样本总损失,λct和λkl为中心损失值和KL散度损失值所占权重的超参数。
步骤S4中神经网络模型的参数优化方法包括反向传播和梯度下降算法。
一种使用基于半监督学习的信号识别方法的装置,包括存储器和处理器,方法以计算机程序的形式存储于存储器中,由处理器执行,执行时实现以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,获取信号样本和待分类调制类别,判断信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:有标签样本输入神经网络模型进行训练,神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:无标签样本与随机噪声结合获得无标签噪声副本,无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取带预测标签的信号样本的输出向量组,以输出向量组中最大值的输出向量作为预测结果进行输出。
如图3所示,语义层使用t-SNE降维可视化后,在不同的类别有了明显的区分,可以较好的辨别不同的类别,对有标签样本进行更好地分类。
如图4所示,神经网络模型根据总损失函数训练更新的过程中,准确率、交叉熵损失、中心损失和KL散度损失之间成反相关,随着交叉熵损失、中心损失和KL散度损失的下降,模型信号识别的准确率逐步提升,说明了三种损失函数都是有作用的,且能够提高信号识别的准确率。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (7)
1.一种基于半监督学习的信号识别方法,其特征在于,具体包括以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,获取信号样本和待分类调制类别,判断所述信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:所述有标签样本输入神经网络模型进行训练,所述神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:所述无标签样本与随机噪声结合获得无标签噪声副本,所述无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据所述中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据所述总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取所述带预测标签的信号样本的输出向量组,以所述输出向量组中最大值的输出向量作为预测结果进行输出;
所述中心损失值的计算公式如下所示:
所述步骤S2中计算出标签样本的中心损失值后,待分类调制类别通过梯度下降进行更新,具体更新方式为:
其中,δ为指示函数;
所述交叉熵损失值的计算公式如下所示:
其中,Lce为交叉熵损失值,xj为有标签样本,F(xj)为有标签样本的输出向量。
2.根据权利要求1所述的一种基于半监督学习的信号识别方法,其特征在于,所述特征提取层包括最大池化层和卷积层,所述卷积层的数量为3层。
3.根据权利要求1所述的一种基于半监督学习的信号识别方法,其特征在于,所述语义层包括一层全连接层。
4.根据权利要求1所述的一种基于半监督学习的信号识别方法,其特征在于,所述分类层包括一层全连接层。
6.根据权利要求1所述的一种基于半监督学习的信号识别方法,其特征在于,所述总损失函数具体如下:
L=Lce+λctLct+λklLkl
其中,L为样本总损失,λct和λkl为中心损失值和KL散度损失值所占权重的超参数。
7.一种使用权利要求1-6任一所述的基于半监督学习的信号识别方法的装置,其特征在于,包括存储器和处理器,所述方法以计算机程序的形式存储于存储器中,由处理器执行,执行时实现以下步骤:
步骤S1:创建包括特征提取层、语义层和分类层的神经网络模型,获取信号样本和待分类调制类别,判断所述信号样本的类型,若为有标签样本则转至步骤S2,若为无标签样本则转至步骤S3;
步骤S2:所述有标签样本输入神经网络模型进行训练,所述神经网络模型提取特征后在语义层根据有标签样本的语义向量计算有标签样本的中心损失值,并在分类层根据有标签样本的输出向量计算有标签样本的交叉熵损失值;
步骤S3:所述无标签样本与随机噪声结合获得无标签噪声副本,所述无标签样本和无标签噪声副本同时输入神经网络模型进行训练,在分类层根据无标签样本和无标签噪声副本的输出向量计算无标签样本和无标签噪声副本之间的KL散度损失值;
步骤S4:根据所述中心损失值、交叉熵损失值和KL散度损失值生成总损失函数,根据所述总损失函数对神经网络模型的参数进行优化,直到中心损失值、交叉熵损失值和KL散度损失值收敛;
步骤S5:输入带预测标签的信号样本至步骤S4中完成优化的神经网络模型,在分类层获取所述带预测标签的信号样本的输出向量组,以所述输出向量组中最大值的输出向量作为预测结果进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431907.9A CN111723666B (zh) | 2020-05-20 | 2020-05-20 | 一种基于半监督学习的信号识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431907.9A CN111723666B (zh) | 2020-05-20 | 2020-05-20 | 一种基于半监督学习的信号识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723666A CN111723666A (zh) | 2020-09-29 |
CN111723666B true CN111723666B (zh) | 2022-11-18 |
Family
ID=72564723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010431907.9A Active CN111723666B (zh) | 2020-05-20 | 2020-05-20 | 一种基于半监督学习的信号识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723666B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112836802A (zh) * | 2021-02-03 | 2021-05-25 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种半监督学习方法、岩性预测方法及存储介质 |
CN113285762B (zh) * | 2021-02-25 | 2022-08-05 | 广西师范大学 | 一种基于相对熵计算的调制格式识别方法 |
CN114529191A (zh) * | 2022-02-16 | 2022-05-24 | 支付宝(杭州)信息技术有限公司 | 用于风险识别的方法和装置 |
CN115018852B (zh) * | 2022-08-10 | 2022-12-06 | 四川大学 | 一种基于半监督学习的腹部淋巴结检测方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647916A (zh) * | 2019-08-23 | 2020-01-03 | 苏宁云计算有限公司 | 基于卷积神经网络的色情图片识别方法及装置 |
-
2020
- 2020-05-20 CN CN202010431907.9A patent/CN111723666B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647916A (zh) * | 2019-08-23 | 2020-01-03 | 苏宁云计算有限公司 | 基于卷积神经网络的色情图片识别方法及装置 |
Non-Patent Citations (3)
Title |
---|
"Semisupervised Center Loss for Remote Sensing Image Scene Classification";Jun Zhang et al.;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20200316;第1362-1373页 * |
"基于熵与散度的半监督聚类算法研究";向思源;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20200215(第02期);第19,27页 * |
"基于自适应排序函数和深度特征学习的行人搜索算法研究";张莹;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20200115(第01期);第28,47-48,73-74,77-78,85页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111723666A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723666B (zh) | 一种基于半监督学习的信号识别方法和装置 | |
CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
CN110532932B (zh) | 一种多分量雷达信号脉内调制方式识别方法 | |
CN111340046A (zh) | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 | |
CN111461025B (zh) | 一种自主进化的零样本学习的信号识别方法 | |
CN110596506A (zh) | 基于时间卷积网络的变换器故障诊断方法 | |
CN109034370A (zh) | 一种基于特征映射剪枝的卷积神经网络精简方法 | |
CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
CN112767423B (zh) | 一种基于改进SegNet的遥感图像建筑物分割方法 | |
CN113780106A (zh) | 一种基于无线电波形数据输入的深度学习信号检测方法 | |
CN108596204B (zh) | 一种基于改进型scdae的半监督调制方式分类模型的方法 | |
CN114742211B (zh) | 一种面向微控制器的卷积神经网络部署和优化方法 | |
CN112749663A (zh) | 基于物联网和ccnn模型的农业果实成熟度检测系统 | |
CN111239137B (zh) | 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法 | |
CN116310718A (zh) | 一种基于YOLOv5模型的害虫目标检测方法、系统及设备 | |
CN117056865B (zh) | 一种基于特征融合的机泵设备运行故障诊断方法及装置 | |
CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
CN113449654A (zh) | 一种基于深度模型和量化技术的智慧食堂食物检测方法 | |
CN115935154A (zh) | 基于稀疏表示与近端算法的射频信号特征遴选与识别方法 | |
CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
CN109949827A (zh) | 一种基于深度学习与强化学习的室内声学行为识别方法 | |
CN110569917A (zh) | 基于深度学习图像识别的套筒灌浆密实度判别方法 | |
CN114691918B (zh) | 基于人工智能的雷达图像检索方法、装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |