CN114936625B - 一种基于神经网络架构搜索的水声通信调制方式识别方法 - Google Patents

一种基于神经网络架构搜索的水声通信调制方式识别方法 Download PDF

Info

Publication number
CN114936625B
CN114936625B CN202210434130.0A CN202210434130A CN114936625B CN 114936625 B CN114936625 B CN 114936625B CN 202210434130 A CN202210434130 A CN 202210434130A CN 114936625 B CN114936625 B CN 114936625B
Authority
CN
China
Prior art keywords
convolution
underwater
searching
search
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210434130.0A
Other languages
English (en)
Other versions
CN114936625A (zh
Inventor
姜喆
王天星
申晓红
王海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210434130.0A priority Critical patent/CN114936625B/zh
Publication of CN114936625A publication Critical patent/CN114936625A/zh
Application granted granted Critical
Publication of CN114936625B publication Critical patent/CN114936625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种基于神经网络架构搜索的水声通信调制方式识别方法，针对基于深度学习的水声通信调制方式识别方法人工调参耗时繁琐、模型不匹配、低信噪比下性能不足等问题，通过神经网络架构搜索方法在数据集上自动搜索匹配水声通信调制方式识别任务数据分布的模型架构，对搜索出的模型架构进行训练，利用训练完成的识别模型完成对水声通信信号的调制方式识别。本发明提升了低信噪比下的识别性能，而且省去了繁琐的人工设计调整网络架构的工作。

Description

一种基于神经网络架构搜索的水声通信调制方式识别方法
技术领域
本发明属于信息信号处理领域，涉及神经网络架构搜索、水下信号处理、水声通信调制方式识别等理论。
背景技术
水声通信信号的调制方式识别是水下信息对抗中的关键环节，可以被用到威胁识别、敌方情报信息拦截和信息对抗干扰策略等方面，对争夺战争的主动权至关重要。由于海洋环境的复杂多变及海洋环境噪声的非平稳性等原因，水声通信调制方式识别相对于陆上的通信调制方式识别任务具有更高的难度。此外，由于无法获取到非合作水声通信信号的先验信息，只能对接收到的信号直接进行分析，且非合作信号的信噪比通常较低，这些都给水声通信信号的调制方式识别带来了极大的困难。
近年来，研究者们逐渐将传统机器学习方法和深度学习方法应用到水声通信调制方式识别的领域中来。基于传统机器学习的方法首先是根据识别需求提取相应的信号特征，然后设计分类器进行分类。这类方法的识别效果很大程度上取决于人工提取的特征，在处理一些简单的情况下是有效的，但是对于一些复杂的情况，其模型匹配效果会大大削弱。基于深度学习的方法不再利用人工经验来设计特征提取方法，而是通过深度的神经网络模型，从数据中逐层学习最本质的特征，利用深度网络强大的非线性能力挖掘数据模型的潜在结构，提高分类模型的准确度和泛化能力。但是，目前基于深度学习的识别方法需要通过人工来设计和调整神经网络架构，而且所用的模型架构往往自图像或语音领域迁移而来，与水声通信信号的数据分布形式并不匹配。此外，目前的识别方法在低信噪比的情况下识别性能依旧不佳。
发明内容
为了克服现有技术基于深度学习的水声通信调制方式识别方法人工调参耗时繁琐、模型不匹配、低信噪比下性能不足等问题，本发明提供一种基于神经网络架构搜索的水声通信调制方式识别方法，通过神经网络架构搜索方法在数据集上自动搜索匹配水声通信调制方式识别任务数据分布的模型架构，对搜索出的模型架构进行训练，利用训练完成的识别模型完成对水声通信信号的调制方式识别。
本发明解决其技术问题所采用的技术方案包括以下步骤：
第一步，仿真接收水声通信信号；
第二步，利用短时傅里叶变换从仿真水声通信信号样本中提取时频图特征；采用时频图矩阵的方式保存时频图特征作为数据集样本；在模型训练和测试阶段，按照设定的划分比例将数据集划分成训练集和测试集；在架构搜索阶段，按照设定的划分比例把训练集划分为小型的训练集和验证集；
第三步，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构；
第四步，在搜索单元架构的过程中改进模型的基础架构，即在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作，对前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量；
第五步，在数据集上搜索并训练调制方式识别模型；在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构；然后在模型的训练和测试阶段，采用第四步改进的基础架构构建识别模型；最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。
所述的第一步对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)表示为式中，s(t)为发送的调制信号，h(t)为水声多径信道冲激响应，n(t)为水下冲击噪声；
所述的水声多径信道冲激响应式中，δ(t)为冲激函数，Nd为到达接收端的声线总条数，Ai为第i条声线幅度，τi为第i(i≠1)条声线相对于第1条声线的传输时延；
基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数表示为式中，
其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数，θ表示随机变量，采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系，其中，/>代表信号方差，γ是标准分布噪声的尺度参数。
所述搜索空间中的候选操作包括以下内容：
(1)在搜索空间中采用步长为2的卷积层代替池化层进行降维操作；
(2)搜索空间中的卷积层采用深度可分离卷积的形式；
(3)采用空洞卷积来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力；
(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸、跳跃连接和零操作作为候选操作。
所述搜索空间中选定的候选操作为：零操作、跳跃连接、1×1的标准卷积、3×3的深度可分离卷积、5×5的深度可分离卷积、3×3的空洞可分离卷积、5×5的空洞可分离卷积、3×3的倒置残差卷积模块和5×5的倒置残差卷积模块。
本发明的有益效果是：通过神经网络架构搜索方法在水声通信调制方式识别任务数据集上自动搜索出与该任务匹配的识别模型架构，提升了低信噪比下的识别性能，而且省去了繁琐的人工设计调整网络架构的工作。
为验证本文所提出神经网络架构搜索方法的性能，对比了另外七种不同的模型，包括AlexNet、GoogLeNet、ResNet三种手工设计的经典网络架构，轻量化模型中的MobileNetV2、MobileNetV3和DARTS算法的改进版本PC-DARTS以及EfficientNet。仿真实验结果表明，本发明提出的方法在识别性能方面跟其他模型相比有着明显的优势，由此验证了本发明的有效性。
附图说明
图1是本发明的识别方法流程图；
图2是仿真水声多径信道的归一化冲激响应示意图；
图3是Alpha稳定分布的特征指数为1.6，联合信噪比GSNR＝5dB时，LFM、2FSK、4FSK、BPSK、QPSK、DSSS和OFDM七种仿真的接收信号时频图；
图4是以单元数N＝8为例的基础架构示意图，其中，(a)是DARTS基础架构，(b)是改进的基础架构(PS-DARTS)，其中C代表初始通道数，为可调超参，Sepconv为深度可分离卷积，MIRConv为倒置残差模块，Normal cell代表正常单元，Reduce cell代表降维单元；
图5是实施例的神经网络架构搜索流程图；
图6是实施例搜索到的最优单元示意图，其中，(a)是正常单元，(b)是降维单元；
图7是实施例的仿真实验结果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明包括以下步骤：
第一步：仿真接收水声通信信号
首先对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)表示为：
式中，s(t)为发送的调制信号，代表卷积运算，h(t)为水声多径信道冲激响应，n(t)为水下冲击噪声。
由于声波是满足叠加定理的微振幅波，故水声多径信道也可以看作是线性的，即能够表征为线性时不变滤波器。因此，基于声射线理论的水声多径信道模型可表示为：
式中，δ(t)为冲激函数，Nd为到达接收端的声线总条数，Ai为第i条声线幅度，τi为第i(i≠1)条声线相对于第1条声线的传输时延。
基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数表示为：
式中，
其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数，θ表示随机变量。因为冲击噪声的二阶统计量是趋于无穷的，所以无法计算其方差，在这里采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系：
其中，代表信号(指的是过多径信道的信号)的方差，γ是标准分布噪声的尺度参数。
第二步：提取时频图特征及构建数据集
利用短时傅里叶变换从仿真水声通信信号样本中提取时频图特征，离散化的短时傅里叶变换表示为：
式中，g(n)为离散窗函数，STFT(n,ω)为离散傅里叶变换的时频矩阵。
采用时频图矩阵的方式保存时频图特征作为数据集样本。在模型训练和测试阶段，按照设定的划分比例将数据集划分成训练集和测试集。在架构搜索阶段，因需评估网络架构的性能，为了防止识别模型在测试集上出现过拟合的情况，按照设定的划分比例把训练集划分为小型的训练集和验证集，在验证集上进行网络架构的评估工作。
第三步：定义搜索空间
神经网络架构搜索方法首先需要定义一个搜索空间，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构。
为了搜索出适合水声通信调制方式识别任务的网络架构，同时兼顾受限的计算资源、搜索效率和所搜索到的模型性能，就需要设计出一个合理的搜索空间。搜索空间不可能无限大，也不能太小限制网络架构的潜力，所以需要对搜索空间中的候选操作有所选择：
(1)加入池化层的模型鲁棒性较差，而且大幅增加了训练耗时，模型的收敛速度也比较慢，在搜索空间中主要考虑采用步长为2的卷积层代替池化层进行降维操作。
(2)水声通信调制方式识别任务采用高参数量的模型训练很容易出现过拟合的现象，为了能够搜索出更深层的模型架构，搜索空间中的卷积层主要采用深度可分离卷积的形式。
(3)采用空洞卷积来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力。
(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸、跳跃连接和零操作作为候选操作。
第四步：改进模型的基础架构
在搜索单元架构的过程中，训练结束后，每个节点都会挑选出前继节点中可能性最大的两个作为连接对象，两个节点之间最多保留一条连接边，所以在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作。基础架构指的就是前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式。
对于图像的分类识别来说，由于图像数据有较多的信息冗余，前置卷积模块快速降维有助于减小计算量和模型参数量。然而，这种架构对于本任务的数据来说，前置卷积模块的大量连续降维会导致丢失很多的细节信息，后面堆叠的单元架构获得的特征信息量随之减小，造成模型最终的性能不佳。因此，对基础架构进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量。
第五步：在数据集上搜索并训练调制方式识别模型
在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构。然后在模型的训练和测试阶段，采用第四步改进的基础架构构建识别模型。最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。
如图1所示，本发明的实施例包括以下步骤：
第一步：仿真接收水声通信信号
通过Matlab对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)可表示为：
式中，s(t)为发送的调制信号，代表卷积运算，h(t)为水声多径信道冲激响应，n(t)为水下冲击噪声。
由于声波是满足叠加定理的微振幅波，故水声多径信道也可以看作是线性的，即可表征为线性时不变滤波器。因此，基于声射线理论的水声多径信道模型可表示为：
式中，δ(t)为冲激函数，Nd为到达接收端的声线总条数，Ai为第i条声线幅度，τi为第i(i≠1)条声线相对于第1条声线的传输时延。利用BELLHOP软件仿真生成水声多径信道的冲激响应，BELLHOP模型考虑了造成信号传播损失的主要因素，可以输出声信号的传播损失、传播时间以及本征声线等信息，也可由此计算信道的多径时延、冲激响应等。多径信道仿真的环境参数配置如表1所示，仿真水声多径信道的归一化冲激响应如图2所示。
表1BELLHOP环境参数配置
基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数可表示为：
式中，
其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数。当γ＝1,β＝0,μ＝0时，Alpha稳定分布为标准SαS分布。由于只有α决定噪声的冲击强度，为简化模型，采用标准SαS分布仿真水下冲击噪声。因为冲击噪声的二阶统计量是趋于无穷的，所以无法计算其方差，在这里采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系：
其中，代表信号的方差，γ是标准分布噪声的尺度参数。
第二步：提取时频图特征及构建数据集
时频图特征表示的是信号时域和频域的联合分布信息，它将一维信号很好地映射到了时间和频率的二维平面上，清楚的描述了信号各个频率成分随时间变化的关系，更好地展现出了信号在时域和频域的宏观变换规律。采用短时傅里叶变换(STFT)来提取信号的时频图特征作为神经网络的输入，离散化的短时傅里叶变换表示为：
式中，g(n)为离散窗函数，STFT(n,ω)为离散傅里叶变换的时频矩阵。
采用时频图矩阵的方式保存特征作为数据集样本。对每种调制信号提取得到了4568个样本，组成了共计31976个样本的数据集，然后以7：3的比例划分成训练集和测试集，即训练集22400个样本数据，测试集9576个样本数据。因为在架构搜索阶段需评估网络架构的性能，为了防止识别模型在测试集上出现过拟合的情况，以7：3的比例把训练集划分为小型的训练集和验证集，在验证集上进行网络架构的评估工作。在模型训练阶段，再把小型的训练集和验证集合为训练集，最终以测试集上的表现来衡量模型性能。
第三步：定义搜索空间
神经网络架构搜索方法可分为3个部分：搜索空间、搜索策略和网络性能评估策略。搜索流程如图5所示，首先定义一个搜索空间，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构。
搜索空间决定了架构搜索方法的搜索范围，为了搜索出适合水声通信调制方式识别任务的网络架构，同时兼顾受限的计算资源、搜索效率和所搜索到的模型性能，就需要设计出一个合理的搜索空间。搜索空间不可能无限大，也不能太小限制网络架构的潜力，所以需要对搜索空间中的候选操作有所选择：
(1)池化层通常设置在卷积层之后，可以有效地降低下一层待处理的数据量，起到降低特征维度的作用，然而加入池化层的模型鲁棒性较差，而且大幅增加了训练耗时，模型的收敛速度也比较慢，所以在搜索空间中主要考虑采用步长为2的卷积层代替池化层进行降维操作。
(2)在参数量相同的前提下，采用深度可分离卷积的神经网络层数可以做的更深，而水声通信调制方式识别任务采用高参数量的模型训练很容易出现过拟合的现象，所以为了能够搜索出更深层的模型架构，搜索空间中的卷积层主要采用深度可分离卷积的形式。
(3)采用空洞卷积在网络参数量不变的前提下来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力。
(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸来综合不同尺寸卷积核的优点，提取多尺度的信息；采用跳跃连接防止神经网络较深时出现梯度消失的问题，同时有利于梯度的反向传播，加快训练过程；采用零操作来表示两个节点之间缺少连接的一种特殊操作，它把学习单元的任务减少为了学习其边上的操作。
最终搜索空间中选定的候选操作为：零操作(none)、跳跃连接(skip_connect)、1×1的标准卷积(conv_1x1)、3×3的深度可分离卷积(sep_conv_3x3)、5×5的深度可分离卷积(sep_conv_5x5)、3×3的空洞可分离卷积(dil_conv_3x3)、5×5的空洞可分离卷积(dil_conv_5x5)、3×3的倒置残差卷积模块(mir_conv_3x3)和5×5的倒置残差卷积模块(mir_conv_5x5)。
第四步：改进模型的基础架构
在搜索单元架构的过程中，训练结束后，每个节点都会挑选出前继节点中可能性最大的两个作为连接对象，两个节点之间最多保留一条连接边，所以在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作。基础架构指的就是前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式。对于输入张量尺寸为224×224时，DARTS算法中第一个前置卷积模块Stem0由两层步长为2的标准卷积组成，第二个前置卷积Stem1是一层步长为2的标准卷积，中间则是堆叠了N层的正常单元和降维单元，在N/3和2N/3处为降维单元，其余皆为正常单元，模型最后连接的是一个全局平均池化层和一个全连接层。
对于图像的分类识别来说，由于图像数据有较多的信息冗余，前置卷积模块快速降维有助于减小计算量和模型参数量。然而，这种架构对于本任务的数据来说，前置卷积模块的大量连续降维会导致丢失很多的细节信息，后面堆叠的单元架构获得的特征信息量随之减小，造成模型最终的性能不佳。因此，对基础架构进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量。以N＝8为例，DARTS基础架构和改进的基础架构(PS-DARTS)如图4所示。
第五步：在数据集上搜索并训练调制方式识别模型
在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构，搜索到的两种最优单元如图6所示。然后在模型的训练和测试阶段，采用第四步改进的PS-DARTS基础架构构建识别模型。最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。
为验证所提出神经网络架构搜索方法的性能，对比了另外七种不同的模型，其中，AlexNet去掉了池化层并加入了批量归一化层；因原始的DARTS算法对显存的需求太高，在本实验环境下批处理尺寸只能设置为1，模型很难收敛，所以这里采用其改进版本PC-DARTS；EfficientNet是由神经网络架构搜索方法在图像处理领域搜索得到的一种模型架构，近两年来于多个图像任务中获得了SOTA的性能，本次实验所用的是EfficientNet-B0版本，仿真实验结果如图7所示。从实验结果中可以看出本发明提出的PS-DARTS算法在性能方面跟其他模型相比有着明显的优势，由此验证了所提出方法的有效性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于神经网络架构搜索的水声通信调制方式识别方法，其特征在于，包括以下步骤：
第一步，仿真接收水声通信信号；
第二步，利用短时傅里叶变换从仿真水声通信信号样本中提取时频图特征；采用时频图矩阵的方式保存时频图特征作为数据集样本；在模型训练和测试阶段，按照设定的划分比例将数据集划分成训练集和测试集；在架构搜索阶段，按照设定的划分比例把训练集划分为小型的训练集和验证集；
第三步，利用搜索策略从搜索空间中选取候选的网络架构，然后采用网络性能评估策略对该架构进行评估，评估的结果反馈给搜索策略，不断地重复搜索和评估操作，直到寻找到一个最优的神经网络架构；
第四步，在搜索单元架构的过程中改进模型的基础架构，即在第一个单元架构前会设计两个前置卷积模块作为前继节点来完成架构搜索工作，对前置卷积模块的类型和搜索到的正常单元与降维单元的组合方式进行改进，替换前置卷积模块的类型，降低降维层的数量，增加降维单元的数量；
第五步，在数据集上搜索并训练调制方式识别模型；在搜索阶段，通过基于梯度的搜索策略从第三步定义的搜索空间中采样出单元架构，再采用One-Shot的评估方法在小型训练集上单次训练并在验证集上进行性能评估，根据评估结果更新搜索策略，用于重新采样更优的单元架构，以此循环多次，直至找到最优的单元架构；然后在模型的训练和测试阶段，采用第四步改进的基础架构构建识别模型；最后，合并小型训练集和验证集为训练集，对识别模型进行训练，以测试集上的测试结果为指标挑选出最优的识别模型用于水声通信调制方式识别任务。
2.根据权利要求1所述的基于神经网络架构搜索的水声通信调制方式识别方法，其特征在于，所述的第一步对水声多径信道和水下冲击噪声进行仿真，接收机接收到的水声通信信号y(t)表示为式中，s(t)为发送的调制信号，h(t)为水声多径信道冲激响应，n(t)为水下冲击噪声；
所述的水声多径信道冲激响应式中，δ(t)为冲激函数，Nd为到达接收端的声线总条数，Ai为第i条声线幅度，τi为第i(i≠1)条声线相对于第1条声线的传输时延；
基于Alpha稳定分布对水下冲击噪声进行仿真，服从该分布的随机变量特征函数表示为式中，
其中，α∈(0,2]为特征指数，β∈[-1,1]为对称参数，γ＞0为尺度参数，μ∈(-∞,+∞)为位置参数，θ表示随机变量，采用定义联合信噪比来衡量信号强度和水下冲击噪声强度的相互关系，其中，/>代表信号方差，γ是标准分布噪声的尺度参数。
3.根据权利要求1所述的基于神经网络架构搜索的水声通信调制方式识别方法，其特征在于，所述搜索空间中的候选操作包括以下内容：
(1)在搜索空间中采用步长为2的卷积层代替池化层进行降维操作；
(2)搜索空间中的卷积层采用深度可分离卷积的形式；
(3)采用空洞卷积来增大感受野和在搜索空间中加入倒置残差模块来提升架构搜索方法所得到模型架构的潜力；
(4)搜索空间中采用1×1、3×3和5×5三种尺度的卷积核尺寸、跳跃连接和零操作作为候选操作。
4.根据权利要求1所述的基于神经网络架构搜索的水声通信调制方式识别方法，其特征在于，所述搜索空间中选定的候选操作为：零操作、跳跃连接、1×1的标准卷积、3×3的深度可分离卷积、5×5的深度可分离卷积、3×3的空洞可分离卷积、5×5的空洞可分离卷积、3×3的倒置残差卷积模块和5×5的倒置残差卷积模块。
CN202210434130.0A 2022-04-24 2022-04-24 一种基于神经网络架构搜索的水声通信调制方式识别方法 Active CN114936625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210434130.0A CN114936625B (zh) 2022-04-24 2022-04-24 一种基于神经网络架构搜索的水声通信调制方式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210434130.0A CN114936625B (zh) 2022-04-24 2022-04-24 一种基于神经网络架构搜索的水声通信调制方式识别方法

Publications (2)

Publication Number Publication Date
CN114936625A CN114936625A (zh) 2022-08-23
CN114936625B true CN114936625B (zh) 2024-03-19

Family

ID=82862842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210434130.0A Active CN114936625B (zh) 2022-04-24 2022-04-24 一种基于神经网络架构搜索的水声通信调制方式识别方法

Country Status (1)

Country Link
CN (1) CN114936625B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814966A (zh) * 2020-08-24 2020-10-23 国网浙江省电力有限公司 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
CN112487933A (zh) * 2020-11-25 2021-03-12 中国人民解放军海军工程大学 一种基于自动化深度学习的雷达波形识别方法及系统
WO2021151318A1 (zh) * 2020-07-31 2021-08-05 平安科技（深圳）有限公司 基于深度学习的图像分类方法、装置及计算机设备
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889487A (zh) * 2018-09-10 2020-03-17 富士通株式会社 神经网络架构搜索装置和方法及计算机可读记录介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469891A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种神经网络架构搜索方法、训练方法、图像补全方法
WO2021151318A1 (zh) * 2020-07-31 2021-08-05 平安科技（深圳）有限公司 基于深度学习的图像分类方法、装置及计算机设备
CN111814966A (zh) * 2020-08-24 2020-10-23 国网浙江省电力有限公司 神经网络架构搜索方法、神经网络应用方法、设备及存储介质
CN112487933A (zh) * 2020-11-25 2021-03-12 中国人民解放军海军工程大学 一种基于自动化深度学习的雷达波形识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于自动学习的常用水字识别;汤辉;张国锋;张维勤;;现代计算机;20200915(第26期);全文 *

Also Published As

Publication number Publication date
CN114936625A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN108416755A (zh) 一种基于深度学习的图像去噪方法及系统
CN108038471A (zh) 一种基于深度学习技术的水声通信调制模式识别方法
CN113628294B (zh) 一种面向跨模态通信系统的图像重建方法及装置
CN109993280A (zh) 一种基于深度学习的水下声源定位方法
CN111723701B (zh) 一种水中目标识别方法
CN109379311B (zh) 基于卷积神经网络的超短波特定信号识别方法
CN107785029A (zh) 目标语音检测方法及装置
CN109155006A (zh) 使用神经网络进行基于频率的音频分析
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN111324990A (zh) 基于多层长短期记忆神经网络模型的孔隙度预测方法
CN110456332A (zh) 一种基于自动编码器的水声信号增强方法
CN108922515A (zh) 语音模型训练方法、语音识别方法、装置、设备及介质
CN110175551A (zh) 一种手语识别方法
CN112163601A (zh) 图像分类方法、系统、计算机设备及存储介质
CN113421237B (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN109344751B (zh) 一种车内噪声信号的重构方法
CN113111786B (zh) 基于小样本训练图卷积网络的水下目标识别方法
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN116486244A (zh) 基于细节增强的水下目标检测方法
CN115906303A (zh) 一种基于机器学习的平面微波滤波器设计方法及装置
CN114676637A (zh) 一种基于条件生成对抗网络的光纤信道建模方法及系统
CN114936625B (zh) 一种基于神经网络架构搜索的水声通信调制方式识别方法
CN112487933A (zh) 一种基于自动化深度学习的雷达波形识别方法及系统
CN116662929A (zh) 雷达信号识别模型的训练方法以及雷达信号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant