CN109462564A

CN109462564A - 基于深度神经网络的水下通信调制方式识别方法及系统

Info

Publication number: CN109462564A
Application number: CN201811364728.7A
Authority: CN
Inventors: 王岩; 孙梅
Original assignee: Taishan University
Current assignee: Taishan University
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2019-03-12
Anticipated expiration: 2038-11-16
Also published as: CN109462564B

Abstract

本申请公开了一种基于深度神经网络的水下通信调制方式识别方法及系统,对水下通信传输过来的多种调制方式进行数据预处理；深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，根据所述第三数据特征集判断并输出通信调制方式。使用了参考水下通信调制数据与目标水下通信调制数据分别独立作为输入深度神经网络的信息。深度神经网络中的各神经网络层对预处理后的多种调制方式的数据进行数据特征集获取，最后根据最终获取的数据特征集获取准确的通信调制方式，提高对水下通信调制方式的判断准确率。

Description

基于深度神经网络的水下通信调制方式识别方法及系统

技术领域

本申请涉及水下通信技术领域，具体涉及一种基于深度神经网络的水下通信调制方式识别方法及系统。

背景技术

水下通信相比陆上通信由于通道的多径效应、时变效应、可用频宽窄、信号衰减严重。特别是在长距离传输中，高频电磁波不能长距离在水下传输，只能通过低频声波进行水下长距离传输。因此，如何实现稳定的水下通信一直是一个难题。

随着通信技术的发展，通过高阶调制方法提高了水下通信的效率。高阶调制的引入，调制识别成为通信系统通信过程中的重要组成部分。随着水声通信环境的复杂性，调制识别成为具有挑战性的任务。通常机器学习调制识别方法主要包括支持向量机，K-最近邻和决策树等。

但是传统的水下通信调制方式识别方法无法快速准确的判断出当前的调制方式，因此亟需一种水下通信调制方式识别方法。

发明内容

本申请为了解决上述技术问题，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种基于深度神经网络的水下通信调制方式识别方法,所述方法包括：对水下通信传输过来的多种调制方式进行数据预处理；深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增；根据所述第三数据特征集判断并输出通信调制方式。

采用上述实现方式，使用了参考水下通信调制数据与目标水下通信调制数据分别独立作为输入深度神经网络的信息。深度神经网络中的各神经网络层对预处理后的多种调制方式的数据进行数据特征集获取，最后根据最终获取的数据特征集获取准确的通信调制方式，提高对水下通信调制方式的判断准确率。

根据第一方面，在第一方面第一种可能的实现方式中，所述对水下通信传输过来的多种调制方式进行数据预处理包括：将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元；对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。

根据第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述深度神经网络包括第一深度神经网络层、第二深度神经网络层、第三深度神经网络层和第四深度神经网络层；所述深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，包括：所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集；所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集；所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层；所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

根据第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述深度神经网络还包括第五深度神经网络层，所述根据根据所述第三数据特征集判断并输出通信调制方式包括：所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断，输出识别出的调制方式。

根据第一方面第二种可能的实现方式，在第一方面第四种可能的实现方式中，所述第四深度神经网络层包括聚合层和全局池化层，所述所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集包括：聚合所述第三深度神经网络层产生的的第二数据特征集；将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息；生成用于初步判断数据归属分类的第三数据特征集。

第二方面，本申请实施例提供了一种基于深度神经网络的水下通信调制方式识别系统,所述系统包括：预处理模块，用于对水下通信传输过来的多种调制方式进行数据预处理；获取模块，用于深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增；判断输出模块，用于根据所述第三数据特征集判断并输出通信调制方式。

根据第二方面，在第二方面第一种可能的实现方式中，所述预处理模块包括：数据格式转化单元，用于将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元；数据归一化处理单元，用于对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。

根据第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述获取模块包括：第一获取单元，用于所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集；第二获取单元，用于所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集；第三获取单元，用于所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层；第四获取单元，用于所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

根据第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，所述深度神经网络还包括第五深度神经网络层，所述判断输出模块包括：判断单元，用于所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断；输出单元，用于根据所述判断单元的判断结果输出识别出的调制方式。

根据第二方面第二种可能的实现方式，在第二方面第四种可能的实现方式中，所述第四深度神经网络层包括聚合层和全局池化层，所述第四获取单元包括：聚合子单元，用于聚合所述第三深度神经网络层产生的的第二数据特征集；全局池化子单元，用于将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息；获取子单元，用于生成用于初步判断数据归属分类的第三数据特征集。

附图说明

下面结合附图对本申请作进一步的说明。

图1为本申请实施例提供的一种基于深度神经网络的水下通信调制方式识别方法的流程示意图；

图2为本申请实施例提供的一种水下信道模型的示意图；

图3为本申请实施例提供的一种基于水下通信调制方式识别的深度神经网络系统的结构示意图；

图4为本申请实施例提供的一种多层感知器的结构示意图；

图5为本申请实施例提供的一种多层感知器的结构对比传统CNN结构的示意图；

图6为本申请实施例提供的一种深度神经网络训练过程中的表现的示意图示意图；

图7为本申请实施例提供的一种深度神经网络在信噪比从-20dB到20dB的总体识别效果示意图；

图8为本申请实施例提供的一种深度神经网络在信噪比在-6dB的总体识别效果示意图；

图9为本申请实施例提供的一种深度神经网络在信噪比在-2dB的总体识别效果示意图；

图10为本申请实施例提供的一种基于深度神经网络的水下通信调制方式识别系统的示意图；

图11为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面结合附图与具体实施方式对本方案进行阐述。

图1为本申请实施例提供的一种基于深度神经网络的水下通信调制方式识别方法，参见图1所述方法包括：

S101，对水下通信传输过来的多种调制方式进行数据预处理。

本申请实施例中将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元。对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。需要指出的是，本申请实施例中水下通信传输过来的多种调制方式包括在目标水下进行通信和参考水下进行通信获取的多种调制方式对应的数据。目标水下通信调制识别方式数据与参考水下通信调制方式数据分别属于同一水下信道产生的水下通信数据。

本申请为了更好的对基于深度神经网络的水下通信调制方式识别方法进行阐述，如图2所示，本申请提供例如一种水下信道模型，接收信号可以定义为:

s(t)是发送信号，g(t，θ)是信道模型的参数，s(t)是接收信号，n(t)是满足高斯特性的加性噪声，代表卷积符号,β_j(t)是多径上的信号衰减，θ(t)是时间延迟,N是多路径的总数。

本申请实施例设计的深度神经网络，就是识别从上述的通信系统接收到的信号的调试方式，接收的信号受到了各种因素的干扰，在接收端很难正确识别，而通过本申请的深度神经网络方法可以很好地进行识别判断。在水声通信系统中，MQAM和MPSK通常用于提高传输效率。MQAM主要包括QAM，16QAM和64QAM。MPSK主要包括BPSK，QPSK和8PSK。

在本申请具体实施设计中，MQAM的调制方式表示为双向形式。表达式如下和分别表示MQAM调制的第i个发送符号的正交和各向同性分量。u_i和v_i是需要传输的符号序列。MPSK是一种常用的调制方法，相位可变，幅度和角频率可变。MPSK可以表示为以下形式s_MPSK(t)＝Acos(φ_ct+α_n)，A是幅度，φ_c表示角频率，α_n表示相位角，表达式如下 M是符号的数量。例如，四个符号8PSK的相位间隔是π/4(M＝8)。

S102，深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集。其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增。

图3为本申请的基于水下通信调制方式识别的深度神经网络系统的结构图。所述深度神经网络包括第一深度神经网络层、第二深度神经网络层、第三深度神经网络层和第四深度神经网络层。

第一深度神经网络包括了第一卷积层和第一批量标准化层，第一卷积层包括M*N格式的神经单元(也就是数据卷积单元)，其中，M代表分析数据矩阵上的所在行上的数据个数，N代表分析数据矩阵的所在列上的数据个数，第一批量标准化层主要作用是在后向传播时解决梯度消失问题，并缓解深度学习网络深度过深时难以训练的问题。

第二深度神经网络包括了第二卷积层、第二批量标准化层和最大池化层，第二卷积层包括M*N格式的神经单元(也就是数据卷积单元)，其中，M代表分析数据矩阵上的所在行上的数据个数，N代表分析数据矩阵的所在列上的数据个数，两层的M值、N值一样。第二层卷积层的神经单元数与第一卷积层的神经单元数一致。第二批量标准化层主要作用是在后向传播时解决梯度消失问题缓解深度学习网络难以训练的问题；第一最大池化层消除训练过程中冗余信息并降低模型训练复杂性。

第三深度神经网络包括了4组并行层次结构，从左至右分别为第1组包括第三卷积层，第2组自下而上包括第四卷积层和第五卷积层，第3组自下而上包括第六卷积层和第七卷积层，第4组包括第八卷积层和第一平均池化层。这里的卷积层形式均包括M*N格式的神经单元(也就是数据卷积单元)，其中，M代表分析数据矩阵上的所在行上的数据个数，N代表分析数据矩阵的所在列上的数据个数，其中第一、第二、第三、第四、第六和第八卷积层的M值和N值是一样的。第五和第六卷积层M值和N值不同于其他层，而且第五和第六卷积层的M值N值也不相同。该第三卷积层的数据卷积单元与该第四和第七卷积层的数据卷积单元数一样，第八卷积的数据卷积单元与该第一和第二卷积层的数据卷积单元数一样。第五卷积层的数据卷积单元数最多，其次是第四和第七卷积层的数据卷积单元数目，再次是第六卷积层的数据卷积单元数目，最后数目最小的数据卷积单元数目是第一、第二、第八卷积层的数据卷积单元数目。

虽然深度神经网络层中，通过增加神经元的个数可以提取更多的数据特征，同时过多的神经元也很容易造成过拟合问题，导致训练完成的模型无法在实际环境中使用。这时就需要通过在深度神经网络层之间加入批标准化层的处理方式来提高模型训练后在实际使用中的泛化能力。

前面三层选择卷积神经网络是因为卷积神经网络具有权值共享和可设置改变的filters大小的优势，因此，可以根据实际训练需要减少参数数量，从而提高模型训练的速度，同时节省训练模型的硬件计算资源。

第四深度神经网络层为聚合层和全局池化层，根据聚合上层并行卷积神经网络提取的特征集进行全局池化操作，产生对全局数据集进行分属归类情况的判断，消除这些数据特征集的冗余信息，通过各层神经网络提取的数据特征集信息，产生能够初步判断数据归属分类的情况。

在深度神经网络对数据处理过程中，最大池化操作认为围绕最大值的信息不重要，因此被删除。平均池化操作计算范围内的平均值作为主要信息，其他信息不保留。但是，此池化操作也可能删除关键信息。调制识别与图像数据处理方式有所类似，调制识别处理过程也有像图像处理那样可以丢弃的冗余信息。因此，在处理过程中加入池化层的操作可以进一步提高网络模型的泛化能力。

深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，包括：所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集。所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集。所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层。所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

所述第四深度神经网络层包括聚合层和全局池化层，所述所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集包括：聚合所述第三深度神经网络层产生的的第二数据特征集。将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息。生成用于初步判断数据归属分类的第三数据特征集。

S013，根据所述第三数据特征集判断并输出通信调制方式。

所述深度神经网络还包括第五深度神经网络层，该第五层神经网络层为结果判断层，根据各层神经网络提供的特征信息通过Softmax激活函数处理，对实际传输的调制方式进行判断。最终判断经过水下通信信道传输过程中确定的接收信号属于何种调制方式。

根据根据所述第三数据特征集判断并输出通信调制方式包括：所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断，输出识别出的调制方式。

通过单层的全连接层形成有效的特征集数据分类能力，给最终的调制方式判断提供更好的分类预处理。目前可分类的主要用于水下通信的调制方式为MPSK(主要包括BPSK、QPSK、8PSK等)和MQAM(主要包括16QAM、64QAM等)，使得模型以后可以更广泛地扩展应用范围。全连接层实际上对通过每层深度神经网络输出的结果进行了进一步的处理，对全局平均池化产生的特征数据集进行了优化并输出最终的调试方式结果。

在本申请中，使用了训练深度神经网络模型数据和测试深度神经网络模型数据分别独立输入的方式，也就说先将训练模型的数据输入到神经网络中，进行神经网络的训练，当训练完毕后，再将测试模型的数据输入到神经网络中进行对网络模型的准确率测试。故可以模拟实际使用的情况，提高在实际水下通信中的使用效果，更方便高效地完成水下通信调制识别，提高识别判断的准确度。因为在实际使用之前已经完成了对模型的训练及测试工作，在实际的上线使用中训练好的模型不需要进行参数的动态调整、数据处理和相应运算过程，而可以直接通过输入的数据判断输出的结果，具备延迟低、实时处理性好和效率高等优点。

在本申请实施例中，在典型的深度学习网络结构中，卷积操作通常用于提取分析对象的特征。一般卷积层仅相当于线性操作，因此它只能提取出口的特征。在NiN中，在卷积层之后添加了多层感知器(MLP)，称为Mlpconv层，它使每层的卷积运算能够提取非线性特征。

在本申请实施例中，MLP的结构如图4所示。多层感知器是一种前向结构的人工神经网络，它将一组输入向量映射到一组输出向量。MLP可以被认为是由多个节点层组成的有向图，每个节点层连接到下一层。除输入节点外，每个节点都是具有非线性激活功能的神经元。使用称为反向传播算法的监督学习方法训练MLP。MLP是感知器的概括，它克服了感知器无法识别线性不可分割数据的弱点。

在本申请实施例具体实施方式中，MLP可以表示为f：R^D→R^L，其中D是输入向量x的大小，L是输出向量f(x)的大小。隐藏层表示为h(x)＝S(W⁽¹⁾x+b⁽¹⁾)，W⁽¹⁾是连接输入矢量和隐藏层的权重矩阵i代表在神经元的输入层中序列号，N表示输入层中的神经元的数量。x是输入向量，b⁽¹⁾是偏差向量S是激活函数，并使用tanh作为S的激活函数，

在本申请实施例具体实施方式中，输出表示为：

f(x)＝G(W⁽²⁾(S(W⁽¹⁾x+b⁽¹⁾))+b⁽²⁾)，

其中W⁽²⁾是连接隐藏层和输出层的权重矩阵j代表串行神经元的输出层数，M代表输出层中神经元的数量。b⁽²⁾是偏差矢量G是激活函数。

在本申请实施例具体实施方式中，Inception结构的主要思想是如何使用密集分量来近似最优局部稀疏结构。在深度学习网络结构设计的参考开始中，使用不同大小的卷积核意味着不同大小的感受域，最终拼接意味着不同尺度特征的整合。卷积核尺寸为1,2和3，主要是为了便于对准并结合水下通信调制识别数据的特性。通信数据与图像数据不同，它不适合使用大卷积内核。过多的卷积内核很容易导致深度学习网络模型无法收敛并变得无法使用。在设置卷积步长stride＝1之后，可以在卷积之后获得相同维度的特征，然后可以将特征直接拼接在一起。使用2x2和3x3卷积核在计算需要的资源上可能导致代价太大，参阅NiN网络架构并使用1x1卷积核心来降低维数，从而可以降低计算复杂度节省计算资源。

在本申请实施例具体实施方式中，1×1卷积核最初是在网络中的网络结构中提出来的。它使用的参数比AlexNet少，并且可以达到相同的效果。如果当前层和下一层只有一个通道，则1×1卷积核心确实不起作用，但如果它们分别是m层和n层，则1×1卷积核心可以起到交叉作用也就是通道聚合的作用，因此它可以进一步发挥降维(或升序维度)的作用，减少参数的目的。如果当前层是即，分析数据的大小是a×b并且特征层的数量是m，然后如果它通过1×1的卷积核，则特征层的数量是L，然后只要这样它就可以达到降维的目的，减少后续步骤的计算量。如果使用1×1卷积内核，则此操作实现多个特征图的线性组合，可用于更改特征图中的通道数。由于卷积运算本身可以实现每个通道的重新聚合，因此1×1卷积核也可以实现这种效果。

该模型最终使用平均池化而不是全连接层。最后添加了全连接的层主要是为了方便对模型的微调。从最终结果表明，使用初始化后可以扩大整个模型网络结构的宽度和深度，从而带来更高的性能。

在本申请实施例具体实施方式中，批量标准层或叫批量标准化(BN，BatchNormalization)用于深度学习网络的前几层。使用BN可以克服难以训练的深度神经网络的缺点，使用BN方法基本上解决了反向传播过程中的梯度问题。当训练神经网络时，经常会遇到收敛速度非常慢，或者无法训练梯度爆炸。传统的神经网络仅在将样本输入到输入层之前对输入样本进行归一化。所谓的标准化是除了标准偏差之外还输入样本减去均值，以减少样本之间的差异。基于此BN不仅标准化输入层的输入数据，而且还标准化每个隐藏层的输入数据。换句话说，当向后传播时，穿过层的梯度乘以层的参数ζ_λ＝ω_λζ_λ-1，其中ζ_λ和ζ_λ-1分别代表λ和λ-1层的参数，ω_λ代表λ的权重。然后是反向传播

考虑从λ层传递到ρ层的情况上式中的是神经网络训练中遇到的梯度问题。由于网络层非常深，如果大多小于1，那么当在此处传递时，梯度将变得非常小。并且如果大多大于1，那么当它在这里传递时该值将很大，并且发生梯度爆炸问题。BN所做的是解决深层网络层中这种梯度扩展的问题，因为BN效应消除了ω的尺度效应。其中BN()表示批量标准化操作，γ表示BN()处理的系数，对应于BN()处理的ω_λ参数。然后反向导数变为可以看出，反向传播的次数乘以此时间不再与ω的尺度相关，这意味着虽然我们在更新过程中改变ω的值，但反向传播的梯度不受影响，进一步也就是说，较大的尺度ω将导致较小的梯度，在相同的学习速率下获得的更新较少，这使得整体ω更新更加稳健。综上所述，BN解决了反向传播过程中的梯度问题(梯度消失和爆炸)，使得不同尺度的ω整体更新步骤更加一致。

在本申请实施例具体实施方式中，涉及到目前用于深度学习模型训练的是大数据集，这意味着由于计算机硬件限制，不可能将整个数据集训练到训练模型中。如果数据集足够，则使用数据集的一半(或甚至更少)计算的梯度几乎与使用所有数据训练的梯度相同。梯度表示斜率，用于机器学习以找到最佳结果(曲线的最小值)。太大的批量大小容易陷入尖锐的最小值，导致应用后训练模型的泛化性差，因此选择合适的批量大小是很重要的。在尖锐的最小值和局部最小值之间是类似的，解决函数的梯度问题时，可以认为当梯度值为0时，可以说该点是函数的极值点。如果函数是凸函数，则极值点是最值点。然而，多层神经网络不是凸函数，因此理论上存在多个局部最小值，并且随着层数的增加，局部最小值更大，并且需要针对局部最小值进行优化，例如选择不同批量大小，Dropout技术和Adadelta的优化器等。泛化是机器学习模型在学习模型未遇到的样本的过程中学习的参数的表示。由于计算机硬件限制不允许一次输入所有数据集，因此选择不同的批处理大小，以便可以尽可能接近完整数据集输入的训练准确性。选择合适的批量可以在一定程度上提高模型的训练精度。之后，当实验验证不同的批量大小时，模型将具有不同的准确度。

在本申请实施例具体实施方式中，大多数基于神经网络的机器学习算法在卷积层之后添加完全连接的层用于特征向量化。另外，由于考虑了神经网络的黑盒子，有时设计几个完全连接的网络也可以提高卷积神经网络的分类性能，全连接神经网络曾经成为神经网络使用的标准。然而，同时还注意到，完全连接层的非常致命的弱点是过多的参数，尤其是连接到最后一个卷积层的完全连接层。一方面，增加了训练和测试的计算，并且降低了速度。另一方面，如果参数量太大，则容易过度拟合。虽然它使用类似的方法，如dropout，但毕竟dropout是一个超参数，并不是一个好的解决方案。用于替换完全连接层的方法是全局平均池(GAP，Global Average Pooling)。

在CNN分类网络的标准结构中，通常是具有用于分类的激活功能的完全连接的网络。假设激活函数是一个多类softmax，则完全连通网络的功能是将最后一层卷积的特征映射拉伸为一个向量，乘以该向量，最后减小其维数，然后输入它进入softmax层以获得每个类别的相应分数。GAP的想法是将这两个过程合并为一个并一起完成。如图5所示。在训练阶段期间，分类交叉熵用作密集层的输出中的成本函数。分类交叉熵描述了实际输出和期望输出之间的距离。交叉熵越小，两个数据集之间的概率分布越接近，这两个数据集分别代表了真实数据集和估计数据集。假设概率分布A(x)是实际输出，概率分布B(x)是估计输出，x是样本空间中的样本变量，C(A，B)是交叉熵C(A，B)＝-∑_xA(x)logB(x)，数据集的A(x)和B(x)分布概率的相似性由交叉熵反映。

在具体实施方式中，批量大小不同的情况下，深度学习模型的不同表现。批量大小主要指是发送到深度学习网络的数据集的大小。当批量大小太大(批量大小＝1024)时，它将落入数据的本地鞍点并且不能跳出，并且深度学习网络模型不能继续训练。当鞍点不是全局最低点时，批量大小等于32,64,128时，训练模型具有比批量大小等于256,512更好的训练效果。结果表明，在不同的批量大小下，模型的最终训练效果会受到影响。在模型可以收敛的情况下，批量大小适当地增加，可以提高相对处理速度。因此，在相同模型训练精度的情况下，本申请实施方案选择具有更快处理速度的批量大小＝128。

在本实施方案中，从图6中可以看出，当val_error最小时，模型训练在验证集上表现最好。曲线图的垂直轴，损耗率，是使用交叉熵函数公式计算的结果。training loss+error是在网络结构的最终Dense输出层中定义的损失函数。这里，损失函数是在上述中定义的分类交叉熵函数。换句话说，train loss+error是通过使用训练网络模型的数据集使用损失函数(这里是分类交叉熵函数)得到的预测数据分布与实际数据分布之间的损失值。val_error和train loss+error相似，都是通过损失函数计算的，但两者使用的数据集不同，val_error使用验证数据集。val_error表示模型在验证集上进行验证时输出的值，验证模型在每个时期之后对验证集的预测效果。假设模型适合，验证集的val_error可以收敛到一个小值。当val_error用于预测验证集时，将使用最小的val_error值并保存关联的权重参数。虽然val_error在训练期间有一些波动，但仍然会收敛到损失率＝0.7。该模型开始在epochs＝40收敛。它说明了本申请的模型在这种调制识别任务中的有效性。

在实际的具体方案实施时，如图7所示，为所有调制模式在信噪比-20dB和20dB之间的识别结果。用于训练的五种调制模式的数据总量是50000，每种调制模式的数据量是10000。可以看出，没有未识别的调制方法。在该图中，横轴表示预测调制方式，纵轴表示真实调制方式。以MPSK为例(M表示调制顺序2,4,8，分别对应于BPSK，QPSK，8PSK)，不同颜色深度对应图中右侧的识别百分比指示。BPSK的识别精度高于QPSK和8PSK，有些QSPK被误识别为64QAM。从识别结果来看，本文设计的深度学习网络结构通过深度加深和宽度扩展显示出优异的调制识别能力。

在实际方案实施中，如图8中的SNR＝-6dB时，可以正确识别三种调制方法BPSK，8PSK和16QAM。其余两种调制方法QPSK和64QAM难以区分，但正确识别率比错误识别率高近20％。如图9所示，当SNR＝-2dB时，8PSK的识别率进一步提高了近10％，可以区分QPSK和64QAM，表明随着信噪比的增加，模型的识别能力不断提高。

为了进一步说明本申请在方案实施时测试环节中显示的结构上的优势，使用本申请的深度神经网络和其他六种不同神经网络结构在分类精度上的差异。其中涉及到的四种常用神经网络是人工神经网络(ANN)，多层感知器(MLP)，4层深度神经网络(DNN)和8层DNN(非卷积神经元)，3层卷积神经网络，类似VGGNet结构的神经网络。在低信噪比(-20dB至-15dB)下，本文中的DL网络模型显示出一些优势。CNN3在-15dB和-5dB之间表现出比VGG和本申请的深度学习网络结构更好的性能。深度学习网络模型从-5dB开始，与其他模型相比，显示出调制识别的优势。可以看出，当设计的深度学习模型加深深度和扩展宽度到适当的程度时，可以提高网络的识别效果和性能。

本申请提供的基于深度神经网络的水下通信调制方式识别方法可以通过组合深度学习神经网络特征提取功能部分、深度学习神经网络特征提取功能部分、深度神经网络特征提取功能部分、…、深度学习神经网络特征提取功能部分，深度神经网络特征提取功能部分和全连接判断层构成深度学习神经网络系统。也就是说，深度学习神经网络系统可以是包括多个深度学习神经网络特征提取功能部分和全连接判断层。

在本申请中，深度学习神经网络特征提取功能部分的输入可以来自同一个水声通信信道的不同的参考调制数据和目标调制数据。此外，在另外的一些示例中，深度学习神经网络特征提取功能部分均可以采用上述的深度学习神经网络特征提取功能部分。也就是说，深度学习神经网络特征提取功能部分可以使用来自相同水下信道的调制方式的不同深度学习神经网络。

在本申请实施例中，全连接判断层可以对上述多个深度学习神经网络特征提取功能部分的输出结果进行处理并可以输出对调制方式的最终判断。即上述多个深度学习神经网络特征提取功能部分的输出与全连接判断层相连接，全连接判断层通过对这些深度学习神经网络的综合处理来输出最终判断结果。

在示意性实施例中，全连接判断层可以输出存在哪种调制方式的结果判断。而在另外一些实例中，全连接判断层也可以输出是否需要进一步的判断调制方式，如果是某种调制方式应该能更好的归类为某种调制方式的判断。全连接判断层可以通过输出概率的方式来判断最终结果。此外，在其他一些示例中，全连接判断层也可以采用各种非线性或者是线性分类器的方式比如随机森林(Random Forest)、决策树(Decision Tree)、支持向量机(SVM)等。甚至在某些示例中，全连接判断层也可以使用一些简单的数值操作方法，比如最大值判断法、平均值判断法等。

由上述实施例可知，本实施例提供的基于深度神经网络的水下通信调制方式识别方法,使用了参考水下通信调制数据与目标水下通信调制数据分别独立作为输入深度神经网络的信息。深度神经网络中的各神经网络层对预处理后的多种调制方式的数据进行数据特征集获取，最后根据最终获取的数据特征集获取准确的通信调制方式，提高对水下通信调制方式的判断准确率。

与上述实施例提供的一种基于深度神经网络的水下通信调制方式识别方法相对应，本申请还提供了一种基于深度神经网络的水下通信调制方式识别系统的实施例。

图10为本申请实施例提供的一种基于深度神经网络的水下通信调制方式识别系统。参见图10，所述识别系统20包括：预处理模块201、获取模块20和判断输出模块203.

预处理模块201，用于对水下通信传输过来的多种调制方式进行数据预处理。获取模块202，用于深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增。判断输出模块203，用于根据所述第三数据特征集判断并输出通信调制方式。

一个示意性实施例，所述预处理模块201包括：数据格式转化单元和数据归一化处理单元。

数据格式转化单元，用于将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元。数据归一化处理单元，用于对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。

一个示意性实施例，所述获取模块202包括：第一获取单元、第二获取单元、第三获取单元和第四获取单元。

第一获取单元，用于所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集。第二获取单元，用于所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集。第三获取单元，用于所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层。第四获取单元，用于所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

一个示意性实施例中，所述深度神经网络还包括第五深度神经网络层，所述判断输出模块包括：判断单元和输出单元。

判断单元，用于所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断。输出单元，用于根据所述判断单元的判断结果输出识别出的调制方式。

一个示意性实施例中，所述第四深度神经网络层包括聚合层和全局池化层，所述第四获取单元包括：聚合子单元、全局池化子单元和获取子单元。

聚合子单元，用于聚合所述第三深度神经网络层产生的的第二数据特征集。全局池化子单元，用于将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息。获取子单元，用于生成用于初步判断数据归属分类的第三数据特征集。

本申请实施例还提供了一种终端，如图11所示，终端30包括：处理器301、存储器302和通信接口303。

在图11中，处理器301、存储器302和通信接口303可以通过总线相互连接；总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器301通常是控制终端30的整体功能，例如终端的启动、以及终端启动后对水下通信调试方式进行识别等。此外，处理器301可以是通用处理器，例如，中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC)，可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD)，现场可编程逻辑门阵列(FPGA)等。

存储器302被配置为存储计算机可执行指令以支持终端30数据的操作。存储器301可以可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

启动终端30后，处理器301和存储器302上电，处理器301读取并执行存储在存储器302内的计算机可执行指令，以完成上述的基于深度神经网络的水下通信调制方式识别方法实施例中的全部或部分步骤。

通信接口303用于终端30传输数据，例如实现与水下通信设备之间的数据通信。通信接口303包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口包括USB接口、Micro USB接口，还可以包括以太网接口。无线通信接口可以为WLAN接口，蜂窝网络通信接口或其组合等。

在一个示意性实施例中，本申请实施例提供的终端30还包括电源组件，电源组件为终端30的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为终端30生成、管理和分配电力相关联的组件。

通信组件，通信组件被配置为便于终端30和其他设备之间有线或无线方式的通信。终端30可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在一个示意性实施例中，终端30可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、处理器或其他电子元件实现。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统及终端实施例而言，由于其中的方法基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims

1.一种基于深度神经网络的水下通信调制方式识别方法,其特征在于，所述方法包括：

对水下通信传输过来的多种调制方式进行数据预处理；

深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增；

根据所述第三数据特征集判断并输出通信调制方式。

2.根据权利要求1所述的方法,其特征在于，所述对水下通信传输过来的多种调制方式进行数据预处理包括：

将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元；

对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。

3.根据权利要求2所述的方法,其特征在于，所述深度神经网络包括第一深度神经网络层、第二深度神经网络层、第三深度神经网络层和第四深度神经网络层；所述深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，包括：

所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集；

所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集；

所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层；

所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

4.根据权利要求3所述的方法,其特征在于，所述深度神经网络还包括第五深度神经网络层，所述根据根据所述第三数据特征集判断并输出通信调制方式包括：

所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断，输出识别出的调制方式。

5.根据权利要求3所述的方法,其特征在于，所述第四深度神经网络层包括聚合层和全局池化层，所述所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集包括：

聚合所述第三深度神经网络层产生的的第二数据特征集；

将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息；

生成用于初步判断数据归属分类的第三数据特征集。

6.一种基于深度神经网络的水下通信调制方式识别系统,其特征在于，所述系统包括：

预处理模块，用于对水下通信传输过来的多种调制方式进行数据预处理；

获取模块，用于深度神经网络中的各神经网络层根据数据预处理后的所述多种调制方式对应的数据获得数据特征集，其中所述数据特征集包括：特征提取集、第一数据特征集、第二数据特征集和第三数据特征集，所述特征提取集、第一数据特征集、第二数据特征集和第三数据特征集对应的数据分类精确度递增；

判断输出模块，用于根据所述第三数据特征集判断并输出通信调制方式。

7.根据权利要求6所述的系统,其特征在于，所述预处理模块包括：

数据格式转化单元，用于将各种调制方式复数表示方式的数据格式转化成对应实数形式的数据格式的数据格式转化单元；

数据归一化处理单元，用于对目标水下通信调制方式数据与参考水下通信调制方式数据进行归一化处理。

8.根据权利要求7所述的系统,其特征在于，所述获取模块包括：

第一获取单元，用于所述第一深度神经网络层根据数据预处理后的所述多种调制方式对应的数据经过第一卷积层和批量标准化产生特征提取集；

第二获取单元，用于所述第二深度神经网络层将所述特征提取集经过第二层卷机层和批量标准化的处理并经过最大池化层产生第一数据特征集；

第三获取单元，用于所述第三深度神经网络层根据所述第一数据特征集通过同时输入并行的4组神经网络层获得第二数据特征集，所述4组神经网络层对应的卷积以此分别为一个单独的卷积层、两个两层的卷积层和一个由卷积层与全局平均池化层组成的卷积层；

第四获取单元，用于所述第四深度神经网络层，通过聚合所述第二数据特征集，并通过所述第四深度神经网络层中的全局平均池化层产生第三数据特征集。

9.根据权利要求8所述的系统,其特征在于，所述深度神经网络还包括第五深度神经网络层，所述判断输出模块包括：

判断单元，用于所述第五深度神经网络层根据所述第三数据特征集产生最终的调制方式判断；

输出单元，用于根据所述判断单元的判断结果输出识别出的调制方式。

10.根据权利要求8所述的系统,其特征在于，所述第四深度神经网络层包括聚合层和全局池化层，所述第四获取单元包括：

聚合子单元，用于聚合所述第三深度神经网络层产生的的第二数据特征集；

全局池化子单元，用于将聚合后的第二数据特征集进行全局池化操作，产生分属归类情况的判断，消除数据特征集的冗余信息；

获取子单元，用于生成用于初步判断数据归属分类的第三数据特征集。