CN109547374A

CN109547374A - 一种用于水下通信调制识别的深度残差网络及系统

Info

Publication number: CN109547374A
Application number: CN201811403513.1A
Authority: CN
Inventors: 王岩; 陈君; 崔祥霞
Original assignee: Taishan University
Current assignee: Taishan University
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2019-03-29
Anticipated expiration: 2038-11-23
Also published as: CN109547374B

Abstract

本申请公开了一种用于水下通信调制识别的深度残差网络及系统，包括：数据预处理层，所述数据预处理层包括第一深度残差网络层，数据特征提取层，所述数据特征提取层包括第二深度残差网络层、第三深度残差网络层和第四深度残差网络层，数据分类结果输出层，所述数据分类结果输出层包括第五深度残差网络层。由于本申请提供的用于水下通信调制识别的深度残差网络包含多个深度残差网络层，而且随着深度残差网络层深度的递增，深度残差网络层对数据的辨识能力递增，进而使得本申请提供的深度残差网络在用于水下通信时，可以提高在实际水底通信中的使用效果，更方便高效地完成水底通信调制识别，提高在水底通信过程中调制识别判断的准确度。

Description

一种用于水下通信调制识别的深度残差网络及系统

技术领域

本申请涉及深度学习领域，特别涉及一种用于水下通信调制识别的深度残差网络及系统。

背景技术

水底无线通信被认为是最具挑战性的无线通信方法，水底无线信道由于其自身的特性(例如窄带宽，延长的时间和严重的符号间干扰)而使通信过程变得异常困难。这些水底无线通信特性严重影响水底通信系统的稳定性，并对高速水底无线通信造成严重障碍。

调制识别分类在通信系统过程中起着决定性的作用，在通信接收器处，信号解调和信号识别都是基于正确的调制分类识别。由于水底无线通信系统的复杂性和不稳定性，在实际水底通信期间难以识别正确的调制方式。

对于调制方式的识别方法，各种机器学习方法中脱颖而出，成为目前最流行的处理方法。各种深度残差网络模型需要在使用之前提供大量用于训练的数据。通过从大量数据中学习数据集分布概率，深度残差网络可以在分类效果上获得良好的性能。在训练模型阶段，计算量实际上没有减少。相反，随着需求的变化，模型越来越复杂，这在训练模型时会消耗更多的计算资源。然而，当模型被训练并在实践中使用时，只要底层硬件支持深度残差网络的训练好的模型运行，处理速度将非常快。这主要是因为训练的模型不需要实时处理数据，因此可以通过已经训练好的模型结构快速作出结果判断。在实际场景中，由于没有大量数据用于深度残差网络模型的训练，数据量不足导致深度残差网络模型训练效果不佳，甚至无法在现实场景中部署使用。

由上述可知，网络深度是影响模型性能的关键因素。随着深度学习的网络层数量的增加，网络模型可以提取更复杂数据集的特征。当模型加深时，理论上可以获得更好的分类效果。当用于训练的深度残差网络模型设计得太深时，性能将降低甚至无法训练。主要原因是当学习数据集的分布概率时，随着网络模型深度的加深，获得的梯度将消失或爆炸。由于梯度问题，当深度残差网络太深而且效果没有提高时，深度残差网络变得更难训练。在水下无线通信中，由于环境的限制，特别是窄带宽的实际通信特性不能传输大量数据。这些因素导致了深度学习模型的训练，用于水下无线通信的数据集受到限制，并且没有达到理想训练模型的规模。因此，准确地识别水底通信的调制方式变成一个具有挑战性的问题。

发明内容

本申请为了解决上述技术问题提供，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种用于水下通信调制识别的深度残差网络，包括：数据预处理层，所述数据预处理层包括第一深度残差网络层，所述第一深度残差网络层用于将接收到的多种调制方式数据进行预处理；数据特征提取层，所述数据特征提取层包括第二深度残差网络层、第三深度残差网络层和第四深度残差网络层，所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层对数据特征识别提取能力逐渐增强，经过所述第一深度残差网络层预处理后的数据依次经过所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层进行数据特征提取；数据分类结果输出层，所述数据分类结果输出层包括第五深度残差网络层，所述第五深度残差网络层用于根据所述第四深度残差网络层提取的特征数据进行判断并输出最终识别的调制方式。。

采用上述实现方式，由于本申请提供的用于水下通信调制识别的深度残差网络包含多个深度残差网络层，而且随着深度残差网络层深度的递增，深度残差网络层对数据的辨识能力递增，进而使得本申请提供的深度残差网络在用于水下通信时，可以提高在实际水底通信中的使用效果，更方便高效地完成水底通信调制识别，提高在水底通信过程中调制识别判断的准确度。

根据第一方面的实现方式，在第一方面第一种可能的实现方式中，所述第一深度残差网络层将水下通信传输过来的多种调制方式数据，经过数据格式改变，实现多种调制方式数据的预处理。

根据第一方面的实现方式，在第一方面第二种可能的实现方式中，所述第二深度残差网络层包括：第一深度残差网络单元、第二深度残差网络单元、第三深度残差网络单元和第四深度残差网络单元，所述第一深度残差网络单元包括：第一卷积层、第一批量标准化层和第一激活层；所述第二深度残差网络单元包括：第一数据处理路径和第二数据处理路径，所述第一数据处理路径和第二数据处理路径聚合输出；所述第三深度残差网络单元包括：第一添加层和第二激活层；所述第四深度残差网络单元包括第三数据处理路径和第四数据处理路径，其中所述第三数据处理路径和第四数据处理路径中任一处理路径直接和数据分类结果输出层连接。

根据第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述第一数据处理路径由第一结构单元、第二结构单元、第三结构单元和第四结构单元组成，其中：所述第一结构单元包括：第三卷积层、第二批量标准化层和第三激活层；所述第二结构单元包括：基数层，所述基数层由多条数据并列数据路径经过一卷积层生成；所述第三结构单元包括：第三批量标准化层和第四激活层；所述第四结构单元包括：第四卷积层和第四批量标准化层。

根据第一方面的实现方式，在第一方面第四种可能的实现方式中，所述第三深度残差网络层包括：第五深度残差网络单元、第六深度残差网络单元、第七深度残差网络单元和第八深度残差网络单元，所述第五深度残差网络单元包括：第二添加层和第五激活层；所述第八深度残差网络单元包括：第三添加层和第六激活层，所述第六深度残差网络单元和第七深度残差网络单元均包括两条数据处理路径。

根据第一方面的实现方式，在第一方面第五种可能的实现方式中，所述第五深度残差网络层包括：第四添加层、第七激活层和输出层。

根据第一方面第二至五种任一可能的实现方式，在第一方面第六种可能的实现方式中，批量标准化层用于在后向传播时解决梯度消失问题缓解深度残差难以训练的问题。

根据第一方面第二至五种任一可能的实现方式，在第一方面低七种可能的实现方式中，激活层用于数据处理过程中归一化处理。

第二方面，一种用于水下通信调制识别的系统，包括上述第一方面或第一方面任一可能的深度残差网络。

附图说明

下面结合附图对本申请作进一步的说明。

图1为本申请实施例提供的一种用于水下通信调制识别的深度残差网络的示意图；

图2为本申请实施例提供的一种深度残差网络的具体结构示意图；

图3为本申请实施例提供的一种包含两条数据处理路径的深度残差网络单元示意图；

图4为本申请实施例提供的另一种包含两条数据处理路径的深度残差网络单元示意图；

图5为本申请实施例提供的一种深度残差网络训练过程效果示意图；

图6为本申请实施例提供的一种深度残差网络在信噪比-6dB下的识别效果示意图；

图7为本申请实施例提供的一种深度残差网络在信噪比-2dB下的识别效果示意图；

图8为本申请实施例提供的一种用于水下通信调制识别的系统的结构示意图；

图9为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面结合附图与具体实施方式对本方案进行阐述。

接收端的调制识别是解调和信号识别的前提。水下无线通信过程主要受水下特殊信道形式的影响，主要是指多普勒频移，加性噪声和多途效应。

表达的形式基本上类似于一般的通信模型，但在细节上与基本形式不同，基本形式可以用以下形式描述：其中y(t)是最终接收信号。h(ε；t)是在(t-ε)时刻的信道对在t时刻加上的脉冲响应的响应。ε是延迟。w(t)是加性噪声，其可以是噪声的各种频谱分量的非均匀分布，也称为非白噪声。

上式中的时变脉冲响应可以进一步写为其中是此时第n个路径上的脉冲响应(ε-ε_n)，ε_n是第n个路径上的相应延迟。β_n(t)是n多径传播路径上可能的时变衰减因子(n＝1，2，…，N)。

上式输入第一个公式中，然后接收信号的形式用以下形式表示接收信号由N个路径分量组成，其中每个路径上的分量衰减到β_n(t)，并且每个路径上的相应延迟是ε_n。在无线通信过程中，为了提高传输的承载能力，采用M-ary QAM和PSK调制方法提高了系统效率。两种调制模式和这两种调制模式的多输入形式都可以通过I/Q正交调制实现(I代表同相，Q代表正交)。需要传输的两个信号g₁(t)和g₂(t)分别用余弦信号cos(ψ_ct)和正弦信号sin(ψ_ct)调制，以获得发射信号x(t)＝g₁(t)cos(ψ_ct)-g₂(t)sin(ψ_ct)，其中g₁(t)称为I通道信号，g₂(t)称为Q通道信号。cos(ψ_ct)和sin(ψ_ct)是载波，其中w_c是载波角频率。以输出QPSK调制为例，使用表1简单解释使用I/Q调制来实现QPSK，s1s01表示输入数据的前两个位置。

TABLE 1.QPSK调制的I/Q调制

研究发现，深度残差网络层次的深化可以提高模型的准确性。然而，当网络的水平增加超过一定水平时，训练集训练的模型精度和测试集的模型测试精度都开始下降甚至无法训练。所有这些都表明，当网络层次变深时，深度残差网络变得更难训练。

随着深度残差网络的深入，模型效果越来越差的根源是梯度消失。通常的残差网络结构由输入层，一些隐藏层(也可以是一层)和输出层组成，每层有多个神经元。根据残差网络的反向传播原理，通过前向传播计算结果输出，然后将两者之间的误差值D与原始样本原始值进行比较根据计算出的误差结果，利用“链规则”的方法求出偏导数，将结果通过误差传播，从而得到权重调整的梯度。根据链规则获得从输出层到隐藏层的反向传播，如下式所示其中Out1是输出层的第一个单元，Hid1是隐藏层的第一个单元。通过前向和后向传播的连续迭代，在反复匹配和调整参数矩阵之后，输出结果的误差值变得越来越小，使得输出结果更接近预期目标。通过上述过程，可以发现残差网络需要通过在反向传播过程中传播梯度来不断提高模型拟合性能。并且当网络层由于要求的准确性加深时，在反向传播过程中传递的梯度将因重复叠加而逐渐消失。层数越多，反向传播的数量越多，导致更多的衰减，甚至无法有效地调整前网络层的权重。在加深网络层数之后，在提高模型精度的基础上，在模型真正实际应用之前，需要解决梯度消失问题。

假设相对浅的网络模型已经达到训练精度的极限并且不能继续改进。此时，在此网络模型之后，加上几个标识映射层(即输出等于输入)。这时再增加网络的深度后，至少网络模型不会因为层数的增加而导致错误的进一步增加。也就是说，随着网络层的深化，它不应该导致训练集上的模型训练错误的增加。而这里是使用恒等映射，直接将先前网络层的值输出到网络层的后面，是深度残差网络设计的主要思想。

为了实现水下通信调制方式的准确识别，如图1所示本申请提供了一种用于水下通信调制识别的深度残差网络。参见图1，本申请提供的深度残差网络10包括：数据预处理层101、数据特征提取层102和数据分类结果输出层103。

数据预处理层101，所述数据预处理层包括第一深度残差网络层，所述第一深度残差网络层用于将接收到的多种调制方式数据进行预处理。数据特征提取层102，所述数据特征提取层包括第二深度残差网络层、第三深度残差网络层和第四深度残差网络层，所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层对数据特征识别提取能力逐渐增强，经过所述第一深度残差网络层预处理后的数据依次经过所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层进行数据特征提取。数据分类结果输出层103，所述数据分类结果输出层包括第五深度残差网络层，所述第五深度残差网络层用于根据所述第四深度残差网络层提取的特征数据进行判断并输出最终识别的调制方式。

所述第一深度残差网络层将水下通信传输过来的多种调制方式数据，经过数据格式改变，实现多种调制方式数据的预处理。

所述第二深度残差网络层包括：第一深度残差网络单元、第二深度残差网络单元、第三深度残差网络单元和第四深度残差网络单元，所述第一深度残差网络单元包括：第一卷积层、第一批量标准化层和第一激活层；所述第二深度残差网络单元包括：第一数据处理路径和第二数据处理路径，所述第一数据处理路径和第二数据处理路径聚合输出；所述第三深度残差网络单元包括：第一添加层和第二激活层；所述第四深度残差网络单元包括第三数据处理路径和第四数据处理路径，其中所述第三数据处理路径和第四数据处理路径中任一处理路径直接和数据分类结果输出层连接。

所述第一数据处理路径由第一结构单元、第二结构单元、第三结构单元和第四结构单元组成，其中：所述第一结构单元包括：第三卷积层、第二批量标准化层和第三激活层；所述第二结构单元包括：基数层，所述基数层由多条数据并列数据路径经过一卷积层生成；所述第三结构单元包括：第三批量标准化层和第四激活层；所述第四结构单元包括：第四卷积层和第四批量标准化层。

所述第三深度残差网络层包括：第五深度残差网络单元、第六深度残差网络单元、第七深度残差网络单元和第八深度残差网络单元，所述第五深度残差网络单元包括：第二添加层和第五激活层；所述第八深度残差网络单元包括：第三添加层和第六激活层，所述第六深度残差网络单元和第七深度残差网络单元均包括两条数据处理路径。

所述第五深度残差网络层包括：第四添加层、第七激活层和输出层。第第五深度残差网络层主要功能在前面层级处理的基础之上，通过数据处理后，进行最终的结果判断。通过全连接层经过Softmax激活函数产生最终的结果判断。在经过水下通信传输后，可以高效识别出接收信号属于何种调制方式。

通过单层的全连接层形成有效的特征集数据分类能力，给最终的调制方式判断提供更好的分类预处理。目前可分类的主要用于水下通信的调制方式为MPSK(主要包括BPSK、QPSK、8PSK等)和MQAM(主要包括16QAM等)，使得模型以后可以更广泛地扩展应用范围。全连接层实际上对通过每层深度残差网络输出的结果进行了进一步的处理，对全局平均池化产生的特征数据集进行了优化并输出最终的调试方式结果。

本实施例中，卷积层包括M*N格式的神经单元(也就是数据卷积单元)，其中，M代表分析数据矩阵上的所在行上的数据个数，N代表分析数据矩阵的所在列上的数据个数，两层的M值、N值一样。批量标准化层用于在后向传播时解决梯度消失问题缓解深度残差难以训练的问题，激活层用于数据处理过程中归一化处理。图2给出了一种本申请实施例中的示意性深度残差网络。

虽然深度残差网络层中，通过增加神经元的个数可以提取更多的数据特征，同时过多的神经元也很容易造成过拟合问题，导致训练完成的模型无法在实际环境中使用。这时就需要通过在深度残差网络层之间加入批标准化层的处理方式来提高模型训练后在实际使用中的泛化能力。同时合理的选择激活层的对应激活函数也是很重要的提升分类效果预防过度拟合的重要参数。

在深度残差网络对数据处理过程中，优化目标函数换成是逼近一个恒等映射,而不是0映射。这时学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。所以通过深层残差网络学习优化一个恒等映射的方式来替换优化目标函数逼近0映射的方式来提升分类效果，可以通过深层次的残差网络学习更多的数据集的特征提高识别效果，同时训练出来的模型泛化性能更好，可以在类似任务中广泛地推广使用。

在本申请中，使用了训练深度残差网络模型数据和测试深度残差网络模型数据分别独立输入的方式，也就说先将训练模型的数据输入到残差网络中，进行残差网络的训练，当训练完毕后，再将测试模型的数据输入到残差网络中进行对网络模型的准确率测试。故可以模拟实际使用的情况，提高在实际水下通信中的使用效果，更方便高效地完成水下通信调制识别，提高识别判断的准确度。因为在实际使用之前已经完成了对模型的训练及测试工作，在实际的上线使用中训练好的模型不需要进行参数的动态调整、数据处理和相应运算过程，而可以直接通过输入的数据判断输出的结果，具备延迟低、实时处理性好和效率高等优点。

在深度残差网络的多层结构中，结构中的每一层可以等同于分类器的形式。很难找到特定分类在每个层分类器中意味着什么的确切的可解释性的物理意义。事实上，每层中的各种神经元都客观地实现了分类器的功能。它对前一层中的特征向量输入进行采样，并将它们映射到新的向量空间。

在本申请实施例中的深度残差网络训练过程中，假设对残差网络的一段的输入是∈，预期的输出是是期望的输出结果。如果想学习这样的模型，训练会更加困难。如果已经获得了饱和度的准确性(或者发现较低层的误差很大)，那么下一个学习目标将转化为恒等映射。也就是说，输入∈近似于输出H(x)，以保持后续级别的精度不降低。基本残差结构中输入∈通过快捷方式连接作为初始结果直接传递给输出。输出为当时，则这是上述的同一性质的示意图。残余网络相当于改变学习目标，而不是学习完整输出，而是目标值和∈之间的差异，也称为残差等式因此，后一种训练目标是将残差结果近似为0，以便随着网络的加深精度不降低。残差网络不直接处理学习深度模型过程中存在的归纳问题。然而，更深更窄(在网络宽度上不扩展)的网络结构是一种良好的参数传递方式，可以在变化的方向上解决梯度问题。

残差网络借鉴了Highway Network网络架构的跳层连接的思路，但更进一步改进了这种网络结构。残差项最初是加权的，但恒等结构由恒等图替换。通过采用深度残差学习框架来解决深度残差网络，解决网络精度降低和退化的问题。事实上，使用剩余网络(仅重复参数化的实现)的模型表示没有直接的优势。然而，残差网络允许所有模型逐层地进行深度表征。残差网络使前馈/后向传播算法非常平滑。这样可以更轻松地优化更深层的剩余网络模型。这种残差跳跃结构打破了传统残差网络的前层输出只能用作后层输入的惯例。直接跨多个图层输出图层作为后一图层的输入。其重要意义在于解决叠加多层网络的问题，并使整个学习模型的错误率不降低而是提高。此时，残差网络的层数可以超过先前的约束，达到数十层，数百层甚至数千层，为高级语义特征提取和分类提供了可行性。

在本申请实施例中，基本的ResNeXT结构可以由两个基本模块组成，如下面的图3、图4所示。图3、图4中的虚线是基数层，图3表示结构形式1，图4表示结构形式2。在申请涉及的深度残差网络中，重复使用这两种结构组成了识别率较高的网络结构，如图2所示。这里激活函数表示与深度残差网络一起使用的激活函数。

在本申请实施例中，深度学习中反复出现的问题之一是需要大型训练集训练模型来获得良好的泛化模型。然而，大型训练集的计算成本也更高。数据集一旦输入模型进行训练，通常超出当前硬件训练数据的能力。随着训练集增长到数十亿水下通信数据的样本，一步梯度的计算可能需要相当长的时间。

为了解决数据集不能一次直接输入到模型中的问题，数据只能分批输入到模型中进行训练。那么批量输入模型的数据训练效果和所有数据输入模型的训练结果应该是一致的。在训练过程中，使用梯度下降来测量训练效果。梯度下降的核心是梯度是平均值，表明批量数据的概率分布与所有数据的概率分布一致。这意味着可以使用来自大规模数据的小规模样本来估计估计值。并且深度学习算法中的代价函数通常可以分解为每个样本的代价函数的总和。

在具体实施方案设计中，在算法的每个步骤中，从训练集均匀地绘制小批量(小批量)样本。小批量n′的数量通常是相对较小的数量，可以从一个到几百个中选择。重要的是，即使训练集的大小n增加，n′通常也是固定的。当在总水下通信数据集中拟合数十亿个样本时，每次更新计算仅使用几百个样本可能就足够了。然而，梯度下降通常被认为是缓慢或不可靠的，并且优化算法不一定在合理的时间量内保证局部最小值或全局最小值。需要更好的，不仅要加快训练模型，还要收敛到全局最小梯度下降算法，这就是Adam。Adam是一种优化算法，可以取代传统的随机梯度下降过程。它可以根据训练数据迭代地更新残差网络权重。

以下程序用于描述Adam梯度下降法，要优化的参数μ，目标函数ζ(μ)，β₁和β₂的初始学习率。然后执行迭代优化，其中每个epochl(epoch表示完整数据集通过模型的正向通过，随后反向通过模型。)，l表示纪元已经通过模型的次数。过程如下：

计算目标函数相对于当前参数的梯度

保持过去的一阶矩估计梯度k_l的指数衰减均值k_l＝β₁k_l-1+(1-β1)σ_l，并且存储过去的第二力矩估计梯度的平方G_l的指数衰减均值G_l＝β₂2G_l-1+(1-β₂)σ_l ²。

当前时刻下降梯度

如果k_l和G_l被初始化为0个矢量，则它们偏移到0，因此通过在偏差校正之后计算k_l和G_l来进行偏差校正以抵消这些偏差。渐变更新规则其中∈是一个小的正整数，以防止分母为0。

在本发明的具体实施方案设计中，可以看出，Adam算法不同于常用的SGD(随机梯度下降)。SGD保持单一学习率来更新所有权重，并且在训练期间学习率不会改变。Adam通过计算梯度的一阶和二阶矩估计来设计不同参数的独立自适应学习率，从而提高了对水下通信信号的识别。特别地，从具有稀疏特性的水下信道获得的稀疏信号数据更适合于在Adam中使用稀疏数据处理的自适应方法。

在本发明的方案实施设计时，通常的深度学习模型训练过程是模型训练的训练数据集，在训练完成后，然后使用验证数据集进行训练模型验证。在此过程中，有必要采取措施来衡量模型的训练结果并验证模型的有效性。这里的度量是通常的交叉熵函数。交叉熵是成本函数，其基于预测数据集的预测值和预测数据集的真实值来描述模型的大小。假设深度残差网络中使用的神经元的输出形式是γ＝δ(y)，这里δ是激活函数，形式为它采用sigmoid函数的形式，其值范围从0到1。神经元y的基本操作形式是y＝∑_iλ_is_i+b，其中i是相应的残差网络层神经元序列号，可以取任何大于或等于2的值。λ_i是神经元的权重，s_i是神经元的输入，是偏差。成本函数适合于交叉熵的原因在于，通过交叉熵的操作所获得的值必须是正的。预测结果值越小，它越准确，这使得更容易测试模型的最终效果。

在方案具体实施时，从图5中可以看出，当val_error和training_loss.&.error收敛到最小值时，模型在训练数据集和验证数据集上实现了期望的结果，从而完成了模型的训练。在图中，实线val_error是验证数据集上模型验证的变化，虚线training_loss.&.error是训练数据集中模型训练的变化。横轴表示训练时间，模型在15次训练后收敛，表明所提出的模型对于水下通信的调制识别是有效的。在上图中，纵轴表示损耗率，其是由计算的交叉熵函数的公式计算。从图中可以看出，当最初输入验证集的数据时，快速收敛开始，并且当达到第5个训练时间时，几乎收敛到理想值。虽然仍有波动，但在振荡周围的最小收敛损失率仍然非常稳定。这进一步说明了所用模型的效率，并且可以用很少的训练时间训练获得水下通信调制信号数据集中的数据的概率分布。

在申请实施例中，在图6、图7中，横轴是模型对接收信号如何被调制的判断，纵轴表示数据的真实调制。在图6的左侧SNR＝-6db，BPSK和8PSK具有高识别率。此时QPSK更容易被误判为8PSK，因为这两种调制方法相对类似。16QAM容易误判为QPSK和8PSK，但不会误判为BPSK。在图7中当SNR上升到-2dB时，可以很好地区分四种调制模式。尽管QPSK的一部分被误判为8PSK，但8PSK的识别率非常高。该模型在低SNR比率下表现良好。

全连接判断层可以输出存在哪种调制方式的结果判断。而在另外一些实例中，全连接判断层也可以输出是否需要进一步的判断调制方式，如果是某种调制方式应该能更好的归类为某种调制方式的判断。

全连接判断层可以通过输出概率的方式来判断最终结果。此外，在其他一些示例中，全连接判断层也可以采用各种非线性或者是线性分类器的方式比如随机森林、决策树、支持向量机等。甚至在某些示例中，全连接判断层也可以使用一些简单的数值操作方法，比如最大值判断法、平均值判断法等。

由上述实施例可知，本实施例提供的用于水下通信调制识别的深度残差网络包含多个深度残差网络层，而且随着深度残差网络层深度的递增，深度残差网络层对数据的辨识能力递增，进而使得本申请提供的深度残差网络在用于水下通信时，可以提高在实际水底通信中的使用效果，更方便高效地完成水底通信调制识别，提高在水底通信过程中调制识别判断的准确度

参见图8，本申请实施例还提供了一种用于水下通信调制识别的系统。本申请实施例提供用于水下通信调制识别的系统20的包括上述实施例提供的深度残差网络10，所深度残差网络10包括：数据预处理层101、数据特征提取层102和数据分类结果输出层103。

本申请还提供了一种终端，如图9所示，所述终端30包括：处理器301、存储器302和通信接口303。

在图9中，处理器301、存储器302和通信接口303可以通过总线相互连接；总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器301通常是控制终端30的整体功能，例如终端的启动、以及终端启动后对深度残差网络的训练等。此外，处理器301可以是通用处理器，例如，中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC)，可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD)，现场可编程逻辑门阵列(FPGA)等。

存储器302被配置为存储计算机可执行指令以支持终端30数据的操作。存储器301可以可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

启动终端30后，处理器301和存储器302上电，处理器301读取并执行存储在存储器302内的计算机可执行指令，以完成上述的深度残差网络的训练。

通信接口303用于终端30传输数据，例如实现与水下通信设备之间的数据通信。通信接口303包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口包括USB接口、Micro USB接口，还可以包括以太网接口。无线通信接口可以为WLAN接口，蜂窝网络通信接口或其组合等。

在一个示意性实施例中，本申请实施例提供的终端30还包括电源组件，电源组件为终端30的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为终端30生成、管理和分配电力相关联的组件。

通信组件，通信组件被配置为便于终端30和其他设备之间有线或无线方式的通信。终端30可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在一个示意性实施例中，终端30可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、处理器或其他电子元件实现。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统及终端实施例而言，由于其中的深度残差网络基本相似于深度残差网络的实施例，所以描述的比较简单，相关之处参见深度残差网络实施例中的说明即可。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims

1.一种用于水下通信调制识别的深度残差网络，其特征在于，包括：

数据预处理层，所述数据预处理层包括第一深度残差网络层，所述第一深度残差网络层用于将接收到的多种调制方式数据进行预处理；

数据特征提取层，所述数据特征提取层包括第二深度残差网络层、第三深度残差网络层和第四深度残差网络层，所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层对数据特征识别提取能力逐渐增强，经过所述第一深度残差网络层预处理后的数据依次经过所述第二深度残差网络层、第三深度残差网络层和第四深度残差网络层进行数据特征提取；

数据分类结果输出层，所述数据分类结果输出层包括第五深度残差网络层，所述第五深度残差网络层用于根据所述第四深度残差网络层提取的特征数据进行判断并输出最终识别的调制方式。

2.根据权利要求1所述的用于水下通信调制识别的深度残差网络，其特征在于，所述第一深度残差网络层将水下通信传输过来的多种调制方式数据，经过数据格式改变，实现多种调制方式数据的预处理。

3.根据权利要求1所述的用于水下通信调制识别的深度残差网络，其特征在于，所述第二深度残差网络层包括：第一深度残差网络单元、第二深度残差网络单元、第三深度残差网络单元和第四深度残差网络单元，所述第一深度残差网络单元包括：第一卷积层、第一批量标准化层和第一激活层；所述第二深度残差网络单元包括：第一数据处理路径和第二数据处理路径，所述第一数据处理路径和第二数据处理路径聚合输出；所述第三深度残差网络单元包括：第一添加层和第二激活层；所述第四深度残差网络单元包括第三数据处理路径和第四数据处理路径，其中所述第三数据处理路径和第四数据处理路径中任一处理路径直接和数据分类结果输出层连接。

4.根据权利要求3所述的用于水下通信调制识别的深度残差网络，其特征在于，所述第一数据处理路径由第一结构单元、第二结构单元、第三结构单元和第四结构单元组成，其中：所述第一结构单元包括：第三卷积层、第二批量标准化层和第三激活层；所述第二结构单元包括：基数层，所述基数层由多条数据并列数据路径经过一卷积层生成；所述第三结构单元包括：第三批量标准化层和第四激活层；所述第四结构单元包括：第四卷积层和第四批量标准化层。

5.根据权利要求1所述的用于水下通信调制识别的深度残差网络，其特征在于，所述第三深度残差网络层包括：第五深度残差网络单元、第六深度残差网络单元、第七深度残差网络单元和第八深度残差网络单元，所述第五深度残差网络单元包括：第二添加层和第五激活层；所述第八深度残差网络单元包括：第三添加层和第六激活层，所述第六深度残差网络单元和第七深度残差网络单元均包括两条数据处理路径。

6.根据权利要求1所述的用于水下通信调制识别的深度残差网络，其特征在于，所述第五深度残差网络层包括：第四添加层、第七激活层和输出层。

7.根据权利要求3-6任一项所述的水下通信调制识别的深度残差网络，其特征在于，批量标准化层用于在后向传播时解决梯度消失问题缓解深度残差难以训练的问题。

8.根据权利要求3-6任一项所述的水下通信调制识别的深度残差网络，其特征在于，激活层用于数据处理过程中归一化处理。

9.一种用于水下通信调制识别的系统，其特征在于，包括如权利要求1-8任一项所述的深度残差网络。