CN105488466A - 一种深层神经网络和水声目标声纹特征提取方法 - Google Patents

Abstract

一种深层神经网络和水声目标声纹特征提取方法，深层神经网络包括输入层、隐层和输出层，用于水声目标声纹特征的提取，输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，隐层的节点数小于输入层的节点数；水声目标声纹特征提取方法包括信号获取步骤、基频与谐波获取步骤和重构步骤，该深层神经网络根据水声目标信号特点进行了适应性的修改，可以实现水声目标信号基频、谐波的准确提取以及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，并能适应频率漂移。

Description

一种深层神经网络和水声目标声纹特征提取方法

技术领域

本发明涉及一种神经网络和特征提取方法，特别是一种深层神经网络和水声目标声纹特征提取方法，属于目标识别领域。

背景技术

水声信号中存在着如同指纹一样可区分个体的声纹特征。船舶辐射噪声主要由发电机、推进系统和船上辅助设备等声源产生，可以被探测设备所侦测获取。侦测到的水声信号中存在着与其多声源相应的区别与其他型号船舶的声纹特征，声纹特征包含简单特征和复杂特征，声纹特征中的线谱就是简单特征，这些特征线谱可以用频率、幅值和宽度描述，而特征线谱间存在的关联关系则为复杂特征，可以更精细地用重构信号的谱图表示。目前用于目标识别的水声信号特征提取方法均为浅层神经网络，尚无利用深层神经网络进行特征提取，更无利用深层神经网络进行可用于识别目标个体的声纹特征提取。

近些年来，深度学习(DeepLearning)作为机器学习(MachineLeaning)研究中的一个新的领域，以其在各个机器学习任务中所展现出来的优良的性能，得到了广泛的关注。深度学习的引入也在一定程度上使得机器学习更加接近其原始的目标：人工智能(ArtificialIntelligent)。在经典机器学习方法中，人工智能系统基于系统输入特征学习得到模型，从而实现分类和识别。在表示学习(RepresentationLearning)方法中，人工智能系统不仅学习如何从给定特征映射到系统输出，而且学习如何选择输入特征。然而在实际应用中，影响输入观察的因素非常多，如何从中抽取出更具代表性的高层特征，是表示学习所面临的困难。而基于深度学习的人工智能系统则实现了从底层的简单概念中构建得到高层复杂概念的能力。深度学习之所以被称为“深度”，是相对支撑向量机(SupportVectorMachine)、提升方法(Boosting)、最大熵方法等“浅层学习”方法而言的。深度学习的概念源于人工神经网络(ArtificialNeuralNetwork)的研究，最早由多伦多大学的Hinton等提出，其中在输入层和输出层之间包含超过一个隐层的神经网络，即深层神经网络(DeepNeuralNetwork)，就是一种深度学习结构。在神经网络研究领域，随机梯度下降和误差反传算法作为传统训练多层网络的典型算法，在训练包含多个隐层的神经网络时，难以达到理想的效果。其中，一个主要困难源于深层网络的非凸目标函数的局部最优点普遍存在，从而使得随机初始化的网络在训练中容易陷入一个较差的局部最优点。2006年，预训练(Pretraining)的概念被引入到了神经网络研究领域，很好地解决了DNN的模型优化所面临的问题。随着深层神经网络在许多机器学习任务中取得了良好的性能，神经网络又迎来新一轮的研究热潮。在机器视觉领域，深层神经网络在ImageNet竞赛中带来的显著性能提升。在自然语言处理领域，循环神经网络语言模型被广泛地应用到各个领域，取得了显著优于N元文法的性能。基于神经网络的方法也被应用到了许多自然语言处理任务中，例如机器翻译，命名体识别，词性标注，语义分析等。基于深层神经网络的语音识别声学模型成为了主流的建模方法，并在信息产业上取得了成功。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种深层神经网络和水声目标声纹特征提取方法，该深层神经网络根据水声目标信号特点进行了适应性的设计，利用该深层神经网络可以实现水声目标信号基频、谐波的准确提取以及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，并适应频率漂移。

本发明的技术解决方案是：一种深层神经网络，包括输入层、隐层和输出层，用于水声目标声纹特征的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐层的层数大于等于2，隐层的节点数小于输入层的节点数。

所述深层神经网络由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，浅层神经网络的隐层层数为1。

按浅层网络堆叠顺序依次对浅层神经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的训练数据。

对所有浅层网络进行预训练，将浅层神经网络学习得到的权重作为所述深度神经网络对应层的初始化权重。

在深度神经网络对应层的初始化权重基础上，对深层神经网络的权重进行微调，使其性能达到最优。

所述深层神经网络和浅层神经网络的激活函数为sigmoid函数。

采用批量梯度下降算法对所述深层神经网络和浅层神经网络进行训练。

所述深层神经网络和浅层神经网络进行网络学习的代价函数为信号重构的均方误差。

所述深层神经网络和浅层神经网络采用批量梯度下降算法进行网络权重更新，具体由公式：

$W_{ij}^{k+1}=W_{ij}^k-\mathrm{\α}\frac{\∂E}{\∂W_{ij}}$

给出，其中，W_ij为网络j层到i层的权重系数，α为学习率。

一种基于深层神经网络的水声目标声纹特征提取方法，主要包括：

获取水声目标原始信号谱的步骤；

从水声目标原始信号谱中提取基频和谐波的步骤；

将提取基频、谐波以及水声目标原始信号谱输入权利要求1中深层神经网络对原始信号谱进行重构的步骤。

本发明与现有技术相比的有益效果是：

该深层神经网络根据水声目标信号特点进行了适应性的设计，可以实现水声目标信号基频、谐波的准确提取以及原始信号谱的重构，削弱原始信号谱中包含的噪声线谱，对原始信号谱产生净化的作用，减小干扰线谱对最终船舶目标个体识别的影响，与现有方法相比，本发明具有一定的抗噪声干扰和频率漂移能力。

附图说明

图1为本发明中深层神经网络的第一种示意图；

图2为本发明中深层神经网络的第二种示意图；

图3为本发明的方法流程图；

图4为5层自编码网络堆叠形成示意图；

图5为本发明实施例中重构误差随迭代次数变化的关系示意图；

图6为本发明实施例中网络的收敛曲线示意图；

图7为本发明实施例中微调后网络的收敛曲线示意图；

图8为信噪比为-20dB时深层神经网络的重构结果示意图；

图9为信噪比为-28dB时深层神经网络的重构结果示意图；

图10为原始信号谱基频提取误差统计图。

具体实施方式

下面结合附图对本发明的具体实施方式进行进一步的详细描述。

图1和图2为本发明中深层神经网络示意图，从图1和图2可知，本发明提出的一种深层神经网络，包括输入层、隐层和输出层，所述深层神经网络主要用于水声目标声纹特征的提取，所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐层的层数大于等于2。

深层神经网络使用原始信号谱作为监督信息，对其进行重构，网络隐层输出则可以看成是对输入信号的编码表示。根据隐层节点数的不同，自编码网络可分成两种：

(i)隐层节点数小于输入节点数，网络隐层可看成是对信号的压缩编码；

(ii)隐层节点数大于输入节点数，网络隐层可更加充分的刻画输入信号的分布。

本发明关注的问题是从受噪声污染的目标信号中重构原始信号谱，而原始信号谱为稀疏分布的谐波信号，因此本发明采用第一种结构。

所述深层神经网络可直接根据需要对输入层、隐层和输出层分别进行设定，也可由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，其中隐层的层数为1。

当采用多个浅层神经网络顺序堆叠形成时，为了取得更好的效果，需要预先对每一个浅层神经网络进行训练和学习，进行训练时，需要按浅层网络堆叠顺序依次对浅层神经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的训练数据。在进行学习时，需要将所有浅层神经网络学习得到的权重作为所述深度神经网络对应层的初始化权重。

以图4中的5层自编码网络Net3为例，该网络可以看成由Net1、Net2两个网络堆叠而成。首先训练Net1网络并将其隐层输出作为Net2网络的训练数据。将Net1、Net2网络学习得到的权重作为Net3网络对应层权重的初始化值，在此基础上，对Net3进行微调，使其性能达到最优。

为了使得以上的深层神经网络和浅层神经网络获取更好的效果，本发明在对深层神经网络和浅层神经网络进行训练和学习时优选了以下方法：

(i)为了使网络具有非线性映射的能力，提高网络的学习性能，选择sigmoid函数作为网络的激活函数。sigmoid函数是非线性函数，具有刻画非线性能力，并适用于归一化信号。sigmoid函数基本形式如下：

$y=\frac{1}{1+e^{-x}}$

(ii)本发明使用批量梯度下降算法训练该网络。采用批量梯度下降算法具有快速收敛的优点。

网络学习的代价函数为信号重构的均方误差，对于样本数为N的数据集，重构误差表达式如下：

$Error=\frac{1}{2N}\underset{n=1}{\overset{N}{\Σ}}{(Y_n-X_n)}^2$

其中，X_n为自编码网络的重构输出，Y_n为干净目标信号。

(iii)采用批量梯度下降算法进行网络权重更新，具体由公式给出：

$W_{ij}^{k+1}=W_{ij}^k-\mathrm{\α}\frac{\∂E}{\∂W_{ij}}$

其中，W_ij为网络j层到i层的权重系数，α为学习率。

(iv)使用批量梯度下降算法对网络进行微调。

当然，对本领域的技术人员来讲，也可以采用其他的训练和学习方法对本发明中的深层神经网络和浅层神经网络进行训练和学习，以达到本发明中深层神经网络的功能。

如图3所示为本发明的方法流程图，从图3可知，本发明提出的一种水声目标声纹特征提取方法，基于本发明提出的深层神经网络实现，具体包括：

提取水声目标原始信号谱的步骤201；所述获取方式为采用目前常用的任何信号采集装置或者传感器获得的真实原始信号谱数据，或者为试验状态下通过缩比模型等获取的仿真原始信号谱，或者为计算机通过无噪声的水声目标信号与各种噪声叠加获得的模拟原始信号谱。

从水声目标原始信号谱中提取基频和谐波的步骤202；从原始信号谱中提取出目标的基频和谐波；本发明采用神经网络结构从原始信号谱中提取出目标的基频和谐波，进一步地，为了获得更好的声纹特征，采用深层神经网络结构从原始信号谱中提取出目标的基频和谐波。

将提取基频、谐波以及水声目标原始信号输入本发明中的深层神经网络对原始信号进行重构的步骤203。

需要注意的是，对装置的具体说明可以用来帮助方法的理解，对方法的说明也可以用于帮助装置的理解。

具体实施例

本文所用自编码网络共有三个隐藏层，各层的节点数如表1所示。其中输入层中500个节点为原始信号谱的频点数，51个节点对应于在基频取值范围内的所有频率，5个节点为3～7共5阶谐波阶次。

表1

	输入层	隐层1	隐层2	隐层3	输出层
						节点数	500+51+5	200	50	200	500

利用训练数据，训练单隐层神经网络。网络输入节点数为556、输出节点数为500，隐层节点数为100。图5给出了重构误差随迭代次数变化的关系。从图5中可知，当节点数小于100时，重构误差随节点个数的增加呈指数减小，当节点数大于100时，重构误差随节点个数的增加变化很小。

待网络收敛之后，使用训练数据作为网络输入，得到该网络的隐层输出H₁，作为下一网络的训练数据。训练新的单隐层自编码网络，网络输入、输出节点数为100，隐层节点数为50。网络的收敛曲线如图6所示。从图6可知，当节点数小于100时，重构误差随节点个数的增加呈指数减小，当节点数大于200时，重构误差随节点个数的增加变化很小。

将这两个浅层网络按照图4所示的方法进行堆叠，得到深层的自编码网络。预训练过程对网络参数进行了初始化，在此基础上，使用批量梯度下降算法对网络进行微调，网络的收敛曲线如图7所示。从图7中可知，当节点数小于100时，重构误差随节点个数的增加呈指数减小，当节点数大于100时，重构误差随节点个数的增加变化很小。

利用以上的自编码深度神经网络进行水声目标信号声纹特征提取，获得的结果如图8～图10所示，其中图8和图9所示为通过深度神经网络提取出目标信号的基频及其谐波，并据此对仿真产生的含噪声原始信号谱进行重构得到的重构信号谱。图8为采用深度神经网络从信噪比为-20dB、最大频率漂移为0.2Hz的含噪信号中重构出原始信号谱的结果，其中含噪谱中添加的噪声为高斯白噪声。从原始谱与重构谱的对比中可看出，重构信号的谐波信息比含噪谱更加清晰干净；当信噪比降低至-28dB时，深度神经网络仍可准确提取出基频及其谐波信息，如图9所示。与原始信号谱对比发现，神经网络对目标的基频及其谐波在频率和能量上的重构均较为准确，具备较强的抗噪声和抗频率漂移能力。如图10所示为其中330个原始信号谱检测样本的基频提取结果，从图中的误差统计中可看出，深度神经网络提取得到的目标的基频与真实的基频的误差非常小。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种深层神经网络，包括输入层、隐层和输出层，用于水声目标声纹特征的提取，其特征在于：所述输入层中的节点数为水声目标信号原始信号谱的频点数、基频取值范围内的所有频率的频点数以及谐波阶次之和，输出层的节点数为原始信号谱的频点数，所述隐层的层数大于等于2，隐层的节点数小于输入层的节点数。

2.根据权利要求1所述的一种深层神经网络，其特征在于，所述深层神经网络由多个浅层神经网络顺序堆叠形成，所述浅层神经网络包括输入层、隐层和输出层，浅层神经网络的隐层层数为1。

3.根据权利要求2所述的一种深层神经网络，其特征在于，按浅层网络堆叠顺序依次对浅层神经网络进行训练，并将在先神经浅层网络的隐层输出作为相邻在后浅层神经网络的训练数据。

4.根据权利要求2所述的一种深层神经网络，其特征在于，对所有浅层网络进行预训练，将浅层神经网络学习得到的权重作为所述深度神经网络对应层的初始化权重。

5.根据权利要求4所述的一种深层神经网络，其特征在于，在深度神经网络对应层的初始化权重基础上，对深层神经网络的权重进行微调，使其性能达到最优。

6.根据权利要求1～5中任一所述的一种深层神经网络，其特征在于，所述深层神经网络和浅层神经网络的激活函数为sigmoid函数。

7.根据权利要求1～5中任一所述的一种深层神经网络，其特征在于，采用批量梯度下降算法对所述深层神经网络和浅层神经网络进行训练。

8.根据权利要求1～5中任一所述的一种深层神经网络，其特征在于，所述深层神经网络和浅层神经网络进行网络学习的代价函数为信号重构的均方误差。

9.根据权利要求1～4任一所述的一种深层神经网络，其特征在于，所述深层神经网络和浅层神经网络采用批量梯度下降算法进行网络权重更新，具体由公式：

$W_{ij}^{k+1}=W_{ij}^k-\mathrm{\α}\frac{\∂E}{\∂W_{ij}}$

给出，其中，W_ij为网络j层到i层的权重系数，α为学习率。

10.一种基于权利要求1中深层神经网络的水声目标声纹特征提取方法，其特征在于，主要包括：

获取水声目标原始信号谱的步骤；

从水声目标原始信号谱中提取基频和谐波的步骤；

将提取基频、谐波以及水声目标原始信号谱输入权利要求1中深层神经网络对原始信号谱进行重构的步骤。