CN108846323A - 一种面向水下目标识别的卷积神经网络优化方法 - Google Patents

Abstract

本发明公开了一种面向水下目标识别的卷积神经网络优化方法，属于水下目标识别技术领域，本发明将原始声音数据通过短时傅里叶变换等操作转化为灰度声谱图像，之后将单层SAE判别式分类法和多层SAE重建式分类法分别添加到Alexnet模型当中，将灰度声谱图像进行打标签和训练，用灰度声谱图像的70％作为训练集，用其余的30％作为测试集，将训练集和测试集分别应用在改进前的Alexnet模型和改进后的Alexnet模型中进行准确率和训练时间对比实验，并对测试的结果进行分析。本发明对卷积神经网络中的目标分类层进行优化，解决了当前卷积神经网络在水下目标识别领域的分类准确率不高等问题，较改进之前更适用于水下目标识别领域，对水下目标领域取得了更好的分类效果。

Description

一种面向水下目标识别的卷积神经网络优化方法

技术领域

本发明属于水下目标识别技术领域，具体涉及一种解决当前卷积神经网络在水下目标识别领域的分类准确率不高等问题的面向水下目标识别的卷积神经网络优化方法。

背景技术

当前，各国对海洋经济和军事地位越来越重视，都在大力进行相关研究。我国仍处于比较落后的阶段。因此，随着我国军事自动化建设步伐的推进，对水下目标识别的研究亟待解决。

在水下目标识别中，目标分类是整个水下目标识别过程的关键。在原始的水下目标识别中，主要是根据声呐员的经验和主观判断来确定目标的类型，此法有一定的弊端。经验主义很有可能在某个关键时刻发生错误甚至产生相反的结果。后来开始运用声学信号理论、现代谱理论来进行水下目标的识别，识别精度和效率有了一定的提升。但随着当前各种传感器形式的增加、各种信息量的增大、水下环境的噪声干扰的增多，水下目标识别问题又开始变得越来越复杂。因此，依靠传统的方法已不能满足当前的需要，而神经网络对处理那些环境信息复杂、背景知识模糊的分类问题，具有明显的优越性。

分类器是由大量数据和标签训练出来的一种模型或者函数。分类器是识别任务中必不可少的组件，只有通过分类器才能将一些很复杂的数据进行分类。因此，分类器性能的好坏对最终的分类结果有很大的影响。

稀疏自编码器是一种给定一个输入的前提下，通过一定的约束，尽最大可能的复现原有的输入，使复现的输入以一种不同的形式来承载原始数据的所有主要信息的网络系统。稀疏自编码器对包含复杂特征的数据有较好的复现效果，同时能有效提取隐含特征，因而本发明采用以稀疏自编码器为技术基础进行相关研究。

当前卷积神经网络主要应用于传统图像领域，在水下目标领域应用较少，取得的成绩不尽如人意。由于水下领域中采集的数据较传统图像数据，具有更抽象更复杂的特征表示，因而应用于传统图像领域的卷积神经网络相关模型具有一定的局限性。因此，本发明将优化卷积神经网络中的目标分类层相关优化方案，使得优化后的卷积神经网络能较改进之前更适用于水下目标识别领域，使得针对水下目标领域能取得更好的分类效果。

发明内容

本发明的目的在于提供一种解决目前卷积神经网络在水下目标识别领域的分类准确率不高，且更适用于水下目标识别领域，针对水下目标领域能取得更好分类效果的面向水下目标识别的卷积神经网络优化方法。

本发明的目的是这样实现的：

本发明公开了一种面向水下目标识别的卷积神经网络优化方法，主要包括以下步骤：

(1)将原始声音数据通过短时傅里叶变换等操作转化为灰度声谱图像；

(2)将单层SAE判别式分类法和多层SAE重建式分类法分别添加到Alexnet模型当中；

(3)将灰度声谱图像进行打标签和训练，用灰度声谱图像的70％作为训练集，用其余的30％作为测试集；

(4)将训练集和测试集分别应用在改进前的Alexnet模型和改进后的Alexnet模型中进行准确率和训练时间对比实验；

(5)对测试的结果进行分析。

对于一种面向水下目标识别的卷积神经网络优化方法，所述的步骤(1)包括以下步骤：

(1.1)采集水下声音数据，通过短时傅里叶变换等方法，将声音数据转换为声谱图像，然后将得到的声谱图像，作为Alexnet卷积神经网络模型的输入；

(1.2)对声谱图像进行初始特征表示，将得到声谱图像放入到Alexnet网络模型进行预学习，经过包含卷积操作、激活函数激活、池化操作、图像归一化以及全连接层处理后，生成一个一维矢量。

对于一种面向水下目标识别的卷积神经网络优化方法，所述的步骤(2)中单层SAE判别式分类法针对准确率进行优化，主要包括：

在经过卷积神经网络的预学习阶段之后，得到初始特征表示，然后在Softmax分类器的顶部即入口处，加入一个稀疏自编码器的编码部分，在稀疏自编码器的编码部分中，网络输入x_i通过一个非线性激活函数g(·)被映射到S维隐含层中得到隐含层表示h_i∈^S中，映射过程为：

其中，W^(e)∈^S×D表示编码器的权重矩阵，表示编码器的偏置量，选用的非线性激活函数为Sigmoid函数，通过上式的映射过程可以完成向量的降维操作，获得更加重要的特征向量。

对于一种面向水下目标识别的卷积神经网络优化方法，所述的步骤(2)中多层SAE重建式分类法针对训练时间进行优化，多层SAE重建式分类法主要包括三部分，初始特征表示的获取，自编码器模型的训练，还有测试集输入、误差分析、分类；

初始特征表示的获取主要通过Alexnet网络模型进行原始图像的特征提取和分析，然后经过最后一个全连接层得到初始特征表示；

自编码器模型的训练主要是针对已有的测试集图像和目标种类，对自编码器进行有监督式学习，并通过与神经网络反馈调节类似的算法进行训练，进而得到一个相对稳定的自编码器模型；

测试集输入、误差分析、分类主要是对初始特征表示进行重建复原，将重建后的图像与原有输入图像进行对比，采用类似欧氏距离的误差计算方法，分别将原始图像与重建图像中每个像素点的值提取出来，组成一个一维向量： 其中，向量中a[]代表一个像素点的灰度值，之后计算二者的像素值误差ρ(A,B)：

设定初始值λ，结合相关传统图像误差分析理论，将λ的值设定为10-³，然后将每个误差值组成一个新的c维向量，选出其中与初始值λ的绝对值作差最小的值，即：

ρ_min(A,B)＝min(|ρ_k(A,B)-λ|),k＝1,2,...,c

根据上式的结果找出产生此重建图像的自编码器，进而确定原始测试图像所属种类。

本发明的有益效果在于：

本发明考虑到目标识别领域中目标分类的重要性，主要针对目标分类层进行优化。站在目标识别领域中准确率和时间两方面角度，结合稀疏自编码器和卷积神经网络的相关特点，提出了基于稀疏自编码器的卷积神经网络组合优化方法。一共提出两种方法，第一种优化方法侧重于在准确率方面的提高来进行改进，即通过利用自编码器中编码部分具有的良好的降维低损失的特性，在卷积神经网络中的全连接层与分类层之间添加了一个编码层。

第二种优化方法侧重于在减少训练与测试时间的方面来进行改进，即针对每一个分类训练一个特定的自编码器，当新图像输入时，通过多个自编码器进行重建操作，并对比重建误差，找出误差最小的自编码器，进而找出目标类别，完成目标分类。此方法的优势在于当有新类别进入的时候，只需训练一个对应的自编码器加入到结构当中，无需重复再对卷积神经网络模型进行完全训练，能有效提升系统的识别效率，在时间优化上较改进之前有明显进步，提升了一倍。

附图说明

图1为本发明中面向水下目标识别的卷积神经网络优化方法的流程示意图；

图2为本发明中Alexnet网络模型结构示意图；

图3为本发明中初始特征表示生成流程示意图；

图4为本发明中单层SAE判别式分类法示意图；

图5为本发明中多层SAE重建式分类法示意图；

图6为本发明中使用单层SAE判别式分类法与未使用单层SAE判别式分类法分类结果比较曲线；

图7为本发明中使用多层SAE重建式分类法与未使用多层SAE重建式分类法分类结果对比图。

具体实施方式

下面结合附图对本发明做进一步描述。

结合图1，本发明公开了一种面向水下目标识别的卷积神经网络优化方法，主要包括以下步骤：

(1)将原始声音数据通过短时傅里叶变换等操作转化为灰度声谱图像；

(2)将单层SAE判别式分类法和多层SAE重建式分类法分别添加到Alexnet模型当中；

(3)将灰度声谱图像进行打标签和训练，我们用灰度声谱图像的70％作为训练集，用其余的30％作为测试集；

(4)将训练集和测试集分别应用在改进前的Alexnet模型和改进后的Alexnet模型中进行准确率和训练时间对比实验；

(5)对测试的结果进行分析。

目前，对于水下目标识别，国内外领域的专家都在积极的研究，学者提取了许多的模型和方法。但大部分都是针对特征提取方面进行相关优化改进，对于目标分类的优化研究相对较少。本发明将从准确率优化和训练时间优化两方面，分别提出了两种在分类器上的改进算法。第一种改进是基于稀疏自编码器的Softmax优化分类改进模型算法；第二种改进是基于稀疏自编码器的重建误差分析的快速分类模型算法，其主要观点和内容如下：

(1)本发明是针对目标分类层进行研究，研究对象较针对目标特征提取相关研究有所不同，并不是传统的图像数据，而是通过预学习卷积神经网络模型进行预处理后的矢量数据，然后基于此矢量数据再进行目标的分类。

首先，对水下声音数据通过短时傅里叶变换等方法，将声音数据转换为图像数据，即声谱图像；然后将得到的声谱图像，作为卷积神经网络模型的输入。在本发明中，所采用的卷积神经网络模型为Alexnet，此模型结构总共拥有五层卷积层和三层全连接层。每层都拥有不同的训练参数。网络结构图如图2所示。此网络模型最早是用于2012年Imagenet比赛，并取得了冠军。这个模型最早证明了卷积神经网络在解决复杂问题下的有效性，同时推动了GPU在深度学习图像识别领域的应用。

(2)本将得到声谱图像放入到Alexnet网络模型进行预学习，经过包含卷积操作、激活函数激活、池化操作、图像归一化以及全连接层处理后，生成一个一维矢量，在本发明命名为初始特征表示。如图3所示。图3中最上方为声谱图像，最下方为生成的初始特征表示。在此初始特征表示中，横轴表示最后一层全连接层中所含节点的个数(图中采用的节点数为2500个)，每一个节点都有一个对应的灰度值。纵轴在这里表示每个像素点的灰度值情况。将图像的像素值从0-255归一化到0-1之间。

(3)针对准确率优化的情景下，本发明提出一种新的分类方法：单层SAE判别式分类法。在经过卷积神经网络的预学习阶段之后，得到初始特征表示，然后在Softmax分类器的顶部即入口处，加入一个稀疏自编码器的编码部分。在稀疏自编码器的编码部分中，网络输入x_i通过一个非线性激活函数g(·)被映射到S维隐含层中得到隐含层表示h_i∈^S中,映射过程如下所示，

h_i＝g(W^(e)x_i+b^(e)) (1)

其中，W^(e)∈^S×D表示编码器的权重矩阵，表示编码器的偏置量。本发明中选用的非线性激活函数为Sigmoid函数。通过式1中的映射过程可以完成向量的降维操作，从而进一步获得更加重要的特征向量。图4主要展示了单层SAE判别式分类法的流程示意图，在图4中，最上侧图片是通过Alexnet学习得到的初始特征表示，将此特征表示作为网络输入，输入到SAE中。由于隐含层的维度小于输入层的维度，初始特征表示在进入到编码阶段后，进行了一种降维操作，以更小的维度来描述原始数据而尽量不损失数据信息，将更为重要的信息保留了下来。通过编码阶段，得到了一个维度更小的特征表示图，由2500维降至250维。

(4)针对训练时间优化的情景下，本发明又提出一种新的分类模式：多层SAE重建式分类法。此方法的基础思想是使用预先学习好的标签特征库，当有新的图像进入的时候来为此图像分配类标签。一方面，可以把目标识别任务等价地转变为目标匹配任务。而且有时因为海洋环境的复杂性和舰船自身的一些特性，比如同一艘舰船在相同海洋环境下使用不同的功率负载进行航行，或者在不同海洋环境下使用相同功率负载进行航行等等。因此需要有针对性处理这些问题；另一方面，针对复杂的特征类型有时通过一种训练模型可能不能较好地满足分类需求，有时在训练过程中会出现训练此种模型得到了一种较好的训练参数，但当其他类别的训练图像输入时，会将原有的学习到的较好的特征破坏掉，从而不能有效达到最佳分类的目的。图5主要展示了多层SAE重建式分类法的流程示意图，在图5中，可以将此结构分成三部分：初始特征表示的获取、自编码器模型的训练、测试集输入，误差分析及分类。第一部分，如本发明前文所述，通过Alexnet网络模型进行原始图像的特征提取和分析，然后经过最后一个全连接层得到初始特征表示，如图5中最上侧部分柱状图所示；第二部分，针对已有的测试集图像和目标种类，对自编码器进行有监督式学习，并通过与神经网络反馈调节类似的算法进行训练，进而得到一个相对稳定的自编码器模型，如图5中间部分所示，假设当前种类一共有c类，故针对每一个类别都训练出一个成熟的自编码器网络模型，编号AE₁，AE₂,...,AE_c。第三部分，将测试图像从下侧的初始特征表示入口再次输入进来，然后进入所有的自编码器模型中，对初始特征表示进行重建复原。然后将重建后的图像与原有输入图像进行对比，在这里采用了类似欧氏距离的误差计算方法，分别将原始图像与重建图像中每个像素点的值提取出来，组成一个一维向量：

向量中a[]代表一个像素点的灰度值。然后计算二者的像素值误差ρ(A,B)，如式2所示：

并设定初始值λ，结合相关传统图像误差分析理论，在本发明中将λ的值设定为10^-3。然后将每个误差值组成一个新的c维向量，选出其中与初始值λ的绝对值作差最小的值，即

ρ_min(A,B)＝min(|ρ_k(A,B)-λ|),k＝1,2,...,c (3)

根据式3的结果找出产生此重建图像的自编码器，进而确定原始测试图像所属种类。

本发明考虑到目标识别领域中目标分类的重要性，主要针对目标分类层进行优化。站在目标识别领域中准确率和时间两方面角度，结合稀疏自编码器和卷积神经网络的相关特点，提出了基于稀疏自编码器的卷积神经网络组合优化方法。一共提出两种方法，第一种优化方法侧重于在准确率方面的提高来进行改进，即通过利用自编码器中编码部分具有的良好的降维低损失的特性，在卷积神经网络中的全连接层与分类层之间添加了一个编码层。

通过对第一种方法进行仿真实验，发现准确率较优化改进之前有明显的提升，提升了27个百分点，收敛速度也较优化改进之前有了明显的改善，具体结果如图6所示。

第二种优化方法侧重于在减少训练与测试时间的方面来进行改进，即针对每一个分类训练一个特定的自编码器，当新图像输入时，通过多个自编码器进行重建操作，并对比重建误差，找出误差最小的自编码器，进而找出目标类别，完成目标分类。此方法的优势在于当有新类别进入的时候，只需训练一个对应的自编码器加入到结构当中，无需重复再对卷积神经网络模型进行完全训练，能有效提升系统的识别效率，在时间优化上较改进之前有明显进步，提升了一倍，如图7所示。通过相关仿真实验，本发明所提出的两种优化改进方法是有效可行的。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种面向水下目标识别的卷积神经网络优化方法，其特征在于，主要包括以下步骤：

(1)将原始声音数据通过短时傅里叶变换等操作转化为灰度声谱图像；

(2)将单层SAE判别式分类法和多层SAE重建式分类法分别添加到Alexnet模型当中；

(3)将灰度声谱图像进行打标签和训练，用灰度声谱图像的70％作为训练集，用其余的30％作为测试集；

(4)将训练集和测试集分别应用在改进前的Alexnet模型和改进后的Alexnet模型中进行准确率和训练时间对比实验；

(5)对测试的结果进行分析。

2.根据权利要求1所述的一种面向水下目标识别的卷积神经网络优化方法，其特征在于，所述的步骤(1)包括以下步骤：

(1.1)采集水下声音数据，通过短时傅里叶变换等方法，将声音数据转换为声谱图像，然后将得到的声谱图像，作为Alexnet卷积神经网络模型的输入；

(1.2)对声谱图像进行初始特征表示，将得到声谱图像放入到Alexnet网络模型进行预学习，经过包含卷积操作、激活函数激活、池化操作、图像归一化以及全连接层处理后，生成一个一维矢量。

3.根据权利要求1所述的一种面向水下目标识别的卷积神经网络优化方法，其特征在于，所述的步骤(2)中单层SAE判别式分类法针对准确率进行优化，主要包括：

在经过卷积神经网络的预学习阶段之后，得到初始特征表示，然后在Softmax分类器的顶部即入口处，加入一个稀疏自编码器的编码部分，在稀疏自编码器的编码部分中，网络输入x_i通过一个非线性激活函数g(·)被映射到S维隐含层中得到隐含层表示h_i∈^S中，映射过程为：

h_i＝g(W^(e)x_i+b^(e))

其中，W^(e)∈^S×D表示编码器的权重矩阵，表示编码器的偏置量，选用的非线性激活函数为Sigmoid函数，通过上式的映射过程可以完成向量的降维操作，获得更加重要的特征向量。

4.根据权利要求1所述的一种面向水下目标识别的卷积神经网络优化方法，其特征在于：所述的步骤(2)中多层SAE重建式分类法针对训练时间进行优化，多层SAE重建式分类法主要包括三部分，初始特征表示的获取，自编码器模型的训练，还有测试集输入、误差分析、分类；

初始特征表示的获取主要通过Alexnet网络模型进行原始图像的特征提取和分析，然后经过最后一个全连接层得到初始特征表示；

自编码器模型的训练主要是针对已有的测试集图像和目标种类，对自编码器进行有监督式学习，并通过与神经网络反馈调节类似的算法进行训练，进而得到一个相对稳定的自编码器模型；

测试集输入、误差分析、分类主要是对初始特征表示进行重建复原，将重建后的图像与原有输入图像进行对比，采用类似欧氏距离的误差计算方法，分别将原始图像与重建图像中每个像素点的值提取出来，组成一个一维向量： 其中，向量中a[]代表一个像素点的灰度值，之后计算二者的像素值误差ρ(A,B)：

设定初始值λ，结合相关传统图像误差分析理论，将λ的值设定为10^-3，然后将每个误差值组成一个新的c维向量，选出其中与初始值λ的绝对值作差最小的值，即：

ρ_min(A,B)＝min(|ρ_k(A,B)-λ|),k＝1,2,...,c

根据上式的结果找出产生此重建图像的自编码器，进而确定原始测试图像所属种类。