CN110110796B - 一种基于深度学习的海上船舶时序数据的分析方法 - Google Patents

Abstract

一种基于深度学习的海上船舶时序数据的分析方法，它属于时序信息分析技术领域。本发明解决了传统方法对海洋环境下船舶目标时序数据分析结果的准确率低的问题。通过信息融合方式使LSTM模型在迭代中获得更多样化的时序信息，对数据的表征能力更强；根据相邻音频分帧输入特征的相似度对dropout的参数进行调整，达到一种动态反馈的效果，避免过度学习；对音频时序数据的处理和特征提取采用了划分频段分解的思想，先通过二维小波变换进行分解，再通过四组反卷积网络训练卷积核，再按比例抽取卷积核构建新的反卷积神经网络做待测时序数据的特征提取。采用本发明方法对海上船舶的音频时序数据分析结果准确率达到87.8％。本发明可以应用于时序信息分析技术领域。

Description

一种基于深度学习的海上船舶时序数据的分析方法

技术领域

本发明属于时序信息分析技术领域，具体涉及一种海上船舶时序数据的分析方法。

背景技术

近几年越来越多的人使用机器学习、深度学习等技术进行时间序列分析。随着大数据、云计算等概念的出现，也使得时序数据的资源大幅增加，正好满足了深度学习对于研究数据的需求，可以在更多的实际场景中进行时序数据的分析，如语音情绪识别、人体动作识别、路况信息分析等实际问题。

另外，如军事领域的场景，船舶的航行状态等时序问题也在受到深度学习领域的关注与尝试，但是由于海洋环境的复杂性，导致采用传统方法对海洋环境下船舶的目标时序数据分析结果的准确率较低。

发明内容

本发明的目的是为解决采用传统方法对海洋环境下船舶目标时序数据分析结果的准确率低的问题，而提出了一种基于深度学习的海上船舶时序数据的分析方法。

本发明为解决上述技术问题采取的技术方案是：一种基于深度学习的海上船舶时序数据的分析方法，该方法包括以下步骤：

步骤一、将船舶在海上行驶时发出的辐射噪声作为音频时序数据，从音频时序数据的初始时刻开始，每N秒确定一个加速状态；

且从音频时序数据的初始时刻开始，将音频时序数据的每N₀秒内数据切割为一个音频分帧，全部的音频分帧共同形成声谱图；

利用LSTM模型对声谱图中相邻的音频分帧的特征信息进行融合，即将声谱图中的第一个音频分帧与第二个音频分帧进行特征信息融合，将第三个音频分帧与第四个音频分帧进行特征信息融合，以此类推，直至声谱图中全部音频分帧的特征信息融合完成；

将第一个音频分帧与第二个音频分帧的特征信息融合结果作为第一个新的时间片的特征矩阵，将第三个音频分帧与第四个音频分帧的特征信息融合结果作为第二个新的时间片的特征矩阵，直至获得全部新的时间片的特征矩阵；

步骤二、通过主成分分析方法对每个新的时间片的特征矩阵分别进行对角化，获得每个新的时间片对应的对角化后特征矩阵X_1,new,X_2,new,X_3,new,X_4,new,…,X_M,new，其中：X_1,new、X_2,new、X_3,new、X_4,new和X_M,new分别代表第一个、第二个、第三个、第四个和第M个新的时间片对应的对角化后特征矩阵；并根据X_1,new和X_2,new计算出第一个和第二个新的时间片的余弦相似度，根据X_3,new和X_4,new计算出第三个和第四个新的时间片的余弦相似度；

同理，直至计算出全部新的时间片的余弦相似度；

步骤三、根据步骤二计算出的全部新的时间片的余弦相似度，按比例设置dropout参数的值，实现对dropout参数值的动态调整；通过对dropout参数值的动态调整获得改进的LSTM模型；

步骤四、对步骤一的声谱图进行二维小波分解获得四个不同频段的图像；

步骤五、分别搭建四组结构相同的反卷积神经网络，将步骤四获得的四个不同频段的图像各输入一组反卷积神经网络进行训练，直至各组反卷积神经网络的损失函数值均不再减小时停止训练，获得四组训练好的反卷积神经网络；

步骤六、按比例抽取步骤五训练好的四组反卷积神经网络的卷积层中的卷积核组成新的卷积核，将新的卷积核作为反卷积神经网络的卷积核，获得新的反卷积神经网络；

步骤七、对于待测的音频时序数据，采用步骤一的方法对待测音频时序数据进行处理获得声谱图；

再对获得的声谱图进行二维小波分解，获得待测音频时序数据对应的四个不同频段的图像；

将待测音频时序数据对应的四个不同频段的图像输入新的反卷积神经网络，并将新的反卷积神经网络的输出作为改进的LSTM模型的输入，根据改进的LSTM模型的输出对海上船舶的航态进行预测，实现对海上船舶时序数据的分析。

本发明的有益效果是：本发明的一种基于深度学习的海上船舶时序数据的分析方法，本发明通过信息融合方式使LSTM模型在迭代中获得更多样化的时序信息，对数据的表征能力更强；根据相邻音频分帧输入特征的相似度对dropout的参数进行调整，达到一种动态反馈的效果，避免过度学习；而且对音频时序数据的处理和特征提取采用了划分频段分解的思想，先通过二维小波变换进行分解，再通过四组反卷积网络训练卷积核，再按比例抽取卷积核构建新的反卷积神经网络做待测时序数据的特征提取。

采用本发明的方法对海上船舶的音频时序数据分析达到了很好的效果，提高了对海洋环境下船舶目标时序数据分析结果的准确率，对海上船舶的音频时序数据分析结果的准确率可以达到87.8％。

附图说明

图1是本发明的相邻音频分帧进行特征信息融合的示意图；

图中：A代表相邻音频分帧的信息融合结果，X₁是输入的第一个音频分帧的特征信息，X₂是输入的第二个音频分帧的特征信息，X₃是输入的第三个音频分帧的特征信息，X₄是输入的第四个音频分帧的特征信息，X₅是输入的第五个音频分帧的特征信息，X₆是输入的第六个音频分帧的特征信息；

图2是本发明的二维小波变换的示意图；

图中：L和H代表对声谱图行分解的结果，LL、LH、HL和HH代表对行分解结果进行列分解的结果，即LL、LH、HL和HH分别代表四个不同频段的图像；

图3是在多种融合参数下，采用信息融合方式与未采用信息融合方式的LSTM模型的准确率的对比图；

图4是在多种融合参数下，采用信息融合方式的CNN-LSTM模型与未采用信息融合方式的CNN-LSTM模型的准确率的对比图。

具体实施方式

具体实施方式一：本实施方式所述的一种基于深度学习的海上船舶时序数据的分析方法，该方法包括以下步骤：

步骤一、将船舶在海上行驶时发出的辐射噪声作为音频时序数据，从音频时序数据的初始时刻开始，每N秒确定一个加速状态；

且从音频时序数据的初始时刻开始，将音频时序数据的每N₀秒内数据切割为一个音频分帧，全部的音频分帧共同形成声谱图；

若音频时序数据的初始时刻为t₀＝0，则在N、2N、3N…时刻分别确定一个加速状态；将N₀时刻内的音频时序数据作为第1个音频分帧，将N₀+1至2N₀时刻内的数据作为第2个音频分帧，将2N₀+1至3N₀时刻内的数据作为第3个音频分帧，以此类推；

声谱图中的每个音频分帧经过CNN的特征提取后(即获得每个音频分帧的特征信息后)，再将特征信息按照每个音频分帧对应的时间顺序输入进LSTM网络；

利用LSTM模型对声谱图中相邻的音频分帧的特征信息进行融合，即将声谱图中的第一个音频分帧与第二个音频分帧进行特征信息融合，将第三个音频分帧与第四个音频分帧进行特征信息融合，以此类推，直至声谱图中全部音频分帧的特征信息融合完成；

将第一个音频分帧与第二个音频分帧的特征信息融合结果作为第一个新的时间片的特征矩阵，将第三个音频分帧与第四个音频分帧的特征信息融合结果作为第二个新的时间片的特征矩阵，直至获得全部新的时间片的特征矩阵；

步骤二、通过主成分分析方法对每个新的时间片的特征矩阵分别进行对角化，获得每个新的时间片对应的对角化后特征矩阵X_1,new,X_2,new,X_3,new,X_4,new,…,X_M,new，其中：X_1,new、X_2,new、X_3,new、X_4,new和X_M,new分别代表第一个、第二个、第三个、第四个和第M个新的时间片对应的对角化后特征矩阵；并根据X_1,new和X_2,new计算出第一个和第二个新的时间片的余弦相似度，根据X_3,new和X_4,new计算出第三个和第四个新的时间片的余弦相似度；

同理，直至计算出全部新的时间片的余弦相似度；

每两个相邻新的时间片的余弦相似度计算完成是指：计算出第一个和第二个新的时间片的余弦相似度，第三个和第四个新的时间片的余弦相似度，第五个和第六个新的时间片的余弦相似度，……，以此类推，直至计算出第M-1个和第M个新的时间片的余弦相似度；

步骤三、根据步骤二计算出的全部新的时间片的余弦相似度，按比例设置dropout参数的值，实现对dropout参数值的动态调整；通过对dropout参数值的动态调整获得改进的LSTM模型；

步骤四、对步骤一的声谱图进行二维小波分解获得四个不同频段的图像；

步骤五、分别搭建四组结构相同的反卷积神经网络，将步骤四获得的四个不同频段的图像各输入一组反卷积神经网络进行训练，直至各组反卷积神经网络的损失函数值均不再减小时停止训练，获得四组训练好的反卷积神经网络；

步骤六、按比例抽取步骤五训练好的四组反卷积神经网络的卷积层中的卷积核组成新的卷积核，将新的卷积核作为反卷积神经网络的卷积核，获得新的反卷积神经网络；

除了卷积核的部分之外，新的反卷积神经网络的结构与步骤五搭建的反卷积神经网络的结构相同；

步骤七、对于待测的音频时序数据，采用步骤一的方法对待测音频时序数据进行处理获得声谱图；

再对获得的声谱图进行二维小波分解，获得待测音频时序数据对应的四个不同频段的图像；

将待测音频时序数据对应的四个不同频段的图像输入新的反卷积神经网络，并将新的反卷积神经网络的输出作为改进的LSTM模型的输入，根据改进的LSTM模型的输出对海上船舶的航态进行预测，实现对海上船舶时序数据的分析。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述对声谱图中相邻的音频分帧的特征信息进行融合，即将声谱图中的第一个音频分帧与第二个音频分帧进行特征信息融合，将第三个音频分帧与第四个音频分帧进行特征信息融合，以此类推，直至声谱图中全部音频分帧的特征信息融合完成；

将第一个音频分帧与第二个音频分帧的特征信息融合结果作为第一个新的时间片的特征矩阵，将第三个音频分帧与第四个音频分帧的特征信息融合结果作为第二个新的时间片的特征矩阵，直至获得全部新的时间片的特征矩阵，其具体过程为：

x_(t+1)2′＝a·x_t+b·x_t+1

式中：a和b的取值均为0或1，且a和b的取值符合概率为p₀的两点分布；x_t代表第t个音频分帧的特征信息，x_t+1代表第t+1个音频分帧的特征信息，x_(t+1)2′代表第(t+1)/2个新的时间片的特征矩阵，其中：t＝1,3,5,…,2M-1；

同理，获得全部的M个新的时间片的特征矩阵。

主要思想如下：当a＝0而b＝1时，代表此时在两时刻中选择后一时刻的信息而抛弃前一时刻的信息；当a＝1而b＝0时，代表此时在两时刻中选择前一时刻的信息而抛弃后一时刻的信息；当a＝1而b＝1时，代表此时在两时刻中信息进行融合成新的输入进入网络；当a＝0而b＝0时，代表此时在两时刻中信息全部抛弃，继续取下两个时刻的融合结果作为此时输入。对于概率p0的数值，则在多次试验中探索最优情况即可；

经过信息融合后的LSTM模型的展开形式如下：

从图1中可看出，信息融合有时候相邻两个时刻特征组成新输入特征，有时候抛弃掉相邻特征，进行特征状态在隐藏层的跳级连接，这种连接方式大大提高了时序关系的多样性。

Dropout是一种类似Bagging的方法，当使用dropout方法时，对于模型内部的每个权值矩阵，有一定的概率被包括进计算，在迭代算法中如梯度下降法中，每个权值矩阵可能被反复的计算或不参与计算，这种随意丢弃形成子网络、最终汇总有些类似集成学习的思想，从统计角度来说最终形成一种类似Bagging的无偏估计模型。Dropout的计算方式比较简单，在计算过程中每次随机产生n个0或1的数和权值矩阵相乘，这样决定权值矩阵是否参与计算，复杂度为O(n)。

关于dropout在时序分析中的应用由Moon等提出RNNDrop的方法，在每次迭代时对输入进行dropout操作，后来又实现的Variational RNN网络将RNN替换为LSTM，重新在迭代外层实现了dropout，LSTM模型中记忆细胞的更新公式变为：

C_t'＝tanh(W_C·[h_t-1,x_t']+b_C)

C_t＝m_t*(f_t*C_t-1+i_t*C_t')

其中m_t表示dropout操作的二值掩蔽矩阵，矩阵中只包含0和1，和记忆细胞进行内积来随机置0。近期经Gaofeng Cheng等人发现，对记忆细胞直接进行dropout会产生记忆损失，从公式可知，二值掩蔽函数直接作用在C_t上。h_t-1已经是由C_t-1计算而来，对整体进行dropout对记忆细胞的损失过多，再经由隐藏层的间接损失，经实验表明，在经过八到九次迭代后最初记忆细胞的内容会损失一半以上，这不利于时序关系的提取，Gaofeng Cheng等人提出了对记忆细胞中的部分更新变量进行dropout的方法，而非对记忆细胞整体进行dropout，如公式所示：

C_t'＝tanh(W_C·[h_t-1,x_t']+b_C)

C_t＝f_t*C_t-1+m_t*(i_t*C_t')

从公式中可看出，此方式减少了对记忆细胞的损失，只对当前要输入的特征部分采用了dropout，但仍有一定可改进的空间，此模型dropout的参数是固定的，对于记忆细胞进行无差别的噪声添加或特征随机失活使模型的灵活性变差，随时序增加当特征随着场景变化出现较大变化或异常突变时，仅仅对过去的特征进行dropout即部分置零会削弱过去特征在建立长时关联中所占的比重。随时序特征变化增大，应该对过去记忆细胞中的特征进行补偿，减少记忆细胞受当前时刻可能存在的无关信息影响，这也正是遵循了正则化方法的思想，避免过度学习的倾向。

具体实施方式三：本实施方式与具体实施方式二不同的是：骤三中按比例设置dropout参数的值，实现对dropout参数值的动态调整，其具体过程为：

dropout参数值与余弦相似度按比例设置，dropout rate一般不超过0.8，保证原有信息不受过多干扰，故提出dropout rate在0.2～0.7范围内根据余弦相似度0～1按比例进行滑动，动态调整，初始值为0.3，用公式表示为：

其中，p为dropout的参数值，p用来表征神经元失活程度，S为相邻的两个新时间片的余弦相似度；

分别计算出每两个相邻新的时间片的余弦相似度对应的dropout参数值，再根据计算出的dropout参数值对LSTM模型的dropout参数值进行动态调整。

对于相邻输入的特征矩阵相似度的度量采用了余弦相似度的判定方式。对于特征矩阵的相似度主要判定其主要成分的相似度。

对于特征相似度的判定，主要思想是基于特征向量之间的距离。本发明通过相邻特征的相似度变量来判断原始数据中可能发生的变化，如场景恶劣或发生异常，这种情况下更重视两两的相似程度。故而经过研究使用余弦相似度进行度量。余弦相似度根据特征向量在特征空间的夹角余弦值来度量，使用余弦相似度还有一个好处是自动完成了归一化，方便与dropout正则化方法的参数进行计算关联。两个向量如果夹角越小，则指向的方向越相似，本发明正是通过这种方式来度量输入特征之间的相似度。在进行计算时，对于不同的特征将其联合成矩阵，对于特征矩阵可以通过主成分分析(Principal ComponentAnalysis，PCA)的方法得到其在相应特征空间中最主要的特征，对这种特征的相似性度量会使度量更准确。PCA方法常用于数据降维，就在于其可以提取出矩阵的主要特征并适当的抛弃掉不重要的特征，达到降低特征空间维度的目的。

本发明通过相邻音频分帧的信息融合和动态反馈的方式改进了LSTM(Long-ShortTerm Memory,长短期记忆网络)，信息融合方法通过对相邻音频分帧的处理，使长短期记忆网络不局限于逐一迭代的时序关系，大大增强了时序关系的多样性，有效提高了模型对于时序数据中的时序关系的表达能力。动态反馈方法采用动态参数的方式调节dropout正则化方法，调整的依据为相邻时序输入的相似度，对于时序上发生突变或复杂场景等问题具有更好的抗性，提高了模型整体的健壮性，减少了过度学习的倾向，使得LSTM模型的精准度得到提升。

具体实施方式四：本实施方式与具体实施方式三不同的是：所述二维小波分解具体采用的是mallat算法，四个不同频段的图像的划分是利用尺度函数和小波函数所对应的低通滤波器H、h和高通滤波器G、g对信号进行滤波来实现的。

小波变换的操作是一种滤波的过程，通过对图像的高低频段分解能够对图像进行多分辨率的处理。滤波的操作由小波函数完成，小波函数的选择有很多，但是有一个共同点就是滤波的中心频率和带宽之间的比例是同一个。因此，在滤波之后获得的几部分图像都能提供原始图像上的时频信息，并且由不同滤波器已经分为了高低频段的子部分。mallat算法以其分解框图流程形状又被称为金字塔算法，频段的划分是利用尺度函数和小波函数所对应的低通滤波器H、h和高通滤波器然G、g对信号进行滤波来实现的，一般把尺度函数称为低频子带，小波函数称为次高频子带，处理流程如图2所示。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述步骤五的具体过程为：

分别搭建四组结构相同的反卷积神经网络，每组反卷积神经网络均包括：卷积层、池化层、反池化层、卷积层、池化层、第一全连接层、第二全连接层和输出层；

将步骤四获得的四个不同频段的图像各输入一组反卷积神经网络进行训练，每组反卷积神经网络的输出均为输入的特征重整矩阵(期望输出为输入本身，而特征矩阵经过网络之后不可能和输入完全数值对应相同，最终得到的输出一定是输入的特征重整矩阵)；

对于任意一组反卷积神经网络，利用该组反卷积神经网络的输入和得到的特征重整矩阵来构造该组反卷积神经网络的损失函数；同理，构造出其他组反卷积神经网络各自对应的损失函数；

经过不断的迭代训练过程，直至各组反卷积神经网络的损失函数值均不再减小时停止训练，获得四组训练好的反卷积神经网络。

构建输出和期望输出(输入本身)的损失函数并对其最优化，最终得到的输出一定是输入的特征重整矩阵，通过这样的方式，反卷积网络中的卷积核将会学得还原输入谱图特征的能力，从更高层次的原始谱图数据角度看，则是可以从原始谱图中学习到划分为不同频段的特征信息，这就实现了频段划分的特征提取方法。

搭建八层的反卷积神经网络结构，每个反卷积操作由反池化层、卷积层、池化层三层组成，最前面添加一层卷积层和池化层获得特征图，第一个卷积层首先将谱图输入进行特征提取和池化得到特征图，然后开始进入反卷积层中进行特征图的重构。首先进入反池化层进行升维，然后进入卷积层进行特征的高维重构，之后进入池化层进行特征筛选。可以看出在进入反卷积操作时先进行反池化操作，就是保证高维空间中特征的对应位置和池化后的相对位置一致，实现原始特征的稀疏化，然后同样进行卷积核池化的操作。总共八层的网络进行训练，让模型对特征图进行学习还原输入，得到输入的重整矩阵，以原始输入和得到的重整矩阵构造损失函数进行优化，训练整个模型。将四组反卷积网络中的卷积核按比例抽取组成新卷积网络的卷积核，以便对原始谱图进行特征提取，由于各组卷积核对不同频段的提取能力不同，这样的卷积神经网络便具有了权重的特征提取能力。

本发明以LeNet-5模型为基本方案，Lenet-5网络由以下几个层构成：卷积层C1，用来突出明显特征的池化层S2，卷积层C3，池化层S4，然后是两个全连接层和一个输出层，输入层是32*32大小的图像。根据场景需要，将最后的输出层改为全连接层，作为对LSTM的输入。

具体实施方式六：本实施方式与具体实施方式五不同的是：所述步骤二的具体过程为：

步骤二一、通过主成分分析方法对每个新的时间片的特征矩阵分别进行对角化，获得每个新的时间片对应的对角化后特征矩阵X_1,new,X_2,new,X_3,new,X_4,new,…,X_M,new；

步骤二二、计算出X_1,new与X_2,new的协方差矩阵Cov(X_1,new,X_2,new)，X_3,new与X_4,new的协方差矩阵Cov(X_3,new,X_4,new)，以此类推，直至完成每两个相邻新时间片的协方差矩阵的计算；

步骤二三、计算出协方差矩阵Cov(X_1,new,X_2,new)的全部特征值以及全部特征向量；将协方差矩阵Cov(X_1,new,X_2,new)的全部特征值按照从大到小的顺序进行排列后，取出前一半特征值对应的特征向量，并对取出的特征向量进行展平，获得展平后的向量；利用展平后的向量计算第一个和第二个新的时间片的余弦相似度；

步骤二四、重复步骤二三的过程，获得第三个和第四个新的时间片的余弦相似度，以此类推，直至计算出全部新的时间片的余弦相似度。

本实施方式中特征向量的展平是指将多维数组展开为1×n的列表，本实施方式判断相邻输入数据的相似度(如第一个新时间片与第二个新时间片的相似度，第三个新时间片与第四个新时间片的相似度)，相似度计算的目的是调整噪声添加的程度。

第一个新时间片与第二个新时间片的余弦相似度的具体计算过程是：

1)按列计算出第一个新的时间片的特征矩阵X₁的均值X_1,mean，然后求X₁与X_1,mean的差值，获得第一个新的时间片对应的对角化特征矩阵X_1,new＝X₁-X_1,mean；

按列计算出第二个新的时间片的特征矩阵X₂的均值X_2,mean，然后求X₂与X_2,mean的差值，获得第二个新的时间片对应的对角化特征矩阵X_2,new＝X₂-X_2,mean；

2)求出X_1,new与X_2,new的协方差矩阵Cov(X_1,new,X_2,new)；

3)对协方差矩阵Cov(X_1,new,X_2,new)的特征值和特征向量进行计算；

4)计算得到特征值之后，将全部特征值按照大小进行前后排序；

5)取前一半特征值(例如：对于4个特征值的情况，取最大的特征值对应的特征向量和第二大的特征值对应的特征向量)对应的特征向量进行展平，获得展平后的向量；

6)利用展平后的向量计算第一个新时间片与第二个新时间片的余弦相似度。

实验分析

实验采用在某水域船舶在加速、减速、匀速三种状态下的辐射噪声数据，预测船舶的航行状态来验证模型在音频时序分析上的能力。

在将噪声数据输入进LSTM模型之前，首先进行数据的预处理。音频类型数据的常用处理方法就是转换为声谱图(spectrogram)。本发明采用50ms的汉明窗宽度，窗函数之间交叠(overlapping)为20ms，对声音信号进行短时傅里叶变换。对所得声谱以32帧为一段进行分割，帧移为30,这样每段时序时长为20ms×(32-1)+50ms＝670ms，即以每670ms时长作为船舶状态的划分段。这样产生特征矩阵的大小为32×32。

如表1所示，实验测试了多组模型平均值结果，测试结果为船舶噪声数据集中预测的准确率。从结果可看出使用动态参数变化的dropout正则化方法使模型的预测准确率有从80.9％提升至84.5％，同时网络隐藏层的规模也影响着模型准确率，在本次实验中，大型LSTM网络的准确率比中型LSTM网络表现要好。

表1

接下来对采用了信息融合方式的模型进行了实验，由前面结果可知大型LSTM网络表现最好，故这里只采用了10组大型的采用了信息融合方式的LSTM网络。从图3中可以看出，在融合参数的多种方案中，当融合参数为0.6时取得了最优的准确率为85.7％，比未使用信息融合的最好结果84.5％提高了1.2％。

接下来将反卷积神经网络的输出作为LSTM模型的输入，对后续LeNet-5网络的卷积核抽取配比问题上进行讨论，根据船舶噪声的有效特征主要集中在低频区域，对低频部分的卷积核个数适当倾斜，设计如表2所示的几种卷积核抽取配比方案。

表2

在单独考虑权重特征提取，不考虑信息融合与动态反馈的情况下，对整体CNN-LSTM网络进行训练和测试，LSTM模型选择10次非正则化LSTM网络所得平均值，方案6取得最高准确率为83.5％，接下来CNN(权重特征提取)和动态反馈的联合模型则以4:1:1:0抽取卷积核，采用CNN和动态反馈的联合模型的实验结果如表3所示：

表3

对采用动态反馈的大型LSTM网络，使用CNN进行权重特征提取使测试集准确率从84.5％提高到86.4％。可见使用权重特征提取的方式有效的提高了模型预测的准确率。

接下来对采用了信息融合方式的模型进行了实验，采用了10组大型LSTM网络进行训练。从图4中可以看出，对于信息融合参数的多种方案中，当信息融合参数为0.5时取得了最优的准确率为87.8％，比未使用信息融合的模型最好结果86.4％提高了1.4％。

通过以上实验，可以看出采用了权重特征提取、信息融合和动态反馈的CNN-LSTM模型取得了最高的准确率，数值为87.8％。

最后综合考虑对于船舶数据集的时序分析结果，记权重特征提取方法，信息融合方法，动态反馈方法的实验结果列表4如下：

表4

从表4中可见，采用权重特征提取，基于信息融合和动态反馈的时序分析方法综合提高了模型对数据集的表达能力，取得了目前此数据集最高的准确率。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (4)

1.一种基于深度学习的海上船舶时序数据的分析方法，其特征在于，该方法包括以下步骤：

步骤一、将船舶在海上行驶时发出的辐射噪声作为音频时序数据，从音频时序数据的初始时刻开始，每N秒确定一个加速状态；

且从音频时序数据的初始时刻开始，将音频时序数据的每N₀秒内数据切割为一个音频分帧，全部的音频分帧共同形成声谱图；

利用LSTM模型对声谱图中相邻的音频分帧的特征信息进行融合，即将声谱图中的第一个音频分帧与第二个音频分帧进行特征信息融合，将第三个音频分帧与第四个音频分帧进行特征信息融合，以此类推，直至声谱图中全部音频分帧的特征信息融合完成；

将第一个音频分帧与第二个音频分帧的特征信息融合结果作为第一个新的时间片的特征矩阵，将第三个音频分帧与第四个音频分帧的特征信息融合结果作为第二个新的时间片的特征矩阵，直至获得全部新的时间片的特征矩阵；

步骤二、通过主成分分析方法对每个新的时间片的特征矩阵分别进行对角化，获得每个新的时间片对应的对角化后特征矩阵X_1,new,X_2,new,X_3,new,X_4,new,…,X_M,new，其中：X_1,new、X_2,new、X_3,new、X_4,new和X_M,new分别代表第一个、第二个、第三个、第四个和第M个新的时间片对应的对角化后特征矩阵；并根据X_1,new和X_2,new计算出第一个和第二个新的时间片的余弦相似度，根据X_3,new和X_4,new计算出第三个和第四个新的时间片的余弦相似度；

同理，直至计算出全部新的时间片的余弦相似度；

步骤三、根据步骤二计算出的全部新的时间片的余弦相似度，按比例设置dropout参数的值，实现对dropout参数值的动态调整；通过对dropout参数值的动态调整获得改进的LSTM模型；

步骤四、对步骤一的声谱图进行二维小波分解获得四个不同频段的图像；

所述二维小波分解具体采用的是mallat算法，四个不同频段的图像的划分是利用尺度函数和小波函数来实现的；

步骤五、分别搭建四组结构相同的反卷积神经网络，将步骤四获得的四个不同频段的图像各输入一组反卷积神经网络进行训练，直至各组反卷积神经网络的损失函数值均不再减小时停止训练，获得四组训练好的反卷积神经网络；

所述步骤五的具体过程为：

分别搭建四组结构相同的反卷积神经网络，每组反卷积神经网络均包括：卷积层、池化层、反池化层、卷积层、池化层、第一全连接层、第二全连接层和输出层；

将步骤四获得的四个不同频段的图像各输入一组反卷积神经网络进行训练，每组反卷积神经网络的输出均为输入的特征重整矩阵；

对于任意一组反卷积神经网络，利用该组反卷积神经网络的输入和得到的特征重整矩阵来构造该组反卷积神经网络的损失函数；同理，构造出其他组反卷积神经网络各自对应的损失函数；

经过不断的迭代训练过程，直至各组反卷积神经网络的损失函数值均不再减小时停止训练，获得四组训练好的反卷积神经网络；

步骤六、按比例抽取步骤五训练好的四组反卷积神经网络的卷积层中的卷积核组成新的卷积核，将新的卷积核作为反卷积神经网络的卷积核，获得新的反卷积神经网络；

步骤七、对于待测的音频时序数据，采用步骤一的方法对待测音频时序数据进行处理，获得声谱图；

再对获得的声谱图进行二维小波分解，获得待测音频时序数据对应的四个不同频段的图像；

将待测音频时序数据对应的四个不同频段的图像输入新的反卷积神经网络，并将新的反卷积神经网络的输出作为改进的LSTM模型的输入，根据改进的LSTM模型的输出对海上船舶的航态进行预测，实现对海上船舶时序数据的分析。

2.根据权利要求1所述的一种基于深度学习的海上船舶时序数据的分析方法，其特征在于，所述对声谱图中相邻的音频分帧的特征信息进行融合，即将声谱图中的第一个音频分帧与第二个音频分帧进行特征信息融合，将第三个音频分帧与第四个音频分帧进行特征信息融合，以此类推，直至声谱图中全部音频分帧的特征信息融合完成；

将第一个音频分帧与第二个音频分帧的特征信息融合结果作为第一个新的时间片的特征矩阵，将第三个音频分帧与第四个音频分帧的特征信息融合结果作为第二个新的时间片的特征矩阵，直至获得全部新的时间片的特征矩阵，其具体过程为：

x_(t+1)/2′＝a·x_t+b·x_t+1

式中：a和b的取值均为0或1，且a和b的取值符合概率为p₀的两点分布；x_t代表第t个音频分帧的特征信息，x_t+1代表第t+1个音频分帧的特征信息，x_(t+1)/2′代表第(t+1)/2个新的时间片的特征矩阵，其中：t＝1,3,5,…,2M-1；

同理，获得全部的M个新的时间片的特征矩阵。

3.根据权利要求2所述的一种基于深度学习的海上船舶时序数据的分析方法，其特征在于，所述步骤三中按比例设置dropout参数的值，实现对dropout参数值的动态调整，其具体过程为：

dropout参数值与余弦相似度按比例设置，用公式表示为：

其中，p为dropout的参数值，S为相邻的两个新时间片的余弦相似度；

分别计算出每两个相邻新的时间片的余弦相似度对应的dropout参数值，再根据计算出的dropout参数值对LSTM模型的dropout参数值进行动态调整。

4.根据权利要求3所述的一种基于深度学习的海上船舶时序数据的分析方法，其特征在于，所述步骤二的具体过程为：

步骤二一、通过主成分分析方法对每个新的时间片的特征矩阵分别进行对角化，获得每个新的时间片对应的对角化后特征矩阵X_1,new,X_2,new,X_3,new,X_4,new,…,X_M,new；

步骤二二、计算出X_1,new与X_2,new的协方差矩阵Cov(X_1,new,X_2,new)，X_3,new与X_4,new的协方差矩阵Cov(X_3,new,X_4,new)，以此类推，直至完成每两个相邻新时间片的协方差矩阵的计算；

步骤二三、计算出协方差矩阵Cov(X_1,new,X_2,new)的全部特征值以及全部特征向量；将协方差矩阵Cov(X_1,new,X_2,new)的全部特征值按照从大到小的顺序进行排列后，取出前一半特征值对应的特征向量，并对取出的特征向量进行展平，获得展平后的向量；利用展平后的向量计算第一个和第二个新的时间片的余弦相似度；

步骤二四、重复步骤二三的过程，获得第三个和第四个新的时间片的余弦相似度，以此类推，直至计算出全部新的时间片的余弦相似度。

Images