CN110045356A - 一种双向长短时记忆神经网络水面目标识别方法 - Google Patents
一种双向长短时记忆神经网络水面目标识别方法 Download PDFInfo
- Publication number
- CN110045356A CN110045356A CN201910194814.6A CN201910194814A CN110045356A CN 110045356 A CN110045356 A CN 110045356A CN 201910194814 A CN201910194814 A CN 201910194814A CN 110045356 A CN110045356 A CN 110045356A
- Authority
- CN
- China
- Prior art keywords
- input
- output
- time
- network
- gate unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 115
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000006403 short-term memory Effects 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims abstract 3
- 230000014509 gene expression Effects 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 45
- 230000002457 bidirectional effect Effects 0.000 claims description 43
- 230000004913 activation Effects 0.000 claims description 29
- 210000004027 cell Anatomy 0.000 claims description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 20
- 238000001125 extrusion Methods 0.000 claims description 12
- 230000007787 long-term memory Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 210000004205 output neuron Anatomy 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 8
- 244000287680 Garcinia dulcis Species 0.000 abstract 1
- 238000012512 characterization method Methods 0.000 abstract 1
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/006—Theoretical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Acoustics & Sound (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的是一种双向长短时记忆神经网络水面目标识别方法。1：将矢量声纳接收到的矢量信号进行预处理；2：将预处理后的训练样本集输入双向长短时记忆神经网络中，进行网络预训练；3：将预训练的输出结果与输入样本的实际输出进行比较，通过自适应的方法对网络参数进行微调；4：将经过同样预处理后的测试样本集输入参数自适应调整后的双向长短时记忆网络中，对网络进行评估；5：将经过同样预处理后的待分类样本集输入参数最优化的双向长短时记忆网络中，得到分类结果。本发明克服了由于人工提取特征导致信息丢失的问题，避免了人工提取特征步骤的繁琐复杂，也减少了人工提取特征所需的时间。通过多隐层的神经网络可以提高样本正确识别率。
Description
技术领域
本发明涉及的是一种水面目标识别方法，具体地说是一种基于矢量声纳的双向长短时记忆神经网络水面目标识别方法。
背景技术
水面目标识别技术有着举足轻重的作用，它是指人或机器，通过对接收到的各类水面目标的辐射噪声信息进行分类识别的技术。现阶段，如何更快更准确的识别出水面目标仍是目标识别技术存在的难点。
目标识别的基本流程是将接收到的数据进行预处理，再将预处理后的数据进行特征提取和选择，最后再经过学习算法和分类器，从而得到目标的识别结果。而人工的提取特征通常会不可避免的丢失一部分关键的信息，如果可以使用原始接收到的信息进行识别，则可以在一定程度上避免由于人工提取特征而造成的信息丢失。
基于深度学习的目标识别方法已然成为现阶段的研究热点，它可以直接将接收到的大量原始数据输入深度神经网络中进行学习和训练，在一定程度上避免由于人工提取特征而造成的信息丢失，从而实现目标的分类和识别。
发明内容
本发明的目的在于提供一种能够克服由于人工提取特征导致信息丢失的问题，避免人工提取特征步骤的繁琐复杂，也减少人工提取特征所需的时间，提高样本正确识别率的双向长短时记忆神经网络水面目标识别方法。
本发明的目的是这样实现的：
步骤1：将矢量声纳接收到的矢量信号进行预处理；
步骤2：将预处理后的训练样本集输入双向长短时记忆神经网络中，进行网络预训练；
步骤3：将预训练的输出结果与输入样本的实际输出进行比较，通过自适应的方法对网络参数进行微调；
步骤4：将经过同样预处理后的测试样本集输入参数自适应调整后的双向长短时记忆网络中，对网络进行评估；
步骤5：将经过同样预处理后的待分类样本集输入参数最优化的双向长短时记忆网络中，得到分类结果。
本发明还可以包括：
1.所述的预处理的步骤为：
步骤1.1：将矢量声纳接收到的矢量信号按照7:3的比例划分为训练集和测试集；
步骤1.2：将训练集的样本按照所需分析的频带进行滤波，再将数据通过降采样函数进行降采样；
步骤1.3：将训练样本集的数据按照公式(1)的形式构造输入特征，
I(t)＝p(t)v(t) (1)
其中，p(t)为矢量声纳接收到的声压值，v(t)为矢量声纳接收到的各方向振速经合成后得到的合成值；
步骤4：按照步骤1.2和步骤1.3的方法处理测试集样本，并构造测试集输入样本；
步骤5：将训练集和测试集的样本进行打标签。
2.所述的网络预训练的步骤为：
步骤2.1：将双向长短时记忆神经网络参数初始化；
步骤2.2：将预处理后的训练集样本输入参数初始化的双向长短时记忆神经网络中，进行预训练。
所述的预训练的具体方法为：
双向长短时记忆网络分为前向网络和后向网络，
(1)在前向网络中，t时刻的第i个输入为t-1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N；
将t时刻的输入与t-1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t-1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置；
输入门单元是将与的加权和按照激活函数激活，并在激活值为0时，切断来自另一个节点的信息流；在激活值为1时，让信息流通过，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t-1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置；
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t-1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置；
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t-1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置；
输出门控单元是输出门单元与经过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为前向网络的记忆块输出，而双向长短时记忆网络的每一时刻的输出不仅与之前时刻有关，还会与之后时刻有关，因此隐层的输出不仅包含了前向网络的记忆块输出，还包括了反向网络的记忆块输出；
(2)在反向网络中，t时刻的第i个输入为t+1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N；
将t时刻的输入与t+1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t+1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置；
输入门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t+1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置；
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t+1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置；
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t+1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置；
输出门控单元是输出门单元与经过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为反向网络的记忆块输出；
以上即为bi-LSTM层的具体过程，将bi-LSTM层的两个输出和输入全连接层中，将学习到的特征映射到样本标记空间，将全连接层的输出值经过softmax层进行归一化，输出结果为
其中，为前向网络中隐层到输出层的权向量，为反向网络中隐层到输出层的权向量，bp为前向网络和后向网络中隐层到输出层的偏置之和；
最后将输出结果经过分类层为输入数据打标签，完成整个预训练的过程。
3.所述的微调的步骤为：
步骤3.1：将网络输出结果与输入数据的实际输出进行比较，得到损失函数和训练样本集的正确识别率；
步骤3.2：判断损失函数和训练样本集的正确识别率是否在预期范围内，若是，则保存该网络参数；否则，进行自适应参数调整；重复步骤3.1、步骤3.2，直至损失函数和训练样本集的正确识别率在预期范围内。
自适应参数调整的步骤为：
损失函数Lt的表达式为
其中，dt为输入样本xt的期望输出，
接下来计算参数的变化量，在反向网络中，各参数变化量表达式如下：
隐层到输出层的权值wb和偏置bb变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
在前向网络中，各参数变化量表达式如下：
隐层到输出层的权值wf和偏置b变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
通过权值和偏置的变化量，对各个权值和偏置进行更新，将所有的权值表示为w，所有的偏置表示为b，更新后的权值和偏置表达式如下：
其中，η为步长，默认值为0.01；β1和β2为矩估计的指数衰减速率，β1为0.9，β2为0.999；δ为一极小值，用于稳定数值，常用值为10-8；s和r为初始化一阶和二阶矩变量，初始值设为0。
4.所述的评估的步骤为：
步骤4.1：将预处理后的测试集样本输入参数自适应调整后的双向长短时记忆神经网络中；
步骤4.2：将输出结果与标签进行对比，得到网络的正确识别率，并对网络进行评估；
步骤4.3：判断网络是否符合鲁棒性，若是，则保存网络参数；否则，增加训练样本，对网络进行重新训练。
5.所述的得到分类结构的步骤为：
步骤5.1：将矢量声纳接收到的数据进行预处理；
步骤5.2：将预处理后的待分类样本集输入参数最优化的双向长短时记忆神经网络中，得到分类结果。
本发明中提及的双向长短时记忆神经网络(bi-directional Long Short-TermMemory,bi-LSTM)是一种反馈型神经网络，通过反馈连接的神经网络，能够产生对数据的记忆状态，建立数据间的映射关系，分析信号的时间依赖关系，可以用于对序列数据的处理，还利用记忆模块代替普通的隐层节点，确保梯度在传递跨越很长时间之后仍不会消失或者爆炸。双向长短时记忆神经网络提供给输出层每一个点完整的过去和未来的信息，即此时的预测可能由前面的若干输入和后面的若干输入共同决定，从而提高了目标的识别率。
本发明采用了具有双向记忆特性的双向长短时记忆(bi-LSTM)神经网络，将矢量声纳接收到的矢量信号经过预处理后输入双向长短时记忆神经网络中，通过bi-LSTM层进行特征提取，通过全连接层将学习到的特征映射到样本标记空间，通过softmax层进行归一化，通过分类层为输入数据打标签，从而完成对输入的矢量信号的分类识别。本发明通过双向长短时记忆神经网络可以自主的进行特征提取，克服了由于人工提取特征导致信息丢失的问题，避免了人工提取特征步骤的繁琐复杂，也减少了人工提取特征所需的时间。同时，通过多隐层的神经网络可以提高样本正确识别率。
与现有技术相比，本发明方法具有以下的优点：
(1)本发明采用的信号是矢量声纳接收到的矢量信号，不仅包括声压信号，还包括x、y、z方向的振速；
(2)本发明采用的深度学习方法，可以有效地避免由于人工提取特征步骤的繁琐复杂，以及带来的信息丢失的问题，减少了人工提取特征所需的时间。同时，通过多隐层的神经网络可以提高样本正确识别率；
(3)本发明采用的深度学习模型为双向长短时记忆神经网络。该网络通过输入门、遗忘门、输出门这三个门来控制记忆细胞以及每个隐层的输出，实现了其特殊的记忆功能。同时，双向的网络使得每一时刻的信息预测不仅与之前时刻的信息有关，还会与后面的信息有关。因此，双向长短时记忆神经网络通过记忆块可以记忆数据的长期依赖关系，更适合学习具有前后关联和连续性的数据的特征。矢量信号作为连续的波形数据，与前后相邻一段时间内的数据都有着相关性，因此选用双向长短时记忆神经网络来进行学习具有明显的优势。
附图说明
图1是基于矢量声纳的双向长短时记忆神经网络水面目标识别方法的流程图。
图2是矢量信号特征提取网络中bi-LSTM层的结构示意图。
图3是bi-LSTM层记忆块的结构示意图。
具体实施方式
下面举例对本发明做更详细的描述。
如图1所示为本实施例一种基于矢量声纳的双向长短时记忆神经网络水面目标识别方法的流程图。如图2所示为矢量信号特征提取网络结构示意图中bi-LSTM层的结构示意图，如图3所示为bi-LSTM层记忆块的结构示意图，通过图2和图3的结构实现从输入到输出的计算过程。
一种基于矢量声纳的双向长短时记忆神经网络水面目标识别方法具体步骤如下：
(1)建立输入数据集：选择两类水面目标(不局限于只有两类目标)，通过矢量声纳接受到两类目标的矢量信号，构造输入数据集。每个样本的特征表达式为
I(t)＝p(t)v(t) (1)
其中，p(t)为矢量声纳接收到的声压值，v(t)为矢量声纳接收到的各方向振速经合成后得到的合成值。
(2)对输入数据进行预处理：将矢量声纳接收到的矢量信号按照所需分析的频带进行滤波，再将数据通过降采样函数进行降采样，按照7:3的比例划分为训练集和测试集，并将训练集和测试集的样本进行打标签。
(3)预训练网络：将双向长短时记忆神经网络参数初始化，将预处理后的训练集样本输入参数初始化的双向长短时记忆神经网络中，具体步骤如下：
双向长短时记忆网络可以分为前向网络和后向网络。
1)在前向网络中，t时刻的第i个输入为t-1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N。
将t时刻的输入与t-1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t-1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置。
输入门单元是将与的加权和按照激活函数激活，并在激活值为0时，切断来自另一个节点的信息流；在激活值为1时，让信息流通过，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t-1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置。
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t-1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置。
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t-1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置。
输出门控单元是输出门单元与经过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为前向网络的记忆块输出。而双向长短时记忆网络的每一时刻的输出不仅与之前时刻有关，还会与之后时刻有关，因此隐层的输出不仅包含了前向网络的记忆块输出，还包括了反向网络的记忆块输出。
2)在反向网络中，t时刻的第i个输入为t+1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N。
将t时刻的输入与t+1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t+1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置。
输入门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t+1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置。
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t+1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置。
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t+1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置。
输出门控单元是输出门单元与过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为反向网络的记忆块输出。
以上即为bi-LSTM层的具体过程。将bi-LSTM层的两个输出和输入全连接层中，将学习到的特征映射到样本标记空间，将全连接层的输出值经过softmax层进行归一化，输出结果为
其中，为前向网络中隐层到输出层的权向量，为反向网络中隐层到输出层的权向量，bp为前向网络和后向网络中隐层到输出层的偏置之和。
最后将输出结果经过分类层为输入数据打标签，完成整个预训练的过程。
(4)网络参数微调：将步骤(3)的输出结果与输入样本的实际输出作比较得到训练样本正确识别率和损失函数，判断损失函数和训练样本集的正确识别率是否在预期范围内，若是，则保存该网络参数；否则，进行自适应参数调整，直至训练样本集的正确识别率和损失函数在预期范围内。参数自适应调整的步骤为：
损失函数Lt的表达式为
其中，dt为输入样本xt的期望输出。
接下来计算参数的变化量。在反向网络中，各参数变化量表达式如下：
隐层到输出层的权值wb和偏置bb变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
在前向网络中，各参数变化量表达式如下：
隐层到输出层的权值wf和偏置b变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
通过权值和偏置的变化量，对各个权值和偏置进行更新。在这里将所有的权值表示为w，所有的偏置表示为b，更新后的权值和偏置表达式如下：
其中，η为步长，默认值为0.01；β1和β2为矩估计的指数衰减速率，通常β1为0.9，β2为0.999；δ为一极小值，用于稳定数值，常用值为10-8；s和r为初始化一阶和二阶矩变量，初始值设为0。
(5)测试样本集测试：将经过预处理的测试集数据输入参数自适应调整后的bi-LSTM网络中，将输出结果与标签进行对比得出样本正确识别率，并对网络做出评估。若网络满足鲁棒性，则将网络的参数保存；若网络不满足鲁棒性，则证明网络未训练好，增加训练样本，重复步骤(3)和步骤(4)，直至网络满足鲁棒性，得到参数最优化的bi-LSTM网络。
(6)实际应用：将矢量声纳接收到的待分类样本数据经过同样的预处理，将预处理后的数据输入参数最优化的bi-LSTM网络中，得到待分类样本的输出分类结果。
本发明提出了一种基于矢量声纳的双向长短时记忆神经网络水面目标识别方法，采用了具有双向记忆特性的双向长短时记忆(bi-LSTM)神经网络，将矢量声纳接收到的矢量信号经过预处理后输入双向长短时记忆神经网络中，通过bi-LSTM层进行特征提取，通过全连接层将学习到的特征映射到样本标记空间，通过softmax层进行归一化，通过分类层为输入数据打标签，从而完成对输入的矢量信号的分类识别。本发明通过双向长短时记忆神经网络可以自主的进行特征提取，克服了由于人工提取特征导致信息丢失的问题，避免了人工提取特征步骤的繁琐复杂，也减少了人工提取特征所需的时间。同时，通过多隐层的神经网络可以提高样本正确识别率。
Claims (8)
1.一种双向长短时记忆神经网络水面目标识别方法，其特征是：
步骤1：将矢量声纳接收到的矢量信号进行预处理；
步骤2：将预处理后的训练样本集输入双向长短时记忆神经网络中，进行网络预训练；
步骤3：将预训练的输出结果与输入样本的实际输出进行比较，通过自适应的方法对网络参数进行微调；
步骤4：将经过同样预处理后的测试样本集输入参数自适应调整后的双向长短时记忆网络中，对网络进行评估；
步骤5：将经过同样预处理后的待分类样本集输入参数最优化的双向长短时记忆网络中，得到分类结果。
2.根据权利要求1所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的预处理的步骤为：
步骤1.1：将矢量声纳接收到的矢量信号按照7:3的比例划分为训练集和测试集；
步骤1.2：将训练集的样本按照所需分析的频带进行滤波，再将数据通过降采样函数进行降采样；
步骤1.3：将训练样本集的数据按照公式(1)的形式构造输入特征，
I(t)＝p(t)v(t) (1)
其中，p(t)为矢量声纳接收到的声压值，v(t)为矢量声纳接收到的各方向振速经合成后得到的合成值；
步骤4：按照步骤1.2和步骤1.3的方法处理测试集样本，并构造测试集输入样本；
步骤5：将训练集和测试集的样本进行打标签。
3.根据权利要求1所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的网络预训练的步骤为：
步骤2.1：将双向长短时记忆神经网络参数初始化；
步骤2.2：将预处理后的训练集样本输入参数初始化的双向长短时记忆神经网络中，进行预训练。
4.根据权利要求3所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的预训练的具体方法为：
双向长短时记忆网络分为前向网络和后向网络，
(1)在前向网络中，t时刻的第i个输入为t-1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N；
将t时刻的输入与t-1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t-1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置；
输入门单元是将与的加权和按照激活函数激活，并在激活值为0时，切断来自另一个节点的信息流；在激活值为1时，让信息流通过，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t-1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置；
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t-1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置；
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t-1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置；
输出门控单元是输出门单元与经过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为前向网络的记忆块输出，而双向长短时记忆网络的每一时刻的输出不仅与之前时刻有关，还会与之后时刻有关，因此隐层的输出不仅包含了前向网络的记忆块输出，还包括了反向网络的记忆块输出；
(2)在反向网络中，t时刻的第i个输入为t+1时刻的第j个记忆块输出为样本个数为T，每个样本的特征个数为M，隐层神经元个数为H，输出神经元个数为N；
将t时刻的输入与t+1时刻的记忆块输出经过加权求和后，按双曲正切函数进行非线性变换，得到输入挤压单元表达式如下：
其中，为t时刻的输入与输入挤压单元之间的权向量，为t+1时刻的记忆块输出与输入挤压单元之间的权向量，为记忆块的偏置；
输入门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输入门单元之间的权向量，为t+1时刻的记忆块输出与输入门单元之间的权向量，为输入门单元的偏置；
输入门控单元为输入门单元与做阿达马积，表达式为
遗忘门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与遗忘门单元之间的权向量，为t+1时刻的记忆块输出与遗忘门单元之间的权向量，为遗忘门单元的偏置；
记忆细胞内部状态的更新是通过遗忘门单元与前一时刻的记忆细胞内部状态做阿达马积，再加上输入门控单元，表达式如下：
输出门单元是将与的加权和按照激活函数激活，表达式如下：
其中，为t时刻的输入与输出门单元之间的权向量，为t+1时刻的记忆块输出与输出门单元之间的权向量，为输出门单元的偏置；
输出门控单元是输出门单元与经过激活函数的记忆细胞内部状态做阿达马积，表达式如下：
此时得到的为反向网络的记忆块输出；
以上即为bi-LSTM层的具体过程，将bi-LSTM层的两个输出和输入全连接层中，将学习到的特征映射到样本标记空间，将全连接层的输出值经过softmax层进行归一化，输出结果为
其中，为前向网络中隐层到输出层的权向量，为反向网络中隐层到输出层的权向量，bp为前向网络和后向网络中隐层到输出层的偏置之和；
最后将输出结果经过分类层为输入数据打标签，完成整个预训练的过程。
5.根据权利要求1所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的微调的步骤为：
步骤3.1：将网络输出结果与输入数据的实际输出进行比较，得到损失函数和训练样本集的正确识别率；
步骤3.2：判断损失函数和训练样本集的正确识别率是否在预期范围内，若是，则保存该网络参数；否则，进行自适应参数调整；重复步骤3.1、步骤3.2，直至损失函数和训练样本集的正确识别率在预期范围内。
6.根据权利要求5所述的双向长短时记忆神经网络水面目标识别方法，其特征是自适应参数调整的步骤为：
损失函数Lt的表达式为
其中，dt为输入样本xt的期望输出，
接下来计算参数的变化量，在反向网络中，各参数变化量表达式如下：
隐层到输出层的权值wb和偏置bb变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
在前向网络中，各参数变化量表达式如下：
隐层到输出层的权值wf和偏置b变化量表达式为：
输出门单元的权值和偏置变化量表达式为：
遗忘门单元的权值和偏置变化量表达式为：
输入门单元的权值和偏置变化量表达式为：
输入挤压单元的权值和偏置变化量表达式为：
通过权值和偏置的变化量，对各个权值和偏置进行更新，将所有的权值表示为w，所有的偏置表示为b，更新后的权值和偏置表达式如下：
其中，η为步长，默认值为0.01；β1和β2为矩估计的指数衰减速率，β1为0.9，β2为0.999；δ为一极小值，用于稳定数值，常用值为10-8；s和r为初始化一阶和二阶矩变量，初始值设为0。
7.根据权利要求1所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的评估的步骤为：
步骤4.1：将预处理后的测试集样本输入参数自适应调整后的双向长短时记忆神经网络中；
步骤4.2：将输出结果与标签进行对比，得到网络的正确识别率，并对网络进行评估；
步骤4.3：判断网络是否符合鲁棒性，若是，则保存网络参数；否则，增加训练样本，对网络进行重新训练。
8.根据权利要求1所述的双向长短时记忆神经网络水面目标识别方法，其特征是所述的得到分类结构的步骤为：
步骤5.1：将矢量声纳接收到的数据进行预处理；
步骤5.2：将预处理后的待分类样本集输入参数最优化的双向长短时记忆神经网络中，得到分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910194814.6A CN110045356B (zh) | 2019-03-14 | 2019-03-14 | 一种双向长短时记忆神经网络水面目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910194814.6A CN110045356B (zh) | 2019-03-14 | 2019-03-14 | 一种双向长短时记忆神经网络水面目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110045356A true CN110045356A (zh) | 2019-07-23 |
| CN110045356B CN110045356B (zh) | 2022-07-15 |
Family
ID=67274822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910194814.6A Active CN110045356B (zh) | 2019-03-14 | 2019-03-14 | 一种双向长短时记忆神经网络水面目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110045356B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490299A (zh) * | 2019-07-25 | 2019-11-22 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN111295017A (zh) * | 2020-02-21 | 2020-06-16 | 成都世纪光合作用科技有限公司 | 一种灯光控制方法、控制系统和设备 |
| CN112418014A (zh) * | 2020-11-09 | 2021-02-26 | 南京信息工程大学滨江学院 | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 |
| CN112887245A (zh) * | 2021-01-08 | 2021-06-01 | 鹏城实验室 | 高动态信道的符号检测方法、装置、设备及存储介质 |
| CN113466839A (zh) * | 2021-09-03 | 2021-10-01 | 北京星天科技有限公司 | 侧扫声呐海底线检测方法和装置 |
| CN113627607A (zh) * | 2020-05-07 | 2021-11-09 | 中国石油化工股份有限公司 | 碳酸盐岩储层沉积相识别方法、装置、电子设备及介质 |
| CN115642972A (zh) * | 2022-12-23 | 2023-01-24 | 鹏城实验室 | 动态信道通信检测方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180018031A (ko) * | 2016-08-12 | 2018-02-21 | 한국전자통신연구원 | 주의집중 기반 문맥 종속 음향 모델을 이용한 음성 인식 장치 및 방법 |
| CN108417224A (zh) * | 2018-01-19 | 2018-08-17 | 苏州思必驰信息科技有限公司 | 双向神经网络模型的训练和识别方法及系统 |
| CN108469599A (zh) * | 2018-02-28 | 2018-08-31 | 哈尔滨工程大学 | 一种声矢量传感器幅度加权music测向方法 |
| CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
| US20190033447A1 (en) * | 2017-01-06 | 2019-01-31 | Massachusetts Institute Of Technology | Systems and methods for detecting objects in underwater environments |
| RU2681252C1 (ru) * | 2018-04-16 | 2019-03-05 | Федеральное Государственное Казенное Военное Образовательное Учреждение Высшего Образования "Тихоокеанское Высшее Военно-Морское Училище Имени С.О. Макарова" Министерства Обороны Российской Федерации (Г. Владивосток) | Система обнаружения гидроакустических сигналов и их нейросетевой классификации |
| CN109446902A (zh) * | 2018-09-22 | 2019-03-08 | 天津大学 | 一种基于无人平台的海洋环境与目标综合感知方法 |
-
2019
- 2019-03-14 CN CN201910194814.6A patent/CN110045356B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180018031A (ko) * | 2016-08-12 | 2018-02-21 | 한국전자통신연구원 | 주의집중 기반 문맥 종속 음향 모델을 이용한 음성 인식 장치 및 방법 |
| US20190033447A1 (en) * | 2017-01-06 | 2019-01-31 | Massachusetts Institute Of Technology | Systems and methods for detecting objects in underwater environments |
| CN108417224A (zh) * | 2018-01-19 | 2018-08-17 | 苏州思必驰信息科技有限公司 | 双向神经网络模型的训练和识别方法及系统 |
| CN108469599A (zh) * | 2018-02-28 | 2018-08-31 | 哈尔滨工程大学 | 一种声矢量传感器幅度加权music测向方法 |
| CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
| RU2681252C1 (ru) * | 2018-04-16 | 2019-03-05 | Федеральное Государственное Казенное Военное Образовательное Учреждение Высшего Образования "Тихоокеанское Высшее Военно-Морское Училище Имени С.О. Макарова" Министерства Обороны Российской Федерации (Г. Владивосток) | Система обнаружения гидроакустических сигналов и их нейросетевой классификации |
| CN109446902A (zh) * | 2018-09-22 | 2019-03-08 | 天津大学 | 一种基于无人平台的海洋环境与目标综合感知方法 |
Non-Patent Citations (3)
| Title |
|---|
| A GRAVES等: ""Towards end-to-end speech recognition with recurrent neural networks"", 《PROCEEDINGS OF MACHINE LEARNING RESEARCH》 * |
| 居治平等: ""基于反向卷积的Bi-LSTM语音识别"", 《软件导刊》 * |
| 王家为: "" 基于水上水下一体化探测系统的目标分类关键技术研究"", 《万方学位论文库》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490299A (zh) * | 2019-07-25 | 2019-11-22 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN110490299B (zh) * | 2019-07-25 | 2022-07-29 | 南京信息工程大学 | 基于状态变化微分的灵敏长短期记忆方法 |
| CN111295017A (zh) * | 2020-02-21 | 2020-06-16 | 成都世纪光合作用科技有限公司 | 一种灯光控制方法、控制系统和设备 |
| CN113627607A (zh) * | 2020-05-07 | 2021-11-09 | 中国石油化工股份有限公司 | 碳酸盐岩储层沉积相识别方法、装置、电子设备及介质 |
| CN112418014A (zh) * | 2020-11-09 | 2021-02-26 | 南京信息工程大学滨江学院 | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 |
| CN112418014B (zh) * | 2020-11-09 | 2023-11-17 | 南京信息工程大学滨江学院 | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 |
| CN112887245A (zh) * | 2021-01-08 | 2021-06-01 | 鹏城实验室 | 高动态信道的符号检测方法、装置、设备及存储介质 |
| CN112887245B (zh) * | 2021-01-08 | 2022-10-11 | 鹏城实验室 | 高动态信道的符号检测方法、装置、设备及存储介质 |
| CN113466839A (zh) * | 2021-09-03 | 2021-10-01 | 北京星天科技有限公司 | 侧扫声呐海底线检测方法和装置 |
| CN115642972A (zh) * | 2022-12-23 | 2023-01-24 | 鹏城实验室 | 动态信道通信检测方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110045356B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110045356B (zh) | 一种双向长短时记忆神经网络水面目标识别方法 | |
| CN112364779B (zh) | 信号处理与深-浅网络多模型融合的水声目标识别方法 | |
| CN112581979B (zh) | 一种基于语谱图的语音情绪识别方法 | |
| CN112418014B (zh) | 基于小波变换和卷积长短期记忆神经网络的调制信号识别方法 | |
| CN110245608B (zh) | 一种基于半张量积神经网络的水下目标识别方法 | |
| US5566270A (en) | Speaker independent isolated word recognition system using neural networks | |
| CN107885853A (zh) | 一种基于深度学习的组合式文本分类方法 | |
| CN108922513B (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
| Chen et al. | Automatic modulation classification scheme based on LSTM with random erasing and attention mechanism | |
| CN109670580A (zh) | 一种基于时间序列的数据修复方法 | |
| Wei et al. | PRI modulation recognition based on squeeze-and-excitation networks | |
| CN111736125B (zh) | 基于注意力机制和双向堆叠循环神经网络的雷达目标识别方法 | |
| CN110853680A (zh) | 一种用于语音情感识别的具有多输入多融合策略的双BiLSTM结构 | |
| CN113780242A (zh) | 一种基于模型迁移学习的跨场景水声目标分类方法 | |
| CN111968666B (zh) | 基于深度域自适应网络的助听器语音增强方法 | |
| CN115438708A (zh) | 一种基于卷积神经网络和多模态融合的分类识别方法 | |
| CN114203184A (zh) | 一种多状态声纹特征识别方法及装置 | |
| CN116388933B (zh) | 基于深度学习的通信信号盲识别系统 | |
| CN111899766B (zh) | 基于深度特征与声学特征寻优融合的语音情感识别方法 | |
| CN113221758B (zh) | 一种基于gru-nin模型的水声目标识别方法 | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 | |
| CN113872904A (zh) | 一种基于集成学习的多分类通信信号自动调制识别方法 | |
| CN117034060A (zh) | 基于ae-rcnn的洪水分级智能预报方法 | |
| CN115712867A (zh) | 一种多分量雷达信号调制识别方法 | |
| CN115329821A (zh) | 一种基于配对编码网络和对比学习的舰船噪声识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |