CN109409200A - 一种基于sgru神经网络的uuv集群行为识别技术 - Google Patents

一种基于sgru神经网络的uuv集群行为识别技术 Download PDF

Info

Publication number
CN109409200A
CN109409200A CN201811017220.XA CN201811017220A CN109409200A CN 109409200 A CN109409200 A CN 109409200A CN 201811017220 A CN201811017220 A CN 201811017220A CN 109409200 A CN109409200 A CN 109409200A
Authority
CN
China
Prior art keywords
sgru
data
neural network
uuv
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811017220.XA
Other languages
English (en)
Inventor
王磊
王鑫
任龙
张玲玲
关智允
徐东
孟宇龙
张子迎
李贤�
宫思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201811017220.XA priority Critical patent/CN109409200A/zh
Publication of CN109409200A publication Critical patent/CN109409200A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于SGRU神经网络的UUV集群行为识别技术。本发明具体步骤为数据预处理阶段，对UUV集群行为数据集进行数据清洗，包括处理数据不平衡问题、缺失值问题；模型训练阶段，利用数据预处理后的数据集训练SGRU神经网络，建立UUV集群行为识别模型；模型预测阶段，获取当前软件失效数据并进行数据预处理过程，然后输入所获得的SGRU预测模型进行UUV集群行为识别的预测，得到预测结果。本发明克服传统GRU神经网络结构过于复杂，泛化能力差的问题，并且应用SGRU建立精确高效的UUV集群行为识别模型，解决传统方法无法准确识别UUV集群行为的问题。

Description

一种基于SGRU神经网络的UUV集群行为识别技术
技术领域
本发明属于深度学习领域，具体涉及一种基于SGRU神经网络的UUV集群行为识别技术。
背景技术
水下无人航行器(Unmanned Underwater Vehicle,UUV)，是以潜艇和水面舰艇为载体，具有长时间续航能力，并可回收的小型智能武器装备，用途广泛，被称为海军的“力量倍增器”。
现代海军作战地形复杂，海域广阔，对潜航器集群的侦查能力带来更多的挑战。UUV作为在复杂海洋环境中工作的高智能化、无人系统，良好的环境感知能力是其必须要具备的关键技能。而集群行为识别能力是反制敌方无人潜航器集群的基础，也是UUV感知外部环境信息的重要手段之一。
目前，UUV集群性行为识别技术多数以循环神经网络为基础，传统循环神经网络结构通常难以训练。现有UUV集群行为识别研究甚少，领域处于相对空白。而门控循环神经网络 (Gated Recurrent Unit，GRU)作为近年来取得重大突破的网络模型，将遗忘门和输入门合成了一个单一的更新门，同样还混合了细胞状态和隐藏状态，以缓解梯度消失问题，最终使其比其原型LSTM模型更要简单。GRU在模式识别领域，如图像识别、文字识别及语音识别等方面已经广泛使用且性能优异，亦可扩展到集群行为识别领域。
发明内容
本发明的目的在于提供一种能简化模型复杂度，提高系统泛化能力的改进的GRU神经网络，并应用SGRU神经网路建立欠驱动UUV集群行为识别模型，应用该模型可以精确识别欠驱动UUV集群行为的方法。
本发明的目的是这样实现的：
一种基于SGRU神经网络的UUV集群行为识别技术，具体的实现步骤如下：
步骤1.数据预处理阶段，对UUV集群行为数据集进行数据清洗，包括处理数据不平衡问题、缺失值问题；
步骤2.模型训练阶段，利用数据预处理后的数据集训练SGRU神经网络，建立UUV集群行为识别模型；
步骤3.模型预测阶段，获取当前软件失效数据并采用步骤1同样的方法进行数据预处理过程，然后输入步骤2所获得的SGRU预测模型进行UUV集群行为识别的预测，得到预测结果。
步骤1包括以下步骤：
步骤1.1.处理数据不平衡问题，首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理，若数据量较充足，采取欠采样的方法，减少样本数据较多的类的数量来平衡数据集，若数据量较少，采取过采样的方法，增加数量较少的类的数量来平衡数据集；
步骤1.2.处理缺失值，分析缺失值占比，根据缺失值的占比采取不同方式处理，若特征缺失值占比高，删除该特征，若占比适中，则将缺失值作为一个新类别，原特征替换为类别特征，若占比较低，则采用均值或中位数的方式替换；
步骤2所述的SGRU神经网络由输入层、输出层、隐含层组成，隐含层由SGRU神经元构成，SGRU神经网络的输入数据为经过数据预处理后的的t时刻的集群行为数据，输入数据为预测的下一刻集群行为；设输入UUV集群行为序列为(x1,x2,…,xt)，则在t时刻更新门、重置门、标准SGRU单元输出计算公式如下所示：
rt＝σ(Wr*[ht-1,xt])
zt＝σ(Wz*[ht-1*rt,xt])
nt＝tanh(W*[rt*ht-1,xt])
ht＝(1-zt)*ht-1+zt*nt
yt＝σ(Wo*ht)
其中zt表示t时刻更新门的输出；Wt表示输入集群行为数据和h(t-1)与rt乘积之间的权重；rt表示t时刻重置门的输出；Wr表示输入和h(t-1)之间的权重；其中h(t-1)表示t-1时刻标准GRU 单元输出；xt表示t时刻的输入的UUV集群行为数据；nt表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出zt和输入之间的权重；yt表示t时刻SGRU神经网络的输出，即预测结果，Wo表示ht的权重；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数。
步骤2所述的训练SGRU神经网络的目标是使得网络的预测输出yt和实际的输出相等，定义网络的损失函数为
通过梯度下降法最小化损失函数L训练出SGRU网络中的权值和偏置，得到预测模型，具体的训练过程包括以下步骤：
步骤2.1.将预处理后的数据按照集群行为序列的时间顺序分为两组,奇数顺序的一组作为训练数据集、偶数顺序的一组作为验证数据集；
步骤2.2.设定深度SGRU神经网络训练参数，预设输入层神经元个数为6和输出层神经元个数为1，设定其隐含层的神经元个数为N，隐含层共3层，其中N＝1，2，3，...Nmax，Nmax为预设值，根据具体情况做出相应改变；
步骤2.3.依次在N的每个取值所对应的SGRU神经网络结构上，利用训练集数据迭代训练神经网络中的权重以及偏置等参数，同时利用验证集对每次训练后的网络模型，采取经验评估，并更新、保存N的每个取值下性能最优的SGRU神经网络，最终选取综合性能最优的SGRU 神经网络结构作为训练完成的预测模型。
步骤2.3的具体步骤为：
步骤2.3.1.进行外循环初始化，设定N＝1；设置误差值；
步骤2.3.2.进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤2.3.3.基于结构风险最小化原理，用训练集进行SGRU神经网络的训练；
步骤2.3.4.将验证集数据输入步骤2.3.3训练好的改进的SGRU神经网络，利用经验风险函数进行验证误差的计算；
步骤2.3.5.若验证误差大于或等于当前最小误差，则直接迭代次数+1，
若验证误差小于当前最小误差，则将验证误差的值赋值给当前最小误差，则把当前SGRU 神经网络看做最优网络，同时更新并存储最优网络的参数和验证集误差，进行下列判定：
若验证误差小于设定误差，则读取SGRU神经网络的参数，并执行步骤A238；若验证误差大于或等于设定误差，则迭代次数加1；
步骤2.3.6.若迭代次数小于或等于最大迭代次数，则执行步骤2.3.3；
若迭代次数大于最大迭代次数则N＝N+1，然后进行如下判断，
若N＞Nmax则执行步骤A237；若N≤Nmax则执行步骤2.3.2；
步骤2.3.7.比较各个N取值时，其对应网络的验证误差，选取验证误差最小作为最优网络，并获取所对应的SGRU神经网络的参数；
步骤2.3.8.据步骤2.3.7获得的SGRU神经网络参数，确定SGRU神经网络结构的UUV集群行为识别的预测模型。
步骤3的具体步骤为：
步骤3.1.获取UUV集群最近一次行为状态数据Dt，以及最近一次时间以前的行为状态数据Dt-1，Dt-2，...，Dt-N；
步骤3.2.利用步骤A1中方法，对Dt，Dt-1，Dt-2，...，Dt-N进行数据的预处理；
步骤3.3.将经过预处理过的Dt，Dt-1，Dt-2，...，Dt-N数据输入到步骤A2所获得的SGRU预测模型中，获取预测结果进行反归一化后，得到下一次UUV集群的行为状态，其中反归一化公式为
本发明的有益效果在于：本发明克服传统GRU神经网络结构过于复杂，泛化能力差的问题，并且应用SGRU建立精确高效的UUV集群行为识别模型，解决传统方法无法准确识别UUV集群行为的问题。
附图说明
图1为基于SGRU神经网络的UUV集群行为识别模型框图。
图2为标准GRU神经网络结构图。
图3为SGRU神经网络结构图。
图4为SGRU神经网络训练流程示意图。
具体实施方式
下面结合附图对本发明做进一步的描述：
实施例1
一种基于SGRU神经网络的UUV集群行为识别技术，具体的实现步骤如下：
步骤1.数据预处理阶段，对UUV集群行为数据集进行数据清洗，包括处理数据不平衡问题、缺失值问题；
步骤2.模型训练阶段，利用数据预处理后的数据集训练SGRU神经网络，建立UUV集群行为识别模型；
步骤3.模型预测阶段，获取当前软件失效数据并采用步骤1同样的方法进行数据预处理过程，然后输入步骤2所获得的SGRU预测模型进行UUV集群行为识别的预测，得到预测结果。
步骤1包括以下步骤：
步骤1.1.处理数据不平衡问题，首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理，若数据量较充足，采取欠采样的方法，减少样本数据较多的类的数量来平衡数据集，若数据量较少，采取过采样的方法，增加数量较少的类的数量来平衡数据集；
步骤1.2.处理缺失值，分析缺失值占比，根据缺失值的占比采取不同方式处理，若特征缺失值占比高，删除该特征，若占比适中，则将缺失值作为一个新类别，原特征替换为类别特征，若占比较低，则采用均值或中位数的方式替换；
步骤2所述的SGRU神经网络由输入层、输出层、隐含层组成，隐含层由SGRU神经元构成，SGRU神经网络的输入数据为经过数据预处理后的的t时刻的集群行为数据，输入数据为预测的下一刻集群行为；标准LSTM单元包括输入门(input gate)、遗忘门(forgetgate)、输出门(output gate)和cell单元。而标准的GRU则是LSTM的变体，GRU单元组合了遗忘门和输入门为一个“更新门”，它合并了神经元状态和隐层状态，只有更新门和重置门，zt和 rt。设输入序列为(x1，x2，…xt)，则在t时刻更新门、重置门、标准GRU单元输出计算公式如下所示：
zt＝σ(Wz*[ht-1,xt])
rt＝σ(Wr*[ht-1,xt])
nt＝tanh(W*[rt*ht-1,xt])
ht＝(1-zt)*ht-1+zt*nt
其中zt表示t时刻更新门的输出；Wt表示输入集群行为数据和h(t-1)与rt乘积之间的权重；rt表示t时刻重置门的输出；Wr表示输入和h(t-1)之间的权重；其中h(t-1)表示t-1时刻标准GRU 单元输出；xt表示t时刻的输入的UUV集群行为数据；nt表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出zt和输入之间的权重；ht表示t时刻标准GRU单元的输出，更新当前神经元状态，我们把前一层状态h(t-1)与(1-z_t)相乘，丢弃我们需要丢弃的信息,加上zt与nt相乘,这就是新的候选值，即标准GRU的输出；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数。
考虑到UUV集群行为识别的复杂状态，一次筛选往往不足以丢弃我们想要丢弃的状态信息，加上海底作战的各时段的时序关联。因此，在更新门做出改进，将原更新门输入中的 h(t-1)更改为h(t-1)与rt相乘，即用重置门的输出来调整更新门，对其进行反馈。多加一次更新迭代，通过控制同一时刻低层的记忆单元向邻近高层记忆单元的信息流传输，以求实现UUV 集群行为识别的高精准。故而我们提出一种基于标准GRU改进的变体神经网络，SGRU神经网络。
设输入UUV集群行为序列为(x1,x2,…,xt)，则在t时刻更新门、重置门、标准SGRU单元输出计算公式如下所示：
rt＝σ(Wr*[ht-1,xt])
zt＝σ(Wz*[ht-1*rt,xt])
nt＝tanh(W*[rt*ht-1,xt])
ht＝(1-zt)*ht-1+zt*nt
yt＝σ(Wo*ht)
其中zt表示t时刻更新门的输出；Wt表示输入集群行为数据和h(t-1)与rt乘积之间的权重；rt表示t时刻重置门的输出；Wr表示输入和h(t-1)之间的权重；其中h(t-1)表示t-1时刻标准GRU 单元输出；xt表示t时刻的输入的UUV集群行为数据；nt表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出zt和输入之间的权重；yt表示t时刻SGRU神经网络的输出，即预测结果，Wo表示ht的权重；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数。
步骤2所述的训练SGRU神经网络的目标是使得网络的预测输出yt和实际的输出相等，定义网络的损失函数为
通过梯度下降法最小化损失函数L可以训练出SGRU网络中的权值和偏置，得到预测模型，具体的训练过程包括以下步骤：
步骤2.1.将预处理后的数据按照集群行为序列的时间顺序分为两组,奇数顺序的一组作为训练数据集、偶数顺序的一组作为验证数据集；
步骤2.2.设定深度SGRU神经网络训练参数，预设输入层神经元个数为6和输出层神经元个数为1，设定其隐含层的神经元个数为N，隐含层共3层，其中N＝1，2，3，...Nmax，Nmax为预设值，根据具体情况做出相应改变；
步骤2.3.依次在N的每个取值所对应的SGRU神经网络结构上，利用训练集数据迭代训练神经网络中的权重以及偏置等参数，同时利用验证集对每次训练后的网络模型，采取经验评估，并更新、保存N的每个取值下性能最优的SGRU神经网络，最终选取综合性能最优的SGRU 神经网络结构作为训练完成的预测模型。
步骤2.3的具体步骤为：
步骤2.3.1.进行外循环初始化，设定N＝1；设置误差值；
步骤2.3.2.进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤2.3.3.基于结构风险最小化原理，用训练集进行SGRU神经网络的训练；
步骤2.3.4.将验证集数据输入步骤2.3.3训练好的改进的SGRU神经网络，利用经验风险函数进行验证误差的计算；
步骤2.3.5.若验证误差大于或等于当前最小误差，则直接迭代次数+1，
若验证误差小于当前最小误差，则将验证误差的值赋值给当前最小误差，则把当前SGRU 神经网络看做最优网络，同时更新并存储最优网络的参数和验证集误差，进行下列判定：
若验证误差小于设定误差，则读取SGRU神经网络的参数，并执行步骤A238；若验证误差大于或等于设定误差，则迭代次数加1；
步骤2.3.6.若迭代次数小于或等于最大迭代次数，则执行步骤2.3.3；
若迭代次数大于最大迭代次数则N＝N+1，然后进行如下判断，
若N＞Nmax则执行步骤A237；若N≤Nmax则执行步骤2.3.2；
步骤2.3.7.比较各个N取值时，其对应网络的验证误差，选取验证误差最小作为最优网络，并获取所对应的SGRU神经网络的参数；
步骤2.3.8.据步骤2.3.7获得的SGRU神经网络参数，确定SGRU神经网络结构的UUV集群行为识别的预测模型。
步骤3的具体步骤为：
步骤3.1.获取UUV集群最近一次行为状态数据Dt，以及最近一次时间以前的行为状态数据Dt-1，Dt-2，...，Dt-N；
步骤3.2.利用步骤A1中方法，对Dt，Dt-1，Dt-2，...，Dt-N进行数据的预处理；
步骤3.3.将经过预处理过的Dt，Dt-1，Dt-2，...，Dt-N数据输入到步骤A2所获得的SGRU预测模型中，获取预测结果进行反归一化后，得到下一次UUV集群的行为状态，其中反归一化公式为
实施例2
本发明属于深度学习领域，具体涉及一种基于SGRU神经网络的UUV集群性行为识别技术。
水下无人航行器(Unmanned Underwater Vehicle,UUV)，是以潜艇和水面舰艇为载体，具有长时间续航能力，并可回收的小型智能武器装备，用途广泛，被称为海军的“力量倍增器”。
现代海军作战地形复杂，海域广阔，对潜航器集群的侦查能力带来更多的挑战。UUV作为在复杂海洋环境中工作的高智能化、无人系统，良好的环境感知能力是其必须要具备的关键技能。而集群行为识别能力是反制敌方无人潜航器集群的基础，也是UUV感知外部环境信息的重要手段之一。
目前，UUV集群性行为识别技术多数以循环神经网络为基础，传统循环神经网络结构通常难以训练。现有UUV集群行为识别研究甚少，领域处于相对空白。而门控循环神经网络 (Gated Recurrent Unit，GRU)作为近年来取得重大突破的网络模型，将遗忘门和输入门合成了一个单一的更新门，同样还混合了细胞状态和隐藏状态，以缓解梯度消失问题，最终使其比其原型LSTM模型更要简单。GRU在模式识别领域，如图像识别、文字识别及语音识别等方面已经广泛使用且性能优异，亦可扩展到集群行为识别领域。
本发明的目的在于提供一种能简化模型复杂度，提高系统泛化能力的改进的GRU神经网络，并应用SGRU神经网路建立欠驱动UUV集群行为识别模型，应用该模型可以精确识别欠驱动UUV集群行为的方法。
本发明的有益效果是：本发明所述的一种基于SGRU神经网络的UUV集群行为识别技术，克服传统GRU神经网络结构过于复杂，泛化能力差的问题，并且应用SGRU建立精确高效的UUV集群行为识别模型，解决传统方法无法准确识别UUV集群行为的问题。
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于解释本发明，并不构成对本发明的限制。
本发明提出一种基于SGRU神经网络的UUV集群行为识别模型，如图(1)所示，该模型包括三个部分，即数据预处理阶段、模型训练阶段和模型预测阶段。
数据预处理阶段：
步骤A1：对UUV集群行为数据集进行数据清洗，包括处理数据不平衡问题、缺失值问题。
步骤A11：数据不平衡问题的处理，首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理。如果数据量较充足，可采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，可采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。
步骤A12：处理缺失值。分析缺失值占比后，根据缺失值的占比采取不同方式处理，若特征缺失值占比高，删除该特征；若占比适中，则将缺失值作为一个新类别，原特征替换为类别特征；若占比较低，则采用均值或中位数的方式替换。
步骤A2：利用数据预处理后的数据集训练SGRU神经网络，建立UUV集群行为识别模型：
SGRU神经网络由输入层、输出层、隐含层组成，隐含层由SGRU神经元构成，SGRU 神经网络的输入数据为经过数据预处理后的的t时刻的集群行为数据，输入数据为预测的下一刻集群行为。SGRU是在GRU的基础上简化而来，标准GRU单元结构如图(2)所示， SGRU单元结构如图(3)所示。
标准LSTM单元包括输入门(input gate)、遗忘门(forget gate)、输出门(outputgate) 和cell单元。而标准的GRU则是LSTM的变体，GRU单元组合了遗忘门和输入门为一个“更新门”，它合并了神经元状态和隐层状态，只有更新门和重置门，即图(2)中z_t和r_t。设输入序列为(x_1,x_2,…,x_t)，则在t时刻更新门、重置门、标准GRU单元输出计算公式如下所示：
zt＝σ(Wz*[ht-1,xt]) (1)
rt＝σ(Wr*[ht-1,xt]) (2)
nt＝tanh(W*[rt*ht-1,xt]) (3)
ht＝(1-zt)*ht-1+zt*nt (4)
其中z_t表示t时刻更新门的输出；W_t表示输入和h_(t-1)之间的权重；r_t表示t时刻重置门的输出；W_r表示输入和h_(t-1)之间的权重；其中h_(t-1)表示t-1时刻标准GRU单元输出；x_t表示t时刻的输入的UUV集群行为数据；n_t表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出z_t和输入之间的权重；h_t 表示t时刻标准GRU单元的输出，更新当前神经元状态，我们把前一层状态h_(t-1)与(1-z_t) 相乘，丢弃我们需要丢弃的信息,加上z_t与n_t相乘,这就是新的候选值，即标准GRU的输出；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数。
考虑到UUV集群行为识别的复杂状态，一次筛选往往不足以丢弃我们想要丢弃的状态信息，加上海底作战的各时段的时序关联。因此，在更新门做出改进，将原更新门输入中的 h_(t-1)更改为h_(t-1)与r_t相乘，即用重置门的输出来调整更新门，对其进行反馈。多加一次更新迭代，通过控制同一时刻低层的记忆单元向邻近高层记忆单元的信息流传输，以求实现 UUV集群行为识别的高精准。故而我们提出一种基于标准GRU改进的变体神经网络，SGRU 神经网络。
如图(3)，SGRU是GRU的变体，它组合重置门与输入，对更新门进行“更新”并输出。设输入UUV集群行为序列为(x_1,x_2,…,x_t)，则在t时刻更新门、重置门、标准SGRU单元输出计算公式如下所示：
rt＝σ(Wr*[ht-1,xt]) (5)
zt＝σ(Wz*[ht-1*rt,xt]) (6)
nt＝tanh(W*[rt*ht-1,xt]) (7)
ht＝(1-zt)*ht-1+zt*nt (8)
yt＝σ(Wo*ht) (9)
其中，公式(5)、公式(7)以及公式(8)与标准GRU中公式(2)、公式(3)以及公式(4)一致，参数说明不再赘述。不同的是更新门公式(6)与输出结果公式(9)，需要说明的是z_t表示t时刻更新门的输出；W_t表示输入集群行为数据和h_(t-1)与r_t乘积之间的权重；y_t表示t时刻SGRU神经网络的输出，即预测结果，W_o表示h_t的权重。
训练SGRU神经网络的目标是使得网络的预测输出yt和实际的输出相等，定义网络的损失函数如公式(10)所示：
通过梯度下降法最小化损失函数L可以训练出SGRU网络中的权值和偏置，得到预测模型。具体的训练过程包括以下步骤：
步骤A21,将预处理后的数据按照集群行为序列的时间顺序分为两组,奇数顺序的一组作为训练数据集、偶数顺序的一组作为验证数据集；
步骤A22，设定深度SGRU神经网络训练参数。预设输入层神经元个数为6和输出层神经元个数为1，设定其隐含层的神经元个数为N，隐含层共3层，其中N＝1，2，3，...Nmax，Nmax为预设值，根据具体情况做出相应改变；
步骤A23，依次在N的每个取值所对应的SGRU神经网络结构上，利用训练集数据迭代训练神经网络中的权重以及偏置等参数，同时利用验证集对每次训练后的网络模型，采取经验评估。并更新、保存N的每个取值下性能最优的SGRU神经网络，最终选取综合性能最优的SGRU神经网络结构作为训练完成的预测模型。
步骤A23的流程如图4所示，可细化为以下步骤：
步骤A231：进行外循环初始化，设定N＝1；设置误差值；
步骤A232：进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤A233：基于结构风险最小化原理，用训练集进行SGRU神经网络的训练；
步骤A234：将验证集数据输入步骤A233训练好的改进的SGRU神经网络，利用经验风险函数进行验证误差的计算；
步骤A235：若验证误差大于或等于当前最小误差，则直接迭代次数+1；
若验证误差小于当前最小误差，则将验证误差的值赋值给当前最小误差，则把当前SGRU 神经网络看做最优网络，同时更新并存储最优网络的参数和验证集误差，进行下列判定：
若验证误差小于设定误差，则读取SGRU神经网络的参数，并执行步骤A238；若验证误差大于或等于设定误差，则迭代次数加1；
步骤A236：若迭代次数小于或等于最大迭代次数，则执行步骤A233；
若迭代次数大于最大迭代次数则N＝N+1，然后进行如下判断：
若N＞Nmax则执行步骤A237；若N≤Nmax则执行步骤A232；
步骤A237：比较各个N取值时，其对应网络的验证误差，选取验证误差最小作为最优网络，并获取所对应的SGRU神经网络的参数；
步骤A238：据步骤A237获得的SGRU神经网络参数，确定SGRU神经网络结构的UUV集群行为识别的预测模型。
模型预测阶段：
步骤A3：获取当前软件失效数据并采用步骤A1同样的方法进行数据预处理过程，然后输入步骤A2所获得的SGRU预测模型进行UUV集群行为识别的预测，得到预测结果。
步骤A31：获取UUV集群最近一次行为状态数据Dt，以及最近一次时间以前的行为状态数据Dt-1，Dt-2，...，Dt-N；
步骤A32：利用步骤A1中方法，对Dt，Dt-1，Dt-2，...，Dt-N进行数据的预处理。
步骤A33，将经过预处理过的Dt，Rt-1，Dt-2，...，Dt-N数据输入到步骤A2所获得的SGRU 预测模型中，获取预测结果进行反归一化后，得到下一次UUV集群的行为状态。
反归一化如公式(11)所示:
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于，具体的实现步骤如下：
步骤1.数据预处理阶段，对UUV集群行为数据集进行数据清洗，包括处理数据不平衡问题、缺失值问题；
步骤2.模型训练阶段，利用数据预处理后的数据集训练SGRU神经网络，建立UUV集群行为识别模型；
步骤3.模型预测阶段，获取当前软件失效数据并采用步骤1同样的方法进行数据预处理过程，然后输入步骤2所获得的SGRU预测模型进行UUV集群行为识别的预测，得到预测结果。
2.根据权利要求1所述的一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于，步骤1包括以下步骤：
步骤1.1.处理数据不平衡问题，首先分析正负样本比例，其次根据数据集大小采用不同的采样方法处理，若数据量较充足，采取欠采样的方法，减少样本数据较多的类的数量来平衡数据集，若数据量较少，采取过采样的方法，增加数量较少的类的数量来平衡数据集；
步骤1.2.处理缺失值，分析缺失值占比，根据缺失值的占比采取不同方式处理，若特征缺失值占比高，删除该特征，若占比适中，则将缺失值作为一个新类别，原特征替换为类别特征，若占比较低，则采用均值或中位数的方式替换。
3.根据权利要求1所述的一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于：步骤2所述的SGRU神经网络由输入层、输出层、隐含层组成，隐含层由SGRU神经元构成，SGRU神经网络的输入数据为经过数据预处理后的的t时刻的集群行为数据，输入数据为预测的下一刻集群行为；设输入UUV集群行为序列为(x1,x2,…,xt)，则在t时刻更新门、重置门、标准SGRU单元输出计算公式如下所示：
rt＝σ(Wr*[ht-1,xt])
zt＝σ(Wz*[ht-1*rt,xt])
nt＝tanh(W*[rt*ht-1,xt])
ht＝(1-zt)*ht-1+zt*nt
yt＝σ(Wo*ht)
其中zt表示t时刻更新门的输出；Wt表示输入集群行为数据和h(t-1)与rt乘积之间的权重；rt表示t时刻重置门的输出；Wr表示输入和h(t-1)之间的权重；其中h(t-1)表示t-1时刻标准GRU 单元输出；xt表示t时刻的输入的UUV集群行为数据；nt表示t时刻用tanh层来创建的一个新的候选值向量，并将其加入到当前状态中；W表示更新门的输出zt和输入之间的权重；yt表示t时刻SGRU神经网络的输出，即预测结果，Wo表示ht的权重；σ为sigmoid激活函数，sigmoid与tanh为两种神经网络常用的神经元激活函数。
4.根据权利要求1所述的一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于：步骤2所述的训练SGRU神经网络的目标是使得网络的预测输出yt和实际的输出相等，定义网络的损失函数为
通过梯度下降法最小化损失函数L训练出SGRU网络中的权值和偏置，得到预测模型，具体的训练过程包括以下步骤：
步骤2.1.将预处理后的数据按照集群行为序列的时间顺序分为两组,奇数顺序的一组作为训练数据集、偶数顺序的一组作为验证数据集；
步骤2.2.设定深度SGRU神经网络训练参数，预设输入层神经元个数为6和输出层神经元个数为1，设定其隐含层的神经元个数为N，隐含层共3层，其中N＝1,2,3，…Nmax,Nmax为预设值，根据具体情况做出相应改变；
步骤2.3.依次在N的每个取值所对应的SGRU神经网络结构上，利用训练集数据迭代训练神经网络中的权重以及偏置等参数，同时利用验证集对每次训练后的网络模型，采取经验评估，并更新、保存N的每个取值下性能最优的SGRU神经网络，最终选取综合性能最优的SGRU神经网络结构作为训练完成的预测模型。
5.根据权利要求1所述的一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于：步骤2.3的具体步骤为：
步骤2.3.1.进行外循环初始化，设定N＝1；设置误差值；
步骤2.3.2.进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤2.3.3.基于结构风险最小化原理，用训练集进行SGRU神经网络的训练；
步骤2.3.4.将验证集数据输入步骤2.3.3训练好的改进的SGRU神经网络，利用经验风险函数进行验证误差的计算；
步骤2.3.5.若验证误差大于或等于当前最小误差，则直接迭代次数+1，
若验证误差小于当前最小误差，则将验证误差的值赋值给当前最小误差，则把当前SGRU神经网络看做最优网络，同时更新并存储最优网络的参数和验证集误差，进行下列判定：
若验证误差小于设定误差，则读取SGRU神经网络的参数，并执行步骤A238；若验证误差大于或等于设定误差，则迭代次数加1；
步骤2.3.6.若迭代次数小于或等于最大迭代次数，则执行步骤2.3.3；
若迭代次数大于最大迭代次数则N＝N+1，然后进行如下判断，
若N>Nmax则执行步骤A237；若N≤Nmax则执行步骤2.3.2；
步骤2.3.7.比较各个N取值时，其对应网络的验证误差，选取验证误差最小作为最优网络，并获取所对应的SGRU神经网络的参数；
步骤2.3.8.据步骤2.3.7获得的SGRU神经网络参数，确定SGRU神经网络结构的UUV集群行为识别的预测模型。
6.根据权利要求1所述的一种基于SGRU神经网络的UUV集群行为识别技术，其特征在于，步骤3的具体步骤为：
步骤3.1.获取UUV集群最近一次行为状态数据Dt，以及最近一次时间以前的行为状态数据Dt-1,Dt-2,…,Dt-N；
步骤3.2.利用步骤A1中方法，对Dt,Dt-1,Dt-2,…,Dt-N进行数据的预处理；
步骤3.3.将经过预处理过的Dt,Dt-1,Dt-2,…,Dt-N数据输入到步骤A2所获得的SGRU预测模型中，获取预测结果进行反归一化后，得到下一次UUV集群的行为状态，其中反归一化公式为
CN201811017220.XA 2018-09-01 2018-09-01 一种基于sgru神经网络的uuv集群行为识别技术 Pending CN109409200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811017220.XA CN109409200A (zh) 2018-09-01 2018-09-01 一种基于sgru神经网络的uuv集群行为识别技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811017220.XA CN109409200A (zh) 2018-09-01 2018-09-01 一种基于sgru神经网络的uuv集群行为识别技术

Publications (1)

Publication Number Publication Date
CN109409200A true CN109409200A (zh) 2019-03-01

Family

ID=65464481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811017220.XA Pending CN109409200A (zh) 2018-09-01 2018-09-01 一种基于sgru神经网络的uuv集群行为识别技术

Country Status (1)

Country Link
CN (1) CN109409200A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982117A (zh) * 2020-08-17 2020-11-24 电子科技大学 一种基于深度学习的auv光学引导与测向方法
CN113239354A (zh) * 2021-04-30 2021-08-10 武汉科技大学 一种基于循环神经网络的恶意代码检测方法及系统
CN113779860A (zh) * 2021-03-01 2021-12-10 北京科益虹源光电技术有限公司 一种准分子激光器能量模型辨识方法及装置
CN115952428A (zh) * 2022-12-31 2023-04-11 中国电子科技集团公司信息科学研究院 基于gru的群体任务识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544904A (zh) * 2017-08-21 2018-01-05 哈尔滨工程大学 一种基于深度cg‑lstm神经网络的软件可靠性预测模型
CN107977855A (zh) * 2017-10-31 2018-05-01 苏宁云商集团股份有限公司 一种管理用户信息的方法及装置
CN108279692A (zh) * 2018-01-17 2018-07-13 哈尔滨工程大学 一种基于lstm-rnn的uuv动态规划方法
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN108334677A (zh) * 2018-01-17 2018-07-27 哈尔滨工程大学 一种基于gru网络的uuv实时避碰规划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544904A (zh) * 2017-08-21 2018-01-05 哈尔滨工程大学 一种基于深度cg‑lstm神经网络的软件可靠性预测模型
CN107977855A (zh) * 2017-10-31 2018-05-01 苏宁云商集团股份有限公司 一种管理用户信息的方法及装置
CN108279692A (zh) * 2018-01-17 2018-07-13 哈尔滨工程大学 一种基于lstm-rnn的uuv动态规划方法
CN108319293A (zh) * 2018-01-17 2018-07-24 哈尔滨工程大学 一种基于lstm网络的uuv实时避碰规划方法
CN108334677A (zh) * 2018-01-17 2018-07-27 哈尔滨工程大学 一种基于gru网络的uuv实时避碰规划方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIE WU ET AL.: "Cascade recurrent neural network for image caption generation", 《ELECTRONICS LETTERS》 *
KYUNGHYUN CHO ET AL.: "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation", 《ARXIV:1406.1078V3》 *
张雪莲: "基于深度学习的无人水下航行器动态规划方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
石疯: "RNN、LSTM、GRU基础原理篇", 《知乎》 *
蒋思源: "教程|经典必读：门控循环单元（GRU）的基本概念与原理", 《机器之心》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982117A (zh) * 2020-08-17 2020-11-24 电子科技大学 一种基于深度学习的auv光学引导与测向方法
CN111982117B (zh) * 2020-08-17 2022-05-10 电子科技大学 一种基于深度学习的auv光学引导与测向方法
CN113779860A (zh) * 2021-03-01 2021-12-10 北京科益虹源光电技术有限公司 一种准分子激光器能量模型辨识方法及装置
CN113779860B (zh) * 2021-03-01 2024-05-28 北京科益虹源光电技术有限公司 一种准分子激光器能量模型辨识方法及装置
CN113239354A (zh) * 2021-04-30 2021-08-10 武汉科技大学 一种基于循环神经网络的恶意代码检测方法及系统
CN115952428A (zh) * 2022-12-31 2023-04-11 中国电子科技集团公司信息科学研究院 基于gru的群体任务识别方法
CN115952428B (zh) * 2022-12-31 2023-11-14 中国电子科技集团公司信息科学研究院 基于gru的群体任务识别方法

Similar Documents

Publication Publication Date Title
CN109409200A (zh) 一种基于sgru神经网络的uuv集群行为识别技术
Qahwaji et al. Automatic short-term solar flare prediction using machine learning and sunspot associations
CN109214107A (zh) 一种船舶航行行为在线预测方法
CN110363151A (zh) 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN111199270B (zh) 一种基于深度学习的区域波高预报方法及终端
CN109034034A (zh) 一种基于强化学习算法优化卷积神经网络的静脉识别方法
CN104049639B (zh) 一种基于支持向量回归机的无人艇抗浪涌控制装置和方法
CN108304489A (zh) 一种基于强化学习网络的目标引导型个性化对话方法与系统
CN110163433A (zh) 一种船舶流量预测方法
Lin et al. An on-line ICA-mixture-model-based self-constructing fuzzy neural network
CN110222826A (zh) 一种基于改进的EEMD-IndRNN船舶流量预测方法
CN112560991A (zh) 基于混合专家模型的个性化联邦学习方法
CN110334584A (zh) 一种基于区域全卷积网络的手势识别方法
CN110048978A (zh) 一种信号调制识别方法
CN109389246B (zh) 一种基于神经网络的交通工具目的地区域范围预测方法
Yang et al. PACL: piecewise arc cotangent decay learning rate for deep neural network training
CN110245602A (zh) 一种基于深度卷积特征的水下静目标识别方法
CN109344960A (zh) 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法
CN109492516A (zh) 一种基于dgru神经网络的uuv集群行为识别方法
CN115293022A (zh) 基于OptiGAN和时空注意力的航空兵智能体对抗行为建模方法
CN113553918B (zh) 一种基于脉冲主动学习的机打发票字符识别方法
Yuan-bin Genetic algorithm’s application for optimization of PID parameters in dynamic positioning vessel
Wu et al. From members to teams to committee-a robust approach to gestural and multimodal recognition
CN103700118A (zh) 基于脉冲耦合神经网络的动目标检测方法
CN116434037B (zh) 基于双层优化学习的多模态遥感目标鲁棒识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301