CN110569963A - 一种防止数据信息丢失的dgru神经网络及其预测方法 - Google Patents

一种防止数据信息丢失的dgru神经网络及其预测方法 Download PDF

Info

Publication number
CN110569963A
CN110569963A CN201910743277.6A CN201910743277A CN110569963A CN 110569963 A CN110569963 A CN 110569963A CN 201910743277 A CN201910743277 A CN 201910743277A CN 110569963 A CN110569963 A CN 110569963A
Authority
CN
China
Prior art keywords
data
dgru
neural network
prediction
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910743277.6A
Other languages
English (en)
Inventor
王志文
许铭文
孟宇龙
徐东
张子迎
任龙
关智允
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910743277.6A priority Critical patent/CN110569963A/zh
Publication of CN110569963A publication Critical patent/CN110569963A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。本发明中的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成；本发明方法包括:获取历史数据集并进行预处理；利用预处理后的数据集训练DGRU神经网络，建立预测模型；获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果三个部分。本发明克服了传统GRU神经网络的缺点，对GRU神经网络进行改进，提出一种能增强模型记忆力，防止信息丢失的DGRU神经网络，并应用DGRU神经网路建立预测模型，与传统GRU神经网络相比，可以提高模型的预测精度。

Description

一种防止数据信息丢失的DGRU神经网络及其预测方法
技术领域
本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。
背景技术
循环神经网络(Recurrent Neural Networks,RNN)是人工神经网络的一个重要分支。它在隐含层引入了反馈机制,实现对序列数据的有效处理。循环神经网络具有存储和处理上下文信息的强大能力，成为语音识别、自然语言处理、计算机视觉等领域的研究热点之一。一方面，循环神经网络普遍采用S型函数作为激活函数,而S型函数的饱和区限制了RNN训练收敛速度，因此对激活函数的优化研究成为研究热点；另一方面，循环神经网络主要采用软件实现的方式,算法的硬件加速研究具有重要意义。长短时记忆单元(Long Short-Term Memory, LSTM)特有的门结构解决了传统循环神经网络时间维度的梯度消失问题，成为RNN结构的重要组成部分。
门控循环单元(GRU)神经网络针对LSTM结构进行改进，是近几年取得重大突破的网络模型，使用了更新门与遗忘门，解决了传统循环神经网络梯度消失问题。更新门和遗忘门这两个门控向量决定了哪些信息最终能作为门控循环单元的输出，存储并过滤信息，能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。更新门帮助模型决定到底要将多少过去的信息传递到未来，或到底前一时间步和当前时间步的信息有多少需要继续传递，遗忘门主要决定了到底有多少过去的信息需要遗忘。但是GRU在过滤过程中会出现重要信息丢失情况，会降低模型的预测能力。
发明内容
本发明的目的是为了提供一种防止数据信息丢失的DGRU神经网络。
本发明的目的是这样实现的：
一种防止数据信息丢失的DGRU神经网络，所述的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成，且t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门输入的关系为：
其中，为第L+1层隐含单元的输入；Wd表示第L层控制门的权重；表示t-1时刻第L层隐含单元的输出；表示t时刻标准GRU单元的输出。
本发明的目的还在于提供一种基于一种防止数据信息丢失的DGRU神经网络的预测方法。
一种防止数据信息丢失的DGRU神经网络的预测方法，包括以下步骤：
步骤1：获取历史数据集并进行预处理，对数据集进行数据清洗，包括处理数据不平衡问题和归一化问题；
步骤2：利用预处理后的数据集训练DGRU神经网络，建立预测模型；
步骤3：获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果。
所述的步骤1中处理数据不平衡问题具体为：首先分析正负样本比例，其次根据数据集的大小采用不同的采样方法处理，如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。
所述的步骤2中利用预处理后的数据集训练DGRU神经网络具体为：
步骤2.1：将预处理后的数据集按照序列的时间顺序分为两组，时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤2.2：设定DGRU神经网络的输入层神经元个数为5，输出层神经元个数为1；设定 DGRU神经网络隐含层的神经元个数为D，隐含层共3层，D＝1,2,3...,DMax，其中DMax为预设值
步骤2.3：依次在D的每个取值所对应的DGRU神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存D的每个取值下性能最优的DGRU神经网络，选取性能最优的DGRU神经网络结构作为预测模型。
步骤2.3中选取性能最优的DGRU神经网络结构的具体方法为：
步骤2.3.1：进行外循环初始化，设定D＝1；
步骤2.3.2：进行内循环初始化，设定当前迭代次数＝1，最小误差为无穷大，并设定最大迭代次数；
步骤2.3.3：基于结构风险最小化原理，利用训练集数据进行DGRU神经网络的训练；
步骤2.3.4：将验证集数据输入基于结构风险最小化原理训练好的DGRU神经网络，利用经验风险函数进行验证集误差的计算；
步骤2.3.5：判断验证集误差是否小于当前最小误差；若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，把当前DGRU神经网络作为最优网络，更新并存储最优网络的参数和验证集误差；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.6：判断验证集误差是否小于设定误差；若验证集误差小于设定误差，则读取 DGRU神经网络的参数，并依据所选择的网络参数确定DGRU神经网络结构的软件可靠性的预测模型；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.7：若迭代次数大于最大迭代次数则令更新D的值，令D＝D+1，否则返回步骤2.3.3进行下一次迭代；
步骤2.3.8：若D≤DMax则返回步骤2.3.2重新开始迭代；若D＞DMax则对比不同D值时最后网络的验证集误差，选取验证集误差最小的DGRU神经网络作为预测模型。
所述的步骤3具体为：
步骤3.1：获取最近一次的数据Ct，以及最近一次时间以前的失效时间数据 Ct-1,Ct-2,...,Ct-N；
步骤3.2：对Ct,Ct-1,Ct-2,...,Ct-N进行数据的归一化处理；
步骤3.3：将经过归一化处理过的Ct,Ct-1,Ct-2,...,Ct-N数据输入到预测模型中，将预测模型得到的结果进行反归一化，得到数据的预测结果；反归一化如公式为：
其中为数据的预测结果；为预测模型的结果；Cmax和Cmin分别为 Ct,Ct-1,Ct-2,...,Ct-N数据中的最大值与最小值。
附图说明
图1基于DGRU神经网络的预测模型框图；
图2标准GRU神经网络结构；
图3DGRU神经网络结构图；
图4DGRU神经网络训练流程示意图；
具体实施方式
下面结合附图对本发明做进一步描述：
一种防止数据信息丢失的DGRU神经网络，所述的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成，且t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门输入的关系为：
其中，为第L+1层隐含单元的输入；Wd表示第L层控制门的权重；表示t-1时刻第L层隐含单元的输出；表示t时刻标准GRU单元的输出。
一种防止数据信息丢失的DGRU神经网络的预测方法，包括以下步骤：
步骤1：获取历史数据集并进行预处理，对数据集进行数据清洗，包括处理数据不平衡问题和归一化问题；
步骤2：利用预处理后的数据集训练DGRU神经网络，建立预测模型；
步骤3：获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果。
所述的步骤1中处理数据不平衡问题具体为：首先分析正负样本比例，其次根据数据集的大小采用不同的采样方法处理，如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。
所述的步骤2中利用预处理后的数据集训练DGRU神经网络具体为：
步骤2.1：将预处理后的数据集按照序列的时间顺序分为两组，时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤2.2：设定DGRU神经网络的输入层神经元个数为5，输出层神经元个数为1；设定 DGRU神经网络隐含层的神经元个数为D，隐含层共3层，D＝1,2,3...,DMax，其中DMax为预设值
步骤2.3：依次在D的每个取值所对应的DGRU神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存D的每个取值下性能最优的DGRU神经网络，选取性能最优的DGRU神经网络结构作为预测模型。
步骤2.3中选取性能最优的DGRU神经网络结构的具体方法为：
步骤2.3.1：进行外循环初始化，设定D＝1；
步骤2.3.2：进行内循环初始化，设定当前迭代次数＝1，最小误差为无穷大，并设定最大迭代次数；
步骤2.3.3：基于结构风险最小化原理，利用训练集数据进行DGRU神经网络的训练；
步骤2.3.4：将验证集数据输入基于结构风险最小化原理训练好的DGRU神经网络，利用经验风险函数进行验证集误差的计算；
步骤2.3.5：判断验证集误差是否小于当前最小误差；若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，把当前DGRU神经网络作为最优网络，更新并存储最优网络的参数和验证集误差；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.6：判断验证集误差是否小于设定误差；若验证集误差小于设定误差，则读取 DGRU神经网络的参数，并依据所选择的网络参数确定DGRU神经网络结构的软件可靠性的预测模型；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.7：若迭代次数大于最大迭代次数则令更新D的值，令D＝D+1，否则返回步骤2.3.3进行下一次迭代；
步骤2.3.8：若D≤DMax则返回步骤2.3.2重新开始迭代；若D＞DMax则对比不同D值时最后网络的验证集误差，选取验证集误差最小的DGRU神经网络作为预测模型。
所述的步骤3具体为：
步骤3.1：获取最近一次的数据Ct，以及最近一次时间以前的失效时间数据 Ct-1,Ct-2,...,Ct-N；
步骤3.2：对Ct,Ct-1,Ct-2,...,Ct-N进行数据的归一化处理；
步骤3.3：将经过归一化处理过的Ct,Ct-1,Ct-2,...,Ct-N数据输入到预测模型中，将预测模型得到的结果进行反归一化，得到数据的预测结果；反归一化如公式为：
其中为数据的预测结果；为预测模型的结果；Cmax和Cmin分别为 Ct,Ct-1,Ct-2,...,Ct-N数据中的最大值与最小值。
本发明的有益效果在于：
本发明所述的一种防止数据信息丢失的DGRU神经网络及其预测方法，增加了不同层之间的信息传递，增强模型的记忆能力，克服传统GRU神经网络信息丢失问题，并且应用DGRU建立的预测模型，提高预测精度。
本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于解释本发明，并不构成对本发明的限制。
本发明提出一种防止数据信息丢失的DGRU神经网络及其预测方法，如图1所示，该模型包括三个部分，即数据预处理阶段、模型训练阶段和模型预测阶段。
数据预处理阶段：
步骤A1：对数据集进行数据清洗，包括处理数据不平衡问题、归一化问题。
步骤A11：数据不平衡问题的处理，首先分析正负样本比例，其次根据数据集的大小采用不同的采样方法处理，如果数据量较充足，可采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，可采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。
步骤A12：数据归一化处理，加快后期模型的建立。
步骤A2：利用数据预处理后的数据集训练DGRU神经网络，建立预测模型：
DGRU神经网络由输入层、输出层、隐含层组成，隐含层由DGRU神经元构成，DGRU神经网络的输入数据为经过数据预处理后的t时刻的集群行为数据输出数据为预测的下一刻集群行为DGRU是在GRU的基础上改进，标准GRU单元结构如图(2)所示，DGRU单元结构如图(3)所示。
标准的GRU单元包括遗忘门和更新门。设输入序列为则在t时刻更新门遗忘门标准GRU单元输出计算公式如下所示：
其中表示t时刻第L层的输入；表示第L层更新门的权重；表示第L层遗忘门的权重；表示第L层cell单元的输出；WL表示第L层输入和cell单元之间的权重；表示t-1时刻第L层隐含单元输出；表示输入和输出的权重；表示t时刻标准GRU单元输出。
考虑到各个时段之间的时序关联，t时刻的同一时刻邻近的两层GRU单元之间添加一个控制门(Control Gate)，通过控制同一时刻低层GRU的记忆单元向邻近高层记忆单元的信息流传输实现。则DGRU网络中t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门输入的计算公式如下：
其中，上标L+1表示第L+1层的操作，Wd表示第L层控制门的权重。控制门也可以用于连接第一层隐含层状态与输入值在这种情况下，当L＝0时，对于控制门的计算如下所示：
则DGRU中t时刻第L+1层更新门遗忘门标准GRU单元输出计算公式如下所示：
本发明所述的一种防止数据信息丢失的DGRU神经网络及其预测方法，增加了不同层之间的信息传递，增强模型的记忆能力，克服传统GRU神经网络信息丢失问题，并且应用DGRU建立的预测模型，提高预测精度。
具体的训练过程包括以下步骤：
步骤A21，将归一化处理后的数据按照序列的时间顺序分为两组，时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤A22，设定DGRU神经网络的输入层神经元个数为5和输出层神经元个数为1，设定 DGRU神经网络隐含层的神经元个数为D，隐含层共3层，D＝1,2,3...,DMax，其中DMax为预设值；
步骤A23，依次在D的每个取值所对应的DGRU神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存D的每个取值下性能最优的DGRU神经网络，选取性能最优的DGRU神经网络结构作为预测模型。
步骤A23的过程包括以下步骤：
步骤A231：进行外循环初始化，设定D＝1；进行设定误差值的设置；
步骤A232：进行内循环初始化，设定迭代次数＝1，设定当前最小误差为无穷大，设定最大迭代次数；
步骤A233：基于结构风险最小化原理，利用训练集数据进行DGRU神经网络的训练；
步骤A234：将验证集数据输入步骤A233训练好的DGRU神经网络，利用经验风险函数进行验证集误差的计算；
步骤A235：若验证集误差大于或等于当前最小误差，则直接迭代次数+1；
若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，则把当前DGRU 神经网络作为最优网络，更新并存储最优网络的参数和验证集误差，然后进行如下判断：
若验证集误差小于设定误差，则读取DGRU神经网络的参数，并执行步骤A238；若验证集误差大于或等于设定误差则迭代次数+1；
步骤A236：若迭代次数小于或等于最大迭代次数，则执行步骤A233；
若迭代次数大于最大迭代次数则D＝D+1，然后进行如下判断：
若D＞DMax则执行步骤A237；若D≤DMax则执行步骤A232；
步骤A237：对比不同D值时最后网络的验证集误差，选取验证集误差最小的最优网络，并读取所对应的DGRU神经网络的参数；
步骤A238：依据所选择的网络参数确定DGRU神经网络结构的软件可靠性的预测模型。
模型预测部分：
步骤B1：获取当前软件失效数据并采用步骤A1同样的方法进行数据归一化处理，然后输入步骤A2所获得的预测模型进行处理，得到识别结果。
步骤B11：获取软件的最近一次的数据Ct，以及最近一次时间以前的失效时间数据Ct-1,Ct-2,...,Ct-N；
步骤B12：利用步骤A1中方法，对Ct,Ct-1,Ct-2,...,Ct-N进行数据的归一化处理。
步骤B13，将经过归一化处理过的Ct,Ct-1,Ct-2,...,Ct-N数据输入到步骤A2所获得的预测模型，得到预测结果进行反归一化后，得到下一次的UUV集群行为识别。
反归一化如公式(11)所示：
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
综上所述，本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。本发明中的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU 神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成；本发明方法包括: 获取历史数据集并进行预处理；利用预处理后的数据集训练DGRU神经网络，建立预测模型；获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果三个部分。本发明克服了传统GRU神经网络的缺点，对GRU神经网络进行改进，提出一种能增强模型记忆力，防止信息丢失的DGRU神经网络，并应用DGRU神经网路建立预测模型，与传统GRU神经网络相比，可以提高模型的预测精度。

Claims (8)

1.一种防止数据信息丢失的DGRU神经网络，其特征在于:所述的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成，且t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门输入的关系为：
其中，为第L+1层隐含单元的输入；Wd表示第L层控制门的权重；表示t-1时刻第L层隐含单元的输出；表示t时刻标准GRU单元的输出。
2.基于权利要求1所述的一种防止数据信息丢失的DGRU神经网络的预测方法，其特征在于，包括以下步骤：
步骤1：获取历史数据集并进行预处理，对数据集进行数据清洗，包括处理数据不平衡问题和归一化问题；
步骤2：利用预处理后的数据集训练DGRU神经网络，建立预测模型；
步骤3：获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果。
3.根据权利要求2所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤1中处理数据不平衡问题具体为：首先分析正负样本比例，其次根据数据集的大小采用不同的采样方法处理，如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。
4.根据权利要求2或3所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤2中利用预处理后的数据集训练DGRU神经网络具体为：
步骤2.1：将预处理后的数据集按照序列的时间顺序分为两组，时间顺序靠前的一组作为训练数据集、时间顺序靠后的一组作为验证数据集；
步骤2.2：设定DGRU神经网络的输入层神经元个数为5，输出层神经元个数为1；设定DGRU神经网络隐含层的神经元个数为D，隐含层共3层，D＝1,2,3K,DMax，其中DMax为预设值
步骤2.3：依次在D的每个取值所对应的DGRU神经网络结构上，利用训练集数据迭代地训练神经网络中的参数，并利用验证集数据对每次训练后的网络进行评估，更新并保存D的每个取值下性能最优的DGRU神经网络，选取性能最优的DGRU神经网络结构作为预测模型。
5.根据权利要求4所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤2.3中选取性能最优的DGRU神经网络结构的具体方法为：
步骤2.3.1：进行外循环初始化，设定D＝1；
步骤2.3.2：进行内循环初始化，设定当前迭代次数＝1，最小误差为无穷大，并设定最大迭代次数；
步骤2.3.3：基于结构风险最小化原理，利用训练集数据进行DGRU神经网络的训练；
步骤2.3.4：将验证集数据输入基于结构风险最小化原理训练好的DGRU神经网络，利用经验风险函数进行验证集误差的计算；
步骤2.3.5：判断验证集误差是否小于当前最小误差；若验证集误差小于当前最小误差，则将验证集误差的值赋予当前最小误差，把当前DGRU神经网络作为最优网络，更新并存储最优网络的参数和验证集误差；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.6：判断验证集误差是否小于设定误差；若验证集误差小于设定误差，则读取DGRU神经网络的参数，并依据所选择的网络参数确定DGRU神经网络结构的软件可靠性的预测模型；否则返回步骤2.3.3进行下一次迭代；
步骤2.3.7：若迭代次数大于最大迭代次数则令更新D的值，令D＝D+1，否则返回步骤2.3.3进行下一次迭代；
步骤2.3.8：若D≤DMax则返回步骤2.3.2重新开始迭代；若D＞DMax则对比不同D值时最后网络的验证集误差，选取验证集误差最小的DGRU神经网络作为预测模型。
6.根据权利要求2或3所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤3具体为：
步骤3.1：获取最近一次的数据Ct，以及最近一次时间以前的失效时间数据Ct-1,Ct-2,K,Ct-N；
步骤3.2：对Ct,Ct-1,Ct-2,K,Ct-N进行数据的归一化处理；
步骤3.3：将经过归一化处理过的Ct,Ct-1,Ct-2,K,Ct-N数据输入到预测模型中，将预测模型得到的结果进行反归一化，得到数据的预测结果；反归一化如公式为：
其中为数据的预测结果；为预测模型的结果；Cmax和Cmin分别为Ct,Ct-1,Ct-2,K,Ct-N数据中的最大值与最小值。
7.根据权利要求4所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤3具体为：
步骤3.1：获取最近一次的数据Ct，以及最近一次时间以前的失效时间数据Ct-1,Ct-2,K,Ct-N；
步骤3.2：对Ct,Ct-1,Ct-2,K,Ct-N进行数据的归一化处理；
步骤3.3：将经过归一化处理过的Ct,Ct-1,Ct-2,K,Ct-N数据输入到预测模型中，将预测模型得到的结果进行反归一化，得到数据的预测结果；反归一化如公式为：
其中为数据的预测结果；为预测模型的结果；Cmax和Cmin分别为Ct,Ct-1,Ct-2,K,Ct-N数据中的最大值与最小值。
8.根据权利要求5所述的一种基于防止数据信息丢失的DGRU神经网络的预测方法，其特征在于：所述的步骤3具体为：
步骤3.1：获取最近一次的数据Ct，以及最近一次时间以前的失效时间数据Ct-1,Ct-2,K,Ct-N；
步骤3.2：对Ct,Ct-1,Ct-2,K,Ct-N进行数据的归一化处理；
步骤3.3：将经过归一化处理过的Ct,Ct-1,Ct-2,K,Ct-N数据输入到预测模型中，将预测模型得到的结果进行反归一化，得到数据的预测结果；反归一化如公式为：
其中为数据的预测结果；为预测模型的结果；Cmax和Cmin分别为Ct,Ct-1,Ct-2,K,Ct-N数据中的最大值与最小值。
CN201910743277.6A 2019-08-13 2019-08-13 一种防止数据信息丢失的dgru神经网络及其预测方法 Pending CN110569963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910743277.6A CN110569963A (zh) 2019-08-13 2019-08-13 一种防止数据信息丢失的dgru神经网络及其预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910743277.6A CN110569963A (zh) 2019-08-13 2019-08-13 一种防止数据信息丢失的dgru神经网络及其预测方法

Publications (1)

Publication Number Publication Date
CN110569963A true CN110569963A (zh) 2019-12-13

Family

ID=68775178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910743277.6A Pending CN110569963A (zh) 2019-08-13 2019-08-13 一种防止数据信息丢失的dgru神经网络及其预测方法

Country Status (1)

Country Link
CN (1) CN110569963A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112562702A (zh) * 2020-11-30 2021-03-26 哈尔滨工程大学 基于循环帧序列门控循环单元网络的语音超分辨率方法
CN116960989A (zh) * 2023-09-20 2023-10-27 云南电投绿能科技有限公司 一种发电站的电力负荷预测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
CN108886482A (zh) * 2016-01-28 2018-11-23 奥韦尔克兹公司 用于配置、控制或监测家庭自动化设施的方法
CN109344960A (zh) * 2018-09-01 2019-02-15 哈尔滨工程大学 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法
CN109492516A (zh) * 2018-09-01 2019-03-19 哈尔滨工程大学 一种基于dgru神经网络的uuv集群行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
CN108886482A (zh) * 2016-01-28 2018-11-23 奥韦尔克兹公司 用于配置、控制或监测家庭自动化设施的方法
CN109344960A (zh) * 2018-09-01 2019-02-15 哈尔滨工程大学 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法
CN109492516A (zh) * 2018-09-01 2019-03-19 哈尔滨工程大学 一种基于dgru神经网络的uuv集群行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张欣等: "基于迟滞神经网络的风速时间序列预测", 《天津工业大学学报》 *
赵淑芳等: "基于改进的LSTM深度神经网络语音识别研究", 《郑州大学学报(工学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131886A (zh) * 2020-08-05 2020-12-25 浙江工业大学 一种文本的方面级别情感分析方法
CN112562702A (zh) * 2020-11-30 2021-03-26 哈尔滨工程大学 基于循环帧序列门控循环单元网络的语音超分辨率方法
CN112562702B (zh) * 2020-11-30 2022-12-13 哈尔滨工程大学 基于循环帧序列门控循环单元网络的语音超分辨率方法
CN116960989A (zh) * 2023-09-20 2023-10-27 云南电投绿能科技有限公司 一种发电站的电力负荷预测方法、装置、设备及存储介质
CN116960989B (zh) * 2023-09-20 2023-12-01 云南电投绿能科技有限公司 一种发电站的电力负荷预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107544904B (zh) 一种基于深度cg-lstm神经网络的软件可靠性预测方法
CN110569963A (zh) 一种防止数据信息丢失的dgru神经网络及其预测方法
CN109376848A (zh) 一种简化的门控单元神经网络
CN110033089B (zh) 基于分布式估计算法的手写体数字图像识别深度神经网络参数优化方法及系统
Grangier et al. The trade-offs of domain adaptation for neural language models
EP3502978A1 (en) Meta-learning system
CN114897144A (zh) 基于复值神经网络的复值时序信号预测方法
ZHANG et al. Nearly optimal control scheme using adaptive dynamic programming based on generalized fuzzy hyperbolic model
CN113989519B (zh) 一种长尾目标检测方法及系统
CN111950711A (zh) 复值前向神经网络的二阶混合构建方法及系统
US20030204368A1 (en) Adaptive sequential detection network
CN110008332A (zh) 通过强化学习提取主干词的方法及装置
CN109344960A (zh) 一种防止数据信息丢失的dgru神经网络及其预测模型建立方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN114580288A (zh) 一种基于dsecjan的智能故障诊断方法
CN112765894A (zh) 一种基于k-lstm的铝电解槽状态预测方法
CN109492516A (zh) 一种基于dgru神经网络的uuv集群行为识别方法
CN113902131A (zh) 抵抗联邦学习中歧视传播的节点模型的更新方法
CN106453294A (zh) 基于模糊淘汰机制的小生境技术的安全态势预测方法
CN116380438A (zh) 一种故障诊断方法、装置、电子设备及存储介质
CN113486569B (zh) 一种离心泵剩余寿命预测方法
CN113407820A (zh) 模型训练方法及相关系统、存储介质
CN114360641B (zh) 一种基于变分贝叶斯的基因调控网络结构辨识方法
CN108573275B (zh) 一种在线分类微服务的构建方法
CN115795303A (zh) 一种搜索动态学习率的客户端状态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213