CN111858344A - 一种基于循环神经网络的抽象状态模型构建方法 - Google Patents

一种基于循环神经网络的抽象状态模型构建方法 Download PDF

Info

Publication number
CN111858344A
CN111858344A CN202010712769.1A CN202010712769A CN111858344A CN 111858344 A CN111858344 A CN 111858344A CN 202010712769 A CN202010712769 A CN 202010712769A CN 111858344 A CN111858344 A CN 111858344A
Authority
CN
China
Prior art keywords
state
neural network
model
recurrent neural
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010712769.1A
Other languages
English (en)
Inventor
陈振宇
高新宇
刘佳玮
尹伊宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Muzhi Technology Co ltd
Original Assignee
Shenzhen Muzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Muzhi Technology Co ltd filed Critical Shenzhen Muzhi Technology Co ltd
Priority to CN202010712769.1A priority Critical patent/CN111858344A/zh
Publication of CN111858344A publication Critical patent/CN111858344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于循环神经网络的抽象状态模型构建方法，其特征是在提供循环神经网络模型即及测试数据后，跟据其内部状态和转移规律进行抽象生成相应的抽象状态模型。本发明包括三个组成部分：状态向量获取，状态向量离散化，抽象状态模型构建。通过使用离散化的方式对循环神经网络内部状态向量进行简化分析，并根据循环神经网络的内部状态与转移规律抽象为一个状态模型。最终得到了抽象状态转移模型，该模型反映了原始循环神经网络的抽象状态特征。

Description

一种基于循环神经网络的抽象状态模型构建方法
技术领域
本发明属于软件测试领域，特别是涉及到循环神经网络的测试方法。在提供循环神经网络模型即及测试数据后，跟据其内部状态和转移规律进行抽象生成相应的抽象状态模型。
背景技术
深度学习在许多实际领域内取得了重大进展，例如图像处理、语音识别、自然语言处理和自动驾驶等。然而，最先进的深度学习系统仍然存在质量、可靠性和安全性问题，这可能会导致事故和灾难性事件。深度学习系统的早期测试对发现缺陷、提高系统质量具有重要意义。尽管传统软件的分析过程和测试技术已经很成熟，但是现有的工具不能直接应用于深度学习系统。为了检查深度学习系统中存在的潜在问题，借鉴于传统软件的测试技术，目前学术界涌现出了一系列关于卷积神经网络和全连接神经网络等前馈神经网络的测试循环神经网络（RNN）是一类具有短期记忆能力的神经网络。
然而循环神经网络并不适用于这些现有的深度学习系统测试技术。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。和前馈神经网络（FNN）相比，循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。与前馈神经网络相比，循环神经网络通过内部状态的循环和记忆来记录时间行为，以考虑过去或未来的观测的影响，循环神经网络的有状态特性使它在处理顺序数据如音频，文本等方面有着优秀的表现。
循环神经网络由于其通过环路实现时间行为，并通过内部状态记忆来考虑过去或未来观测的影响，从而使得其内部行为十分复杂。因此，一个显著的问题在于其输入的高维性和内部潜在特征空间的巨大性，使得训练循环神经网络时产生很多高维状态向量，这使得在有限的预算中几乎不可能测试其内部状态变化情况。
基于现有研究，本发明深度挖掘了在循环神经网络的内部状态信息。这些信息对于分析循环神经网络的潜在问题是必不可少的。因此，本发明针对于上述深度学习测试中循环神经网络内部具有回路导致内部状态难以测试的问题，通过以现有的机器学习中状态模型技术为基础，根据循环神经网络内部状态和转移规律，将其构建为一个容易分析，易于理解的抽象状态模型。抽象状态模型拟合了循环神经网络的时间观测轨迹，反应了原始模型的特征性质。构建基于状态系统的循环神经网络抽象模型构建的关键在于抽象模型的大小与精度之间进行折衷，使得抽象模型即能够有效地捕捉大量输入序列所触发的行为，更好地捕捉原始模型的特征，又能简化其内部的状态和轨迹，以便在有限的预算内完成模型测试。
发明内容
深度学习测试中循环神经网络内部具有回路导致内部状态难以测试的问题。我们的发明能够根据循环神经网络内部状态和转移规律，将其构建为一个容易分析，易于理解的抽象状态模型，以简化其内部的状态和轨迹的同时捕捉原始模型的特征，解决循环神经网络难以测试问题。
本发明的技术方案为：一种基于循环神经网络的抽象状态模型构建的方法，其特征是能够根据循环神经网络模型即及测试数据生成一个抽象状态模型。该生成方法包含以下三个步骤：
1） 状态向量获取：循环神经网络模型本质上是有状态的神经网络，循环神经网络的内部神经元的数值反应了当前循环神经网络在面对给定的数据时的行为。我们将用户上传的数据作为循环神经网络的输入，在神经网络的内部运算过程中，收集其内部神经元的数值及变化规律，这些神经元按次序排列组成循环神经网络的状态向量。这些状态向量通常是连续的，高维的，人类无法直接通过状态向量来理解循环神经网络的行为。2） 状态向量离散化：上步骤收集到的状态向量是高维的，且每个分量的值是连续的。我们将收集到的循环神经网络的状态向量作为输入，对于这些状态向量以相同的方式进行分段。由于状态向量中的不同分量有着不同的数值大小，为了分析循环神经网络的特征，需要在不同的分量中指定不同的上下限，再将其离散化。离散化后的状态向量为抽象状态向量。
3） 抽象状态模型构建：得到状态向量之后，根据训练集数据中状态之间的转移频率构建状态转移概率，其反映了状态特征之间的转移规律。将得到的抽象状态特征与转移规律用来构建为一个抽象状态转移系统模型。抽象状态模型简化原有循环神经网络中内部的状态和轨迹的同时，保留了原始模型的特征信息。
本发明的特点在于：
1.使用离散化的方式对循环神经网络内部状态向量进行简化分析。
2.根据循环神经网络的内部状态与转移规律抽象为一个状态模型。
附图说明
图1为本发明实施总流程图。
图2为循环神经网络图。U:输入层到隐藏层的权重矩阵O:输出层向量V:隐藏层到输出层的权重矩阵。
图3为一种可能的抽象状态转移概率图，s为状态。
具体实施方式
本专利通过抽象状态模型构建技术来实施循环神经网络模型测试，主要采用了抽象模型构建技术，涉及到的具体关键技术有、循环神经网络（RNN）、状态向量获取技术、状态向量离散化技术、状态转移概率计算技术、抽象状态模型构建技术等。
1.状态向量获取
在本发明中，我们采用循环神经网络的内部神经元的数值按次序排列组成循环神经网络的状态向量。我们将循环神经网络模型的内部状态和状态关系以形式化的方式给出，并以此为基础来描述其特征。神经网络可以抽象地表示为一个可微的参数化函数f()，其输入可以向量化表示为x∈X,。循环神经网络再接收到一个输入x后，其内部状态s∈S组成一个状态序列向量。令当前循环神经网络状态序列中的的第i个状态为si∈S， 输入序列中的第i个元素为xi∈X，则循环神经网络中的相邻状态关系可表示为(si+1,yi)=f(si,xi)，其中yi是在该步骤所的对应输出。通过将原始数据依次通过循环神经网络从而得到原始数据集对应的状态向量。
2.状态向量离散化
本发明中，我们采用离散化的方式，将原始数据对应的高维的，连续的状态向量转化为低维的，连续的抽象状态向量。当前状态si以向量化表示为(si1,...,sim)，对于每个状态向量分量，在给定每个分量值的上下限之后，我们将其分为k个部分，从而将高维的稀疏的原始状态向量离散化，得到抽象状态s'，其反映了原始循环神经网络的抽象状态特征。
3.状态转移概率计算
在本发明中，我们采用状态模型来对循环神经网络的内部结构与性质进行建模。根据训练集数据集得到状态向量，并转化为抽象状态向量之后，即可得到抽象状态之间的转移频率。通过对所有的抽象状态向量统计，即可得出抽象状态之间的转移频率。根据训练集数据中状态之间的转移频率构建状态转移概率，得出状态转移矩阵。将得到的抽象状态特征与转移规律用来构建为一个状态转移系统。抽象状态模型简化原有RNN中内部的状态和轨迹的同时，保留了原始模型的特征信息。
在本实例中，根据给定的数据集和循环神经网络,最终生成了抽象状态转移模型。该模型反映了原始循环神经网络的抽象状态特征，此模型共有8个状态，并且给出了状态之间的转移规律，在给定数据集之后，就可比对不同数据之间的转移规律差异，并发现隐藏的错误。

Claims (4)

1.一种基于循环神经网络的抽象状态模型构建方法，其特征是在提供循环神经网络模型即及测试数据后，跟据其内部状态和转移规律进行抽象生成相应的抽象状态模型；并根据抽象状态转移模型，反映原始的循环神经网络的抽象状态特征。
2.根据权利要求1中的状态向量获取，其特征是，将用户上传的数据作为循环神经网络的输入，在神经网络的内部运算过程中，收集其内部神经元的数值及变化规律，这些神经元按次序排列组成循环神经网络的状态向量。
3.根据权利要求1中的状态向量离散化，其特征是，将收集到的循环神经网络的状态向量作为输入，对于这些状态向量以相同的方式进行分段，再将其离散化，离散化后的状态向量为抽象状态向量。
4.对于权利要求1中的抽象状态模型构建，其特征是，在得到状态向量之后，根据训练集数据中状态之间的转移频率构建状态转移概率，并将得到的抽象状态特征与转移规律用来构建为一个抽象状态转移系统模型。
CN202010712769.1A 2020-07-23 2020-07-23 一种基于循环神经网络的抽象状态模型构建方法 Pending CN111858344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010712769.1A CN111858344A (zh) 2020-07-23 2020-07-23 一种基于循环神经网络的抽象状态模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010712769.1A CN111858344A (zh) 2020-07-23 2020-07-23 一种基于循环神经网络的抽象状态模型构建方法

Publications (1)

Publication Number Publication Date
CN111858344A true CN111858344A (zh) 2020-10-30

Family

ID=72949261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010712769.1A Pending CN111858344A (zh) 2020-07-23 2020-07-23 一种基于循环神经网络的抽象状态模型构建方法

Country Status (1)

Country Link
CN (1) CN111858344A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846816A (zh) * 2017-04-12 2017-06-13 山东理工大学 一种基于深度学习的离散化交通状态判别方法
CN110046663A (zh) * 2019-04-16 2019-07-23 重庆大学 一种复杂机电系统故障临界态辨识方法
CN111062621A (zh) * 2019-12-19 2020-04-24 中山大学 一种基于aigan的对原始观测数据的动作规划方法
CN111428818A (zh) * 2020-04-22 2020-07-17 浙江工业大学 基于神经通路激活状态的深度学习模型测试方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846816A (zh) * 2017-04-12 2017-06-13 山东理工大学 一种基于深度学习的离散化交通状态判别方法
CN110046663A (zh) * 2019-04-16 2019-07-23 重庆大学 一种复杂机电系统故障临界态辨识方法
CN111062621A (zh) * 2019-12-19 2020-04-24 中山大学 一种基于aigan的对原始观测数据的动作规划方法
CN111428818A (zh) * 2020-04-22 2020-07-17 浙江工业大学 基于神经通路激活状态的深度学习模型测试方法与装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DUXIAONING等: "DeepCruiser:Automated Guided Testing for Stateful Deep Learning Systems", 《ARXIV:HTTPS://ARXIV.ORG/PDF/1812.05339V1.PDF》 *
年糕糕糕: "[论文解读] DeepCruiser: Automated Guided Testing for Stateful Deep Learning Systems", 《CSDN:HTTPS://BLOG.CSDN.NET/QQ_33935895/ARTICLE/DETAILS/105994956》 *

Similar Documents

Publication Publication Date Title
CN114386521B (zh) 时间序列数据的异常检测方法、系统、设备和存储介质
CN103793718A (zh) 一种基于深度学习的人脸表情识别方法
Sun et al. A systematic review of echo state networks from design to application
CN114169091B (zh) 工程机械部件剩余寿命的预测模型建立方法及预测方法
CN110956309A (zh) 基于crf和lstm的流程活动预测方法
Jiang et al. Remaining useful life estimation combining two-step maximal information coefficient and temporal convolutional network with attention mechanism
CN116257759A (zh) 一种深度神经网络模型的结构化数据智能分类分级系统
Chen et al. Real-time bearing remaining useful life estimation based on the frozen convolutional and activated memory neural network
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN114723003A (zh) 一种基于时序卷积和关系建模的事件序列预测方法
Li et al. Temporal convolutional network based regression approach for estimation of remaining useful life
Bashar et al. Algan: Time series anomaly detection with adjusted-lstm gan
CN115964258A (zh) 基于多时序分析的物联网卡异常行为分级监测方法及系统
JPH0934863A (ja) ニューラルネットワークによる情報統合処理方法
CN114168822A (zh) 一种时间序列数据聚类模型建立及时间序列数据聚类方法
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统
Zhang [Retracted] Analysis of College Students’ Network Moral Behavior by the History of Ideological and Political Education under Deep Learning
CN111858344A (zh) 一种基于循环神经网络的抽象状态模型构建方法
Liu et al. A novel student achievement prediction method based on deep learning and attention mechanism
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
CN115391523A (zh) 风电场多源异构数据处理方法及装置
CN111881040A (zh) 一种基于循环神经网络的抽象状态模型的测试数据生成方法
Zhou et al. Structural damage classification under varying environmental conditions and unknown classes via open set domain adaptation
Ceylan et al. Siamese inception time network for remaining useful life estimation
Zhou et al. PELP: Pioneer Event Log Prediction Using Sequence-to-Sequence Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201030

WD01 Invention patent application deemed withdrawn after publication