CN110363216A - 一种应用于das系统中在线训练dnn模型的实现方法 - Google Patents

一种应用于das系统中在线训练dnn模型的实现方法 Download PDF

Info

Publication number
CN110363216A
CN110363216A CN201910472772.8A CN201910472772A CN110363216A CN 110363216 A CN110363216 A CN 110363216A CN 201910472772 A CN201910472772 A CN 201910472772A CN 110363216 A CN110363216 A CN 110363216A
Authority
CN
China
Prior art keywords
sample
training
alarm
data
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910472772.8A
Other languages
English (en)
Inventor
刘�东
赵长修
赵浩
周勇军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bohui Technology Co Ltd
Shanghai Wave Wave Software Co Ltd
Original Assignee
Shanghai Bohui Technology Co Ltd
Shanghai Wave Wave Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bohui Technology Co Ltd, Shanghai Wave Wave Software Co Ltd filed Critical Shanghai Bohui Technology Co Ltd
Priority to CN201910472772.8A priority Critical patent/CN110363216A/zh
Publication of CN110363216A publication Critical patent/CN110363216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G01H9/004—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means using fibre optic sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了本实施例提供一种应用于DAS系统中在线训练DNN模型的实现方法，实现方法包括：识别器，识别器具有第一权重的神经网络，识别器与输出采样数据的DAS系统连接，识别器接收采样数据并输出告警类别；样本库，样本库与DAS系统、识别器连接，样本库接收告警类别和采样数据后关联存储为样本数据；训练池，训练池与样本库连接，训练池抽取包含所有告警类别的样本数据用来形成训练数据；以及训练器，训练器具有与识别器区别仅在于第二权重的神经网络，训练器与训练池连接。本发明的有益效果为运行时在线学习并更新DNN的状态，从而根据实际信息不断的优化减少虚警。

Description

一种应用于DAS系统中在线训练DNN模型的实现方法
技术领域
本发明属于分布式光纤震动传感器的模式识别领域，具体涉及一种应用于DAS系统中在线训练DNN模型的实现方法。
背景技术
DAS(Distributed Acoustic Sensing)的基本原理是向光纤中发射光脉冲随后接收光脉冲沿着光纤途径上的瑞利散射(Rayleigh scattering)信号。外界的震动会引起光纤的一系列效应(拉伸，扭曲，折射率改变等)，最终体现在反射信号的波动，因此检测反射信号的波动即可检测到沿光纤途径上各处的震动。利用这个原理DAS可以应用与周界安防，管道预警等领域。
根据上述原理，外界震动对光纤的效应复杂，对应到光信号上实际上是多重效应的共同结果，因此光信号实际上无法真实的还原震动信号。此外在周界安防和管道安防的应用中光缆通常埋入地下，待检测信号(如挖掘机)和光缆之间的震动信号还有在泥土中传播过程。因此接收到的光信号和真实待检测信号存在失真且两者之间关系极其复杂难以建模还原。试图直接从光信号中找到目标特征是非常困难的事。
为了区分威胁目标和干扰信号，使用DNN(Deep Neural Network)是较理想的方式，因为DNN具备很强的从高维数据中抽取特征的能力。为了训练DNN使之具备识别功能，需要事先准备带标签的数据样本并且需要满足下述条件1.样本数据库包含全部类别(class)的样本(包含干扰及全部待检测类)2.每个类的样本均匀的分布。因为使用随机梯度下降(stochastic gradient decent，SGD)或者类似算法训练时每次在子数据包(小批数据)即batch中进行优化。一个batch通常包含约100～200条样本，要求包含全部类的样本才会达到较好的效果。为了让样本数据库满足上述要求，样本通常要人工进行整理。
DNN训练完成并部署后不可避免的还会产生一些虚警或漏报，为了进一步减少这些分类错误，后续可能需要收集运行时的样本并进行追加训练。这就会有这些问题需要解决：
1.DAS产生的数据量极大，大约10～100MB/s(字节/秒)，如果全部保存1小时大约产生36G～360GB数据，现有技术条件下很难长时间存放如此大量的数据，如何保存少量关键数据并且易于查询。
2.实际运行时产生的样本绝大多干扰信号(假设干扰定义为class0)，如果顺序的访问样本库则大量的batch中全是标签为class0。而训练要求各类样本均匀分布，并且要具有全部类型的样本。
3.事件发生以后通常难以知道该事件发生的精确时间和位置，如何在数据库中高效检索到这个事件对应的所有数据。
4.需要人工检测上述条件是否满足并整理样本，这个工作非常繁琐并且需要相当的机器学习专业知识，普通操作人员难以完成。
5.需要离线训练，不能及时更新DNN状态。
发明内容
针对现有技术中存在的问题，本发明提供一种应用于DAS系统中在线训练DNN模型的实现方法，本发明的部分实施例能够对一个深度神经网(DNN)络进行在线训练方法，该神经网络以DAS信号作为输入，用来识别沿光纤各位置的是否具有威胁事件。
为实现上述目的，本发明采用以下技术方案：
一种应用于DAS系统中在线训练DNN模型的实现方法，所述实现方法包括：识别器，所述识别器具有第一权重的神经网络，所述识别器与输出采样数据的DAS系统连接，所述识别器接收所述采样数据并输出告警类别；样本库，所述样本库与所述DAS系统、识别器连接，所述样本库接收所述告警类别和采样数据后关联存储为样本数据；训练池，所述训练池与所述样本库连接，所述训练池抽取包含所有告警类别的样本数据用来形成训练数据；以及
训练器，所述训练器具有与所述识别器区别仅在于第二权重的神经网络，所述训练器与所述训练池连接，所述训练器定期接收所述训练数据后执行反向传播算法更新第二权重，并定期将所述第二权重同步给所述第一权重。
优选地，所述识别器输出告警类别时，保存所述采样数据、告警类别进入样本库，反之，所述识别器不输出告警类别时，不保存所述采样数据进入样本库。
优选地，所述识别器每次连续输出一告警类别时，在该连续输出的时段内，所述采样数据切分成多个子数据并排序，每个所述子数据关联所述告警类别和一告警序号、一样本序号存储作为所述样本数据，所述告警序号为该连续输出的时段在所有时间段内的排序，所述样本序号为每个所述子数据在所述采样数据切分后的排序。
优选地，所述子数据还关联一标记项作为所述样本数据，所述标记项是初始赋值或者确认值，所述确认值用来表示该连续输出的告警类别是否符合实际情况。
优选地，所述训练池抽取包含所有告警类别的样本数据用来形成训练数据包括：所述训练池只抽取所述标记项为确认值的所述样本数据。
优选地，所述样本库的头部设置一数组，所述数组中每组数据记录一种所述告警类别以及包含该告警类别且所述标记项为确认值的所述样本数据的数目。
优选地，所述样本库中同一所述告警类别的所述样本数据聚集排序，每一种告警类别的所述样本数据的头部插入一便于检索时定位至该告警类别的定位数据。
优选地，所述训练池包括多个子训练包，每个所述子训练包中的样本数据中各种告警类别的比例分布和样本库中标记项为确认值的样本数据中各种告警类别的比例分布相等。
优选地，所述样本数据以Key-Value型数据进行存储，其中，Key依次包含告警类别、告警序号、样本序号，Value依次包含标记项、子数据。
与现有技术相比，本发明的有益效果为：
1.本发明可以运行时在线学习并更新DNN的状态，从而根据实际信息不断的优化减少虚警；
2.产生告警时保存事件发生时段所在位置的关键数据，随后用户根据实际情况对告警进行操作，标记该告警关联的全部数据样本,已标记的样本才会被用于训练；
3.样本库中同一类型的样本集中连续保存，利用此性质可以高效率的把样本均匀分离到训练池，其中每一小批样本均包含全部类型的样本；
4.运行时加载训练池中的子数据包(小批数据)进行训练，不断循环此操作实现在线学习及更新DNN状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体流程示意图。
图2为本发明实施例的不包括DAS系统的流程示意图。
图3为本发明样本库中数据存贮次序示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1-3所示，本实施例提供一种应用于DAS系统中在线训练DNN模型的实现方法，实现方法包括：识别器，识别器具有第一权重的神经网络，识别器与输出采样数据的DAS系统连接，识别器接收采样数据并输出告警类别；样本库，样本库与DAS系统、识别器连接，样本库接收告警类别和采样数据后关联存储为样本数据；训练池，训练池与样本库连接，训练池抽取包含所有告警类别的样本数据用来形成训练数据；以及
训练器，训练器具有与识别器区别仅在于第二权重的神经网络，训练器与训练池连接，训练器定期接收训练数据后执行反向传播算法更新第二权重，并定期将第二权重同步给第一权重。
识别器输出告警类别时，保存采样数据、告警类别进入样本库，反之，识别器不输出告警类别时，不保存采样数据进入样本库。
样本数据以Key-Value键值对进行存储，其中，Key依次包含告警类别、告警序号、样本序号，Value依次包含标记项、子数据。
识别器每次连续输出一告警类别时，在该连续输出的时段内，采样数据切分成多个子数据并排序，每个子数据关联告警类别和一告警序号、一样本序号作为Key，告警序号为该连续输出的时段在所有时间段内的排序，样本序号为每个子数据在采样数据切分后的排序。
子数据还关联一标记项作为样本数据，标记项是初始赋值或者确认值，确认值用来表示该连续输出的告警类别是否符合实际情况。
训练池抽取包含所有告警类别的样本数据用来形成训练数据包括：训练池只抽取标记项为确认值的样本数据。
样本库的头部设置一数组，数组中每组数据记录一种告警类别以及包含该告警类别且标记项为确认值的样本数据的数目。
样本库中同一告警类别的样本数据聚集排序，每一种告警类别的样本数据的头部插入一便于检索时定位至该告警类别的定位数据。
通过“洗牌”操作把样本库整理为训练池。训练池中的样本全部是标记项为已确认样本。训练池包括多个子训练包(mini batch)，每个子训练包中包含全部类型的样本。
优选地，另一实施例中，系统包含1个数据库任务(database)用来执行数据库操作，1个或者多个识别器(classifier)进行识别及保存样本，1个训练器(trainer)用于在线训练及更新。这些识别器、训练器可以是一个线程，也可以是一个进程并分布式部署到多台计算机中。识别器的DNN和训练器的DNN网络结构完全一致，其权重会不断从训练DNN同步至识别DNN。也就是识别DNN会稍微滞后于训练DNN。
识别器对数据进行识别，如果经过识别产生了一条告警，则持续保存告警附近的数据，比如DAS系统中有1-1000个通道，505通道出现告警后，开始保存采样数据，且只保存500-510通道的采样数据。根据告警的class(即对应下面的类标签)和序列号，以下列格式化字符串构成Key:
“LABEL(类标签)_SEQ(告警序号)_IDX(样本序号)”
其中类标签指该告警的类型，例如LABEL0表示无需告警的干扰信号，LABEL1表示挖掘机施工信号，LABEL2表示钻孔信号等。告警序列号为标识告警的序列号，从0开始编号，比如系统的第0次告警的SEQ为0，第1000次告警的SEQ为1000。样本序号从0开始编号，每存一条加1，比如第1000次告警一共保存切分产生了500条子数据，那么第0条子数据的样本序号就是IDX0，最后一条样本序号为IDX499。如果类标签为1，那么第1000次系统告警所产生的第300条子数据的Key值为“LABEL001_SEQ0000001000_IDX0000000300”。其中数字位数应当固定，高位不足应当补零以确保KEY的各段等长，本例中类标签用3位十进制，告警序号及样本序号用10位十进制。序号实际用32位无符号二进制整数，最大约43亿，如果超过最大值则回到0编号。
需要保存的数据为告警点附近的进入识别DNN的输入数据，保存这些数据并经过训练能保证识别DNN输出结果和训练DNN结果完全一致。数据连同一个描述数据属性的数据头共同构成一条样本。数据头中包含一个标记项项来表示该样本是否确认，创建时标记项＝UNKNOW，接着样本串流成一个字符串构成Value，接着将该Key-Value插入样本库。按此方式不断存入样本直到这条告警结束为止。
为了统计库中的各类样本的数量，用一个head节点来进行统计及保存，它包含如下的数组项：item_num[MAX_CLASS_NUM]及confirmed_item_num[MAX_CLASS_NUM]。数组的第i元素表示第i类样本的条数及已确认数，MAX_CLASS_NUM表示最大可能的类数。上述Head串流化字符串作为Value并用Key＝“0000”存入数据库。该节点Key比任何其他Key都小，必定位于数据库第一位置，在查询该Key时一次即可找到，有利于频繁访问。每次写入(第i类)样本时都应该读取该head节点，使item_num[i]加1，然后存回。
为了快速的定位到每个class的位置，每个类插入一条占位符，其中Key＝“LABEL(类标签)”，Value为空串。该Key按字符串大小排序比同一个类标签中的Key都小，因此一定会排在该类的第一条。通过查询key＝“LABEL(i)”即可得到i类样本的入口。
根据上述方式存入Key-Value对后样本库中的数据次序如图3所示。样本库中所有同一类型的样本都连续存放，这是因为数据库按Key的字符串排序，存入时Key的最前面几个字符为“LABEL(i)”因此同一个LABEL(i)的Key-Value对必定连续存贮，并且一定按照LABEL0，LABEL1,LABEL2…的次序依次存放。
用户之后应当对告警是否正确进行实际的确认，在得到实际情况后再对该告警进行适当操作，操作包括正确告警，错误告警(虚警)，不确定(无法确认该告警是否正确)这3类。
用Key＝“LABEL(类标签)_SEQ(告警序号)_IDX(0)”即可检索到告警的第0条样本，接着用迭代器顺序访样本。每次通过迭代器读取Key，检测它是否等于“LABEL(类标签)_SEQ(告警序号)_IDX(n)”，其中n为当前访问的第n条样本，如果相等说明当前访问的样本正确，否则说明已经遍历完该告警的全部样本，结束操作。
通过迭代器读取Value值，如果是正确告警则修改Value的标记项项为TRUE，然后再次以Key-Value存入，这会覆盖原来的数据。如果是虚警则先移除Key-Value，接着(假设label0表示干扰)，以Key＝“LABEL(0)+SEQ(告警序号)+IDX(n)”，并且修改Value的标记项为TRUE存入样本库，其中n表示当前访问的序号。如果是不确定告警，则不做任何操作，也可以移除全部对应的Key-Value。进行该操作时也应当每次读取head，适当修改其confirmed_item_num[i]信息并存回。
定期查询样本库head，检测统计信息中的数组confirmed_item_num每一项是否都大于需要提取的值，只有已确认过的样本可以用于训练，如果满足条件则执行“洗牌”(shuffle)操作，即从每一类样本中选取少量转入训练池。
通过查询key＝LABEL(i)即可定位到i类样本的头部，接着使用迭代器顺序访问即可逐个获取i类的样本。每次需要检测该样本是否是已确认样本，已确认样本存入训练池然后从样本库中移除，否则访问下一条。重复该操作直到访问过的已确认样本数到所需或者已经遍历完全部i类。接着同样的处理i+1类。
训练器定期从训练池中加载一个子训练包的数据，执行一次反向传播算法并更新DNN。如果访问到训练池终点则返回到起点位置，不断循环操作。训练器定期把DNN权重写入磁盘并同步给识别器，实现在线训练及在线更新。
本方法使用Key-Value型数据库存贮样本，它需要按Key字符串大小排序存贮条目，查询Key的时间复杂度为O(log(n))，其中n为数据库中条目数。
本方法使用双DNN网络：识别网络及训练网络，它们除开权重之外完全相同。定期把DNN权重从训练网络的同步到识别网络。
在系统运行期间如果产生了一条告警，根据告警的类和序列号，其附近位置的样本以下列格式化字符串构成Key:
“LABEL(类标签)_SEQ(告警序号)_IDX(样本序号)”
其中类标签指该告警的类型，告警序列号为标识该告警的序列号，样本序号为从0开始计数，每存一条加1。
告警点附近的数据连同数据头共同构成一条样本。数据头中包含一个标记项来表示该样本是否确认，创建时标记＝UNKNOW。接着样本串流成一个字符串构成Value，这一对Key-Value插入样本库。
为了快速的定位到每个class的位置,每个类插入一条占位符Key＝“LABEL(类标签)”，Value为空串。占位符即定位数据
用户之后应当对告警是否正确进行实际的确认，得到实际情况后在系统中对该告警进行操作，操作包括正确告警，错误告警，不确定这3种。仅需一次查询即可索引到该告警关联的全部样本。用
Key＝“LABEL(类标签)_SEQ(告警序号)_IDX(0)”即可检索到第0条样本，接着用迭代器顺序访问遍历样本。如果是正确告警则修改Value的标记项为TRUE；如果是虚警，则要把这个Key-Value先移除，把它当作label0(假设label0表示干扰)且标记＝TRUE存入样本库，如果是不确定告警则不操作。
定期查询样本库状态，如果满足适当条件则执行“洗牌”操作,即从每一类样本中选取一定量转入训练池，使训练池中每一个子训练包中都包含全部class的样本。通过key＝“LABEL(类标签)”一次查询即可定位到每一个类的入口，接着用迭代器即可访问该类的样本。
系统包含一个训练器和若干识别器，训练器定期从训练池中加载一个子训练包的数据，执行一次反向传播算法并更新DNN。如果访问到训练池终点则返回到起点位置，不断循环操作。训练线程定期把DNN权重写入磁盘并同步给识别线程，实现在线训练及在线更新。
本技术方案在运行时存贮告警相关的关键数据到样本库，库中的样本可以通过告警序列号快速检索；用户可以在告警发生后对告警是否正确进行确认，该操作会高效率的检索到样本库中与该告警关联的全部样本并进行标记；已经确认的样本会高效率的分散到一个均匀分布的训练池；训练器不断的从训练池中加载小批样本(mini batch)，并用反向传播(back propagation)算法更新DNN；定期保存并同步DNN权重。从而实现在线的训练更新DNN。
尽管上述实施例已对本发明作出具体描述，但是对于本领域的普通技术人员来说，应该理解为可以在不脱离本发明的精神以及范围之内基于本发明公开的内容进行修改或改进，这些修改和改进都在本发明的精神以及范围之内。

Claims (9)

1.一种应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述实现方法包括：
识别器，所述识别器具有第一权重的神经网络，所述识别器与输出采样数据的DAS系统连接，所述识别器接收所述采样数据并输出告警类别；
样本库，所述样本库与所述DAS系统、识别器连接，所述样本库接收所述告警类别和采样数据后关联存储为样本数据；
训练池，所述训练池与所述样本库连接，所述训练池抽取包含所有告警类别的样本数据用来形成训练数据；以及
训练器，所述训练器具有与所述识别器区别仅在于第二权重的神经网络，所述训练器与所述训练池连接，所述训练器定期接收所述训练数据后执行反向传播算法更新第二权重，并定期将所述第二权重同步给所述第一权重。
2.根据权利要求1所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述识别器输出告警类别时，保存所述采样数据、告警类别进入样本库，反之，所述识别器不输出告警类别时，不保存所述采样数据进入样本库。
3.根据权利要求2所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述识别器每次连续输出一告警类别时，在该连续输出的时段内，所述采样数据切分成多个子数据并排序，每个所述子数据关联所述告警类别和一告警序号、一样本序号存储作为所述样本数据，所述告警序号为该连续输出的时段在所有时间段内的排序，所述样本序号为每个所述子数据在所述采样数据切分后的排序。
4.根据权利要求3所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述子数据还关联一标记项作为所述样本数据，所述标记项是初始赋值或者确认值，所述确认值用来表示该连续输出的告警类别是否符合实际情况。
5.根据权利要求4所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述训练池抽取包含所有告警类别的样本数据用来形成训练数据包括：所述训练池只抽取所述标记项为确认值的所述样本数据。
6.根据权利要求5所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述样本库的头部设置一数组，所述数组中每组数据记录一种所述告警类别以及包含该告警类别且所述标记项为确认值的所述样本数据的数目。
7.根据权利要求6所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述样本库中同一所述告警类别的所述样本数据聚集排序，每一种告警类别的所述样本数据的头部插入一便于检索时定位至该告警类别的定位数据。
8.根据权利要求7所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述训练池包括多个子训练包，每个所述子训练包中的样本数据中各种告警类别的比例分布和样本库中标记项为确认值的样本数据中各种告警类别的比例分布相等。
9.根据权利要求8所述的应用于DAS系统中在线训练DNN模型的实现方法，其特征在于，所述样本数据以Key-Value型数据进行存储，其中，Key依次包含告警类别、告警序号、样本序号，Value依次包含标记项、子数据。
CN201910472772.8A 2019-05-31 2019-05-31 一种应用于das系统中在线训练dnn模型的实现方法 Pending CN110363216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910472772.8A CN110363216A (zh) 2019-05-31 2019-05-31 一种应用于das系统中在线训练dnn模型的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472772.8A CN110363216A (zh) 2019-05-31 2019-05-31 一种应用于das系统中在线训练dnn模型的实现方法

Publications (1)

Publication Number Publication Date
CN110363216A true CN110363216A (zh) 2019-10-22

Family

ID=68215020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472772.8A Pending CN110363216A (zh) 2019-05-31 2019-05-31 一种应用于das系统中在线训练dnn模型的实现方法

Country Status (1)

Country Link
CN (1) CN110363216A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729667A (zh) * 2015-03-25 2015-06-24 北京航天控制仪器研究所 一种分布式光纤振动传感系统中的扰动类型识别方法
CN106503642A (zh) * 2016-10-18 2017-03-15 长园长通新材料股份有限公司 一种应用于光纤传感系统的振动模型建立方法
CN107579771A (zh) * 2017-09-26 2018-01-12 中国人民解放军国防信息学院 一种基于单条告警向前回溯的光纤传送网智能告警方法
CN108709633A (zh) * 2018-08-29 2018-10-26 中国科学院上海光学精密机械研究所 基于深度学习的分布式光纤振动传感智能安全监测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104729667A (zh) * 2015-03-25 2015-06-24 北京航天控制仪器研究所 一种分布式光纤振动传感系统中的扰动类型识别方法
CN106503642A (zh) * 2016-10-18 2017-03-15 长园长通新材料股份有限公司 一种应用于光纤传感系统的振动模型建立方法
CN107579771A (zh) * 2017-09-26 2018-01-12 中国人民解放军国防信息学院 一种基于单条告警向前回溯的光纤传送网智能告警方法
CN108709633A (zh) * 2018-08-29 2018-10-26 中国科学院上海光学精密机械研究所 基于深度学习的分布式光纤振动传感智能安全监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李文生: "《云技术及大数据在高校生活中的应用》", 煤炭工业出版社, pages: 76 - 78 *

Similar Documents

Publication Publication Date Title
CA2513851C (en) Phrase-based generation of document descriptions
CN101408886B (zh) 通过分析文档的段落来选择该文档的标签
CN106202248B (zh) 信息检索系统中基于短语的搜索
CN107437038A (zh) 一种网页篡改的检测方法及装置
CN106649260A (zh) 基于评论文本挖掘的产品特征结构树构建方法
CN101408887A (zh) 推荐词条以指定本体空间
CN105787097A (zh) 一种基于文本聚类的分布式索引构建方法及系统
CN106469181A (zh) 一种用户行为模式分析方法及装置
CN105095436B (zh) 数据源数据自动建模方法
CN106897285A (zh) 数据要素抽取分析系统及数据要素抽取分析方法
CN107749164A (zh) 一种车辆聚集分析方法及装置
CN110336838A (zh) 账号异常检测方法、装置、终端及存储介质
CN107368526A (zh) 一种数据处理方法及装置
CN115274122A (zh) 健康医疗数据的管理方法、系统、电子设备及存储介质
CN106294785A (zh) 内容筛选方法以及系统
CN109635089B (zh) 一种基于语义网络的文学作品新颖度评价系统和方法
CN106611016A (zh) 一种基于可分解词包模型的图像检索方法
CN110347570A (zh) 一种ide环境下代码自动生成工具分析方法
CN110363216A (zh) 一种应用于das系统中在线训练dnn模型的实现方法
Horzyk Deep Associative Semantic Neural Graphs for Knowledge Representation and Fast Data Exploration.
CN110135196B (zh) 一种基于输入数据压缩表示关联分析的数据融合防篡改方法
US9785683B2 (en) Database and method for evaluating data therefrom
CN111159328A (zh) 情报知识融合系统及方法
CN110442729A (zh) 一种基于粗燥集的语料库系统构建方法
CN112182121B (zh) 一种涉车关系发现方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination