CN109058771A - 基于样本生成和间隔Markov特征的管道异常检测方法 - Google Patents

基于样本生成和间隔Markov特征的管道异常检测方法 Download PDF

Info

Publication number
CN109058771A
CN109058771A CN201811173189.9A CN201811173189A CN109058771A CN 109058771 A CN109058771 A CN 109058771A CN 201811173189 A CN201811173189 A CN 201811173189A CN 109058771 A CN109058771 A CN 109058771A
Authority
CN
China
Prior art keywords
sample
sample set
input sample
input
markov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811173189.9A
Other languages
English (en)
Other versions
CN109058771B (zh
Inventor
张化光
韩莹莹
刘金海
汪刚
马大中
冯健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201811173189.9A priority Critical patent/CN109058771B/zh
Publication of CN109058771A publication Critical patent/CN109058771A/zh
Application granted granted Critical
Publication of CN109058771B publication Critical patent/CN109058771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • F17D5/02—Preventing, monitoring, or locating loss

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Complex Calculations (AREA)

Abstract

本发明的目的是提供一种基于样本生成和间隔Markov特征的管道异常检测方法，涉及管道异常检测领域。本发明的方法包括：步骤1.历史数据样本的提取及滤波处理；步骤2.历史数据样本的规则化及降采样处理；步骤3.ELM模型的建立与训练；步骤4.基于ELM模型进行样本生成，得到扩充后的输入样本集；步骤5.对扩充后的输入样本集中每个样本，当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，进行间隔Markov特征的提取；步骤6.基于SVM模型或RF模型对管道异常进行识别。本发明解决了现有技术中复杂工况条件下微弱的管道泄漏信号和工况调整信号识别困难的技术问题，能够提高管道异常检测的精度。

Description

基于样本生成和间隔Markov特征的管道异常检测方法
技术领域
本发明涉及管道异常检测领域，特别是涉及一种基于样本生成和间隔Markov特征的管道异常检测方法。
背景技术
对于一个以工业为主的国家，工业的发展程度决定了人们的生活水平，同时消耗的资源也是成比例的增加。这种现实情况迫使能源的运输成了当下热议的话题。其中，管道能源运输逐渐成为与铁路、公路、航空、水路并驾齐驱的运输行业。管道运输在运送对象方面与其他四类运输方式有一定差别，管道运输主要是借助管道内的压力差来推动运送对象的运输，因此，管道运输的对象一般都是流体，如天然气、水、石油等；其中，石油是现代管道运输的主要运送对象。
不同的管道泄漏检测方法有不同的优缺点和适用范围。在国内的成品油管网系统中，对于单一管道上的泄漏检测技术上，已经具有了较高的灵敏度和准确度。考虑到监控站内进行工况调整也会产生干扰，现行的解决方法是根据定位泄漏点的位置在监控站范围内来排除大部分的工况干扰。但在现今复杂的成品油管网结构下，频繁的工况调整，以及压力波在传播过程中会有不同程度的衰减，都使得泄漏检测的误报率逐渐增加，频繁的报警给监控人员带来了不必要的负担和困难。而且在实际的生产要求中，为了保证无漏报情况的出现，现场工作人员又不能选用降低灵敏度和准确度为代价的方法来降低误报率，最终造成了人力和物力的浪费。因此，准确识别压力数据中的异常类型对于保证管道安全运行极其重要。
管道异常检测类型主要包括泄漏和工况调整。一方面，大型泄漏的检测准确率一般都很高，而对于微弱泄漏的检测识别效果均不是非常理想。广为使用的管道泄漏检测方法是负压波法，其原理是检测管道两端压力的下降沿，而当管道泄漏非常微弱时，泄漏引起的压力下降幅度也非常的微弱，加之管道压力信号通常噪声较大，微弱泄漏引起的压力下降信号常常被淹没在噪声中，这不仅影响了定位精度，而且不能准确识别，造成了严重的漏报和误报，就给负压波的检测带来了难题。另一方面，随着石油开采的快速发展，多点分输、大落差输送以及多油品顺序输送等复杂管道输送工况，都会造成输油管道内压力的频繁波动，使得单纯基于负压波信号的管道泄漏检测系统的误报率大大上升；同时，泵站间距的增加，也会造成压力波的迅速衰减，泄漏信号会变得更加微弱；而对于工况识别的研究很少，传统方法中仅仅是根据定位泄漏点的位置是否在监控站范围内来排除大部分的工况干扰，对于站外工况调整产生漏报。由上所述，可见，如何在复杂工况条件下识别微弱的管道泄漏信号和工况调整信号，从而提高管道异常检测的精度、降低漏报率与误报率，是当前管道泄漏检测领域亟需解决的难题之一。
发明内容
针对上述现有的管道泄漏检测方法中存在的复杂工况条件下微弱的管道泄漏信号和工况调整信号识别困难的技术问题，本发明提供一种基于样本生成和间隔Markov特征的管道异常检测方法，能够提高管道异常检测的精度、降低漏报率与误报率。
本发明的技术方案为：
一种基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，包括下述步骤：
步骤1：历史数据样本的提取及滤波处理：提取管道压力的历史数据样本，构成初始历史数据样本集，所述历史数据样本为离散时间序列，所述初始历史数据样本集包括泄漏样本和工况调整样本；使用低通滤波器，对所述初始历史数据样本集进行滤波处理，获取低频信息；再用高斯滤波的方法对所述初始历史数据样本集进行滤波去噪，最终得到滤波处理后的历史数据样本集；
步骤2：历史数据样本的规则化及降采样处理：对滤波处理后的历史数据样本集进行规则化处理，得到样本集X＝[X1；X2；...；XM]；对所述样本集X进行降采样处理，得到样本集Y＝[Y1；Y2；...；YM]；其中，M为所述样本集X和所述样本集Y中样本的个数，所述样本集X和所述样本集Y中样本的长度分别为m和v；
步骤3：ELM模型的建立与训练：将所述样本集X＝[X1；X2；...；XM]作为初始输入样本集，将所述样本集Y＝[Y1；Y2；...；YM]作为初始输出样本集，构成训练样本集S＝(Xi,Yi)i＝1,2,...,M；通过训练，得到ELM模型的隐含层到输出层的权重β；
步骤4：基于ELM模型的样本生成：基于ELM模型进行样本泛化，从输出层返回到输入层，得到新的输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']，g∈[1，M']，构成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，M'为新的输入样本的数量，X'g为离散时间序列，X'gt为输入样本X'g中第t时刻的压力数据，t∈{1,2,...,m'}，m'为输入样本X'g的长度；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe；
步骤5：间隔Markov特征的提取：
步骤5.1：对所述输入样本集X'中每个样本对应的窗体选取上下边界；
步骤5.2：对所述输入样本集X'中每个样本对应的窗体，采取四分位数和标准分数相结合的方法来划分状态区间；
步骤5.3：对所述输入样本集X'中的每个样本，当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到每个样本对应的间隔Markov链，提取每个样本的间隔Markov特征，形成所述输入样本集X'的间隔Markov特征集；
步骤5.4：对所述初始输入样本集X中的每个样本，进行上述步骤5.1、步骤5.2、步骤5.3的处理，得到所述初始输入样本集X的间隔Markov特征集，从而得到所述扩充后的输入样本集Xe的间隔Markov特征集；
步骤6：管道异常的识别：构建SVM模型和RF模型，将所述扩充后的输入样本集Xe的间隔Markov特征集输入所述SVM模型或所述RF模型中，随机选取该间隔Markov特征集的80％作为训练样本、20％作为测试样本，进行管道异常的识别。
所述步骤3包括下述步骤：
步骤3.1：建立ELM模型：i∈[1，M]，写成矩阵形式为Hβ＝Y；其中，L为隐含层节点数，wj为第j个隐含层节点的输入权重，bj为第j个隐含层节点的偏移，βj为第j个隐含层节点的输出权重，所述输入权重wj、所述偏移bj、所述输出权重βj均为服从标准正态分布的随机矩阵，h为激活函数；H为隐含层输出矩阵，β为隐含层到输出层的权重；
步骤3.2：设定隐含层节点数L，随机获取初始输入权重wj和偏移bj；设置所述激活函数h为Sigmoid激活函数，即结合初始输入样本集X＝[X1；X2；...；XM]，得到所述隐含层输出矩阵为
步骤3.3：通过初始输出样本集Y＝[Y1；Y2；...；YM]，计算得到隐含层到输出层的权重其中，β＝[β1；β2；...；βL]，为H的广义逆矩阵。
所述步骤4包括下述步骤：
步骤4.1：对于输出样本集中的任意两个输出样本Yi和Yj，i，j∈[1，M]，取均值后得到将Y'g作为新的输出样本，形成新的输出样本集Y'＝[Y'1；Y'2；...；Y'g；...；Y'M‘]；
步骤4.2：对于每个所述新的输出样本Y'g，基于ELM模型，根据隐含层到输出层的权重β，得到相应的隐含层输出矩阵H'g，然后根据公式X'g＝w-1(h-1(H'g)-b)，得到新的输入样本X'g，形成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，w为ELM模型的输入层到隐含层的权重，b为偏移，所述w、b、β均为服从标准正态分布的随机矩阵；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe。
所述步骤5.1中，选取输入样本X'g对应的窗体的上边界下边界其中，X'gmax、X'gmin、分别为输入样本X'g中压力数据的最大值、最小值、平均值，λ为边界增量。
所述步骤5.2中，将输入样本X'g按从小到大顺序排列，得到序列X”g＝[X”g1，X”g2，...，X”gq，...，X”gm']，其中，所述X”gq为所述序列X”g在第q位置处的值；计算所述序列X”g在第Q位置的标准分数为其中，σ为输入样本X'g的标准差，Q为所述序列X”g的分位数位置，X”gQ为所述序列X”g在第Q位置的值；将所述序列X”g等分为四个部分，其中，下四分位数、中位数、上四分位数的位置分别为其中，int为取整函数；将所述序列X”g的四分位数和标准分数相结合，得到输入样本X'g的三条状态分界线分别为L1＝X”gQ1+|ZQ1|、L2＝X”gQ2、L3＝X”gQ3-|ZQ3|，从而输入样本X'g对应的窗体被划分成4个状态{S1，S2，...，S4}。
所述步骤5.3包括下述步骤：
步骤5.3.1：构建Markov链：判断输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']在每一时刻对应的状态，构成输入样本X'g的Markov链为{Sgt，t∈{1，2，...，m'}}；其中，Sgt为输入样本X'g在第t时刻的Markov状态，Sgt＝f(X'gt)，f为压力数据集合X'g＝{X'g1，X'g2，...，X'gt，...，X'gm'}到状态集合S＝{S1，S2，...，SN}的映射，N为状态数，N＝4；
步骤5.3.2：构建间隔Markov链：对于输入样本X'g，当t≤Q时，将每一时刻对应的状态保持不变；当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到输入样本X'g的间隔Markov链为{Sgt'，t∈{1，2，...，m'}}；其中，Sgt'为输入样本X'g在第t时刻的间隔Markov状态，
步骤5.3.3：提取间隔Markov特征：对于输入样本X'g，统计每个状态的转移情况，形成输入样本X'g的间隔Markov特征其中，ki、分别为输入样本X'g的间隔Markov链{Sgt'，t∈{1，2，...，m'}}中对于状态Si的向下转移次数、保持次数、向上转移次数，i∈{1,2,...,N}，
其中，<A&B>的值在条件A和B都成立时为1、反之为0；
步骤5.3.4：重复上述步骤，直到g＝M'，最终得到所述输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']的间隔Markov特征集
本发明的有益效果为：
第一，本发明基于ELM模型进行样本生成，使生成的样本不仅与原来的样本具有相似性，而且具备多样性，从而能够减少识别模型的过拟合；
第二，本发明提取了样本的间隔型Markov特征，提升了其Markov状态链的可信程度，更加刻画数据的变化趋势，提高了特征提取精度，增加了特征提取方法对噪声的鲁棒性；
第三，本发明将ELM模型的样本生成与间隔型Markov特征提取相结合，综合考虑了泄漏样本和工况调整样本，形成的管道异常检测方法能够准确识别复杂工况条件下微弱的泄漏信号和工况调整信号，从而提高管道异常检测的精度、降低漏报率与误报率。
附图说明
图1为本发明的基于样本生成和间隔Markov特征的管道异常检测方法的流程图；
图2为本发明的ELM模型一般结构图；
图3为本发明的基于ELM模型的样本生成过程示意图；
图4为本发明的间隔Markov特征提取流程图；
图5为本发明的实施例中一个样本的状态区间划分示意图。
具体实施方式
下面将结合附图和实施例，对本发明作进一步描述。
本发明的目的是提供一种基于样本生成和间隔Markov特征的管道异常检测方法，实现复杂工况条件下微弱的泄漏信号和工况调整信号的准确识别，从而提高管道异常检测的精度、降低漏报率与误报率。
如图1所示，为本发明的基于样本生成和间隔Markov特征的管道异常检测方法的流程图。本发明首先进行历史数据样本的提取及滤波处理，然后对滤波处理后的历史数据样本集进行规则化及降采样处理，得到初始输入样本集和初始输出样本集，再建立ELM模型并对其进行训练，接着基于ELM模型进行样本泛化，得到扩充后的输入样本集，对扩充后的输入样本集中每个样本进行间隔Markov特征的提取后，最后基于SVM模型或RF模型对管道异常进行识别。
本发明的基于样本生成和间隔Markov特征的管道异常检测方法，具体如下：
步骤1：历史数据样本的提取及滤波处理：提取管道压力的历史数据样本，构成初始历史数据样本集，所述历史数据样本为离散时间序列，所述初始历史数据样本集包括泄漏样本和工况调整样本；使用低通滤波器，对所述初始历史数据样本集进行滤波处理，获取低频信息；再用高斯滤波的方法对所述初始历史数据样本集进行滤波去噪，最终得到滤波处理后的历史数据样本集。
步骤2：历史数据样本的规则化及降采样处理：对滤波处理后的历史数据样本集进行规则化处理，得到样本集X＝[X1；X2；...；XM]；对所述样本集X进行降采样处理，得到样本集Y＝[Y1；Y2；...；YM]；其中，为所M述样本集X和所述样本集Y中样本的个数，所述样本集X和所述样本集Y中样本的长度分别为m和v。
其中，Xi＝Re(Di)，Yi＝Ds(Xi)，i∈[1,M]，Di∈D，D为滤波处理后的历史数据样本集，Re为规则化函数，Ds为降采样函数。本实施例中，m＝200，v＝20，M＝50，样本集X中有泄露样本20个、工况调整样本30个。
步骤3：ELM模型的建立与训练
如图2所示，为本发明的ELM模型一般结构图。ELM(Extreme Learning Machine)即极限学习机，是一种简单易用、有效的单隐层前馈神经网络SLFNS学习算法。该算法随机产生输入层与隐含层的连接权值及隐含层节点的偏移，在训练过程中无需调整，只需要设置隐含层节点的个数，便可以获得唯一的最优解。
本发明中，将所述样本集X＝[X1；X2；...；XM]作为初始输入样本集，将所述样本集Y＝[Y1；Y2；...；YM]作为初始输出样本集，构成训练样本集S＝(Xi,Yi)i＝1,2,...,M；通过训练，得到ELM模型的隐含层到输出层的权重β。ELM模型建立与训练的具体步骤如下：
步骤3.1：建立ELM模型：i∈[1，M]，写成矩阵形式为Hβ＝Y；其中，L为隐含层节点数，wj为第j个隐含层节点的输入权重，bj为第j个隐含层节点的偏移，βj为第j个隐含层节点的输出权重，所述输入权重wj、所述偏移bj、所述输出权重βj均为服从标准正态分布的随机矩阵，h为激活函数；H为隐含层输出矩阵，β为隐含层到输出层的权重；
步骤3.2：设定隐含层节点数L，随机获取初始输入权重wj和偏移bj；设置所述激活函数h为Sigmoid激活函数，即结合初始输入样本集X＝[X1；X2；...；XM]，得到所述隐含层输出矩阵为
本实施例中，隐含层节点数L为10；
步骤3.3：通过初始输出样本集Y＝[Y1；Y2；...；YM]，计算得到隐含层到输出层的权重其中，β＝[β1；β2；...；βL]，为H的广义逆矩阵。
步骤4：基于ELM模型的样本生成
如图3所示，为本发明的基于ELM模型的样本生成过程示意图。本发明中，基于ELM模型进行样本泛化，从输出层返回到输入层，得到新的输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']，g∈[1，M']，构成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，M'为新的输入样本的数量，X'g为离散时间序列，X'gt为输入样本X'g中第t时刻的压力数据，t∈{1,2,...,m'}，m'为输入样本X'g的长度；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe。本实施例中，m'＝1000，M'＝5000，新的输入样本集X'中有泄露样本2000个、工况调整样本3000个。
本发明的基于ELM模型进行样本生成的具体步骤如下：
步骤4.1：对于输出样本集中的任意两个输出样本Yi和Yj，i，j∈[1，M]，取均值后得到将Y'g作为新的输出样本，形成新的输出样本集Y'＝[Y'1；Y'2；...；Y'g；...；Y'M‘]；
步骤4.2：对于每个所述新的输出样本Y'g，基于ELM模型，根据隐含层到输出层的权重β，得到相应的隐含层输出矩阵H'g，然后根据公式X'g＝w-1(h-1(H'g)-b)，得到新的输入样本X'g，形成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，w为ELM模型的输入层到隐含层的权重，b为偏移，所述w、b、β均为服从标准正态分布的随机矩阵；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe。
步骤5：间隔Markov特征的提取
如图4所示，为本发明的间隔Markov特征提取流程图，具体步骤如下：
步骤5.1：对所述输入样本集X'中每个样本对应的窗体选取上下边界
选取输入样本X'g对应的窗体的上边界下边界其中，X'gmax、X'gmin、分别为输入样本X'g中压力数据的最大值、最小值、平均值，λ为边界增量。本实施例中，λ＝2×10-3。
步骤5.2：对所述输入样本集X'中每个样本对应的窗体，采取四分位数和标准分数相结合的方法来划分状态区间
状态划分的好坏会影响特征提取的精度，状态划分过细则对噪声鲁棒性不强，反之则降低对信号整体的识别能力。因此，合理的状态划分格外重要。传统Markov状态划分一般采用等分法，即将窗体上下限之间进行等分，而等分法没有考虑到单个样本的数据特性。本发明根据单个样本的数据分布规律，利用样本的四分位数和标准分数进行状态区间划分：
将输入样本X'g按从小到大顺序排列，得到序列X”g＝[X”g1，X”g2，...，X”gq，...，X”gm']，其中，所述X”gq为所述序列X”g在第q位置处的值；计算所述序列X”g在第Q位置的标准分数为其中，σ为输入样本X'g的标准差，Q为所述序列X”g的分位数位置，X”gQ为所述序列X”g在第Q位置的值；将所述序列X”g等分为四个部分，其中，下四分位数、中位数、上四分位数的位置分别为 其中，int为取整函数；将所述序列X”g的四分位数和标准分数相结合，得到输入样本X'g的三条状态分界线分别为L1＝X”gQ1+|ZQ1|、L2＝X”gQ2、L3＝X”gQ3-|ZQ3|，从而输入样本X'g对应的窗体被划分成4个状态{S1，S2，...，S4}。
如图5所示，为本实施例中一个样本的状态区间划分示意图。
此外，根据需要，还可以在相邻分位数之间再继续进行划分。
步骤5.3：对所述输入样本集X'中的每个样本，当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到每个样本对应的间隔Markov链，提取每个样本的间隔Markov特征，形成所述输入样本集X'的间隔Markov特征集
一般的，根据Markov理论，时间序列下一时刻的状态只和上一时刻的状态有关，而和其他时刻状态无关。而实际中，管道中液体湍流等各种效应以及数据采集精度等原因，使得采集到的压力数据包含噪声。在这种情况下，下一时刻的状态对上一时刻状态的依赖可信度不高。因此，为了提升Markov状态链的可信程度，更加刻画数据的变化趋势，本发明构造间隔Markov状态链，进而提取间隔Markov特征，用于后续识别分析，具体步骤如下：
步骤5.3.1：构建Markov链：判断输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']在每一时刻对应的状态，构成输入样本X'g的Markov链为{Sgt，t∈{1，2，...，m'}}；其中，Sgt为输入样本X'g在第t时刻的Markov状态，Sgt＝f(X'gt)，f为压力数据集合X'g＝{X'g1，X'g2，...，X'gt，...，X'gm'}到状态集合S＝{S1，S2，...，SN}的映射，N为状态数，N＝4；
步骤5.3.2：构建间隔Markov链：对于输入样本X'g，当t≤Q时，将每一时刻对应的状态保持不变；当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到输入样本X'g的间隔Markov链为{Sgt'，t∈{1，2，...，m'}}；其中，Sgt'为输入样本X'g在第t时刻的间隔Markov状态，本实施例中，Q＝5；
步骤5.3.3：提取间隔Markov特征：对于输入样本X'g，统计每个状态的转移情况，形成输入样本X'g的间隔Markov特征其中，ki、分别为输入样本X'g的间隔Markov链{Sgt'，t∈{1，2，...，m'}}中对于状态Si的向下转移次数、保持次数、向上转移次数，i∈{1,2,...,N}，
其中，<A&B>的值在条件A和B都成立时为1、反之为0；
步骤5.3.4：重复上述步骤，直到g＝M'，最终得到所述输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']的间隔Markov特征集
步骤5.4：对所述初始输入样本集X中的每个样本，进行上述步骤5.1、步骤5.2、步骤5.3的处理，得到所述初始输入样本集X的间隔Markov特征集，从而得到所述扩充后的输入样本集Xe的间隔Markov特征集。
步骤6：管道异常的识别：构建SVM模型和RF模型，将所述扩充后的输入样本集Xe的间隔Markov特征集输入所述SVM模型或所述RF模型中，随机选取该间隔Markov特征集的80％作为训练样本、20％作为测试样本，进行管道异常的识别。
其中，SVM(Support Vector Machine)模型即支持向量机模型，RF(RandomForest)模型即随机森林模型。
如表1所示，为本实施例与传统其他方法利用SVM模型、RF模型对管道异常识别的准确率数据。从表1中可以看出，本发明的基于样本生成和间隔Markov特征的管道异常检测方法中，结合了原始样本和泛化样本，提取了样本的间隔Markov特征，利用SVM模型和RF模型对管道异常识别的准确率分别为93％和92％，远远高于传统的管道异常检测方法对管道异常识别的准确率。
表1
上述对本发明的一个实施例进行了详细说明。显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例；上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (6)

1.一种基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，包括下述步骤：
步骤1：历史数据样本的提取及滤波处理：提取管道压力的历史数据样本，构成初始历史数据样本集，所述历史数据样本为离散时间序列，所述初始历史数据样本集包括泄漏样本和工况调整样本；使用低通滤波器，对所述初始历史数据样本集进行滤波处理，获取低频信息；再用高斯滤波的方法对所述初始历史数据样本集进行滤波去噪，最终得到滤波处理后的历史数据样本集；
步骤2：历史数据样本的规则化及降采样处理：对滤波处理后的历史数据样本集进行规则化处理，得到样本集X＝[X1；X2；...；XM]；对所述样本集X进行降采样处理，得到样本集Y＝[Y1；Y2；...；YM]；其中，M为所述样本集X和所述样本集Y中样本的个数，所述样本集X和所述样本集Y中样本的长度分别为m和v；
步骤3：ELM模型的建立与训练：将所述样本集X＝[X1；X2；...；XM]作为初始输入样本集，将所述样本集Y＝[Y1；Y2；...；YM]作为初始输出样本集，构成训练样本集S＝(Xi,Yi)i＝1,2,...,M；通过训练，得到ELM模型的隐含层到输出层的权重β；
步骤4：基于ELM模型的样本生成：基于ELM模型进行样本泛化，从输出层返回到输入层，得到新的输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']，g∈[1，M']，构成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，M'为新的输入样本的数量，X'g为离散时间序列，X'gt为输入样本X'g中第t时刻的压力数据，t∈{1,2,...,m'}，m'为输入样本X'g的长度；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe；
步骤5：间隔Markov特征的提取：
步骤5.1：对所述输入样本集X'中每个样本对应的窗体选取上下边界；
步骤5.2：对所述输入样本集X'中每个样本对应的窗体，采取四分位数和标准分数相结合的方法来划分状态区间；
步骤5.3：对所述输入样本集X'中的每个样本，当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到每个样本对应的间隔Markov链，提取每个样本的间隔Markov特征，形成所述输入样本集X'的间隔Markov特征集；
步骤5.4：对所述初始输入样本集X中的每个样本，进行上述步骤5.1、步骤5.2、步骤5.3的处理，得到所述初始输入样本集X的间隔Markov特征集，从而得到所述扩充后的输入样本集Xe的间隔Markov特征集；
步骤6：管道异常的识别：构建SVM模型和RF模型，将所述扩充后的输入样本集Xe的间隔Markov特征集输入所述SVM模型或所述RF模型中，随机选取该间隔Markov特征集的80％作为训练样本、20％作为测试样本，进行管道异常的识别。
2.根据权利要求1所述的基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，所述步骤3包括下述步骤：
步骤3.1：建立ELM模型：写成矩阵形式为Hβ＝Y；其中，L为隐含层节点数，wj为第j个隐含层节点的输入权重，bj为第j个隐含层节点的偏移，βj为第j个隐含层节点的输出权重，所述输入权重wj、所述偏移bj、所述输出权重βj均为服从标准正态分布的随机矩阵，h为激活函数；H为隐含层输出矩阵，β为隐含层到输出层的权重；
步骤3.2：设定隐含层节点数L，随机获取初始输入权重wj和偏移bj；设置所述激活函数h为Sigmoid激活函数，即结合初始输入样本集X＝[X1；X2；...；XM]，得到所述隐含层输出矩阵为
步骤3.3：通过初始输出样本集Y＝[Y1；Y2；...；YM]，计算得到隐含层到输出层的权重其中，β＝[β1；β2；...；βL]，为H的广义逆矩阵。
3.根据权利要求2所述的基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，所述步骤4包括下述步骤：
步骤4.1：对于输出样本集中的任意两个输出样本Yi和Yj，i，j∈[1，M]，取均值后得到将Y'g作为新的输出样本，形成新的输出样本集Y'＝[Y'1；Y'2；...；Y'g；...；Y'M‘]；
步骤4.2：对于每个所述新的输出样本Y'g，基于ELM模型，根据隐含层到输出层的权重β，得到相应的隐含层输出矩阵H'g，然后根据公式X'g＝w-1(h-1(H'g)-b)，得到新的输入样本X'g，形成新的输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']；其中，w为ELM模型的输入层到隐含层的权重，b为偏移，所述w、b、β均为服从标准正态分布的随机矩阵；所述新的输入样本集X'与所述初始输入样本集X共同构成扩充后的输入样本集Xe。
4.根据权利要求1所述的基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，所述步骤5.1中，选取输入样本X'g对应的窗体的上边界下边界其中，X'gmax、X'gmin、分别为输入样本X'g中压力数据的最大值、最小值、平均值，λ为边界增量。
5.根据权利要求4所述的基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，所述步骤5.2中，将输入样本X'g按从小到大顺序排列，得到序列X”g＝[X”g1，X”g2，...，X”gq，...，X”gm']，其中，所述X”gq为所述序列X”g在第q位置处的值；计算所述序列X”g在第Q位置的标准分数为其中，σ为输入样本X'g的标准差，Q为所述序列X”g的分位数位置，X”gQ为所述序列X”g在第Q位置的值；将所述序列X”g等分为四个部分，其中，下四分位数、中位数、上四分位数的位置分别为其中，int为取整函数；将所述序列X”g的四分位数和标准分数相结合，得到输入样本X'g的三条状态分界线分别为 从而输入样本X'g对应的窗体被划分成4个状态{S1，S2，...，S4}。
6.根据权利要求5所述的基于样本生成和间隔Markov特征的管道异常检测方法，其特征在于，所述步骤5.3包括下述步骤：
步骤5.3.1：构建Markov链：判断输入样本X'g＝[X'g1，X'g2，...，X'gt，...，X'gm']在每一时刻对应的状态，构成输入样本X'g的Markov链为{Sgt，t∈{1，2，...，m'}}；其中，Sgt为输入样本X'g在第t时刻的Markov状态，Sgt＝f(X'gt)，f为压力数据集合X'g＝{X'g1，X'g2，...，X'gt，...，X'gm'}到状态集合S＝{S1，S2，...，SN}的映射，N为状态数，N＝4；
步骤5.3.2：构建间隔Markov链：对于输入样本X'g，当t≤Q时，将每一时刻对应的状态保持不变；当t＞Q时，将每一时刻的状态用前Q个时间间隔内的平均状态代替，得到输入样本X'g的间隔Markov链为{Sgt'，t∈{1，2，...，m'}}；其中，Sgt'为输入样本X'g在第t时刻的间隔Markov状态，
步骤5.3.3：提取间隔Markov特征：对于输入样本X'g，统计每个状态的转移情况，形成输入样本X'g的间隔Markov特征其中，分别为输入样本X'g的间隔Markov链{Sgt'，t∈{1，2，...，m'}}中对于状态Si的向下转移次数、保持次数、向上转移次数，i∈{1,2,...,N}，
其中，<A&B>的值在条件A和B都成立时为1、反之为0；
步骤5.3.4：重复上述步骤，直到g＝M'，最终得到所述输入样本集X'＝[X'1，X'2，...，X'g，...，X'M']的间隔Markov特征集χ＝[χ1，χ2，...，χM']。
CN201811173189.9A 2018-10-09 2018-10-09 基于样本生成和间隔Markov特征的管道异常检测方法 Expired - Fee Related CN109058771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811173189.9A CN109058771B (zh) 2018-10-09 2018-10-09 基于样本生成和间隔Markov特征的管道异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811173189.9A CN109058771B (zh) 2018-10-09 2018-10-09 基于样本生成和间隔Markov特征的管道异常检测方法

Publications (2)

Publication Number Publication Date
CN109058771A true CN109058771A (zh) 2018-12-21
CN109058771B CN109058771B (zh) 2019-11-12

Family

ID=64764525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811173189.9A Expired - Fee Related CN109058771B (zh) 2018-10-09 2018-10-09 基于样本生成和间隔Markov特征的管道异常检测方法

Country Status (1)

Country Link
CN (1) CN109058771B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082424A (zh) * 2019-05-10 2019-08-02 东北大学 一种快速管道漏磁数据多尺度异常区域推荐系统及方法
CN110415236A (zh) * 2019-07-30 2019-11-05 深圳市博铭维智能科技有限公司 一种基于双流神经网络的复杂地下管道的异常检测方法
CN112212222A (zh) * 2020-09-09 2021-01-12 黄腾飞 检测管道泄漏的方法和系统
CN113157728A (zh) * 2021-02-23 2021-07-23 北京科技大学 一种地下柴油铲运机循环工况的识别方法
CN113255433A (zh) * 2021-04-06 2021-08-13 北京迈格威科技有限公司 模型训练方法、装置和计算机存储介质
CN114811443A (zh) * 2021-01-22 2022-07-29 北京科益虹源光电技术有限公司 水路状态监测系统
CN117851974A (zh) * 2024-03-07 2024-04-09 艾信智能环境科技(无锡)有限公司 医用气力式垃圾被服智能收集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103968256A (zh) * 2014-05-19 2014-08-06 税爱社 油库管道泄漏检测方法
CN104061445A (zh) * 2014-07-09 2014-09-24 中国石油大学(华东) 一种基于神经网络的管道泄漏检测方法
WO2016058802A1 (en) * 2014-10-14 2016-04-21 Sicpa Holding Sa Interface with secure intermediary platform to generate data compatible with an external system in an oil and gas asset supply chain
CN108361560A (zh) * 2018-03-21 2018-08-03 天津科技大学 一种基于小波包用于天然气管道安全监测装置的管道安全识别方法
CN108488638A (zh) * 2018-03-28 2018-09-04 东北大学 基于声波负压波混合监测的管道泄漏监测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103968256A (zh) * 2014-05-19 2014-08-06 税爱社 油库管道泄漏检测方法
CN104061445A (zh) * 2014-07-09 2014-09-24 中国石油大学(华东) 一种基于神经网络的管道泄漏检测方法
WO2016058802A1 (en) * 2014-10-14 2016-04-21 Sicpa Holding Sa Interface with secure intermediary platform to generate data compatible with an external system in an oil and gas asset supply chain
CN108361560A (zh) * 2018-03-21 2018-08-03 天津科技大学 一种基于小波包用于天然气管道安全监测装置的管道安全识别方法
CN108488638A (zh) * 2018-03-28 2018-09-04 东北大学 基于声波负压波混合监测的管道泄漏监测系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082424A (zh) * 2019-05-10 2019-08-02 东北大学 一种快速管道漏磁数据多尺度异常区域推荐系统及方法
CN110415236A (zh) * 2019-07-30 2019-11-05 深圳市博铭维智能科技有限公司 一种基于双流神经网络的复杂地下管道的异常检测方法
CN112212222A (zh) * 2020-09-09 2021-01-12 黄腾飞 检测管道泄漏的方法和系统
CN114811443A (zh) * 2021-01-22 2022-07-29 北京科益虹源光电技术有限公司 水路状态监测系统
CN114811443B (zh) * 2021-01-22 2024-04-16 北京科益虹源光电技术有限公司 水路状态监测系统
CN113157728A (zh) * 2021-02-23 2021-07-23 北京科技大学 一种地下柴油铲运机循环工况的识别方法
CN113157728B (zh) * 2021-02-23 2024-03-19 北京科技大学 一种地下柴油铲运机循环工况的识别方法
CN113255433A (zh) * 2021-04-06 2021-08-13 北京迈格威科技有限公司 模型训练方法、装置和计算机存储介质
CN117851974A (zh) * 2024-03-07 2024-04-09 艾信智能环境科技(无锡)有限公司 医用气力式垃圾被服智能收集系统
CN117851974B (zh) * 2024-03-07 2024-05-14 艾信智能环境科技(无锡)有限公司 医用气力式垃圾被服智能收集系统

Also Published As

Publication number Publication date
CN109058771B (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN109058771B (zh) 基于样本生成和间隔Markov特征的管道异常检测方法
Pan et al. Water level prediction model based on GRU and CNN
CN111882446B (zh) 一种基于图卷积网络的异常账户检测方法
CN103544296B (zh) 雷达距离扩展目标自适应智能融合检测方法
CN114595732B (zh) 基于深度聚类的雷达辐射源分选方法
CN112508105A (zh) 一种采油机故障检测与检索方法
Cai et al. Anomaly detection of earthquake precursor data using long short-term memory networks
CN115758212A (zh) 一种基于并行网络和迁移学习的机械设备故障诊断方法
CN112766301B (zh) 一种采油机示功图相似性判断方法
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
Zhu et al. An automatic identification method of imbalanced lithology based on Deep Forest and K-means SMOTE
CN112307410A (zh) 基于船载ctd测量数据的海水温盐信息时序预测方法
CN116382100B (zh) 一种油气管道检测控制系统及控制方法
CN109613109A (zh) 一种管道漏磁检测数据自动分析系统
Vaghefi et al. A comparison among data mining algorithms for outlier detection using flow pattern experiments
Pan et al. A novel fault classification feature extraction method for rolling bearing based on multi-sensor fusion technology and EB-1D-TP encoding algorithm
CN114673246A (zh) 一种污水管道防堵塞测量方法及其测量系统
CN103226728A (zh) 高密度聚乙烯串级聚合反应过程智能检测与收率优化方法
CN110514366B (zh) 一种小样本条件下管道微弱泄漏检测方法
CN116542170A (zh) 基于ssae和mlstm的排水管道淤积病害动态诊断方法
CN103218614A (zh) 基于流形学习和粗糙集相结合的强对流天气识别方法
Oğuz et al. Prediction of local scour around bridge piers using hierarchical clustering and adaptive genetic programming
CN117554000A (zh) 尾矿输送管道泄漏智能检测方法及系统
CN114139648B (zh) 一种尾矿充填管路异常智能检测方法及系统
CN117312919A (zh) 基于bo-cnn-lstm模型的冲击地压预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191112