CN117370906A - 基于单点和时间序列异常检测的爆管检测及性能评估方法 - Google Patents
基于单点和时间序列异常检测的爆管检测及性能评估方法 Download PDFInfo
- Publication number
- CN117370906A CN117370906A CN202311054014.7A CN202311054014A CN117370906A CN 117370906 A CN117370906 A CN 117370906A CN 202311054014 A CN202311054014 A CN 202311054014A CN 117370906 A CN117370906 A CN 117370906A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- abnormal
- point
- detection
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 337
- 238000004880 explosion Methods 0.000 title claims abstract description 89
- 238000011156 evaluation Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 986
- 230000002159 abnormal effect Effects 0.000 claims abstract description 370
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000005856 abnormality Effects 0.000 claims description 148
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000010354 integration Effects 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 14
- 230000036961 partial effect Effects 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 claims description 14
- 230000009172 bursting Effects 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 27
- 238000013450 outlier detection Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 8
- 238000003064 k means clustering Methods 0.000 description 5
- 241000764238 Isis Species 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
- F17D5/06—Preventing, monitoring, or locating loss using electric or acoustic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明公开一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,它包括如下步骤:步骤(1)、对供水管网实时监测数据进行单点异常值检测,识别供水管网正常工况和异常工况;步骤(2)、对供水管网实时监测数据进行时间序列异常检测,识别供水管网正常工况和异常工况;步骤(3)、集成供水管网单点和时间序列异常检测结果,对供水管网爆管和监测系统发生故障的情况进行准确检测与识别;本发明方法能够准确识别爆管并区分各种监测点数据发生异常的情况。
Description
技术领域
本发明涉及城市供水管网爆管检测技术领域,具体地指一种基于单点和时间序列异常检测的爆管检测及性能评估方法。
背景技术
爆管是供水系统的一种主要失水形式,尽管持续时间短但失水量大。爆管不仅会造成大量水资源浪费,也会导致管网压力下降影响正常供水。此外,管道破裂后也容易发生污染物入侵从而影响饮用水水质。爆管检测旨在及时对爆管事件做出响应,降低爆管事件带来的危害,是保障城市水安全的重要手段。
数据驱动方法是爆管检测领域的新方法,此类方法将爆管检测看作为异常检测问题,通过检测实时监测数据中的异常特征来发现爆管。在进行爆管检测时,此类方法不需要利用硬件设备或者管网模型,只需要利用软件对管网监测数据进行异常检测,具有成本低、耗时短和劳动强度低等优势。与此同时,受爆管监测数据少和脏数据干扰等不利因素影响,现阶段数据驱动方法的爆管检测误报率较高。
数据驱动方法进一步可分为基于单点异常检测和基于时间序列异常检测的方法。基于单点异常检测的方法对监测数据的单个值进行异常检测,如果检测到多个时刻(时间窗)的异常值,则发出爆管报警。此类方法能够及时发现监测数据中的异常值,识别管网的正常工况和异常工况,在爆管检测中得到了广泛应用。然而,此类方法不能对各种异常值的诱导因素进行准确识别,在爆管检测之前需要采取合适的数据预处理方法来排除监测数据中的异常值。在正常工况下,管网监测数据遵循特定的周期模式,监测数据均为正常值。如果管网发生爆管、部分监测点出现脏数据或全部监测点出现脏数据,则会改变监测数据原有的周期模式,导致监测数据出现异常值。如果检测到这些异常值后,不能对这些异常值的诱导因素进行准确识别,则会使爆管检测的误报率升高;如果检测到这些异常值后不报警,则会使爆管的检测率降低。
基于时间序列异常检测的方法考虑了监测数据之间的相关性,通过分析时间序列的相异性变化来发现异常时间序列,采用基于时间序列异常检测的方法能够检测到这些变化。此类方法消除了非平稳情况对爆管检测结果的干扰。然而,此类方法容易受到噪声数据的干扰,少量噪声可能会主导相似性度量,使此类方法的误报率升高。
发明内容
本发明的目的在于克服上述不足,提供一种基于单点和时间序列异常检测的爆管检测及性能评估方法,以解决背景技术中提出的问题。
本发明为解决上述技术问题,所采用的技术方案是:一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,它包括如下步骤:
步骤(1)、对供水管网实时监测数据进行单点异常值检测,识别供水管网正常工况和异常工况;
步骤(2)、对供水管网实时监测数据进行时间序列异常检测,识别供水管网正常工况和异常工况;
步骤(3)、集成供水管网单点和时间序列异常检测结果,对供水管网爆管和监测系统发生故障的情况进行准确检测与识别。
优选地,所述步骤(1)具体包括:
步骤(1.1)、准备供水管网各个监测点的历史和实时单点监测数据,以便对实时监测数据进行单点异常值检测;
步骤(1.2)、利用无监督叠加集成算法对供水管网实时监测数据进行单点异常值检测,识别实时监测数据中的单点异常值;
步骤(1.3)、利用统计理论对供水管网监测数据的单个值进行定性检测,识别实时监测数据中的单点异常。
优选地,所述步骤(2)具体包括:
步骤(2.1)、准备供水管网各个监测点的历史和实时监测数据时间序列,以便对实时监测数据进行时间序列异常检测;
步骤(2.2)、对不同监测点的监测数据时间序列进行相异性分析,确定监测点之间异常时间序列;
步骤(2.3)、对相同监测点的监测数据时间序列进行相异性分析,确定监测点自身异常时间序列。
优选地,所述步骤(3)具体包括:
步骤(3.1)、利用单点异常值检测方法对供水管网各种异常情景进行单点异常值检测;
步骤(3.2)、利用时间序列异常检测方法对供水管网各种异常情景进行时间序列异常检测;
步骤(3.3)、集成单点和时间序列异常检测结果,对供水管网各种异常情景进行检测与识别;
步骤(3.4)、利用爆管检测方法对供水管网各种异常情景进行检测与识别,对所提出方法的爆管检测性能进行评估。
优选地,所述步骤(3.1)具体包括:
利用单点异常值检测方法对供水管网各种异常情景进行单点异常值检测时,考虑4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据;每种情景均包含了25组异常监测数据,从异常值开始的时刻进行单点异常值检测,并根据连续5个时刻的异常值检测结果确定是否报警。
优选地,所述步骤(3.2)具体包括:
利用时间序列异常检测方法对供水管网各种异常情景进行时间序列异常检测时,考虑4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据;每种情景均包含了25组异常监测数据,从异常值开始的时刻进行监测点之间时间序列异常检测,并根据连续5个时刻的时间序列异常检测结果确定是否报警。
优选地,所述步骤(3.3)具体包括:
步骤(3.3.1)、检测监测数据中是否存在单点或时间序列异常;
步骤(3.3.2)、识别部分监测点监测数据出现异常的情况;
步骤(3.3.3)、识别爆管和全部监测点出现脏数据的情况;
步骤(3.3.4)、对方法的爆管检测性能进行评价与分析。
优选地,步骤(3.3.1)具体为:首先,对管网正常工况和监测数据出现异常的情况进行识别;对于单点监测数据,如果基于无监督叠加集成算法或基于统计理论检测到单点异常值的存在,则对单点异常值出现的时刻进行标记,并继续对下个时刻的监测数据进行单点异常值检测;对于时间序列监测数据,如果基于监测点之间时间序列异常检测或监测点自身时间序列异常检测发现异常时间序列,则对异常时间序列出现的时刻进行标记,并继续对下个时刻的监测数据进行时间序列异常检测;
步骤(3.3.2)具体为:如果部分监测点的监测数据单点和时间序列出现异常,而剩余监测点的监测数据单点和时间序列无异常情况出现,则判断为部分监测点出现脏数据的情况;
步骤(3.3.3)具体为:如果所有监测点的监测数据单点和时间序列均检测到异常,则通过异常值的增大和减小来识别管网发生爆管和全部监测点出现脏数据的情况。如果所有监测点的监测数据单点定性检测结果均为“减小”,则说明管网发生了爆管;反之,一旦出现某个监测数据的单点定性检测结果为“增大”的情况,则说明管网全部监测点出现了脏数据。
步骤(3.3.4)中,对方法的爆管检测性能进行评价考虑以下几个指标:①检测正确率(σ1);②异常识别率(σ2);③异常检测率(σ3)。
优选地,检测正确率表示为:
式中,Nn表示总的异常情景数量,Ndn表示检测到的异常情景数量;
异常识别率表示为:
式中,Nin表示正确识别的异常情景数量,Nn表示总的异常情景数量;
异常检测率表示为:
式中,tdn和tt分别表示异常事件检测到的持续时间和实际持续时间。
优选地,所述步骤(3.4)具体包括:
步骤(3.4.1)、在对供水管网各种异常情景进行检测与识别时,去掉单点异常值检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.2)、在对供水管网各种异常情景进行检测与识别时,去掉单点值定性检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.3)、在对供水管网各种异常情景进行检测与识别时,去掉监测点之间时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.4)、在对供水管网各种异常情景进行检测与识别时,去掉监测点自身时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率。
本发明的有益效果:本发明方法利用供水管网的历史和实时监测数据对供水管网爆管和监测点发生故障的情况进行有效检测和识别,通过对供水管网实时监测数据进行单点和时间序列异常检测,及时发现供水管网的异常工况,可以根据单点和时间序列异常检测结果的不同报警情况对不同异常情景进行准确区分;即本发明方法能够准确识别爆管并区分各种监测点数据发生异常的情况。
附图说明
图1为一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法的流程图;
图2为本发明所提出的单点值异常检测示意图;
图3为本发明所提出的基于无监督叠加集成的单点异常值检测示意图:(a-c)监测数据时间序列,(d-e)实时数据与历史数据比较,(f-g)单点异常值检测;
图4为本发明所提出的基于统计理论的单点异常值检测示意图:(a-c)监测数据时间序列,(d-e)实时数据与历史数据比较,(f-g)单点异常值检测;
图5为本发明所提出的监测点之间时间序列异常检测示意图:(a)监测数据时间序列,(b-c)实时监测数据时间序列与历史监测数据时间序列比较,(d)监测数据时间序列异常检测;
图6为本发明所提出的监测点之间时间序列异常检测流程图;
图7为本发明所提出的监测点自身时间序列异常检测示意图:(a)监测数据时间序列,(b-c)实时监测数据时间序列与历史监测数据时间序列比较,(d)监测数据时间序列异常检测
图8为本发明所提出的监测点自身时间序列异常检测流程图;
图9为本发明实施例管网发生爆管后单点异常值检测示意图:(a)监测数据时间序列曲线,(b)监测数据单点值;
图10为本发明实施例部分监测点出现脏数据后单点异常检测结果:(a)监测数据时间序列曲线,(b)监测数据单点值;
图11为本发明实施例全部监测点出现脏数据后单点异常检测结果:(a)监测数据时间序列曲线,(b)监测数据单点值;
图12为本发明实施例管网发生爆管后时间序列异常检测结果:(a)监测数据时间序列曲线,(b)监测点之间时间序列,(c-d)监测点自身时间序列;
图13为本发明实施例部分监测点出现脏数据后时间序列异常检测结果:(a)监测数据时间序列曲线,(b)监测点之间时间序列,(c-d)监测点自身时间序列;
图14为本发明实施例全部监测点出现脏数据后时间序列异常检测结果:(a)监测数据时间序列曲线,(b)监测点之间时间序列,(c-d)监测点自身时间序列;
图15为本发明实施例Net 3管网模型压力监测点布设示意图;
图16为本发明实施例实验条件和数据准备技术流程;
图17为本发明实施例监测数据.csv文件示意图;
图18为本发明实施例基于无监督叠加集成的单点异常值检测结果:(a)管网发生爆管,(b)单个监测点出现脏数据,(c)部分监测点出现脏数据,(d)全部监测点出现脏数据;
图19为本发明实施例基于统计理论的单点异常值检测结果:(a)管网发生爆管,(b)单个监测点出现脏数据,(c)部分监测点出现脏数据,(d)全部监测点出现脏数据;
图20为本发明实施例监测点之间时间序列异常检测结果:(a)管网发生爆管,(b)单个监测点出现脏数据,(c)部分监测点出现脏数据,(d)全部监测点出现脏数据;
图21为本发明实施例监测点自身时间序列异常检测结果:(a)管网发生爆管,(b)单个监测点出现脏数据,(c)部分监测点出现脏数据,(d)全部监测点出现脏数据;
图22为本发明实施例各种异常情景的异常检测率、检测正确率和异常识别率;
图23为本发明实施例去掉单点异常值检测结果;
图24为本发明实施例去掉单点值定性检测结果;
图25为本发明实施例去掉监测点之间时间序列异常检测结果;
图26为本发明实施例去掉监测点自身时间序列异常检测结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细描述。
实施例1:如图1所示,一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,它包括如下步骤:
步骤(1):对供水管网实时监测数据进行单点异常值检测,识别供水管网正常工况和异常工况;
步骤(2):对供水管网实时监测数据进行时间序列异常检测,识别供水管网正常工况和异常工况;
步骤(3):集成供水管网单点和时间序列异常检测结果,对供水管网爆管和监测系统发生故障的情况进行准确检测与识别。
进一步的,所述步骤(1)具体包括:
步骤(1.1)、准备供水管网各个监测点的历史和实时单点监测数据,以便对实时监测数据进行单点异常值检测;
步骤(1.2)、利用无监督叠加集成算法对供水管网实时监测数据进行单点异常值检测,识别实时监测数据中的单点异常值;
步骤(1.3)、利用统计理论对供水管网监测数据的单个值进行定性检测,识别实时监测数据中的单点异常。
进一步的,所述步骤(1.1)具体包括:
用x表示监测点的监测数据,监测点1的监测数据表示为x1,实时监测数据表示为历史监测数据表示为/>监测点1在m时刻的监测数据表示为x1(m)。单点异常值检测通过将监测点的实时监测数据与前nd天的历史监测数据进行比较,判断实时监测数据是否为异常值。例如,需要判断监测点1在m时刻的实时监测数据是否为异常值,则将实时监测数据/>与前nd天m时刻的历史监测数据/>进行比较,利用各种异常检测方法判断/>是否为异常值。
在对各个监测点的监测数据x进行单点异常值检测之前,需要准备各个监测点的实时监测数据和历史监测数据,表示为:
式中,x0(i)(i=1,2,…,m)表示监测点的实时监测数据,x0(m)表示监测点的第m个实时监测数据,m为各个监测点每天的监测数据总数。xj(i)(i=1,2,…,m;j=1,2,…,d)表示监测点的历史监测数据,xj(m)表示监测点前j天的第m个历史监测数据,d为历史监测数据总的天数。矩阵X的每一行表示监测点某个时刻的实时和历史监测数据,例如,X(i)=[x0(i),x1(i),…,xj(i),…,xd(i)]表示监测点的第i个实时和历史监测数据。矩阵X的每一列表示监测点某天各个时刻的监测数据,例如,X(j)=[xj(1),xj(2),…,xj(i),…,xj(m)]T表示监测点前j天各个时刻的历史监测数据。
在采集得到各个监测点的实时监测数据后,则将其与前d天对应时刻的历史监测数据进行比较,确认实时监测数据是否为异常值。如果要对第m个实时监测数据进行异常值检测,则准备好所有监测点的第m个实时监测数据和前d天的第m个历史监测数据,表示为:
式中,表示监测点k的第m个实时监测数据,n为管网内布设的监测点的数量。/>表示监测点k在前j天的第m个历史监测数据。矩阵X(m)的每一行表示某个监测点的第m个历史和实时监测数据,例如 表示监测点k的第m个历史和实时监测数据。矩阵X(m)的每一列表示管网内的所有监测点在某天的第m个监测数据,例如,表示监测点前j天的第m个历史监测数据。
进一步的,所述步骤(1.2)具体包括:
对于监测数据单点异常值检测,本发明采用了一种基于无监督叠加集成的机器学习算法。该算法最早用于电力系统故障诊断,利用SCADA系统的实时监测数据,能够对电力系统故障事件和监测数据出现异常的情景进行有效检测和准确识别。该算法分为3层:①第1层为独立森林算法(Isolation Forest);②第2层为K均值聚类算法和局部离群概率算法;③第3层为K均值聚类算法和局部离群概率算法的集成。
在对监测数据进行单点异常值检测时,将X(m)的每一行作为待检测数据,输入到无监督叠加集成算法中。对于n个监测点的监测数据,在每个时刻需要进行n次单点异常值检测。例如,以监测点1的监测数据为例,将共d+1个待检测数据输入到无监督叠加集成算法中,得到各个监测数据成为异常值的概率。如果/>成为异常值的概率最高,则将实时监测数据标记为异常值。否则,说明实时监测数据为正常值,不对其进行标记。步骤(1.2)主要包含以下步骤:
步骤(1.2.1)、将待检测数据输入到独立森林算法中,得到各个数据的异常分数;
步骤(1.2.2)、将第1层中独立森林算法得到的各个异常分数作为第2层中K均值聚类算法的输入。在K均值聚类算法中,对各个异常分数进行聚类,得到二进制数据0(正常)和1(异常);
步骤(1.2.3)、将第1层中独立森林算法得到的各个异常分数作为第2层中局部离群概率算法的输入,在局部概率离群算法中得到各个异常分数的离群概率;
步骤(1.2.4)、根据K均值聚类算法和局部离群概率算法的输出结果,得到各个异常分数成为异常值的概率,即各个待检测数据成为异常值的概率。
进一步的,所述步骤(1.3)具体包括:
为了避免将监测点出现脏数据的情景识别为管网爆管,本发明提出了基于统计理论的单点异常值检测方法。爆管事件通常会导致监测数据迅速下降,因此爆管发生后的异常监测值应小于正常监测值。如果出现异常监测值大于正常监测值的情况,则可以判断管网内没有爆管事件发生,而是监测点出现了脏数据。此外,为了避免将需水量波动引起的正常监测值识别为异常监测值,实时监测数据应在超过一定范围后才标记为异常值。
对于单个监测点的监测数据x,根据历史监测数据xi(i=1,2,…,d)得到定性阈值[ζ-(x),ζ+(x)]:
ζ-(x)=μ(xi)-mkσ(xi)
ζ+(x)=μ(xi)+mkσ(xi)
将x0与ζ-(x)和ζ+(x)进行比较,共分为3种情况:①若x0<ζ-(x),表示实时监测数据为异常值,且与历史监测数据相比呈“减小”趋势,异常检测结果用-1表示;②若ζ-(x)≤x0≤ζ+(x),表示实时监测数据为正常值,异常检测结果用0表示;③若ζ+(x)<x0,表示实时监测数据为异常值,且与历史监测数据相比呈“增大”趋势,异常检测结果用1表示。
进一步的,所述步骤(2)具体包括:
步骤(2.1)、准备供水管网各个监测点的历史和实时监测数据时间序列,以便对实时监测数据进行时间序列异常检测;
步骤(2.2)、对不同监测点的监测数据时间序列进行相异性分析,确定监测点之间异常时间序列;
步骤(2.3)、对相同监测点的监测数据时间序列进行相异性分析,确定监测点自身异常时间序列。
进一步的,所述步骤(2.1)具体包括:
监测数据时间序列是指包含多个监测值的向量,例如,监测点1的监测数据时间序列可以表示为 表示监测点1在m时刻的监测数据,l为监测数据时间序列的长度,即监测数据时间序列S1包含了l个监测数据,/>表示监测点1在m-l+1时刻的监测数据。如果S1中的各个监测数据均为正常值,即监测数据时间序列S1的形状变化不大,则将S1看作为监测数据正常时间序列。反之,如果S1中的某个监测数据出现了异常,即监测数据时间序列S1的形状发生了变化(与监测数据正常时间序列相比),则将S1看作为监测数据异常时间序列。
为了对监测数据时间序列异常进行检测,本发明采用了一种基于监测数据时间序列相异性检测的方法。该方法利用2个监测数据时间序列的距离来检测监测数据异常时间序列,对于2个监测数据时间序列S1和S2,监测数据时间序列的距离可以表示为:
式中,M(S1,S2)为监测数据时间序列S1和S2的点积,/>l为监测数据时间序列S1和S2的长度,μ(S1)和σ(S1)分别为监测数据时间序列S1的平均值和标准差,μ(S2)和σ(S2)分别为监测数据时间序列S2的平均值和标准差。
如果监测数据时间序列S1和S2内的各个监测数据均为常数,则d(S1,S2)也为常数,即d(S1,S2)保持恒定不变;如果监测数据时间序列S1和S2内的某个监测数据发生了变化,则会引起d(S1,S2)的变化。反过来,如果检测到d(S1,S2)发生了变化,则说明监测数据时间序列S1或S2的某个监测数据发生了改变,即监测数据中存在异常值。为此,本发明通过检测监测数据时间序列的距离变化来发现监测数据异常时间序列。根据待检测监测数据时间序列内监测数据的来源,分为:①监测点之间时间序列异常检测;②监测点自身时间序列异常检测。
在对监测数据时间序列异常进行检测之前,需要准备各个监测点的监测数据时间序列。对于单个监测点1,其在前j天的第m个监测数据时间序列可以表示为:
式中,l表示监测数据时间序列的长度,即监测数据时间序列包含l个监测数据,监测点1的第m个监测数据时间序列的起始监测数据为x1(m-l+1),最后一个监测数据为x1(m)。
监测数据时间序列可以表示为:
式中,S0(i)(i=1,2,…,m)表示监测点的实时监测数据时间序列,S0(m)表示监测点的第m个实时监测数据时间序列,m为各个监测点每天的监测数据总数。Sj(i)(i=1,2,…,m;j=1,2,…,d)表示监测点的历史监测数据时间序列,Sj(m)表示监测点前j天的第m个历史监测数据时间序列,d为历史监测数据总的天数。矩阵S的每一行表示监测点某个时刻的实时和历史监测数据时间序列,例如,S(i)=[S0(i),S1(i),…,Sj(i),…,Sd(i)]表示监测点的第i个实时和历史监测数据时间序列。矩阵S的每一列表示监测点某天各个时刻的监测数据时间序列,例如,S(j)=[Sj(1),Sj(2),…,Sj(i),…,Sj(m)]T表示监测点前j天各个时刻的历史监测数据时间序列。
如果要对第m个实时监测数据时间序列进行异常检测,则准备好所有监测点的第m个实时监测数据时间序列和前d天的第m个历史监测数据时间序列,表示为:
式中,表示监测点k的第m个实时监测数据时间序列,n为管网内布设的监测点总数。/>表示监测点k在前j天的第m个历史监测数据。矩阵S(m)的每一行表示某个监测点的第m个历史和实时监测数据时间序列,例如,/> 表示监测点k的第m个历史和实时监测数据时间序列。矩阵S(m)的每一列表示监测点某天的第m个监测数据时间序列,例如,/>表示监测点前j天的第m个监测数据时间序列。
进一步的,所述步骤(2.2)具体包括:
如果待检测监测数据时间序列来自不同的监测点,则将其称为监测点之间时间序列异常检测。在正常工况下,管网不同监测点的监测数据遵循相同的规律,即不同监测点的监测数据时间序列的距离变化不大。如果某个监测点的监测数据出现了异常值,则会导致该监测点的监测数据时间序列的形状发生变化,从而引起监测点之间监测数据时间序列的距离发生变化,通过监测点之间时间序列异常检测能发现这种变化,在此基础上,检测到监测数据中的异常值。
如果要检测两个监测点之间时间序列的距离是否发生了改变,则取出两个监测点的监测数据时间序列所对应的行向量,然后计算得到两个监测点的实时和历史监测数据时间序列的距离。监测点之间时间序列异常检测要分为3个步骤:①计算得到历史监测数据时间序列的距离②计算得到实时监测数据时间序列的距离③将/>和/>进行比较,确认/>是否为异常值。
历史监测数据时间序列的距离为过去d天监测点1和2在m时刻的监测数据时间序列的距离,可以直接导出之前的实时监测数据时间序列的距离/>为此,在对监测点之间时间序列异常进行检测时,只需要计算得到实时监测数据时间序列的距离监测点1和2在m时刻的监测数据时间序列的距离为:
式中,表示实时监测数据时间序列的距离,/>为历史监测数据时间序列的距离。
根据历史监测数据时间序列的距离计算得到决策阈值ξ1(S1,S2),ξ1(S1,S2)由的平均值和方差计算得到:
式中,和/>分别表示监测数据时间序列的距离的平均值和方差。
在得到决策阈值ξ1(S1,S2)后,将其与监测数据时间序列的距离进行比较,判断监测点1和2的监测数据时间序列的距离/>是否为异常值。若则表示监测点1和2当前时刻的监测数据无异常,输出检测结果“正常”,用0表示;否则,输出检测结果“异常”,用1表示。
进一步的,所述步骤(2.3)具体包括:
如果待检测时间序列来自相同的监测点,则称为监测点自身时间序列异常检测。在正常工况下,管网各个监测点的监测数据遵循相同的规律,即同一监测点的监测数据时间序列的距离变化不大。如果某个监测点的监测数据出现了异常值,导致该监测点的监测数据时间序列发生了改变,则监测点自身时间序列的距离也会发生改变。
在对监测点自身时间序列异常进行检测时,需要计算得到实时与历史监测数据时间序列的距离,以及历史与历史监测数据时间序列的距离,并进行比较。监测点自身时间序列异常检测主要分为3个步骤:①计算得到历史与历史监测数据时间序列的距离②计算得到实时与历史监测数据时间序列的距离③比较/>和/>确认/>中是否存在异常值。
实际上,历史与历史监测数据时间序列的距离在之前的监测点自身时间序列异常检测中已经计算过。每次进行异常检测时,只需要计算d个/>并得到最小值
根据前d天的第m个监测数据时间序列的距离计算得到决策阈值/>
/>
式中,和/>分别为监测数据时间序列的距离/> 的平均值和方差。
在得到决策阈值后,将其与监测点自身时间序列距离的最小值/>进行比较,判断/>是否为异常值。若/>则表示监测点当前时刻的监测数据时间序列无异常,输出检测结果0;否则,输出检测结果1。
进一步的,所述步骤(3)具体包括:
步骤(3.1)、利用所提出的单点异常值检测方法对供水管网各种异常情景进行单点异常值检测
为了确定基于无监督分类的单点异常值检测方法对各种异常情景的检测效果,采用各种异常情景对所提出的方法进行了测试,主要考虑了4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据。每种情景均包含了25组异常监测数据,从异常值开始的时刻进行单点异常值检测,并根据连续5个时刻的异常值检测结果确定是否报警。
步骤(3.2)、利用所提出的时间序列异常检测方法对供水管网各种异常情景进行时间序列异常检测
为了确定基于时间序列异常检测方法对各种异常情景的检测效果,采用各种异常情景对所提出的方法进行了测试,主要考虑了4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据。每种情景均包含了25组异常监测数据,从异常值开始的时刻进行监测点之间时间序列异常检测,并根据连续5个时刻的时间序列异常检测结果确定是否报警。
步骤(3.3)、集成单点和时间序列异常检测结果,对供水管网各种异常情景进行检测与识别
单点和时间序列异常检测结果的集成,旨在及时检测到实时监测数据中的异常值,并对管网发生爆管或者监测点出现脏数据的情况进行准确识别。采用滑动时间窗口对各个监测点的监测数据进行异常检测,一次完成一个时刻的单点和时间序列异常检测。如果检测到某个监测点存在单点或时间序列异常,则将单点或时间序列异常对应的时刻进行标记,并采用数据清洗方法对异常值进行替换。当标记的时间窗口达到一定长度时,则进行异常报警,并对各种异常情景进行识别。主要分为以下步骤:
步骤(3.3.1)、检测监测数据中是否存在单点或时间序列异常
首先,对管网正常工况和监测数据出现异常的情况进行识别。对于单点监测数据,如果基于无监督叠加集成算法或基于统计理论检测到单点异常值的存在,则对单点异常值出现的时刻进行标记,并继续对下个时刻的监测数据进行单点异常值检测。对于时间序列监测数据,如果基于监测点之间时间序列异常检测或监测点自身时间序列异常检测发现异常时间序列,则对异常时间序列出现的时刻进行标记,并继续对下个时刻的监测数据进行时间序列异常检测。
步骤(3.3.2)、识别部分监测点监测数据出现异常的情况
如果部分监测点的监测数据单点和时间序列出现异常,而剩余监测点的监测数据单点和时间序列无异常情况出现,则判断为部分监测点出现脏数据的情况。例如,监测点1的监测数据出现了异常,而监测点2和3的监测数据无异常。则监测点1的监测数据能检测到单点异常,监测点1的自身时间序列也会出现连续异常报警的情况,而监测点2和3均无报警情况出现。监测点1和2的监测数据时间序列的距离d(S1,S2)以及监测点1和3的监测数据时间序列的距离d(S1,S3)均为异常值,而监测点2和3的监测数据时间序列的距离d(S2,S3)为正常值。
步骤(3.3.3)、识别爆管和全部监测点出现脏数据的情况
如果所有监测点的监测数据单点和时间序列均检测到异常,则通过异常值的增大和减小来识别管网发生爆管和全部监测点出现脏数据的情况。如果所有监测点的监测数据单点定性检测结果均为“减小”,则说明管网发生了爆管。反之,一旦出现某个监测数据的单点定性检测结果为“增大”的情况,则说明管网全部监测点出现了脏数据。
步骤(3.3.4)、对方法的爆管检测性能进行评价与分析
所提出的方法旨在对实时监测数据中的单点和时间序列异常进行检测,并结合单点和时间序列异常检测结果,识别管网发生爆管和监测点出现脏数据的情景。因此,在对方法进行评价时主要考虑以下几个指标:①检测正确率(σ1);②异常识别率(σ2);③异常检测率(σ3)。
检测正确率是指各种异常情景被检测到的概率,即识别到异常情景中单点或时间序列异常,并发出报警。检测正确率表示为:
式中,Nn表示总的异常情景数量,Ndn表示检测到的异常情景数量。
异常识别率是指各种异常情景被正确识别的概率。例如,在10种异常情景中,管网发生爆管的数量为8,检测到的爆管事件数量为4,则对管网发生爆管的异常识别率为4÷8=50%。异常识别率表示为:
式中,Nin表示正确识别的异常情景数量,Nn表示总的异常情景数量。
异常检测率是指检测到的各种异常情景的持续时间和异常情景实际持续时间的比值。例如,某个监测点出现脏数据的持续时间为1h,而检测到该监测点出现脏数据的持续时间为0.5h,则异常检测率为0.5÷1=50%。异常检测率表示为:
式中,tdn和tt分别表示异常事件检测到的持续时间和实际持续时间。显然,σ1、σ2和σ3越高越好。
步骤(3.4)、利用爆管检测方法对供水管网各种异常情景进行检测与识别,对所提出方法的爆管检测性能进行评估。
步骤(3.4.1)、在对供水管网各种异常情景进行检测与识别时,去掉单点异常值检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.2)、在对供水管网各种异常情景进行检测与识别时,去掉单点值定性检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.3)、在对供水管网各种异常情景进行检测与识别时,去掉监测点之间时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.4)、在对供水管网各种异常情景进行检测与识别时,去掉监测点自身时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率。
上述过程中,分别利用单点异常检测方法和时间序列异常检测方法对各种异常情景进行检测,根据单点和时间序列异常检测结果,集成得到各种情景的最终异常检测结果,采用了4种集成策略:i.去掉单点异常值检测结果;ii.去掉单点值定性检测结果;iii.去掉监测点之间时间序列异常检测结果;iv.去掉监测点自身时间序列异常检测结果。得到各种情景下的最终异常检测结果,并将其保存为异常检测结果.csv。在此基础上,计算得到所提出的方法在各种异常情景下的性能指标,即检测正确率、异常识别率和异常检测率,并将其保存为异常评估结果.csv。
具体实施案例:
本发明实施例提出一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法。该方法利用供水管网的历史和实时监测数据对供水管网爆管和监测点发生故障的情况进行有效检测和识别,通过对供水管网实时监测数据进行单点和时间序列异常检测,及时发现供水管网的异常工况,并根据单点和时间序列异常检测结果的不同报警情况对不同异常情景进行准确区分。所述方法具体包括如下步骤:
步骤(1)、对供水管网实时监测数据进行单点异常值检测,识别供水管网正常工况和异常工况。所述步骤(1)具体包括:
步骤(1.1)、对供水管网进行水力模拟,得到供水管网各种异常情景下的压力监测数据,以便对异常监测数据进行单点异常值检测,图2所示为单点异常值检测示意图。本发明主要考虑了三种异常情景:(a)供水管网发生爆管;(b)供水管网部分监测点发生故障;(c)供水管网全部监测点发生故障;
步骤(1.2)、利用所提出的基于无监督叠加集成算法对供水管网各种异常工况下的压力监测数据进行单点异常值检测。
图3所示为基于无监督叠加集成算法的单点异常值检测示意图。图中包含两个监测点的实时和历史监测数据,分别用监测点1和监测点2表示。图3(a)和图3(b)所示为监测点1和2的历史监测数据,图3(c)所示为监测点1和2的实时监测数据,共包含了15天的历史监测数据,即d=15。监测数据的采集频率为15分钟/次,0时15分采集第1个监测数据,0时30分采集第2个监测数据,各个监测点每天的监测数据总数为96,即m=96。
如图3(a)所示,监测点1和2的前95个实时监测数据均为正常值,与图3(b)和图3(c)中的历史监测数据相比无明显差异。如图3(a)所示,监测点1和2的第96个实时监测数据(和/>)与历史监测数据(/>和/>(i=1,2,…,15))相比出现了明显上升。如图3(d)所示,监测点1在过去15天的第96个历史监测数据/>均分布在黄色区域(即正常区间)内,而监测点1的第96个实时监测数据/>分布在黄色区域的上方,明显偏离正常值。如图3(e)所示,监测点2在过去15天的第96个历史监测数据/>均分布在黄色区域(即正常区间)内,而监测点2的第96个实时监测数据/>分布在黄色区域的上方,明显偏离正常值。
如图3(f)所示,如果需要检测监测点n的第m个实时监测数据是否为异常值,则将/>和前d天的第m个历史监测数据/>共d+1个值输入到无监督叠加集成算法中,得到各个xn(m)成为异常值的概率。若/>成为异常值的概率最高,则将其标记为异常值;否则,表示/>为正常值,不对其进行标记。
步骤(1.3)、利用统计理论对供水管网监测数据的单个值进行定性检测,识别实时监测数据中的单点异常。
图4所示为基于统计理论的单点异常值检测示意图。图中包含了两个监测点的实时和历史监测数据,分别用监测点1和2表示。图4(a)和图4(b)所示为监测点1和2的历史监测数据,图4(c)所示为监测点1和2的实时监测数据,共包含了15天的历史监测数据,即d=15。监测数据的采集频率为15分钟/次,0时15分采集第1个监测数据,0时30分采集第2个监测数据,各个监测点每天的监测数据总数为96,即m=96。
如图4(a)所示,监测点1和2的前95个实时监测数据均为正常值,与历史监测数据(和/>)相比无明显差异;监测点1的第96个监测数据/>与历史监测数据/>相比出现了明显的下降,监测点2的第96个监测数据与历史监测数据/>相比出现了明显的上升。
如图4(d)和图4(e)所示,浅灰色区域表示监测数据的正常区间,深灰色线条表示15个监测数据的平均值,μ+mkσ和μ-mkσ分别表示区间的上限和下限。如图4(d)所示,监测点1的第96个历史监测数据均分布在浅灰色区域内,而第96个实时监测数据位于浅灰色区域的下方,即实时监测数据小于历史监测数据。如图4(e)所示,监测点2的第96个历史监测数据均分布在浅灰色区域内,而第96个实时监测数据位于浅灰色区域的上方,即监测数据出现了增大。因此,基于统计理论可以对监测数据单个值进行检测,并将其分为3种:①异常值(增大);②正常值;③异常值(减小)。
图9所示为管网发生爆管后单点异常检测示意图。图9(a)所示为监测点1和2的压力监测数据时间序列曲线,监测数据的采集频率为15分钟/次,每个监测点每天包含96个监测数据。正常值分布在浅灰色区域内,异常值分布在深灰色区域内。11月12日至11月15日为管网在正常工况下的历史监测数据,11月16日为实时监测数据,管网在10时30分时发生了爆管,监测点1和2从第42个监测数据开始出现了连续下降。
如图9(b)所示,给出了监测点1和2在管网发生爆管后的5组实时和历史监测数据比较示意图。如图中所示,监测点1和2的5组(第42、43、44、45和46个)实时监测数据,与过去4天对应的历史监测数据相比,均出现了显著下降。图中5组历史监测数据均分布在浅灰色区域(正常)内,5组实时监测数据均分布在深灰色区域(异常)内。若利用无监督叠加集成算法对5组实时和历史监测数据进行单点异常值检测,则实时监测数据会被标记为“异常”。同时,实时监测数据与历史数据相比均减小,即利用统计理论对实时和历史监测数据进行单点定性检测时,会输出检测结果“减小”。为此,管网发生爆管后,单点异常值检测通常会得到以下结果:①各个监测点的监测数据均检测到异常;②异常值与正常值相比呈减小趋势。
图10所示为部分监测点出现脏数据后单点异常检测示意图。图10(a)所示为监测点1和2的压力监测数据时间序列曲线,监测数据采集频率为15分钟/次,每个监测点每天包含96个监测数据。11月12日至11月15日为历史监测数据,11月16日为实时监测数据,监测点1从10时30分开始连续出现多个(第42、43、44、45、46和47)脏数据,监测点2的实时监测数据均为正常值。
如图10(b)所示,监测点1的5组(第42、43、44、45和46个)实时监测数据,与过去4天对应的历史监测数据相比,明显不同。其中,第42、43和46个实时监测数据出现了上升,而第44和45个实时监测数据出现了下降。与之对应,监测点2的5组实时监测数据,与历史监测数据相比无明显差异,均分布在黄色区域内。若利用无监督叠加集成算法对监测点1和2的5个实时监测数据进行单点异常值检测,则监测点1的异常检测结果为“异常”,监测点2的异常检测结果为“正常”。同时,若利用统计理论对监测点1和2的实时监测数据进行定性检测,则监测点1的异常检测结果为“增大”或“减小”,监测点2的异常检测结果为“正常”。为此,部分监测点出现脏数据后,单点异常值检测通常会得到以下结果:①部分监测点检测到异常;②异常值与正常值相比呈减小或增大趋势。
图11所示为全部监测点出现脏数据后单点异常值检测示意图。图11(a)所示为监测点1和2的压力监测数据时间序列曲线,监测数据采集频率为15分钟/次,每个监测点每天包含96个监测数据。11月12日至11月15日为历史监测数据,均为正常值。11月16日为实时监测数据,监测点1和2从10时30分开始连续出现多个(第42、43、44、45、46和47)脏数据。
如图11(b)所示,监测点1和2的5组(第42、43、44、45和46个)实时监测数据,与过去4天对应的历史监测数据相比,明显不同。其中,第42、43和46个实时监测数据出现了上升,第44和45个实时监测数据出现了下降。若利用无监督叠加集成算法对监测点1和2的5组实时监测数据进行单点异常值检测,则可以得到以下结果: 和均为异常值,即监测点1和2的单点异常值检测结果为“异常”。若利用统计理论对监测点1和2的实时监测数据进行定性检测,则可以得到以下结果:和/>增大,/>和/>减小,即监测点1和2的单点异常定性检测结果为“增大”或“减小”。为此,全部监测点出现脏数据后,单点异常值检测结果为:①全部监测点检测到异常;②异常值与正常值相比呈增大或减小趋势。
综上,管网发生爆管和监测点出现脏数据的情况都会检测到单点异常值,对于不同的异常事件,单点异常值检测结果不同,表现为:①管网发生爆管后,各个监测点均能检测到单点异常值,且异常值均小于正常值;②部分监测点出现脏数后,出现脏数据的监测点检测到单点异常值,异常值呈增大或减小趋势;③全部监测点出现脏数据后,全部监测点均能检测到单点异常值,异常值呈增大或减小趋势。
步骤(2)、对供水管网实时监测数据进行时间序列异常检测,识别供水管网正常工况和异常工况。所述步骤(2)具体包括:
步骤(2.1)、对供水管网进行水力模拟,得到供水管网各种异常情景下的压力监测数据,以便对异常监测数据进行时间序列异常值检测。本发明主要考虑了三种异常情景:(a)供水管网发生爆管;(b)供水管网部分监测点发生故障;(c)供水管网全部监测点发生故障;
步骤(2.2)、对不同监测点的监测数据时间序列进行异常检测,即识别监测点之间时间序列异常,如图10所示。
图5所示为监测点之间时间序列异常检测示意图。图5(a)所示为监测点1和2的实时和历史监测数据时间序列曲线,12月1日至12月15日为历史监测数据,12月16日为实时监测数据。历史监测数据均为正常值,监测点1的第95个实时监测数据为异常值,其他实时监测数据均为正常值。用表示监测点1和2第j天的第m个监测数据时间序列的距离,则监测点1和2的第m个监测数据时间序列的距离可以表示为 为监测点1和2的实时监测数据时间序列的距离,/>为监测点1和2的历史监测数据时间序列的距离。监测点之间时间序列异常检测就是比较/>和/>确认是否为异常值。若/>为异常值,说明监测点1或2的实时监测数据时间序列S1(m)或S2(m)发生了变化,则将监测点之间时间序列标记为“异常”。若/>为正常值,则将监测点之间时间序列标记为“正常”。
图5(b)所示为监测点1和2的第94个监测数据时间序列。由于监测点1和2的监测数据均为正常值,监测点1的第94个监测数据时间序列形状相似,监测点2的第94个监测数据时间序列/>变化较小。因此,监测点1和2的实时监测数据时间序列的距离/>与历史监测数据时间序列的距离/>(j=1,2,…,15)相比变化不大,即/>为正常值,监测点1和2之间时间序列为“正常”。
图5(c)所示为监测点1和2的第95个监测数据时间序列。监测点1的第95个实时监测数据为异常值,其余监测数据均为正常值。如图中所示,监测点1的第95个实时监测数据时间序列与历史监测数据时间序列/> 相比形状发生了较大变化,而监测点2的第95个监测数据时间序列/>变化较小。因此,监测点1和2的实时监测数据时间序列的距离/>与历史监测数据时间序列的距离/>(j=1,2,…,15)相比变化较大,即/>为异常值,监测点1和2之间时间序列为“异常”。
步骤(2.3)、对相同监测点的监测数据时间序列进行异常检测,即识别监测点自身时间序列异常,如图11所示。
图7所示为监测点自身时间序列异常检测示意图。图7(a)所示为监测点1和2的实时和历史监测数据时间序列曲线,12月1日至12月15日为历史监测数据,12月16日为实时监测数据。历史监测数据均为正常值,监测点1的第95个实时监测数据为异常值,其余实时监测数据均为正常值。
用表示监测点1第i天和第j天的第m个监测数据时间序列的距离,则监测点1的第m个实时监测数据时间序列与前15天的第m个历史监测数据时间序列的距离为/>前15天的第m个历史监测数据时间序列的距离为/>监测点自身时间序列异常检测就是比较/>和/>确认/>中的某个监测数据时间序列的距离是否为异常值。若某个/>为异常值,则说明监测点1的第m个实时监测数据时间序列发生了变化,将监测点1的自身时间序列标记为“异常”;若所有/>均为正常值,则将监测点1的自身时间序列异常检测结果标记为“正常”。
图7(b)所示为监测点1的第94个监测数据时间序列。由于监测点1的监测数据均为正常值,监测点1的第94个监测数据时间序列形状相似。因此,监测点1的自身时间序列的距离变化较小,即所有/>均为正常值,监测点1的自身时间序列异常检测结果标记为“正常”。
图7(c)所示为监测点1的第95个监测数据时间序列。监测点1的第95个实时监测数据为异常值,其余监测数据均为正常值。如图中所示,监测点1的第95个实时监测数据时间序列与历史监测数据时间序列/>相比形状发生了较大变化。因此,监测点1的实时与历史监测数据时间序列的距离/>与监测点1的历史监测数据时间序列的距离/> 相比,同样发生了较大的变化,即/>中存在异常值,监测点1的自身时间序列异常检测结果标记为“异常”。
图12所示为管网发生爆管后时间序列异常检测示意图。图12(a)所示为监测点1和2的压力监测数据时间序列曲线,每个监测点每天包含96个监测数据。11月14日和15日为历史监测数据,均为正常值。11月16日为实时监测数据,管网在10时30分时发生了爆管,监测点1和2从第42个监测数据开始出现了连续下降。
图12(b)所示为监测点之间时间序列异常检测示意图。监测点1和2在16日的4组(第42、43、44和45个)监测数据时间序列,与15日的监测数据时间序列相比,形状发生了较大变化。然而,由于监测点1和2的监测数据时间序列同时发生了改变,且变化规律较为相似,监测点1和2之间时间序列的距离变化不大。例如,监测点1和2在16日的第42个时间序列的距离为与前一天(即15日)的第42个时间序列的距离/>相比变化较小,即监测点1和2在16日的第42个时间序列异常检测结果为“正常”。如图中所示,若对监测点1和2在16日的第43、44和45个监测数据时间序列的距离进行异常检测,检测结果可能均为“正常”。
图12(c)和图12(d)分别为监测点1和2的自身时间序列异常检测示意图。如图12(c)所示,监测点1在16日的3组(第42、43和44个)监测数据时间序列,与14日和15日的监测数据时间序列相比,形状发生了较大变化,导致实时和历史监测数据时间序列的距离变化较大。例如,监测点1的第42个实时(16日)和历史(15日)监测数据时间序列的距离为第42个历史(15日)和历史(14日)监测数据时间序列的距离为明显大于/>即监测点1的自身时间序列异常检测结果为“异常”。同理,监测点2的第42、43和44个自身时间序列异常检测结果均为“异常”。
综上,管网发生爆管后,时间序列异常检测通常可以得到以下结果:①监测点之间时间序列检测结果可能为异常,也可能为正常;②监测点自身时间序列均检测到异常。
图13所示为部分监测点出现脏数据后时间序列异常检测示意图。图13(a)所示为监测点1和2的压力监测数据时间序列曲线,每个监测点每天包含96个监测数据。11月14日和15日为历史监测数据,均为正常值。11月16日为实时监测数据,监测点1从10时30分开始连续出现多个(第42、43、44和45)异常值,监测点2的监测数据均为正常值。
图13(b)所示为监测点之间时间序列异常检测示意图。监测点1在16日的4组(第42、43、44和45个)监测数据时间序列,与15日的监测数据时间序列相比变化较大。同时,监测点2的4组监测数据时间序列变化较小。因此,与历史监测数据时间序列相比,监测点1和2的实时监测数据时间序列变化较大。例如,监测点1和2在16日的第42个监测数据时间序列的距离为与前一天(即15日)的监测数据时间序列的距离/>相比变化较大,即监测点1和2在16日的第42个监测数据时间序列异常检测结果为“异常”。如图中所示,若对监测点1和2在16日的第43、44和45个监测数据时间序列的距离进行异常检测,均会得到检测结果“异常”。
图13(c)和图13(d)分别为监测点1和2的自身时间序列异常检测示意图。如图13(c)所示,监测点1在16日的3组(第42、43和44个)监测数据时间序列,与14日和15日的监测数据时间序列相比,形状发生了较大变化,导致实时和历史监测数据时间序列的距离变化较大。例如,监测点1的第42个实时(16日)和历史(15日)监测数据时间序列的距离为第42个历史(15日)和历史(14日)监测数据时间序列的距离为明显大于/>即监测点1的自身时间序列异常检测结果为“异常”。
如图13(d)所示,监测点2在16日的3组(第42、43和44个)监测数据时间序列,与14日和15日的监测数据时间序列相比变化较小,实时和历史监测数据时间序列的距离变化不大。例如,监测点1的第42个实时(16日)和历史(15日)监测数据时间序列的距离为第42个历史(15日)和历史(14日)监测数据时间序列的距离为和/>相比无明显异常,即监测点2的自身时间序列异常检测结果为“正常”。
综上,部分监测点出现脏数据后,时间序列异常检测通常可以得到以下结果:①监测点之间时间序列检测到异常;②部分监测点自身序列均检测到异常。
图14所示为全部监测点出现脏数据后时间序列异常检测示意图。图14(a)所示为监测点1和2的压力监测数据时间序列曲线,每个监测点每天包含96个监测数据。11月14日和15日为历史监测数据,历史监测数据均为正常值。11月16日为实时监测数据,监测点1和2从10时30分开始连续出现多个(第42、43、44、45和46)异常值。
图14(b)所示为监测点之间时间序列异常检测示意图。监测点1和2在16日的4组(第43、44、45和46个)监测数据时间序列,与15日的监测数据时间序列相比变化较大。若监测点1和2的实时监测数据时间序列变化趋势较为一致,则监测点之间时间序列异常检测结果为“正常”。若监测点1和2的实时监测数据时间序列变化差异较大,则监测点之间时间序列异常检测结果为“异常”。例如,监测点1和2在16日的第43个监测时间序列的距离为与前一天(即15日)的监测数据时间序列的距离/>相比变化较小,即监测点1和2在16日的第43个时间序列异常检测结果为“正常”;监测点1和2在16日的第46个监测数据时间序列的距离为/>与前一天(即15日)的监测数据时间序列的距离相比变化较大,即监测点1和2在16日的第46个时间序列异常检测结果为“异常”。
图14(c)和图14(d)分别为监测点1和2的自身时间序列异常检测示意图。如图14(c)所示,监测点1在16日的3组(第42、43和44个)监测数据时间序列,与14日和15日的监测数据时间序列相比,形状发生了较大变化,导致实时和历史监测数据时间序列的距离变化较大。例如,监测点1的第42个实时(16日)和历史(15日)监测数据时间序列的距离为第42个历史(15日)和历史(14日)监测数据时间序列的距离为明显大于/>即监测点1的自身时间序列异常检测结果为“异常”。同理,如图14(d)所示,监测点2的自身序列异常检测结果均为“异常”。
综上,全部监测点出现脏数据后,时间序列异常检测通常可以得到以下结果:①监测点之间时间序列检测结果可能为异常,也可能为正常;②全部监测点自身序列均检测到异常。
管网发生爆管和部分(全部)监测点出现脏数据的情况,均会导致监测数据时间序列出现异常,但是会出现不同的时间序列异常检测结果,表现为:①管网发生爆管。监测点之间序列异常检测结果可能为正常,也可能为异常;全部监测点自身时间序列均检测到异常。②部分监测点出现脏数据。监测点之间时间序列异常检测结果为正常;部分监测点自身时间序列检测到异常。③全部监测点出现脏数据。监测点之间时间序列异常检测结果可能为正常,也可能为异常;全部监测点自身时间序列均检测到异常。
步骤(3):利用基准测试管网Net 3管网模型进行实验,对所提出方法的爆管检测性能进行验证与评估。
如图15所示,假设管网内布设了3个压力监测点,其布设节点依次为169、204和275,分别用压力监测点1、2和3表示。
采用3个压力监测点的监测数据进行单点和时间序列异常检测,实验条件和数据准备技术流程如图16所示,包括以下几个步骤:(a)模拟得到管网发生爆管和监测点出现脏数据的监测数据;(b)基于单点无监督分类方法对监测数据进行单点异常值检测;(c)基于时间序列无监督分类方法对监测数据进行时间序列异常检测;(d)集成单点和时间序列异常检测结果得到各种异常情景检测结果。
图17所示为监测数据.csv文件示意图,包含了各个监测点处监测数据的采集日期、时间、时间步、状态和标签信息,监测数据的状态分为正常值(0)和异常值(1)两种,监测数据的标签分为管网正常工况下的监测数据(0)和管网异常工况下的监测数据(1-9)。各种监测数据出现异常的情景如表1所示。
表1各种监测数据出现异常的情景
图18所示为基于无监督叠加集成算法的单点异常值检测结果,考虑了4种情景:①如图18(a)所示,管网发生了爆管,监测点1、2和3的监测数据均为异常值;②如图18(b)所示,监测点1的监测数据均为异常值,而监测点2和3的监测数据均为正常值;③如图18(c)所示,监测点1和2的监测数据均为异常值,而监测点3的监测数据为正常值;④如图18(d)所示,监测点1、2和3的监测数据均为异常值。如果连续5个时刻的监测数据均被检测为异常值,则发出异常报警,并输出异常检测结果“异常”,用图中黄色区域内的点表示。反之,则表示没有异常事件出现,输出异常检测结果“正常”,用图中绿色区域内的点表示。如图18所示,基于无监督叠加集成算法能够检测到大部分异常监测数据中的异常值,同时部分异常监测数据未发出异常报警。监测数据中的部分异常值可能变化较小,很难满足连续5个时刻均被检测到异常的条件,从而出现了部分异常值未发出异常报警的情况。此外,基于无监督叠加集成算法能够检测到管网发生爆管和全部监测点出现脏数据的情况,但是不能够识别这两种异常情景。
图19所示为基于统计理论的单点异常值检测结果,考虑了4种情景:①如图19(a)所示,管网发生了爆管,监测点1、2和3的监测数据均为异常值;②如图19(b)所示,监测点1的监测数据均为异常值,而监测点2和3的监测数据均为正常值;③如图19(c)所示,监测点1和2的监测数据均为异常值,而监测点3的监测数据均为正常值;④如图19(d)所示,监测点1、2和3的监测数据均为异常值。如果连续5个时刻的监测数据均被检测为异常值,则发出异常报警:①若存在异常值大于正常值的情况,则输出异常检测结果“增大”,用黄色区域内的点表示;②若异常值均小于正常值,则输出异常检测结果“减小”,用橙色区域内的点表示。反之,则表示没有异常事件出现,输出异常检测结果“正常”,用绿色区域内的点表示。如图19所示,基于统计理论的方法能够检测到部分异常监测数据,仍有大部分异常监测数据未被检测到,但是该方法能够对管网发生爆管和全部监测点出现脏数据的情景进行识别。
图20所示为监测点之间时间序列异常检测结果,考虑了4种情况:①如图20(a)所示,管网发生了爆管,监测点1、2和3的监测数据均为异常值;②如图20(b)所示,监测点1的监测数据均为异常值,而监测点2和3的监测数据均为正常值;③如图20(c)所示,监测点1和2的监测数据均为异常值,而监测点3的监测数据均为正常值;④如图20(d)所示,监测点1、2和3的监测数据均为异常值。如果连续5个时刻的时间序列检测结果均为异常,则发出异常报警:①若两个监测点的监测数据时间序列的距离(如dm(S1,S2)和dm(S1,S3))均为异常,则输出结果“两个异常”,用橙色区域内的点表示;②若只有一个监测点的监测数据时间序列的距离(如dm(S1,S2)或dm(S1,S3))为异常,另一个监测点的监测数据时间序列的距离为正常,则输出结果“单个异常”,用黄色区域内的点表示;③若两个监测点的监测数据时间序列的距离均为正常,则表示没有异常事件出现,输出结果“正常”,用绿色区域内的点表示。如图20所示,基于监测点之间时间序列对管网发生爆管的检测率较低,而对于监测点出现脏数据的情景检测率较高。这可能是由于管网发生爆管导致各个监测点的监测数据均出现下降,并且各个监测点的监测数据的变化规律较为相似,导致监测点之间时间序列的距离变化较小。
图21所示为监测点自身时间序列异常检测结果,考虑了4种情况:①如图21(a)所示,管网发生了爆管,监测点1、2和3的监测数据均为异常值;②如图21(b)所示,监测点1的监测数据均为异常值,而监测点2和3的监测数据均为正常值;③如图21(c)所示,监测点1和2的监测数据均为异常值,而监测点3的监测数据均为正常值;④如图21(d)所示,监测点1、2和3的监测数据均为异常值。如果连续5个时刻的时间序列异常检测结果均为异常,则发出异常报警,输出结果“异常”,用黄色区域内的点表示。反之,则输出结果“正常”,用绿色区域内的点表示。如图21所示,基于监测点自身时间序列能够对各种异常情景进行有效检测,同时能够识别单个监测点和部分监测点出现脏数据的情景,但是不能准确识别管网发生爆管和全部监测点出现脏数据的情景。
测到监测点出现脏数据的情况。除了情景4和8以外,所有情景的σ2均在98%左右。如图22所示,所提出的方法不仅能够准确检测到监测数据中的异常值,同时还能够对各种异常情景进行有效识别。其中,情景4将3个监测点出现脏数据的异常情景识别为管网发生爆管的情景。在对管网发生爆管和监测点出现脏数据的异常情景进行识别时,对于单个或部分监测点出现脏数据的异常情景,通常很容易识别。然而,如果所有监测点的监测数据均出现了异常(所有监测数据均显著降低),则可能会将其识别为管网发生爆管的情景,考虑到供水安全,需要发出爆管报警,并对疑似的管网爆管进行排查。
图23所示为去掉单点异常值检测结果后,各种情景的异常检测情况。如图23所示,去掉单点异常值检测结果后,对情景2-9的检测结果影响不大,即对监测点出现脏数据的异常情景影响较小。然而,管网发生爆管的检测结果受到较大影响,主要体现在异常检测率和异常识别率上。去掉单点异常值检测结果后,由管网爆管引起的一些异常监测数据未被检测出来,从而导致异常检测率出现下降。同时,在对管网发生爆管和监测点出现脏数据的异常情景进行识别时,也出现了将一些时刻的管网爆管识别为监测点出现脏数据的情况,导致异常识别率出现下降。这主要是由于爆管发生一段时间后,各个监测点的监测数据均出现下降,从而导致监测点自身时间序列和监测点之间时间序列均未检测到异常,而单点异常值检测正好能够检测到爆管后压力监测数据的下降。
图24所示为去掉单点值定性检测结果后,各种异常情景检测结果。如图24所示,各种情景的异常检测率均达到100%,而检测正确率和异常识别率均出现了显著下降。这表明,尽管出现了误报和各种异常情景被错误识别的情况,但所有异常情景均被检测到。显然,单点值定性检测结果主要用于排除误报的情况。如果集成单点值定性检测结果,则各种情景的检测正确率和异常识别率均较高,同时异常检测率均低于100%。在正常工况下,由于天气或者节假日等引起需水量发生波动,从而导致管网各个监测点的监测数据发生变化,而这些变化正好能被监测点自身时间序列异常和监测点之间时间序列异常检测到。通过单点值定性检测结果,使得由需水量波动导致的监测数据异常报警情况被排除。如果去掉了单点值定性检测结果,则会使爆管检测的误报率升高。
如图25所示,去掉监测点之间时间序列异常检测结果后,对管网发生爆管(情景1)的检测结果影响不大,但是对监测点出现脏数据的异常情景影响较大,8种情景的异常检测率均出现显著下降。这表明,监测点出现脏数据的异常情景有多个异常值未被检测到。监测点出现脏数据后,各个监测点或者部分监测点的监测数据的时间序列形状会发生变化。当监测点的监测数据的时间序列形状与其历史监测数据的时间序列形状一致时,监测点自身时间序列不会检测到异常。而如果这些监测值变化较小,也很难通过单点异常值检测到异常值。显然,只能够通过监测点之间时间序列异常检测到这些异常值。
图26所示为去掉监测点自身时间序列异常检测结果后,各种异常情景检测结果。如图26所示,各种异常情景的异常检测率和异常识别率均出现下降。显然,监测点出现脏数据后会使其自身的时间序列形状发生变化。一些监测数据出现异常值时,由于监测值大小变化不大从而不能被单点异常或监测点之间时间序列异常检测方法检测出来,导致异常检测率出现下降。另外,各个监测点自身时间序列报警情况的缺失也使得其对各种异常情景的识别率出现下降。
上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本申请中的实施例及实施例中的特征在不冲突的情况下,可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进,也在本发明的保护范围之内。
Claims (10)
1.一种基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:它包括如下步骤:
步骤(1)、对供水管网实时监测数据进行单点异常值检测,识别供水管网正常工况和异常工况;
步骤(2)、对供水管网实时监测数据进行时间序列异常检测,识别供水管网正常工况和异常工况;
步骤(3)、集成供水管网单点和时间序列异常检测结果,对供水管网爆管和监测系统发生故障的情况进行准确检测与识别。
2.如权利要求1所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(1)具体包括:
步骤(1.1)、准备供水管网各个监测点的历史和实时单点监测数据,以便对实时监测数据进行单点异常值检测;
步骤(1.2)、利用无监督叠加集成算法对供水管网实时监测数据进行单点异常值检测,识别实时监测数据中的单点异常值;
步骤(1.3)、利用统计理论对供水管网监测数据的单个值进行定性检测,识别实时监测数据中的单点异常。
3.如权利要求1所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(2)具体包括:
步骤(2.1)、准备供水管网各个监测点的历史和实时监测数据时间序列,以便对实时监测数据进行时间序列异常检测;
步骤(2.2)、对不同监测点的监测数据时间序列进行相异性分析,确定监测点之间异常时间序列;
步骤(2.3)、对相同监测点的监测数据时间序列进行相异性分析,确定监测点自身异常时间序列。
4.如权利要求1所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(3)具体包括:
步骤(3.1)、利用单点异常值检测方法对供水管网各种异常情景进行单点异常值检测;
步骤(3.2)、利用时间序列异常检测方法对供水管网各种异常情景进行时间序列异常检测;
步骤(3.3)、集成单点和时间序列异常检测结果,对供水管网各种异常情景进行检测与识别;
步骤(3.4)、利用爆管检测方法对供水管网各种异常情景进行检测与识别,对所提出方法的爆管检测性能进行评估。
5.如权利要求4所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(3.1)具体包括:
利用单点异常值检测方法对供水管网各种异常情景进行单点异常值检测时,考虑4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据;每种情景均包含了25组异常监测数据,从异常值开始的时刻进行单点异常值检测,并根据连续5个时刻的异常值检测结果确定是否报警。
6.如权利要求4所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(3.2)具体包括:
利用时间序列异常检测方法对供水管网各种异常情景进行时间序列异常检测时,考虑4种情景:①管网发生爆管;②单个监测点出现脏数据;③部分监测点出现脏数据;④全部监测点出现脏数据;每种情景均包含了25组异常监测数据,从异常值开始的时刻进行监测点之间时间序列异常检测,并根据连续5个时刻的时间序列异常检测结果确定是否报警。
7.如权利要求4所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(3.3)具体包括:
步骤(3.3.1)、检测监测数据中是否存在单点或时间序列异常;
步骤(3.3.2)、识别部分监测点监测数据出现异常的情况;
步骤(3.3.3)、识别爆管和全部监测点出现脏数据的情况;
步骤(3.3.4)、对方法的爆管检测性能进行评价与分析。
8.如权利要求7所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:
步骤(3.3.1)具体为:首先,对管网正常工况和监测数据出现异常的情况进行识别;对于单点监测数据,如果基于无监督叠加集成算法或基于统计理论检测到单点异常值的存在,则对单点异常值出现的时刻进行标记,并继续对下个时刻的监测数据进行单点异常值检测;对于时间序列监测数据,如果基于监测点之间时间序列异常检测或监测点自身时间序列异常检测发现异常时间序列,则对异常时间序列出现的时刻进行标记,并继续对下个时刻的监测数据进行时间序列异常检测;
步骤(3.3.2)具体为:如果部分监测点的监测数据单点和时间序列出现异常,而剩余监测点的监测数据单点和时间序列无异常情况出现,则判断为部分监测点出现脏数据的情况;
步骤(3.3.3)具体为:如果所有监测点的监测数据单点和时间序列均检测到异常,则通过异常值的增大和减小来识别管网发生爆管和全部监测点出现脏数据的情况。如果所有监测点的监测数据单点定性检测结果均为“减小”,则说明管网发生了爆管;反之,一旦出现某个监测数据的单点定性检测结果为“增大”的情况,则说明管网全部监测点出现了脏数据。
步骤(3.3.4)中,对方法的爆管检测性能进行评价考虑以下几个指标:①检测正确率(σ1);②异常识别率(σ2);③异常检测率(σ3)。
9.如权利要求8所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:
检测正确率表示为:
式中,Nn表示总的异常情景数量,Ndn表示检测到的异常情景数量;
异常识别率表示为:
式中,Nin表示正确识别的异常情景数量,Nn表示总的异常情景数量;
异常检测率表示为:
式中,tdn和tt分别表示异常事件检测到的持续时间和实际持续时间。
10.如权利要求4所述的基于单点和时间序列异常检测的供水管网爆管检测及性能评估方法,其特征在于:所述步骤(3.4)具体包括:
步骤(3.4.1)、在对供水管网各种异常情景进行检测与识别时,去掉单点异常值检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.2)、在对供水管网各种异常情景进行检测与识别时,去掉单点值定性检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.3)、在对供水管网各种异常情景进行检测与识别时,去掉监测点之间时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率;
步骤(3.4.4)、在对供水管网各种异常情景进行检测与识别时,去掉监测点自身时间序列异常检测结果,得到各种异常情景的异常检测率、检测正确率和异常识别率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311054014.7A CN117370906B (zh) | 2023-08-21 | 基于单点和时间序列异常检测的爆管检测及性能评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311054014.7A CN117370906B (zh) | 2023-08-21 | 基于单点和时间序列异常检测的爆管检测及性能评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117370906A true CN117370906A (zh) | 2024-01-09 |
CN117370906B CN117370906B (zh) | 2024-05-10 |
Family
ID=
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106685750A (zh) * | 2015-11-11 | 2017-05-17 | 华为技术有限公司 | 系统异常检测方法和装置 |
CN107528722A (zh) * | 2017-07-06 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 一种时间序列中异常点检测方法及装置 |
CN108071941A (zh) * | 2017-12-13 | 2018-05-25 | 清华大学 | 一种基于时序向量相似度分析的爆管识别与定位方法 |
CN108167653A (zh) * | 2017-12-23 | 2018-06-15 | 浙江大学 | 基于动态神经网络预测的城市供水管网爆管检测方法 |
US20180248905A1 (en) * | 2017-02-24 | 2018-08-30 | Ciena Corporation | Systems and methods to detect abnormal behavior in networks |
US20180286210A1 (en) * | 2017-03-29 | 2018-10-04 | The Travelers Indemnity Company | Systems and methods for systemic resource utilization analysis and management |
CN109783903A (zh) * | 2018-12-28 | 2019-05-21 | 佛山科学技术学院 | 一种基于时间序列的工业用水管道故障诊断方法及系统 |
CN111210083A (zh) * | 2020-01-13 | 2020-05-29 | 上海威派格智慧水务股份有限公司 | 一种管网异常分析方法 |
CN111598438A (zh) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学(威海) | 基于分段拟合分析及评估的民航发动机气路异常检测方法 |
CN111811580A (zh) * | 2020-07-24 | 2020-10-23 | 重庆华悦生态环境工程研究院有限公司 | 一种水量/水质监测布点方法及预警响应系统 |
CN112381181A (zh) * | 2020-12-11 | 2021-02-19 | 桂林电子科技大学 | 一种建筑能耗异常的动态检测方法 |
CN112560291A (zh) * | 2020-12-30 | 2021-03-26 | 郑州力通水务有限公司 | 智慧水务供水管网爆管分析系统 |
CN113074324A (zh) * | 2021-04-09 | 2021-07-06 | 天津大学 | 基于城市供水管网运行安全动态预警的数据库及建立方法 |
CN113191012A (zh) * | 2021-05-17 | 2021-07-30 | 昆明理工大学 | 一种基于lssvm交互预测的供水管网爆管检测方法 |
CN113266766A (zh) * | 2021-05-26 | 2021-08-17 | 杭州电子科技大学 | 一种供水dma爆管监测与定位方法 |
US20210295147A1 (en) * | 2020-03-18 | 2021-09-23 | Optum Services (Ireland) Limited | Single point facility utility sensing for monitoring welfare of a facility occupant |
CN114323412A (zh) * | 2021-12-29 | 2022-04-12 | 杭州电子科技大学 | 一种供水管网压力扰动事件检测方法 |
CN114462688A (zh) * | 2022-01-11 | 2022-05-10 | 湖南大学 | 一种基于lstm模型和动态阈值确定算法的爆管检测方法 |
CN114996257A (zh) * | 2022-06-20 | 2022-09-02 | 深圳前海微众银行股份有限公司 | 数据量异常检测方法、装置、介质及程序产品 |
CN115095797A (zh) * | 2022-05-25 | 2022-09-23 | 四创科技有限公司 | 一种截污治污管网运行异常快速筛查方法及终端 |
CN115114688A (zh) * | 2022-06-20 | 2022-09-27 | 天津大学 | 一种基于最短路径规划的流体管网泄漏监测方法 |
US20230015731A1 (en) * | 2020-04-02 | 2023-01-19 | China Three Gorges Corporation | Real-time abnormity-diagnosing and interpolation method for water regime-monitoring data |
CN115792681A (zh) * | 2022-03-01 | 2023-03-14 | 浙江凌骁能源科技有限公司 | 一种基于车联网大数据平台的单体电池一致性检测算法 |
CN115854258A (zh) * | 2022-12-07 | 2023-03-28 | 河南中烟工业有限责任公司 | 基于时间序列的蒸汽管网漏点在线巡检方法 |
US20230204166A1 (en) * | 2021-12-29 | 2023-06-29 | Petróleo Brasileiro S.A. - Petrobras | Observation system, location and identification of damage in pipelines |
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106685750A (zh) * | 2015-11-11 | 2017-05-17 | 华为技术有限公司 | 系统异常检测方法和装置 |
US20180248905A1 (en) * | 2017-02-24 | 2018-08-30 | Ciena Corporation | Systems and methods to detect abnormal behavior in networks |
US20180286210A1 (en) * | 2017-03-29 | 2018-10-04 | The Travelers Indemnity Company | Systems and methods for systemic resource utilization analysis and management |
CN107528722A (zh) * | 2017-07-06 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 一种时间序列中异常点检测方法及装置 |
CN108071941A (zh) * | 2017-12-13 | 2018-05-25 | 清华大学 | 一种基于时序向量相似度分析的爆管识别与定位方法 |
CN108167653A (zh) * | 2017-12-23 | 2018-06-15 | 浙江大学 | 基于动态神经网络预测的城市供水管网爆管检测方法 |
CN109783903A (zh) * | 2018-12-28 | 2019-05-21 | 佛山科学技术学院 | 一种基于时间序列的工业用水管道故障诊断方法及系统 |
CN111210083A (zh) * | 2020-01-13 | 2020-05-29 | 上海威派格智慧水务股份有限公司 | 一种管网异常分析方法 |
US20210295147A1 (en) * | 2020-03-18 | 2021-09-23 | Optum Services (Ireland) Limited | Single point facility utility sensing for monitoring welfare of a facility occupant |
US20230015731A1 (en) * | 2020-04-02 | 2023-01-19 | China Three Gorges Corporation | Real-time abnormity-diagnosing and interpolation method for water regime-monitoring data |
CN111598438A (zh) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学(威海) | 基于分段拟合分析及评估的民航发动机气路异常检测方法 |
CN111811580A (zh) * | 2020-07-24 | 2020-10-23 | 重庆华悦生态环境工程研究院有限公司 | 一种水量/水质监测布点方法及预警响应系统 |
CN112381181A (zh) * | 2020-12-11 | 2021-02-19 | 桂林电子科技大学 | 一种建筑能耗异常的动态检测方法 |
CN112560291A (zh) * | 2020-12-30 | 2021-03-26 | 郑州力通水务有限公司 | 智慧水务供水管网爆管分析系统 |
CN113074324A (zh) * | 2021-04-09 | 2021-07-06 | 天津大学 | 基于城市供水管网运行安全动态预警的数据库及建立方法 |
CN113191012A (zh) * | 2021-05-17 | 2021-07-30 | 昆明理工大学 | 一种基于lssvm交互预测的供水管网爆管检测方法 |
CN113266766A (zh) * | 2021-05-26 | 2021-08-17 | 杭州电子科技大学 | 一种供水dma爆管监测与定位方法 |
CN114323412A (zh) * | 2021-12-29 | 2022-04-12 | 杭州电子科技大学 | 一种供水管网压力扰动事件检测方法 |
US20230204166A1 (en) * | 2021-12-29 | 2023-06-29 | Petróleo Brasileiro S.A. - Petrobras | Observation system, location and identification of damage in pipelines |
CN114462688A (zh) * | 2022-01-11 | 2022-05-10 | 湖南大学 | 一种基于lstm模型和动态阈值确定算法的爆管检测方法 |
CN115792681A (zh) * | 2022-03-01 | 2023-03-14 | 浙江凌骁能源科技有限公司 | 一种基于车联网大数据平台的单体电池一致性检测算法 |
CN115095797A (zh) * | 2022-05-25 | 2022-09-23 | 四创科技有限公司 | 一种截污治污管网运行异常快速筛查方法及终端 |
CN114996257A (zh) * | 2022-06-20 | 2022-09-02 | 深圳前海微众银行股份有限公司 | 数据量异常检测方法、装置、介质及程序产品 |
CN115114688A (zh) * | 2022-06-20 | 2022-09-27 | 天津大学 | 一种基于最短路径规划的流体管网泄漏监测方法 |
CN115854258A (zh) * | 2022-12-07 | 2023-03-28 | 河南中烟工业有限责任公司 | 基于时间序列的蒸汽管网漏点在线巡检方法 |
Non-Patent Citations (2)
Title |
---|
于晟健: "无监督和半监督学习的工业时序数据异常检测研究", 中国优秀硕士论文电子期刊网, 15 March 2022 (2022-03-15) * |
詹艳艳;陈晓云;徐荣聪;: "基于时间序列模式表示的异常检测算法", 计算机应用研究, no. 11, 15 November 2007 (2007-11-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2931624A1 (en) | Systems and methods for event detection and diagnosis | |
CN111507376B (zh) | 一种基于多种无监督方法融合的单指标异常检测方法 | |
EP3105644B1 (en) | Method of identifying anomalies | |
EP2171598B1 (en) | Fuzzy classification approach to fault pattern matching | |
CN109325692A (zh) | 水管网的数据实时分析方法及装置 | |
CN110348150B (zh) | 一种基于相关概率模型的故障检测方法 | |
CN108022058B (zh) | 一种风力机状态可靠性评估方法 | |
EP1393177A1 (en) | Diagnostic systems and methods for predictive condition monitoring | |
AU2002246994A1 (en) | Diagnostic systems and methods for predictive condition monitoring | |
EP1579288A2 (en) | System state monitoring using recurrent local learning machine | |
CN110703214A (zh) | 一种气象雷达状态评估和故障监测方法 | |
CN113568774B (zh) | 使用无监督深度神经网络的多维时序数据实时异常检测方法 | |
CN111324105B (zh) | 一种基于统计量马氏距离的微小传感器故障检测和分离方法 | |
CN109141625B (zh) | 一种滚珠丝杠副的在线状态监测方法 | |
CN109361648A (zh) | 工控系统的隐蔽攻击的检测方法及装置 | |
CN112861350A (zh) | 一种水冷式汽轮发电机定子绕组温度过热缺陷预警方法 | |
CN109255201B (zh) | 一种基于som-mqe的滚珠丝杠副健康评估方法 | |
CN114970309A (zh) | 一种火电设备状态预警评估方法 | |
CN117370906B (zh) | 基于单点和时间序列异常检测的爆管检测及性能评估方法 | |
CN117370906A (zh) | 基于单点和时间序列异常检测的爆管检测及性能评估方法 | |
CN114611633B (zh) | 一种电磁阀的健康监测方法 | |
CN113740066B (zh) | 一种压缩机轴承早期故障检测方法 | |
CN114754900A (zh) | 一种船舶主机气缸温度传感器故障诊断方法及系统 | |
Smeraldo et al. | A data-driven approach to fault diagnostics for industrial process plants based on feature extraction and inferential statistics | |
CN117114248B (zh) | 一种水质监测系统健康度评价方法、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |