CN111695634A - 一种基于有限陪审团机制的数据异常突变点检测算法 - Google Patents
一种基于有限陪审团机制的数据异常突变点检测算法 Download PDFInfo
- Publication number
- CN111695634A CN111695634A CN202010536444.2A CN202010536444A CN111695634A CN 111695634 A CN111695634 A CN 111695634A CN 202010536444 A CN202010536444 A CN 202010536444A CN 111695634 A CN111695634 A CN 111695634A
- Authority
- CN
- China
- Prior art keywords
- detected
- point
- group
- limited
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 48
- 230000035772 mutation Effects 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 230000007246 mechanism Effects 0.000 title claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 238000012552 review Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 230000008859 change Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000772415 Neovison vison Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明针公开了一种新的异常突变点检测方法，尤其是一种基于有限陪审团机制的数据异常突变点检测算法。利用有限陪审团机制，帮助在工业数据流中的对突变点进行高效、准确的识别和检测。本发明提出了有限陪审团思想，通过选取有限的高质量陪审团，并构建待检测点组，实现对数据流异常突变点的有效识别与检测。该算法具备较低延迟，能够在实时数据流中及时识别异常突变点。
Description
技术领域
本发明涉及一种新的数据异常突变点检测算法，尤其是一种基于有限陪审团机制的数据异常突变点检测算法。
背景技术
自工业互联网概念提出以来，通过数据采集以及大数据传输和存储技术，工业界存储了大量的设备运行时相关数据。在保障工业设备安全运行方面，除了通过人工对设备进行维护和检修外，工业界已不断尝试利用已有的历史数据和设备的实时监控数据流进行相关研究以实现更高效的设备监控和数据异常诊断功能。同时，越来越多的学者开始研究基于工业数据的故障诊断算法，以期提供一种更加高效准确的针工业环境中的异常数据诊断算法。
目前，在传统异常检测算法主要包括诸如基于统计模型、基于聚类、基于相似性度量、基于约束规则等。而传统的检测方法较难满足大数据量的实时工业数据流异常检测的需求。例如基于统计的方法适用于检测绪论中的离散、突变的值异常等情况，但难以有效地识别持续的异常序列区间。基于聚类的方法量化异常点和正常点簇之间的距离来判断离群点，不同聚类模型职期间的计算复杂性不同，且检测结果较为依赖聚类的质量，同时不适用于在大数据集和实时数据流上异常检测。基于相似性度量的方法通过计算经标准化后的序列之间的相似性，来判断是否有异常数据，但此方法时间开销较大，时效性不高。基于规则约束的方法中，研究人员提出了顺序依赖、速度约束能有效利用时间序列中的时序特征，对高度异常的数据进行修复，但此方法通常难以满足模式多变的序列异常检测的需求。
发明内容
发明目的：本发明针对工业数据异常诊断的需求，提出一种基于有限陪审团机制的数据异常突变点检测算法。该算法满足工业数据流中的对于突变点检测的高效、准确的要求。其高效性体现在相对于传统的异常检测算法，该算法具备较低延迟，能够在实时数据流中及时识别异常突变点；准确性体现在该算法能够在一定程度上适应工业数据流出现的工况变化，更加准确地识别数据流中的异常突变点，过滤因工况变化而出现的正常数据变动。
技术方案：
一种基于有限陪审团机制的数据异常突变点检测算法，包括待检测点组构建、有限陪审团选择、评审以及结果输出；
所述待检测点组构建是在数据流中获取需要检测的点，并与已检测数据点构成待检测点组，以用作评审目标；所述有限陪审团选择和评审各包含两个步骤，所述有限陪审团选择用于评价待检测点是否为异常突变的主要依据；
主要步骤如下：
步骤(1)：从数据流中构建待检测点组；
步骤(2)：从历史数据中生成有限陪审团；
步骤(3)：使用步骤(2)生成的有限陪审团依据评审机制步骤(1)中产生的对待检测点组进行评审；
步骤(4)：收集步骤(3)产生的评审数据，输出评审结果即输出待检测点的检测结果。
在进一步的实施例中，在步骤(1)中，从实时数据流Dt＝{...,xt-3,xt-2,xt-1,xt}中以xt为待检测点构建待检测点组，提出构建待检测点组为G：＜Dt,T＞，使用数据流中的待检测点与历史数据构建待检测点组作为异常突变点检测的中间目标，其中Dt为当前是数据流，T为构建待检测点组的时间窗口大小，G为待检测点组，G＝{(xt-1,xt),(xt-2,xt),...,(xt-T,xt)}。
在进一步的实施例中，在步骤(2)中，提出有限陪审团机制，通过历史数据生成有限陪审团
通过所述有限陪审团对所述待检测点组G进行评审，其中Di为历史数据片段，T为最大时间间隔，Ki表示生成陪审团的个数。Ji表示在历史数据片段Di上生成的陪审团成员。
有益效果：本发明的显著优点是通过有限陪审团机制，对待检测点进行异常突变检测。与现有的异常突变点检测相比，可以通过有限陪审团来减少计算空间，提升检测效率，降低延迟；同时可以通过设置特定的有限陪审团选择机制，提升对检测目标异常突变识别检测的准确度。
附图说明
图1是本发明的总体结构图；
图2是本发明的异常突变点检测流程图；
图3是待检测点组生成示意图；
图4是有限陪审团生成示意图；
图5是异常突变点检测结果展示1；
图6是异常突变点检测结果展示2；
具体实施方式
如图1所示，本发明的方法主要包括四个部分待检测点组构建、有限陪审团选择、评审以及结果输出，所述待检测点组的构建的主要任务是在数据流中获取需要检测的点，并与已检测数据点构成待检测点组，以用作评审目标。所述有限陪审团选择包含两个步骤(1)有限陪审团选择机制的设定；(2)基于设定的有限陪审团选择机制生成有限陪审团。有限陪审团是用于评价待检测点是否为异常突变的主要依据。所述评审包含两个步骤(1)评审机制的设定；所述评审机制是有限陪审团对于待检测点组的评审方式；(2)给出评价。所述有限陪审团成员根据设定的评审机制对所述待检测点组给出是否为异常突变点的评价。最后收集陪审团对所述待检测点组的评审数据，并根据总体评价判断待检测点是否为异常突变点并输出结果。
下面详细进行说明：
步骤1：从实时数据流Dt＝{...,xt-3,xt-2,xt-1,xt}中以xt为待检测点构建待检测点组；构建待检测点组方法如下：G：＜Dt,T＞其中Dt为当前是数据流，T为构建待检测点组的时间窗口大小。G为待检测点组，G＝{(xt-1,xt),(xt-2,xt),...,(xt-T,xt)}。
通过待检测点组的构建，待检测点数据xt不再作为孤立的检测点，而是与数据流{xt-1,xt-2,...,xt-T}建立了联系，并通过时间窗口大小参数T限制了待检测点组的个数。
步骤2：从历史数据中Dt-1＝{...,xt-4,xt-3,xt-2,xt-1}中生成陪审团数据J；陪审团数据如下：
其中Di为历史数据片段，T为最大时间间隔，Ki表示生成陪审团的个数。Ji表示在历史数据片段Di上生成的陪审团成员。
对历史数据进行分段，在每一个片段Di上生成陪审团Ji是为了从大量的历史数据中选取高质量的陪审团。其中参数T的值等于步骤1中的T，参数Ki表示生成陪审团的个数，同时参数Ki也衡量了该片段Di在陪审团中的权重比。以Di＝{x1,x2,x3,x4,....,xm},T＝2为例，可以生产的有效陪审团成员为(x1,x2),(x1,x3),(x2,x4)等，但是(x1,x4)并不是有效的陪审团成员，因为其时间间隔已经大于T＝2。
步骤3：对待检测点组进行评审；通过步骤1和步骤2，我们获取了待检测点组以及陪审团，然后我们设定一定的评审机制，通过既定的评审机制评价待检测点组。这里我们使用了带权闵式距离去评价待检测点：带权闵式距离公式：
使用带权闵式距离的优势是能够根据需要调节参数ωu以调整算法对波动的敏感度。通过陪审团对待检测点组的数据进行评审后，获取评审结果数据集R＝∪Si。
步骤4：结果输出；在步骤3中我们获得了评审结果数据集R，我们要利用该数据集去判断待检测点是否为突变异常点。设置参数ε(ε>0)与λ(λ∈(0,1))，其中ε表示允许波动的上限，即当r＜ε(r∈R)时，认为评审数据集中有了一个“正票”，当“正票数的比例”低于λ时，我们认为该待检测点是异常突变点。
为了验证上述方法的有效性，我们在真实工业生产数据上进行了实验，同时为了检验参数的步骤3中参数ωu能否有效的调整算法对于异常突变点的敏感度，我们进行了一组对照实验。实验结果如图5和图6：
(1)该实验利用真实工业生产的采集数据，重新模拟工业数据实时流来进行异常突变点进行检测。同真实数据流一样，对于待检测的点，我们并不知道其未来会出现什么样的变化，即不知道待检测的点是否为转折点。从实验的结果图5和图6，我们可以看到该算法能够及时有效识别异常突变点，同时过滤掉正常范围内的变化数据。从检测的效果看，该算法所识别出的异常突变点后，的确数据发生了较为明显的波动变化。
(2)图5中的异常点识别数量较多，因为我们通过设置了对异常突变波动较为灵敏参数。主要的影响检测灵敏度的参数有步骤3中的ωu和步骤4中的ε，同时在步骤4中参数λ也会在一定程度上影响对异常突变点的判断，但并不是绝对因素。
(3)图6是调整步骤3中的ωu后，识别出的异常突变点。可以看到，在降低灵敏度后，我们的确过滤掉了一些异常数据，同时检测出来的异常数据仍是有效的异常突变点。
Claims (3)
1.一种基于有限陪审团机制的数据异常突变点检测算法，其特征在于，包括待检测点组构建、有限陪审团选择、评审以及结果输出；
所述待检测点组构建是在数据流中获取需要检测的点，并与已检测数据点构成待检测点组，以用作评审目标；所述有限陪审团选择和评审各包含两个步骤，所述有限陪审团选择用于评价待检测点是否为异常突变的主要依据；
主要步骤如下：
步骤(1)：从数据流中构建待检测点组；
步骤(2)：从历史数据中生成有限陪审团；
步骤(3)：使用步骤(2)生成的有限陪审团依据评审机制步骤(1)中产生的对待检测点组进行评审；
步骤(4)：收集步骤(3)产生的评审数据，输出评审结果即输出待检测点的检测结果。
2.如权利要求1所述的一种基于有限陪审团机制的数据异常突变点检测算法，其特征在于，在步骤(1)中，从实时数据流Dt＝{...,xt-3,xt-2,xt-1,xt}中以xt为待检测点构建待检测点组，提出构建待检测点组为G：＜Dt,T＞，使用数据流中的待检测点与历史数据构建待检测点组作为异常突变点检测的中间目标，其中Dt为当前是数据流，T为构建待检测点组的时间窗口大小，G为待检测点组，G＝{(xt-1,xt),(xt-2,xt),...,(xt-T,xt)}。
3.如权利要求1所述的一种基于有限陪审团机制的数据异常突变点检测算法，其特征在于，在步骤(2)中，提出有限陪审团机制，通过历史数据生成有限陪审团
＜Di,T,Ki＞，通过有限陪审团对待检测点组G进行评审，其中Di为历史数据片段，T为最大时间间隔，Ki表示生成陪审团的个数。Ji表示在历史数据片段Di上生成的陪审团成员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010536444.2A CN111695634A (zh) | 2020-06-12 | 2020-06-12 | 一种基于有限陪审团机制的数据异常突变点检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010536444.2A CN111695634A (zh) | 2020-06-12 | 2020-06-12 | 一种基于有限陪审团机制的数据异常突变点检测算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111695634A true CN111695634A (zh) | 2020-09-22 |
Family
ID=72480692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010536444.2A Withdrawn CN111695634A (zh) | 2020-06-12 | 2020-06-12 | 一种基于有限陪审团机制的数据异常突变点检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695634A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444623A (zh) * | 2022-04-11 | 2022-05-06 | 智昌科技集团股份有限公司 | 面向工业机器人的异常检测分析方法及系统 |
-
2020
- 2020-06-12 CN CN202010536444.2A patent/CN111695634A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444623A (zh) * | 2022-04-11 | 2022-05-06 | 智昌科技集团股份有限公司 | 面向工业机器人的异常检测分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109164343B (zh) | 基于特征信息量化与加权knn的变压器故障诊断方法 | |
| CN107941537B (zh) | 一种机械设备健康状态评估方法 | |
| CN108375476B (zh) | 一种水电机组健康评估方法 | |
| CN111222549B (zh) | 一种基于深度神经网络的无人机故障预测方法 | |
| CN106055918B (zh) | 一种电力系统负荷数据的辨识及修正方法 | |
| CN104712542B (zh) | 一种基于物联网的往复压缩机敏感特征提取与故障诊断方法 | |
| CN109376801B (zh) | 基于集成深度神经网络的风力发电机叶片结冰诊断方法 | |
| CN103366123B (zh) | 基于缺陷分析的软件风险评估方法 | |
| CN109583520B (zh) | 一种云模型与遗传算法优化支持向量机的状态评估方法 | |
| CN112101480A (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
| CN109102032A (zh) | 一种基于深度森林和自编码的泵站机组诊断方法 | |
| CN103631681A (zh) | 一种在线修复风电场异常数据的方法 | |
| CN104390657A (zh) | 一种发电机组运行参数测量传感器故障诊断方法及系统 | |
| CN103810328A (zh) | 一种基于混合模型的变压器维修决策方法 | |
| CN108090515B (zh) | 一种基于数据融合的环境等级评估方法 | |
| CN112668105B (zh) | 一种基于sae与马氏距离的直升机传动轴异常判定方法 | |
| CN103103570B (zh) | 基于主元相似性测度的铝电解槽况诊断方法 | |
| CN111913443A (zh) | 基于相似性的工业设备故障预警方法 | |
| CN114118789B (zh) | 基于模糊综合评判和综合赋权的雷达发射机状态评估方法 | |
| CN112185104A (zh) | 一种基于对抗自编码器的交通大数据修复方法 | |
| CN108830405B (zh) | 基于多指标动态匹配的实时电力负荷预测系统及其方法 | |
| CN114266289A (zh) | 一种复杂装备健康状态评估方法 | |
| Bejaoui et al. | A data-driven prognostics technique and rul prediction of rotating machines using an exponential degradation model | |
| CN116625686A (zh) | 一种航空发动机轴承故障在线诊断方法 | |
| CN117371207A (zh) | 一种特高压换流阀状态评价方法、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200922 |
|
| WW01 | Invention patent application withdrawn after publication |