CN114064760A - 一种数据的多维度预警分析判断方法 - Google Patents

一种数据的多维度预警分析判断方法 Download PDF

Info

Publication number
CN114064760A
CN114064760A CN202111371608.1A CN202111371608A CN114064760A CN 114064760 A CN114064760 A CN 114064760A CN 202111371608 A CN202111371608 A CN 202111371608A CN 114064760 A CN114064760 A CN 114064760A
Authority
CN
China
Prior art keywords
data
curve
value
arithmetic mean
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111371608.1A
Other languages
English (en)
Other versions
CN114064760B (zh
Inventor
徐维粤
杨四方
方伟坚
陈晓东
陈晓明
钟敏华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Taihe Big Data Services Co ltd
Original Assignee
Guangzhou Taihe Big Data Services Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Taihe Big Data Services Co ltd filed Critical Guangzhou Taihe Big Data Services Co ltd
Priority to CN202111371608.1A priority Critical patent/CN114064760B/zh
Publication of CN114064760A publication Critical patent/CN114064760A/zh
Application granted granted Critical
Publication of CN114064760B publication Critical patent/CN114064760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及涉及市政管网、设备运行状态分析技术领域，具体提供一种数据的多维度预警分析判断方法，包括：对历史数据进行判断摒除异常数据，再分析数据与时间周期的关系，通过算术平均法建立具备时间周期的数据参照标准。根据数据算术平局中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展，并生成为带状曲线告警曲线，从而极大地提高管网运行参数的阈值控制精度；从根本解决了传统以最大最小值的粗犷阈值范围；同时依据数据变化与时间坐标的斜率结合矢量方向等多维度对管网数据做动态分析。

Description

一种数据的多维度预警分析判断方法
技术领域
本发明涉及市政管网、设备运行状态分析技术领域，尤其涉及一种数据的多维度预警分析判断方法。
背景技术
伴随物联网技术的不断发展，已经实现了对管网、设备运行参数的实时采集，这些海量的实时运行参数，为建立完善系统监管提供了可靠的基础，但是目前大多数的监测运行参数未能充分筛选、计算、提炼、AI学习形成更具价值的参考数据。
如何利用海量数据对管网、设备运行状态进行实时监测，为突发事件提供预警机制成为数据应用的核心功能。如何充分高效地对这些数据加以分析应用，成为各行业关注的焦点问题。传统管网以及设备运行参数告警设置方法是：采用某时间段内的最大值、最小值组为越限告警值，只要参数超过指定的最大值、最小值作为告警机制；这种方法只能局限于数据峰值较大范围的约束，也未能分析数据变化趋势，对具备时间周期性的数据进行动态预判性计算与分析。
发明内容
为解决现有技术中存在的技术问题，本发明提供了一种数据的多维度预警分析判断方法；其针对具备时间规律类型数据，通过对已有历史数据建立数据参照标准，提高参数阈值控制精度；结合数据变化斜率与矢量方向等多维度地对管网数据进行动态分析方法。
具体地，本发明提供的技术方案如下：一种数据的多维度预警分析判断方法：包括如下步骤：
(1)对异常的历史数据进行判读与摒弃
作为数据采集与分析工作其中最基本、最重要求是确保数据的精确性，一旦所采集的数据失准对数据分析与应用结果将是颠覆性与灾难性的影响，导致数据失准有一下几种因素；操作人员、设备性能、环境干扰；异常数据将导航无法构建准确的数据参照标准，从而无法实现数据的多维度预警分析判断方法，因次必须对异常数据进行判读与摒除。
1.1拉依达判断法
首先针对粗大误差数据的判读，具体的判定原理如下：假定某一组测试数据当中只包含随机误差，通过计算处理可以获得标准偏差，根据特定的概率可确定出一个区间范围，如果误差超出这个区间范围，则可将之判定为粗大误差，含有粗大误差的数据则为异常数据，需要进行剔除。该方法可对正态或是接近正态分布的数据进行有效处理，应用时，需要确保测试次数充分，若是测试次数不足，则会造成粗大误差的可靠性降低。所以当测试次数较少时，不宜采用该方法对异常数据进行判断。该方法具体的判断过程如下：
对被测试量进行等精度测量，由此可获得X1,X2,…Xn，随后求取算术平均值x和剩余误差Vi，其中Vi可用下式表示：
Vi＝Xi-X (1)
上式中i＝(1,2,…n)，在根据贝赛尔公式可以计算出标准偏差σ。如果某个测量值xb的剩余误差vb(1≤b≤n)，并满足下式：
|vb|＝|xb-x|>3σ (2)
则可认为xb是含有粗大误差值的坏值，应当予以剔除。
1.2格拉布斯判断法
这种方法是以测试量的正态分布作为判断前提，该方法较为严谨，操作过程也比较简便。该方法的判定原理如下：当某个测量值的残余误差的绝对值|Vi|>Gg时，则可判定该值当中存在相对较大的误差，应当对误差进行剔除。该方法对异常数据的判断过程如下：
按照测量结果偏离真值的程度(误差理论)，想要对偶然误差进行有效剔除，至少需要进行10次以上的测量，为了确保测量精度
和响应速度，可将15次确定为一个单位，当
获得15次测量数据后，其中可能会含有较大的误差，可以通过分检的方法，将可疑值剔除掉。当测量值xi对应的残差vi满足下式时应当该数据舍去：
|Vi|＝|Xi-X|≥g(n,a)Ⅹσ(x) (3)
在上式当中，x表示n次采集到的平均值(∑Xi)/n；σ(x)表示测量数据组的标准差，可由贝赛尔公式求取；中的n表示测量次数，a表示显著性水平(可取0.01或0.05)。当测量次数n＝15，显著性水平＝0.05时，则g(n,a)＝2.41。随后可将15次的采集值存入到同一个数组当中，求取平均值，对残差进行计算，进而求出σ(x)，并将残差的绝对值与2.41倍的σ(x)进行比较，剔除可疑值后再次求取平均值，然后重复上述步骤验证是否仍有可疑值。在实际应用中发现，基本不需要重复，通常第一遍即可达到要求。
计量测试异常数据的处理思路如下：先做一个统计量，当这个统计量处于规定范围内时，可认为其服从正态分布，否则可判定相关数据不服从正态分布，即其中包含异常数据，需要进行剔除。
通过上述2种方法可以完成对对异常数据进行判读与摒除，为构建数据参照标准提供精确阈值的基础。
(2)判读数据时间周期
研判数据周期性；
在摒除异常数据的基础上，对已有历史数据进行时间周期规律的研判，找出在某时间周期内存在数据规律性的区间；依据该时间周期范围建立对应时间关系的范例数据曲线；
2.1温度曲线周期分析
针对复杂数据可以采用抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
(1)若函数满足f(x+T)＝f(x)，由函数周期性的定义可知T是函数的一个周期；
(2)若满足f(x+a)＝－f(x)，则f(x+2a)＝f[(x+a)+a]＝－f(x+a)＝f(x)，所以2a是函数的一个周期；
(3)若满足f(x+a)＝1/f(x)，则f(x+2a)＝f[(x+a)+a]＝1/f(x+a)＝f(x)，所以2a是函数的一个周期；
(4)若函数满足f(x+a)＝－1/f(x)，同理可得2a是函数的一个周期；
(5)如果T是函数y＝f(x)的周期，则①kT(k∈Z且k≠0)也是y＝f(x)的周期，即f(x+kT)＝f(x)；②若已知区间[m，n](m＜n)的图象，则可画出区间[m+kT，n+kT](k∈Z且k≠0)上的图象.
2.2标况流量曲线周期分析
2.3压力曲线周期分析
(3)构建数据算术平均参照曲线
3.1在相同的数据采集条件下，对参数进行多次重复采集，根据偶然误差特性，可取其算术平均值作为最终采集结果。
设对某量进行了n次等精度采集，采集值分别为，l1+l2+…+ln，其算术平均值为：
Figure BDA0003362444020000031
设采集数据的真值为X，采集值为li，则采集数据值的真误差为：
将上式内各式两边相加，并除以n，得
Figure BDA0003362444020000041
根据偶然误差的特性，当采集次数n无限增大时，则有
Figure BDA0003362444020000042
算术平均值较采集值更接近于真值。将最接近于真值的算术平均值称为最或然值或最可靠值。
3.2采集数据修正数
采集数据的算术平均值与采集值之差，称为采集数据修正数，用v表示。当采集次数为n时，有
Figure BDA0003362444020000043
将上式内各式两边相加，得[v]＝nL-[l]
将代入上式
Figure BDA0003362444020000044
得[v]＝0对于等精度采集，采集值改正数的总和为零。
建立多周期的平均参数曲线，根据数据规律性与重复性的比例，选择若干个区间数据，通过上述周期推导与算术平均值的计算生成数据的参考曲线。
(4)创建带状告警曲线
根据数据算术平均中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展，成为带状曲线告警曲线；
数据修正数计算数据值的中误差(标准差)
Figure BDA0003362444020000045
算术平均值的中误差(标准差)
Figure BDA0003362444020000046
4.1温度带状告警曲线
采用数据修正数计算数据值的中误差(标准差)作为数据扩展阈值的带状曲线
根据平均曲线使用传统数据分析：在24小时数据曲线，最大值：43，最小值：32；只要超过43和32的空间都属于越限告警范围；
根据数据算术平局中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展(例如:在02:00时间点，历史数据为34.2，通过上述方法的推算，该时间点的上下限为：35.2～33.2)；如此类推到对于整个时间周期内的历史数据进行上下限数据的扩展，由此形成告警曲带，(扩展加减程度可以根据实际情况通过参数设置的方式统一实现)，大幅提高每个时间范围的数据阈值精度，从而进一步对管网以及相关设备运行做精细化的预判性管理。
在工程应用过程中，该阈值扩展参数可以根据实际运行状况，进行多次多幅度设置以及求最佳的告警约束范围。
(5)还包括根据历史记录中数据变化的斜率和适量方向，结合带状曲线对同一周期内数据进行比对分析；
在管网数据变化趋势分析过程中，各个时间点数据构成的斜率直接体现管网运行数据的重要特征，根据历史记录中数据变化的斜率、适量方向、比对当前数据与同周期趋势的吻合性；如图4可以看到不同时间范围运行参数的变化矢量、斜率均有不同的变化，结合带状曲线以及数据变化的矢量方向与斜率，对同一周期内数据进行比对分析将进一步提高我们对数据预判准确度。
根据历史记录中数据变化的斜率、适量方向、比对当前数据与同周期趋势的吻合性；不同时间范围运行参数的变化矢量、斜率均有不同的变化，结合带状曲线以及数据变化的矢量方向与斜率，对同一周期内数据进行比对分析将进一步提高我们对数据预判准确度。
(6)还包括根据在某种设备运行工况下某些时段的数据变化的频率与振幅，将设备运行工况与数据的频率与振幅进行关联为管网与设备运行状态预判。
数据变化的频率与振幅
在某种运行工况下某些时段的数据变化会有特定的频率与振幅，不同时间段的数据曲线振幅与频率都有鲜明的特征。这些数据样本作为系统学习案例，并生成特定范例曲线，将设备工况与数据特性进行关联为管网与设备运行状态预判提供有效手段。
(7)还包括对边缘设备数据进行分析
作为同一片区管网内的监测设备会受到相关数据变化的同步影响，因此对周边单个或多个设备数据的分析判断也是一个非常重要的技术手段。
与现有技术相对比，本发明的有益效果如下：
(1)通过上述拉依达和格拉布斯判断法可以完成对对异常数据进行判读与摒除，为构建数据参照标准提供精确阈值的基础。
(2)本发明根据数据算术平局中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展(例如:在02:00时间点，历史数据为34.2，通过上述方法的推算，该时间点的上下限为：35.2-33.2)；如此类推到对于整个时间周期内的历史数据进行上下限数据的扩展，由此形成告警曲带，(扩展加减程度可以根据实际情况通过参数设置的方式统一实现)，大幅提高每个时间范围的数据阈值精度，从而进一步对管网以及相关设备运行做精细化的预判性管理。
(3)在管网数据变化趋势分析过程中，各个时间点数据构成的斜率直接体现管网运行数据的重要特征，根据历史记录中数据变化的斜率、适量方向、比对当前数据与同周期趋势的吻合性；如图4可以看到不同时间范围运行参数的变化矢量、斜率均有不同的变化，结合带状曲线以及数据变化的矢量方向与斜率，对同一周期内数据进行比对分析将进一步提高对数据预判准确度。
(4)在某种运行工况下某些时段的数据变化会有特定的频率与振幅，如图6(频率与振幅)不同时间段的数据曲线振幅与频率都有鲜明的特征。这些数据样本作为系统学习案例，并生成特定范例曲线，将设备工况与数据特性进行关联为管网与设备运行状态预判提供有效手段。
(5)作为同一片区管网内的监测设备会受到相关数据变化的同步影响，因此对周边单个或多个设备数据的分析判断也是一个非常重要的技术手段。
附图说明
图1a为本发明提供的第一天温度周期曲线图；
图1b为本发明提供的第二天温度周期曲线图；
图1c为本发明提供的第三天温度周期曲线图；
图1d为本发明提供的三天温度周期曲线图；
图2a为本发明提供的0-24小时标准流量曲线图；
图2b为本发明提供的24-48小时标准流量曲线图；
图2c为本发明提供的48-72小时标准流量曲线图；
图2d为本发明提供的0-72小时标准流量曲线图；
图3a为本发明提供的0-24小时压力曲线图；
图3b为本发明提供的24-48小时压力曲线图；
图3c为本发明提供的48-72小时压力曲线图；
图3d为本发明提供的0-72小时压力曲线图；
图4为本发明提供的周期内参数算术平均值曲线图；
①：0-24小时数据曲线；②：24-48小时数据曲线；③：48-72小时数据曲线；④：0-72小时数据，同时间周期数据算术平均值曲线；
图5a为现有技术时间控制曲线图；
图5b为扩展设置为2的带状曲线图；
图5c为扩展设置为4的带状曲线图；
图5d为扩展设置为8的带状曲线图；
图6为本发明提供的越限控制曲线图；
图7为本发明提供的多维度分析示意图，①：T1时间段内数据曲线斜率K1＝0.0166℃/分；正矢量趋势；②：T2时间段内数据曲线斜率K2＝0.025℃/分；正矢量趋势；③：T3时间段内数据曲线斜率K3＝-0.0384℃/分；负矢量趋势；④：以算术平均值的中误差(标准差)作参数依据扩展后的带状曲线；
图8a为本发明提供的压力数据曲线振幅与频率关系图。
图8b为本发明提供的温度数据曲线振幅与频率关系图。
①：第一数据曲线；②：第二数据曲线；③：第三数据曲线；④：第四数据曲线；
具体实施方式
下面结合附图，对本发明的具体实施方式作详细的说明。
本发明涉及市政管网、设备运行状态分析技术领域，特别是涉及燃气、供水、供热管网、以及相关设备运行的参数，这类型参数在对应时间周期内具备相对规律，通过对历史数据的计算分析，针对管网以及设备运行状态，建立优化数据的越限范围和精度，从变化矢量、斜率等多个维度对数据进行分析判断。
具体地，本发明所采用的技术方案是：一种数据的多维度预警分析判断方法，包括如下步骤：
1、构建带状告警曲线
1.1对异常的历史数据进行判读与摒弃
作为数据采集与分析工作其中最基本、最重要求是确保数据的精确性，一旦所采集的数据失准对数据分析与应用结果将是颠覆性与灾难性的影响，导致数据失准有一下几种因素；操作人员、设备性能、环境干扰；异常数据将导航无法构建准确的数据参照标准，从而无法实现数据的多维度预警分析判断方法，因次必须对异常数据进行判读与摒除。
1.1.1拉依达判断法
首先针对粗大误差数据的判读，具体的判定原理如下：假定某一组测试数据当中只包含随机误差，通过计算处理可以获得标准偏差，根据特定的概率可确定出一个区间范围，如果误差超出这个区间范围，则可将之判定为粗大误差，含有粗大误差的数据则为异常数据，需要进行剔除。该方法可对正态或是接近正态分布的数据进行有效处理，应用时，需要确保测试次数充分，若是测试次数不足，则会造成粗大误差的可靠性降低。所以当测试次数较少时，不宜采用该方法对异常数据进行判断。该方法具体的判断过程如下：
对被测试量进行等精度测量，由此可获得X1,X2,…Xn，随后求取算术平均值X和剩余误差Vi，其中误差Vi可用下式表示：
Vi＝Xi-X (1)
上式中i＝(1,2,…n)，在根据贝赛尔公式可以计算出标准偏差σ。如果某个测量值xb的剩余误差vb(1≤b≤n)，并满足下式：
|vb|＝|xb-x|>3σ (2)
则可认为xb是含有粗大误差值的坏值，应当予以剔除。
1.1.2格拉布斯判断法
这种方法是以测试量的正态分布作为判断前提，该方法较为严谨，操作过程也比较简便。该方法的判定原理如下：当某个测量值的残余误差的绝对值|Vi|>Gg时，则可判定该值当中存在相对较大的误差，应当对误差进行剔除。该方法对异常数据的判断过程如下：
按照测量结果偏离真值的程度(误差理论)，想要对偶然误差进行有效剔除，至少需要进行10次以上的测量，为了确保测量精度和响应速度，可将15次确定为一个单位，当获得15次测量数据后，其中可能会含有较大的误差，可以通过分检的方法，将可疑值剔除掉。当测量值Xi对应的残差Vi满足下式时应当该数据舍去：
|Vi|＝|Xi-X|≥g(n,a)Ⅹσ(x) (3)
在上式当中，x表示n次采集到的平均值(∑Xi)/n；σ(x)表示测量数据组的标准差，可由贝赛尔公式求取；中的n表示测量次数，a表示显著性水平(可取0.01或0.05)。当测量次数n＝15，显著性水平＝0.05时，则g(n,a)＝2.41。随后可将15次的采集值存入到同一个数组当中，求取平均值，对残差进行计算，进而求出σ(x)，并将残差的绝对值与2.41倍的σ(x)进行比较，剔除可疑值后再次求取平均值，然后重复上述步骤验证是否仍有可疑值。在实际应用中发现，基本不需要重复，通常第一遍即可达到要求。
计量测试异常数据的处理思路如下：先做一个统计量，当这个统计量处于规定范围内时，可认为其服从正态分布，否则可判定相关数据不服从正态分布，即其中包含异常数据，需要进行剔除。
通过上述2种方法可以完成对对异常数据进行判读与摒除，为构建数据参照标准提供精确阈值的基础。
1.2判读数据时间周期
1.2.1研判数据周期性；
在摒除异常数据的基础上，对已有历史数据进行时间周期规律的研判，找出在某时间周期内存在数据规律性的区间；依据该时间周期范围建立对应时间关系的范例数据曲线；如图1a-1d的温度数据的时间周期规律，如图2a-2d的流量数据的时间周期规律，如图3a-3d的流量数据的时间周期规律。
1.2.2温度曲线周期分析
针对复杂数据可以采用抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
抽象函数的周期需要根据给出的函数式子求出，常见的有以下几种情形：
(1)若函数满足f(x+T)＝f(x)，由函数周期性的定义可知T是函数的一个周期；
(2)若满足f(x+a)＝－f(x)，则f(x+2a)＝f[(x+a)+a]＝－f(x+a)＝f(x)，所以2a是函数的一个周期；
(3)若满足f(x+a)＝1/f(x)，则f(x+2a)＝f[(x+a)+a]＝1/f(x+a)＝f(x)，所以2a是函数的一个周期；
(4)若函数满足f(x+a)＝－1/f(x)，同理可得2a是函数的一个周期；
(5)如果T是函数y＝f(x)的周期，则①kT(k∈Z且k≠0)也是y＝f(x)的周期，即f(x+kT)＝f(x)；②若已知区间[m，n](m＜n)的图象，则可画出区间[m+kT，n+kT](k∈Z且k≠0)上的图象.
1.2.3标况流量曲线周期分析
1.2.4压力曲线周期分析
1.3构建数据算术平均参照曲线
1.3.1计算算术平均值
在相同的数据采集条件下，对参数进行多次重复采集，根据偶然误差特性，可取其算术平均值作为最终采集结果。
设对某量进行了n次等精度采集，采集值分别为，l1+l2+…+ln，其算术平均值为L：
Figure BDA0003362444020000111
设采集数据的真值为X，采集值为li，i＝1,2,3...n。
则采集数据值的真误差为
Figure BDA0003362444020000112
将上式内各式两边相加，并除以n，得
Figure BDA0003362444020000113
根据偶然误差的特性，当采集次数n无限增大时，则有
Figure BDA0003362444020000114
算术平均值较采集值更接近于真值。将最接近于真值的算术平均值称为最或然值或最可靠值。
1.3.1采集数据修正数
采集数据的算术平均值与采集值之差，称为采集数据修正数，用v表示。当采集次数为n时，有
Figure BDA0003362444020000115
将上式内各式两边相加，得[v]＝nL-[l]
将代入上式
Figure BDA0003362444020000116
得[v]＝0对于等精度采集，采集值改正数的总和为零。
建立多周期的平均参数曲线，根据数据规律性与重复性的比例，选择若干个区间数据，通过上述周期推导与算术平均值的计算生成数据的参考曲线如：图4(周期内参数算术平均值曲线，其中，图4中①为0-24小时数据曲线；②为24-48小时数据曲线；③为48-72小时数据曲线；④为0-72小时数据，同时间周期数据算术平均值曲线。
1.3.2创建带状告警曲线
根据数据算术平均中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展，成为带状曲线告警曲线；
数据修正后的计算数据值的中误差
Figure BDA0003362444020000121
算术平均值的中误差(标准差)
Figure BDA0003362444020000122
其中，M指代算术平均值的中误差，m指代数据修正后计算数据值的中误差(标准差)，n指代数据采样(观察)次数，v指代最或然值与采样值(观察值)之差；一般算术平均值与采样值(观察值)之差，因此有：Vi＝L-Li，其中，最或然值：是指从一系列的观测值中所能求得的采样(观测)对象的真值的最可能值。
实施例1温度带状告警曲线
下图采用数据修正数计算数据值的中误差(标准差)作为数据扩展阈值的带状曲线
根据平均曲线使用传统数据分析：在24小时数据曲线，最大值：43，最小值：32；只要超过43和32的空间都属于越限告警范围；如图5a所示，传统越限控制曲线。
根据数据算术平局中误差值(标准差)作放大作为设置参数，将数据平均曲线进行上下阈值扩展(例如:在02:00时间点，历史数据为34.2，通过上述方法的推算，该时间点的上下限为：35.2～33.2)，如图6所示；如此类推到对于整个时间周期内的历史数据进行上下限数据的扩展，由此形成告警曲带，(扩展加减程度可以根据实际情况通过参数设置的方式统一实现)，大幅提高每个时间范围的数据阈值精度，从而进一步对管网以及相关设备运行做精细化的预判性管理。
在工程应用过程中，该阈值扩展参数可以根据实际运行状况，进行多次多幅度设置以及求最佳的告警约束范围。
实施例2数据变化矢量与斜率
根据历史记录中数据变化的斜率、适量方向、比对当前数据与同周期趋势的吻合性；如图6可以看到不同时间范围运行参数的变化矢量、斜率均有不同的变化，结合带状曲线以及数据变化的矢量方向与斜率，对同一周期内数据进行比对分析将进一步提高我们对数据预判准确度。如图7(多维度分析示意图)中显然①、②、③不同时间段数据变化的斜率与矢量方向是不相同的，但是在同周期范围内它们有时间规律可做研判依据；
具体地，可根据点斜式y2—y1＝k(X2—X1)，当直线L在两坐标轴上存在非零截距时，有截距式X/a+y/b＝1对于任意函数上任意一点，其斜率等于其切线与x轴正方向的夹角，即tanα斜率计算：ax+by+c＝0中，k＝－a/b。直线斜率公式：k＝(y2-y1)/(x2-x1)两条垂直相交直线的斜率相乘积为-1：k1*k2＝-1.当k0时，直线与x轴夹角越大，斜率越大；当k0时，直线与x轴夹角越小，斜率越小。
如下式不同时间段时间变化趋势通过斜率计算得知
K1＝(32.35℃-31.75℃)/(10：40-9：20)
K1＝0.0166℃/分
K2＝(33.25℃-32.25℃)/(11：00-10：40)
K2＝0.025℃/分
K3＝(32.75℃-33.25℃)/(11：04-11：17)
K3＝-0.0384℃/分
在管网数据变化趋势分析过程中，各个时间点数据构成的斜率直接体现管网运行数据的重要特征，根据历史记录中数据变化的斜率、适量方向、比对当前数据与同周期趋势的吻合性；如图4可以看到不同时间范围运行参数的变化矢量、斜率均有不同的变化，结合带状曲线以及数据变化的矢量方向与斜率，对同一周期内数据进行比对分析将进一步提高我们对数据预判准确度。
如图7(多维度分析示意图)中显然①、②、③不同时间段数据变化的斜率与矢量方向是不相同的，但是在同周期范围内它们有时间规律可做研判依据；
①：T1时间段内数据曲线斜率K1＝0.0166℃/分；正矢量趋势
②：T2时间段内数据曲线斜率K2＝0.025℃/分；正矢量趋势
③：T3时间段内数据曲线斜率K3＝-0.0384℃/分；负矢量趋势
④：以算术平均值的中误差(标准差)作参数依据扩展后的带状曲线
实施例3数据变化的频率与振幅
在某种运行工况下某些时段的数据变化会有特定的频率与振幅，(频率与振幅)不同时间段的数据曲线振幅与频率都有鲜明的特征。如图8a-8b所示，①：第一数据曲线；②：第二数据曲线；③：第三数据曲线；④：第四数据曲线；图中第一数据曲线、第二数据曲线、第三数据曲线和第四数据曲线，只是通过数据曲线表达，这些运行数据在不同工况、不同时间变化过程中的频率、振幅都具备鲜明的独特性，这些数据样本作为系统学习案例，并通过对异常的历史数据进行判读与摒弃并生成特定范例曲线，将设备工况与数据特性进行关联为管网与设备运行状态预判提供有效手段。
实施例4边缘设备数据分析
作为同一片区管网内的监测设备会受到相关数据变化的同步影响，因此对周边单个或多个设备数据的分析判断也是一个非常重要的技术手段。
以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种数据的多维度预警分析判断方法，其特征在于，包括如下步骤：
对异常的历史数据进行判读与摒弃；
对摒弃异常的历史数据后进行时间周期规律的研判，找出在某时间周期内存在数据规律性的区间，依据该时间周期范围建立对应时间关系的数据曲线；
构建数据算术平均参照曲线；
根据算术平均值中误差值作放大作为设置参数，将数据平均曲线进行上下阈值扩展，创建带状告警曲线。
2.如权利要求1所述的一种数据的多维度预警分析判断方法，其特征在于，构建数据算术平均参照曲线，具体包括如下步骤：
在相同的数据采集条件下，对参数进行多次重复采集，取多次重复采集的算术平均值作为最终采集结果；
建立多周期的平均参数曲线，根据数据规律性与重复性的比例，选择若干个区间数据，通过周期推导与算术平均值的计算生成数据的平均参照曲线。
3.如权利要求2所述的一种数据的多维度预警分析判断方法，其特征在于，根据算术平均值中误差值作放大作为设置参数，将数据平均曲线中的整个时间周期内的每个段时间或点时间的历史数据进行上下阈值扩展，创建带状告警曲线。
4.如权利要求3所述的一种数据的多维度预警分析判断方法，其特征在于，算术平均值中误差值通过以下公式获得，
Figure FDA0003362444010000011
其中，其中，M指代算术平均值的中误差，m指代数据修正后计算数据值的中误差，n指代数据采样次数，v指代最或然值与采样值之差。
5.如权利要求3所述的一种数据的多维度预警分析判断方法，其特征在于，还包括根据历史记录中数据变化的斜率和矢量方向，结合带状曲线对同一周期内数据进行比对分析。
6.如权利要求4所述的一种数据的多维度预警分析判断方法，其特征在于，将历史记录中数据变化的斜率作为k参与数据变化比较的分析维度，通过公式k＝(y2-y1)/(x2-x1)计算直线斜率k，若y2-y1>0,x2-x1>0，则k>0，则该阶段的数据变化矢量为正向，若y2-y1<0，x2-x1>0,则k<0，则该阶段的数据变化矢量为负向；若k增大，则监控数据在相同时间段内上升速度越大，若k减小，监控数据在相同时间段内上升速度越小。
7.如权利要求1所述的一种数据的多维度预警分析判断方法，其特征在于，采用格拉布斯判断法对异常的历史数据进行判读与摒弃，包括如下步骤：根据公式|Vi|＝|Xi-X|≥g(n,a)Ⅹσ(x)剔除可疑值，剔除可疑值后再次求取平均值，重复上述步骤验证是否仍有可疑值；
其中X表示n次采集到的平均值，其中X＝(∑Xi)/n；Xi表示测量值，i＝(1,2,…n)；σ(x)表示测量数据组的标准差，n表示测量次数，a表示显著性水平，当测量次数n＝15，显著性水平＝0.05时，则g(n,a)＝2.41，Vi表示误差。
8.如权利要求1所述的一种数据的多维度预警分析判断方法，其特征在于，采用拉依达判断法对异常的历史数据进行判读与摒弃，包括如下步骤：
采集测量值Xi，其中i＝(1,2,…n)；
计算测量值Xi的算术平均值X；
根据公式Vi＝Xi-X计算剩余误差Vi；
计算标准偏差σ；
根据公式|vb|＝|xb-x|>3σ判断测量值xb是否可剔除，若满足|vb|＝|xb-x|>3σ，则xb可剔除，反之，不可剔除，其中，vb(1≤b≤n)，vb为剩余误差，其中i＝b。
9.如权利要求1所述的一种数据的多维度预警分析判断方法，其特征在于，还包括根据在设备运行工况下某些时段的数据变化的频率与振幅，将设备运行工况与数据的频率与振幅进行关联为管网与设备运行状态预判。
10.如权利要求9所述的一种数据的多维度预警分析判断方法，其特征在于，将设备运行工况下某些时段的数据变化的频率与振幅作为数据样本，并将数据样本作为系统学习案例，通过生成特定范例曲线，将设备工况与数据样本特性进行关联为管网与设备运行状态预判。
CN202111371608.1A 2021-11-18 2021-11-18 一种数据的多维度预警分析判断方法 Active CN114064760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111371608.1A CN114064760B (zh) 2021-11-18 2021-11-18 一种数据的多维度预警分析判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111371608.1A CN114064760B (zh) 2021-11-18 2021-11-18 一种数据的多维度预警分析判断方法

Publications (2)

Publication Number Publication Date
CN114064760A true CN114064760A (zh) 2022-02-18
CN114064760B CN114064760B (zh) 2022-12-13

Family

ID=80278143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111371608.1A Active CN114064760B (zh) 2021-11-18 2021-11-18 一种数据的多维度预警分析判断方法

Country Status (1)

Country Link
CN (1) CN114064760B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114777694A (zh) * 2022-03-29 2022-07-22 马鞍山钢铁股份有限公司 一种判断热轧多功能测厚仪表射线管状态变化趋势的方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677934A (zh) * 2004-03-31 2005-10-05 华为技术有限公司 监控网络业务性能的方法及系统
US20090258281A1 (en) * 2008-04-14 2009-10-15 Chien-Chen Chen Early warning method for abnormal state of lithium battery and recording medium
CN102434210A (zh) * 2011-11-25 2012-05-02 成都畅达通地下工程科技发展有限公司 地下工程画像信息与监测信息安全监控的方法与系统
CN105678388A (zh) * 2016-01-08 2016-06-15 上海北塔软件股份有限公司 一种基于基线的运维管理健康分析方法
CN106599483A (zh) * 2016-12-16 2017-04-26 鞍钢集团矿业有限公司 基于测量机器人露天矿边坡监测平面数据的处理方法
CN106649579A (zh) * 2016-11-17 2017-05-10 苏州航天系统工程有限公司 一种用于管网建模的时序数据清洗方法
CN109033037A (zh) * 2018-07-26 2018-12-18 厦门大学 浮标自动监测系统数据质量控制方法
CN109524139A (zh) * 2018-10-23 2019-03-26 中核核电运行管理有限公司 一种基于设备工况变化的实时设备性能监测方法
CN109826816A (zh) * 2018-12-29 2019-05-31 浙江大学 一种风机失速智能预警系统与方法
CN110097209A (zh) * 2019-03-26 2019-08-06 朗坤智慧科技股份有限公司 一种基于参数残差的设备劣化分析方法
CN110148285A (zh) * 2019-05-15 2019-08-20 东营汉威石油技术开发有限公司 一种基于大数据技术的油井参数智能预警系统及其预警方法
CN110298455A (zh) * 2019-06-28 2019-10-01 西安因联信息科技有限公司 一种基于多变量估计预测的机械设备故障智能预警方法
CN111508216A (zh) * 2020-04-28 2020-08-07 水利部交通运输部国家能源局南京水利科学研究院 一种大坝安全监测数据智能预警方法
CN111521883A (zh) * 2020-03-24 2020-08-11 中国电力科学研究院有限公司 一种用于获取高压直流输电线路电场测量值的方法及系统
CN113587387A (zh) * 2021-07-19 2021-11-02 上海佐竹冷热控制技术有限公司 空气调节设备预警方法和系统
CN113589159A (zh) * 2021-07-30 2021-11-02 沈阳铁路信号有限责任公司 一种用于铁路信号继电器多维度特征参数相关性分析方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677934A (zh) * 2004-03-31 2005-10-05 华为技术有限公司 监控网络业务性能的方法及系统
US20090258281A1 (en) * 2008-04-14 2009-10-15 Chien-Chen Chen Early warning method for abnormal state of lithium battery and recording medium
CN102434210A (zh) * 2011-11-25 2012-05-02 成都畅达通地下工程科技发展有限公司 地下工程画像信息与监测信息安全监控的方法与系统
CN105678388A (zh) * 2016-01-08 2016-06-15 上海北塔软件股份有限公司 一种基于基线的运维管理健康分析方法
CN106649579A (zh) * 2016-11-17 2017-05-10 苏州航天系统工程有限公司 一种用于管网建模的时序数据清洗方法
CN106599483A (zh) * 2016-12-16 2017-04-26 鞍钢集团矿业有限公司 基于测量机器人露天矿边坡监测平面数据的处理方法
CN109033037A (zh) * 2018-07-26 2018-12-18 厦门大学 浮标自动监测系统数据质量控制方法
CN109524139A (zh) * 2018-10-23 2019-03-26 中核核电运行管理有限公司 一种基于设备工况变化的实时设备性能监测方法
CN109826816A (zh) * 2018-12-29 2019-05-31 浙江大学 一种风机失速智能预警系统与方法
CN110097209A (zh) * 2019-03-26 2019-08-06 朗坤智慧科技股份有限公司 一种基于参数残差的设备劣化分析方法
CN110148285A (zh) * 2019-05-15 2019-08-20 东营汉威石油技术开发有限公司 一种基于大数据技术的油井参数智能预警系统及其预警方法
CN110298455A (zh) * 2019-06-28 2019-10-01 西安因联信息科技有限公司 一种基于多变量估计预测的机械设备故障智能预警方法
CN111521883A (zh) * 2020-03-24 2020-08-11 中国电力科学研究院有限公司 一种用于获取高压直流输电线路电场测量值的方法及系统
CN111508216A (zh) * 2020-04-28 2020-08-07 水利部交通运输部国家能源局南京水利科学研究院 一种大坝安全监测数据智能预警方法
CN113587387A (zh) * 2021-07-19 2021-11-02 上海佐竹冷热控制技术有限公司 空气调节设备预警方法和系统
CN113589159A (zh) * 2021-07-30 2021-11-02 沈阳铁路信号有限责任公司 一种用于铁路信号继电器多维度特征参数相关性分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于淼: ""城市电网建设中短期电力负荷预测的研究与探索"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, 15 May 2017 (2017-05-15), pages 042 - 275 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114777694A (zh) * 2022-03-29 2022-07-22 马鞍山钢铁股份有限公司 一种判断热轧多功能测厚仪表射线管状态变化趋势的方法
CN114777694B (zh) * 2022-03-29 2024-02-02 马鞍山钢铁股份有限公司 一种判断热轧多功能测厚仪表射线管状态变化趋势的方法

Also Published As

Publication number Publication date
CN114064760B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
Skinner et al. Process monitoring for multiple count data using generalized linear model-based control charts
CN110895526A (zh) 一种大气监测系统中数据异常的修正方法
CN101246369A (zh) 一种汽车零部件尺寸质量控制系统和方法
CN114064760B (zh) 一种数据的多维度预警分析判断方法
CN108830006B (zh) 基于线性评价因子的线性-非线性工业过程故障检测方法
CN111680398A (zh) 一种基于Holt-Winters模型的单机性能退化预测方法
Phanthuna et al. Exact run length evaluation on a two-sided modified exponentially weighted moving average chart for monitoring process mean
CN107909216A (zh) 一种零件实际生产周期预测方法
CN112884197B (zh) 一种基于双模型的水华预测方法和装置
CN103390103A (zh) 基于子空间独立成分回归模型的熔融指数在线检测方法
Busaba et al. Analysis of average run length for CUSUM procedure with negative exponential data
CN111914386A (zh) 一种基于退化模型不确定分析的可靠性评估方法及系统
CN112949735A (zh) 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法
Khamis et al. A robust vector autoregressive model for forecasting economic growth in Malaysia
CN112904294B (zh) 基于直觉梯形模糊多属性决策的雷达干扰效果评估方法
CN111626099B (zh) 一种基于改进ccm的工业控制系统多回路振荡因果关系分析方法
Klyachkin et al. Analysis of stable functioning of objects using machine learning
CN114019946A (zh) 工控终端的监控数据处理方法及装置
Iranmanesh et al. Statistical testing quality and its Monte Carlo simulation based on fuzzy specification limits
Zhang et al. Treatment of errors in dam safety monitoring data
CN111966966A (zh) 一种传感器测量误差模型参数可行域分析方法及系统
CN103902824A (zh) 基于局部独立成分概率分析的聚丙烯熔融指数软测量方法
Somran et al. Analytic and numerical solutions of ARL of CUSUM procedure for exponentially distributed observations
Luz et al. Robust interpolation of sequences with periodically stationary multiplicative seasonal increments
CN115022348B (zh) 一种高端电池智能工厂云级架构数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant