CN111898068B - 一种基于pert算法及仪表用量分析的异常检测方法 - Google Patents
一种基于pert算法及仪表用量分析的异常检测方法 Download PDFInfo
- Publication number
- CN111898068B CN111898068B CN202010724518.5A CN202010724518A CN111898068B CN 111898068 B CN111898068 B CN 111898068B CN 202010724518 A CN202010724518 A CN 202010724518A CN 111898068 B CN111898068 B CN 111898068B
- Authority
- CN
- China
- Prior art keywords
- standard deviation
- value
- model
- usage
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R35/00—Testing or calibrating of apparatus covered by the other groups of this subclass
- G01R35/04—Testing or calibrating of apparatus covered by the other groups of this subclass of instruments for measuring time integral of power or current
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Measuring Volume Flow (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于PERT算法及仪表用量分析的异常检测方法,所述方法包括:收集每个仪表对应用户的用量数据值历史记录作为训练样本;将所述训练样本按照从小到大进行排序后得到训练样本数据集;取所述训练样本数据集中的中位数;通过PERT算法计算基准值和标准差;计算所述基准值与所述中位数之间差值的绝对值作为偏差量;设置标准差倍数;比较每个用户的标准差倍数乘以其标准差得到的数值与偏差量的大小,迭代获取模型基准值和模型标准差;根据所述模型基准值、所述模型标准差和所述标准差倍数,建立仪表用量异常检测模型;通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测。
Description
技术领域
本申请涉及仪表数据异常检测技术领域,尤其涉及一种基于PERT算法及仪表用量分析的异常检测方法。
背景技术
近年来,随着智能仪表的广泛应用,尤其是水、气、电表等智能仪表多表合一系统的普及,综合多种功能仪表已经成为仪表业一个新的发展方向。并且伴随AI和区块链技术的发展,智能化仪表分析系统越来越成为主流发展方向。而根据客户的需求,智能反馈也成为增强客户体验感的一项重要指标。
现有技术中常常由于未能及时发现智能仪表运行故障或这其他不易被察觉的原因,造成水、气、电等用量数据出现异常,给用户或管理水、气、电等能源的单位造成一定的损失。而且现有技术中由于智能仪表只要还在运行很难直接发现异常,直至累积到出现数据大幅度异常才能被发现,尤其是对于普通用户家用仪表或管路异常很难被发现。现有的异常检测手段匮乏,而且异常检测需要花费的人力、物力成本也高,通常出现大幅度数据异常才能检测到,容易漏报、误报异常情况造成损失。
发明内容
本申请提供了一种基于PERT算法及仪表用量分析的异常检测方法,以解决现有的异常检测手段匮乏,而且异常检测需要花费的人力、物力成本也高,通常出现大幅度数据异常才能检测到,容易漏报、误报异常情况造成损失的问题。
本申请采用的技术方案如下:
一种基于PERT算法及仪表用量分析的异常检测方法,所述方法包括:
收集每个仪表对应用户的用量数据值历史记录作为训练样本{Xc};
将所述训练样本{Xc}按照从小到大进行排序后得到训练样本数据集{Xsort};
取所述训练样本数据集{Xsort}中的中位数Xmid;
通过PERT算法计算所述训练样本数据集{Xsort}的基准值X和标准差σ;
根据不同用户的用量习惯,设置不同的标准差倍数n;
根据所述模型基准值Xs、所述模型标准差σs和所述标准差倍数n,建立仪表用量异常检测模型;
通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测。
优选地,所述通过PERT算法计算所述训练样本数据集{Xsort}的基准值X和标准差σ,包括:
式中na为中间值的数目;
重新梳理排序训练样本数据集{Xsort}中的数据,获取中位数;
迭代获取模型基准值和模型标准差。
优选地,收集每个仪表对应用户至少两个月的用量数据值历史记录作为训练样本{Xc}。
优选地,所述通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测,包括:
根据所述标准差倍数n、所述模型标准差σs和所述模型基准值Xs以及用户的用量习惯,确定用量阈值范围、上极值xmax和下极值xmin;
连续记录每日用量信息,若当前用量上报超过所述阈值范围,则记录为初始异常点;
连续记录到初始异常点超过所述上极值xmax或下极值xmin,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常。
优选地,所述阈值范围为所述标准差倍数n和所述模型标准差σs的乘积nσs。
优选地,所述确定用量阈值范围、上极值xmax和下极值xmin之后,还包括:
通过MATLAB或其他绘图软件绘制仪表用量异常检测分析控制图,以时间为横坐标、用量为纵坐标,并在图中标示所述阈值范围、所述上极值xmax、所述下极值xmin和所述模型基准值。
优选地,所述记录为初始异常点之后,还包括:
根据连续记录到的所述初始异常点数据值x的波动,判断异常类型:
若Xs+nσs<x<xmax,则向用户确认大功率家用产品使用情况并提醒注意查看仪表运行情况;
若xmin<x<Xs-nσs,则将该用户列为重点观测对象;
若x<xmin或x>xmax,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常,由现场运维人员前去查验该仪表。
采用本申请的技术方案的有益效果如下:
本申请中通过收集用户的历史用量数据训练异常检测模型,利用改进PERT算法和中位数获得客户用量习惯的基准值和标准差倍数,再由水司、电力局根据事业环境因素或者根据不同用户的用量习惯设定自适应的标准差倍数,进而建立异常检测模型。用户的每个月每日上报的用量信息通过控制图比对,水司、电力局根据不同点数范围判断该客户用量信息是否异常。该方法既能更为合理的以“基准值”代替“中位数”作为用量判断依据,也具备容错的可靠性,即容错了因为用户单日使用用量超支或减少所带来的判断误差。一旦检测出用量数据异常,及时查询原因,亡羊补牢,可以大大降低用户或者电力局、水司的损失。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一种基于PERT算法及仪表用量分析的异常检测方法的数据分析处理流程图;
图2为本申请一种基于PERT算法及仪表用量分析的异常检测方法中所述仪表用量异常检测模型建模流程简图;
图3为本申请一种基于PERT算法及仪表用量分析的异常检测方法中异常判断流程图;
图4为本申请一种基于PERT算法及仪表用量分析的异常检测方法中建模控制图;
图5为本申请一种基于PERT算法及仪表用量分析的异常检测方法中异常用量控制图;
图6为本申请一种基于PERT算法及仪表用量分析的异常检测方法中算法代码仿真运算过程及结果图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1、2和3,为一种基于PERT算法及仪表用量分析的异常检测方法的流程图。
本申请提供的一种基于PERT算法及仪表用量分析的异常检测方法,所述方法包括:
收集每个仪表对应用户的用量数据值历史记录作为训练样本{Xc};
将所述训练样本{Xc}按照从小到大进行排序后得到训练样本数据集{Xsort};
取所述训练样本数据集{Xsort}中的中位数Xmid;
通过PERT算法计算所述训练样本数据集{Xsort}的基准值X和标准差σ;
根据不同用户的用量习惯,设置不同的标准差倍数n;
根据所述模型基准值Xs、所述模型标准差σs和所述标准差倍数n,建立仪表用量异常检测模型;
通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测。
对于多仪表综合缴费系统而言,根据客户的几个月的历史用量数据,以该数据为训练样本,先对训练样本值进行排序,通过改进后的PERT算法和中位数判断算法根据中位数自适应多次过滤掉偏差过大的数值,电力局、水司等设置模型标准差倍数,迭代分析计算出用户的基准用量值和标准差并建模,通过由基准值和标准差建立的异常检测模型共同判断用户后期的用量是否异常。可通过对同一个用户的水、电、气的用量信息习惯分析,预测判断当前用量值是否符合用户习惯,及时反馈表异常或用户用量异常情况。
如图2所示,所述通过借鉴PERT算法计算所述训练样本数据集{Xsort}的基准值X和标准差σ,包括:
式中na为中间值的数目;
源代码训练算法简易模拟如图6所示。利用PERT标准差和训练样本中位数共同判断异常范围,以此反复训练获取最终用户正常用量时的基准值。
重新梳理排序训练样本数据集{Xsort}中的数据,获取中位数;
迭代获取模型基准值和模型标准差。
该方法既能更为合理的以“基准值”代替“中位数”作为用量判断依据,通过对收集到的用户用量数据进行偏差降噪处理,具备容错的可靠性,即容错了因为用户单日使用用量超支或减少所带来的判断误差,提高了仪表的异常检测精度。
收集每个仪表对应用户至少两个月的用量数据值历史记录作为训练样本{Xc}。样本数据越多,用户行为分析越全面且越精准,计算和过滤次数也会相应增多,便于水司、电力局等机构根据不同客户的用电习惯,设置不同的标准差倍数和控制图偏差点数目。
如图3所示,所述通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测,包括:
根据所述标准差倍数n、所述模型标准差σs和所述模型基准值Xs以及用户的用量习惯,确定用量阈值范围、上极值xmax和下极值xmin;
连续记录每日用量信息,若当前用量上报超过所述阈值范围,则记录为初始异常点;
连续记录到初始异常点超过所述上极值xmax或下极值xmin,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常。假设设定时长为五天,若连续五天记录到初始异常点超过所述上极值xmax或下极值xmin,则认为该用户的仪表用量存在异常。若不存在所述初始异常点,说明该用户用量正常且仪表正常。
所述阈值范围为所述标准差倍数n和所述模型标准差σs的乘积nσs,由水司、电力局或者用户根据需求设定标准差倍数n确定所述阈值范围,减少检测误差。
所述确定用量阈值范围、上极值xmax和下极值xmin之后,还包括:
通过MATLAB或其他绘图软件绘制仪表用量异常检测分析控制图,如图4和5所示,以时间为横坐标、用量为纵坐标,并在图中标示所述阈值范围、所述上极值xmax、所述下极值xmin和所述模型基准值。水司、电力局等管理监控仪表运行情况的部门机构根据仪表用量异常检测分析控制图,可以更加直观清晰的观察到偏差异常数据,便于分析异常数据。水司、电力局可根据用户用量习惯,适当调节标准差倍数和连续异常点个数以增强容错性,根据质量控制学,一般采用的三倍的标准差(六西格玛)即可保证控制图中大部分数据落入此中,结合控制图五点估算法,即可较好的适配筛选异常数据。将获取到的用户用量的基准值和标准差,作为衡量该用户之后的用量是否异常的判断标准。
所述记录为初始异常点之后,还包括:
根据连续记录到的所述初始异常点数据值x的波动,判断异常类型:
若Xs+nσs<x<xmax,则该表可能存在漏电、窃电等情况,也可能是用户突添大功率用电器且长时间开启,向用户确认大功率家用产品使用情况并提醒注意查看仪表运行情况,或派遣相应的现场运维人员去查探;
若xmin<x<Xs-nσs,则用户可能近日不在家,或者电表计量存在异常,或者有内部人员人为篡改用户用量数据,将该用户列为重点观测对象;
若x<xmin或x>xmax,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常,由现场运维人员前去查验该仪表。
如图5所示,即为比较典型的异常判断过程,当有连续n个初始异常点(n由电力局、水司设定)连续,则记录并及时做出相应处理。
本申请中通过收集用户的历史用量数据训练异常检测模型,利用改进PERT算法和中位数获得客户用量习惯的基准值和标准差倍数,再由水司、电力局根据事业环境因素或者根据不同用户的用量习惯设定自适应的标准差倍数,进而建立异常检测模型。用户的每个月每日上报的用量信息通过控制图比对,水司、电力局根据不同点数范围判断该客户用量信息是否异常。该方法既能更为合理的以“基准值”代替“中位数”作为用量判断依据,也具备容错的可靠性,即容错了因为用户单日使用用量超支或减少所带来的判断误差。一旦检测出用量数据异常,及时查询原因,亡羊补牢,可以大大降低用户或者电力局、水司的损失。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (7)
1.一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,所述方法包括:
收集每个仪表对应用户的用量数据值历史记录作为训练样本{Xc};
将所述训练样本{Xc}按照从小到大进行排序后得到训练样本数据集{Xsort};
取所述训练样本数据集{Xsort}中的中位数Xmid;
通过PERT算法计算所述训练样本数据集{Xsort}的基准值X和标准差σ;
根据不同用户的用量习惯,设置不同的标准差倍数n;
若则进行偏差值降噪,迭代获取模型基准值Xs和模型标准差σs;所述偏差值降噪包括:计算所述训练样本数据集{Xsort}中每一个值的偏差量若则该数据保留,若则该数据偏差过大作为过滤值清除;重新梳理排序训练样本数据集{Xsort}中的数据,获取中位数;
根据所述模型基准值Xs、所述模型标准差σs和所述标准差倍数n,建立仪表用量异常检测模型;
通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测。
3.根据权利要求1所述的一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,收集每个仪表对应用户至少两个月的用量数据值历史记录作为训练样本{Xc}。
4.根据权利要求1所述的一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,所述通过所述仪表用量异常检测模型对仪表显示的用户用量进行异常检测,包括:
根据所述标准差倍数n、所述模型标准差σs和所述模型基准值Xs以及用户的用量习惯,确定用量阈值范围、上极值xmax和下极值xmin;
连续记录每日用量信息,若当前用量上报超过所述阈值范围,则记录为初始异常点;
连续记录到初始异常点超过所述上极值xmax或下极值xmin,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常。
5.根据权利要求4所述的一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,所述阈值范围为所述标准差倍数n和所述模型标准差σs的乘积nσs。
6.根据权利要求5所述的一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,所述确定用量阈值范围、上极值xmax和下极值xmin之后,还包括:
通过MATLAB或其他绘图软件绘制仪表用量异常检测分析控制图,以时间为横坐标、用量为纵坐标,并在图中标示所述阈值范围、所述上极值xmax、所述下极值xmin和所述模型基准值。
7.根据权利要求4或6所述的一种基于PERT算法及仪表用量分析的异常检测方法,其特征在于,所述记录为初始异常点之后,还包括:
根据连续记录到的所述初始异常点数据值x的波动,判断异常类型:
若Xs+nσs<x<xmax,则向用户确认大功率家用产品使用情况并提醒注意查看仪表运行情况;
若xmin<x<Xs-nσs,则将该用户列为重点观测对象;
若x<xmin或x>xmax,且连续记录时长到达设定天数,则认为该用户的仪表用量存在异常,由现场运维人员前去查验该仪表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724518.5A CN111898068B (zh) | 2020-07-24 | 2020-07-24 | 一种基于pert算法及仪表用量分析的异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010724518.5A CN111898068B (zh) | 2020-07-24 | 2020-07-24 | 一种基于pert算法及仪表用量分析的异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111898068A CN111898068A (zh) | 2020-11-06 |
CN111898068B true CN111898068B (zh) | 2023-01-20 |
Family
ID=73189971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010724518.5A Active CN111898068B (zh) | 2020-07-24 | 2020-07-24 | 一种基于pert算法及仪表用量分析的异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898068B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113009321B (zh) * | 2021-03-04 | 2022-04-08 | 深圳市金泰克半导体有限公司 | 晶圆漏电流测试方法、装置、晶圆级测试仪及存储介质 |
CN113959476B (zh) * | 2021-12-22 | 2022-02-25 | 北京为准智能科技有限公司 | 一种智能化仪器仪表检定系统及方法 |
CN115986946B (zh) * | 2023-03-21 | 2023-06-30 | 瑞佳宏智能制造(武汉)有限公司 | 基于pert的配电柜远程监控系统及方法 |
CN116992385B (zh) * | 2023-08-14 | 2024-01-19 | 宁夏隆基宁光仪表股份有限公司 | 一种物联网水表用量异常检测方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999831A (zh) * | 2012-11-30 | 2013-03-27 | 北京京东世纪贸易有限公司 | 一种用于自动计算补货安全量的装置及方法 |
CN109034252B (zh) * | 2018-08-01 | 2020-10-30 | 中国科学院大气物理研究所 | 空气质量站点监测数据异常的自动化识别方法 |
CN110794227B (zh) * | 2018-08-02 | 2022-09-02 | 阿里巴巴集团控股有限公司 | 故障检测方法、系统、设备及存储介质 |
-
2020
- 2020-07-24 CN CN202010724518.5A patent/CN111898068B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111898068A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111898068B (zh) | 一种基于pert算法及仪表用量分析的异常检测方法 | |
CN110824270B (zh) | 结合台区线损和异常事件的窃电用户辨识方法及装置 | |
CN109583680B (zh) | 一种基于支持向量机的窃电辨识方法 | |
CN106650797B (zh) | 一种基于集成elm的配电网窃电嫌疑用户智能识别方法 | |
CN111259334B (zh) | 一种工业企业大用户用水异常监测预警方法 | |
CN110634080A (zh) | 异常用电检测方法、装置、设备及计算机可读存储介质 | |
CN201993755U (zh) | 实时数据库的数据过滤压缩存储系统 | |
CN110658308B (zh) | 考虑共因失效的烟气在线监测系统安全可靠性评价方法 | |
CN113032454A (zh) | 基于云计算的交互式用户用电异常监测预警管理云平台 | |
CN103227734A (zh) | 一种OpenStack云平台异常的检测方法 | |
CN110517084B (zh) | 车辆功能活跃度分析方法及系统 | |
CN109947815B (zh) | 一种基于离群点算法的窃电辨识方法 | |
CN112730938A (zh) | 一种基于用电采集大数据的窃电用户判断方法 | |
CN116520236B (zh) | 一种智能电表的异常检测方法和系统 | |
WO2012029500A1 (ja) | 運用管理装置、運用管理方法、及びプログラム | |
CN111984442A (zh) | 计算机集群系统的异常检测方法及装置、存储介质 | |
CN111612647B (zh) | 计量表异常数据检测方法、装置、计量表及可读存储介质 | |
CN116028887A (zh) | 一种连续性工业生产数据的分析方法 | |
CN103914630A (zh) | 建筑能耗监管系统 | |
CN115809805A (zh) | 基于边缘计算的电网多源数据处理方法 | |
CN108267709B (zh) | 电能故障检查和分类的方法及装置 | |
CN104714205B (zh) | 电表错置侦测系统及其方法 | |
CN115545240A (zh) | 一种低压配电网台区异常线损诊断方法、系统、设备及介质 | |
CN113624280A (zh) | 一种工业生产仪器仪表运行检测数据分析管理方法、设备及存储介质 | |
CN107783942A (zh) | 一种异常行为检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |