CN116542635B - 一种水务数据的智能监测方法、装置及电子设备 - Google Patents
一种水务数据的智能监测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116542635B CN116542635B CN202310816371.6A CN202310816371A CN116542635B CN 116542635 B CN116542635 B CN 116542635B CN 202310816371 A CN202310816371 A CN 202310816371A CN 116542635 B CN116542635 B CN 116542635B
- Authority
- CN
- China
- Prior art keywords
- data
- confidence interval
- simultaneous
- monitoring
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 39
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 26
- 238000009499 grossing Methods 0.000 claims description 29
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种水务数据的智能监测方法、装置及电子设备，该方法包括每经过预设时长，获取目标监测点在预设时间周期内的第二历史数据；从第二历史数据中提取各同时刻数据集，并分别计算各同时刻数据集对应的第一置信区间；对于存在目标数据的同时刻数据集，将同时刻数据集中的目标数据删除，并重复分别计算各同时刻数据集对应的第一置信区间的步骤，直至所有同时刻数据集中均不存在目标数据；基于最终得到的各同时刻数据集确定用于监测报警的各第二置信区间，并基于各第二置信区间监测目标监测点。本申请无需人工设置调整，工作量低。且由于报警范围设置的更加精准和符合实际情况，误报警和漏报警情况少。
Description
技术领域
本申请涉及数据监测技术领域，具体而言，涉及一种水务数据的智能监测方法、装置及电子设备。
背景技术
随着城市规模的扩大，城市加装的水务监测点越来越多，水务监测点的设置是为了对各个区域的数据进行监控，在数据出现异常时进行报警，以便相应人员前往处理异常。然而，城市不同区域的水务监测数据对应的正常范围也会不一样，不同时段的正常范围也会有差异，导致不同水务监测点的报警范围也应该不同。目前对于报警范围的设置，基本是靠人工经验对监测点进行分类，然后凭借经验来设置报警上下限，存在工作量大、精度低、更新周期长等缺点，由此还可能会产生很多误警报或漏警报的情况，无法实时准确的反应管网的运行情况，出现安全隐患。
发明内容
为了解决上述问题，本申请实施例提供了一种水务数据的智能监测方法、装置及电子设备。
第一方面，本申请实施例提供了一种水务数据的智能监测方法，所述方法包括：
每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息。
优选的，所述对所述第一历史数据进行数据清洗，得到第二历史数据，包括：
确定所述第一历史数据中的跳变异常数据、卡停数据和非正态分布数据；
在所述第一历史数据中删除所述跳变异常数据、卡停数据和非正态分布数据，并在所述跳变异常数据对应的空缺处进行线性填充，得到第二历史数据。
优选的，所述分别计算各所述同时刻数据集对应的第一置信区间，包括：
选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距；
基于所述上四分位数和四分位距计算所述同时刻数据集对应的箱型图上边缘，基于所述下四分位数和四分位距计算所述同时刻数据集对应的箱型图下边缘；
基于所述箱型图上边缘和箱型图下边缘生成所述同时刻数据集对应的第一置信区间；
重复所述选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距的步骤，直至所有所述同时刻数据集均对应有所述第一置信区间。
优选的，所述分别计算各所述同时刻数据集对应的第一置信区间之后，还包括：
分别对各所述第一置信区间的上限和下限进行平滑处理，并基于平滑处理后的所述上限和下限更新各所述第一置信区间。
优选的，所述分别对各所述第一置信区间的上限和下限进行平滑处理，包括：
选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限；
将各所述相邻上限的平均值作为所述第一置信区间平滑处理后的上限，将各所述相邻下限的平均值作为所述第一置信区间平滑处理后的下限；
重复所述选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限的步骤，直至所有所述第一置信区间均计算有平滑处理后的所述上限和下限。
优选的，所述基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，包括：
基于最终得到的各所述同时刻数据集，分别确定每个时刻的所述同时刻数据集的最大值和最小值；
分别根据所述最大值和最小值确定每个时刻的所述同时刻数据集对应的用于监测报警的第二置信区间，所述第二置信区间的上限为所述最大值加上所述同时刻数据集对应的四分位距，所述第二置信区间的下限为所述最小值减去所述同时刻数据集对应的四分位距。
第二方面，本申请实施例提供了一种水务数据的智能监测装置，所述装置包括：
获取模块，用于每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
提取模块，用于从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
重复模块，用于对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
监测模块，用于基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。
本发明的有益效果为：每天都会智能根据历史数据分别对每个监测点的第二置信区间进行一次计算与更新，充分考虑监测点历史数据的周期规律，给出最合理的报警范围。无需人工设置调整，工作量低。且由于报警范围设置的更加精准和符合实际情况，误报警和漏报警情况少。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种水务数据的智能监测方法的流程示意图；
图2为本申请实施例提供的一种水务数据的智能监测装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
参见图1，图1是本申请实施例提供的一种水务数据的智能监测方法的流程示意图。在本申请实施例中，所述方法包括：
S101、每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据。
本申请的执行主体可以是云端服务器。
在本申请的一个实施例中，每经过预设时长（例如24小时），云端服务器就会对各个水务监测点进行置信区间范围的更新。由于每个水务监测点的实际情况不同，故每个水务监测点的置信区间都是单独进行计算的。具体而言，云端服务器会选择一个还没有进行置信区间更新的水务监测点作为目标监测点，获取其在预设时间周期内的第一历史数据。预设时间周期一般选择为一个月，如果时间周期太短，会导致获取的数据太少，容易因置信区间太窄而触发误报警。如果时间周期太长，会导致获取的数据太多，容易因置信区间太宽，无法体现出数据变化的季节性，进而忽略掉一些报警。由于水务监测点所检测到的压力数据和流量数据是具有周期性变化规律的时间序列数据，故在进行置信区间的计算前，还会对历史数据进行数据清洗，剔除掉监测数据中的异常值，防止异常值影响置信区间的计算效果。
在一种可实施方式中，所述对所述第一历史数据进行数据清洗，得到第二历史数据，包括：
确定所述第一历史数据中的跳变异常数据、卡停数据和非正态分布数据；
在所述第一历史数据中删除所述跳变异常数据、卡停数据和非正态分布数据，并在所述跳变异常数据对应的空缺处进行线性填充，得到第二历史数据。
在本申请的一个实施例中，需要进行数据清洗的异常值的类型主要有以下几类：
跳变异常数据。表现为监测数据在短时间内，一般在1~5分钟内，发生剧烈变化，但是又很快恢复至跳变前的水平。故需要识别此类异常，将异常值删除，并根据该时间段前后的数据，填充上预测值。由于此类异常数据持续时间较短，填充预测值用线性填充即可，即将前一个有效数据时刻与后一个有效数据时刻连线，与缺失时刻的交点即为预测值。
卡停数据。表现为监测数据在一段时间内一直保持同一值不变，等到卡停异常结束后，经常表现为监测数据发生一次剧烈跳变。由于此类异常的持续时间一般较长，此处不对缺失数据进行填充。
不符合正态分布的数据，即非正态分布数据。表现为一部分数据偏离数据均值超过3倍方差，此类数据经常出现在流量数据中。由于此类异常的持续时间一般较长，此处不对缺失数据进行填充。
S102、从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘。
在本申请的一个实施例中，将从数据清洗后得到的第二历史数据中提取出各同时刻数据集。由于第二历史数据中包含有很多天的数据，每一个同时刻数据集可以看作是这些天数的数据中处于相同时刻的数据的集合。根据这些同时刻数据集，能够计算出每一时刻所对应的第一置信区间。第一置信区间的计算可以通过箱型图计算的方式实现。计算出每一时刻所对应的第一置信区间后，将这些第一置信区间进行整合，即可得到全天的第一置信区间。
在一种可实施方式中，所述分别计算各所述同时刻数据集对应的第一置信区间，包括：
选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距；
基于所述上四分位数和四分位距计算所述同时刻数据集对应的箱型图上边缘，基于所述下四分位数和四分位距计算所述同时刻数据集对应的箱型图下边缘；
基于所述箱型图上边缘和箱型图下边缘生成所述同时刻数据集对应的第一置信区间；
重复所述选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距的步骤，直至所有所述同时刻数据集均对应有所述第一置信区间。
在本申请的一个实施例中，对于每一个时刻的同时刻数据集，将会根据数据集中的各个数据来计算出这些数据的上四分位数和下四分位数。假设下四分位数记为Q1，上四分位数记为Q3，则四分位距为IQR=Q3-Q1，接着能够以此计算出箱型图上边缘和箱型图下边缘，上边缘max=Q3+1.5*IQR，下边缘min=Q1-1.5*IQR。
在一种可实施方式中，所述分别计算各所述同时刻数据集对应的第一置信区间之后，还包括：
分别对各所述第一置信区间的上限和下限进行平滑处理，并基于平滑处理后的所述上限和下限更新各所述第一置信区间。
在本申请的一个实施例中，为保证相邻时刻之间的置信区间不会出现跳变的情况，将会判断每个时刻与相邻时刻的上边缘和下边缘的差值，并对其进行平滑处理，根据平滑处理后所得到的上限和下限来更新各个第一置信区间的上限和下限。其中，可以在分别计算出所有第一置信区间对应的平滑处理后的上下限后，再一次性对各个第一置信区间进行更新，以避免某个时刻的第一置信区间优先更新后对其余第一置信区间的平滑处理计算结果造成影响。
在一种可实施方式中，所述分别对各所述第一置信区间的上限和下限进行平滑处理，包括：
选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限；
将各所述相邻上限的平均值作为所述第一置信区间平滑处理后的上限，将各所述相邻下限的平均值作为所述第一置信区间平滑处理后的下限；
重复所述选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限的步骤，直至所有所述第一置信区间均计算有平滑处理后的所述上限和下限。
在本申请的一个实施例中，将获取与进行计算的某一时刻的第一置信区间相邻的n个相邻第一置信区间，进而得到n个相邻上限和相邻下限。这n个相邻上限的平均值即为该第一置信区间平滑处理后的上限，下限同理。其中，n的具体取值可以根据实际情况预先设置，在此不做限定。
S103、对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据。
在本申请的一个实施例中，构建好所有时刻所对应的第一置信区间后，还需要进行进一步的优化和筛选。具体而言，每一时刻的同时刻数据集中的数据都应该在其对应的第一置信区间内。如果存在超出上边缘与下边缘的数据，即认为该数据是异常值，需要将异常值删除之后，重新进行该时刻的第一置信区间的计算，以实现循环动态调整每个时刻上边缘和下边缘的值。只有当所有时刻的所有数据都处于其对应的第一置信区间内时，才认为筛选得到的这些数据是可靠数据，接下来将根据这些数据进行监测报警范围的设置。
S104、基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息。
在本申请的一个实施例中，根据最终得到的各同时刻数据集，能够对第二置信区间进行确定和设置。进而在进行下一次置信区间的更新前，将根据确定好的各第二置信区间与实时获取的各个时刻下的数据进行比对和判断，进而在有数据超出该时刻对应的第二置信区间时生成报警信息，实现对数据的精准监测。其中，第二置信区间的具体设置可以有很多方式，可以直接以各同时刻数据集对应的各第一置信区间作为第二置信区间，也可以根据这些同时刻数据集对应的上四分位数和下四分位数来设置。
可能的，置信区间每天更新一次，然后对实时上传的监测数据判断是否发生异常。超出置信区间后，还可以判断是否需要报警，只有当监测数据超出置信区间比较明显（即超出预设的数值）并持续一段时间后，才生成报警信息，以此来进一步减少误报警。
可能的，也可以设置报警延迟次数和报警缓冲区，来过滤掉短时间的超限报警或者超出限值但幅度不明显的报警，还可以通过设置恢复延迟次数来防止跳变数据导致的报警提前恢复。
在一种可实施方式中，所述基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，包括：
基于最终得到的各所述同时刻数据集，分别确定每个时刻的所述同时刻数据集的最大值和最小值；
分别根据所述最大值和最小值确定每个时刻的所述同时刻数据集对应的用于监测报警的第二置信区间，所述第二置信区间的上限为所述最大值加上所述同时刻数据集对应的四分位距，所述第二置信区间的下限为所述最小值减去所述同时刻数据集对应的四分位距。
在本申请的一个实施例中，将确定每个时刻的同时刻数据集中的最大值和最小值，根据最大值和最小值向外扩展每个时刻所对应的四分位距，最终扩展得到的范围即为第二置信区间。
下面将结合附图2，对本申请实施例提供的水务数据的智能监测装置进行详细介绍。需要说明的是，附图2所示的水务数据的智能监测装置，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1所示的实施例。
请参见图2，图2是本申请实施例提供的一种水务数据的智能监测装置的结构示意图。如图2所示，所述装置包括：
获取模块201，用于每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
提取模块202，用于从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
重复模块203，用于对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
监测模块204，用于基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息。
在一种可实施方式中，获取模块201包括：
第一确定单元，用于确定所述第一历史数据中的跳变异常数据、卡停数据和非正态分布数据；
删除单元，用于在所述第一历史数据中删除所述跳变异常数据、卡停数据和非正态分布数据，并在所述跳变异常数据对应的空缺处进行线性填充，得到第二历史数据。
在一种可实施方式中，提取模块202包括：
第一选取单元，用于选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距；
第一计算单元，用于基于所述上四分位数和四分位距计算所述同时刻数据集对应的箱型图上边缘，基于所述下四分位数和四分位距计算所述同时刻数据集对应的箱型图下边缘；
第一生成单元，用于基于所述箱型图上边缘和箱型图下边缘生成所述同时刻数据集对应的第一置信区间；
第一重复单元，用于重复所述选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距的步骤，直至所有所述同时刻数据集均对应有所述第一置信区间。
在一种可实施方式中，所述提取模块202还包括：
平滑处理单元，用于分别对各所述第一置信区间的上限和下限进行平滑处理，并基于平滑处理后的所述上限和下限更新各所述第一置信区间。
在一种可实施方式中，所述平滑处理单元包括：
选取元件，用于选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限；
处理元件，用于将各所述相邻上限的平均值作为所述第一置信区间平滑处理后的上限，将各所述相邻下限的平均值作为所述第一置信区间平滑处理后的下限；
重复元件，用于重复所述选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限的步骤，直至所有所述第一置信区间均计算有平滑处理后的所述上限和下限。
在一种可实施方式中，监测模块204包括：
第二确定单元，用于基于最终得到的各所述同时刻数据集，分别确定每个时刻的所述同时刻数据集的最大值和最小值；
第三确定单元，用于分别根据所述最大值和最小值确定每个时刻的所述同时刻数据集对应的用于监测报警的第二置信区间，所述第二置信区间的上限为所述最大值加上所述同时刻数据集对应的四分位距，所述第二置信区间的下限为所述最小值减去所述同时刻数据集对应的四分位距。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。
本申请实施例的各处理单元和/或模块，可通过实现本申请实施例所述的功能的模拟电路而实现，也可以通过执行本申请实施例所述的功能的软件而实现。
参见图3，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图3所示，电子设备300可以包括：至少一个中央处理器301，至少一个网络接口304，用户接口303，存储器305，至少一个通信总线302。
其中，通信总线302用于实现这些组件之间的连接通信。
其中，用户接口303可以包括显示屏（Display）、摄像头（Camera），可选用户接口303还可以包括标准的有线接口、无线接口。
其中，网络接口304可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，中央处理器301可以包括一个或者多个处理核心。中央处理器301利用各种接口和线路连接整个电子设备300内的各个部分，通过运行或执行存储在存储器305内的指令、程序、代码集或指令集，以及调用存储在存储器305内的数据，执行终端300的各种功能和处理数据。可选的，中央处理器301可以采用数字信号处理（Digital SignalProcessing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。中央处理器301可集成中央中央处理器（Central Processing Unit，CPU）、图像中央处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器301中，单独通过一块芯片进行实现。
其中，存储器305可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-OnlyMemory）。可选的，该存储器305包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器305可选的还可以是至少一个位于远离前述中央处理器301的存储装置。如图3所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
在图3所示的电子设备300中，用户接口303主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器301可以用于调用存储器305中存储的水务数据的智能监测应用程序，并具体执行以下操作：
每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (8)
1.一种水务数据的智能监测方法，其特征在于，所述方法包括：
每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息；
其中，所述基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，包括：
基于最终得到的各所述同时刻数据集，分别确定每个时刻的所述同时刻数据集的最大值和最小值；
分别根据所述最大值和最小值确定每个时刻的所述同时刻数据集对应的用于监测报警的第二置信区间，所述第二置信区间的上限为所述最大值加上所述同时刻数据集对应的四分位距，所述第二置信区间的下限为所述最小值减去所述同时刻数据集对应的四分位距。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一历史数据进行数据清洗，得到第二历史数据，包括：
确定所述第一历史数据中的跳变异常数据、卡停数据和非正态分布数据；
在所述第一历史数据中删除所述跳变异常数据、卡停数据和非正态分布数据，并在所述跳变异常数据对应的空缺处进行线性填充，得到第二历史数据。
3.根据权利要求1所述的方法，其特征在于，所述分别计算各所述同时刻数据集对应的第一置信区间，包括：
选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距；
基于所述上四分位数和四分位距计算所述同时刻数据集对应的箱型图上边缘，基于所述下四分位数和四分位距计算所述同时刻数据集对应的箱型图下边缘；
基于所述箱型图上边缘和箱型图下边缘生成所述同时刻数据集对应的第一置信区间；
重复所述选取任一所述同时刻数据集，计算所述同时刻数据集的上四分位数、下四分位数和四分位距的步骤，直至所有所述同时刻数据集均对应有所述第一置信区间。
4.根据权利要求1所述的方法，其特征在于，所述分别计算各所述同时刻数据集对应的第一置信区间之后，还包括：
分别对各所述第一置信区间的上限和下限进行平滑处理，并基于平滑处理后的所述上限和下限更新各所述第一置信区间。
5.根据权利要求4所述的方法，其特征在于，所述分别对各所述第一置信区间的上限和下限进行平滑处理，包括：
选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限；
将各所述相邻上限的平均值作为所述第一置信区间平滑处理后的上限，将各所述相邻下限的平均值作为所述第一置信区间平滑处理后的下限；
重复所述选取任一所述第一置信区间，获取相邻的多个相邻第一置信区间对应的相邻上限和相邻下限的步骤，直至所有所述第一置信区间均计算有平滑处理后的所述上限和下限。
6.一种水务数据的智能监测装置，其特征在于，所述装置包括：
获取模块，用于每经过预设时长，获取目标监测点在预设时间周期内的第一历史数据，对所述第一历史数据进行数据清洗，得到第二历史数据；
提取模块，用于从所述第二历史数据中提取各同时刻数据集，并分别计算各所述同时刻数据集对应的第一置信区间，所述同时刻数据集为所述第二历史数据中相同时刻的数据的集合，所述第一置信区间的上限为所述同时刻数据集对应的箱型图上边缘，所述第一置信区间的下限为所述同时刻数据集对应的箱型图下边缘；
重复模块，用于对于存在目标数据的所述同时刻数据集，将所述同时刻数据集中的所述目标数据删除，并重复所述分别计算各所述同时刻数据集对应的第一置信区间的步骤，直至所有所述同时刻数据集中均不存在所述目标数据，所述目标数据为超出所述第一置信区间的数据；
监测模块，用于基于最终得到的各所述同时刻数据集确定用于监测报警的各第二置信区间，并基于各所述第二置信区间监测所述目标监测点，用以使所述目标监测点的实时数据超出所述第二置信区间时生成报警信息；
其中，所述监测模块包括：
第二确定单元，用于基于最终得到的各所述同时刻数据集，分别确定每个时刻的所述同时刻数据集的最大值和最小值；
第三确定单元，用于分别根据所述最大值和最小值确定每个时刻的所述同时刻数据集对应的用于监测报警的第二置信区间，所述第二置信区间的上限为所述最大值加上所述同时刻数据集对应的四分位距，所述第二置信区间的下限为所述最小值减去所述同时刻数据集对应的四分位距。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310816371.6A CN116542635B (zh) | 2023-07-05 | 2023-07-05 | 一种水务数据的智能监测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310816371.6A CN116542635B (zh) | 2023-07-05 | 2023-07-05 | 一种水务数据的智能监测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542635A CN116542635A (zh) | 2023-08-04 |
| CN116542635B true CN116542635B (zh) | 2023-10-20 |
Family
ID=87445644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310816371.6A Active CN116542635B (zh) | 2023-07-05 | 2023-07-05 | 一种水务数据的智能监测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542635B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577721A (zh) * | 2017-08-17 | 2018-01-12 | 晶赞广告（上海）有限公司 | 用于大数据的数据稳定性检测方法及装置、存储介质、服务器 |
| CN107949812A (zh) * | 2015-06-29 | 2018-04-20 | 苏伊士集团 | 用于检测配水系统中的异常的组合方法 |
| WO2020127656A1 (en) * | 2018-12-20 | 2020-06-25 | Worldline | Anomaly detection in data flows with confidence intervals |
| CN111400126A (zh) * | 2020-02-19 | 2020-07-10 | 中国平安人寿保险股份有限公司 | 网络服务异常数据检测方法、装置、设备和介质 |
| CN111860897A (zh) * | 2020-08-05 | 2020-10-30 | 青岛特来电新能源科技有限公司 | 一种异常检测方法、装置、设备及计算机可读存储介质 |
| CN115952062A (zh) * | 2023-01-31 | 2023-04-11 | 中移动信息技术有限公司 | 数据异常检测方法、装置、设备及介质 |
| CN116228429A (zh) * | 2023-03-17 | 2023-06-06 | 中国建设银行股份有限公司 | 一种检测交易数据的方法和装置 |
-
2023
- 2023-07-05 CN CN202310816371.6A patent/CN116542635B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107949812A (zh) * | 2015-06-29 | 2018-04-20 | 苏伊士集团 | 用于检测配水系统中的异常的组合方法 |
| CN107577721A (zh) * | 2017-08-17 | 2018-01-12 | 晶赞广告（上海）有限公司 | 用于大数据的数据稳定性检测方法及装置、存储介质、服务器 |
| WO2020127656A1 (en) * | 2018-12-20 | 2020-06-25 | Worldline | Anomaly detection in data flows with confidence intervals |
| CN111400126A (zh) * | 2020-02-19 | 2020-07-10 | 中国平安人寿保险股份有限公司 | 网络服务异常数据检测方法、装置、设备和介质 |
| CN111860897A (zh) * | 2020-08-05 | 2020-10-30 | 青岛特来电新能源科技有限公司 | 一种异常检测方法、装置、设备及计算机可读存储介质 |
| CN115952062A (zh) * | 2023-01-31 | 2023-04-11 | 中移动信息技术有限公司 | 数据异常检测方法、装置、设备及介质 |
| CN116228429A (zh) * | 2023-03-17 | 2023-06-06 | 中国建设银行股份有限公司 | 一种检测交易数据的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于置信规则库推理的过程报警预测方法;张泽生;李宏光;杨博;张菁;;控制工程(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542635A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108011782B (zh) | 用于推送告警信息的方法和装置 | |
| CN112735094B (zh) | 基于机器学习的地质灾害预测方法、装置和电子设备 | |
| US9369364B2 (en) | System for analysing network traffic and a method thereof | |
| US10720043B2 (en) | Systems and methods for generating a graphical representation of a fire system network and identifying network information for predicting network faults | |
| CN112712113A (zh) | 一种基于指标的告警方法、装置及计算机系统 | |
| CN110781220A (zh) | 故障预警方法、装置、存储介质和电子设备 | |
| CN112882889A (zh) | 异常监控方法、系统、电子设备和存储介质 | |
| CN116542635B (zh) | 一种水务数据的智能监测方法、装置及电子设备 | |
| CN110673973B (zh) | 应用程序编程接口api的异常确定方法和装置 | |
| CN109146177B (zh) | 一种输配电线路树障预测方法及装置 | |
| CN113538857B (zh) | 一种滑坡地质灾害预警方法、装置、终端及存储介质 | |
| CN110971435A (zh) | 一种报警方法及装置 | |
| CN116504039A (zh) | 一种室内设备的异常识别方法、装置及电子设备 | |
| CN116631162A (zh) | 一种基于数字孪生的水务设备异常预警方法及装置 | |
| CN114743332A (zh) | 一种智能消防的感知预警方法、装置、存储介质及终端 | |
| CN116416764A (zh) | 报警阈值的生成方法和装置、电子设备和存储介质 | |
| CN109427177B (zh) | 一种监控报警方法及装置 | |
| CN113566929A (zh) | 基于lstm的油罐液面超声测量方法、系统、终端及存储介质 | |
| CN113197116A (zh) | 生猪健康监测及出栏时间评估方法、终端设备及存储介质 | |
| JP2013016065A (ja) | 早期避難支援システム | |
| EP3457609A1 (en) | System and method for computing of anomalies based on frequency driven transformation and computing of new features based on point anomaly density | |
| CN117350114B (zh) | 一种风机健康状态评估方法、装置和系统 | |
| CN116561508B (zh) | 基于大数据的人口数据的离群点检测方法、系统和介质 | |
| CN115504179B (zh) | 一种毛刷驱动装置的更换提醒方法、装置及电子设备 | |
| CN114705430B (zh) | 一种滚动轴承故障监测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |