CN117556368B - 基于物联网的水利监测异常数据处理方法 - Google Patents
基于物联网的水利监测异常数据处理方法 Download PDFInfo
- Publication number
- CN117556368B CN117556368B CN202410046048.XA CN202410046048A CN117556368B CN 117556368 B CN117556368 B CN 117556368B CN 202410046048 A CN202410046048 A CN 202410046048A CN 117556368 B CN117556368 B CN 117556368B
- Authority
- CN
- China
- Prior art keywords
- water level
- level data
- abnormal
- value
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 454
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 325
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 6
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000003203 everyday effect Effects 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 description 11
- 238000013480 data collection Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)
Abstract
本发明涉及电数字数据处理技术领域,具体涉及基于物联网的水利监测异常数据处理方法。该方法获取水位数据、水流速度和降雨量,确定疑似异常水位数据;根据疑似异常水位数据的变化情况和对应时刻的水位数据、水流速度和降雨量的关系,获取最终异常值;根据疑似异常水位数据的占比和最终异常值,获取整体异常值;根据最终异常值对疑似异常水位数据进行调整,获取局部均值;根据整体异常值和局部均值,获取整体水位均值和整体水位标准差,通过Z‑score算法,确定异常水位数据。本发明通过获取整体异常值和局部均值,降低异常水位数据对获取整体水位均值和整体水位标准差的影响,提高了通过Z‑score算法检测异常水位数据的准确性。
Description
技术领域
本发明涉及电数字数据处理技术领域,具体涉及基于物联网的水利监测异常数据处理方法。
背景技术
通过对河流的水利进行监测,有助于对水资源的合理规划提供帮助,保证水资源的均衡分配。其中,河流的水位数据可以准确反映出河流的水利情况,因此,需要工作人员对河流的水位数据进行准确的监测,使得水资源的分配更合理。
现有方法中通过Z-score算法对河流的水位数据进行分析,判断当前河流中水的变化情况,筛选出异常水位数据,便于及时对河流水资源进行调整。但在实际情况中,Z-score算法中的均值和标准差对异常水位数据较为敏感,当存在较多的异常水位数据时,会使得Z-score算法对异常水位数据的判断出现较大的误差,导致无法准确识别异常水位数据,进而对河流的水利无法进行准确的监测,对河流水资源调整不合理,容易造成水灾害。
发明内容
为了解决当存在的异常水位数据较多时,Z-score算法容易对异常水位数据的判断出现误差,导致异常水位数据无法准确识别的技术问题,本发明的目的在于提供一种基于物联网的水利监测异常数据处理方法,所采用的技术方案具体如下:
本发明提出了一种基于物联网的水利监测异常数据处理方法,该方法包括以下步骤:
获取河的预设位置在预设时间段内每个时刻的水位数据、水流速度和降雨量,以及每个时刻距离最近一次降雨时刻之间的时刻总数量,作为每个时刻的第一数量;
将预设时间段划分为至少两个子时间段,根据每个子时间段内相邻时刻之间的水位数据差异,获取每个子时间段内的疑似异常水位数据;
根据每个子时间段内每个疑似异常水位数据的变化情况,获取每个疑似异常水位数据的第一异常值;
根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和第一数量之间的关系,获取每个疑似异常水位数据的第二异常值;
根据所述第一异常值和所述第二异常值,获取每个疑似异常水位数据的最终异常值;
根据每个子时间段内疑似异常水位数据的占比和最终异常值,获取每个子时间段的整体异常值;
根据最终异常值对每个疑似异常水位数据进行调整,获取每个子时间段内调整后的疑似异常水位数据和正常水位数据的均值,作为每个子时间段的局部均值;
根据每个子时间段的整体异常值和局部均值,获取预设时间段的整体水位均值和整体水位标准差,通过Z-score算法,确定异常水位数据。
进一步地,所述疑似异常水位数据的获取方法为:
对于任一子时间段,获取该子时间段内第i个时刻与第(i+1)个时刻之间的水位数据的差值绝对值,作为第i个水位差异值;
当第(i-1)个水位差异值和第i个水位差异值均大于预设的水位差异阈值时,将第i个时刻的水位数据作为疑似异常水位数据。
进一步地,所述第一异常值的获取方法为:
将每个子时间段内水位数据的中位数,作为每个子时间段的水位标定值;
将每个子时间段内每个时刻的水位数据与水位标定值的差值绝对值,作为对应时刻的水位数据的第一偏差值;
将每个子时间段内第一偏差值的中位数,作为每个子时间段的水位偏差值;
将每个子时间段内每个疑似异常水位数据的第一偏差值与对应子时间段的水位偏差值的比值,作为对应子时间段内对应疑似异常水位数据的第一异常值。
进一步地,所述第二异常值的获取方法为:
获取每天采集数据时刻的总数量,作为第二数量;
将预设时间段内每个时刻的第一数量与第二数量的比值,作为对应时刻的距雨天数;
根据预设时间段与每个时刻的距雨天数的差异,获取对应时刻的调节值;
根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和调节值,获取每个疑似异常水位数据的第二异常值。
进一步地,所述第二异常值的计算公式为:
式中,为第k个疑似异常水位数据的第二异常值;/>为第k个疑似异常水位数据对应时刻的第一数量;/>为第k个疑似异常水位数据对应时刻的降雨量;/>为第k个疑似异常水位数据对应时刻的水流速度;/>为第k个疑似异常水位数据;/>为第k个疑似异常水位数据对应时刻的调节值;D为预设时间段;n为第二数量;/>为第k个疑似异常水位数据对应时刻的距雨天数;/>为第二预设常数,大于0;/>为绝对值函数;norm为归一化函数。
进一步地,所述最终异常值的获取方法为:
将每个疑似异常水位数据的第一异常值和第二异常值的乘积,作为每个疑似异常水位数据的最终异常值。
进一步地,所述整体异常值的计算公式为:
式中,为第Z个子时间段的整体异常值;/>为第Z个子时间段内水位数据的总数量;/>为第Z个子时间段内疑似异常水位数据的总数量;/>为第Z个子时间段内第s个疑似异常水位数据的最终异常值;norm为归一化函数。
进一步地,所述局部均值的获取方法为:
对于任一子时间段,将该子时间段内每个疑似异常水位数据与对应最终异常值的比值,作为对应疑似异常水位数据的调整值;
获取该子时间段内每个疑似异常水位数据的调整值和正常水位数据的均值,作为该子时间段的局部均值。
进一步地,所述整体水位均值的计算公式为:
式中,为整体水位均值;J为子时间段的总数量;/>为第j个子时间段的整体异常值;/>为第j个子时间段的局部均值。
进一步地,所述确定异常水位数据的方法为:
将每个时刻的水位数据通过Z-score算法,获取每个时刻的水位数据与整体水位均值相差的整体水位标准差的数量值;
将所述数量值的绝对值,作为对应时刻的水位数据的差异数量;
当水位数据的差异数量大于预设的差异数量阈值时,将对应时刻的水位数据作为异常水位数据。
本发明具有如下有益效果:
将预设时间段划分为至少两个子时间段,便于对水位数据进行准确的分析;进而根据每个子时间段内相邻时刻之间的水位数据差异,获取每个子时间段内的疑似异常水位数据,便于后续高效的获取整体水位均值和整体水位标准差;为了降低异常水位数据对获取整体水位均值产生的影响,进而准确获取每个疑似异常水位数据的异常程度,因此,首先根据每个子时间段内每个疑似异常水位数据的变化情况,获取每个疑似异常水位数据的第一异常值,初步判断每个疑似异常水位数据的异常程度;进一步根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和第一数量之间的关系,获取每个疑似异常水位数据的第二异常值,进一步判断每个疑似异常水位数据的异常程度;进而根据第一异常值和第二异常值,获取每个疑似异常水位数据的最终异常值,准确反映出每个疑似异常水位数据的异常程度;为了准确的获取整体水位均值,进而根据每个子时间段内疑似异常水位数据的占比和最终异常值,获取每个子时间段的整体异常值,对每个子时间段内的水位数据均值进行准确的调整,降低异常水位数据对Z-score算法中的整体水位均值和整体水位标准差的影响;同时,根据最终异常值对每个疑似异常水位数据进行调整,获取每个子时间段内调整后的疑似异常水位数据和正常水位数据的均值,作为每个子时间段的局部均值,更能反映出每个子时间段内的实际水位数据均值,进一步降低异常水位数据产生的影响;因此,根据每个子时间段的整体异常值和局部均值,准确获取预设时间段的整体水位均值和整体水位标准差,使得通过Z-score算法,准确确定异常水位数据,进而及时对河流中的水资源进行调整,确保水资源的合理分配,及时避免水灾害的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于物联网的水利监测异常数据处理方法的流程示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于物联网的水利监测异常数据处理方法,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于物联网的水利监测异常数据处理方法的具体方案。
本发明实施例的具体场景:在每条河流中均设定一个预设位置,本发明实施例对任一条河流中的预设位置处的水位变化情况进行分析,对该河流中的水进行准确监测,及时发现该条河流中的异常水位数据,及时对该河流中的水资源进行调整。
本发明实施例的目的:在利用Z-score算法获取预设时间段内的异常水位数据时,由于所采集的水位数据中可能存在异常水位数据,以及因环境变化导致的水位数据变化被误认为异常水位数据,可能会导致预设时间段内的水位数据均值存在误差,进而导致异常水位数据识别不准确。因此,本发明实施例为了降低异常水位数据对获取预设时间段内的水位数据均值和水位数据标准差的影响,进而将预设时间段进行分段,通过分析不同子时间段内水位数据、水流速度和降雨量的变化,获取每个子时间段的整体异常值来代表每个子时间段的权重,进而根据每个子时间段的整体异常值对每个子时间段的水位数据均值进行调整,
准确获取预设时间段内水位数据均值和水位数据标准差,降低异常水位数据的影响,准确检测异常水位数据,对河流的水资源进行准确调整。其中,Z-score算法为公知技术,不再进行赘述。
请参阅图1,其示出了本发明一个实施例提供的一种基于物联网的水利监测异常数据处理方法的流程示意图,该方法包括以下步骤:
步骤S1:获取河的预设位置在预设时间段内每个时刻的水位数据、水流速度和降雨量,以及每个时刻距离最近一次降雨时刻之间的时刻总数量,作为每个时刻的第一数量。
具体的,在实际情况中,不同河流之间相同连通,通过河道阀门来控制不同河流的水资源,确保水资源被合理分配。为了对河流中的水进行准确调整,本发明实施例在河流的预设位置处放置传感器,获取预设时间段内每个时刻的水位数据、水流速度和降雨量,同时,记录降雨的时刻,获取预设时间段内每个时刻距离最近一次降雨结束时刻之间的时刻总数量,作为每个时刻的第一数量,便于对预设时间段内河流的水资源进行分析,及时对河流的水资源进行调整,确保水资源被合理分配。其中,本发明实施例将河流的预设位置设定在河流的阀门附近,便于对河流的水位变化进行准确分析,实施者可根据实际情况设定河流的预设位置,在此不进行限定。为了更好的对本发明实施例进行描述,本发明实施例以一条河流中的预设位置为例,获取该河流的异常水位数据,及时对该河流的水资源进行调整。同时,本发明实施例将预设时间段设定为7天,相邻两个采集数据时刻之间的时间间隔设定为3分钟,实施者可根据实际情况设定预设时间段和相邻两个采集数据时刻之间的时间间隔的大小,在此不进行限定。
步骤S2:将预设时间段划分为至少两个子时间段,根据每个子时间段内相邻时刻之间的水位数据差异,获取每个子时间段内的疑似异常水位数据。
具体的,由于预设时间段内的数据量较大,并且数据的时间跨度较大,因此,存在某个时刻的水位数据在不同的时间范围内,异常程度可能是不同的。为了避免异常水位数据在预设时间段内的整体水位数据中的变化不明显,进而导致异常水位数据不能被准确识别的问题,本发明实施例将预设时间段进行均匀划分,获得预设数量个子时间段。本发明实施例将预设数量设定为10,实施者可根据实际情况设定预设数量的大小,在此不进行限定。进而对每个子时间段内水位数据的变化进行分析,获取每个子时间段内的疑似异常水位数据,提高后续检测异常水位数据的效率和准确性。优选地,获取疑似异常水位数据的方法为:对于任一子时间段,获取该子时间段内第i个时刻与第(i+1)个时刻之间的水位数据的差值绝对值,作为第i个水位差异值;当第(i-1)个水位差异值和第i个水位差异值均大于预设的水位差异阈值时,将第i个时刻的水位数据作为疑似异常水位数据。其中,本发明实施例将预设的水位差异阈值设定为5,实施者可根据实际情况进行设定,在此不进行限定。至此,确定每个子时间段内的疑似异常水位数据。需要说明的是,每个子时间段的最后一个时刻不存在相邻的下一时刻,因此,本发明实施例不对每个子时间段的最后一个时刻进行分析。
步骤S3:根据每个子时间段内每个疑似异常水位数据的变化情况,获取每个疑似异常水位数据的第一异常值。
具体的,对每个子时间段内的水位数据的整体变化情况进行分析,本发明实施例通过遍历每个子时间段内的所有水位数据,获取每个子时间段内的水位数据的中位数,进而分析每个子时间段内的每个疑似异常水位数据与对应子时间段内的水位数据的中位数的差异情况,确定每个子时间段内每个疑似异常水位数据的第一异常值,初步判断每个疑似异常水位数据为异常水位数据的可能性。
优选地,获取第一异常值的方法为:将每个子时间段内水位数据的中位数,作为每个子时间段的水位标定值,确定每个子时间段内水位数据的整体分布趋势;将每个子时间段内每个时刻的水位数据与水位标定值的差值绝对值,作为对应时刻的水位数据的第一偏差值,确定每个子时间段内每个时刻的水位数据与水位标定值的差异程度,其中,差异程度越大,说明对应时刻的水位数据越可能异常;将每个子时间段内第一偏差值的中位数,作为每个子时间段的水位偏差值,反映出每个子时间段内第一偏差值的整体变化程度的趋近值;将每个子时间段内每个疑似异常水位数据的第一偏差值与对应子时间段的水位偏差值的比值,作为对应子时间段内对应疑似异常水位数据的第一异常值。
作为一个示例,以第Z个子时间段内第a个疑似异常水位数据为例,获取第Z个子时间段内第a个疑似异常水位数据的第一异常值的计算公式为:
式中,为第Z个子时间段内第a个疑似异常水位数据的第一异常值;/>为第Z个子时间段内第a个疑似异常水位数据;/>为第Z个子时间段的水位标定值;/>为第Z个子时间段的水位偏差值;/>为第Z个子时间段内第a个疑似异常水位数据的第一偏差值;/>为第一预设常数,大于0;/>为绝对值函数。
本发明实施例将设定为1,避免分母为0,实施者可根据实际情况设定/>的大小,在此不进行限定。
需要说明的是,第一偏差值越大,/>与/>的差异越大,第Z个子时间段内第a个疑似异常水位数据与第Z个子时间段内其他水位数据的差异越大,/>越大;因此,/>越大,第Z个子时间段内第a个疑似异常水位数据越可能为异常水位数据。
根据获取第Z个子时间段内第a个疑似异常水位数据的第一异常值的方法,获取每个子时间段内每个疑似异常水位数据的第一异常值。
步骤S4:根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和第一数量之间的关系,获取每个疑似异常水位数据的第二异常值。
在自然情况下,河流水位数据的变化与河流所在区域的降雨量和河流的水流速度均存在关系,当预设时间段内存在降雨时,降雨期间河流的水流速度越大、降雨量越大,且距离最近一次降雨停止的时刻越近,对应时刻的水位数据越大;当预设时间段内不存在降雨时,降雨量则为0且河流的水流速度越小,且距离最近一次降雨停止时刻越远,对应时刻的水位数据越小。若某个疑似异常水位数据对应时刻的水位数据、水流速度和降雨量之间的关系不符合正常情况下水位数据、水流速度和降雨量之间的变化关系时,则该疑似异常水位数据越可能为异常水位数据。因此,根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和第一数量之间的关系,获取每个疑似异常水位数据的第二异常值,进一步判断每个疑似异常水位数据为异常水位数据的可能性。
优选地,获取第二异常值的方法为:获取每天采集数据时刻的总数量,作为第二数量,由步骤S1可知本发明实施例中相邻两个采集数据时刻之间的时间间隔为3分钟,则一天采集数据时刻的总数量为,即第二数量为480。将预设时间段内每个时刻的第一数量与第二数量的比值,作为对应时刻的距雨天数;根据预设时间段与每个时刻的距雨天数的差异,获取对应时刻的调节值。其中,本发明实施例中预设时间段为7天;根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和调节值,获取每个疑似异常水位数据的第二异常值。
作为一个示例,以第k个疑似异常水位数据为例,获取第k个疑似异常水位数据的第二异常值的计算公式为:
式中,为第k个疑似异常水位数据的第二异常值;/>为第k个疑似异常水位数据对应时刻的第一数量;/>为第k个疑似异常水位数据对应时刻的降雨量;/>为第k个疑似异常水位数据对应时刻的水流速度;/>为第k个疑似异常水位数据;/>为第k个疑似异常水位数据对应时刻的调节值;D为预设时间段,本发明实施例为7;n为第二数量,本发明实施例为480;/>为第k个疑似异常水位数据对应时刻的距雨天数;/>为第二预设常数,大于0;/>为绝对值函数;norm为归一化函数。
本发明实施例将第二预设常数设定为1,避免分子和分母为0,实施者可根据时间情况设定/>的大小,在此不进行限定。
需要说明的是,当D与相等时,默认/>为1,因此,/>为1或者-1;当/>为1时,说明第k个疑似异常水位数据对应时刻距离最近一次最后降雨时刻之间的时间间隔在7天内,间接说明在正常情况下第k个疑似异常水位数据对应时刻的水流速度、降雨量和水位数据均越大,因此,当/>越小时,若/>、/>和/>越大,则说明第k个疑似异常水位数据越不可能为异常水位数据,/>越小。当/>为-1时,第k个疑似异常水位数据对应时刻距离最近一次最后降雨时刻之间的时间间隔大于7天,间接说明在正常情况下第k个疑似异常水位数据对应时刻的水流速度、降雨量和水位数据均越小,因此,当/>越大时,若/>、/>和/>越小,则说明第k个疑似异常水位数据越不可能为异常水位数据,/>越小。因此,/>越大,说明第k个疑似异常水位数据越可能为异常水位数据。
根据获取第k个疑似异常水位数据的第二异常值的方法,获取每个疑似异常水位数据的第二异常值。
步骤S5:根据所述第一异常值和所述第二异常值,获取每个疑似异常水位数据的最终异常值。
具体的,为了更准确的获取每个疑似异常水位数据的最终异常值,进而准确检测出异常水位数据,本发明实施例将每个疑似异常水位数据的第一异常值和第二异常值的乘积,作为每个疑似异常水位数据的最终异常值,准确反映出每个疑似异常水位数据的异常程度。至此,获取每个疑似异常水位数据的最终异常值。
步骤S6:根据每个子时间段内疑似异常水位数据的占比和最终异常值,获取每个子时间段的整体异常值。
具体的,已知每个子时间段内每个疑似异常水位数据的最终异常值,进而根据每个子时间段内疑似异常水位数据的占比和最终异常值,获取每个子时间段的整体异常值,确定每个子时间段的水位数据均值在参与获取预设时间段的水位数据均值时所对应的权重,避免异常水位数据对获取预设时间段的水位数据均值产生的影响,使得通过Z-score算法准确检测出异常水位数据。
作为一个示例,以第Z个子时间段为例,根据第Z个子时间段内疑似异常水位数据的占比和最终异常值,获取第Z个子时间段的整体异常值的计算公式为:
式中,为第Z个子时间段的整体异常值;/>为第Z个子时间段内水位数据的总数量;/>为第Z个子时间段内疑似异常水位数据的总数量;/>为第Z个子时间段内疑似异常水位数据的占比;/>为第Z个子时间段内第s个疑似异常水位数据的最终异常值;norm为归一化函数。
需要说明的是,越大,说明第Z个子时间段内的疑似异常水位数据越多,/>越大;/>越大,说明第Z个子时间段内第s个疑似异常水位数据的异常程度越大,/>越大,第Z个子时间段内疑似异常水位数据的异常程度越大,/>越大;因此,/>越大,第Z个子时间段内的水位数据的异常程度越大。
根据获取第Z个子时间段的整体异常值的方法,获取每个子时间段的整体异常值。
步骤S7:根据最终异常值对每个疑似异常水位数据进行调整,获取每个子时间段内调整后的疑似异常水位数据和正常水位数据的均值,作为每个子时间段的局部均值。
具体的,为了准确获取预设时间段的水位数据均值,首先需要根据每个疑似异常水位数据的最终异常值对每个疑似异常水位数据进行调整,进而获取每个子时间段内调整后的疑似异常水位数据和正常水位数据的均值,即为每个子时间段的局部均值。根据每个子时间段的整体异常值对每个子时间段的局部均值进行调整,准确获取预设时间段的水位数据均值和水位数据标准差,使得Z-score算法的计算结果更准确。
优选地,获取局部均值的方法为:对于任一子时间段,将该子时间段内每个疑似异常水位数据与对应最终异常值的比值,作为对应疑似异常水位数据的调整值;获取该子时间段内每个疑似异常水位数据的调整值和正常水位数据的均值,作为该子时间段的局部均值。至此,获取每个子时间段的局部均值。
步骤S8:根据每个子时间段的整体异常值和局部均值,获取预设时间段的整体水位均值和整体水位标准差,通过Z-score算法,确定异常水位数据。
具体的,当某个子时间段的整体异常值越大时,说明该子时间段的局部均值和水位数据标准差越偏离实际情况,因此,本发明实施例根据每个子时间段的整体异常值和局部均值,获取预设时间段的整体水位均值,进而获取预设时间段的整体水位标准差。
作为一个示例,根据每个子时间段的整体异常值和局部均值,获取预设时间段的整体水位均值的计算公式为:
式中,为整体水位均值;J为子时间段的总数量;/>为第j个子时间段的整体异常值;/>为第j个子时间段的局部均值。
需要说明的是,越大,第j个子时间段内水位数据的异常程度越大,/>越小,/>越小,/>参与获取/>的占比越小。其中,/>越大,说明预设时间段内水位数据的均值越大。
进而根据获取的整体水位均值和每个子时间段的局部均值,获取预设时间段的整体水位标准差。
通过Z-score算法,根据预设时间段的整体水位均值和整体水位标准差,获取预设时间段内每个时刻的水位数据与整体水位均值相差的整体水位标准差的数量值,其中,数量值为实数,为了通过数量值检测出异常水位数据,本发明实施例获取每个数量值的绝对值,作为对应时刻的水位数据的差异数量。
本发明实施例将预设的差异数量阈值设定为3,实施者可根据实际情况设定预设的差异数量阈值,在此不进行限定。当水位数据的差异数量大于预设的差异数量阈值时,将对应时刻的水位数据作为异常水位数据。至此,获取预设时间段内的异常水位数据,完成异常水位数据的检测,便于工作人员准确对河流的水位数据进行调整,确保水资源的合理分配,避免有关水的灾害发生。
至此,本发明完成。
综上所述,本发明实施例获取水位数据、水流速度和降雨量,确定疑似异常水位数据;根据疑似异常水位数据的变化情况和对应时刻的水位数据、水流速度和降雨量的关系,获取最终异常值;根据疑似异常水位数据的占比和最终异常值,获取整体异常值;根据最终异常值对疑似异常水位数据进行调整,获取局部均值;根据整体异常值和局部均值,获取整体水位均值和整体水位标准差,通过Z-score算法,确定异常水位数据。本发明通过获取整体异常值和局部均值,降低异常水位数据对获取整体水位均值和整体水位标准差的影响,提高了通过Z-score算法检测异常水位数据的准确性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种基于物联网的水利监测异常数据处理方法,其特征在于,该方法包括以下步骤:
获取河的预设位置在预设时间段内每个时刻的水位数据、水流速度和降雨量,以及获取预设时间段内每个时刻距离最近一次降雨结束时刻之间的时刻总数量,作为每个时刻的第一数量;所述每个时刻的时刻为采集数据时刻;
将预设时间段划分为至少两个子时间段,根据每个子时间段内相邻时刻之间的水位数据差异,获取每个子时间段内的疑似异常水位数据;
根据每个子时间段内每个疑似异常水位数据的变化情况,获取每个疑似异常水位数据的第一异常值;
根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和第一数量之间的关系,获取每个疑似异常水位数据的第二异常值;
根据所述第一异常值和所述第二异常值,获取每个疑似异常水位数据的最终异常值;
根据每个子时间段内疑似异常水位数据的占比和最终异常值,获取每个子时间段的整体异常值;
根据最终异常值对每个疑似异常水位数据进行调整,获取每个子时间段内调整后的疑似异常水位数据和正常水位数据的均值,作为每个子时间段的局部均值;
根据每个子时间段的整体异常值和局部均值,获取预设时间段的整体水位均值和整体水位标准差,通过Z-score算法,确定异常水位数据。
2.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述疑似异常水位数据的获取方法为:
对于任一子时间段,获取该子时间段内第i个时刻与第(i+1)个时刻之间的水位数据的差值绝对值,作为第i个水位差异值;
当第(i-1)个水位差异值和第i个水位差异值均大于预设的水位差异阈值时,将第i个时刻的水位数据作为疑似异常水位数据。
3.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述第一异常值的获取方法为:
将每个子时间段内水位数据的中位数,作为每个子时间段的水位标定值;
将每个子时间段内每个时刻的水位数据与水位标定值的差值绝对值,作为对应时刻的水位数据的第一偏差值;
将每个子时间段内第一偏差值的中位数,作为每个子时间段的水位偏差值;
将每个子时间段内每个疑似异常水位数据的第一偏差值与对应子时间段的水位偏差值的比值,作为对应子时间段内对应疑似异常水位数据的第一异常值。
4.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述第二异常值的获取方法为:
获取每天采集数据时刻的总数量,作为第二数量;
将预设时间段内每个时刻的第一数量与第二数量的比值,作为对应时刻的距雨天数;
根据预设时间段与每个时刻的距雨天数的差异,获取对应时刻的调节值;
根据每个疑似异常水位数据对应时刻的水位数据、水流速度、降雨量和调节值,获取每个疑似异常水位数据的第二异常值。
5.如权利要求4所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述第二异常值的计算公式为:
式中,为第k个疑似异常水位数据的第二异常值;/>为第k个疑似异常水位数据对应时刻的第一数量;/>为第k个疑似异常水位数据对应时刻的降雨量;/>为第k个疑似异常水位数据对应时刻的水流速度;/>为第k个疑似异常水位数据;/>为第k个疑似异常水位数据对应时刻的调节值;D为预设时间段;n为第二数量;/>为第k个疑似异常水位数据对应时刻的距雨天数;/>为第二预设常数,大于0;/>为绝对值函数;norm为归一化函数。
6.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述最终异常值的获取方法为:
将每个疑似异常水位数据的第一异常值和第二异常值的乘积,作为每个疑似异常水位数据的最终异常值。
7.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述整体异常值的计算公式为:
式中,为第Z个子时间段的整体异常值;/>为第Z个子时间段内水位数据的总数量;为第Z个子时间段内疑似异常水位数据的总数量;/>为第Z个子时间段内第s个疑似异常水位数据的最终异常值;norm为归一化函数。
8.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述局部均值的获取方法为:
对于任一子时间段,将该子时间段内每个疑似异常水位数据与对应最终异常值的比值,作为对应疑似异常水位数据的调整值;
获取该子时间段内每个疑似异常水位数据的调整值和正常水位数据的均值,作为该子时间段的局部均值。
9.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述整体水位均值的计算公式为:
式中,为整体水位均值;J为子时间段的总数量;/>为第j个子时间段的整体异常值;/>为第j个子时间段的局部均值。
10.如权利要求1所述一种基于物联网的水利监测异常数据处理方法,其特征在于,所述确定异常水位数据的方法为:
将每个时刻的水位数据通过Z-score算法,获取每个时刻的水位数据与整体水位均值相差的整体水位标准差的数量值;
将所述数量值的绝对值,作为对应时刻的水位数据的差异数量;
当水位数据的差异数量大于预设的差异数量阈值时,将对应时刻的水位数据作为异常水位数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410046048.XA CN117556368B (zh) | 2024-01-12 | 2024-01-12 | 基于物联网的水利监测异常数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410046048.XA CN117556368B (zh) | 2024-01-12 | 2024-01-12 | 基于物联网的水利监测异常数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117556368A CN117556368A (zh) | 2024-02-13 |
CN117556368B true CN117556368B (zh) | 2024-03-29 |
Family
ID=89817091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410046048.XA Active CN117556368B (zh) | 2024-01-12 | 2024-01-12 | 基于物联网的水利监测异常数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117556368B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118335310B (zh) * | 2024-06-13 | 2024-08-16 | 大连云智信科技发展有限公司 | 一种畜牧兽医用疫苗低温调节存储系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108920429A (zh) * | 2018-06-12 | 2018-11-30 | 河海大学 | 一种水位动态监测的异常数据分析方法 |
JP2019096255A (ja) * | 2017-11-28 | 2019-06-20 | 株式会社明電舎 | 下水道管渠内水位予測装置、下水道管渠内水位予測方法及び下水道管渠内水位予測プログラム |
CN112285287A (zh) * | 2020-10-19 | 2021-01-29 | 广东长天思源环保科技股份有限公司 | 一种烟气在线监测数据预处理方法 |
CN117113236A (zh) * | 2023-10-20 | 2023-11-24 | 广东申创光电科技有限公司 | 一种智慧城市监控系统及数据处理方法 |
CN117195008A (zh) * | 2023-11-08 | 2023-12-08 | 山东神光航天科技有限公司 | 一种用于空气质量监测的异常数据处理方法 |
-
2024
- 2024-01-12 CN CN202410046048.XA patent/CN117556368B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019096255A (ja) * | 2017-11-28 | 2019-06-20 | 株式会社明電舎 | 下水道管渠内水位予測装置、下水道管渠内水位予測方法及び下水道管渠内水位予測プログラム |
CN108920429A (zh) * | 2018-06-12 | 2018-11-30 | 河海大学 | 一种水位动态监测的异常数据分析方法 |
CN112285287A (zh) * | 2020-10-19 | 2021-01-29 | 广东长天思源环保科技股份有限公司 | 一种烟气在线监测数据预处理方法 |
CN117113236A (zh) * | 2023-10-20 | 2023-11-24 | 广东申创光电科技有限公司 | 一种智慧城市监控系统及数据处理方法 |
CN117195008A (zh) * | 2023-11-08 | 2023-12-08 | 山东神光航天科技有限公司 | 一种用于空气质量监测的异常数据处理方法 |
Non-Patent Citations (1)
Title |
---|
水利云下的数据清洗策略研究与实现;王海沛 等;软件;20161015;第37卷(第10期);第89-93页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117556368A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117556368B (zh) | 基于物联网的水利监测异常数据处理方法 | |
US8437870B2 (en) | System and method for implementing a virtual metrology advanced process control platform | |
RU2348959C2 (ru) | Диагностика клапана аварийного отключения с использованием датчика давления | |
CN117195137B (zh) | 基于数据分析的转子压铸误差检测系统 | |
CN116308305B (zh) | 一种桥梁健康监测数据管理系统 | |
CN110780261B (zh) | 一种电量采集数据核对方法及系统 | |
CN110298369A (zh) | 一种电力系统不良数据的辨识方法及系统 | |
CN110738346A (zh) | 一种基于威布尔分布的批次电能表可靠度预测方法 | |
CN116881673B (zh) | 基于大数据分析的盾构机运维方法 | |
CN117591964B (zh) | 基于人工智能的电力智能分析方法 | |
CN112418517B (zh) | 一种用于冻害短临预警的预测方法 | |
CN116073436B (zh) | 一种光伏新能源电力系统容量优化控制方法 | |
CN109872018A (zh) | 一种基于示功图的抽油井产量计算方法 | |
CN117331705B (zh) | 一种基于大数据的数据预测分析方法及系统 | |
CN116974310A (zh) | 基于云计算的浓缩加药自动控制系统 | |
CN116772285A (zh) | 一种智能楼宇供暖负载安全实时监控方法 | |
CN117829381B (zh) | 基于物联网的农业大棚数据优化采集系统 | |
CN117313020B (zh) | 一种承载式张力传感器数据处理方法 | |
CN117786445A (zh) | 一种自动化摇纱机运行数据智能处理方法 | |
CN112329272B (zh) | 综合光伏组件退化和寿命数据的剩余寿命拟合预测方法 | |
CN117872900A (zh) | 基于物联网技术的无纺布生产设备远程监控系统 | |
CN111397677A (zh) | 一种基于超声波计量的脉动流检测方法 | |
CN116662800A (zh) | 一种基于自适应注意力机制的滚动轴承故障诊断方法 | |
CN114660245B (zh) | 在线分析仪表自检测控制方法及系统 | |
CN116429161A (zh) | 一种火电厂在线化学仪表动态校验方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |