CN113962320A - 地下水监测数据处理方法及装置 - Google Patents

地下水监测数据处理方法及装置 Download PDF

Info

Publication number
CN113962320A
CN113962320A CN202111275967.7A CN202111275967A CN113962320A CN 113962320 A CN113962320 A CN 113962320A CN 202111275967 A CN202111275967 A CN 202111275967A CN 113962320 A CN113962320 A CN 113962320A
Authority
CN
China
Prior art keywords
data
water level
monitoring
abnormal
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111275967.7A
Other languages
English (en)
Inventor
黎涛
李长青
皮锴鸿
林艳竹
刘琨
刘栋永
何亚平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute Of Geological Environment Monitoring
Original Assignee
China Institute Of Geological Environment Monitoring
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute Of Geological Environment Monitoring filed Critical China Institute Of Geological Environment Monitoring
Priority to CN202111275967.7A priority Critical patent/CN113962320A/zh
Publication of CN113962320A publication Critical patent/CN113962320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18—Water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种地下水监测数据处理方法及装置，该方法包括：获取地下水监测数据，所述地下水监测数据包括水位监测数据；对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。该方法能够规范地下水监测的数据整编工作，确保地下水监测站网的运行安全、平稳、高效和持久，保证监测数据的及时性、真实性和连续性，为构建应用系统提供数据支持。

Description

地下水监测数据处理方法及装置
技术领域
本发明涉及水质监测领域，尤其涉及一种地下水监测数据处理方法及装置。
背景技术
地下水监测，为地下水监测管理部门对辖区内地下水水位、水质等数据进行监测，以便及时掌握动态变化情况，对地下水进行长期的保护。检测地下水水体异常情况并做出正确的应对措施具有非常重要的意义。
由于整个水利相关的数据异常繁多，如何从诸多的数据中，筛选出有效数据，剔除异常数据，是目前亟待解决的问题。
发明内容
针对现有技术存在的问题，本发明提供一种地下水监测数据处理方法及装置。
本发明提供一种地下水监测数据处理方法，包括：获取地下水监测数据，所述地下水监测数据包括水位监测数据；对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
根据本发明一个实施例的地下水监测数据处理方法，所述地下水监测数据还包括水质监测数据，所述方法还包括：根据如下判断规则之一确定水质异常数据：水质数据的质控指标不满足预设条件；水质数据超出水化学科学界限；水质数据出现年际突变；将水质异常数据标注进行人机界面展示，并接收异常数据的剔除结果。
根据本发明一个实施例的地下水监测数据处理方法，所述确定每日的水位异常数据之后，还包括：在一天中时值数据的异常数据少于2个时，先做抛弃处理，再由线性插值方法补全；在一天中时值数据异常数据多于或等于2个且无法补全时，发送补充告警，以告知进行人工补测。
根据本发明一个实施例的地下水监测数据处理方法，还包括：对每日数据形成的月度数据，根据如下判断规则之一确定月度异常数据：
连续4日未收到传回数据；
连续48小时数据恒定；
水位数据落在数据的一阶差分双侧2.5％区间外；
对所述水位监测数据的日值数据按季度进行同比、环比计算，超出预设阈值；
基于密度的方法，确定离群因子大于预设阈值的数据；
根据正态分布和均值，确定异常数据的区间。
根据本发明一个实施例的地下水监测数据处理方法，所述确定月度异常数据之后，还包括：若为连续4日未收到传回数据，则发出异常报警，以告知设备管理工程师维护设备；否则，标记异常数据，发送至人机界面以告知运维工程师，并接收填补后数据；将填补后的月度数据发送至数据库进行存储，形成月整编修改数据。
根据本发明一个实施例的地下水监测数据处理方法，所述方法还包括：对于数据库中存储的每个月度数据，按照季度根据监测点水位的变化区间，对超过区间的数据进行其它时值数据的替代，生成季度整编数据。
根据本发明一个实施例的地下水监测数据处理方法，所述方法还包括：对月度数据形成的年度数据，根据如下判断规则之一确定年度异常数据：基于密度的方法，确定离群因子大于预设阈值的数据；根据密度聚类法，确定异常数据；将剔除异常后的数据发送至数据库进行存储，形成年度整编数据。
本发明还提供一种地下水监测数据整编装置，包括：获取模块，用于获取地下水监测数据，所述地下水监测数据包括水位监测数据；处理模块，用于对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；交互模块，用于将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述地下水监测数据处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述地下水监测数据处理方法的步骤。
本发明提供的地下水监测数据处理方法及装置，能够规范地下水监测的数据整编工作，确保地下水监测站网的运行安全、平稳、高效和持久，保证监测数据的及时性、真实性和连续性，为构建应用系统提供数据支持。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的地下水监测数据处理方法的流程示意图；
图2是本发明提供的Tukey箱型图；
图3是本发明提供的地下水监测数据整编装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的地下水监测数据处理方法及装置。图1是本发明提供的地下水监测数据处理方法的流程示意图，如图1所示，本发明提供地下水监测数据处理方法，包括：
101、获取地下水监测数据，所述地下水监测数据包括水位监测数据。
根据各监测井或监测站点，获取地下水监测数据，所述地下水监测数据包括水位监测数据，还可包括水质监测数据。
102、对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据。
水位日值数据由信息系每天进行计算，并对有异常的数据标记，并启动后续的日常整编流程。
103、将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
错误数据由信息系统发现，并启动修正流程。水位数据整编主要修正水位中的原则性错误，比如水位高于井口标高等。
此外，可对监测站点基本信息进行整编，以对全部监测的基本信息进行确认和检查。
本发明的地下水监测数据处理方法，能够规范地下水监测的数据整编工作，确保地下水监测站网的运行安全、平稳、高效和持久，保证监测数据的及时性、真实性和连续性，为构建应用系统提供数据支持。
在一个实施例中，地下水监测数据还包括水质监测数据，所述方法还包括根据如下判断规则之一确定水质异常数据：水质数据的质控指标不满足预设条件；水质数据超出水化学科学界限；水质数据出现年际突变；将水质异常数据标注进行人机界面展示，并接收异常数据的剔除结果。
优选的，质控指标包括原始数据获取率、缺测率、缺值补录率、数据剔除率、修正率、数据完整率或插值率中任意一项或多项。
指标1.原始数据获取率
原始数据获取率表示实际获得的实测数据占应获得数据量的比例，同一个时段的缺测率可随整编周期的变化而变化。例如，使用中以A2018表示2018年数据获取率，A201802表示2018年2月数据获取率，A2018s1表示2018年1月数据获取率。
原始数据获取率：
Figure BDA0003329980310000051
其中，A，(access)，原始数据获取率；g，(gms，gprs)为考核周期内通过自动传输系统获取到的数据量；s，(survey)为考核周期内通过人工野外补测获得到的数据量；c，(copy)为考核周期内通过人工野外拷贝仪器中数据并导入系统获得到的数据量；t，(total)为考核周期的天数，可为月、季、年的实际天数，表示应该获得的数据量。
指标2.缺测率
对日值而言，理论上每天获得一个数据。缺测率表示缺值数据占应获得数据量的比例，同一个时段的缺测率可随整编周期的变化而变化。L201802表示2018年2月数据获取率，L 2018s1表示2018年1月数据获取率，L2018s1表示2018年1月数据获取率
缺测率：
Figure BDA0003329980310000061
其中，L，(lack)为缺测率。l，(lack)为缺测日值数量。t，(total)，为考核周期的天数，可为月、季、年的实际天数，表示应该获得的数据量。
指标3.缺值补录率
表示补录数据占缺测数据的比例，补录数据包括两个来源，人工野外实测和野外仪器人工导入。考核周期可为月、季度、年。
缺值补录率：
Figure BDA0003329980310000062
其中，S，(supplement)为缺值数据补录率；a，人工野外实测数据量(个)；b，野外仪器人工导入数据量(个)；l，缺测数据量(个)。
指标4.数据剔除率
表示被剔除的数据占全部实测数据的比例。
剔除率：
Figure BDA0003329980310000063
其中，D，(delete)为数据剔除率；d，(delete)为被剔除的数据量；g，(gms，gprs)为考核周期内通过自动传输系统获取到的数据量；s，(survey)为考核周期内通过人工野外补测获得到的数据量；c，(copy)为考核周期内通过人工野外拷贝仪器中数据并导入系统获得到的数据量。
指标5.修正率
表示被修正的数据占考核天数的比例。
Figure BDA0003329980310000064
其中，R，(repair)为数据率；r，(delete)为被修正的数据量；t，(total)为考核周期的天数，可为月、季、年的实际天数，表示应该获得的数据量。
指标6.数据完整率
全部有效数据占被考核天数的比例。
Figure BDA0003329980310000071
其中，C，(complete)为数据完整率；g，(gms，gprs)为考核周期内通过自动传输系统获取到的数据量；s，(survey)为考核周期内通过人工野外补测获得到的数据量；c，(copy)为考核周期内通过人工野外拷贝仪器中数据并导入系统获得到的数据量；i，(interpolation)为插值数据量；d，(delete)为剔除数据量；t，(total)为考核周期的天数。可为月、季、年的实际天数，表示应该获得的数据量。
指标7.插值率
插值数据占被考核天数的比例。
Figure BDA0003329980310000072
其中，I，(interpolation)为插值率；i，(interpolation)为插值数据量；t，(total)为考核周期的天数，可为月、季、年的实际天数，表示应该获得的数据量。
在一个实施例中，所述确定每日的水位异常数据之后，还包括：在一天中时值数据的异常数据少于2个时，先做抛弃处理，再由线性插值方法补全；在一天中时值数据异常数据多于或等于2个且无法补全时，发送补充告警，以告知进行人工补测。
水位异常值处理：一天中时值数据异常数据少于2个时，先做抛弃处理，再由线性插值方法补全，插值由信息系统完成。
水位缺值处理：一天中时值数据异常数据少于或等于2个时，直接由线性插值方法补全。时值缺值超过2个时数据缺测，可确认是否通过其它数据补充，否则为缺测。缺测时，须进行人工野外补测，并人工导入数据。
在一个实施例中，还包括：对每日数据形成的月度数据，根据如下判断规则之一确定月度异常数据：
连续4日未收到传回数据；
连续48小时数据恒定；
水位数据落在数据的一阶差分双侧2.5％区间外；
对所述水位监测数据的日值数据按季度进行同比、环比计算，超出预设阈值；
基于密度的方法，确定离群因子大于预设阈值的数据；
根据正态分布和均值，确定异常数据的区间。
在一维空间中的固有思维是较大或较小的数据会是异常，但是在高维空间中，数据是不能直接拿来比较大小的。仍以一维数据为例，考虑以下序列的异常情况：
{1，2，3，2，50，97，97，98，99}
50更有可能认为是异常或离群点，而非1或99。当数据分布的假设不是必要条件时，计算数据点的密度来判定异常也是一个行之有效的方法。
点的密度可有多种定义，但多数都会依赖距离的定义，多维空间的距离计算较为复杂，尤其当数据混入分类变量和连续数值变量的时候。以一个简单的密度方法为例，在LOF(Breunig，M.,Kriegel,H.,Ng,R.,and Sander,J.(2000).LOF:identifying density-based local outliers.)算法中，数据的异常判定依赖于计算每个观测的局部离群因子。
离群因子表征了数据点与周围邻居点的密切程度，或者不合群的程度。因子值越大，其为异常点的可能性越大。
先对上年、及上上年同期数据做正态性检验，符合正态分布后使用此规则。在统计学中，如果一个数据分布近似正态，那么大约68％的数据值会在均值的一个标准差范围内，大约95％会在两个标准差范围内，大约99.7％会在三个标准差范围内。
借助正态分布的优良性质，3σ准则常用来判定数据是否异常。由于正态分布关于均值μ对称，数值分布在(μ-σ，μ+σ)中的概率为0.6827，数值分布在(μ-3σ，μ+3σ)中的概率为0.9973。也就是说只有0.3％的数据会落在均值的±3σ之外，这是一个小概率事件。为了避免极端值影响到模型整体的鲁棒性，常将其判定为异常值并从数据中剔除。
正态分布的参数μ和σ极易受到个别异常值的影响，从而影响判定的有效性，因此又产生了Tukey箱型图法。
图2是本发明提供的Tukey箱型图，如图2所示，图2中IQR，即四分位间距Q3-Q1，(Q1,Q3)涵盖了数据分布最中间的50％的数据，具有稳健性。数据落在(Q1-1.5*IQR,Q3+1.5*IQR)范围内，则认为是正常值，在此范围之外的即为异常值。
在一个实施例中，确定月度异常数据之后，还包括：若为连续4日未收到传回数据，则发出异常报警，以告知设备管理工程师维护设备；否则，标记异常数据，发送至人机界面以告知运维工程师，并接收填补后数据；将填补后的月度数据发送至数据库进行存储，形成月整编修改数据。
未收到传回数据，则由设备管理工程师确认设备状态，优先采用人工补测。
若数据异常，则发送至运维工程师进行处理(可进行数据填补)，然后发送到区负责人知悉，最后数据入库并修改质量控制状态为月整编修改。
在一个实施例中，所述方法还包括：对于数据库中存储的每个月度数据，按照季度根据监测点水位的变化区间，对超过区间的数据进行其它时值数据的替代，生成季度整编数据。
经月度整编后的数据，分析日值(0点时值)数据的同比、环比值的合理性，并进行相应处理。结合区域水文地质条件判定监测点水位的变化的合理区间，对不合理数据标记为异常数据。
在一个实施例中，所述方法还包括：对月度数据形成的年度数据，根据如下判断规则之一确定年度异常数据：基于密度的方法，确定离群因子大于预设阈值的数据；根据密度聚类法，确定异常数据；将剔除异常后的数据发送至数据库进行存储，形成年度整编数据。
年度整编主要是对监测点的动态趋势合理性进行分析，可采用上述于密度的方法。此外，还可采用聚类算法。
DBScan是一种用于把数据聚成组的聚类算法。它同样也被用于单维或多维数据的基于密度的异常检测。其它聚类算法比如k均值和层次聚类也可用于检测离群点。
核心点：为了理解核心点的概念，我们需要访问一些用于定义DBScan任务的超参数。第一个超参数是min_samples。这只是形成簇所需的最小核心点数量。第二个重要的超参数是eps。eps可以视为同一个簇中两个样本之间的最大距离。
边界点与核心点位于同一个簇中，但前者距离簇的中心要远得多。其它任何点都被称作噪声点，它们是不属于任何簇的数据点。它们可能是异常的或非异常的，需要进一步研究。根据DBScan，可以确定多个异常数据点。
下面对本发明提供的地下水监测数据整编装置进行描述，下文描述的地下水监测数据整编装置与上文描述的地下水监测数据处理方法可相互对应参照。
图3是本发明提供的地下水监测数据整编装置的结构示意图，如图3所示，该地下水监测数据整编装置包括：获取模块301、处理模块302和交互模块303。其中，获取模块301用于获取地下水监测数据，所述地下水监测数据包括水位监测数据；处理模块302用于对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；交互模块303用于将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的地下水监测数据整编装置，能够规范地下水监测的数据整编工作，确保地下水监测站网的运行安全、平稳、高效和持久，保证监测数据的及时性、真实性和连续性，为构建应用系统提供数据支持。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行地下水监测数据处理方法，该方法包括：获取地下水监测数据，所述地下水监测数据包括水位监测数据；对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的地下水监测数据处理方法，该方法包括：获取地下水监测数据，所述地下水监测数据包括水位监测数据；对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的地下水监测数据处理方法，该方法包括：获取地下水监测数据，所述地下水监测数据包括水位监测数据；对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种地下水监测数据处理方法，其特征在于，包括：
获取地下水监测数据，所述地下水监测数据包括水位监测数据；
对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；
将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
2.根据权利要求1所述的地下水监测数据处理方法，其特征在于，所述地下水监测数据还包括水质监测数据，所述方法还包括根据如下判断规则之一确定水质异常数据：
水质数据的质控指标不满足预设条件；
水质数据超出水化学科学界限；
水质数据出现年际突变；
将水质异常数据标注进行人机界面展示，并接收异常数据的剔除结果。
3.根据权利要求1所述的地下水监测数据处理方法，其特征在于，所述确定每日的水位异常数据之后，还包括：
在一天中时值数据的异常数据少于2个时，先做抛弃处理，再由线性插值方法补全；
在一天中时值数据异常数据多于或等于2个且无法补全时，发送补充告警，以告知进行人工补测。
4.根据权利要求1所述的地下水监测数据处理方法，其特征在于，还包括：对每日数据形成的月度数据，根据如下判断规则之一确定月度异常数据：
连续4日未收到传回数据；
连续48小时数据恒定；
水位数据落在数据的一阶差分双侧2.5％区间外；
对所述水位监测数据的日值数据按季度进行同比、环比计算，超出预设阈值；
基于密度的方法，确定离群因子大于预设阈值的数据；
根据正态分布和均值，确定异常数据的区间。
5.根据权利要求4所述的地下水监测数据处理方法，其特征在于，所述确定月度异常数据之后，还包括：
若为连续4日未收到传回数据，则发出异常报警，以告知设备管理工程师维护设备；
否则，标记异常数据，发送至人机界面以告知运维工程师，并接收填补后数据；
将填补后的月度数据发送至数据库进行存储，形成月整编修改数据。
6.根据权利要求5所述的地下水监测数据处理方法，其特征在于，所述方法还包括：
对于数据库中存储的每个月度数据，按照季度根据监测点水位的变化区间，对超过区间的数据进行其它时值数据的替代，生成季度整编数据。
7.根据权利要求5所述的地下水监测数据处理方法，其特征在于，所述方法还包括：对月度数据形成的年度数据，根据如下判断规则之一确定年度异常数据：
基于密度的方法，确定离群因子大于预设阈值的数据；
根据密度聚类法，确定异常数据；
将异常数据标注进行人机界面展示，并接收异常数据的剔除结果；
将剔除异常后的数据发送至数据库进行存储，形成年度整编数据。
8.一种地下水监测数据处理装置，其特征在于，包括：
获取模块，用于获取地下水监测数据，所述地下水监测数据包括水位监测数据；
处理模块，用于对所述水位监测数据的日值数据，根据包括监测井水位低于井底标高、监测井水位高于地面标高、水位高于历史最高、水位低于历史最低的方式，确定每日的水位异常数据；
交互模块，用于将水位异常数据标注进行人机界面展示，并接收异常数据的人工修改结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述地下水监测数据处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述地下水监测数据处理方法的步骤。
CN202111275967.7A 2021-10-29 2021-10-29 地下水监测数据处理方法及装置 Pending CN113962320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111275967.7A CN113962320A (zh) 2021-10-29 2021-10-29 地下水监测数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275967.7A CN113962320A (zh) 2021-10-29 2021-10-29 地下水监测数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN113962320A true CN113962320A (zh) 2022-01-21

Family

ID=79468601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275967.7A Pending CN113962320A (zh) 2021-10-29 2021-10-29 地下水监测数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113962320A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424419A (zh) * 2022-07-14 2022-12-02 云南地质工程第二勘察院有限公司 一种地下水动态监测多元预警系统
CN115545112A (zh) * 2022-10-17 2022-12-30 水利部信息中心 一种大量地下水实时自动监测数据自动识别和处理的方法
CN116429220A (zh) * 2023-06-14 2023-07-14 济宁安泰矿山设备制造有限公司 一种水利工程异常检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038258A (zh) * 2017-05-18 2017-08-11 中国地质环境监测院 地下水监测数据采集发布管理系统
CN111307123A (zh) * 2020-04-02 2020-06-19 中国水利水电科学研究院 一种水情监测数据的实时异常诊断与插补方法
CN112286924A (zh) * 2020-11-20 2021-01-29 中国水利水电科学研究院 一种数据异常动态识别与多模式自匹配的数据清洗技术
CN112609661A (zh) * 2020-11-27 2021-04-06 中建三局第一建设工程有限责任公司 一种可视化的深基坑周边地下水位监测及预警阈值设计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038258A (zh) * 2017-05-18 2017-08-11 中国地质环境监测院 地下水监测数据采集发布管理系统
CN111307123A (zh) * 2020-04-02 2020-06-19 中国水利水电科学研究院 一种水情监测数据的实时异常诊断与插补方法
CN112286924A (zh) * 2020-11-20 2021-01-29 中国水利水电科学研究院 一种数据异常动态识别与多模式自匹配的数据清洗技术
CN112609661A (zh) * 2020-11-27 2021-04-06 中建三局第一建设工程有限责任公司 一种可视化的深基坑周边地下水位监测及预警阈值设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中华人民共和国地质矿产行业标准: "DZ/T 0307-2017地下水监测网运行维护规范", DZ/T 0307-2017, pages 1 - 17 *
孙建树 等: "基于ARIMA-SVR 的水文时间序列异常值检测", vol. 46, no. 2, pages 225 - 230 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115424419A (zh) * 2022-07-14 2022-12-02 云南地质工程第二勘察院有限公司 一种地下水动态监测多元预警系统
CN115424419B (zh) * 2022-07-14 2023-06-02 云南地质工程第二勘察院有限公司 一种地下水动态监测多元预警系统
CN115545112A (zh) * 2022-10-17 2022-12-30 水利部信息中心 一种大量地下水实时自动监测数据自动识别和处理的方法
CN116429220A (zh) * 2023-06-14 2023-07-14 济宁安泰矿山设备制造有限公司 一种水利工程异常检测方法
CN116429220B (zh) * 2023-06-14 2023-09-26 济宁安泰矿山设备制造有限公司 一种水利工程异常检测方法

Similar Documents

Publication Publication Date Title
CN113962320A (zh) 地下水监测数据处理方法及装置
CN111080502B (zh) 一种区域企业数据异常行为的大数据识别方法
CN112508105B (zh) 一种采油机故障检测与检索方法
CN111027615B (zh) 基于机器学习的中间件故障预警方法和系统
CN110751371A (zh) 基于统计四分位距的商品库存风险预警方法、系统及计算机可读存储介质
CN108027594A (zh) 用于检测配水系统中的异常的方法
CN111967509A (zh) 一种对工业设备采集的数据进行处理和检测的方法及装置
CN105117512B (zh) 变压器预警值的估算方法及装置
CN109598931B (zh) 基于交通安全风险的群体划分与差异性分析方法及系统
CN111340606B (zh) 一种全流程收入稽核方法和装置
CN112766301B (zh) 一种采油机示功图相似性判断方法
CN116720881B (zh) 基于定位信息的农产品销售监管预警方法、系统及介质
CN113240518A (zh) 基于机器学习的银行对公客户流失预测方法
CN116126843A (zh) 一种数据质量评估方法、装置、电子设备和存储介质
CN114662712A (zh) 基于Wasserstein深度数字孪生模型的旋转机械状态监测方法
CN111563111A (zh) 告警方法、装置、电子设备及存储介质
CN111737247B (zh) 用于数据质量管控的实现方法
CN115358336A (zh) 用电异常检测方法、装置及电子设备
CN114844796A (zh) 一种对时序kpi的异常检测的方法、装置及介质
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN112150036B (zh) 一种基于数据驱动的锅炉用气用户偷盗气检测方法及装置
CN112632469A (zh) 业务交易数据的异常检测方法、装置及计算机设备
CN112085624A (zh) 一种基于云计算的数据处理方法及系统
CN117077641B (zh) 医疗数据合成方法及装置
CN116773238B (zh) 一种基于工业数据的故障监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination