CN115545112A - 一种大量地下水实时自动监测数据自动识别和处理的方法 - Google Patents

Abstract

本发明涉及一种大量地下水实时自动监测数据自动识别和处理的方法，包括：基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；基于监测站点的埋深值，设置第二数据处理规则，通过第二数据处理规则对第一数据集进行筛选，得到第二数据集；通过连续监测时长的差异，对第二数据集进行分类处理和筛选，获取可疑数据集；通过比测的方法对可疑数据集进行人工确认，并采用直线插补法对可疑数据集中的缺失值进行处理，获取最终数据。本发明实现地下水监测过程中假埋深的自动识别，实现了地下水监测过程中错误数据的自动识别和处理，且能够对于不同长度序列的可疑数据进行识别。

Description

一种大量地下水实时自动监测数据自动识别和处理的方法

技术领域

本发明涉及数据处理技术领域，特别是涉及一种大量地下水实时自动监测数据自动识别和处理的方法。

背景技术

水文现象存在“确定性过程”和“随机性过程”，确定性过程反映的是水位变化的必然性规律，随机性过程反映偶然性规律。在解决水文问题时，在计算前，通常会对水文资料做一致性分析处理，即还原或还现，以消除或减少人类活动及下垫面变化可能导致的水文变化非平稳性。

Tabachnick等人(1996)将异常值产生的原因划分为四类，错误数据输入(incorrect data entry)、计算编码故障(computer coding failure)、数据污染(datacontamination)和真实数据(true observation)。自国家地下水监测系统运行以来，可将数据异常产生的原因归纳为以下几种情况：

(1)人为因素：监测站运维或进行水样采集、抽水或开采、重新测量地面高程进行基础信息调整等因素引起的数据跳变；更换压力式水位计探头时，数据线长度测量不准或数据线未保持垂直状态；人工比测出现误差或操作错误。

(2)非人为因素：降雨等因素引起的数据跳变；监测站出现井干、井淤、泉干、自流、结冰、地面积水等现象；仪器设备方面出现探头损坏或元器件稳定性不足产生数据漂移；数据传输时由于网络不稳定导致数据缺报、多报或冗余；召测数据由于数据量较大，超过报文字符数，分包发送导致解析错误等情况。

要建立高质量地下水监测数据库，势必要实现在线实时大量数据的自动化识别、处理和修正以提高数据质量，以实现实时入库的数据在某一规则下与历史资料在完整性、一致性、准确性、合理性、代表性等维度达到标准。

发明内容

本发明的目的是提供一种大量地下水实时自动监测数据自动识别和处理的方法，适用于所有类型的地下水水位、埋深监测数据，能够实现在线实时大量地下水埋深和水位数据的自动化识别、处理和修正。

为实现上述目的，本发明提供了如下方案：

一种大量地下水实时自动监测数据自动识别和处理的方法，包括：

基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；

基于监测站点的埋深值，设置第二数据处理规则，通过所述第二数据处理规则对所述第一数据集进行筛选，得到第二数据集；

通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；

通过比测的方法对所述可疑数据集进行人工确认，并采用直线插补法对所述可疑数据集中的缺失值进行处理，获取最终数据。

优选地，所述第一数据处理规则包括埋深数据处理规则和水位数据处理规则；

其中，所述埋深数据处理规则包括：埋深监测值小于等于0但监测井非自流井；埋深监测值大于井深；埋深监测值等于水位值但地面高程不为0；

所述水位数据处理规则包括：水位值大于地面高程但非自流井；水位值等于埋深值但地面高程不为0。

优选地，获取所述第一数据集包括：

基于所述第一数据处理规则，对所述地下水监测数据进行初步筛选，将符合所述埋深数据处理规则和所述水位数据处理规则的数据剔除，获得所述第一数据集。

优选地，所述第二数据处理规则为假埋深自动识别，所述假埋深自动识别的方法包括：

将地面高程值GREL、监测埋深值BD、监测水位值Z进行比较，若监测水位值Z＝地面高程值GREL-监测埋深值BD，则埋深为真埋深；若监测水位值Z＝固定点高程值FPEL-监测埋深值BD，则监测埋深为假埋深。

优选地，获取所述第二数据集，包括：

将所述第一数据集中符合所述第二数据处理规则的数据剔除，获取所述第二数据集。

优选地，对所述第二数据集进行分类处理包括：

通过所述连续监测时长的差异，设定预设阈值，基于所述预设阈值对所述第二数据集进行分类，得到分类数据集一、分类数据集二和分类数据集三；其中，所述预设阈值包括第一阈值、第二阈值和第三阈值。

优选地，对所述分类数据集一进行处理包括：

通过确定异常值发生的位置，获取可疑数据，计算所述异常值发生的位置的方法为：

其中，K表示异常值集合，y(t)表示按照时间发生顺序总长为T的第t个监测值，Q₁、Q₃分别为T个监测值的第一和第三四分位数，Δy(t)＝y(t+1)-y(t)，

n为经验值。

优选地，对所述分类数据集二进行处理包括：

采用时间序列预测方法进行可疑数据筛选，选用ETS(A,N,N)模型、ETS(A,A,N)模型、ETS(M,A,N)模型、Holt-Winters指数无季节项、ARIMA方法分别进行模拟，计算AIC和BIC值，选取AIC和BIC最小的模型进行拟合优度检验；通过检验的模型确定为最终模型一，将分类数据集二输入所述最终模型一，将所述最终模型一的预测结果与进入分类数据集二中的实时监测数据进行对比，若所述实时监测数据大于预测值，则判定为可疑数据。

优选地，对所述分类数据集三进行处理包括：

采用特征值法和季节时间序列预测的方法叠加进行可疑数据筛选，季节时间序列预测为使用加法模型、乘法模型或混合模型处理ARIMA方法模型中的趋势因素、季节性因素和不规则因素，确定季节性与非季节性差分数，对季节性模型进行定阶，所述模型定阶的总体原则为AIC、BIC最小；使用Ljung_Box Q检验方法检验模型残差白噪声；通过检验的模型确定为最终模型二，将分类数据集三输入所述最终模型二，获得预测结果，将所述预测结果与进入分类数据集三中的实时监测数据进行对比，若实时监测数据大于预测值，则与历年特征值相比较，若超出历年特征值，则判定为可疑数据。

优选地，所述方法还包括：基于评价规则对所述最终数据进行综合成果校验及评价；

其中，所述评价规则，包括：

区域地下水动态变化和区域水文动态是否一致；

同一含水层各监测站之间的监测资料对比是否合理，相邻的相同含水层监测数据是否具有相同的变化趋势；

自动监测站日常运维对比观测资料是否与使用的实时监测数据相一致。

本发明的有益效果为：

本发明实现地下水监测过程中假埋深的自动识别，实现地下水监测过程中错误数据的自动识别和处理，实时大量地下水埋深和水位数据自动化识别、处理和修正的流程，且本发明能够对于不同长度序列的可疑数据进行识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供一种大量地下水实时自动监测数据自动识别和处理的方法，如图1，具体包括：

第一步为初步质控，错误数据自动识别。基于第一数据处理规则对错误数据进行自动识别。

根据数据库内出现以下情况自动识别为错误数据，直接删除，不参与后续数值统计和分析：

第一数据处理规则：

(1)埋深数据：埋深(BD)小于等于0但监测井非自流井(ARTESIANWL)；埋深(BD)监测值大于井深(OWDP)；埋深值(BD)等于水位值(Z)但地面高程(GREL)不为0。

(2)水位数据：计算水位值(Z)大于地面高程(GREL)但非自流井(ARTESIANWL)；水位值(Z)等于埋深值(BD)但地面高程(GREL)不为0。

第二步、通过第二数据处理规则进行假埋深自动识别。

目前监测站在建设时，会在井口和地面分别设置固定点，井口固定点为人工观测或安装自动监测设备的基准点，地面固定点为确定地面高程的基准点。为了工作方便，在仪器设备安装时，多使用井口固定点作为电缆线长计算点，即设备读取的埋深为水面至井口固定点的距离，就会出现假埋深的情况。由于水位为井口固定点高程减假埋深，为真水位数据，因此在数据处理过程中，需要将地面高程值、埋深值、水位值三者进行比较：

(第二数据处理规则)若监测水位值(Z)＝地面高程值(GREL)-监测埋深值(BD)，则埋深为真埋深，若监测水位值(Z)＝固定点高程值(FPEL)-监测埋深值(BD)，则监测埋深为假埋深，需要做进一步数据处理，即真埋深＝假埋深-(固定点高程-地面高程)。

第三步、为可疑数据自动筛选。

通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；

可疑数据多为异常大值、异常小值或突变值，有可能是错误数据，也有可能为反应的真实情况。可疑数据的处理其本质是较为复杂的。由于数据量较大，多采用的是数据自动识别后人工处理的方式。处理方式包括删除、修正或保留原数据。根据监测序列长度，分别采用不同的数据筛选方式：

(方法1)(1)对于序列较短的数据(日连续监测数据小于5年)，异常值发生的位置位于：

其中，K表示异常值集合，y(t)表示按照时间发生顺序总长为T的第t个监测值，Q₁、Q₃分别为T个监测值的第一和第三四分位数，Δy(t)＝y(t+1)-y(t)，

n为经验值，在本实施例中取1.5。

(方法2)(2)对于日连续监测数据多于5年，采用时间序列预测方法进行可疑数据筛选。时间序列预测基于时间上相近的监测值比时间相距较远的监测值具有更强的相关性，具体方法如下：

①选用ETS(A,N,N)、ETS(A,A,N)、ETS(M,A,N)、Holt-Winters指数无季节项、ARIMA方法分别进行模拟；

②计算AIC和BIC值，选取AIC和BIC最小的模型；

③使用RMSE(均方根误差)、ME(平均误差)、MAE(平均绝对误差)、MPE(平均百分误差)、MASE(平均绝对比例误差)等进行拟合优度检验，若选择ARIMA方法要使用Ljung_Box Q检验方法检验模型残差白噪声；

④通过检验的模型确定为最终模型一，将分类数据集二输入所述最终模型一，将所述最终模型一的预测结果与进入分类数据集二中的实时监测数据进行对比，若所述实时监测数据大于预测值，则判定为可疑数据。

(方法3)(3)对于月监测序列超过10年的数据，采用特征值法和季节时间序列预测的方法叠加进行可疑数据筛选。

通过长系列监测资料，自动生成单站特征值表，包括日/旬/月/季度/年最大埋深、最小埋深、平均埋深，日/月/年最大变幅、最小变幅、平均变幅，平均年末差。地下水特征值及字段见表1。此方法随着监测时间的延续，随着数据量越来越丰富，可通过绘制频率分布曲线或总结不同水文相似年水位动态的方法更加准确的进行判断。将特征值表与实时监测数据相对应，可自动识别出异常大和异常小值。

表1

季节时间序列预测为使用加法模型、乘法模型或混合模型处理ARIMA方法模型中的趋势因素、季节性因素和不规则因素，具体方法为：

①确定季节性与非季节性差分数；

②模型定阶，总体原则为AIC、BIC最小；

③使用Ljung_Box Q检验方法检验模型残差白噪声；

④通过检验的模型确定为最终模型二，将分类数据集三输入所述最终模型二，获得预测结果，将所述预测结果与进入分类数据集三中的实时监测数据进行对比，若实时监测数据大于预测值，则与历年特征值相比较；

⑤如超出历年特征值，判定为可疑数据。

第四步为可疑数据人工确认。

通常使用比测的方式进行人工确认。比测为现场人工监测数据和自动监测现场召测到的值进行对比，确定数据为真实数据则保留，错误数据进行修正或删除。

第五步为缺失值的处理。

采用线性内插法进行插补。选取缺失值两端数据做差值，除以缺失值个数，得到步长，使用左端数据加步长的方式逐个插补。

第六步为综合成果校验。

主要核对以下三个方面：

①区域地下水动态变化和区域水文动态是否一致，如生态补水、旱情、降雨等，是否符合周期性变化规律；

②同一含水层(组)各监测站之间的监测资料对比是否合理，临近的相同含水层监测数据是否具有相同的变化趋势；

③自动监测站日常运维对比观测资料是否与使用的实时监测数据相一致。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，包括：

基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；

基于监测站点的埋深值，设置第二数据处理规则，通过所述第二数据处理规则对所述第一数据集进行筛选，得到第二数据集；

通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；

通过比测的方法对所述可疑数据集进行人工确认，并采用直线插补法对所述可疑数据集中的缺失值进行处理，获取最终数据。

2.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，所述第一数据处理规则包括埋深数据处理规则和水位数据处理规则；

其中，所述埋深数据处理规则包括：埋深监测值小于等于0但监测井非自流井；埋深监测值大于井深；埋深监测值等于水位值但地面高程不为0；

所述水位数据处理规则包括：水位值大于地面高程但非自流井；水位值等于埋深值但地面高程不为0。

3.根据权利要求2所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，获取所述第一数据集包括：

基于所述第一数据处理规则，对所述地下水监测数据进行初步筛选，将符合所述埋深数据处理规则和所述水位数据处理规则的数据剔除，获得所述第一数据集。

4.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，所述第二数据处理规则为假埋深自动识别，所述假埋深自动识别的方法包括：

将地面高程值GREL、监测埋深值BD、监测水位值Z进行比较，若监测水位值Z＝地面高程值GREL-监测埋深值BD，则埋深为真埋深；若监测水位值Z＝固定点高程值FPEL-监测埋深值BD，则监测埋深为假埋深。

5.根据权利要求4所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，获取所述第二数据集，包括：

将所述第一数据集中符合所述第二数据处理规则的数据剔除，获取所述第二数据集。

6.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，对所述第二数据集进行分类处理包括：

通过所述连续监测时长的差异，设定预设阈值，基于所述预设阈值对所述第二数据集进行分类，得到分类数据集一、分类数据集二和分类数据集三；其中，所述预设阈值包括第一阈值、第二阈值和第三阈值。

7.根据权利要求6所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，对所述分类数据集一进行处理包括：

通过确定异常值发生的位置，获取可疑数据，计算所述异常值发生的位置的方法为：

其中，K表示异常值集合，y(t)表示按照时间发生顺序总长为T的第t个监测值，Q₁、Q₃分别为T个监测值的第一和第三四分位数，Δy(t)＝y(t+1)-y(t)，

n为经验值。

8.根据权利要求6所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，对所述分类数据集二进行处理包括：

采用时间序列预测方法进行可疑数据筛选，选用ETS(A,N,N)模型、ETS(A,A,N)模型、ETS(M,A,N)模型、Holt-Winters指数无季节项、ARIMA方法分别进行模拟，计算AIC和BIC值，选取AIC和BIC最小的模型进行拟合优度检验；通过检验的模型确定为最终模型一，将分类数据集二输入所述最终模型一，将所述最终模型一的预测结果与进入分类数据集二中的实时监测数据进行对比，若所述实时监测数据大于预测值，则判定为可疑数据。

9.根据权利要求6所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，对所述分类数据集三进行处理包括：

采用特征值法和季节时间序列预测的方法叠加进行可疑数据筛选，季节时间序列预测为使用加法模型、乘法模型或混合模型处理ARIMA方法模型中的趋势因素、季节性因素和不规则因素，确定季节性与非季节性差分数，对季节性模型进行定阶，所述模型定阶的总体原则为AIC、BIC最小；使用Ljung_Box Q检验方法检验模型残差白噪声；通过检验的模型确定为最终模型二，将分类数据集三输入所述最终模型二，获得预测结果，将所述预测结果与进入分类数据集三中的实时监测数据进行对比，若实时监测数据大于预测值，则与历年特征值相比较，若超出历年特征值，则判定为可疑数据。

10.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，所述方法还包括：基于评价规则对所述最终数据进行综合成果校验及评价；

其中，所述评价规则，包括：

区域地下水动态变化和区域水文动态是否一致；

同一含水层各监测站之间的监测资料对比是否合理，相邻的相同含水层监测数据是否具有相同的变化趋势；

自动监测站日常运维对比观测资料是否与使用的实时监测数据相一致。

Images