CN115222306A

CN115222306A - 一种面向地质灾害监测的数据质量评价方法及系统

Info

Publication number: CN115222306A
Application number: CN202211146643.8A
Authority: CN
Inventors: 韩冰; 张鸣之; 黄喆; 李俊峰; 刘昕曜; 唐瑶; 汤亚强; 叶思卿
Original assignee: China Institute Of Geological Environment Monitoring
Current assignee: China Institute Of Geological Environment Monitoring
Priority date: 2022-09-21
Filing date: 2022-09-21
Publication date: 2022-10-21

Abstract

本发明实施例提供了一种面向地质灾害监测的数据质量评价方法及系统，涉及地质灾害监测技术领域。其中的方法包括：获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；基于所述数据处理参数判断所述监测数据是否存在异常，得到数据处理参数；根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。本发明实施例能够实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。

Description

一种面向地质灾害监测的数据质量评价方法及系统

技术领域

本发明涉及地质灾害监测技术领域，尤其涉及一种面向地质灾害监测的数据质量评价方法及系统。

背景技术

随着地质灾害监测防治工作的不断推进，整个行业对滑坡监测的广度和深度迅速扩大，大量的传感器投入实际使用，在日常的运行过程中形成了海量的监测数据。如何从海量的监测数据中快速高效地发现异常，并对传感器采集的监测数据进行正确有效的评价和管理，已成为当前行业中所必须要解决的问题。

关于数据质量评价方法的研究主要包括定性评价、定量评价、定性定量相结合的评价。其中定性评价主要采用数据质量调查的方式来给出评价结果；定量评价是一种客观的评价方法，通常采用测量计算、统计分析及建立模型的方式来给出评价结果。

在地质灾害防治中监测数据多应用于单体监测数据预警研究，如斋藤迪孝模型、灰色模型、时间序列方法和神经网络模型等，但对监测数据质量的研究依然偏少，目前尚未有针对地质灾害监测数据质量相关的评价方法。

发明内容

本发明实施例提供一种面向地质灾害监测的数据质量评价方法及系统，可以对地质灾害监测数据的质量进行多维度评估。

第一方面，本发明实施例公开了一种面向地质灾害监测的数据质量评价方法，所述方法包括：

获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；

基于所述数据处理参数判断所述监测数据是否存在异常；

若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；

根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。

可选地，所述根据所述数据处理参数计算所述监测数据在各个评价维度上的评分，包括：

根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数；

针对每一个评价维度，根据所述评价维度对应的异常次数和预设的异常阈值，计算所述评价维度的初始评分；

若所述初始评分大于0，则确定所述监测数据在所述评价维度上的评分等于所述初始评分；

若所述初始评分小于或等于0，则确定所述监测数据在所述评价维度上的评分等于0。

可选地，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；所述根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数，包括：

按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数；

按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数；

根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数。

可选地，所述按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数，包括：

根据所述传输字段判断所述监测数据中每个监测时刻的监测值是否存在字段缺失；

若任一监测时刻的监测值存在字段缺失，则对所述监测数据的字段异常次数加1；

获取所述监测数据对应的数据采集间隔；

根据所述数据采集间隔和所述固有采集频率计算所述监测数据的中断次数；

将所述监测数据的字段异常次数与所述中断次数相加，得到所述监测数据的完整性异常次数。

可选地，所述按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数，包括：

判断所述监测数据中每个监测时刻对应的监测值是否超出所述监测量程；

若任一监测时刻的监测值超出所述监测量程，则对所述监测数据的数值异常次数加1；

根据所述监测数据中任意两个监测时刻对应的监测值的变化值和预设变化阈值，确定所述监测数据的极端变化次数；

将所述数值异常次数和所述极端变化次数相加，得到所述监测数据的可靠性异常次数。

可选地，所述根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数，包括：

基于异常波动监测函数确定所述监测数据的波动异常次数；

根据所述监测数据中预设间隔内监测数值的变化情况，确定所述监测数据的误差异常次数；

将所述波动异常次数和所述误差异常次数相加，得到所述监测数据的准确性异常次数。

可选地，所述方法还包括：

在接收到针对目标评价对象对应的监测数据的质量评价请求的情况下，确定所述目标评价对象对应的每种类型的传感器的数目，并确定各个传感器采集的监测数据的综合质量评分；

根据每种类型的传感器的数目，以及每种类型下各个传感器采集的监测数据的综合质量评分，计算每种类型的传感器对应的质量评分；

根据每种类型的传感器的预设权重，对各个类型的传感器对应的质量评分进行加权求和，得到所述目标评价对象对应监测数据的综合质量评分。

第二方面，本发明实施例公开了一种面向地质灾害监测的数据质量评价系统，所述系统包括：

数据获取模块，用于获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；

异常判断模块，用于基于所述数据处理参数判断所述监测数据是否存在异常；

第一计算模块，用于若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；

第二计算模块，用于根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。

第三方面，本发明实施例公开了一种电子设备，所述电子设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的面向地质灾害监测的数据质量评价方法。

第四方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述的面向地质灾害监测的数据质量评价方法。

本发明实施例包括以下优点：

本发明实施例提供的面向地质灾害监测的数据质量评价方法，能够基于传感器的数据处理参数对传感器采集的监测数据进行异常判断，并在监测数据存在异常的情况下，根据数据处理参数计算传感器采集的监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重确定监测数据的综合质量评分，从而实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种面向地质灾害监测的数据质量评价方法实施例的步骤流程图；

图2是本发明的一种数据质量评价系统的系统架构图；

图3是本发明的一种监测数据的综合质量评分的确定流程示意图；

图4是本发明的一种目标评价对象的综合质量评分的计算示意图；

图5是本发明的一种面向地质灾害监测的数据质量评价系统实施例的结构框图；

图6是本发明的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

参照图1，示出了本发明的一种面向地质灾害监测的数据质量评价方法实施例的步骤流程图，所述方法可以包括如下步骤：

步骤101、获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则。

步骤102、基于所述数据处理参数判断所述监测数据是否存在异常。

步骤103、若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分。

步骤104、根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。

本发明实施例提供的面向地质灾害监测的数据质量评价方法，能够基于传感器的数据处理参数对传感器采集的监测数据进行异常判断，并在确定监测数据存在异常的情况下，根据数据处理参数计算传感器采集的监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重确定监测数据的综合质量评分，从而实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。

需要说明的是，本发明中的传感器指的是布设在地质灾害监测现场中的各类传感器或监测设备，所述传感器可以包括但不限于裂缝计、GNSS、雨量计、加速度计、倾角计、含水率计等。

传感器的数据处理参数用于反映传感器的数据处理规则，可以包括传感器的数据传输字段、监测量程、固有采集频率等参数，当传感器采集的监测数据符合数据处理参数时，说明传感器正常工作，采集的监测数据不存在异常；反之，如果传感器采集的监测数据不符合数据处理参数，说明传感器没有正常工作，采集的监测数据存在异常。根据传感器的数据处理参数计算监测数据在各个评价维度上的评分，可以有效地反映监测数据出现异常的严重程度，进而反映监测数据的质量。

所述评价维度可以根据实际的评价需求进行设置。可以理解的是，为了对监测数据进行综合评价，可以设置多个评价维度，从不同维度对监测数据进行多层次的分析、评价。示例性地，所述评价维度可以包括但不限于完整性、可靠性和准确性。评价维度的预设权重可以根据实际评价需求进行自定义配置，监测人员更关注哪个维度，就针对该维度设置较高的权重值。例如，在一种可能的评价场景中，各个评价维度的预设权重的大小关系可以为：W（完整性）> W（可靠性）= W（准确性）。其中，W（完整性）表示完整性维度的权重值，W（可靠性）表示可靠性维度的权重值，W（准确性）表示准确性维度的权重值。

本发明实施例提供的数据质量评价方法，可以应用于本发明提供的一种面向地质灾害监测的数据质量评价系统。参照图2，示出了本发明的一种数据质量评价系统的系统架构图。如图2所示，所述数据质量评价系统包括数据采集层、数据存储与计算层和系统输出层。所述数据存储与计算层和任务调度系统相连，用于接收任务调度系统下发的数据处理任务并执行。

其中，数据采集层包括各种数据存储模块或单元，如MongoDB、InfluxDB、日志文件等，支持增量/全量、结构化/非结构化的数据存储方式。数据采集层通过数据同步工具，如DataX、API等，将地质灾害监测点的传感器采集的监测数据发送至数据存储与计算层。

数据存储与计算层，针对根据不同的业务需求、不同的数据量，可以采用不同的数据存储环境。示例性地，针对大数据存储，数据存储与计算层提供了HDFS、Hive的数据库存储环境；针对系统响应要求高的小规模数据场景，数据存储与计算层可以利用数据同步工具，将数据发送至系统输出层的前端数据存储模块，基于MySQL、HBASE的数据库存储环境进行数据存储。为了能够高效、精确地对海量监测数据进行各种类型的复杂计算，数据存储与计算层还采用了分布式集群化的Spark计算引擎，可以将自定义的计算函数分配至各个节点并行计算，大大缩短了计算时间。通过机器学习、大数据计算等相关组件，实现了计算功能的扩展，满足了需要复杂算法应用的业务场景。

系统输出层作为数据质量评价系统的业务输出及应用层，提供了前端展示系统、数据API接口、报表工具等，可以支持多种数据应用方式，包括但不限于：通过前端系统对监测数据、评价结果进行大屏展示、可视化分析；通过数据API接口，将评价结果提供给其它应用读取；通过报表工具，自动化生成数据质量评价报告，等等。

任务调度系统在数据质量评价的整个流程中，可以生成大量具有周期性及依赖关系的任务，包括：数据同步、数据计算、数据存储等。所述任务调度系统在实现任务调度管理的同时，还支持对任务状态的实时监控和告警，以此满足任务自动化调度并执行的业务需求。

在一种可能的应用场景中，任务调度系统将数据质量分析任务下发给本发明中的数据质量评价系统，数据质量评价系统可以通过数据采集层获取传感器采集的监测数据和所述传感器的数据处理参数，并将传感器的监测数据和数据处理参数发送给数据存储与计算层。数据存储与计算层接收到数据后，根据数据处理参数判断监测数据是否存在异常，在确定监测数据存在异常的情况下，计算所述监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。数据存储与计算层可以利用数据同步工具，将监测数据的综合质量评分发送给系统输出层，由系统输出层进行结果展示。

在本发明实施例中，单个传感器采集的监测数据的综合质量评分可以表示为：

（1）

其中，

表示单个传感器采集的监测数据的综合质量评分，

表示所述监测数据在第i项评价维度上的评分，

表示第i项评价维度的预设权重。

在本发明的一种可选实施例中，步骤103所述根据所述数据处理参数计算所述监测数据在各个评价维度上的评分，包括：

步骤S11、根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数；

步骤S12、针对每一个评价维度，根据所述评价维度对应的异常次数和预设的异常阈值，计算所述评价维度的初始评分；

步骤S13、若所述初始评分大于0，则确定所述监测数据在所述评价维度上的评分等于所述初始评分；

步骤S14、若所述初始评分小于或等于0，则确定所述监测数据在所述评价维度上的评分等于0。

在本发明实施例中，对于单个传感器采集的监测数据在各个评价维度上的评分可以根据每个评价维度对应的评价指标确定。可选地，完整性维度对应的评价指标包括字段缺失指标和数据中断指标；可靠性维度对应的评价指标包括超出量程指标和极端变化指标；准确性维度对应的评价指标包括波动异常指标和误差异常指标。其中，字段缺失指标用于判断监测数据是否按照规定的数据字段进行传输。数据中断指标用于判断传感器是否按照固有采集频率采集监测数据。超出量程指标用于判断监测数据中各个监测时刻的监测值是否超出传感器的量程范围。极端变化指标用于判断监测数据是否违背传感器的数据采集规律。波动异常指标用于判断监测数据是否出现了异常波动。误差异常指标用于判断监测数据是否在合理的误差范围内。

根据数据处理参数，如传输字段、固有采集频率、监测量程等，以及各个评价维度对应的评价指标，可以确定监测数据在各个评价维度上是否存在异常，以及对应的异常次数。

接下来，针对每一个评价维度，根据该评价维度对应的异常次数和预设的异常阈值，计算该评价维度的初始评分。其中，所述预设的异常阈值可以根据业务经验、监测需求等自定义设置。作为一种示例，单个传感器在某项评价维度上的初始评分可以表示为：

（2）

可以理解的是，公式（2）计算得到的初始评分为百分制评分，也可以采用其他的评分规则，如用十分制表示初始评分，或者，用五分制表示初始评分，等等，只需要将公式（2）中的“100”替换为相应分制的最大值即可，例如替换为“10”，得到十分制的初始评分；或者，替换为“5”，得到五分制的初始评分，等等。

在本发明实施例中，可以将初始评分与0进行比较，选择初始评分与0之间的最大值作为监测数据在单项评价维度上的评分。单个传感器的监测数据在某项评价维度上的评分可以表示为：

（3）

由公式（3）可以看出，在本发明实施例中，如果某项评价维度的初始评分大于0，则单个传感器在该项评价维度上的评分等于初始评分；如果某项评价维度的初始评分小于或等于0，则单个传感器在该项评价维度上的评分等于0。结合上述公式（2），在本发明实施例中，只要监测数据在某项评价维度上的异常次数大于或等于预设的异常阈值，所述监测数据在该项评价维度上的评分就等于0。

在本发明的一种可选实施例中，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；步骤S11所述根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数，包括：

步骤S21、按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数；

步骤S22、按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数；

步骤S23、根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数。

在本发明实施例中，单个传感器采集的监测数据在各个评价维度上的异常次数可以根据每个评价维度对应的评价指标确定。其中，完整性维度对应的评价指标包括字段缺失指标和数据中断指标；可靠性维度对应的评价指标包括超出量程指标和极端变化指标；准确性维度对应的评价指标包括波动异常指标和误差异常指标。

可选地，步骤S21、所述按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数，包括：

子步骤S211、根据所述传输字段判断所述监测数据中每个监测时刻的监测值是否存在字段缺失；

子步骤S212、若任一监测时刻的监测数据存在字段缺失，则对所述监测数据的字段异常次数加1；

子步骤S213、获取所述监测数据对应的数据采集间隔；

子步骤S214、根据所述数据采集间隔和所述固有采集频率计算所述监测数据的中断次数；

子步骤S215、将所述监测数据的字段异常次数与所述中断次数相加，得到所述监测数据的完整性异常次数。

其中，所述传输字段可以包括但不限于传感器编号、监测时刻、监测值等。根据传感器规定的传输字段，判断监测数据中是否存在字段缺失。如果任一监测时刻的监测数据存在字段缺失，则对监测数据的字段异常次数加1。

数据采集间隔指的是传感器采集监测数据的实际间隔。传感器的固有采集频率指的是传感器较为合理的采集频率，通常情况下，将数据采集间隔的60%分位数作为传感器的固有采集频率。如果传感器向本发明中的数据质量评价系统上报其自身的采集频率，则直接将传感器上传的采集频率作为固有采集频率，无需再通过监测数据计算固有采集频率。

需要说明的是，在本发明实施例中，可以先计算监测数据的判定时长，通过判定时长判断监测数据是否存在中断。若监测数据不存在中断，则确定该监测数据在数据中断指标上不存在异常，也就无需针对数据中断指标进行后续的计算。若监测数据存在中断，再进一步计算中断次数。

作为一种示例，数据中断的判定时长可以根据固有采集频率以及预设的判定低门限和判定高门限确定，具体可以表示为：

（4）

其中，

表示固有采集频率，该固有采集频率可以是根据监测数据采集间隔计算的固有采集频率，也可以是传感器上报的采集频率。

表示固有频率冗余乘数，

表示判定低门限，

表示判定高门限。

、

和

均可以根据实际的监测场景自定义设置。

如果监测数据中相邻的两个监测时刻的监测时间间隔小于判定时长，则可以确定监测数据不存在数据中断；反之，如果监测数据中相邻的两个监测时刻的监测时间间隔大于或等于判定时长，则可以确定监测数据中存在数据中断。

将数据采集间隔的60%分位数作为传感器的固有采集频率时，如果传感器采集的监测数据过密，导致数据采集间隔的60%分位数偏低，此时正常的数据采集间隔易被错误判断为数据中断。如果传感器采集的监测数据过稀，导致数据采集间隔的60%分位数偏高，此时存在数据中断的数据采集间隔易被遗漏识别。

为了降低监测数据过密或过稀对数据中断的判定结果的干扰，本发明实施例可以对基于监测数据的数据采集频率计算的固有采集频率进行调整，调整后的固有采集频率可以表示为：

（5）

其中，公式（5）中的固有采集频率为数据采集间隔的60%分位数；

传感器采集的监测数据过密时对应的固有采集频率；

表示传感器采集的监测数据过稀时对应的固有采集频率。

监测数据的中断次数可以根据传感器的数据采集间隔和调整后的固有采集频率确定，具体可以表示为：

（6）

如公式（6）所示，计算数据采集间隔与调整后的固有采集频率的比值并向下取整，就可以得到监测数据的中断次数。需要说明的是，当本发明实施例中的固有采集频率为数据采集间隔的60%分位数时，上述公式（6）中的分母为基于公式（5）计算得到的调整后的固有采集频率；当本发明实施例中的固有采集频率为传感器上报的采集频率时，上述公式（6）中的分母为传感器上报的采集频率，也即固有采集频率。

将监测数据的字段异常次数和中断次数相加，就可以得到监测数据的完整性异常次数。

可选地，步骤S22所述按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数，包括：

子步骤S221、判断所述监测数据中每个监测时刻对应的监测值是否超出所述监测量程；

子步骤S222、若任一监测时刻的监测值超出所述监测量程，则对所述监测数据的数值异常次数加1；

子步骤S223、根据所述监测数据中任意两个监测时刻对应的监测值的变化值和预设变化阈值，确定所述监测数据的极端变化次数；

子步骤S224、将所述数值异常次数和所述极端变化次数相加，得到所述监测数据的可靠性异常次数。

按照传感器所规定的监测量程，可以判断监测数据中每个监测时刻对应的监测值是否超出监测量程。具体地，如果某个监测时刻的监测值大于监测量程的上限，或者该监测时刻的监测值小于监测量程的下限，则确定该监测时刻的监测值超出监测量程。在本发明实施例中，只要任一监测时刻的监测值超出监测量程，就对监测数据的数值异常次数加1。

进一步地，根据监测数据中任意两个监测时刻对应的监测值的变化值和预设变化阈值，确定监测数据的极端变化次数。具体地，可以依据下述公式判断监测数据是否出现极端变化：

（7）

其中，

为当前时刻的监测值，

为前n个监测时刻的监测值，通常n=1；

为预设变化阈值，可以根据传感器的类型和监测业务的实际规律确定。

如果

，也即

与

两个监测时刻对应的监测值的变化值，大于预设变化阈值

，则可以确定监测数据出现极端变化。

将监测数据的数值异常次数和极端变化次数相加，就可以得到监测数据的可靠性异常次数。

在本发明的一种可选实施例中，步骤S23所述根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数，包括：

子步骤S231、基于异常波动监测函数确定所述监测数据的波动异常次数；

子步骤S232、根据所述监测数据中预设间隔内监测数值的变化情况，确定所述监测数据的误差异常次数；

子步骤S233、将所述波动异常次数和所述误差异常次数相加，得到所述监测数据的准确性异常次数。

所述异常波动监测函数用于判断监测数据是否出现异常波动。本发明中的异常波动监测函数可以包括但不限于：统计学函数，用于根据数据波动的程度检测其属于异常波动的统计学显著性；几何图形函数，用于根据数据波动的波峰、波谷等几何形态判断是否为异常波动；机器学习模型，用于根据正常波动的数据样本和异常波动的数据样本进行监督学习，构建机器学习模型进行监测数据异常波动的监测；或者，根据正常波动的数据样本进行机器学习并构建模型，依据模型预测值与实际值的偏离程度来判断异常波动。

示例性地，监测数据在某个监测时刻是否出现异常波动，可以根据下述公式（8）进行判断：

（8）

其中，

表示当前时刻的异常波动监测函数值，

为当前监测时刻。如果当前时刻的异常波动监测函数值为0，则表示监测数据在当前时刻正常波动，不存在异常情况；如果当前时刻的异常波动监测函数值为1，则表示监测数据在当前时刻存在异常波动。

通常情况下，传感器采集的监测数据会在一定的误差范围内进行正常波动，如果监测数据中某几个连续的监测时刻的监测值相同，说明传感器采集的监测数据存在失真的可能性，无法准确记录地质灾害监测点的真实情况。因此，在本发明实施例中，可以根据监测数据中预设间隔内监测值的变化情况，确定监测数据的误差异常次数。具体地，如果在预设间隔内，各个监测时刻的监测值均相同，则说明监测数据存在误差异常，对误差异常次数加1。所述预设间隔可以根据实际需求自定义设置。

将监测数据的波动异常次数和误差异常次数相加，就可以得到监测数据的准确性异常次数。

针对单个传感器，确定出传感器采集的监测数据在各个评价维度对应的异常次数之后，按照前述步骤S11至步骤S14的方法，就可以计算出监测数据在每项评价维度上的评分。

参照图3，示出了本发明实施例提供的一种监测数据的综合质量评分的确定流程示意图。如图3所示，针对单个传感器采集的监测数据，可以从完整性、可靠性、准确性这三个评价维度进行数据分析。具体地，对完整性维度下的数据缺失情况（也即本发明中的字段异常次数）和数据中断情况（也即本发明中的中断次数）进行统计，得到完整性维度上的评分。对可靠性维度下监测数据超出量程的情况（也即本发明中的数值异常次数）和极端数值变化情况（也即本发明中的极端变化次数）进行统计，得到可靠性维度上的评分。对准确性维度下监测数据的异常波动情况（也即本发明中的波动异常次数）和数据连续相同情况（也即本发明中的误差异常次数）进行统计，得到准确性维度上的评分。最后，根据各个评价维度的预设权重对监测数据在各个评价维度上的评分进行加权求和，得到单个传感器采集的监测数据的综合质量评分。

此外，在本发明实施例中，可以将传感器采集的监测数据在每项评价维度上的评分存入数据库。还可以针对监测数据在每项评价维度上的异常情况，对出现异常的监测时刻的监测值进行标记并将异常数据存入数据库中，以供用户查看。

在本发明的一种可选实施例中，所述方法还包括：

步骤S31、在接收到针对目标评价对象对应的监测数据的质量评价请求的情况下，确定所述目标评价对象对应的每种类型的传感器的数目，并确定各个传感器采集的监测数据的综合质量评分；

步骤S32、根据每种类型的传感器的数目，以及每种类型下各个传感器采集的监测数据的综合质量评分，计算每种类型的传感器对应的质量评分；

步骤S33、根据每种类型的传感器的预设权重，对各个类型的传感器对应的质量评分进行加权求和，得到所述目标评价对象对应监测数据的综合质量评分。

在本发明实施例中，除了可以根据前述各个实施例的数据质量评价方法确定单个传感器采集的监测数据的综合质量评分，还可以针对目标评价对象对应的多种传感器，计算每种类型的传感器对应的质量评分，并进一步计算目标评价对象对应的监测数据的综合质量评分。

其中，所述目标评价对象可以是某区域的地质灾害监测点，例如全国的地质灾害监测点，或者某个省份、某个市区的地质灾害监测点；也可以是不同厂商生产的传感器；还可以是某个地质灾害监测项目。

目标评价对象的监测数据可能来自于多种类型的传感器，在对目标评价对应的监测数据进行质量评价时，可以先分别计算每种类型的传感器对应的质量评分。示例性地，某种类型的传感器对应的质量评分可以表示为：

（9）

其中，单传感器评分为该类型下，单个传感器采集的监测数据的综合质量评分，可以根据前述公式（1）计算得到。n为该类型包含的传感器数目。

计算某类型下单传感器评分的平均值，就可以得到该类型传感器的质量评分。

进一步地，根据每种类型的传感器的预设权重，对各个类型的传感器对应的质量评分进行加权求和，就可以得到所述目标评价对象对应监测数据的综合质量评分。每种类型的传感器的预设权重，可以根据目标评价对象对应的各种类型的传感器的数目确定。例如，目标评价对象共布设了100个传感器，其中，雨量计60台，裂缝计40台，则雨量计的权重为0.6，裂缝计的权重为0.4。

参照图4，示出了本发明实施例提供的一种目标评价对象的综合质量评分的计算示意图。如图4所示，目标评价对象包含多种类型的传感器，如裂缝计、GNSS、雨量计、加速度计、倾角计、含水率计等。对各个类型的传感器对应的质量评分进行加权求和，就可以得到所述目标评价对象对应监测数据的综合质量评分，也即图4中的综合评分。

综上，本发明实施例提供的面向地质灾害监测的数据质量评价方法，能够基于传感器的数据处理参数计算传感器采集的监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重确定监测数据的综合质量评分，从而实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明的一种面向地质灾害监测的数据质量评价系统实施例的结构框图，所述系统可以包括：

数据获取模块501，用于获取传感器采集的监测数据和所述传感器的数据处理参数，所述数据处理参数用于反映所述传感器的数据处理规则；

异常判断模块502，用于基于所述数据处理参数判断所述监测数据是否存在异常；

第一计算模块503，用于若确定所述监测数据存在异常，则根据所述数据处理参数计算所述监测数据在各个评价维度上的评分；

第二计算模块504，用于根据各个评价维度的预设权重对所述监测数据在各个评价维度上的评分进行加权求和，得到所述传感器采集的监测数据的综合质量评分。

可选地，所述第一计算模块，包括：

异常次数确定子模块，用于根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数；

初始评分计算子模块，用于针对每一个评价维度，根据所述评价维度对应的异常次数和预设的异常阈值，计算所述评价维度的初始评分；

第一评分确定子模块，用于若所述初始评分大于0，则确定所述监测数据在所述评价维度上的评分等于所述初始评分；

第二评分确定子模块，用于若所述初始评分小于或等于0，则确定所述监测数据在所述评价维度上的评分等于0。

可选地，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；所述异常次数确定子模块，包括：

第一次数确定单元，用于按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数；

第二次数确定单元，用于按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数；

第三次数确定单元，用于根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数。

可选地，所述第一次数确定单元，还用于：

获取所述监测数据对应的数据采集间隔；

可选地，所述第二次数确定单元，还用于：

可选地，所述第三次数确定单元，还用于：

基于异常波动监测函数确定所述监测数据的波动异常次数；

可选地，所述系统还包括：

评分确定模块，用于在接收到针对目标评价对象对应的监测数据的质量评价请求的情况下，确定所述目标评价对象对应的每种类型的传感器的数目，并确定各个传感器采集的监测数据的综合质量评分；

第三计算模块，用于根据每种类型的传感器的数目，以及每种类型下各个传感器采集的监测数据的综合质量评分，计算每种类型的传感器对应的质量评分；

第四计算模块，用于根据每种类型的传感器的预设权重，对各个类型的传感器对应的质量评分进行加权求和，得到所述目标评价对象对应监测数据的综合质量评分。

综上，本发明实施例提供的面向地质灾害监测的数据质量评价系统，能够基于传感器的数据处理参数对传感器采集的监测数据进行异常判断，根据数据处理参数计算传感器采集的监测数据在各个评价维度上的评分，并根据各个评价维度的预设权重确定监测数据的综合质量评分，从而实现对地质灾害监测数据的多维度评估，有利于从不同角度为监测人员提供更好的数据决策支持，提高地质灾害监测工作的日常管理效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例还提供了一种电子设备，参照图6，包括：处理器601、存储器602以及存储在所述存储器602上并可在所述处理器上运行的计算机程序6021，所述处理器601执行所述程序时实现前述实施例的面向地质灾害监测的数据质量评价方法。

本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置（服务器或者终端）的处理器执行时，使得装置能够执行前文图1所对应实施例中面向地质灾害监测的数据质量评价方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种面向地质灾害监测的数据质量评价方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种面向地质灾害监测的数据质量评价方法，其特征在于，所述方法包括：

基于所述数据处理参数判断所述监测数据是否存在异常；

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理参数计算所述监测数据在各个评价维度上的评分，包括：

3.根据权利要求2所述的方法，其特征在于，所述数据处理参数包括传输字段、固有采集频率和监测量程；所述评价维度包括完整性、可靠性和准确性；所述根据所述数据处理参数和各个评价维度对应的评价指标，确定所述监测数据在各个评价维度对应的异常次数，包括：

4.根据权利要求3所述的方法，其特征在于，所述按照字段缺失指标和数据中断指标，利用所述传输字段、所述固有采集频率确定所述监测数据的完整性异常次数，包括：

获取所述监测数据对应的数据采集间隔；

5.根据权利要求3所述的方法，其特征在于，所述按照超出量程指标和极端变化指标，利用所述监测量程确定所述监测数据的可靠性异常次数，包括：

6.根据权利要求3所述的方法，其特征在于，所述根据波动异常指标和误差异常指标，确定所述监测数据的准确性异常次数，包括：

基于异常波动监测函数确定所述监测数据的波动异常次数；

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种面向地质灾害监测的数据质量评价系统，其特征在于，所述系统包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的面向地质灾害监测的数据质量评价方法。

10.一种机器可读存储介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至7中任一项所述的面向地质灾害监测的数据质量评价方法。