CN107862338B - 基于双检验法的海洋环境监测数据质量管理方法及系统 - Google Patents

Abstract

本发明涉及一种基于双检验法的海洋环境监测数据质量管理方法及系统，该方法包括以下步骤：S1：将原始数据划分为输入设备输入数据和传感器采集数据，并再划分为单来源类与多来源类；S2：进行数据异常值检验，获得第一数据异常值和第二数据异常值；S3：根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别；S4：基于预设的报警规则，进行报警与修正处理；S5：数据存储到相应的数据库中。与现有技术相比，本发明将数据质控的检验算法集成至软件系统中，实现将监测数据结果的自动导入、分类、质检、预警，为海洋环境监督管理提供准确有效的数据支撑。

Description

基于双检验法的海洋环境监测数据质量管理方法及系统

技术领域

本发明涉及海洋环境监测技术领域，尤其是涉及一种基于双检验法的海洋环境监测数据质量管理方法及系统。

背景技术

海洋环境监测，是以海洋环境为对象，运用物理的、化学的和生物的技术手段，对其中的污染物及其有关的组成成分进行定性、定量系统的综合分析，以探索研究海洋环境质量的变化规律。环境监测的重要性在于能够准确的、及时、全面的反应环境质量现状以及发展趋势，为环境管理污染源控制，环境管理等提供科学依据。

环境监测数据是实验室监测结果的定量或定性的记录，是环境研究最重要的基础，其质量好坏直接关系到以此为据的正确性和科学性。海洋环境监测的异常数据就是数据集中与其它数据明显不一致的数据。异常数据的产生原因有很多，可能是数据产生机制内在特性决定的，也可能是环境抽样调查技术问题；数据采集设备不完善；数据录入及传输错误；测量单位混乱；虚报、瞒报使统计数据失真；丢失数据等人力可控因素造成的。异常数据的出现会极大程度地降低数据的质量，使得样本对总体的推断、控制与预测等工作可能会不准确或者出现错误，进一步甚至可能造成宏观决策上的失误，带来不可挽回的损失。因此，异常数据的识别和剔除，也就是数据的质控就显得十分有意义。

目前，海洋环境异常数据识别有物理识别法和统计识别法。物理识别法是根据人们对客观事物已有的认识，识别由于外界干扰、人为误差等原因造成实测数据偏离正常结果，在实验过程中识别，随时剔除的一种方法。统计识别法是通过参数估计、假设检验、方差分析、相关分析、回归分析、聚类分析等推断应剔除异常数据。数据质量评估，也就是异常数据识别，常用的剔除法有拉依达准则法、格拉布斯(Grubbs)准则法、狄克逊(Dixon)准则法、肖维勒(Chauvenet)准则法、罗马诺夫斯基(t检验)准则法。目前这些数据审核质量的方法公式复杂，数据质控流程需要先获取实验室的监测结果，再而将平行多组实验数据进行整理、归类、统计、审核、分析等流程，目前数据质量审核与质控还不够流程化、自动化。随着计算机自动化的普及，环境监测信息量的增大，数据质控必须由计算机来完成，而且是必不可少的工作，否则会造成不良后果。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双检验法的海洋环境监测数据质量管理方法及系统，利用计算机、网络信息化技术等手段，将数据质控的检验算法集成至软件系统中，实现将监测数据结果的自动导入、分类、质检、预警，为海洋环境监督管理提供准确有效的数据支撑。

本发明的目的可以通过以下技术方案来实现：

一种基于双检验法的海洋环境监测数据质量管理方法包括以下步骤：

S1：将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类；

S2：采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值；

S3：根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别；

S4：基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理；

S5：经过步骤S4后获取的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中。

还包括步骤S6：对步骤S5获取的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

所述步骤S3中，若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；

若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

所述步骤S4中，报警与修正处理步骤具体为：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

一种基于双检验法的海洋环境监测数据质量管理系统包括：

预分类模块，用于将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类；

质检模块，与预分类模块连接，用于采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值；

异常原因分类模块，与质检模块连接，用于根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别；

报警与修正模块，与异常原因分类模块连接，用于基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理；

分类存储模块，与报警与修正模块连接，用于将报警与修正模块输出的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中。

还包括数据统计模块，与分类存储模块连接，用于对分类存储模块存储的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

所述异常原因分类模块具体用于，若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；

若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

所述报警与修正模块具体用于：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

与现有技术相比，本发明具有以下优点：

1)利用计算机、网络信息化技术等手段，将数据质控的检测算法集成至软件系统中，实现将监测数据结果的自动导入、审核、分析、预警，并提供数据修正及剔除工具辅助工作人员对生态环境监测数据进行判别或剔除，并对修正后的结果进行数据存储入库，为海洋环境监督管理提供准确有效的数据支撑，只要导入的环境监测数据符合要求规划，就可快速实现数据质量的评估。

2)步骤S1实现按来源类型、来源个数的双重分类，来源个数的分类为后续步骤S2中Dixon、Grubbs数据质量分析评价模型的分类质检提供数据支持，而来源类型的分类为后续步骤S3中异常原因类别获取提供数据支持，最后根据不同的异常原因类别提出最优的报警与处理方案，以实现高精度的海洋环境监测数据质量管理。

附图说明

图1为本发明方法的流程图；

图2为Dixon检测法在系统平台上的技术实现过程。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种基于双检验法的海洋环境监测数据质量管理方法包括以下步骤：

S1：将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，输入设备输入数据是指用手持移动设备、计算机等输入方式输入的数据，传感器采集数据是指用气温传感器、温盐深传感器自动采集的数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类，来源个数是指针对同一个监测站点的同一个监测数据有一个或多个的采集前端端口。

S2：系统集成Dixon、Grubbs数据质量分析评价模型实现对环境监测数据质量评估，具体为：采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值。

一、Dixon数据质量分析评价模型

如狄克松(Dixon)检验法适用于一组测量值的一致性检验和剔除离群值。系统通过集成狄克松(Dixon)检验法算法，实现对数据异常值检验。

本法中对最小可疑值和最大可疑值进行检验的公式因样本容量(n)不同而异，检验方法如下：

(1)将一组测量数据按从小到大顺序排列为x1、x2、…、xn，x1和xn分别为最小可疑值和最大可疑值。

(2)按下表计算式求Q值。

狄克松检验法Q值计算式

狄克松检验法临界值Qa值计算式

(3)根据给定的显著性水平(理)和样本容量(n)，从上表查得临界值(Qa)。

(4)若Q≤Q_0.05则可疑值为正常值；若Q_0.05<Q≤Q_0.01则可疑值为偏离值；若Q>Q_0.01，则可疑值为离群值。

Dixon检验法适用于一组监测数据的一致性检验，检出1个或多个异常值。应用Dixon检验法处理数据时，按下述三种不同情况来处理：(1)只有一个可疑数据；(2)可疑数据有两个或两个以上，且都在平均值的同一侧；(3)可疑数据有两个或两个以上，而又在平均值两侧；该检验法分单侧和双侧检验，如图2所示，通过代码实现不同情况下数据处理的过程。

二、Grubbs数据质量分析评价模型

格鲁布斯(Grubbs)检验法适用于检验多组测量值均值的一致性和剔除多组测量值中的离群均值。系统通过集成格鲁布斯(Grubbs)检验法算法，实通过集成格鲁布斯(Grubbs)检验法算法，将导入的环境监测数据列表进行Grubbs检验，现对数据异常值检验。

格鲁布斯(Grubbs)检验法计算步骤如下：

(1)计算统计量

μ＝(X1+X2+…+Xn)/n

s＝(∑(Xi-μ)/(n-1))1/2(i＝1,2…n)

Gn＝(X(n)-μ)/s

式中μ——样本平均值；

s——样本标准差；

Gn——格拉布斯检验统计量。

(2)确定检出水平α，查表(见GB4883)得出对应n，α的格拉布斯检验临界值G1-α(n)。

(3)当Gn>G1-α(n),则判断Xn为异常值，否则无异常值。

(4)给出剔除水平α’的G1-α’(n)，当Gn>G1-α’(n)时，Xn为高度异常值，应剔除。

S3：根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别，具体有：

若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；

若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

S4：基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理，其中，报警与修正处理步骤具体为：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

S5：经过步骤S4后获取的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中。观测数据类型可包括气温数据、水温数据、盐度数据、深度数据、潮流数据、潮汐数据、海流数据、水色数据等等。

S6：对步骤S5获取的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

一种基于双检验法的海洋环境监测数据质量管理系统包括：依次连接的预分类模块、质检模块、异常原因分类模块、报警与修正模块、分类存储模块和数据统计模块，具体有：

预分类模块，用于将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类。

质检模块，用于采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值。

异常原因分类模块，用于根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别。

异常原因分类模块具体用于，若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；

若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

报警与修正模块，用于基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理。

报警与修正模块具体用于：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

系统实际应用时，报警与修正模块根据平台设定的报警规则，针对不同类型的数据可进行不同方式的报警设置，提供报警规则的设定功能。同时支持预警规则的添加、删除、修改等管理功能。针对对应要素，并设定好预警规则。同时可实现对监测站点的数据异常的预警提醒，在以系统通知及闪烁的方式进行提醒用户查看，辅助其采取措施及时处理预警情况。

系统还可提供人机交互界面，根据异常值与正常值差值的数量级，自动分类对哪几种的数据错误原因，通过数据质控和数据预警提醒数据的技术人员对所标识的可疑数据进行人工干预处理，针对人工单元输错可以自动调整，而对于测量仪器的损坏可以对前端采集端进行维修提示，以确保实时数据的准确性。

分类存储模块，用于将报警与修正模块输出的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中。

数据统计模块，用于对分类存储模块存储的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

本系统通过集成数据审核质控模型算法，利用信息化，提高数据监测数据处理效率和水平，为海洋生态环境质量合理性评价提供数据基础。

Claims (6)

1.一种基于双检验法的海洋环境监测数据质量管理方法，其特征在于，包括以下步骤：

S1：将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类；

S2：采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值；

S3：根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别；

S4：基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理；

S5：经过步骤S4后获取的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中；

所述步骤S3中，若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

2.根据权利要求1所述的基于双检验法的海洋环境监测数据质量管理方法，其特征在于，还包括步骤S6：对步骤S5获取的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

3.根据权利要求1所述的基于双检验法的海洋环境监测数据质量管理方法，其特征在于，所述步骤S4中，报警与修正处理步骤具体为：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

4.一种基于双检验法的海洋环境监测数据质量管理系统，其特征在于，包括：

预分类模块，用于将采集前端获取的海洋环境监测原始数据根据来源类型划分为输入设备输入数据和传感器采集数据，并将输入设备输入数据和传感器采集数据分别按来源个数继续划分为单来源类与多来源类；

质检模块，与预分类模块连接，用于采用Dixon检验法对单来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第一数据异常值；同时采用Grubbs检验法对多来源类下的输入设备输入数据和传感器采集数据进行数据异常值检验，获得第二数据异常值；

异常原因分类模块，与质检模块连接，用于根据第一数据异常值、第二数据异常值与对应周围邻近值的差值所在的数量级，得到第一数据异常值、第二数据异常值对应的异常原因类别；

报警与修正模块，与异常原因分类模块连接，用于基于预设的报警规则，根据异常原因类别对第一数据异常值、第二数据异常值进行报警与修正处理；

分类存储模块，与报警与修正模块连接，用于将报警与修正模块输出的输入设备输入数据和传感器采集数据按观测数据类型分别存储到相应的数据库中；

所述异常原因分类模块具体用于，若第一数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为传感器设备工作异常，若第一数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第一数据异常值的异常原因类别为数据传输错误；若第二数据异常值与对应周围邻近值的差值所在的数量级大于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为测量单位错误，若第二数据异常值与对应周围邻近值的差值所在的数量级小于或等于周围邻近值所在的数量级，则第二数据异常值的异常原因类别为虚假填报。

5.根据权利要求4所述的基于双检验法的海洋环境监测数据质量管理系统，其特征在于，还包括数据统计模块，与分类存储模块连接，用于对分类存储模块存储的数据库中数据的监测数据记录数、监测区域数、监测站位数、数据总数进行统计，并以列表的形式展示统计结果。

6.根据权利要求4所述的基于双检验法的海洋环境监测数据质量管理系统，其特征在于，所述报警与修正模块具体用于：

对于异常原因类别为传感器设备工作异常，则向采集前端发出对应传感器检修提示，同时开启备用的传感器替代需检修的传感器；

对于异常原因类别为数据传输错误，则向采集前端发出重新传输数据包的请求，并进行二次数据异常值检验；

对于异常原因类别为测量单位错误，则将第二数据异常值的数量级调整到第二数据异常值对应周围邻近值所在的数量级，并进行二次数据异常值检验；

对于异常原因类别为虚假填报，则向采集前端发出警示信号并请求重新传输数据包。

Images