CN104268679A - 海洋环境监测数据流程化处理方法及装置 - Google Patents

Abstract

本发明涉及信息处理技术领域，尤其涉及海洋环境监测数据流程化处理方法及装置。该方法包括：对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板；将海洋环境监测数据电子表转换为二维关系型数据表；对第一预处理数据表进行格式转换，得到第二预处理数据表；遍历第二预处理数据表中的监测数据是否存在缺失，如果是，则对缺失位置进行数据填补；对第二预处理数据表中的监测站位基础信息数据进行质量控制；对第二预处理数据表中的监测站位的监测参数数据质量进行检验；利用海洋环境监测数据电子表的输出结果实施海洋环境监测。本发明提供的该海洋环境监测数据流程化处理方法及装置，实现对海洋环境监测数据的统一规范处理。

Description

海洋环境监测数据流程化处理方法及装置

技术领域

本发明涉及信息处理技术领域，具体而言，涉及海洋环境监测数据流程化处理方法及装置。

背景技术

近年来，我国海洋环境监测能力切实加强，业务体系不断创新发展。目前已形成了国家、海区、省、市、县5级环境监测网络，已建有海洋环境监测机构200多个。随着我国海洋环境监测工作的深入开展，监测工作已形成了包括海洋生物多样性、海水、沉积物、赤潮、海洋溢油、陆源入海、海水浴场等20余项监测任务，以及海水水质、水文气象、沉积物质量、生物质量、浮游植物、浮游动物等40余种监测要素的业务化监测体系。

海洋环境监测数据的规范处理和管理在海洋监测中是很重要的一个环节。随着监测数据的不断获取与更新，已形成了海量的数据积累，每年可获得各类海洋环境监测数据200多万个。这些数据包括不同的监测任务和监测要素，出自不同的监测机构，由于各地监测机构上报汇总的监测数据格式和类型多样，且标准化程度不高，这给监测数据的处理带来一定的困难。各个机构对获取的海洋环境监测数据的处理方法主要基于人工完成，数据处理标准化程度低、通用性较差，当数据用途改变时，处理过程容易返工，造成人力和物力的浪费。

海洋环境监测数据质量直接影响海洋环境管理决策的科学性，准确可靠的监测数据是海洋环境科学研究和海洋综合管理的依据。如何进行海洋环境监测数据集的标准化处理与质量控制，是海洋环境保护及海洋信息化持续健康发展的关键问题。

为了适应海洋环境保护的信息化发展，海洋生态环境监测数据采集完成后，需要完成监测数据的统一和规范化处理。目前我国海洋环境监测制度及质量控制规范及检验方法，如：国家海洋局“海洋监测规范第2部分：数据处理与分析质量控制”，国家环境保护部“全国近岸海域环境监测网质量保证和质量控制工作规定(试行)”。大多是针对实验室内质量控制的研究。目前，针对海洋环境监测数据流程化处理尚未有一个规范的、系统的方法体系。

发明内容

本发明的目的在于提供海洋环境监测数据流程化处理方法及装置，以解决上述的问题。

在本发明的实施例中提供了海洋环境监测数据流程化处理方法，包括：

根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子表转换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息；

对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示各项检测结果的质控符；

利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。

优选地，所述对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，包括：识别监测站位的经度及纬度，根据所述监测站位的经度及纬度生成站位图；利用所述站位图检测所述监测站位的空间落点是否落在规定的监测区域，如果否，则对该监测站位设置表示未落在规定的监测区域的质控符；利用所述站位图检测位于监测断面上的监测站位偏离断面沿线的值是否超出预设偏离阈值，如果是，则对该监测站位设置表示偏离断面沿线的质控符；检测所述监测站位的站位编号是否与设定的经纬度匹配对应，如果否，则对该监测站位设置表示站位编号与经纬度不匹配的质控符。

优选地，对监测参数数据进行值域一致性检验，包括：检测监测参数数据是否超过设定的监测阈值，如果是，则对所述监测参数数据设定表示超过设定的监测阈值的质控符；其中所述监测阈值包括：所述监测参数的理化性质阈值范围、一般污染指标阈值范围、重金属类及有毒污染指标阈值范围。

优选地，对监测参数数据进行逻辑一致性检验，包括：对监测参数数据不同形态的关系检验，包括：根据监测参数数据判断总氮含量是否高于无机氮含量，如果否，则对所述总氮含量及所述无机氮含量所对应的监测参数数据设置表示总氮含量低于无机氮含量的质控符；根据监测参数数据判断总磷含量是否高于溶解态磷含量，如果否，则对所述总磷含量及所述溶解态磷含量所对应的监测参数数据设置表示总磷含量低于溶解态磷含量的质控符；根据监测参数数据判断溶解态氮含量是否高于溶解无机氮含量，如果否，则对所述溶解态氮含量及所述溶解无机氮含量所对应的监测参数数据设置表示溶解态氮含量低于溶解无机氮含量的质控符；根据监测参数数据判断溶解态磷含量是否高于活性磷酸盐含量，如果否，则对所述溶解态磷含量及所述活性磷酸盐含量所对应的监测参数数据设置表示溶解态磷含量低于活性磷酸盐含量的质控符；根据监测参数数据判断总铬含量是否大于六价铬含量，如果否，则对所述总铬含量及所述六价铬含量所对应的监测参数数据设置表示总铬含量低于六价铬含量的质控符；

对同一物质在不同监测参数之间的关系检验，包括：根据监测参数数据判断用重铬酸钾做氧化剂测定的化学需氧量COD_Cr是否大于用高锰酸钾做氧化剂COD_Mn测定的化学需氧量，如果否，则对所述COD_Cr及所述COD_Mn所对应的监测参数数据设置表示COD_Cr低于所述COD_Mn的质控符；根据监测参数数据判断COD_Cr是否高于微生物代谢所消耗的溶解氧量BOD₅，如果否，则对COD_Cr及BOD₅所对应的监测参数数据设置表示COD_Cr低于BOD₅的质控符；根据监测参数数据判断大肠菌群数是否高于粪大肠菌群数，如果否，则对所述大肠菌群数及所述粪大肠菌群数所对应的监测参数数据设置表示大肠菌群数低于粪大肠菌群数的质控符；

不同监测参数内在联系的检验，包括：根据监测参数数据判断溶解氧在海水中的溶解度是否随温度的升高而降低，且随盐度的增加而减少，如果否，则对所述溶解氧及所述溶解氧所对应的监测参数数据设置质控符；根据监测参数数据判断是否酸碱度值越大，总碱度值越小，如果否，则对所述酸碱度值及所述总碱度值所对应的监测参数数据设置质控符；根据监测参数数据判断硝酸盐含量是否高于亚硝酸盐含量，如果否，则对所述硝酸盐含量及所述亚硝酸盐含量所对应的监测参数数据设置质控符。

优选地，所述对监测参数数据进行逻辑一致性检验，还包括：根据年纪监测参数浓度的变化、年内各季度监测参数浓度的变化，结合监测区域环境特征，确定监测参数的时间分布特征；根据所述时间分布特征，对所述监测参数数据进行时间分布检验；

根据监测参数数据制作监测参数平面分布图，根据所述平面分布图，判断监测区域中是否存在监测参数数据与相关监测参数数据之间的差值高于预设值，如果存在，则对该监测参数设置质控符。

优选地，所述对监测参数数据进行逻辑一致性检验，还包括：对监测参数数据进行离散群点检验，包括：利用所述监测参数数据绘制散点图，利用所述散点图确定离群点数据；或，利用所述监测参数数据绘制箱形图，利用所述箱形图确定离散群点数据；或，利用空间局部离散群系数度量方法确定出空间站位的离散程度。

优选地，所述利用空间局部离散群系统度量方法确定出空间站位的离散程度，包括：选取空间邻域：对于任一站位监测数据对象s，根据经度与纬度的空间信息，按照一定的邻域半径r确定对象s的空间邻域NB(s)，其中所述空间邻域NB(s)为对象s的所有空间邻居p的集合；

计算邻域距离：按照公式 $\mathrm{dist}(s,p,w)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{w}_k{(f\left(s_k\right)-f\left(p_k\right))}^2}---\left(1\right)$ 计算对象s与空间邻居p的加权距离；其中，d为监测参数的个数，f(s_k)为对象s第k个监测参数的数据值，f(p_k)为对象p第k个监测参数的数据值；按照公式 $\mathrm{Ndist}(s,w)=\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{dist}(s,p,w)/\left|\mathrm{NB}\left(s\right)\right|---\left(2\right)$ 计算对象s的邻域距离Ndist(s,w)；其中|NB(s)|指空间邻域NB(s)的个数，邻域距离表示对象s与其邻域在非空间属性上的相异程度，邻域距离越大，相异程度越高；

计算空间局部离群系数：按照公式(2)计算空间邻域NB(s)中所有对象的邻域距离Ndist(p,w)；按照公式 $\mathrm{SLOF}\left(s\right)=\frac{\mathrm{Ndist}(s,w)}{\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{Ndist}(p,w)/\left|\mathrm{NB}\left(s\right)\right|}---\left(3\right)$ 计算对象s的空间局部离群系数；

确定空间离群点：对得到的所有对象的SLOF(s)值按降序排列，将排在前N位的监测站位对象确定为空间局部离散群点。

本发明实施例还提供了一种海洋环境监测数据流程化处理装置，包括：

解析模块，用于根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

二维格式转换模块，用于利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子表转换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

合并模块，用于将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

标准格式转换模块，用于按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

齐全性检验模块，用于遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

基础信息质量控制模块，用于对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息；

监测参数数据质量检验模块，用于对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

结果输出模块，用于获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示各项检测结果的质控符；

监测实施模块，用于利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。

本发明实施例提供的海洋环境监测数据流程化处理方法及装置，将获取的海洋环境监测数据电子表转换合并为二维关系型数据表，并对二维关系型数据表进行格式规范转换、齐全性检验、监测站位基础信息质量控制、监测参数数据质量检验等处理，实现对海洋环境监测数据的统一规范处理，使得海洋环境监测数据通用性增强，有利于基于输出的数据处理结果制定海洋环境监测方案并实施海洋环境监测。

附图说明

图1为本发明实施例中海洋环境监测数据流程化处理方法的流程图；

图2为本发明实施例中不同监测站位溶解氧浓度的散点图；

图3为本发明实施例中亚硝酸盐和硝酸盐浓度的散点图；

图4为本发明实施例中箱形图的效果示意图；

图5为本发明实施例中海洋环境监测数据流程化处理装置的结构示意图；

图6为本发明实施例中空间局部离散群点检验法的示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例中提供了一种海洋环境监测数据流程化处理方法，如图1所示，主要处理步骤包括：

步骤S11：根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

如表1示出了海洋环境标准报表模板的格式，从表1中可看出利用解析出的报表模板能够获取海洋环境监测数据电子表中的公用信息，具体包括监测任务、监测要素、监测区域、监测单位、组织单位、监测日期及填报日期，以及表尾中的填报人、校对人及审核人。

表1

步骤S12：利用数据报表模板中公用信息的位置与名称，将海洋环境监测数据电子表转换为二维关系型数据表，其中二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

步骤S13：将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

步骤S12中，将海洋环境监测数据电子表转换为二维关系型数据表并进行电子表合并的方法为：汇总不同报表模板中的公用信息，如监测任务、监测要素、监测区域、监测单位、组织单位、监测日期、填报日期，以及表尾中的填报人，校对人，审核人信息，针对不同报表公用信息的原始名称，构建公用信息的标准名称配置表；通过不同报表模板的报表表格相对位置与名称，利用标准名称配置表识别报表中公用的信息；将监测数据电子报表转换为二维关系型的数据表，以监测站位、采样层次(表层、中层、底层)等信息作为一条记录，按行逐条排列，公用信息按行填补；将同一监测要素的多个报表数据按照相同字段名称合并到一张二维关系型数据表中，为多个报表监测数据的批量标准化处理与质量控制提供准备。

步骤S14：按照设定的参数名称及参数单位的标准格式，对第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

步骤S14中，对第一预处理数据表中的参数名称及参数单位进行格式转换的具体方法为：制作海洋环境监测数据常见填报名称与标准名称的多对一类型的动态配置表，包括监测任务名称、监测要素名称、组织单位名称、监测区域名称、监测参数名称，以及计量单位之间转换关系的配置表，并对不同名称下的数据值类型进行统一规范，如数值型、字符型、日期型等，各类配置表可根据监测数据实际情况进行动态添加；利用已制定的各类配置表，对合并的二维关系型数据表中数据进行自动识别转换，实现快速标准化名称和计量单位的转换处理。

步骤S15：遍历第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

步骤S15为对电子表中的数据进行齐全性检验的过程，具体地，以海洋环境监测方案为依据，检查监测方案中规定的监测数据是否全部上报完整。首先对国家海洋环境监测工作任务以及各海区年度海洋环境监测工作方案进行量化，将方案文本中涉及的监测任务、监测要素、监测区域、监测站位、监测频次等信息提取出来，量化成表格形式；对照已量化的监测信息，检查接收的数据是否存在区域、站位或频次等有空缺监测的情况；对于缺少的信息进行填补。

步骤S16：对进行数据填补后的第二预处理数据表中的监测站位基础信息数据进行质量控制，其中站位基础信息为海洋环境监测站位的时间、空间及区域信息；

步骤S17：对进行数据填补后的第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

步骤S18：获取海洋环境监测数据电子表的输出结果，其中输出结果中设置有用于表示各项检测结果的质控符；

步骤S19：利用海洋环境监测数据电子表的输出结果实施海洋环境监测。

对进行数据填补后的第二预处理数据表中的监测站位基础信息数据进行质量控制，包括：识别监测站位的经度及纬度，根据监测站位的经度及纬度生成站位图；利用站位图检测监测站位的空间落点是否落在规定的监测区域，如果否，则对该监测站位设置表示未落在规定的监测区域的质控符；利用站位图检测位于监测断面上的监测站位偏离断面沿线的值是否超出预设偏离阈值，如果是，则对该监测站位设置表示偏离断面沿线的质控符；检测监测站位的站位编号是否与设定的经纬度匹配对应，如果否，则对该监测站位设置表示站位编号与经纬度不匹配的质控符。

在对监测站位基础信息数据进行质量控制实现方法中，站位基础信息是指海洋环境监测站位的时、空、区域属性等基本信息，如监测区域名称、站位编号、监测日期、经纬度信息等，不包括监测参数值的信息。空间位置检验利用Arcgis识别站位经、纬度，通过生成站位图的方式检查站位空间落点所在位置，看其是否落在规定的监测区域，对于监测断面上的站位，还要检查其是否明显偏离断面沿线；一般而言，一个监测站位编号应对于一个固定的空间位置，即固定的经、纬度，因此还需要检验监测站位编号和经纬度是否一致的情况，如“相同的站位编号，而经纬度不同”和“不同的站位编号，而经纬度相同”等问题，针对识别出站位编号与经纬度不一致的数据记录，进一步根据空间位置精度(允许两频次的站位存在一定的位置差)，以及核实监测方案中对站位编号与经纬度的规定，判断空间位置是否合理，此类检验常发现站位编号填写不规范、经纬度有较大出入等问题。

根据不同监测要素类型，对于采样层次或物种名称一致时，针对“监测日期相同，站位编号或经纬度相同”的情况，进一步判断两条记录的监测参数值是否完全一致，若完全一致则认为是重复记录，在制作海洋环境监测标准数据集中应做剔除处理；若不完全一致，可认为是平行样记录，将相同监测参数的多个数值进行求算术平均处理。

对监测参数数据进行值域一致性检验，包括：检测监测参数数据是否超过设定的监测阈值，如果是，则对监测参数数据设定表示超过设定的监测阈值的质控符；其中监测阈值包括：监测参数的理化性质阈值范围、一般污染指标阈值范围、重金属类及有毒污染指标阈值范围。

在对监测参数数据进行值域一致性检验过程中，每个监测参数有其对应的监测阈值范围，监测参数值域范围可根据监测参数的理化性质，如盐度、水温、pH、透明度、溶解氧浓度等，参考最低检出限及最大污染倍数，如化学需氧量、活性磷酸盐、溶解无机氮、汞、镉、铅、砷、铜、锌、铬等，以及历史监测参数范围或区域环境污染特征及相关资料文献等方法来确定，通过值域范围检验该参数是否超出值域上下限。以海水水质监测要素为例，其监测数据值域检验推荐范围如表2所示。

表2海水水质监测数据值域检验推荐范围

本发明实施例中，对监测参数数据进行逻辑一致性检验，包括：对监测参数数据不同形态的关系检验，包括：根据监测参数数据判断总氮含量是否高于无机氮含量，如果否，则对总氮含量及无机氮含量所对应的监测参数数据设置表示总氮含量低于无机氮含量的质控符；在海洋环境监测中，总氮(TN)含量是有机氮(TON)和无机氮(TIN)的总和，因此总氮含量应高于无机氮含量，如果为否，则说明与总氮含量及无机氮含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断总磷含量是否高于溶解态磷含量，如果否，则对总磷含量及溶解态磷含量所对应的监测参数数据设置表示总磷含量低于溶解态磷含量的质控符；在海洋环境监测中，总磷(TP)含量是水中正磷酸盐、聚合磷酸盐、可水解磷酸盐及有机磷等的总和，因此，总磷含量应高于溶解态磷含量；如果为否，则说明总磷含量及溶解态磷含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断溶解态氮含量是否高于溶解无机氮含量，如果否，则对溶解态氮含量及溶解无机氮含量所对应的监测参数数据设置表示溶解态氮含量低于溶解无机氮含量的质控符；在海洋环境监测中，溶解态氮含量应高于溶解无机氮含量(硝酸盐、亚硝酸盐、铵盐含量之和)，如果为否，则说明溶解态氮含量及溶解无机氮含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断溶解态磷含量是否高于活性磷酸盐含量，如果否，则对溶解态磷含量及活性磷酸盐含量所对应的监测参数数据设置表示溶解态磷含量低于活性磷酸盐含量的质控符；在海洋环境监测中，溶解态磷含量应高于活性磷酸盐含量，如果为否，则说明溶解态磷含量及活性磷酸盐含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断总铬含量是否大于六价铬含量，如果否，则对总铬含量及六价铬含量所对应的监测参数数据设置表示总铬含量低于六价铬含量的质控符；在海洋环境监测中，铬的化合物常见价态有三价和六价，两者可以相互转化，因此总铬含量大于六价铬含量，如果为否，则说明总铬含量及六价铬含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

本发明实施例中，对同一物质在不同监测参数之间的关系检验，包括：根据监测参数数据判断用重铬酸钾做氧化剂测定的化学需氧量COD_Cr是否大于用高锰酸钾做氧化剂COD_Mn测定的化学需氧量，如果否，则对COD_Cr及COD_Mn所对应的监测参数数据设置表示COD_Cr低于COD_Mn的质控符；在海洋环境监测中，由于一般水体有一部分有机物质不能在COD_Mn法中被氧化而可在COD_Cr法中被氧化，因此COD_Cr含量高于COD_Mn，因此如果COD_Cr低于COD_Mn，则说明COD_Cr及COD_Mn所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断COD_Cr是否高于微生物代谢所消耗的溶解氧量BOD₅，如果否，则对COD_Cr及BOD₅所对应的监测参数数据设置表示COD_Cr低于BOD₅的质控符；在海洋环境监测中，在BOD₅的测定条件下，许多有机物不能被微生物分解，但能为K₂Cr₂O₇分解，因此COD_Cr含量高于BOD₅，如果COD_Cr低于BOD₅，则说明COD_Cr及BOD₅所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断大肠菌群数是否高于粪大肠菌群数，如果否，则对大肠菌群数及粪大肠菌群数所对应的监测参数数据设置表示大肠菌群数低于粪大肠菌群数的质控符；大肠菌群和粪大肠菌群都是表征与粪便污染有关的细菌指数，大肠菌群数应高于粪大肠菌群数，如果大肠菌群数低于粪大肠菌群数，则说明大肠菌群数及粪大肠菌群数所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

不同监测参数内在联系的检验，包括：根据监测参数数据判断溶解氧在海水中的溶解度是否随温度的升高而降低，且随盐度的增加而减少，如果否，则对溶解氧及溶解氧所对应的监测参数数据设置质控符；在海洋环境监测中，溶解氧在海水中的溶解度，随温度的升高而降低，随盐度的增加而减少，所以如果根据监测参数数据确定的该结果为否，则说明溶解氧及溶解氧所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断是否酸碱度值越大，总碱度值越小，如果否，则对酸碱度值及总碱度值所对应的监测参数数据设置质控符；在海洋环境监测中，酸碱度度值pH与总碱度相关，pH越大，总碱度越小，如果为否，则说明酸碱度值及总碱度值所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

根据监测参数数据判断硝酸盐含量是否高于亚硝酸盐含量，如果否，则对硝酸盐含量及亚硝酸盐含量所对应的监测参数数据设置质控符；海洋环境监测中，溶解氧含量正常的海水中，硝酸盐含量一般应高于亚硝酸盐含量，如果硝酸盐含量低于亚硝酸盐含量，则说明硝酸盐含量及亚硝酸盐含量所对应的监测参数数据逻辑关系有误，所以需对其设置相关的质控符，表示质控的结果。

在对监测参数数据进行逻辑一致性检验中，还包括：根据年纪监测参数浓度的变化、年内各季度监测参数浓度的变化，结合监测区域环境特征，确定监测参数的时间分布特征；根据时间分布特征，对监测参数数据进行时间分布检验；根据监测参数数据制作监测参数平面分布图，根据平面分布图，判断监测区域中是否存在监测参数数据与相关监测参数数之间的差值高于预设值，如果存在，则对该监测参数设置质控符。

上述对监测参数数据进行的时间分布检验中，某些监测参数在不同监测时间上存在一定的值域关系，如年际参数浓度的变化、年内各季度的参数浓度的变化等，结合监测区域环境特征对历年同一监测时段监测参数的浓度变化、年际参数浓度的均值变化、年内各监测月份浓度的变化趋势做出定性判断，从而判断监测参数值的合理性。分析具体时间上该站位或区域的海洋环境异常情况，联系地方监测机构进行核实。开展监测参数空间分布检验，一般认为，海洋环境近岸污染程度大于远海。有些调查要素，如沉积环境中的大部分污染参数，仅从数据上很难发现系统性的偏差，特别是偏差后的数据也属于正常范围内的时候。在这种情况下，可以利用Arcgis制作监测参数的平面分布图，当发现某一区域的监测参数含量明显高于或低于周边时，应该追溯原始记录进行核实，一般可能在结果计算、计量单位与数据匹配、数据转移等过程发生错误，分析局部区域的海洋环境异常情况，联系地方监测机构进行核实。

对监测参数数据进行逻辑一致性检验，还包括：对监测参数数据进行离散群点检验，包括：利用监测参数数据绘制散点图，利用散点图确定离群点数据；或，利用监测参数数据绘制箱形图，利用箱形图确定离散群点数据；或，利用空间局部离散群系数度量方法确定出空间站位的离散程度。

其中，散点图是确定两组监测数据属性之间是否有联系、模式或趋势的最有效、最简便的二维图形方法。为构造散点图，每个数据对可视为一个代数坐标对，并作为一个点画在二维直角坐标系中。对于海洋环境监测参数数据而言，当两条坐标轴均为监测参数时，可反映两个监测参数之间是否存在某些相关关系；当其中一条坐标轴为时间或空间属性时，可快速地反映该监测参数属性的时间或空间分布规律。通过绘制监测参数数据的散点图，还可直观地查找监测参数的离群点数据。

以近岸海域海水水质监测的数据为例，以监测站位为x轴，溶解氧浓度为y轴绘制散点图，如图2所示。总体来看溶解氧浓度在4mg/L-12mg/L范围之间，但图中箭头所示的两个站位溶解氧数据值和其它站位数值相比，差异情况较大，可作为离群点数据。

再以两组监测参数数据属性为例，以亚硝酸盐浓度和硝酸盐浓度分别为x和y坐标轴绘制散点图，如图3所示。总体上可以看出亚硝酸盐和硝酸盐存在一定的正相关关系，但图中箭头所指的两个站位监测数据和其它站位数据相比，存在较大的差异，可视为离群点数据。

探索性数据分析是在一组数据中寻求重要信息的过程，无须借助于先验的理论或假设，直接探索隐藏在数据中的关系、模式和趋势等。探索性数据分析技术中的箱形图，如图4所示，可以清晰地表示数据的分布特征。从图4中可看出，箱形图中矩形表示上、下四分数之间的数据分布，中间的横线为中位数的位置，从矩形的两端各画一条直线到非异常值的最大和最小数值点，这条线称为须线，一般认为，距离箱形顶部或底部大于1.5倍内四分极值的值为异常值。

以海洋环境监测中生物质量全要素中的监测参数“砷”为例，共监测312个数据。根据探索性数据分析检验法计算结果，如图4所示，砷浓度大于2.6933μg/L的参数值为离群点数据，共有18个，占总数的5.8％。

根据海洋环境监测数据的空间特性，提出了监测数据的空间离群点挖掘方法。将空间局部离群系数SLOF(Spatial Local OutlierFactor)的度量方法应用于海洋环境监测数据的空间局部离群点挖掘研究中，利用监测站位经、纬度确定空间邻域并建立空间索引，利用监测参数值确定空间站位的离群程度，找出与其空间邻域中其它站位的监测参数值存在明显差异的空间站位。

根据海洋环境监测数据的空间特性，将海洋环境监测数据分为空间属性和非空间属性。监测站位经、纬度为监测数据的空间属性，监测参数值为非空间属性。

利用空间局部离散群系统度量方法确定出空间站位的离散程度，包括：选取空间邻域：对于任一站位监测数据对象s，根据经度与纬度的空间信息，按照一定的邻域半径r确定对象s的空间邻域NB(s)，其中空间邻域NB(s)为对象s的所有空间邻居p的集合；

计算邻域距离：按照公式 $\mathrm{dist}(s,p,w)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{w}_k{(f\left(s_k\right)-f\left(p_k\right))}^2}---\left(1\right)$ 计算对象s与空间邻居p的加权距离；其中，d为监测参数的个数，f(s_k)为对象s第k个监测参数的数据值，f(p_k)为对象p第k个监测参数的数据值；按照公式 $\mathrm{Ndist}(s,w)=\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{dist}(s,p,w)/\left|\mathrm{NB}\left(s\right)\right|---\left(2\right)$ 计算对象s的邻域距离Ndist(s,w)；其中|NB(s)|指空间邻域NB(s)的个数，邻域距离表示对象s与其邻域在非空间属性上的相异程度，邻域距离越大，相异程度越高；

计算空间局部离群系数：按照公式(2)计算空间邻域NB(s)中所有对象的邻域距离Ndist(p,w)；按照公式 $\mathrm{SLOF}\left(s\right)=\frac{\mathrm{Ndist}(s,w)}{\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{Ndist}(p,w)/\left|\mathrm{NB}\left(s\right)\right|}---\left(3\right)$ 计算对象s的空间局部离群系数；

确定空间离群点：对得到的所有对象的SLOF(s)值按降序排列，将排在前N位的监测站位对象确定为空间局部离散群点。

当某一站位的监测数据对象之间的邻域距离为0时，表示对象与其邻域的非空间属性值相同，SLOF＝0；当监测数据对象的邻域距离与邻域对象的平均邻域距离相同时，表示对象的非空间属性在均匀地变化，SLOF＝1；当SLOF>1时，对象开始离群，随着值的增大，其离群程度也增大。

以海水水质监测数据为例进行说明，为便于直观显示，以单因子评价方法的站位等级结果进行计算，如图6所示，共分为一类、二类、三类、四类及劣四类5个等级。取空间邻域半径为10千米，利用上述空间局部离群点检验方法，检验出其中的一个空间局部离群点A1B13YQ014，如图6所示。该站位邻域空间的站位等级多为一类或二类，而该站位的评价等级为劣四类，因此，需要将该站位作为离群点，对其监测数据进行核实。若监测数据属实，可进行相应的后续研究，分析出现此现象的原因。

对文件进行批量检验处理，给出合理且足够详细的错误提示，并保存质检日志，使得数据便于修改。为了区别一个数据是否进行了质检、是否通过质检，以及了解质检的情况，需要对质检过后数据增加一个质量控制符号，简称质量符，质量符包含未质控、正确、可疑、错误、大于号、小于号、未检出、缺测等内容。一般来说，数值型的监测参数数据，对其质量检验出有问题的只能作为“可疑”处理，不宜随意修改或删除，除非经过专家经验检验，并核实监测单位，可明确其为错误的，其质量符方可标注为“错误”；对于监测站位基础信息，如监测日期、站位编号、经纬度、层号等，检验出有问题的，可根据检验情况，标注其质量符为“错误”或“可疑”等。同时分年度或季度对批量处理的文件形成数据处理报告；最后制作完成经整理、标准化和质量控制后的海洋环境监测标准数据集。

本发明实施例还提供了一种海洋环境监测数据流程化处理装置，包括：

解析模块21，用于根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

二维格式转换模块22，用于利用数据报表模板中公用信息的位置与名称，将海洋环境监测数据电子表转换为二维关系型数据表，其中二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

合并模块23，用于将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

标准格式转换模块24，用于按照设定的参数名称及参数单位的标准格式，对第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

齐全性检验模块25，用于遍历第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

基础信息质量控制模块26，用于对进行数据填补后的第二预处理数据表中的监测站位基础信息数据进行质量控制，其中站位基础信息为海洋环境监测站位的时间、空间及区域信息；

监测参数数据质量检验模块27，用于对进行数据填补后的第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

结果输出模块28，用于获取海洋环境监测数据电子表的输出结果，其中输出结果中设置有用于表示各项检测结果的质控符；

监测实施模块29，用于利用海洋环境监测数据电子表的输出结果实施海洋环境监测。

根据上述的海洋环境监测数据流程化处理方法，提供一种海洋环境监测数据流程化处理的装置，系统整体结构上采用C/S(客户端/服务器)框架结构，客户端实现系统设计的各项功能，包括报表合并、标准化处理、质量控制与数据输出，服务器端实现基础数据管理、数据访问、用户管理、安全管理等服务。选择Visual Studio.NET2010作为开发平台，选择C#作为开发语言，选择ArcGIS Runtime forWPF控件开发地理信息功能，数据库建设选择SQL Server 2008数据库软件，实现监测数据从众多初始数据电子报表的批量读取合并、标准化处理、质量控制到标准数据集输出的计算机无缝处理功能。

本发明所提出的海洋环境监测数据流程化处理方法与装置，以收集或上报汇交的海洋环境监测数据电子报表为对象，规范了监测数据的流程化处理方法，提高了监测数据处理的标准化程度和数据质量，制作的监测标准数据集具有通用性，提高了海洋环境监测数据处理的效率和水平，减少了监测数据处理的返工操作，节约了人力和物力成本。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.海洋环境监测数据流程化处理方法，其特征在于，包括：

根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子表转换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息；

对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示各项检测结果的质控符；

利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。

2.根据权利要求1所述的方法，其特征在于，所述对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，包括：

识别监测站位的经度及纬度，根据所述监测站位的经度及纬度生成站位图；

利用所述站位图检测所述监测站位的空间落点是否落在规定的监测区域，如果否，则对该监测站位设置表示未落在规定的监测区域的质控符；

利用所述站位图检测位于监测断面上的监测站位偏离断面沿线的值是否超出预设偏离阈值，如果是，则对该监测站位设置表示偏离断面沿线的质控符；

检测所述监测站位的站位编号是否与设定的经纬度匹配对应，如果否，则对该监测站位设置表示站位编号与经纬度不匹配的质控符。

3.根据权利要求1所述的方法，其特征在于，对监测参数数据进行值域一致性检验，包括：

检测监测参数数据是否超过设定的监测阈值，如果是，则对所述监测参数数据设定表示超过设定的监测阈值的质控符；

其中所述监测阈值包括：所述监测参数的理化性质阈值范围、一般污染指标阈值范围、重金属类及有毒污染指标阈值范围。

4.根据权利要求1所述的方法，其特征在于，对监测参数数据进行逻辑一致性检验，包括：

对监测参数数据不同形态的关系检验，包括：根据监测参数数据判断总氮含量是否高于无机氮含量，如果否，则对所述总氮含量及所述无机氮含量所对应的监测参数数据设置表示总氮含量低于无机氮含量的质控符；根据监测参数数据判断总磷含量是否高于溶解态磷含量，如果否，则对所述总磷含量及所述溶解态磷含量所对应的监测参数数据设置表示总磷含量低于溶解态磷含量的质控符；根据监测参数数据判断溶解态氮含量是否高于溶解无机氮含量，如果否，则对所述溶解态氮含量及所述溶解无机氮含量所对应的监测参数数据设置表示溶解态氮含量低于溶解无机氮含量的质控符；根据监测参数数据判断溶解态磷含量是否高于活性磷酸盐含量，如果否，则对所述溶解态磷含量及所述活性磷酸盐含量所对应的监测参数数据设置表示溶解态磷含量低于活性磷酸盐含量的质控符；根据监测参数数据判断总铬含量是否大于六价铬含量，如果否，则对所述总铬含量及所述六价铬含量所对应的监测参数数据设置表示总铬含量低于六价铬含量的质控符；

对同一物质在不同监测参数之间的关系检验，包括：根据监测参数数据判断用重铬酸钾做氧化剂测定的化学需氧量COD_Cr是否大于用高锰酸钾做氧化剂COD_Mn测定的化学需氧量，如果否，则对所述COD_Cr及所述COD_Mn所对应的监测参数数据设置表示COD_Cr低于所述COD_Mn的质控符；根据监测参数数据判断COD_Cr是否高于微生物代谢所消耗的溶解氧量BOD₅，如果否，则对COD_Cr及BOD₅所对应的监测参数数据设置表示COD_Cr低于BOD₅的质控符；根据监测参数数据判断大肠菌群数是否高于粪大肠菌群数，如果否，则对所述大肠菌群数及所述粪大肠菌群数所对应的监测参数数据设置表示大肠菌群数低于粪大肠菌群数的质控符；

不同监测参数内在联系的检验，包括：根据监测参数数据判断溶解氧在海水中的溶解度是否随温度的升高而降低，且随盐度的增加而减少，如果否，则对所述溶解氧及所述溶解氧所对应的监测参数数据设置质控符；根据监测参数数据判断是否酸碱度值越大，总碱度值越小，如果否，则对所述酸碱度值及所述总碱度值所对应的监测参数数据设置质控符；根据监测参数数据判断硝酸盐含量是否高于亚硝酸盐含量，如果否，则对所述硝酸盐含量及所述亚硝酸盐含量所对应的监测参数数据设置质控符。

5.根据权利要求1所述的方法，其特征在于，所述对监测参数数据进行逻辑一致性检验，还包括：

根据年纪监测参数浓度的变化、年内各季度监测参数浓度的变化，结合监测区域环境特征，确定监测参数的时间分布特征；根据所述时间分布特征，对所述监测参数数据进行时间分布检验；

根据监测参数数据制作监测参数平面分布图，根据所述平面分布图，判断监测区域中是否存在监测参数数据与相关监测参数数据之间的差值高于预设值，如果存在，则对该监测参数设置质控符。

6.根据权利要求5所述的方法，其特征在于，所述对监测参数数据进行逻辑一致性检验，还包括：

对监测参数数据进行离散群点检验，包括：利用所述监测参数数据绘制散点图，利用所述散点图确定离群点数据；或，利用所述监测参数数据绘制箱形图，利用所述箱形图确定离散群点数据；或，利用空间局部离散群系数度量方法确定出空间站位的离散程度。

7.根据权利要求6所述的方法，其特征在于，所述利用空间局部离散群系统度量方法确定出空间站位的离散程度，包括：

选取空间邻域：对于任一站位监测数据对象s，根据经度与纬度的空间信息，按照一定的邻域半径r确定对象s的空间邻域NB(s)，其中所述空间邻域NB(s)为对象s的所有空间邻居p的集合；

计算邻域距离：按照公式 $\mathrm{dist}(s,p,w)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{w}_k{(f\left(s_k\right)-f\left(p_k\right))}^2}---\left(1\right)$ 计算对象s与空间邻居p的加权距离；其中，d为监测参数的个数，f(s_k)为对象s第k个监测参数的数据值，f(p_k)为对象p第k个监测参数的数据值；按照公式 $\mathrm{Ndist}(s,w)=\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{dist}(s,p,w)/\left|\mathrm{NB}\left(s\right)\right|---\left(2\right)$ 计算对象s的邻域距离Ndist(s,w)；其中|NB(s)|指空间邻域NB(s)的个数，邻域距离表示对象s与其邻域在非空间属性上的相异程度，邻域距离越大，相异程度越高；

计算空间局部离群系数：按照公式(2)计算空间邻域NB(s)中所有对象的邻域距离Ndist(p,w)；按照公式 $\mathrm{SLOF}\left(s\right)=\frac{\mathrm{Ndist}(s,w)}{\underset{p\∈\mathrm{NB}\left(s\right)}{\mathrm{\Σ}}\mathrm{Ndist}(p,w)/\left|\mathrm{NB}\left(s\right)\right|}---\left(3\right)$ 计算对象s的空间局部离群系数；

确定空间离群点：对得到的所有对象的SLOF(s)值按降序排列，将排在前N位的监测站位对象确定为空间局部离散群点。

8.海洋环境监测数据流程化处理装置，其特征在于，包括：

解析模块，用于根据监测任务及监测要素，对获取的海洋环境监测数据电子表进行格式解析，确定其所使用的数据报表模板，其中所述数据报表模板包括：海洋环境标准报表模板、海水浴场模板、海洋垃圾模板及养殖区状况模板；

二维格式转换模块，用于利用所述数据报表模板中公用信息的位置与名称，将所述海洋环境监测数据电子表转换为二维关系型数据表，其中所述二维关系型数据表中监测站位、采样层次作为一条记录，按行逐条排列，公用信息按行填补；

合并模块，用于将属于同一监测要素的多个二维关系型数据表进行合并，得到第一预处理数据表；

标准格式转换模块，用于按照设定的参数名称及参数单位的标准格式，对所述第一预处理数据表中的参数名称及参数单位进行格式转换，得到第二预处理数据表；

齐全性检验模块，用于遍历所述第二预处理数据表中的监测数据是否存在缺失，如果是，则发出提示并对缺失位置进行数据填补；

基础信息质量控制模块，用于对进行数据填补后的所述第二预处理数据表中的监测站位基础信息数据进行质量控制，其中所述站位基础信息为海洋环境监测站位的时间、空间及区域信息；

监测参数数据质量检验模块，用于对进行数据填补后的所述第二预处理数据表中的监测站位的监测参数数据质量进行检验，其中该检验包括值域一致性检验、逻辑一致性检验；

结果输出模块，用于获取海洋环境监测数据电子表的输出结果，其中所述输出结果中设置有用于表示各项检测结果的质控符；

监测实施模块，用于利用所述海洋环境监测数据电子表的输出结果实施海洋环境监测。