CN104063609B - 一种利用神经网络辅助判定污染源监测数据有效性的方法 - Google Patents

Abstract

本发明公开了一种利用神经网络辅助判定污染源监测数据有效性的方法，包括：数据模型建立步骤、相似度度量步骤和数据有效性检测步骤，其中，数据模型建立步骤用于基于单数据集，并采用神经网络技术，建立数据预测模型，对选定时刻的数据进行预测，获取预测值；相似度度量步骤用于将预测值与实际监测数值进行相似度度量，获取数据相似度，并基于预定义的相似度界限值确定监测数据的异常点范围；数据有效性检测步骤用于在异常点范围内，基于数据相似度进行监测数据的有效性检测，找出无效的监测数据。

Description

一种利用神经网络辅助判定污染源监测数据有效性的方法

技术领域

本发明涉及检测技术，特别涉及一种利用神经网络辅助判定污染源监测数据有效性的方法。

背景技术

在我国经济可持续发展的同时，环境污染不断加剧，尤其表现在水环境和大气环境方面，相关企业的污染物排放值超过了环境的自净能力，环境质量发生不良变化，危害人类健康。在这样的大环境下，环境治理工作刻不容缓，国家对污染源企业的监管也加大了力度。

2013年国家环境保护部出台了81号文件，文件要求要加强对国控污染物重点监测企业排放的特征污染物的监测，并进行相关信息公开，公开内容如下：

基础信息：企业名称、法人代表、所属行业、地理位置、生产周期、联系方式、委托监测机构名称等；

自行监测方案；

自行监测结果：全部监测点位、监测时间、污染物种类及浓度、标准限值、达标情况、超标倍数、污染物排放方式及排放去向；

在信息公开的同时，为了加强对国控企业(国家重点监控企业)污染源自动监测数据的使用和管理，国家环保部门又出台了《国家重点监控企业污染源自动监测数据有效性审核办法》文件。国控企业污染源自动监测数据有效性审核是指由市(地)级环境保护部门(以下简称“市级责任环保部门”)负责，对国控企业污染源自动监测设备定期进行监督考核，确定其自动监测设备正常运行。国控企业污染源自动监测设备在正常运行状态下所提供的实时监测数据，即为通过有效性审核的污染源自动监测数据。国控企业污染源自动监测设备验收合格后，其正常运行提供的监测数据在一定时段内认定为有效数据。日常运行监督考核合格后至下次运行监督考核，该时段内自动监测设备正常运行提供的监测数据认定为有效数据。有效的国控企业污染源自动监测数据是国控企业计算主要污染物排放数量和确定达标排放的依据，是环境保护主管部门总量考核、监督执法、排污申报核定等工作的基础。

目前，在国控企业污染源自动监测设备正常运行状态下发布的数据，由于特殊情况，会存在人为程序干扰致使数据作假的现象，此时会干扰市级责任环保部门对国控污染源自动监测数据的有效性审核，针对此情况，本发明提出一种利用神经网络辅助判定污染源监测数据有效性的方法，旨在提高自动监测数据有效性审核工作的高效性和准确性。

国控污染源数据公开的一般过程是：首先根据企业环评标准，确定本企业公开哪些数据和判定这些数据是否达到所依据的标准，企业参考此标准来组织生产运营工作，将数据对外发布，同时上报国家环保部门。在数据发布的过程中，存在如下情况：

国控企业公布的监测数据可能受人工或程序设定干扰，在出现监测数据不达标的情况下，判定为达标并上报数据。

上述情况中的数据，本发明称之为异常点，对于国家环保部门来说，这些数据是无效的。污染源自控监测数据具有复杂性、多样性的显著特征，要在大量数据中挖掘出这些异常点，目前比较常规的方法主要是利用比对监测：

废水污染物浓度及流量比对

废气污染物浓度、氧量、流量和烟温比对要在一大堆监测数据基础上进行一一比对工作，不仅工作量大，而且效率不高。缺乏一种高效的数据有效性审核方法，给环境监管部门带来了很大的困扰。在这样的背景下，亟待提出一种污染源监测数据有效性检查的方法。

发明内容

本发明所要解决的技术问题在于提供一种污染源监测数据有效性检测方法，以克服现有技术中存在的数据量大，效率低的问题。

为达上述目的，本发明提供了一种利用神经网络辅助判定污染源监测数据有效性的方法，包括：

数据模型建立步骤：基于单数据集，并采用神经网络技术，建立数据预测模型，对选定时刻的数据进行预测，获取预测值；

相似度度量步骤：将所述预测值与实际监测数值进行相似度度量，获取数据相似度，并基于预定义的相似度界限值确定监测数据的异常点范围；

数据有效性检测步骤：在所述异常点范围内，基于所述数据相似度进行监测数据的有效性检测，找出无效的监测数据。

上述污染源监测数据有效性检查的方法，所述数据模型建立步骤还包括：

数据收集步骤：用于收集污染源监测数据，采用一定时间段内的多个采样点数据为输入，基于单一输入的所述单数据集进行所述数据预测模型的建立；

神经网络结构确定步骤：根据输入的所述多个采样点数据，相应采用所述神经网络模型多个神经元节点为输入，多个神经元节点为输出，所述神经网络的隐层节点采取由小到大的顺序进行试算，获取输入输出样本观测值集；

样本输出步骤：根据所述输入输出样本观察值集，通过对所述神经网络的权值和阈值进行学习和调整，对所述神经网络进行学习训练，并对所述输入输出样本进行相应处理。

上述污染源监测数据有效性检查的方法，所述相似性度量步骤还包括：

差异度计算步骤：采用相似度度量函数Similar，基于所述数据预测模型输出的预测数据与相应时间段的监测数据进行相似度度量，计算所述预测数据与所述监测数据差异度，并确定所述差异度大的数据为数据背离有效。

上述污染源监测数据有效性检查的方法，所述相似度度量函数Similar为：

所述d为数据向量维数，所述X为预测值向量，X＝(x₁，x₂，x₃，…x_d)，所述Y为实际监测数据向量，Y＝(y₁，y₂，y₃，…y_d)。

与现有技术相比，本发明的有益效果在于：

1)本发明方法的实现可以在环境监管部门数据有效性审核工作中，快速缩小审核范围，协助审核工作的推进，并提高审核效率；

2)本发明方法中提出的Similar度量函数可以有效避免这些“噪声维度”的干扰问题。

附图说明

图1为本发明方法流程示意图；

图2为本发明具体实施例数据预测模型建立示意图。

其中，附图标记：

S1～S3、S11～S13、S21：本发明各实施例的施行步骤

具体实施方式

下面给出本发明的具体实施方式，结合图示对本发明做出了详细描述。

本发明提出了一种利用神经网络辅助判定污染源监测数据有效性的方法，核心思想是通过监测数据的变化趋势，进行选定时刻的数据预测，将预测值与实际监测值进行相似性度量，通过定义相似度界限值，进一步缩小异常点范围，提高异常点监测的工作效率。

图1为本发明方法流程示意图，如图1所示，本发明提供的一种利用神经网络辅助判定污染源监测数据有效性的方法，包括：

数据模型建立步骤S1：基于单数据集，并采用神经网络技术，建立数据预测模型，对选定时刻的数据进行预测，获取预测值；

相似度度量步骤S2：将预测值与实际监测数值进行相似度度量，获取数据相似度，并基于预定义的相似度界限值确定监测数据的异常点范围；

数据有效性检测步骤S3：在异常点范围内，基于数据相似度进行监测数据的有效性检测，找出无效的监测数据。

其中，数据模型建立步骤S1还包括：

数据收集步骤S11：用于收集污染源监测数据，采用一定时间段内的多个采样点数据为输入，基于单一输入的单数据集进行数据预测模型的建立；

神经网络结构确定步骤S12：根据输入的多个采样点数据，相应采用神经网络模型多个神经元节点为输入，多个神经元节点为输出，神经网络的隐层节点采取由小到大的顺序进行试算，获取输入输出样本观测值集；

样本输出步骤S13：根据输入输出样本观察值集，通过对神经网络的权值和阈值进行学习和调整，对神经网络进行学习训练，并对输入输出样本进行相应处理。

其中，相似度度量步骤S2还包括：

差异度计算步骤S21：采用相似度度量函数Similar，基于数据预测模型输出的预测数据与相应时间段的监测数据进行相似度度量，计算预测数据与监测数据差异度，并确定差异度大的数据为数据背离有效。

其中，相似度度量函数Similar为：

该d为数据向量维数，该X为预测值向量，X＝(x₁，x₂，x₃，…x_d)，该Y为实际监测数据向量，Y＝(y₁，y₂，y₃，…y_d)。

以下结合图示，对本发明具体实施例进行详细说明：

国控企业自控监测的数据是有一定时间序列的，具有离散性，其时间序列对应的监测数据值可能存在一些规律性的变换，例如季节变化产生的在线监测数据的周期性变换、每天当中数据的周期性变化等等。根据周期性变化特点，本发明可以通过一种技术手段，形成监测数据的周期变化曲线，即数据的变化模型。基于此，本发明提出，对单数据集(某一监测数据在某一时间序列的值)进行建模分析并进行下一时刻数值的预测，通过实际值与预测值比较，用数据相似度来描述预测值与实际值之间的异常程度。例如对污水处理出水水质cod进行数据建模预测，套用预测模型获得的x₁,x₂时刻的预测值分别为30，35，此时x₁,x₂时刻的实际监测值为58，60，此时本发明记两个时间之间预测值的向量X,实际监测值的向量Y。为了缩小异常点监测范围，使异常点的监测更准确，本发明定义向量之间相似度在(0，0.3)范围内的为异常范围，在此范围内，再进一步进行数据有效性检测，可大大提高环保责任部门工作的高效性。本发明以此范围为例，但不限于该范围的选定。

本发明针对环保行业质量指标，进行有效性检查。污水处理方面，本发明对cod、氨氮进行有效性检测，大气方面，对二氧化硫进行有效性检测，对这些表征环境质量达标与否的关键数据进行有效性检查，具有重要的实际意义。

(1)建立数据模型

污染源监测数据具有一定的离散特性和周期性，为了能准确的分析数据变化趋势，本发明依据监测数据本身进行预测模型的建立，即单一输入的预测模型。污水处理中本发明取COD、氨氮为测量目标，大气环境本发明取二氧化硫为测量目标。

利用神经网络技术，建立数据预测模型。采用一定时间段内的n个采样点数据为输入，预测该时间段后续两个时刻的数据，因此确定网络模型输入为n个神经元节点、输出层为2个神经元节点，隐层节点采用由小到大的顺序进行试算。该模型的建立，采用MATLAB工具箱实现，如图2所示，图2为本发明具体实施例数据预测模型建立示意图；

在确定神经网络结构后，利用输入输出样本观测值集，对网络的权值和阈值进行学习和调整，经过神经网络拟合与预测模型的校验，使网络实现给定的输入输出映射关系，为提高收敛速度，对输入样本进行归一化处理，训练结束后再对输出数据进行还原处理。

(2)相似度度量

对监测数据进行建模后得到后续时刻的预测数据，将预测数据与相应时间段的监测数据进行相似性度量，计算两者差异程度，从而找出差异较大的数据，认为这些数据背离有效性。相似性度量采用Similar函数，具体描述如下：

设有d维数据向量X＝(x₁，x₂，x₃，…x_d)及Y＝(y₁，y₂，y₃，…y_d)，定义新的相似度度量函数Similar如公式4-1所示:

该改进相似度度量函数引入了指数e，当x_i和y_i差异较大时，分子反而变小。将(4-1)函数用于向量X,Y之间相似度的函数，具有如下性质：

函数充分考虑了两个数据向量的所有维度，使差异过大的维度的贡献率降低。

函数最大值为1，代表X和Y在所有维度上的值都相等，此时X和Y在d维空间上是完全重合的，此时相似度最大。函数最小值为0，代表X和Y在每个维度上的差异均接近于无穷大，此时X和Y相似度最小。

Similar函数与传统的相似度度量函数相比，通过差异的度量区别了所有维度的贡献率，提高了差异小的维度的贡献率，使得那些相似性强的维度占有主导地位，而降低那些差异很大的维度的贡献率，使得这些维度几乎被略去。在两个数据向量的相似度度量中，该函数符合这样的逻辑：彼此相接近的维度越多，表明相似性越大，这与人们日常的认知相吻合。在污水监测数据中，对于高维时序数据经常会出现这样的情况：在大多数维度上，两个向量的差异都较小，数据走势也基本一致，只是在个别维度上，两个数据向量的差值很大。应用传统的基于距离的度量函数，会放大个别的“噪声维度”对整体度量效果的影响。因此，两个数据的相似信息很容易就会被淹没在这些少数主导“噪声维度”中。本方法中提出的Similar度量函数可以有效避免这些“噪声维度”的干扰。

(3)区间范围

符合上述异常范围的监测数据，从理论意义上来讲，是作假数据的可能性较大，但并不代表一定是作假数据。

综上所述，本发明方法针对环保行业质量指标，进行有效性检查。污水处理方面，我们对cod、氨氮进行有效性检测，大气方面，对二氧化硫进行有效性检测，对这些表征环境质量达标与否的关键数据进行有效性检查，具有重要的实际意义。

当然，本发明还可有其它多种实施例，不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种利用神经网络辅助判定污染源监测数据有效性的方法，其特征在于，包括：

数据模型建立步骤：基于单数据集，并采用神经网络技术，建立数据预测模型，对后续时刻的数据进行预测，获取预测值；

相似度度量步骤：将所述预测值与实际监测数值进行相似度度量，获取数据相似度，并基于预定义的相似度界限值确定监测数据的异常点范围；

数据有效性检测步骤：在所述异常点范围内，基于所述数据相似度进行监测数据的有效性检测，找出无效的监测数据；

所述相似度度量步骤还包括：

差异度计算步骤：采用相似度度量函数Similar，基于所述数据预测模型输出的预测数据与相应时间段的监测数据进行相似度度量，计算所述预测数据与所述监测数据差异度，并确定所述差异度大的数据为数据背离有效，

所述相似度度量函数Similar为：

所述d为数据向量维数，所述X为预测值向量，X＝(x₁，x₂，x₃，…x_d)，所述Y为实际监测数据向量，Y＝(y₁，y₂，y₃，…y_d)。

2.根据权利要求1所述污染源监测数据有效性检查的方法，其特征在于，所述数据模型建立步骤还包括：

数据收集步骤：用于收集污染源监测数据，采用一定时间段内的多个采样点数据为输入，基于单一输入的所述单数据集进行所述数据预测模型的建立；

神经网络结构确定步骤：根据输入的所述多个采样点数据，相应采用所述神经网络模型多个神经元节点为输入，多个神经元节点为输出，所述神经网络的隐层节点采取由小到大的顺序进行试算，获取输入输出样本观测值集；

样本输出步骤：根据所述输入输出样本观察值集，通过对所述神经网络的权值和阈值进行学习和调整，对所述神经网络进行学习训练，并对所述输入输出样本进行相应处理。