CN104091061B - 一种利用正态分布辅助判定污染源监测数据有效性的方法 - Google Patents

Abstract

本发明公开了一种利用正态分布辅助判定污染源监测数据有效性的方法，包括：获取数据步骤、数据曲线输出步骤、辅助判定表格建立步骤和辅助判定步骤，其中，获取数据步骤为通过将采集完成的数据集导入数据库或通过从网页抓取数据的方式获取监测数据；并通过数据曲线输出步骤和辅助判定表格建立步骤，分别建立历史数据曲线和辅助判定表格，通过辅助判定步骤采用正态分布曲线方法，进行监测数据辅助判定，找出非法的伪造数据。

Description

一种利用正态分布辅助判定污染源监测数据有效性的方法

技术领域

本发明涉及检测技术，特别涉及一种利用正态分布辅助判定污染源监测数据有效性的方法。

背景技术

在我国的环保领域，污染源企业包括污水处理厂、电厂、工业废水废气排放企业等几大类，主要的污染源监测物质包括COD、氨氮、二氧化硫等三项。经过多年的发展建设，我国已经基本建成比较完善的污染源监控系统，环保监管部门通过在污染源排放企业安装污染源在线监控系统，对其排放数据进行实时监测。

为了加强对国控企业污染源自动监测数据的使用和管理，国家环保部门出台了《国家重点监控企业污染源自动监测数据有效性审核办法》文件，以指导环保部门对污染源监控系统的监测数据进行有效性审核。

该办法主要从污染源监测系统的建设、运行管理、数据传输格式等方面进行规范，并以此作为判定该监测系统传输的数据是否有效的依据。其相关文件包括：

《主要污染物总量减排监测办法》

《污染源自动监控管理办法》

《污染源自动监控设施运行管理办法》

《国家重点监控企业污染源自动监测数据有效性审核办法》

《国家重点监控企业污染源自动监测设备监督考核规程》

《水污染源在线监测系统安装技术规范》

《水污染源在线监测系统验收技术规范》

《水污染源在线监策系统数据有效行判别技术规范》

《固定污染源烟气排放连续监测技术规范》

《固定污染源烟气排放连续监测系统技术要求及检测方法》

《固定污染源监测质量保证与质量控制技术规范》

《污染源在线自动监控(监测)系统数据传输标准》

《国控重点污染源自动监控能力建设项目污染源监控现场端建设规范》

在现实中，存在很多污染源企业通过修改污染源监测系统的程序而进行数据造假的情况，这种情况无法从表面上进行辨别，只能采用现场的数据采样化验数据与实时监测数据进行比对的办法进行判定。这种人工方法存在人为因素干扰大、人工工作量大、不及时等缺点，从而为大量不法企业提供了数据造假进而偷排污染源的机会。

污染源企业的数据造假大体分为以下几种情况：

1)设定上限的办法：通过在污染源在线监控系统的软件中，设定监测参数的上限(通常是低于排放标准的某个数值)，当这些参数的实际值超过排放标准时，它们自动显示和传输一个上限值，这样，无论其实际值超过标准多少，传输到环保部门或公开到网络中的数据都显示不超标。目前，这种造假办法，最简单也最普遍；

2)产生随机数的办法：通过在污染源在线监控系统的软件中，产生随机数，作为监测值传输到环保部门或公开到网络中，而实际值则是另外一个数值；

3)对监测值“打折”，即用实际值乘以一个小于1的系数(比如0.5)，将计算后的数据作为监测值传输到环保部门或公开到网络中，而实际值则远大于该数值；

4)设定监测值为固定值。当现场出现设备故障情况，通过人为干预，在程序中自动判读数据为先前设定的固定值发送数据。

发明内容

本发明所要解决的技术问题在于提供一种利用正态分布辅助判定污染源监测数据有效性的方法，以克服现有技术中采用人工方法，存在人为因素干扰大、人工工作量大、不及时等问题。

为达上述目的，本发明提供了一种利用正态分布辅助判定污染源监测数据有效性的方法，其特征在于，包括：

获取数据步骤：通过将采集完成的数据集导入数据库或通过从网页抓取数据的方式获取监测数据；

数据曲线输出步骤：基于获取到的所述监测数据建立历史数据曲线；

辅助判定表格建立步骤：基于所述历史数据曲线，建立监测数据展现次数的辅助判定表格，通过所述辅助判定表格计算所述监测数据出现的总次数；

辅助判定步骤：基于所述监测数据出现的总次数，采用正态分布曲线方法，进行监测数据辅助判定，找出非法的伪造数据。

上述辅助判定污染源监测数据有效性的方法，其特征在于，所述非法的伪造数据包括：

设定上限伪造数据为在所述正态分布曲线的上端显示一上限线；

随机数伪造数据为在所述正态分布曲线上显示为平均图形；

打折法伪造数据为在所述正态分布曲线上显示中间峰值少于正常情况的所述正态分布曲线；

固定值伪造数据显示为对应于固定值的一条直线的所述正态分布曲线。

上述辅助判定污染源监测数据有效性的方法，其特征在于，所述历史数据曲线以时间为横轴，以监测数据为纵轴。

上述辅助判定污染源监测数据有效性的方法，其特征在于，所述辅助判定表格以监测数据为纵轴，以所述监测数据的展现次数为横轴。

上述辅助判定污染源监测数据有效性的方法，其特征在于，所述正态分布为：

X～N(μ，σ²)，

所述随机变量X服从一个位置参数为μ,尺度参数为σ的概率分布，且所述正态分布的概率密度函数为：

其中，所述正态分布的数学期望值或期望值μ等于位置参数，决定了分布的位置；其所述方差σ²的开平方或标准差σ等于尺度参数，决定了所述正态分布的幅度。

与现有技术相比，本发明的有益效果在于：

1)本发明可以代替频繁的人工现场检测比对，通过数据本身的规律辅助判定污染源数据的有效性，判定的数据包括：COD、氨氮、二氧化硫以及与此有类似特点的监测数据；

2)本发明采用的正态分布的概率密度函数曲线方法，快速有效的对伪造数据进行判断。

附图说明

图1为本发明方法流程示意图；

图2为本发明实施例正态分布曲线示意图；

图3～图5为本发明实施例设定上限伪造数据正态分布示意图；

图6为本发明实施例随机数伪造数据正态分布示意图；

图7为本发明实施例打折法伪造数据正态分布示意图；

图8为本发明实施例固定值伪造数据正态分布示意图。

其中，附图标记：

S1～S4：本发明各实施例的施行步骤

具体实施方式

下面给出本发明的具体实施方式，结合图示对本发明做出了详细描述。

本发明就是针对污染源数据造假的情况而提出的一种辅助污染源监测数据有效性判定的方法，通过对污染源企业向环保部门传输的或根据要求公开的数据进行分析，利用数据本身呈现出来的规律进行辅助判定。

图1为本发明方法流程示意图，如图1所示，本发明提供的一种利用正态分布辅助判定污染源监测数据有效性的方法，包括：

获取数据步骤S1：通过将采集完成的数据集导入数据库或通过从网页抓取数据的方式获取监测数据；

数据曲线输出步骤S2：基于获取到的监测数据建立历史数据曲线；

辅助判定表格建立步骤S3：基于历史数据曲线，建立监测数据展现次数的辅助判定表格，通过辅助判定表格计算监测数据出现的总次数；

辅助判定步骤S4：基于监测数据出现的总次数，采用正态分布曲线方法，进行监测数据辅助判定，找出非法的伪造数据。

其中，非法的伪造数据包括：

设定上限伪造数据为在正态分布曲线的上端显示一上限线；

随机数伪造数据为在正态分布曲线上显示为平均图形；

打折法伪造数据为在正态分布曲线上显示中间峰值少于正常情况的所述正态分布曲线；

固定值伪造数据显示为一条直线的正态分布曲线。

其中，历史数据曲线以时间为横轴，以监测数据为纵轴；辅助判定表格以监测数据为纵轴，以监测数据的展现次数为横轴。

其中，正态分布为：

X～N(μ，σ²)，

随机变量X服从一个位置参数为μ,尺度参数为σ的概率分布，且正态分布的概率密度函数为：

其中，正态分布的数学期望值或期望值μ等于位置参数，决定了分布的位置；其方差σ²的开平方或标准差σ等于尺度参数，决定了正态分布的幅度。

以下结合图示，对本发明的具体实施例进行详细说明：

在一个污染源企业的生产设施正常运行的条件下，污染源排放数据都是符合数据的正态分布特点的，并且由于工艺的特点，不会出现超低值。

本发明可以代替频繁的人工现场检测比对，通过数据本身的规律辅助判定污染源数据的有效性，判定的数据包括：COD、氨氮、二氧化硫以及与此有类似特点的监测数据。

分析数据的来源包括环保部门获得的污染源企业排放数据和污染源企业通过网络公开到网页上的数据。

根据以上原理，我们辅助判定数据有效性的方法如下：

1)获取数据。方法一：将一段已经采集完成的数据集导入数据库；方法二：通过网络数据抓取数据从污染源企业公开数据的网页上将数据抓取并导入数据库。数据的小数位精确到十分位，并且监测的数据量(也称为监测数据次数)超过一定数值，通常要达到1000以上，即超过1000次监测数值。

2)建立数据库中的历史数据曲线。在数据库建立的数据表格是时间和数据数值的二维表，则可以建立以时间轴为横轴，以监测数据为纵轴的历史数据曲线。

3)建立辅助判定表格，纵轴仍然是监测数据，横轴则是该数据的展现次数。通过该数据表格，我们就可以计算出，在一段时间内的一定量监测数据

中，同样的监测数据出现的总次数。根据这些数据的展现次数，可以画出一条纵向的拟合曲线。

4)辅助判定。这条纵向的拟合曲线就应该符合正态分布的特点，我们利用正态分布知识来进行辅助判定。正态分布是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

在正态分布中，若随机变量X服从一个位置参数为μ,尺度参数为σ的概率分布，记为：

X～A(μ，σ²)，

则其概率密度函数为

正态分布的数学期望值或期望值μ等于位置参数，决定了分布的位置；其方差σ²的开平方或标准差σ等于尺度参数，决定了分布的幅度。

正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线。正常的运行条件下，由前面三个步骤建立的曲线应该符合正态分布曲线特点，即只有一个中间的数据高峰，上下两端则较少，如图2所示的形态。

本发明列出了6种可判定为数据无效的情况，如下：

1)针对前面所述的第一种数据造假情况，在该曲线的上端将显示一条直线，也称上限线，在该线以上几乎没有数值，可辅助判定其数据无效，如图3、图4、图5形态。

2)针对前面所述第二种数据造假情况，在该曲线上则不会显示钟形的正态分布曲线形态，一般来说是比较平均的图形，可辅助判定其数据无效，如图6形态。

3)针对前面所述第三种数据造假情况，虽然该曲线呈现钟形的正态分布曲线形态，但是低位数据仍然较多，或中间的峰值较低，超过正常工艺生产的可能，可辅助判定其数据无效，如图7形态。这种情况需要结合进一步的人工现场数据比对进行确认。

4)针对前面所述的第四种情况，如果分析监测数据曲线，如图8形态所示，则可以判定数据无效，原因一般是现场工艺设备故障。

但本发明的数据有效审核的异常图像并不仅限于以上6种情况，凡是不符合正态分布原理都存在数据无效的可能，都需要进行人工核查来进一步确定。

综上所述，本发明所用方法可提高对污染源监测数据中的COD、氨氮、二氧化硫等数据有效性的判定效率，但不局限于这三个工艺参数，其它监测数据参数的有效性审核，亦可参考该发明内容进行相关审核工作。

当然，本发明还可有其它多种实施例，，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种利用正态分布辅助判定污染源监测数据有效性的方法，其特征在于，包括：

获取数据步骤：通过将采集完成的数据集导入数据库或通过从网页抓取数据的方式获取监测数据；

数据曲线输出步骤：基于获取到的所述监测数据建立历史数据曲线；

辅助判定表格建立步骤：基于所述历史数据曲线，建立监测数据展现次数的辅助判定表格，该辅助判定表格的纵轴是监测数据，横轴则是该数据的展现次数；通过该数据表格，计算出在一段时间内的监测数据中，同样的监测数据出现的总次数，即可通过所述辅助判定表格计算所述监测数据出现的总次数；

辅助判定步骤：基于所述监测数据出现的总次数，采用正态分布曲线方法，进行监测数据辅助判定，找出非法的伪造数据。

2.根据权利要求1所述辅助判定污染源监测数据有效性的方法，其特征在于，所述非法的伪造数据包括：

设定上限伪造数据为在所述正态分布曲线的上端显示一上限线；

随机数伪造数据为在所述正态分布曲线上显示为平均图形；

打折法伪造数据为在所述正态分布曲线上显示中间峰值少于正常情况的所述正态分布曲线；

固定值伪造数据显示为对应于固定值的一条直线的所述正态分布曲线。

3.根据权利要求1所述辅助判定污染源监测数据有效性的方法，其特征在于，所述历史数据曲线以时间为横轴，以监测数据为纵轴。

4.根据权利要求1所述辅助判定污染源监测数据有效性的方法，其特征在于，所述辅助判定表格以监测数据为纵轴，以所述监测数据的展现次数为横轴。

5.根据权利要求1所述辅助判定污染源监测数据有效性的方法，其特征在于，所述正态分布为：

X～N(μ，σ²)，

随机变量X服从一个位置参数为μ,尺度参数为σ的概率分布，且所述正态分布的概率密度函数为：

其中，所述正态分布的数学期望值或期望值μ等于位置参数，决定了分布的位置；其方差σ²的开平方或标准差σ等于尺度参数，决定了所述正态分布的幅度。