CN112381697B - 一种水污染源在线监测数据弄虚作假行为自动识别方法 - Google Patents

Abstract

一种水污染源在线监测数据弄虚作假行为自动识别方法，涉及环境保护领域，解决现有水污染源在线监测弄虚作假行为难以识别的问题，包括：步骤一、输入数据；步骤二、对输入数据同时进行小幅波动检测和周期性波动检测，并将所述小幅波动检测结果和周期性波动检测结果均存入数据库中；步骤三、将每一段被检测数据的小幅波动检测结果与周期性波动检测结果从数据库中取出，若至少一项检测结果为存在弄虚作假嫌疑，则认定该数据有弄虚作假嫌疑，将弄虚作假嫌疑数据对应的企业信息、监测站位信息、监测因子、数据起止时间、检测结果以及数据范围均存储于数据库中。本发明方法实现弄虚作假行为自动识别，减少误判漏判，使得弄虚作假企业无所遁形。

Description

一种水污染源在线监测数据弄虚作假行为自动识别方法

技术领域

本发明涉及环境保护领域，具体涉及一种水污染源在线监测数据弄虚作假行为自动识别方法。

背景技术

现有的弄虚作假自动识别方法以固定规则为主，例如异常为零、异常迟滞不变等，针对的是比较简单的弄虚作假行为，例如设备断电、断网、伪造固定数值上传等。在面对新型的、隐蔽的弄虚作假行为时，例如水样替代、水样存贮、修改设备参数等行为，在数据上的表现不再是单一的呆滞样式，往往呈现出围绕某一数值的小范围波动或周期性波动样式，对于上述方式往往束手无措，无法有效识别。对于这些弄虚作假行为，现在常用的解决方式是依靠人员进行筛查，使用大量的人力长时间观测，尽可能发现异常现象。这种方式的缺点是显而易见的，不仅人力耗费巨大，筛查结果也不尽如人意，并且随着数据量的提升，遗漏会越来越多。

发明内容

本发明为解决现有水污染源在线监测弄虚作假行为难以识别的问题，提供一种水污染源在线监测数据弄虚作假行为自动识别方法。

一种水污染源在线监测数据弄虚作假行为自动识别方法，该方法由以下步骤实现：

步骤一、输入数据；

步骤二、对步骤一的输入数据同时进行小幅波动检测和周期性波动检测，并将所述小幅波动检测结果和周期性波动检测结果均存入数据库中；

步骤三、将每一段被检测数据的小幅波动检测结果与周期性波动检测结果从数据库中取出，若至少一项检测结果为存在弄虚作假嫌疑，则认定该数据有弄虚作假嫌疑，将弄虚作假嫌疑数据对应的企业信息、监测站位信息、监测因子、数据起止时间、检测结果以及数据范围均存储于数据库中。

本发明的有益效果：本发明所述的水污染源在线监测数据弄虚作假行为自动识别方法及系统，实现弄虚作假行为自动识别，对现有新型、隐蔽的违法行为准确判断，使得弄虚作假企业无所遁形。节省人力物力，同时减少误判漏判，有效提高环境监管效率，辅助监管部门对违规企业实施有力打击，实现污染防治目标，助力生态文明建设。。

附图说明

图1为本发明所述的一种水污染源在线监测数据弄虚作假行为自动识别方法的流程图。

图2为本发明所述的一种水污染源在线监测数据弄虚作假行为自动识别方法中小幅波动监测流程图。

图3为本发明所述的一种水污染源在线监测数据弄虚作假行为自动识别方法中周期性波动检测的流程图。

图4为某金属实业(深圳)有限公司化学需氧量与流量在线监测数据变化图。

图5为某金属实业(深圳)有限公司化学需氧量在线监测数据自相关系数(上)与自相关系数一阶差分(下)折线图。

图6为某制衣(深圳)有限公司化学需氧量与流量在线监测数据变化图。

具体实施方式

结合图1至3说明本实施方式，一种水污染源在线监测数据弄虚作假行为自动识别方法，包括三项主要结点，分别是小幅波动监测、周期性波动监测与检测结果判别，具体实施流程如图1所示。接下来依次对各个结点做解释说明。

一、小幅波动监测

小幅波动监测结点包括三个步骤，分别是突变点检测、平稳性检测与数据范围筛选，流程关系见图2。

1、突变点检测以Pettitt检验为基础，计算步骤如下：

1.1将长度为n的输入数据x₁，x₂，...，x_n从小到大排列，得到各个数据对应的秩次r₁，r₂，...，r_n。

1.2构建统计量S_k

1.3从统计量计算结果中找到突变点S_e

1.4计算突变点S_e的显著性P

1.5将显著性P与预设值相比较，如0.05，若P小于预设值，则认为该突变点足够显著，可以被认定为突变点；反之则舍弃该突变点。预设值的具体数值可以在实际应用中通过反复试验找到最合适的数据。

1.6找到突变点后，以突变点为中心，将输入数据一分为二，在新获得的两组数据中分别寻找突变点。

1.7重复步骤1.1至1.6，直至无法再找出更多突变点。

1.8将输入数据在每一处突变点分割开生成新的时间序列数据，例如存在三处突变点时，共分割三次生成4组新的数据。

2、对每一组新的数据依次进行平稳性检验。平稳性检验以Augmented Dickey-Fuller检验为基础，分别检验在下列三种情形下数据是否平稳。

a)无常数均值且无趋势

式中，

y_t-1为被检验数据在t-1时刻的数值；

Δy_t为被检验数据在t时刻的一阶差分值；

Δy_t-s为被检验数据在t-s时刻的一阶差分值；

ε_t为独立同分布白噪声项；

m为最大滞后阶数；多次计算后由Akaike information criterion决定；

为s阶自回归系数；

s为滞后阶数；

b)有常数均值且无趋势

式中，c为常数项；

c)有常数均值且有趋势

式中，β为时间趋势项。

若被检验数据在上述三种情况下均为平稳序列，则继续进行下一步数据范围筛选；若被检验数据在上述任意一种情况下为非平稳序列，则不进行下一步筛选，直接开始下一组数据的检验。

3、根据输入数据的所属监测因子，例如化学需氧量、总磷、总氮等等，以该因子监测设备的量程的1％为基础，根据实际情况与反复试验，选择合适的数据范围筛选阈值τ。数据范围筛选步骤如下：

3.1计算被筛选数据波动范围

x_range＝x_max-x_min

x_range为数据波动范围，x_max为最大值，x_min为最小值。

3.2比较数据波动范围与数据范围筛选阈值进行比较

若x_range＞τ

则说明被筛选数据波动范围合理

若x_range≤τ

则说明被筛选数据波动范围过小，存在弄虚作假嫌疑

3.3将存在数据弄虚作假嫌疑的数据、数据的起止时间、数据的波动范围记录于数据库中。

3.4输入下一组数据进行平稳性检验，重复步骤2。

二、周期性波动检测

周期性波动检测包括三个主要步骤，分别是自相关系数计算、自相关系数峰值搜索与是否存在周期性判定，具体流程如图3所示。

1、对输入数据进行自相关系数计算，具体计算步骤如下：

1.1若输入数据的频率非1条/小时，则计算输入数据每小时的时均值，生成时间序列X，X＝{X_u，u＝1，2，...，p}，其中u表示第u项；若输入数据的频率为1条/小时，则直接生成时间序列X，X＝{X_u，u＝1，2，...，p}。

1.2计算时间序列X的自相关系数，依次计算0阶自相关系数、1阶自相关系数、2阶自相关系数直到m阶自相关系数，其中m为最大滞后阶数，可以根据实际情况和需求制定，例如24、48、72等等。计算结果为R，R＝{R_l，l＝0，1，2，...，m}，计算公式如下：

R_l为时间序列X的l阶自相关系数；

p为时间序列X的总项数；

l为当前滞后阶数；

X_u为时间序列X的第u项；

X_u+l为时间序列X的第u+l项；

为时间序列X的平均值；

2、搜索自相关系数计算结果R中的各个峰值出现位置，具体步骤如下：

2.1计算R的一阶差分序列ΔR，ΔR＝{ΔR_q，q＝0，1，2，...，m-1}

ΔR_q＝R_q+1-R_q

ΔR_q为ΔR中的第q项；

R_q+1为R中的第q+1项；

R_q为R中的第q项；

2.2遍历ΔR，寻找所有符合下列要求的项；

ΔR_q-1＞0且ΔR_q≤0

q即为R中峰值出现的位置，将所有找到的位置记录为h，h＝{h_w，w＝1，2，...，v}，v为峰值总数。

3、根据自相关系数峰值出现的位置h进行周期性波动判定，具体步骤如下：

3.1比较所有的是否大于预设的置信阈值γ，/>为峰值位置h_w处R的数值，γ可通过反复试验确定，例如0.2、0.25、0.3等等。若所有的/>皆大于γ，则继续进行步骤3.2；若至少一项/>小于等于γ，则结束判定，判定结果为无周期性波动。

3.2计算所有峰值之间的间隔是否一致，h_w+1-h_w，h_w+2-h_w+1，...，h_v-h_v-1，若所有间隔均一致，则继续进行步骤3.3；若至少存在一组间隔不一致，则结束判定，判定结果为无周期性波动。

3.3判断所有峰值之间的波谷自相关系数是否为负值，具体步骤如下：

j＝{j_w}

j为所有自相关系数波谷的位置，j_w为第w项自相关系数波谷的位置；h_w+1为第w+1项峰值的位置，h_w为第w项峰值的位置。

若则判定为有周期性波动，存在弄虚作假嫌疑，否则判定为无周期性波动。

3.4将周期性波动检测结果存入数据库中。

三、检测结果判别

将每一段被检测数据的小幅波动检测结果与周期性波动检测结果从数据库中取出，若至少一项检测结果为存在弄虚作假嫌疑，即可认定该数据有弄虚作假嫌疑。将弄虚作假嫌疑数据所属的企业信息、监测站位信息、监测因子、数据起止时间、检测结果、数据范围等信息存于数据库中，以供相关人员查阅，提供执法辅助信息。

本实施方式所述的识别方法，针对上述的新型弄虚作假手段，针对性的进行小范围波动检测与周期性波动检测。两种检测方法并行，大幅提高了弄虚作假行为的检测范围，尽可能地减少了漏网之鱼。为应对更狡猾的弄虚作假手段，例如每隔一段时间，更换替代用的水样或是再次修改设备参数等，

本实施方式中使用了突变点检测来识别数据发生了明显变化的时刻，用以捕捉监测对象或设备参数发生改变的行为。突变点前后的数据分别检测，确保不漏检。本实施方式可以与现有的弄虚作假检测方法串行部署，先经过简单筛选，再使用本实施方式方法进行检测，实现计算资源的最优化使用。

具体实施方式二、结合图4至图6说明本实施方式，本实施方式为采用具体实施方式一所述的一种水污染源在线监测数据弄虚作假行为自动识别方法进行自动识别的实施例：

1、XX金属实业(深圳)有限公司化学需氧量弄虚作假

2019年11月，经本发明检测，发现某金属实业(深圳)有限公司排放口的化学需氧量在线监测数值，自2019年11月6日起存在明显周期性波动，波动周期为24小时，波动范围约为10至40mg/L，如图4、图5所示。经现场检查发现，该公司的化学需氧量水质自动分析仪的进样管被人为从采样管路中取出，并放入一矿泉水瓶内，此行为涉嫌弄虚作假，已移交有关部门处理。

2、某制衣(深圳)有限公司化学需氧量弄虚作假

2020年5月，经采用本发明的检测识别方法，发现某制衣(深圳)有限公司排放口的化学需氧量在线监测数值，如图6所示，自2020年5月1日起出现小幅波动现象，波动范围为7.8至8.61mg/L，波动幅度为0.81mg/L。该设备量程为0至200mg/L，小幅波动检测阈值为2mg/L，该时段的实际波动幅度远小于阈值，因此被认定存在弄虚作假嫌疑。经现场检查发现，该公司的化学需氧量水质自动分析仪的校正因子被人为修改为0.8(正常为1)，此行为涉嫌弄虚作假，已移交有关部门处理。

Claims (1)

1.一种水污染源在线监测数据弄虚作假行为自动识别方法，其特征是：该方法由以下步骤实现：

步骤一、输入数据；

步骤二、对步骤一的输入数据同时进行小幅波动检测和周期性波动检测，并将所述小幅波动检测结果和周期性波动检测结果均存入数据库中；

步骤三、将每一段被检测数据的小幅波动检测结果与周期性波动检测结果从数据库中取出，若至少一项检测结果为存在弄虚作假嫌疑，则认定该数据有弄虚作假嫌疑，将弄虚作假嫌疑数据对应的企业信息、监测站位信息、监测因子、数据起止时间、检测结果以及数据范围均存储于数据库中；

步骤二中，所述小幅波动检测的包括突变点检测、平稳性检测和数据范围筛选；具体过程为：

步骤二一、对步骤一输入数据进行突变点检测，然后在每一处突变点分割开，生成新的数据；

步骤二二、遍历每两个相邻突变点之间的数据；

步骤二三、判断该数据是否为平稳数据，如果是，执行步骤二四；如果否，返回步骤二二；

步骤二四、数据范围筛选；

计算被筛选数据波动范围x_range，将所述被筛选数据波动范围x_range与数据范围筛选阈值τ进行比较：

若x_range>τ，则被筛选数据波动范围合理；

若x_range≤τ，则被筛选数据波动范围小，存在弄虚作假嫌疑；

将存在数据弄虚作假嫌疑的数据、数据的起止时间、数据的波动范围记录于数据库中；

步骤二五、输入下一组数据进行平稳性检验；返回步骤二三；

步骤二一中，对步骤一输入数据进行突变点检测，具体为：

A、将长度为n的输入数据x₁,x₂,…,x_n从小到大排列，获得各个数据对应的秩次r₁,r₂,…,r_n；

B、构建统计量S_k，并从所述统计量S_k中找到突变点S_e；

C、计算所述突变点S_e的显著性P；

将显著性P与预设值比较，如果显著性P小于预设值，则突变点S_e认定为突变点；如果显著性P大于或等于预设值，则舍弃突变点S_e；

D、以突变点S_e为中心，将输入数据一分为二，在新获得的两组数据中分别寻找突变点；

E、重复步骤A至步骤D，直到无法找到突变点；

对每一组新的数据依次进行平稳性检验的过程为：

分别检验在下列三种情形下数据是否平稳；

a)无常数均值且无趋势；

式中，Δy_t为被检验数据在t时刻的一阶差分值，ε_t为独立同分布白噪声项，m为最大滞后阶数，为s阶自回归系数；y_t-1为被检验数据在t-1时刻的数值；/>s为滞后阶数；

b)有常数均值且无趋势；

式中，c为常数项；

c)有常数均值且有趋势；

式中，β为时间趋势项；

若被检验数据在上述三种情况下均为平稳序列，则进行数据范围筛选；若被检验数据在上述任意一种情况下为非平稳序列，则直接开始下一组数据的检验；

计算被筛选数据波动范围x_range；

x_range＝x_max-x_min

式中，x_max为最大值，x_min为最小值；

所述周期性波动检测包括自相关系数计算、自相关系数峰值搜索以及是否存在周期性判定；

首先，对输入数据进行自相关系数计算，生成时间序列X的自相关系数；

计算所述时间序列X的自相关系数，获得自相关系数计算结果R；

然后，搜索自相关系数计算结果R中的各个峰值出现位置，记录所有自相关系数峰值出现的位置为h；

最后，根据自相关系数峰值出现的位置h进行周期性波动判定，具体步骤如下：

S1、比较所有的是否大于预设的置信阈值γ，/>为峰值位置h_w处R的数值，若所有的/>皆大于γ，则执行步骤S2；若至少一项/>小于等于γ，则结束判定，判定结果为无周期性波动；

S2、计算所有峰值之间的间隔是否一致，h_w+1-h_w,h_w+2-h_w+1,...,h_v-h_v-1，若所有间隔均一致，则执行步骤S3；若至少有一组间隔不一致，则结束判定，判定结果为无周期性波动；

S3、判断所有峰值之间的波谷自相关系数是否为负值，具体步骤如下：

j＝{j_w}

j为所有自相关系数波谷的位置，j_w为第w项自相关系数波谷的位置；

h_w+1为第w+1项峰值的位置，h_w为第w项峰值的位置；

若则判定为有周期性波动，存在弄虚作假嫌疑，否则判定为无周期性波动；

对输入数据进行自相关系数计算的过程为：

若输入数据的频率非1条/小时，则计算输入数据每小时的时均值，生成时间序列X,X＝{X_u,u＝1,2,...,p}，其中μ表示第u项；若输入数据的频率为1条/小时，则直接生成时间序列X,X＝{X_u,u＝1,2,...,p}；

计算时间序列X的自相关系数，依次计算0阶自相关系数、1阶自相关系数、2阶自相关系数直到m阶自相关系数，所述自相关系数计算结果为R,R＝{R_l,l＝0,1,2,...,m}，计算公式如下：

R_l为时间序列X的l阶自相关系数；

p为时间序列X的总项数；

l为当前滞后阶数；

X_u为时间序列X的第u项；

X_u+l为时间序列X的第u+l项；

为时间序列X的平均值；

搜索自相关系数计算结果R中的各个峰值出现位置，具体步骤如下：

计算R的一阶差分序列ΔR,ΔR＝{ΔR_q,q＝0,1,2,...,m-1}

ΔR_q＝R_q+1-R_q

ΔR_q为ΔR中的第q项；

R_q+1为R中的第q+1项；

R_q为R中的第q项；

遍历ΔR，寻找所有符合下列要求的项：

ΔR_q-1>0且ΔR_q≤0

q即为R中峰值出现的位置，将所有找到的位置记录为h,h＝{h_w,w＝1,2,...,v},v为峰值总数。