CN108333314B - 一种空气污染智能监测系统 - Google Patents

Abstract

本发明提供了一种空气污染智能监测系统，包括多个监测装置和大数据处理中心，每个监测装置皆连接至大数据处理中心，每个监测装置用于采集一个空气污染监测区域内的多个空气污染监测节点的空气污染浓度数据；大数据处理中心用于对采集的空气污染浓度数据进行处理分析，实现对空气污染的实时监测；大数据处理中心包括数据预处理模块、数据聚类处理模块、异常点检测模块、数据库。

Description

一种空气污染智能监测系统

技术领域

本发明涉及空气污染监测技术领域，具体涉及一种空气污染智能监测系统。

背景技术

相关技术中，对城市空气污染监测的方法主要有：

(1)传统方法，即人工取样实验室分析的方法。这种方法只能得到空气污染监测区域内某段时间内的监测值，无法进行实时监测，监测结果受人为的影响很大，同时，当空气污染监测区域有害气体浓度很高时会严重伤害监测人员的身体健康；

(2)目前比较流行的在线监测，多采用国外进口的自动化空气环境监测设备进行监测，这种监测方法，尽管能够实现实时监测，但所用设备结构复杂、价格昂贵、难以维护、运营成本高且其工作环境苛刻。

发明内容

针对上述问题，本发明提供一种空气污染智能监测系统。

本发明的目的采用以下技术方案来实现：

提供了一种空气污染智能监测系统，包括多个监测装置和大数据处理中心，每个监测装置皆连接至大数据处理中心，每个监测装置用于采集一个空气污染监测区域内的多个空气污染监测节点的空气污染浓度数据；大数据处理中心用于对采集的空气污染浓度数据进行处理分析，实现对空气污染的实时监测。

优选地，每个监测装置包括设置于各个空气污染监测节点的传感器节点，还包括基站，传感器节点用于采集所在空气污染监测节点的空气污染浓度数据，基站负责传感器节点和大数据处理中心之间的双向信息交互。

当空气污染浓度数据量达到一定阈值时，传感器节点将采集到的空气污染浓度数据整理成空气污染浓度数据文件并发送至基站，进而由基站将接收的空气污染浓度数据文件发送至数据中心。

优选地，大数据处理中心包括数据预处理模块、数据聚类处理模块、异常点检测模块、数据库，数据预处理模块用于对监测装置采集的空气污染浓度数据进行预处理；数据聚类处理模块对数据预处理模块预处理后的空气污染浓度数据进行聚类处理；异常点检测模块对聚类处理后的空气污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库中。

优选地，传感器节点包括至少一种下述的传感器：

粉尘传感器，用于实时检测所述空气污染监测区域中的粉尘污染物的浓度；

PM2.5传感器，用于实时检测所述空气污染监测区域中的PM2.5污染物的浓度；

甲醛传感器，用于实时检测所述空气污染监测区域中的甲醛污染物的浓度；

有毒气体传感器，用于实时检测所述空气污染监测区域中的有毒气体的浓度；

异味传感器，用于实时检测所述空气污染监测区域中的异味的浓度；

二氧化碳传感器，用于实时检测所述空气污染监测区域中的二氧化碳的浓度。

本发明的有益效果为：基于大数据处理技术和无线传感器网络技术，实现空气污染的实时监测和相关数据的统一分析处理，提高对空气污染的监测能力，智能便捷，节省人力，成本相对较低。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一个示例性实施例的空气污染智能监测系统的结构示意框图；

图2是本发明一个示例性实施例的大数据处理中心的结构示意框图。

附图标记：

监测装置1、大数据处理中心2、数据预处理模块10、数据聚类处理模块20、异常点检测模块30、数据库40。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例提供的一种空气污染智能监测系统，包括多个监测装置1和大数据处理中心2，每个监测装置1皆连接至大数据处理中心2，每个监测装置1用于采集一个空气污染监测区域内的多个空气污染监测节点的空气污染浓度数据；大数据处理中心2用于对采集的空气污染浓度数据进行处理分析，实现对空气污染的实时监测。

在一个实施例中，每个监测装置1包括设置于各个空气污染监测节点的传感器节点，还包括基站，传感器节点用于采集所在空气污染监测节点的空气污染浓度数据，基站负责传感器节点和大数据处理中心2之间的双向信息交互。传感器节点包括至少一种下述的传感器：

粉尘传感器，用于实时检测所述空气污染监测区域中的粉尘污染物的浓度；

PM2.5传感器，用于实时检测所述空气污染监测区域中的PM2.5污染物的浓度；

甲醛传感器，用于实时检测所述空气污染监测区域中的甲醛污染物的浓度；

有毒气体传感器，用于实时检测所述空气污染监测区域中的有毒气体的浓度；

异味传感器，用于实时检测所述空气污染监测区域中的异味的浓度；

二氧化碳传感器，用于实时检测所述空气污染监测区域中的二氧化碳的浓度。

其中，空气污染浓度数据包括各种污染元素的浓度数据，污染元素包括钠、硅等。

在一个实施例中，如图2所示，大数据处理中心2包括数据预处理模块10、数据聚类处理模块20、异常点检测模块30、数据库40，数据预处理模块10用于对监测装置1采集的空气污染浓度数据进行预处理；数据聚类处理模块20对数据预处理模块10预处理后的空气污染浓度数据进行聚类处理；异常点检测模块30对聚类处理后的空气污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库40中。

本发明上述实施例基于大数据处理技术和无线传感器网络技术，实现空气污染的实时监测和相关数据的统一分析处理，提高对空气污染的监测能力，智能便捷，节省人力，成本相对较低。

在一个实施例中，所述对监测装置1采集的空气污染浓度数据进行预处理，具体包括：对存在0值或负值的空气污染浓度数据进行预处理，将0值或负值替换为预先设定的替代值。

本实施例能够防止空气污染浓度数据中的0值或负值对后续的空气污染浓度数据聚类处理造成影响。

在一个实施例中，对数据预处理模块10预处理后的空气污染浓度数据进行聚类处理，具体包括：

(1)提取预处理后的设定时间段的空气污染浓度数据作为一个空气污染浓度数据集，设为Z，构建每个空气污染浓度数据的最近邻集合：对空气污染浓度数据集Z中的任意空气污染浓度数据z_i，计算z_i与空气污染浓度数据集Z中其余空气污染浓度数据的相似度，根据相似度由小到大的顺序进行排序，选择前s个空气污染浓度数据作为z_i的最近邻，构建空气污染浓度数据z_i的最近邻集合P_zi，最近邻集合P_zi中所述s个空气污染浓度数据根据欧式距离由小到大的顺序进行排序，将排序在第ρ个位置的空气污染浓度数据赋值为ρ；

(2)在第一次迭代时，选择空气污染浓度数据集Z中的第一个未标记的空气污染浓度数据作为第一个簇中心点U₁，计算其余空气污染浓度数据与该簇中心点U₁之间的相似距离，按照相似距离分配原则对空气污染浓度数据z_i进行分配操作；

其中，相似距离分配原则为：若空气污染浓度数据z_i与新选择的簇中心点之间的相似距离不大于设定的相似距离阈值W_T，不对空气污染浓度数据z_i进行分配操作；若空气污染浓度数据z_i与新选择的簇中心点之间的相似距离大于设定的相似距离阈值W_T，继续计算空气污染浓度数据z_i与该簇中心点的最近邻集合中的空气污染浓度数据之间的相似距离，若空气污染浓度数据z_i与该簇中心点的最近邻集合中的一个空气污染浓度数据之间，满足相似距离大于设定的相似距离阈值W_T，则将空气污染浓度数据z_i分配到该簇中心点，并进行标记；

(3)令迭代次数λ加1，选择空气污染浓度数据集Z中的第一个未标记的空气污染浓度数据作为另一个簇中心点U_λ+1，计算其余空气污染浓度数据与该簇中心点U_λ+1之间的相似距离，若空气污染浓度数据z_j未标记，按照相似距离分配原则对空气污染浓度数据z_j进行分配操作；若空气污染浓度数据z_j已标记且按照相似距离分配原则可分配到簇中心点U_λ+1，比较其与原分配的簇中心点、簇中心点U_λ+1之间的相似距离，选择相似距离更大的簇中心点加入簇；

(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的空气污染浓度数据皆已被标记。

其中，设定两个空气污染浓度数据之间的相似距离的计算公式为：

式中，W(z_i,z_l)表示空气污染浓度数据z_i与z_l之间的相似距离，

表示z_i在z_l的最近邻集合

中的位置赋值，若

则赋值

表示z_l在z_i的最近邻集合

中的位置赋值，若

则赋值

本实施例设定了对数据预处理单元预处理后的空气污染浓度数据进行聚类处理的具体机制，该机制能够简单快捷地完成空气污染浓度数据的聚类，不需要预先指定簇的个数，其中创新性地设定了相似距离分配原则，使得仅当空气污染浓度数据与簇中心点相似且与簇中心点的最近邻集合中的一个或多个空气污染浓度数据相似时，空气污染浓度数据才能与簇中心点位于同一个簇，由此相对于传统的基于相似度的聚类算法，本实施例采用了更强的限制条件，更适合于检测出任意形状簇，聚类高效且质量高。

现有技术中衡量两个空气污染浓度数据之间的距离时，最常用的度量方式是绝对距离，如欧式距离、曼哈顿距离等。本实施例创新性地设定了一种新的相似距离度量公式，该公式计算出的相似距离相对于绝对距离，能够自动适应空气污染浓度数据集中的密度变化，使得聚类操作能够适应于不同密度和规模的簇。

其中，两个空气污染浓度数据之间的相似度可以采用现有的相似度函数进行计算，例如采用余弦相似性、皮尔逊相关系数等进行度量。在一个优选实施例中，设定两个空气污染浓度数据之间的相似度的计算公式为：

式中，G(z_i,z_j)表示空气污染浓度数据z_i与空气污染浓度数据z_j之间的相似度，z_iα表示空气污染浓度数据z_i的第+维属性值，z_jα表示空气污染浓度数据z_j的第+维属性值，β为空气污染浓度数据的维数，D₁(z_iα,z_jα)为设定的取最小值函数，当z_iα≤z_jα，D₁(z_iα,z_jα)＝z_iα，当z_iα>z_jα，D₁(z_iα,z_jα)＝z_jα；D₂(z_iα,z_jα)为设定的取最大值函数，当z_iα<z_jα，D₂(z_iα,z_jα)＝z_jα，当z_iα≥z_jα，D₂(z_iα,z_jα)＝z_iα。

本实施例创新性地设定了相似度的计算公式，提出了一种新的相似度度量机制，通过该计算公式得到的相似度来衡量两个空气污染浓度数据之间的相似性，能够使得相似度的计算不受到空气污染浓度数据的维度影响，从而避免任何不必要的数据转换，使得对空气污染浓度数据的聚类更加简单快捷。

在一个实施例中，所述对聚类处理后的空气污染浓度数据进行异常点检测，具体包括：

(1)若聚类后存在一个簇的空气污染浓度数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有空气污染浓度数据视为异常空气污染浓度数据；

(2)计算其他正常簇的簇中心点与异常簇的簇中心点之间的相似距离；

(3)若存在一个异常簇的簇中心点与正常簇的簇中心点之间的相似距离不大于设定的簇相似距离阈值，则将该正常簇作为待检测簇，并利用该异常簇的空气污染浓度数据来检测待检测簇中的空气污染浓度数据，设该异常簇的空气污染浓度数据集合为Z_x＝3z₁,z₂,..,z_x}，当待检测簇中的空气污染浓度数据z_h满足异常条件时，将空气污染浓度数据z_h视为异常空气污染浓度数据。

其中，设定异常条件为：

式中，

为空气污染浓度数据z_h的最近邻集合，

为空气污染浓度数据Z_x的最近邻集合，z_θ∈Z_x，

表示

与

的交集中的空气污染浓度数据个数，N为设定的个数阈值。

由于规模性较小的簇中的空气污染浓度数据之间相对较为松散，而且相对于其他空气污染浓度数据较为孤立，因此现有技术中通常将规模较小的簇中的数据视为异常数据。基于此，本实施例对聚类处理后的空气污染浓度数据进行异常点检测，将规模较小的簇视为异常簇，将异常簇中的所有空气污染浓度数据视为异常空气污染浓度数据，具有一定的理论性。

本实施例创新性地提出了用于检测空气污染浓度数据是否为异常的异常条件，该异常条件根据空气污染浓度数据与异常簇的空气污染浓度数据之间的最近邻集合的空气污染浓度数据交集数量来判断该空气污染浓度数据是否为异常空气污染浓度数据，具备一定的检测精度，检测方式简单有效且不受到空气污染浓度数据维度的影响，提高了空气污染智能监测系统的运行效率。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种空气污染智能监测系统，其特征是，包括大数据处理中心和多个监测装置，每个监测装置皆连接至大数据处理中心，每个监测装置用于采集一个空气污染监测区域内的多个空气污染监测节点的空气污染浓度数据；大数据处理中心用于对采集的空气污染浓度数据进行处理分析，实现对空气污染的实时监测；大数据处理中心包括数据预处理模块、数据聚类处理模块、异常点检测模块、数据库，数据预处理模块用于对监测装置采集的空气污染浓度数据进行预处理；数据聚类处理模块对数据预处理模块预处理后的空气污染浓度数据进行聚类处理；异常点检测模块对聚类处理后的空气污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库中；对数据预处理模块预处理后的空气污染浓度数据进行聚类处理，具体包括：

(1)提取预处理后的设定时间段的空气污染浓度数据作为一个空气污染浓度数据集，设为Z，构建每个空气污染浓度数据的最近邻集合：对空气污染浓度数据集Z中的任意空气污染浓度数据z_i，计算z_i与空气污染浓度数据集Z中其余空气污染浓度数据的相似度，根据相似度由小到大的顺序进行排序，选择前s个空气污染浓度数据作为z_i的最近邻，构建空气污染浓度数据z_i的最近邻集合

最近邻集合

中所述s个空气污染浓度数据根据欧式距离由小到大的顺序进行排序，将排序在第ρ个位置的空气污染浓度数据赋值为ρ；

(2)在第一次迭代时，选择空气污染浓度数据集Z中的第一个未标记的空气污染浓度数据作为第一个簇中心点U₁，计算其余空气污染浓度数据与该簇中心点U₁之间的相似距离，按照相似距离分配原则对空气污染浓度数据z_i进行分配操作；

其中，相似距离分配原则为：若空气污染浓度数据z_i与新选择的簇中心点之间的相似距离不大于设定的相似距离阈值W_T，不对空气污染浓度数据z_i进行分配操作；若空气污染浓度数据z_i与新选择的簇中心点之间的相似距离大于设定的相似距离阈值W_T，继续计算空气污染浓度数据z_i与该簇中心点的最近邻集合中的空气污染浓度数据之间的相似距离，若空气污染浓度数据z_i与该簇中心点的最近邻集合中的一个空气污染浓度数据之间，满足相似距离大于设定的相似距离阈值W_T，则将空气污染浓度数据z_i分配到该簇中心点，并进行标记；

(3)令迭代次数λ加1，选择空气污染浓度数据集Z中的第一个未标记的空气污染浓度数据作为另一个簇中心点U_λ+1，计算其余空气污染浓度数据与该簇中心点U_λ+1之间的相似距离，若空气污染浓度数据z_j未标记，按照相似距离分配原则对空气污染浓度数据z_j进行分配操作；若空气污染浓度数据z_j已标记且按照相似距离分配原则可分配到簇中心点U_λ+1，比较其与原分配的簇中心点、簇中心点U_λ+1之间的相似距离，选择相似距离更大的簇中心点加入簇；

(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的空气污染浓度数据皆已被标记。

2.根据权利要求1所述的一种空气污染智能监测系统，其特征是，每个监测装置包括设置于各个空气污染监测节点的传感器节点，还包括基站，传感器节点用于采集所在空气污染监测节点的空气污染浓度数据，基站负责传感器节点和大数据处理中心之间的双向信息交互。

3.根据权利要求2所述的一种空气污染智能监测系统，其特征是，当空气污染浓度数据量达到一定阈值时，传感器节点将采集到的空气污染浓度数据整理成空气污染浓度数据文件并发送至基站，进而由基站将接收的空气污染浓度数据文件发送至数据中心。

4.根据权利要求2所述的一种空气污染智能监测系统，其特征是，传感器节点包括至少一种下述的传感器：

粉尘传感器，用于实时检测所述空气污染监测区域中的粉尘污染物的浓度；

PM2.5传感器，用于实时检测所述空气污染监测区域中的PM2.5污染物的浓度；

甲醛传感器，用于实时检测所述空气污染监测区域中的甲醛污染物的浓度；

有毒气体传感器，用于实时检测所述空气污染监测区域中的有毒气体的浓度；

异味传感器，用于实时检测所述空气污染监测区域中的异味的浓度；

二氧化碳传感器，用于实时检测所述空气污染监测区域中的二氧化碳的浓度。

5.根据权利要求1所述的一种空气污染智能监测系统，其特征是，设定两个空气污染浓度数据之间的相似度的计算公式为：

式中，G(z_i,z_j)表示空气污染浓度数据z_i与空气污染浓度数据z_j之间的相似度，z_iα表示空气污染浓度数据z_i的第α维属性值，z_jα表示空气污染浓度数据z_j的第α维属性值，β为空气污染浓度数据的维数，D₁(z_iα,z_jα)为设定的取最小值函数，当z_iα≤z_jα，D₁(z_iα,z_jα)＝z_iα，当z_iα>z_jα，D₁(z_iα,z_jα)＝z_jα；D₂(z_iα,z_jα)为设定的取最大值函数，当z_iα<z_jα，D₂(z_iα,z_jα)＝z_jα，当z_iα≥z_jα，D₂(z_iα,z_jα)＝z_iα。

Images