CN117333772A - 一种基于大数据的水环境污染分析管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于大数据的水环境污染分析管理方法及系统，包括监测模块；数据分析模块；数据库；无线通信模块；预警模块。本发明通过对水体污染物进行获取当某项数据超过阈值则发出预警，并对检测到的污染物数据进行计算得到污染物等级并根据污染物等级发出预警，预警模块依据不同的预警信息采取相应的措施，具有响应快，检测方便，节省人力的优点。

Description

一种基于大数据的水环境污染分析管理方法及系统

技术领域

本发明涉及水污染监测领域，具体为一种基于大数据的水环境污染分析管理方法及系统。

背景技术

随着信息化技术的不断发展，人们的生活发生了翻天覆地的变化，信息化时代的到来加速了很多行业的发展，但过快的发展速度也加剧了环境的恶化，环境污染越来越严重，引起社会对环境保护的关注。因此，要将生态环境保护视为现阶段主要工作之一。

目前的水体污染中污染程度最高的就是工业废水，其中包含的化学物质较多，严重破坏水体质量，同时也会对周边的土壤带来不利影响，对于整个生态系统造成破坏。例如工业废水中所包含的重金属以及其他有毒物质，排放到水体中后难以得到降解，并且有着很强的污染渗透性，会通过循环系统而影响人们的正常饮水，从而不利于人们的生命健康。其次是因为处理不当而形成的污水。随着城乡建设发展，提升了人们的生活质量，更多的人们开始关注污水的处理工作，很多地区建设了污水处理设施，这实际上是对污水处理压力的有效缓解。但因为缺乏良好的日常管理，导致一些污水处理设备无法发挥出应有的处理能力，无法保证彻底处理污水，那么那些没有得到有效处理的污水就会进入到自然水体循环中，对人们的生命健康带来威胁。

公开号为CN111596025A的中国专利公开了一种基于大数据的水环境污染分析系统，包括检测模块、控制模块、大数据分析模块、预警模块、远程通信模块和存储模块，此专利通过对水体的元素的监测确定污染等级，从而对上游污染源进行排查，实现对水环境污染的监测。但未考虑到对污染源的准确监测，忽略了上游存在多个污染源的情况，同时各个河流水体元素含量存在差异，预警的准确度有所欠缺。

公开号为CN108132340A的中国专利公开了一种河道多传感器融合上下游污染预警系统及方法。河道部分包括在河道上下游多处部署的水质在线监测浮标节点，岸上部分包括无线网关，以及云服务器。云服务器建立河道多传感器数据融合分析模型，利用多传感器数据融合方法分析河道中是否存在污染并对污染物进行分类、估计污染源位置，结合上下游关系对河道水质进行在线监测和分类预警，判断河道是否受到污染物入侵并估计污染源位置。但在评估过程未对采集到得数据进行深度分析，将数据进行有效的融合评估，同时缺少技术手段对水体污染情况进行确认，未能保证预警的准确度。

水资源是人们生存的重要基础，所以必须重视水资源的保护，通过监测和管理水环境，能够进一步加强水污染的治理效果，从而提升人们的用水安全程度。

发明内容

为解决上述现有技术的水体污染检测中存在检测人员检测不及时、响应不够快、有效数据量少且不准确以及监测覆盖区域小等问题，本发明提供如下技术方案：一种基于大数据的水环境污染分析管理方法及系统，包括以下步骤：

S1、数据采集：在监测区域的上下游每隔一段距离设置一个水下传感器及无人机，将水下传感器检测的数据传输到数据库中存储；

S2、数据初预警：若水下传感器检测到污染物数据有一项及以上超过阈值，发出预警，否则继续监测；

S3、数据分析：对传感器检测数据进行分析，计算出上下游的最大污染指数和平均污染指数并对污染等级评估，根据评估结果发送警报信息，并将评估结果传输到数据库中存储；

S4、数据存储：数据库对传感器检测的数据和污染等级评估结果进行加密存储，对储存的数据进行周期性分析，对确认无有效污染物且超过阈值的数据进行标记，依据标记数据对阈值进行周期性调整；

S5、数据确认：对接收到的警报信息进行识别并处理，处理措施包括加强监测、启动无人机进行污染确认等。

优选地，步骤S1中数据采集的具体设置如下：

监测区域为河流、工厂及生活区，水下传感器按照上游与下游每200米设置一个布设，水下传感器每隔1小时检测水中的重金属、总氮、总磷，并将数据通过蓝牙传输到数据库中存储。

优选地，若水下传感器检测到污染物数据有一项及以上超过阈值，发出预警，否则继续监测：

若传感器检测到的重金属、总氮、总磷中有一项及以上大于设定的阈值则进入预警，对监测河段加强巡视；否则对水体持续监测。

优选地，对传感器检测数据进行分析，计算出上下游的最大污染指数和平均污染指数并对污染等级评估根据评估结果发送警报信息，并将评估结果传输到数据库中存储；

根据检测到的重金属、总氮、总磷对水域污染情况进行分析；具体步骤如下：

S31、计算出传感器测得的污染指数：

；

式中，表示传感器监测水体中的第/>种重金属污染物的含量，共有A种；/>表示传感器监测水体中的第/>种非重金属的金属污染物的含量，/>表示传感器监测水体中的第种非金属含量；/>，/>，/>分别表示各自的权重，/>，/>，/>的和为1；

式中，X表示传感器监测水体中的重金属含量，Y表示传感器监测水体中的总金属含量，Z表示传感器监测水体中的总金属含量;W1，W2，W3分别表示各自的权重，W1，W2，W3的和为1；

S32、将传感器依照部署位置分为上游传感器和下游传感器，分别计算1千米内上游传感器和下游传感器的污染指数，得到上下游最大污染指数TPI_max，和平均污染指数，计算污染程度：

S33、根据下游污染程度PIs减去上游污染程度PI_x二者差值对河流总体污染程度得到污染等级，若Q1≤PIs-PI_x＜Q2，则污染程度为轻度污染，进入预警发送一级警告，提醒站点工作人员加强监测；

若PIs-PI_x≥Q2，判断为重度污染，进入预警发送二级警告，提醒工作人员对污染河段水体进行污染确认，并找出污染源；

S34、将分析结果通过蓝牙传输到数据库中存储。

优选地，数据库对传感器检测的数据和污染等级评估结果进行加密存储；

步骤如下：

S41、根据用户输入，取得一个64位的密钥，然后进行等分、移位、选取和迭代形成一套16个加密密钥，分别提供每轮运算使用；

S42、对64位明文分组M进行操作，M经过置换IP，置换为m0，将m0分为左右各 32 位长，并进行16轮相同的运算，每轮运算都和相应的密钥结合；

S43、每一轮中密码位移位，从密钥的56位中选出48位，通过一个扩展置换将数据右半边扩展成48位，并通过异或操作替代成新的48位；然后压缩至32位，并通过异或与左半边结合，其结果为右半边，原来的右半边成为左半边，该操作执行 16 次；

S44、经过 16 轮迭代，左右部分合在一起进行一个末置换，完成加密过程。

优选地，对接收到的警报信息采取相应的措施处理；

在河流附近监测站点设置警报装置，对警报信息采用鸣笛报警进行提醒及发送提醒信息到站点工作人员移动设备上，并对预警信息采取相应措施进行处理；

若为一级警告，此时为轻度污染可自然降解，提醒站点工作人员加强监测；

若为二级警告，为重度污染无法自然降解，启动无人机对水面污染情况进行确认，若确认为异常则使用无人机对水体进行采样，并返程进行水体检测，结合水面污染情况以及水体检测数据判断污染源，将污染源上报检察机构。

优选地，若为二级警告，为重度污染无法自然降解，启动无人机对水面污染情况进行确认，具体步骤如下：

S51、对所拍摄图像使用平均值法进行灰度化处理，公式如下：

；

式中，i，j表示图片中各像素点横纵坐标，R（i，j）表示像素点红色基分量，G（i，j）表示像素点绿色基分量，B（i，j）表示像素点蓝色基分量；

S52、图像滤波，中值滤波是基于图像区域内像素灰度排序的非线性滤波算法，根据像素灰度排序决定滤波像素的灰度值，将像素领域内灰度的中值作为滤波像素新的灰度值；

S53、图像增强，对拍摄高边坡图像进行直方图均化处理，去除和削弱无用信息，突出颜色、边缘、形状等有用信息；

S54、将处理好的图片计算每个像素值的灰度并输入到训练好的svm分类器中，获得拍摄河流水面图片分类结果。

优选地，对于svm分类器的被污染的河流水面图片，包含水藻生长过剩，水面有漂浮物以及水面颜色异常的图片，对这些图片进行灰度化，计算灰度化后的像素值，若像素值大于所设阈值的像素点占整张图片的比例超过60%，将其判断为异常图片，否则判断为非异常图片，将这些图片分为训练集和测试集；

将训练集的数据预处理后输入到svm分类器中，选择核函数，通过不断寻找最优超平面来实现样本的分类，当训练次数达到训练次数T时，停止训练过程保存训练结果，得到训练后的svm分类器；

对训练后的svm分类器，输入预处理后的测试集图片，将识别的结果与测试集的图片继续比对，若精确度达到预设值，训练完成；否则增加最大训练次数从新训练直至精确度达到预设值为止，得到训练好的svm分类器。

优选地，基于大数据的水环境污染分析管理系统包括：

监测模块；数据分析模块；数据库；无线通信模块；预警模块；

所述监测模块包括水下传感器和用于监测水面情况的无人机；

水下传感器用于检测水体中的重金属，总氮，总磷数据；

无人机用于拍摄检测河段水面图片以及对水体进行自动取样检测，经过图像处理技术结合取样检测结果确认水体污染情况

所述数据分析模块用于对水下传感器检测到的重金属，总氮，总磷数据进行分析判断污染程度；并发送预警；

所述无线通信模块通过蓝牙将监测数据和分析结果输入到数据库中；

所述数据库用于对分析结果以及监测数据进行存储，生成历史数据便于检测人员查看；

所述预警模块根据预警级别不同采取相应措施进行处理。

有益效果

本发明的有益效果为：本发明通过在河流上下游部署水下传感器来检测水体中的污染物数据，通过计算出单个传感器的污染物指数再计算出上游和下游最大污染物指数和平均污染物指数最后获得污染程度，通过传感器检测污染程度能够极大的减少人员在采集样本过程的工作量以及危险性，通过在上游和下游同时布置传感器，结合上下游数据进行分析，消除数据特异性，提高数据准确性，减少误报。

进一步，使用的大数据技术具备了速度快、信息海量、应用价值高等特点，与传统的技术相比有了更强的数据分析能力和应用能力，能够及时的输出检测结果，同时对数据进行长期的周期性分析，对特殊数据进行标记，通过标记数据对判断阈值进行调整，保持阈值的敏感度。

进一步，通过对单一数据进行警报、多重数据进行分析、无人机采样数据进行确认，保证数据的有效性以及准确性，避免对水体污染的监测的漏洞，同时也避免了数据的误报。

进一步，使用无人机对监测河流水面拍摄图片，通过图像处理技术识别出被污染的水域，结合无人机自动采样检测，加强了数据的准确性。

附图说明

图1为本发明一种基于大数据的水环境污染分析管理方法及系统的流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

S1、在监测区域的上游与下游每200米设置一个水下传感器，传感器每隔1小时检测水中的重金属、总氮、总磷并将数据通过蓝牙传输到数据库中存储；

S2、若传感器检测到的重金属、总氮、总磷中有一项及以上大于设定的阈值则进入预警，对监测河段加强巡视；否则对水体持续监测；

进一步在水面上布置无人机，通过无人机拍摄监测河段水面图片对水面上异常情况进行监测；

S3、数据分析模块调用24小时内的传感器检测数据，根据检测到的重金属、总氮、总磷对水域污染情况进行分析；具体步骤如下：

S31、计算出传感器测得的污染指数：

；

式中，表示传感器监测水体中的第/>种重金属污染物的含量，共有A种；/>表示传感器监测水体中的第/>种非重金属的金属污染物的含量，/>表示传感器监测水体中的第种非金属含量；/>，/>，/>分别表示各自的权重，/>，/>，/>的和为1；

式中，X表示传感器监测水体中的重金属含量，Y表示传感器监测水体中的总金属含量，Z表示传感器监测水体中的总金属含量;W1，W2，W3分别表示各自的权重，W1，W2，W3的和为1；

S32、将传感器依照部署位置分为上游传感器和下游传感器，分别计算1千米内上游传感器和下游传感器的污染指数，得到上下游最大污染指数TPI_max，和平均污染指数，计算污染程度：

S33、根据下游污染程度PIs减去上游污染程度PI_x二者差值对河流总体污染程度进行判断，若Q1≤PIs-PI_x＜Q2，则污染程度为轻度污染，进入预警发送一级警告，提醒站点工作人员加强监测；

若PIs-PI_x≥Q2，判断为重度污染，进入预警发送二级警告，提醒工作人员对污染河段水体进行污染确认，并找出污染源；

S34、将分析结果通过蓝牙传输到数据库中存储；

S4、对获得的水体各项污染物数据和分析结果加密存储到数据库，并生成历史数据便于工作人员管理查看；步骤如下：

S41根据用户输入，取得一个 64 位的密钥，然后进行等分、移位、选取和迭代形成一套 16 个加密密钥，分别提供每轮运算使用；

S42对64位明文分组M进行操作，M经过置换IP，置换为m0，将m0分为左右各 32 位长，并进行16轮相同的运算，每轮运算都和相应的密钥结合；

S43每一轮中密码位移位，从密钥的56位中选出48位，通过一个扩展置换将数据右半边扩展成48位，并通过异或操作替代成新的48位；然后压缩至32位，并通过异或与左半边结合，其结果为右半边，原来的右半边成为左半边，该操作执行 16 次；

S44经过 16 轮迭代，左右部分合在一起进行一个末置换，完成加密过程；

还对储存的数据进行周期性分析，对确认无有效污染物且超过阈值的数据进行标记，依据标记数据对阈值进行周期性调整；

S5、在河流附近监测站点设置警报装置，对警报信息采用鸣笛报警进行提醒及发送提醒信息到站点工作人员移动设备上，并对预警信息采取相应措施进行处理；

若为一级警告，此时为轻度污染可自然降解，提醒站点工作人员加强监测；

若为二级警告，为重度污染无法自然降解，启动无人机对水面情况进行确认，若确认为异常则使用无人机对水体进行采样，并返程进行水体检测，结合水面污染情况以及水体检测数据判断污染源，将污染源上报检察机构；

通过无人机拍摄的河流水面图片对水面污染情况进行确认，具体步骤如下：

S51、对所拍摄图像使用平均值法进行灰度化处理，公式如下：

；

式中，i，j表示图片中各像素点横纵坐标，R（i，j）表示像素点红色基分量，G（i，j）表示像素点绿色基分量，B（i，j）表示像素点蓝色基分量；

S52、图像滤波，中值滤波是基于图像区域内像素灰度排序的非线性滤波算法，根据像素灰度排序决定滤波像素的灰度值，将像素领域内灰度的中值作为滤波像素新的灰度值；

S53、图像增强，对拍摄高边坡图像进行直方图均化处理，去除和削弱无用信息，突出颜色、边缘、形状等有用信息；

S54、将处理好的图片计算每个像素值的灰度并输入到训练好的svm分类器中，获得拍摄河流水面图片分类结果；

其中，对于svm分类器的被污染的河流水面图片，包含水藻生长过剩，水面有漂浮物以及水面颜色异常的图片，对这些图片进行灰度化，计算灰度化后的像素值，若像素值大于所设阈值的像素点占整张图片的比例超过60%，将其判断为异常图片，否则判断为非异常图片，将这些图片分为训练集和测试集；

将训练集的数据预处理后输入到svm分类器中，选择核函数，通过不断寻找最优超平面来实现样本的分类，当训练次数达到训练次数T时，停止训练过程保存训练结果，得到训练后的svm分类器；

对训练后的svm分类器，输入预处理后的测试集图片，将识别的结果与测试集的图片继续比对，若精确度达到预设值，训练完成；否则增加最大训练次数从新训练直至精确度达到预设值为止，得到训练好的svm分类器；

实施例2

基于大数据的水环境污染分析管理系统包括：

监测模块；数据分析模块；数据库；无线通信模块；预警模块；

监测模块包括水下传感器和用于监测水面情况的无人机；

水下传感器用于检测水体中的重金属，总氮，总磷数据；

无人机用于拍摄检测河段水面图片以及对水体进行自动取样检测，经过图像处理技术结合取样检测结果确认水体污染情况；

数据分析模块用于对水下传感器检测到的重金属，总氮，总磷数据进行分析判断污染程度；并发送预警；

无线通信模块通过蓝牙将监测数据和分析结果输入到数据库中；

数据库用于对分析结果以及监测数据进行存储，生成历史数据便于检测人员查看；

预警模块根据预警级别不同采取相应措施进行处理；

在使用时，尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于大数据的水环境污染分析管理方法，其特征在于，包括以下步骤：

S1、数据采集：在监测区域的上下游每隔一段距离设置一个水下传感器及无人机，将水下传感器检测的数据传输到数据库中存储；

S2、数据初预警：若水下传感器检测到污染物数据有一项及以上超过阈值，发出预警，否则继续监测；

S3、数据分析：对传感器检测数据进行分析，计算出上下游的最大污染指数和平均污染指数并对污染等级评估，根据评估结果发送警报信息，并将评估结果传输到数据库中存储；

S4、数据存储：数据库对传感器检测的数据和污染等级评估结果进行加密存储，对储存的数据进行周期性分析，对确认无有效污染物且超过阈值的数据进行标记，依据标记数据对阈值进行周期性调整；

S5、数据确认：对接收到的警报信息进行识别并处理，处理措施包括加强监测、启动无人机进行污染确认。

2.根据权利要求1所述的一种基于大数据的水环境污染分析管理方法，其特征在于，所述步骤S1中数据采集的具体设置如下：

监测区域为河流、工厂及生活区，水下传感器按照上游与下游每200米设置一个布设，水下传感器每隔1小时检测水中的重金属、总氮、总磷，并将数据通过蓝牙传输到数据库中存储。

3.根据权利要求1所述的一种基于大数据的水环境污染分析管理方法，其特征在于，若水下传感器检测到污染物数据有一项及以上超过阈值，发出预警，否则继续监测：

若传感器检测到的重金属、总氮、总磷中有一项及以上大于设定的阈值则进入预警，对监测河段加强巡视，否则对水体持续监测。

4.根据权利要求1所述的一种基于大数据的水环境污染分析管理方法，其特征在于，对传感器检测数据进行分析，计算出上下游的最大污染指数和平均污染指数并对污染等级评估根据评估结果发送警报信息，并将评估结果传输到数据库中存储；

根据检测到的重金属、总氮、总磷对水域污染情况进行分析；具体步骤如下：

S31、计算出传感器测得的污染指数：

；

式中，表示传感器监测水体中的第/>种重金属污染物的含量，共有A种；/>表示传感器监测水体中的第/>种非重金属的金属污染物的含量，/>表示传感器监测水体中的第/>种非金属含量；/>，/>，/>分别表示各自的权重，/>，/>，/>的和为1；

S32、将传感器依照部署位置分为上游传感器和下游传感器，分别计算1千米内上游传感器和下游传感器的污染指数，得到上下游最大污染指数TPI_max，和平均污染指数，计算污染程度：

；

S33、根据下游污染程度PIs减去上游游污染程度PI_x二者差值对河流总体污染程度得到污染等级，若Q1≤PIs-PI_x＜Q2，则污染程度为轻度污染，进入预警发送一级警告，提醒站点工作人员加强监测；

若PIs-PI_x≥Q2，判断为重度污染，进入预警发送二级警告，提醒工作人员对污染河段水体进行污染确认，并找出污染源；

S34、将分析结果通过蓝牙传输到数据库中存储。

5.根据权利要求1所述的一种基于大数据的水环境污染分析管理方法，其特征在于，数据库对传感器检测的数据和污染等级评估结果进行加密存储，步骤如下：

S41、根据用户输入，取得一个64位的密钥，然后进行等分、移位、选取和迭代形成一套16个加密密钥，分别提供每轮运算使用；

S42、对64位明文分组M进行操作，M经过置换IP，置换为m0，将m0分为左右各 32 位长，并进行16轮相同的运算，每轮运算都和相应的密钥结合；

S43、每一轮中密码位移位，从密钥的56位中选出48位，通过一个扩展置换将数据右半边扩展成48位，并通过异或操作替代成新的48位；然后压缩至32位，并通过异或与左半边结合，其结果为右半边，原来的右半边成为左半边，该操作执行 16 次；

S44、经过 16 轮迭代，左右部分合在一起进行一个末置换，完成加密过程。

6.根据权利要求1所述的一种基于大数据的水环境污染分析管理方法，其特征在于，对接收到的警报信息采取相应的措施处理；

在河流附近监测站点设置警报装置，对警报信息采用鸣笛报警进行提醒及发送提醒信息到站点工作人员移动设备上，并对预警信息采取相应措施进行处理；

若为一级警告，此时为轻度污染可自然降解，提醒站点工作人员加强监测；

若为二级警告，为重度污染无法自然降解，启动无人机对水面情况进行确认，若确认为异常则使用无人机对水体进行采样，并返程进行水体检测，结合水面污染情况以及水体检测数据判断污染源，将污染源上报检察机构。

7.根据权利要求6所述的一种基于大数据的水环境污染分析管理方法，其特征在于，若为二级警告，为重度污染无法自然降解，启动无人机对水面污染情况进行确认；

具体步骤如下：

S51、对所拍摄图像使用平均值法进行灰度化处理，公式如下：

;

式中，i，j表示图片中各像素点横纵坐标，R（i，j）表示像素点红色基分量，G（i，j）表示像素点绿色基分量，B（i，j）表示像素点蓝色基分量；

S52、图像滤波，中值滤波是基于图像区域内像素灰度排序的非线性滤波算法，根据像素灰度排序决定滤波像素的灰度值，将像素领域内灰度的中值作为滤波像素新的灰度值；

S53、图像增强，对拍摄高边坡图像进行直方图均化处理，去除和削弱无用信息，突出颜色、边缘、形状等有用信息；

S54、将处理好的图片计算每个像素值的灰度并输入到训练好的svm分类器中，获得拍摄河流水面图片分类结果。

8.根据权利要求7所述的一种基于大数据的水环境污染分析管理方法，其特征在于，

对于svm分类器的被污染的河流水面图片，包含水藻生长过剩，水面有漂浮物以及水面颜色异常的图片，对这些图片进行灰度化，计算灰度化后的像素值，若像素值大于所设阈值的像素点占整张图片的比例超过60%，将其判断为异常图片，否则判断为非异常图片，将这些图片分为训练集和测试集；

将训练集的数据预处理后输入到svm分类器中，选择核函数，通过不断寻找最优超平面来实现样本的分类，当训练次数达到训练次数T时，停止训练过程保存训练结果，得到训练后的svm分类器；

对训练后的svm分类器，输入预处理后的测试集图片，将识别的结果与测试集的图片继续比对，若精确度达到预设值，训练完成；否则增加最大训练次数从新训练直至精确度达到预设值为止，得到训练好的svm分类器。

9.一种实现权利要求1-8任一项所述的一种基于大数据的水环境污染分析管理方法的基于大数据的水环境污染分析管理系统，其特征在于，包括：

监测模块；数据分析模块；数据库；无线通信模块；预警模块；

所述监测模块包括水下传感器和用于监测水面情况的无人机；

水下传感器用于检测水体中的重金属，总氮，总磷数据；

无人机用于拍摄检测河段水面图片以及对水体进行自动取样检测，经过图像处理技术结合取样检测结果确认水体污染情况；

所述数据分析模块用于对水下传感器检测到的重金属，总氮，总磷数据进行分析判断污染程度，并发送预警；

所述无线通信模块通过蓝牙将监测数据和分析结果输入到数据库中；

所述数据库用于对分析结果以及监测数据进行存储，生成历史数据便于检测人员查看；

所述预警模块根据预警级别不同采取相应措施进行处理。