CN112884039B - 一种基于计算机视觉的水体污染识别方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的水体污染识别方法，包括如下步骤：先建立识别模型，识别时，先获取监控区域的待识别图片，读取待识别图片的原图BGR数据imgData，从BGR数据imgData划分出水面区域的水面BGR数据maskedImg；将水面BGR数据maskedImg转换到HSV通道，得到水面HSV数据maskedHsv；分别计算水面HSV数据maskedHsv中H、S、V通道的均值，得到水面HSV均值hsvMean；将所述水面HSV均值hsvMean输入识别模型svm.model，得到水体污染识别的结构。本发明具有能够保持持续监测，防止偷排，有利于降低人力物力投入等优点。

Description

一种基于计算机视觉的水体污染识别方法

技术领域

本发明涉及水体监测技术领域，特别的涉及一种基于计算机视觉的水体污染识别方法。

背景技术

随着我国经济的快速发展和城市化进程加快，大量工业废水、生活污水和其他废弃物进入江河湖海等水体，其超过了自然水体自净能力并所造成了污染，这会导致自然水体的物理、化学、生物等方面特征的改变，从而影响到水的利用价值，危害人体健康或破坏生态环境，造成水质恶化的现象。因此，需要对水体的污染情况进行监测。

在对水体的污染情况进行监测时，主要包括通过水质的浑浊度和色度来进行定性判别，或通过水质的化学成分检测进行定量分析。目前，在对水质的浑浊度和色度进行判别时，需要借助巡逻或监控等手段实现，这种监测方法费时费力。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够保持持续监测，防止偷排，有利于降低人力物力投入的基于计算机视觉的水体污染识别方法。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于计算机视觉的水体污染识别方法，其特征在于，包括如下步骤：

B1、建立识别模型：分别获取污染水体和未污染水体的图片，分成污染水体图片组和未污染水体图片组，对图片进行处理后，使用SVM对污染水体图片组和未污染水体图片组进行二分类训练，得到识别模型svm.model；

B2、识别时，先获取监控区域的待识别图片，读取待识别图片的原图BGR数据imgData，从BGR数据imgData划分出水面区域的水面BGR数据maskedImg；将水面BGR数据maskedImg转换到HSV通道，得到水面HSV数据maskedHsv；分别计算水面HSV数据maskedHsv中H、S、V通道的均值，得到水面HSV均值hsvMean；

B3、将所述水面HSV均值hsvMean输入识别模型svm.model，得到水体污染识别的结构。

进一步的，所述步骤B2中，在监控区域内设置水面区域的范围，通过水面区域的范围在BGR数据imgData划分出水面区域的水面BGR数据maskedImg。

进一步的，所述步骤B1中，采用如下步骤对图片进行处理：

先读取污染水体图片组和未污染水体图片组中的图片，并获取训练图片BGR数据，为W*H*D的三维矩阵，其中W为图片宽度、H为图片高度、D为图片通道；

将训练图片BGR数据的BGR通道转换为HSV通道，得到训练图片HSV数据imgHsv，其中H为色调、S为饱和度、V为亮度；

将训练图片HSV数据imgHsv的W*H*D的三维矩阵转化为(W*H)*D的二维矩阵形式，得到训练图片HSV二维数据imgHsv1；

将训练图片HSV二维数据imgHsv1的数据按第一个维度求取平均值，得到训练图片平均值hsvMean；

分别计算污染水体图片组和未污染水体图片组中图片的训练图片平均值hsvMean，并对数据进行取整，分别得到污染水体数据矩阵muddyHsv和未污染水体数据矩阵nonMuddyHsv；

对污染水体数据矩阵muddyHsv内的数据加上标签a，对未污染水体数据矩阵nonMuddyHsv内的数据加上标签b，将污染水体数据矩阵muddyHsv和未污染水体数据矩阵nonMuddyHsv合并得到训练数据矩阵trainData和对应的标签矩阵trainLabel；

将训练数据矩阵trainData和对应的标签矩阵trainLabel内的顺序打断，得到随机训练数据矩阵shuffledData和与其对应的随机标签矩阵shuffledLabel；

将使用SVM对随机训练数据矩阵shuffledData和与其对应的随机标签矩阵shuffledLabel进行二分类训练，得到识别模型svm.model。

综上所述，本发明具有能够保持持续监测，防止偷排，有利于降低人力物力投入等优点。

附图说明

图1为待监测水体的区域照片。

图2为水面区域的结构示意图。

图3为水面区域的BGR图。

图4为水面区域的HSV图。

图5和图6为监控区域的示意图。

图7为待监测区域的划分示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明。

一种基于视觉的水体污染识别方法，具体包括如下步骤：

先建立训练模型

分别搜集被污染水体和未污染水体的图片，分别放在不同文件路径，两种状态的图片尽可能搜集全面。将被污染水体图片作为污染水体图片组muddy，将未污染水体图片作为未污染水体图片组none_muddy。

分别读取两个文件夹的图片数据，得到图片的BGR数据(用imgData表示)，其为W*H*D的三维矩阵，其中W为图片宽度、H为图片高度、D为图片通道(此处为BGR，其中B为蓝色、G为绿色、R为红色)，其结构如下所示：

[[[82 128 99][82 128 99][82 128 99]…[80 130 100][78 130 100][78 130100]]

[[96 102 77][126 135 109][179 190 164]…[79 129 99][79 129 99][79 12999]]]

将上述所得图片数据的BGR通道转化为HSV通道，其中H为色调、S为饱和度、V为亮度，得到imgHsv，其数据结构如下所示：

[[[48 94 130][48 95 129][48 95 129]…[48 94 130][48 94 130][48 94130]]

[[101 39 245][101 39 245][101 39 245]…[48 95 129][48 95 129][48 95129]]]

将imgHsv的W*H*D的三维矩阵转化为(W*H)*D的二维矩阵形式，得到imgHsv1其数据结构如下：

[[48 94 130][48 95 129][48 95 129]…[48 95 129][48 95 129][48 95129]]

对imgHsv1的数据按第一个维度求取平均值，得到hsvMean，本实施例中，其值为：[52.47053731，80.39821747，137.40183346]。

依次求取muddy和none_muddy的图片的hsvMean，并各自得到一个二维矩阵，再对矩阵内数据取整，得到muddyHsv与nonMuddyHsv，如下所示。

muddyHsv

[[13 125 201][17 107 167][17 80 118]…[24 117 107][22 111 141][39 60174]]

nonMuddyHsv

[[42 112 58][39 139 70][49 99 73]…[50 82 135][53 79 138][52 80 137]]

定义muddyHsv的标签为1，nonMuddyHsv的标签为0，得到训练数据trainData和其对应的标签trainLabel。数据结构如下：

trainData：

[[13 125 201][17 107 167][17 80 118]…[50 82 135][53 79 138][52 80137]]

trainLabel：

[1 1 1…0 0 0]

打乱训练数据，得到shuffledData和与其对应的标签shuffledLabel。数据结构如下：

shuffledData：

[[55 84 88][18 104 149][49 114 58]…[50 95 84][26 50 147][79 70 116]]

shuffledLabel：

[0 1 0…0 1 0]

使用SVM(支持向量机)对数据进行二分类训练，并得到模型文件svm.model。

水体污染识别

如图1所示，为待监测水体的区域照片，先读取待识别图片的BGR数据，得到imgData；手动设置的观测区域，抠出水面区域，得到maskData，如图2所示，其中白色区域为水面部分，黑色部分为其他背景。

将maskData与原图数据imgData做“与操作”，得到maskedImg，如图3所示，

将得到的maskedImg数据转为HSV通道，得到maskedHsv，如图4所示，

求取水面部分像素点的H、S、V三个通道的均值，具体方法为：求取maskedHsv的H、S、V三个通道各自的总和maskedHsvSum，然后统计出maskedHsv中H、S、V不全为0的元素个数noneZeroNum，其均值hsvMean＝maskedHsvSum/noneZeroNum，并取整。本实施例中，maskedHsvSum为：[38561854，36290556，49701133]，noneZeroNum为：429387，计算得到的hsvMean为：[89，84，115]。

加载训练好的模型svm.model，将上面得到的hsvMean作为输入，计算得到预测值ouputData，此处ouputData为0，根据前面的定义，0为nonMuddyHsv的标签值，及为未污染状态。

上述方法可以判断水体是否受到污染，但在治理过程中，仍然会有排水口向河道内偷排的现象，需要进行排水监控，为此，本实施例还进一步对河道的排水口进行排水监测，其方法步骤如下：

如图5所示，共有2个排水口，左侧排口正在排水，右侧排口未排水，现通过基于计算机视觉的算法，计算两个排口的排水状态。判断前，先对排水状态进行定义，首先确定排水口有水排出，其次水流方向与预先设定方向一致。因为考虑到某些特定场景下，如图6所示，排水口被部分淹没的情况，可以检测到排口处有水流，但并不一定是排水口在排水。左右两边的排口处均检测到水流，但是实际上左侧排口处为河道本身的水流，而右侧排口处明显可见排口往外排放污水。因此，需要根据排口的现场情况，预先设置排水区域和可能的排水方向。

本实施例中，针对图5中的场景进行说明(同时也适用于图6中的场景)，一种基于计算机视觉的排水监测方法，如图7所示，此场景设置了2个排水口检测区域(矩形蒙版区域)，箭头为两个排水口各自预设的水流方向，记录2个排水口的坐标，得到drainBoxes：[[59,542,344,929],[966,316,1280,713]]，其中每个框中的坐标都依次为左上角点与右下角的像素坐标。记录两个排水口的预设水流方向，得到flowLines：[[196,612,202,878],[1127,386,1120,680]]，其中每个框中的坐标都依次为水流方向箭头起点到终点的坐标。排水口坐标和水流方向坐标都按照从左至右排列，并且一一对应。

对数据进行预处理

以此路视频流为例，首先读取此路视频流的连续帧图片数据，此处取连续的10帧，得到图片由图片BGR组成的数字矩阵，其维度为N*H*W*D，

其中N为帧数，W为图片宽度，H为图片高度，D为图片通道(此处为BGR，其中B为蓝色，G为绿色，R为红色)，定义该数字矩阵为imgDatas，其维度为：10*1080*1920*3，其数据结构如下所示：

[[[[56 70 29][57 71 30][57 71 30]...[222 203 176][222 203 176][222203 176]]

...

[[125 135 165][125 135 165][127 135 165]...[47 56 53][47 56 53][47 5653]]]

...

[[[28 32 0][31 35 0][29 36 0]...[222 203 176][222 203 176][222 203176]]

...

[[119 138 165][118 137 164][120 140 165]...[48 57 54][48 57 54][47 5653]]]]

遍历预先设置的排口，此处为2个，先以第一个排口为例，从上述设置得到的drainBoxes与flowLines数据中抽取第一个排口的drainBox：[59,542,344,929]，flowLine：[196,612,202,878]。然后进行ROI操作，从上一步得到的imgDatas中提取第一个排水口位置的数据，操作方式为：[:,542:929,59:344,:]，得到一个10*387*285*3的矩阵，记为detFrames，其数据结构如下所示：

[[[[143 164 179][162 183 198][139 161 173]...[119 134 103][111 12990][110 130 83]]

...

[[186 179 212][191 184 217][197 190 223]...[111 137 191][113 139 193][118 145 196]]]

...

[[[126 146 163][138 158 175][121 142 157]...[127 138 122][90 105 77][95 115 73]]

...

[[162 159 175][163 161 181][156 152 177]...[139 153 202][127 138 188][117 128 178]]]]

将得到detFrames作为输入，从第一个维度(此处为10)循环，采用光流法，依次求取连续两帧之间各像素点的光流变化值，并拼接成一个矩阵，得到ouputFlows，其维度为(9*387)*285*2，即为3483*285*2，其数据结构如下所示，其中光流法的数据预处理及计算过程，可参考现有的OpenCv中的calcOpticalFlowFarneback方法，其参数也采用默认参数即可。

[[[-0.6494114-0.32461116]...[-0.4463605-0.16205281]]

...

[[0.8821222 0.00421591]...[0.33376044-3.0070875]]]

对得到的ouputFlows，进行维度变化操作，转化为二维矩阵，得到ouputFlows_1，其维度为992655*2，数据结构如下所示：

[[-0.6494114-0.32461116]...[0.33376044-3.0070875]]

对得到的ouputFlows_1数据进行过滤，其逻辑为过滤掉监测区域内连续两帧相对静止的点，也就是其光流变化值接近0的点，过滤方法为遍历每个光流数据，判定两个值的绝对值之和与一个极小值的比较结果(此处给定0.00001)，如果大于这个极小值则保留，反之则舍弃；例如第一条数据：

[-0.6494114，-0.32461116]，|-0.6494114|+|-0.32461116|＝0.97402256>0.00001

则保留此条数据。

通过上述操作后，得到一个975139*2的数字矩阵，记为ouputFlows_2，备用。

排水判断

将上一步得到的ouputFlows_2与提前设置得到的flowLine(此处为[196,612,202,878])，作为输入，进行排水状态的计算。

首先，将flowLine数据转为单位向量，用baseVec来表示，此处计算结果为[0.02255065，0.9997457]。

遍历ouputFlows_2，计算其每个向量到baseVec的投影，得到长度为975139的一维数组，记为vecPros，其数据结构如下所示：

[-0.33917326-0.32963609-0.31685013...-3.12023619-3.1601487-2.99879626]

遍历ouputFlows_2，计算其中每组向量的模长，得到长度为975139的一维数组，记为vecNorms，其数据结构如下所示：

[0.7260217 0.7009283 0.64965796...3.120616 3.162034 3.025553]

遍历vecNorms，计算出vecNorms中元素大于0.005的索引，记为filterWhere，其为长度899619的一维数组，数据结构如下所示。

[0,1,2,...,975136,975137,975138]

按照filterWhere中的索引值，从vecPros和ouputFlows_2中对应位置，取出相应的值，分别记为vecPros_1，ouputFlows_3。vecPros_1为长度899619的一维数组，其数据结构如下所示：

[-0.33917326-0.32963609-0.31685013...-3.12023619-3.1601487-2.99879626]

ouputFlows_3为899619*2的二维数组，其数据结构如下所示：

[[-0.6494114-0.32461116]...[0.33376044-3.0070875]]

计算ouputFlows_3第一个维度的平均值，得到平均向量，记为ouputFlowsMean，其结果为[0.00773862，0.12921983]，备用，ouputFlowsMean代表排口监测区域内，总体的水流向量数据。

计算ouputFlows_3中每个向量与单位向量(baseVec＝[0.02255065，0.9997457])的余弦相似度，得到一个长度为899619一维数组，记为cosSims，其数据结构如下所示：

[-0.46716683-0.47028506-0.48771838...-0.9998783-0.99940376-0.99115642]

对vecPros_1与cosSims进行扩展维度操作，得到vecPros_2与cosSims_1，并将vecPros_2与cosSims_1按第二个维度进行重组，得到outputData。vecPros_2为一个899619*1的二维数组，其数据结构如下所示：

[[-0.33917326][-0.32963609][-0.31685013]...[-3.12023619][-3.1601487][-2.99879626]]

cosSims_1为一个899619*1的二维数组，其数据结构如下所示：

[[-0.46716683][-0.47028506][-0.48771838]...[-0.9998783][-0.99940376][-0.99115642]]

outputData为一个899619*2的二维数组，其数据结构如下所示：

[[-0.33917326-0.46716683][-0.32963609-0.47028506]...[-3.1601487-0.99940376][-2.99879626

-0.99115642]]

另外，将得到的899619记为dataNum。

对于outputData，其代表了所选定排口的监测区域内一系列光流数据与我们预先设置的方向向量(flowLine)的关系，以其第一组数据[-0.33917326，-0.46716683]为例，-0.33917326为对应的光流向量到方向向量的投影，-0.46716683为光流向量到方向向量的余弦相似度。按照之前的定义，一个排口的排水状态由2个因素来判定，是否排水及排水方向是否与排口设置方向一致。因此，我们需要从outputData中统计出与flowLine(或baseVec)方向接近(通过余弦相似度来衡量，变化范围为-1到1，-1为方向相反，1为方向重合)且到方向向量投影大于一定阈值的数据。然后通过统计出来的数据量在所有数据中的占比情况(即与dataNum的比值)，来作为是否排水的重要依据。

按照上一步的要求，先对outputData的数据进行统计，向量投影的阈值给定为0.01，余弦相似度的阈值给定为0.5。可按此条件对outputData进行过滤，过滤后得到一个209853*2的二维数组，记为outputData_1，其数据结构如下所示：

[[0.0155829 0.77702952][0.03556021 0.51000698]...[0.015022730.96439865][0.0112475 0.9540855]]

另外，得到的209853记为dataNum_1，将dataNum_1与dataNum的比值定义为posDataRatio，此处posDataRatio＝0.23326875043768527。

将此前得到的ouputFlowsMean代入，计算其与flowLine(或baseVec)的投影值及余弦相似度，并分别记为vecProMean、cosSimMean。此处，vecProMean＝0.12936148057543792，cosSimMean＝0.9993057716074317。这两个数据，也将作为衡量排口排水状态的重要指标。

到这一步，得到了衡量排水状态的三个指标：vecProMean、cosSimMean与posDataRatio。vecProMean代表排口区域整体的水流状态，大于设定阈值，则为水在流动(输出para_1＝1)，反之则没有水流动(输出para_1＝0)；cosSimMean代表排口区域整体的水流方向，大于设定阈值，则判定为水流方向与排口设定方向一致(输出para_2＝1)，反之则不一致(para_2＝0)；posDataRatio代表一系列水流数据中，符合排水方向与位移大小的像素点在整体像素点中的占比，大于设定阈值则判定为排水(输出para_3＝1)，反之则为未排水(输出para_3＝0)，可以过滤掉摄像机轻微晃动或者水面乱流的一些干扰。当三个条件都满足的情况下(即para_1*para_2*para_3＝1)，判定此排口最终状态为排水(输出drainCon＝1)，反之则判定词牌口最终状态为未排水(输出drainCon＝1)。此处，根据数据的统计情况，阈值设定情况如下：vecProMean(0.01)，cosSimMean(0.3)，posDataRatio(0.1)。

对于该排口而言：

vecProMean＝0.12936148057543792；cosSimMean＝0.9993057716074317；posDataRatio＝0.23326875043768527；

计算得到：para_1＝1，para_2＝1，para_3＝1，因此drainCon＝1*1*1＝1，即该排口最终状态为：排水。

可以按照上述同样的步骤，计算第二个排口的状态，得到的相关数据：

vecProMean＝-0.009332695940481995；cosSimMean＝-0.33229440353309536；posDataRatio＝0.11856037477102331；

按照算法规则，计算得到：para_1＝0，para_2＝0，para_3＝1；带入drainCon＝para_1*para_2*para_3，得到drainCon＝0*0*1＝0，即第二个排口的最终状态为：未排水。

显而易见，算法的计算结果符合视频画面的真实情况，左侧排口排水，右侧排口未排水，如图7所示，

以上所述仅为本发明的较佳实施例而已，并不以本发明为限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于计算机视觉的水体污染识别方法，其特征在于，包括如下步骤：

B1、建立识别模型：分别获取污染水体和未污染水体的图片，分成污染水体图片组和未污染水体图片组，对图片进行处理后，使用SVM对污染水体图片组和未污染水体图片组进行二分类训练，得到识别模型svm.model；

B2、识别时，先获取监控区域的待识别图片，读取待识别图片的原图BGR数据imgData，从BGR数据imgData划分出水面区域的水面BGR数据maskedImg；将水面BGR数据maskedImg转换到HSV通道，得到水面HSV数据maskedHsv；分别计算水面HSV数据maskedHsv中H、S、V通道的均值，得到水面HSV均值hsvMean；

B3、将所述水面HSV均值hsvMean输入识别模型svm.model，得到水体污染识别的结构。

2.如权利要求1所述的基于计算机视觉的水体污染识别方法，其特征在于，所述步骤B2中，在监控区域内设置水面区域的范围，通过水面区域的范围在BGR数据imgData划分出水面区域的水面BGR数据maskedImg。

3.如权利要求1所述的基于计算机视觉的水体污染识别方法，其特征在于，所述步骤B1中，采用如下步骤对图片进行处理：

先读取污染水体图片组和未污染水体图片组中的图片，并获取训练图片BGR数据，为W*H*D的三维矩阵，其中W为图片宽度、H为图片高度、D为图片通道；

将训练图片BGR数据的BGR通道转换为HSV通道，得到训练图片HSV数据imgHsv，其中H为色调、S为饱和度、V为亮度；

将训练图片HSV数据imgHsv的W*H*D的三维矩阵转化为(W*H)*D的二维矩阵形式，得到训练图片HSV二维数据imgHsv1；

将训练图片HSV二维数据imgHsv1的数据按第一个维度求取平均值，得到训练图片平均值hsvMean；

分别计算污染水体图片组和未污染水体图片组中图片的训练图片平均值hsvMean，并对数据进行取整，分别得到污染水体数据矩阵muddyHsv和未污染水体数据矩阵nonMuddyHsv；

对污染水体数据矩阵muddyHsv内的数据加上标签a，对未污染水体数据矩阵nonMuddyHsv内的数据加上标签b，将污染水体数据矩阵muddyHsv和未污染水体数据矩阵nonMuddyHsv合并得到训练数据矩阵trainData和对应的标签矩阵trainLabel；

将训练数据矩阵trainData和对应的标签矩阵trainLabel内的顺序打断，得到随机训练数据矩阵shuffledData和与其对应的随机标签矩阵shuffledLabel；

将使用SVM对随机训练数据矩阵shuffledData和与其对应的随机标签矩阵shuffledLabel进行二分类训练，得到识别模型svm.model。

Images