CN113343932A - 一种静态摄像头下的河道漂浮物检测算法 - Google Patents

Abstract

本发明公开了一种静态摄像头下的河道漂浮物检测算法，目的是解决检测河道漂浮类污染物的难题。技术方案是基于计算机视觉的前后背景减除思想，利用Opencv等计算机软件工具计算视频帧的平均视频帧，然后将视频帧和平均视频帧进行差值计算，对差值结果进行分析，进行轮廓运算，得到包围轮廓的最小矩形，并返回最小矩形的属性信息，根据属性信息对河道漂浮物进行判定。采用本发明可实现对视频中的河道漂浮类污染物进行检测，实现较高的检测精度和较快的检测速度。并且该发明对算力要求较低，可以实现广泛的部署。

Description

一种静态摄像头下的河道漂浮物检测算法

技术领域

本发明属于计算机视觉领域，涉及河道漂浮物检测算法，尤其指一种静态摄像头下的河道漂浮物检测算法。

背景技术

河道污染是一种非常严重的环境污染，作为河道污染的一种主要污染源，河道漂浮物的存在严重地污染了河湖水质，也破坏了环境的美观。河道漂浮物主要包括了生活垃圾，工厂废物，以及爆发生长的藻类植物等。目前主要的解决方法是在河道的进水口或是出水口处，采用人工控制打捞设备的方式对漂浮物进行处理，然而由于人眼的局限性，在环境可见度不是很高或者水流速度较快的情况下，人眼并不能准确地检测和识别具有污染性质的河道漂浮物。因此，加入自动检测和识别河道漂浮物的装置，在减少人力成本的同时，能够极大的提高河道漂浮物的清理能力。

近年来，以卷积神经网络为代表的深度学习方法已经开始应用到了河道漂浮物检测中，取得了不错的效果。然而现有的基于深度学习的河道漂浮物检测模型在实用性上还有一些问题，不能很好地契合对实时性要求高的河道漂浮物检测任务。

发明内容

立足于上述背景，本专利进行了相关研究，提出了一种静态摄像头下的河道漂浮物检测算法，通过对静态摄像头拍摄视频的研究，利用Opencv等计算机软件工具计算视频帧的平均视频帧，然后将视频帧和平均视频帧进行差值计算，对差值结果进行分析，进行轮廓运算，得到包围轮廓的最小矩形，并返回最小矩形的属性信息，根据属性信息对河道漂浮物进行判定。

采用本发明可实现对视频中的河道漂浮类污染物进行检测，有两大优势：

1）检测精度高：对复杂场景下的河道漂浮物监控视频，可以超过人工检测，实现精确的河道漂浮物检测；

2）检测速度快：利用计算机程序对监控视频的河道漂浮物进行分析、运算，可以得到很快的检测速度；

3）易于部署：本发明无需很大的算力，可以在小算力平台上实现实时性，因此方便大规模部署。

附图说明：

图1为本发明流程图；

图2为本发明检测示例图。

具体实施方式

下面通过结合附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更加清楚明确。

本发明提出一种静态摄像头下的河道漂浮物检测算法，如图1所示，所述方法步骤如下：

步骤1：对摄像头所拍摄的有关河道漂浮物的监控视频进行分析，以之作为研究对象，对一段时间的视频帧进行分析，求出该视频在该时间段内的视频帧各像素平均值，记为平均视频帧；

步骤2：人工观察视频帧，对视频帧中漂浮物集中的区域进行人工判定，然后在步骤1得到的平均视频帧中对观察到的漂浮物集中的区域进行处理：对漂浮物集中的区域进行画框标定；

步骤3：在步骤1中的平均视频帧中利用Opencv工具对步骤2观察到的漂浮物集中区域进行闭合曲线的画、连接操作，形成多边形，并且对多边形进行颜色填充；

步骤4：复制步骤1中的平均视频帧图片，并将该图输出，同时显示步骤3中的闭合曲线，一并输出到屏幕；

步骤5：如果发现闭合曲线不能很好的覆盖漂浮物，对该区域进行重新操作，即重新执行步骤4；

步骤6：将指定摄像头在特定时间段的拍摄的视频每一帧作为研究对象，依次对其进行提取，并保留视频帧的宽、高信息，对视频中的视频帧进行复制操作。将视频帧与平均视频帧作为研究对象，计算二者的差值，获得差分图，将差分图转化为灰度图。再以灰度图作为研究对象，利用Opencv工具进行阈值处理，设置像素阈值的上下限，生成在像素阈值范围内的二值图像。对该图像依然画出闭合曲线，进行颜色填充；

步骤7：对步骤6中生成的二值图像，以之作为研究对象，利用Opencv工具进行轮廓检测；

步骤8：计算步骤6得到的多边形的面积；

步骤9：对生成的轮廓及逆行分析，计算轮廓的一些属性：周长。生成包围轮廓的最小矩形，返回最小矩形的属性，并根据这些属性进行河道漂浮物的判定，最后检测结果示例如图2所示。

具体实施：

步骤1）对摄像头所拍摄的有关河道漂浮物的监控视频进行分析，以之作为研究对象，提取指定摄像头下的某一时间区间内的监控视频，求出该视频在该时间段内的视频帧各像素平均值，记为平均视频帧：将监控视频的第n帧的记为f_n，对该时间区间的所有视频帧像素值求平均得到平均帧f_avg：

步骤2）人工观察视频帧，对视频帧中漂浮物集中的区域进行人工判定，然后在步骤1得到的平均视频f_avg中对观察到的漂浮物集中的区域进行处理。观察视频帧，对河道漂浮物集中的区域用闭合的曲线段(多边形)进行框定：在f_avg上描点，用线段将点连接起来形成闭合曲线，并将曲线结果保存为.npy格式；

步骤3）在步骤1中的平均视频帧f_avg中利用Opencv工具对步骤2观察到的漂浮物集中区域进行闭合曲线的画、连接操作，形成多边形，并且对多边形进行颜色填充；

步骤4）复制步骤1中的平均视频帧f_avg，并将该图输出，同时显示步骤3中的闭合曲线，一并输出到屏幕；

步骤5）如果发现闭合曲线不能很好的覆盖漂浮物，对该区域进行重新操作，即重新执行步骤4，知道满足需求；

步骤6）将指定摄像头在特定时间段的拍摄的视频每一帧作为研究对象，依次对其进行提取，并保留视频帧的宽、高信息，对视频中的视频帧进行复制操作。将视频帧f_i与平均视频帧f_avg作为研究对象，计算二者的差值（ f_i-f_avg），获得差分图，将差分图转化为灰度图；再对灰度图进行阈值处理，当灰度图中像素低于72时，将像素置0，像素大于72时，将像素置为255，然后返回处理之后的灰度图片binary；对binary，也画出画出闭合曲线段(多边形)，并对多边形进行颜色填充得到mask。对 binary和mask进行每个像素值的“与”操作，得到新的binary，记为f_bin；

步骤7）对步骤6中生成的f_bin图像，以之作为研究对象，利用Opencv工具进行轮廓 检测：用椭圆形5*5的核进行先膨胀，后腐蚀操作，得到

。再对

进行轮廓检测，返回 检测到的轮廓；

步骤8）计算步骤6得到的多边形的面积，记为S_area；

步骤9）对生成的轮廓及逆行分析，计算第i个轮廓的周长cⁱ。计算出能包围该轮廓的最小矩形，返回四个值，分别是x，y，w，h；x，y是矩阵左上点的坐标，w，h是矩形的宽和高。如果第i个漂浮物周长cⁱ大于10，并且w*h大于S_area /5000，认定该物体为一个漂浮物。最后检测结果示例如图2所示。

实施例

1.数据集

数据集采用私有的河道漂浮物的监控视频数据集，含视频1000段，每段时长15s左右，帧率为30。由于本发明不区分训练集和测试集，故将可直接对所有的视频序列进行测试。

2. 性能评测准则

为了进行算法性能的评测以及与其他方法的对比，本发明选取在目标检测中被广泛使用的评测方法：基于IOU(交并比)计算出的Accuracy（准确率）和F1-Score（F1分数）；

首先介绍IOU的计算过程。IOU是检测结果的矩形框与样本标注的矩形框的交集与并集的比值；

其次，根据样本的位置可以判断其是正例还是反例，对所有样本的正反例评判有如下四种情况：

a) True Positive（TP）：正确的正例，也就是正例样本被分类器正确的判定为正例样本；

b) False Positive（FP）：错误的正例，也就是反例样本被分类器错误的判定为正例样本；

c) True Negative（TN）：正确的反例，也就是反例样本被分类器正确的判定为反例样本；

d) False Negative（FN）：错误的反例，也就是正例样本被分类器错误的判定为反例样本。本发明中只把与标注框的IOU大于0.5的检测框定义为正确预测，即TP；

有了上述IOU和TP、FP、TN、FN四个定义之后，Accuracy和F1-Score可以用如下公式计算：

实验中还报告了检测的速率，即一秒钟可以检测多少张图片，即为帧率，记为FPS。

3.结果与分析

本发明使用笔记本电脑作为计算平台，其CPU型号为i7-7700HQ，GPU为1050Ti。在该数据集上测试后得到的结果见表1：

表1 各方法测试性能

方法	计算平台	Accuracy	F1-Score	FPS
					方案一	CPU	30.50%	0.27	19
方案二	CPU	49.60%	0.37	26
					方案三	CPU	55.80%	0.46	32
方案四	GPU	74.90%	0.55	8
					本发明	CPU	75.70%	0.58	56

方案一、二、三和四均可用于视频的睡眠漂浮物检测：

其中方案一在文献“左建军,吴有富.水面漂浮物智能监控技术[J].软件导刊,2013,12(4):150-152.”中提出；

其中方案二在文献“许静波.水面漂浮物监测及估算系统开发与建设[J].江苏水利,2018(8):51-58.”中提出；

其中方案三在文献“祝 典,廖 敏,刘新顺,等.一种新型水域漂浮物收集监测系统[J].现代电子技术,2019,42(5):27-31.”中提出；

其中方案四在文献“雷李义,艾矫燕,彭 婧,等.基于深度学习的水面漂浮物目标检测评估[J].环境与发展,2019,31(6):117-120.”中提出。

表1中，对于使用CPU的方案一、二和三，均是直接在1000段视频上进行检测，无需训练过程。而对于方案四，其使用了基于深度学习的目标检测方法，故本实验中划分了500段视频作为训练集，剩余的500段作为测试集，用以计算Accuracy和F1-Score。为了公平起见，方案四的FPS在CPU上计算。

表1中，本发明能够大幅的超过现有的基于CPU的河道漂浮物检测算法。对比方案三，其Accuracy和F1-Score分别为55.8%和0.46，本发明能够达到75.7%和0.58，大幅度地提高了检测精度。同时帧率能够达到56，完全能够满足实时性的要求。对比方案四，尽管其使用了基于深度学习的方案，但是Accuracy和F1-Score仍略低于本发明，同时其FPS大幅度低于本发明，且因其对算力的要求不适合大模型的部署。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (7)

1.一种静态摄像头下的河道漂浮物检测算法，所述方法包括：

步骤1：对摄像头所拍摄的有关河道漂浮物的监控视频进行分析，以之作为研究对象，对一段时间的视频帧进行分析，求出该视频在该时间段内的视频帧各像素平均值，记为平均视频帧；

步骤2：人工观察视频帧，对视频帧中漂浮物集中的区域进行人工判定，然后在步骤1得到的平均视频帧中对观察到的漂浮物集中的区域进行处理：对漂浮物集中的区域进行画框标定；

步骤3：在步骤1中的平均视频帧中利用Opencv工具对步骤2观察到的漂浮物集中区域进行闭合曲线的画、连接操作，形成多边形，并且对多边形进行颜色填充；

步骤4：复制步骤1中的平均视频帧图片，并将该图输出，同时显示步骤3中的闭合曲线，一并输出到屏幕；

步骤5：如果发现闭合曲线不能很好的覆盖漂浮物，对该区域进行重新操作，即重新执行步骤4；

步骤6：将指定摄像头在特定时间段的拍摄的视频每一帧作为研究对象，依次对其进行提取，并保留视频帧的宽、高信息，对视频中的视频帧进行复制操作；将视频帧与平均视频帧作为研究对象，计算二者的差值，获得差分图，将差分图转化为灰度图；再以灰度图作为研究对象，利用Opencv工具进行阈值处理，设置像素阈值的上下限，生成在像素阈值范围内的二值图像，对该图像依然画出闭合曲线，进行颜色填充。

2.步骤7：对步骤6中生成的二值图像，以之作为研究对象，利用Opencv工具进行轮廓检测；

步骤8：计算步骤6得到的多边形的面积；

步骤9：对生成的轮廓及逆行分析，计算轮廓的一些属性：周长；生成包围轮廓的最小矩形，返回最小矩形的属性，并根据这些属性进行河道漂浮物的判定。

3.根据权利要求1所述的方法，其特征在于，步骤1中，提取指定摄像头下的某一时间区 间内的监控视频，将监控视频的第

帧的记为

, 对该时间区间的所有视频帧像素值求平 均得到平均帧

：

根据权利要求1所述的方法，其特征在于，步骤2中，观察视频帧，对河道漂浮物集中的 区域用闭合的曲线段(多边形)进行框定：在

上描点，用线段将点连接起来形成闭合曲 线，并将曲线结果保存为.npy格式。

4.根据权利要求1所述的方法，其特征在于，步骤6中，对该指定时间段的监控视频每一 帧进行提取，并得到每一帧的宽和高，并进行复制；将视频的每一帧和

做差获得差分 图，并将差分图转化为灰度图；对灰度图进行阈值处理，当灰度图中像素低于72时，将像素 置0，像素大于72时，将像素置为255，然后返回处理之后的图片

；对

,也画 出画出闭合曲线段(多边形)，并对多边形进行颜色填充得到

；对

和

进 行每个像素值的“与”操作，得到新的

，记为

。

5.根据权利要求1所述的方法，其特征在于，步骤7中，对步骤6中的图像

进行轮廓检 测，用椭圆形

的核进行先膨胀，后腐蚀操作，得到

，再对

进行轮廓检测，返回检 测到的轮廓。

6.根据权利要求1所述的方法，其特征在于，步骤8中，对步骤6中得到的多边形计算相 应的面积，记为

。

7.根据权利要求1所述的方法，其特征在于，步骤9中，计算第

个轮廓的周长

；计算出 能包围该轮廓的最小矩形，返回四个值，分别是

，

，

，

；

，

是矩阵左上点的坐标，

，

是矩形的宽和高；如果第

个漂浮物周长

大于10，并且

大于

，认定 该物体为一个漂浮物。

Images