CN109033934A - 一种基于YOLOv2网络的水上漂浮物检测方法 - Google Patents

Abstract

本发明涉及计算机视觉、机器学习领域，具体涉及一种基于YOLOv2网络的水上漂浮物检测方法，步骤如下：步骤1，采集数据；步骤2，数据增强；对数据集A进行数据增强。步骤3，标记图片；将数据集B中的水上漂浮物区域用矩形框进行标记，步骤4，训练模块；将数据集B分成三部分的目的是能够选出效果最好的、泛化能力最佳的权重模型。步骤5，检测模块；利用训练好的权重模型对监控的河道或湖泊视频进行检测。本发明的有益效果是取代了传统的基于人工的检测方法，节省了人力和物力，还对河道或湖泊的污染程度进行判断。本发明随机将数据集分为训练集、测试集、验证集，通过数据增强的方法扩充了样本，防止图像样本过少导致的过拟合问题。

Description

一种基于YOLOv2网络的水上漂浮物检测方法

技术领域

本发明涉及计算机视觉、机器学习领域，具体涉及一种基于YOLOv2网络的水上漂浮物检测方法。

背景技术

我国淡水资源不断减少，而且污染现象较为严重。在湖泊、河道等水面上出现大量漂浮物，这些漂浮物含有大量对人体有害的物质。因此，为了人类的可持续发展，必须解决水污染问题。虽然目前在有些场景中使用了摄像机对水面进行监控，但是仍然需要有人对监控画面进行看守，这样不仅耗时费力，而且也无法保证准确、实时地对漂浮物做出反应。

为了满足实际应用的需要，针对目前水上漂浮物检测出现的各种不足，需要研究对漂浮物的智能化检测，在深度学习的应用领域不断扩大的基础上，使对漂浮物实时监控和实现智能化、自动化、无人化的检测成为可能，因而可基于YOLOv2网络设计一种水上漂浮物检测方法。

发明内容

本发明基于YOLOv2网络，对河道或湖泊上的漂浮物进行实时检测，可以实现对水上漂浮物的实时监控，得到漂浮物的坐标信息、类别以及个数。并根据漂浮物的个数判断该河道或湖泊的污染程度，有助于解决水污染的问题。

一种基于YOLOv2网络的水上漂浮物检测的方法，步骤如下：

步骤1：采集数据；

通过摄像机采集河道或湖泊的视频，从中截取画面中包含水上漂浮物的图片，生成图片库A。利用相机对河道或湖泊上漂浮有漂浮物的图片进行采集，生成图片库B。得到用于训练YOLOv2网络的数据集A，数据集A包括图片库A和图片库B。

步骤2：数据增强；

对数据集A进行数据增强，通过增加数据集A中图片的个数，提高识别性能和泛化能力。

通过数据增强生成图片库C，图片库C不包含图片库A和图片库B；图片库A、图库B和图库C构成数据集B。

所述的数据增强包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。数据增强使数据集中包括同一张图片在不同角度、不同尺度的各种数据，增加了数据集中图片的个数。通过扩充数据集，可以防止图像样本过少导致的过拟合问题。

步骤3：标记图片；

将数据集B中的水上漂浮物区域用矩形框进行标记，得到矩形框的坐标信息和矩形框中所包含漂浮物的种类的数据集D。

所述的矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。

步骤4：训练获得最优权重模型；

将整个数据集B随机的分为三部分训练集Q1、验证集Q2和测试集Q3。将数据集B分成三部分的目的是能够选出效果最好的、泛化能力最佳的权重模型，同时可以防止生成的权重模型的过拟合。训练模块可以分为三步：

4.1训练集Q1用于YOLOv2网络的训练，将训练集Q1以及步骤3中生成的数据集D送入到YOLOv2网络中进行训练得到多个权重模型。

4.2验证集Q2的作用是用来调整模型参数。当训练集Q1训练出多个权重模型后，为了能找出效果最佳的权重模型，使用各个权重模型对验证集Q2进行预测，并记录权重模型的准确率。选出准确率最大的权重模型所对应的参数，用该参数生成最优权重模型。

4.3通过训练集Q1和验证集Q2得出最优权重模型后，使用测试集Q3进行最优权重模型的预测，获得最优权重模型用于检测模块的水上漂浮物的检测。

步骤5：实时检测水上漂浮物；

将视频监控设备与计算机连接起来，利用步骤4中训练好的权重模型对监控的河道或湖泊视频进行检测，实时检测待测水面上是否有漂浮物，最后将视频画面中的水上漂浮物用矩形框标出并在计算机上显示。随着漂浮物的移动，矩形框会相应的跟着移动。同时计算机上输出被检测到的漂浮物的坐标信息、类别以及个数。

进一步的，本发明可以根据被检测到的漂浮物的个数，实现对待检测的河道或湖泊的污染程度进行判断。对河道或湖泊的污染程度分为五个等级，分别为好、较好、轻度污染、中度污染和重度污染。当待检测的河道或湖泊视频中，漂浮物的个数为0个时，计算机上显示该水质情况为好；当待检测的视频中，漂浮物的个数为1～2个时，计算机上显示该水质情况为较好；当待检测的视频中，漂浮物的个数为3～4个时，计算机上显示该水质情况为轻度污染；当待检测视频中，漂浮物的个数为5～6个时，计算机上显示该水质情况为中度污染；当待检测的视频中，漂浮物的个数超过6个时，计算机上显示该水质情况为重度污染。

进一步的，第4步中，设置训练集Q1占数据集B的70％；验证集Q2占数据集B的15％；测试集Q3占数据集B的15％。

与现有技术相比，本发明的有益效果是：

(1)本发明采用基于YOLOv2实时检测水上漂浮物，从而取代了传统的基于人工的检测方法，节省了人力和物力，除此以外，本发明还对河道或湖泊的污染程度进行判断。并且YOLOv2的实时性和准确度能满足视频监控系统实时处理的要求。

(2)本发明随机将数据集分为训练集、测试集、验证集，且一定程度通过数据增强的方法扩充了样本，防止图像样本过少导致的过拟合问题。

(3)本发明采用基于YOLO实时检测水上漂浮物，在光照、天气变化等因素的影响下，能排除外界因素对水上漂浮物检测的干扰，从而提高了检测算法的准确度。

附图说明

图1是本发明的工作流程框架示意图。

图2是本发明提供的YOLOv2网络的工作原理示意图。

具体实施方式

本发明实现的是基于YOLOv2网络的水上漂浮物的检测方法，主要包括采集数据、数据增强、标记图片、训练模块和检测模块五个部分。

为了更好地理解基于YOLOv2网络的水上漂浮物的检测方法，先对YOLOv2网络的工作原理进行说明，如图2所示：

YOLOv2网络结构中包含19个卷积层和5个最大池化层。该网络引入了Faster RCNN中anchor box的思想，对网络结构的设计进行了改进，输出层使用卷积层替代YOLO的全连接层，联合使用coco物体检测标注数据和imagenet物体分类标注数据训练物体检测模型。

与RCNN系列方法不同，RCNN均需要生成建议框，在建议框上进行分类与回归，但建议框之间有重叠，这会带来很多重复工作。YOLOv2是将输入图像划分成S×S的方格，每个单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为Pr(object)，当该边界框是背景时(即不包含目标)，此时Pr(object)＝0。而当该边界框包含目标时，Pr(object)＝1。边界框的准确度可以用预测框与实际框(ground truth)的IOU(intersection over union，交并比)来表征，记为IOU。因此置信度可以定义为Pr(object)*IOU。预测框的准确度也反映在置信度里。边界框的大小与位置可以用4个值来表征：(x,y,h,w)，其中(x,y)是边界框的中心坐标，而和是边界框的宽与高。中心坐标的预测值(x,y)是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的。而边界框的w和h预测值是相对于整个图片的宽与高的比例。因此，每个边界框的预测值实际上包含5个元素：(x,y,w,h,c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度。

YOLOv2把类别概率预测值与边界框绑定在一起。同时，可以计算出各个边界框类别置信度(class specific confidence scores)：

其中，边界框类别置信度表示的是该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏。

在前述基于YOLOv2网络的水上漂浮物检测方法的具体实施中，主要包括以下几个部分。

1，采集数据；

对于YOLOv2算法，其属于深度学习的一种，需要对需要的图片进行训练，生成权重模型后，再对真实场景中的视频或者图片进行实时检测。因此实现检测的第一步就是要采集数据。本发明通过采集真实河道、湖泊的视频，从中截取图片，同时采集水上漂浮物的图片。

步骤2，数据增强；

深度学习中，只有大量的数据集才能保证检测结果的准确性。同一物体，在不同的背景和不同的角度下观察，得到的图像可能完全不同，计算机可能无法正确识别这些图像，因此为了增加训练集中图片的个数，我们可以采用数据增强的方法来实现。数据扩充主要包括旋转或反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换。这种方法可以使数据集中包括同一张图片在不同角度、不同尺度的各种数据。通过扩充了训练样本,可以防止图像样本过少导致的过拟合问题。

步骤3，标记图片；

将采集到的图片及数据增强后得到的图中的水上漂浮物用矩形框进行标注，获取矩形框的坐标与矩形框所包含漂浮物的种类，同时获取漂浮物在图像上的坐标信息(x,y,w,h)。具体是获取每个矩形框的五个参数，包括：矩形框的中心点坐标(所述中心点坐标为二维坐标)，矩形框的宽度与高度，以及矩形框所包含漂浮物的种类)。

步骤4：训练获得最优权重模型；

将全部的水上漂浮物的图片及数据增强后得到的图像、以及标记图片后生成的文本文件作为数据集，根据生成的数据集对YOLOv2网络进行训练，本发明中，数据集包括三部分，第一部分是训练集，占整个数据集的70％，用于YOLOv2网络的训练；第二部分是验证集，占整个数据集的15％，用于YOLOv2网络超参数的调整；第三部分是测试集，占整个数据集的15％，用于对YOLOv2网络性能的衡量。

步骤5：实时检测水上漂浮物；

利用训练好的YOLOv2网络对真实场景中的水上漂浮物进行检测，实时检测待测水面上是否有漂浮物，在检测的过程中，通过修改其中的阈值，防止过多框被识别出。最后输出被检测到的漂浮物的坐标信息、类别以及每类漂浮物的准确率。被发明中提供的基于YOLOv2网络的水上漂浮物检测方法，能够准确且快速的检测出水面上的漂浮物，并且具有较高的准确率。将视频监控设备与计算机连接起来，用预先训练好的YOLOv2网络来实现对视频的实时处理，最后将视频画面中的水上漂浮物用矩形框标出并输出。随着漂浮物是的移动，矩形框会相应的跟着移动。

Claims (5)

1.一种基于YOLOv2网络的水上漂浮物检测的方法，其特征在于，步骤如下：

步骤1：采集数据；

通过摄像机采集河道或湖泊的视频，从中截取画面中包含水上漂浮物的图片，生成图片库A；利用相机对河道或湖泊上漂浮有漂浮物的图片进行采集，生成图片库B；得到用于训练YOLOv2网络的数据集A，数据集A包括图片库A和图片库B；

步骤2：数据增强；

对数据集A进行数据增强，通过数据增强生成图片库C，图片库C不包含图片库A和图片库B；图片库A、图库B和图库C构成数据集B；

所述的数据增强包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换；

步骤3：标记图片；

将数据集B中的水上漂浮物区域用矩形框进行标记，得到数据集D，数据集D包含矩形框的坐标信息和矩形框中所包含漂浮物的种类信息；

步骤4：训练获得最优权重模型；

将整个数据集B随机的分为三部分训练集Q1、验证集Q2和测试集Q3；

4.1训练集Q1用于YOLOv2网络的训练，将训练集Q1以及步骤3中生成的数据集D送入到YOLOv2网络中进行训练得到多个权重模型；

4.2验证集Q2用于调整模型参数；多个权重模型分别对验证集Q2进行预测，并记录权重模型的准确率；选出准确率最大的权重模型所对应的参数，用该参数生成最优权重模型；

4.3使用测试集Q3进行最优权重模型的预测，获得最优权重模型用于检测模块的水上漂浮物的检测；

步骤5：实时检测水上漂浮物；

将视频监控设备与计算机连接起来，利用步骤4中训练好的最优权重模型对监控的河道或湖泊视频进行检测，实时检测待测水面上是否有漂浮物，将视频画面中的水上漂浮物用矩形框标出并在计算机上显示；随着漂浮物的移动，矩形框会相应的跟着移动；同时计算机上输出被检测到的漂浮物的坐标信息、类别以及个数。

2.如权利要求1所述漂浮物检测的方法，其特征在于，在第5步中，根据计算机上输出的信息对河道或湖泊的污染程度分为五个等级，分别为好、较好、轻度污染、中度污染和重度污染；当待检测的河道或湖泊视频中，漂浮物的个数为0个时，计算机上显示该水质情况为好；当待检测的视频中，漂浮物的个数为1～2个时，计算机上显示该水质情况为较好；当待检测的视频中，漂浮物的个数为3～4个时，计算机上显示该水质情况为轻度污染；当待检测视频中，漂浮物的个数为5～6个时，计算机上显示该水质情况为中度污染；当待检测的视频中，漂浮物的个数超过6个时，计算机上显示该水质情况为重度污染。

3.如权利要求1或2所述漂浮物检测的方法，其特征在于，所述的矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。

4.如权利要求1或2所述漂浮物检测的方法，其特征在于，在第4步中，设置训练集Q1占数据集B的70％；验证集Q2占数据集B的15％；测试集Q3占数据集B的15％。

5.如权利要求3所述漂浮物检测的方法，其特征在于，在第4步中，设置训练集Q1占数据集B的70％；验证集Q2占数据集B的15％；测试集Q3占数据集B的15％。