CN114170549A - 一种基于深度学习的水面漂浮物检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的水面漂浮物检测方法，涉及水面漂浮物检测技术领域；为了解决无法快速准确的在不同光照环境下识别出漂浮在水面上的漂浮物的问题；具体包括如下步骤：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；选取存在漂浮物的一路RTSP监控视频，通过算法服务器CPU进行图像解码后，送入目标检测模型进行深度学习推理。本发明拍摄不同光照条件下的车流视频，数据中存在部分低光照、模糊、低对比度背景下的漂浮物图像，这样训练出来的模型鲁棒性更好，而使用迁移学习则能有效降低训练数据样本数量、训练成本，并能完成多复杂的漂浮物检测场景。

Description

一种基于深度学习的水面漂浮物检测方法

技术领域

本发明涉及水面漂浮物检测技术领域，尤其涉及一种基于深度学习的水面漂浮物检测方法。

背景技术

随着经济和社会的快速发展，许多饮水水源、城市内河、周边湖泊、水库等水面上出现大量的污染物，水面上的漂浮垃圾一般无法被溶解及自然稀释、且具有分布不均性，水面漂浮物的存在不仅影响了水体观感和城市的生活环境质量，也造成了水体的污染及生态平衡的破坏，甚至威胁到了航运和饮用水的安全。如何快速有效识别水面漂浮物，为水面安全规避、污染物清洁、水面交通安全等领域提供早期预警及实时监控等信息，成为了智能识别、信息化以及传感器领域的重要课题之一，为了能够快速准确的在不同光照环境下识别出漂浮在水面上的漂浮物，我们提出一种基于深度学习的水面漂浮物检测方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于深度学习的水面漂浮物检测方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于深度学习的水面漂浮物检测方法，包括如下步骤：

S1：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；

S2：获取河道监控视频；

S3：通过水域分割算法获取河面检测区域；

S4：将水域分割后的河道监控图像帧传入河道目标检测模型进行漂浮物目标检测；

S5：通过目标检测模型检测监控视频帧中是否具有漂浮物；如是，转至步骤S6,如否，转至步骤S4处理下一帧；

S6：通过深度排序跟踪算法，确定一段时间内连续多帧中重复出现该漂浮物目标；

S7：确定该目标是漂浮物，进行报警并输出河道二值化图像。

进一步的，所述河道目标检测模型通过如下步骤构建得到：

SA1：获取水面存在漂浮物的图像作为训练样本；

SA2：对各图像的漂浮物类型进行标注，所述漂浮物类型包括塑料瓶、塑料袋、树叶、树枝；

SA3：基于YOLOv3架构通过迁移学习对模型进行训练；

SA4：输出模型，得到所述河道目标检测模型。

进一步的，其中获取训练样本的方式为在不同光照条件下拍摄河面、湖面、江面的漂浮物视频，让数据中存在适量低光照、模糊、低对比度背景下的漂浮物图像，在图像标注阶段每类数据标注数量保持平衡。

进一步的，所述深度排序跟踪算法包括如下步骤：

SB1：首先对每一帧中所有目标利用卡尔曼滤波来进行状态估计；

SB2：通过8个参数

分别描述目标检测输出的矩形边界框的中心坐标、边界框长宽比、高度、速度信息；

SB3：将前一帧中该目标矩形边界框和当前帧中的所有目标检测边界框进行匹配选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入，实现跟踪。

进一步的，所述选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入包括：使用马氏距离计算当前帧中目标检测边界框 d_j和前一帧目标跟踪边界框y_i之间的距离，公式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (2)

b_i,j ⁽¹⁾＝[d⁽¹⁾(i,j)≤t⁽¹⁾] (3)

判断当前帧中目标检测边界框d_j和前一帧目标跟踪边界框y_i之间的距离d⁽¹⁾(i,j)是否小于设定距离阈值t⁽¹⁾，如是，判定相似度满足要求，跟踪成功。

进一步的，所述深度排序跟踪算法还包括通过深度神经网络来提取图像高维特征加入对比，公式如下：

d⁽²⁾(i,j)＝min{1-r^T _jr⁽ⁱ⁾ _k|rⁱ _k∈R_i} (4)

本发明的有益效果为：

1.在采集漂浮物图像数据时，拍摄不同光照条件下的车流视频，数据中存在部分低光照、模糊、低对比度背景下的漂浮物图像，这样训练出来的模型鲁棒性更好，在设计完毕训练网络后需要对网络进行微调，在水面真实场景下，例如夕阳水面光照条件会变得较差，漂浮物目标识别任务会变得困难，直接训练模型来解决此问题变得异常艰难，其次，深度学习训练深层网络模型中需要大量的图像数据和离线计算资源，但在实际中难以满足这些需求，而使用迁移学习则能有效降低训练数据样本数量、训练成本，并能完成多复杂的漂浮物检测场景。

2.监控状态检测模块可以检测到摄像头设备的通信连接故障，当检测到故障时，屏幕上便会显示相应的错误码提示用户及时排障，阈值操作模块可以将河道图像进行二值化，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出目标的轮廓。

3.数据增强对于漂浮物检测是非常奏效的方法，原因是漂浮物在水面上通常像素区域较小，而图像是多维数据的组合，像素之间存在很多可变化的条件，其中很多可以被“假”数据模拟。如果神经网络中使用了卷积层或者池化层，对于图像的缩放引起的像素方向平移没有任何影响，反而可以改善泛化效果。

4.采用YOLOv3的图像特征提取方法一般是多尺度训练方法，即三种不同采样方式获得的特征张量做拼接，这样可以更好的获得高层特征、识别水流中更小的漂浮物目标、模型泛化能力更强；通过目标检测模型检测出该帧具有漂浮物，但目标检测是一帧的判定结果，存在一定的误识别可能性，漂浮物跟踪的目的是确定一段时间内连续多帧中重复出现的一个漂浮物目标，结合该结果再对同一漂浮物进行匹配，围绕如何通过连续多帧输出的位置框，来进行漂浮物匹配、跟踪，从而进一步确定该目标是漂浮物。

5.HOG特征的前128维用于对应传统深度排序跟踪算法中神经网络输出的特征维度，基于目标检测方法改进后的深度排序跟踪算法，在保证检测效果的基本相同的情况下，提高跟踪速度来保证漂浮物检测的实时性。

附图说明

图1为本发明提出的一种基于深度学习的水面漂浮物检测方法流程示意图；

图2为本发明提出的一种模型训练停止示意图；

图3为本发明提出的一种目标跟踪流程示意图；

图4为本发明提出的一种水面漂浮物检测系统示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。

实施例1：

一种基于深度学习的水面漂浮物检测方法，如图1所示，包括如下步骤：

S1：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；

S2：获取河道监控视频；

S3：通过水域分割算法获取河面检测区域；

S4：将水域分割后的河道监控图像帧传入河道目标检测模型进行漂浮物目标检测；

S5：通过目标检测模型检测监控视频帧中是否具有漂浮物；如是，转至步骤S6,如否，转至步骤S4处理下一帧；

S6：通过深度排序跟踪算法，确定一段时间内连续多帧中重复出现该漂浮物目标；

S7：确定该目标是漂浮物，进行报警并输出河道二值化图像。

河道目标检测模型通过如下步骤构建得到：

SA1：获取水面存在漂浮物的图像作为训练样本；

其中获取训练样本的方式为在不同光照条件下拍摄河面、湖面、江面的漂浮物视频，让数据中存在适量低光照、模糊、低对比度背景下的漂浮物图像，在图像标注阶段每类数据标注数量保持平衡。

SA2：对各图像的漂浮物类型进行标注，所述漂浮物类型包括塑料瓶、塑料袋、树叶、树枝；

SA3：基于YOLOv3架构通过迁移学习对模型进行训练；

SA4：输出模型，得到所述河道目标检测模型。

在训练之前，设置数据集图片数量为10000张，并且epoch轮数设置为500，batchsize(进行一次iteration(迭代)所训练数据的数量)设置为4(根据GPU计算能力和显存参数调整)在每次的批训练过程中会获得对应的特征张量，在这里采用YOLOv3的图像特征提取方法，一般时是多尺度训练方法，即三种不同采样方式获得的特征张量做拼接，这样可以更好的获得高层特征、识别车流中更小的漂浮物目标、模型泛化能力更强。在训练漂浮物识别模型过程中，训练集的表现越来越好，loss越来越低的同时，测试集的loss在某个时间点开始下降，这个时间点就是提早停止(Early Stopping)的时间点，请参见图2，训练集和测试集loss相交处，用虚线表示了出来此时停止当前轮次迭代，当前模型文件即为最终模型。

所述获取训练样本的方式为在不同光照条件下拍摄河面、湖面、江面的漂浮物视频，让数据中存在适量低光照、模糊、低对比度背景下的漂浮物图像，在图像标注阶段每类数据标注数量保持平衡；首先丰富数据样本大小，图像样本大小是模型最终检测结果的重要指标，如果训练样本过少，则会导致模型过拟合，从而导致训练误差和测试误差之间的差距过大，同时要求每一类图像目标识别率均要达到要求，一旦预测的漂浮物目标分类里面有单个或者多个类别的样本量稀少，就会导致样本类别不平衡，使用不平衡的数据训练出来的模型进行漂浮物目标识别的精度难以保证，甚至预测不出来某一类别，所以在图像标注阶段需注意每类数据数量平衡，在采集漂浮物图像数据时，拍摄不同光照条件下的流视频，数据中存在部分低光照、模糊、低对比度背景下的漂浮物图像，这样训练出来的模型鲁棒性更好；

数据增强对于漂浮物检测是非常奏效的方法，原因是漂浮物在水面上通常像素区域较小，而图像是多维数据的组合，像素之间存在很多可变化的条件，其中很多可以被“假”数据模拟。如果神经网络中使用了卷积层或者池化层，对于图像的缩放引起的像素方向平移没有任何影响，反而可以改善泛化效果。

在设计完毕训练网络后需要对网络进行微调，在水面真实场景下，例如夕阳水面光照条件会变得较差，漂浮物目标识别任务会变得困难，直接训练模型来解决此问题变得异常艰难。其次，深度学习训练深层网络模型中需要大量的图像数据和离线计算资源，但在实际中难以满足这些需求，而使用迁移学习则能有效降低训练数据样本数量、训练成本，并能完成多复杂的漂浮物检测场景。

如图3所示，所述深度排序跟踪算法包括如下步骤：

SB1：首先对每一帧中所有目标利用卡尔曼滤波来进行状态估计；

SB2：通过8个参数

分别描述目标检测输出的矩形边界框中心坐标、边界框长宽比、高度、速度信息；

SB3：F_i-1中所有通过卡尔曼滤波预测的边界框和帧中的所有物体检测边界框进行匹配，再根据帧中合适的目标检测边界框作为下一次卡尔曼滤波输入。

所述深度排序跟踪算法使用匈牙利算法进行指派，让当前帧中目标检测结果与卡尔曼状态估计结果关联，目标的运动信息、外形特征同时关联，使用马氏距离计算当前帧中目标检测边界框d_j和目标跟踪边界框y_i之间的距离，公式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (2)

b_i,j ⁽¹⁾＝[d⁽¹⁾(i,j)≤t⁽¹⁾] (3)

t⁽¹⁾设置为9.4877，公式(3)表示公式(2)的结果小于提前设定的阈值时，则表示关联成功；通过目标检测模型检测出该帧具有漂浮物，但目标检测是一帧的判定结果，存在一定的误识别可能性，漂浮物跟踪的目的是确定一段时间内连续多帧中重复出现的一个漂浮物目标，结合该结果再对同一漂浮物进行匹配，围绕如何通过连续多帧输出的位置框，来进行漂浮物匹配、跟踪，从而进一步确定该目标是漂浮物。

如图4所示，漂浮物检测系统包括用于对图像进行检测处理的图像检测模块、用于对河道监控摄像头进行管理的监控状态检测模块和用于对河道图片进行二值化处理的阈值操作模块，图像检测模块、监控状态检测模块和阈值操作模块相互之间通讯连接；监控状态检测模块可以检测到摄像头设备的通信连接故障，当检测到故障时，屏幕上便会显示相应的错误码提示用户及时排障，阈值操作模块可以将河道图像进行二值化，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出目标的轮廓，在本实施例中，使用硬盘大小为1T、内存16G、CPU为I9的有使用Ubuntu20.04 LTS 操作系统的DELLG3机型作为系统运行硬件环境，使用Opencv作为系统运行支撑环境，用以对图像进行二值化处理，使用硬盘大小为1T、内存8G、CPU为I7的装有使用Ubuntu20.04 LTS操作系统的联想e480 机型作为系统开发硬件环境，开发所用的编程语言为C++。

实施例2：

一种基于深度学习的水面漂浮物检测方法，为了能够更好的处理面对漂浮目标长期互相遮挡导致关联不正确的场景；本实施例在实施例1的基础上作出以下改进：所述深度排序跟踪算法通过深度神经网络来提取图像高维特征加入对比，公式如下：

d⁽²⁾(i,j)＝min{1-r^T _jr⁽ⁱ⁾ _k|rⁱ _k∈R_i} (4)

公式(4)中，对每一个目标求出特征向量，约束条件是||r_i||＝1，然后构建一个跟踪器，来存放这个目标最近p帧成功关联的特征向量，然后计算第i个跟踪目标的容器和当前帧第j个容器里的特征向量的余弦距离，其中r_j是目标检测边框通过一个基于ResNet的深度卷积神经网络提取的多维向量。

所述深度排序跟踪算法将目标检测模型最终输出的目标检测位置区域的图像数据送入公式(4)中，图像调整为30×30大小，初始化提取器后，将提取出的HOG特征的前128维保留；HOG特征的前128 维用于对应传统深度排序跟踪算法中神经网络输出的特征维度，基于目标检测方法提出改进后对传统深度排序跟踪算法进行介绍和实验，然后提出一种改进后的算法，在保证检测效果的基本相同的情况下，提高跟踪速度来保证漂浮物检测的实时性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的水面漂浮物检测方法，其特征在于，包括如下步骤：

S1：初始化漂浮物检测系统后对河道摄像头进行故障检测，系统在无故障状态下，河道摄像头开始实时拍摄河道视频；

S2：获取河道监控视频；

S3：通过水域分割算法获取河面检测区域；

S4：将水域分割后的河道监控图像帧传入河道目标检测模型进行漂浮物目标检测；

S5：通过目标检测模型检测监控视频帧中是否具有漂浮物；如是，转至步骤S6,如否，转至步骤S4处理下一帧；

S6：通过深度排序跟踪算法，确定一段时间内连续多帧中重复出现该漂浮物目标；

S7：确定该目标是漂浮物，进行报警并输出河道二值化图像。

2.根据权利要求1所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述河道目标检测模型通过如下步骤构建得到：

SA1：获取水面存在漂浮物的图像作为训练样本；

SA2：对各图像的漂浮物类型进行标注，所述漂浮物类型包括塑料瓶、塑料袋、树叶、树枝；

SA3：基于YOLOv3架构通过迁移学习对模型进行训练；

SA4：输出模型，得到所述河道目标检测模型。

3.根据权利要求2所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，其中获取训练样本的方式为在不同光照条件下拍摄河面、湖面、江面的漂浮物视频，让数据中存在适量低光照、模糊、低对比度背景下的漂浮物图像，在图像标注阶段每类数据标注数量保持平衡。

4.根据权利要求1-3任一项所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述深度排序跟踪算法包括如下步骤：

SB1：首先对每一帧中所有目标利用卡尔曼滤波来进行状态估计；

SB2：通过8个参数

分别描述目标检测输出的矩形边界框的中心坐标、边界框长宽比、高度、速度信息；

SB3：将前一帧中该目标矩形边界框和当前帧中的所有目标检测边界框进行匹配选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入，实现跟踪。

5.根据权利要求4所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述选择相似度满足要求的目标检测边界框作为下一次卡尔曼滤波输入包括：使用马氏距离计算当前帧中目标检测边界框d_j和前一帧目标跟踪边界框y_i之间的距离，公式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (2)

b_i,j ⁽¹⁾＝[d⁽¹⁾(i,j)≤t⁽¹⁾] (3)

判断当前帧中目标检测边界框d_j和前一帧目标跟踪边界框y_i之间的距离d⁽¹⁾(i,j)是否小于设定距离阈值t⁽¹⁾，如是，判定相似度满足要求，跟踪成功。

6.根据权利要求5所述的一种基于深度学习的水面漂浮物检测方法，其特征在于，所述深度排序跟踪算法还包括通过深度神经网络来提取图像高维特征加入对比，公式如下：

d⁽²⁾(i,j)＝min{1-r^T _jr⁽ⁱ⁾ _k|rⁱ _k∈R_i} (4) 。

Images