CN109636758A - 一种基于时空动态算子的水面漂浮物检测方法 - Google Patents

Abstract

本发明涉及一种基于时空动态算子的水面漂浮物检测方法。利用水体波动不同于漂浮物漂浮呈现出的规律性、周期性，分别提取水体和漂浮物在时间上的频域变化信号和在空间上的局部二值特征，训练识别漂浮物和水体的随机森林分类器，而后基于随机森林分类器检测水面上的漂浮物。本发明能够智能区分漂浮物和水体，节省了大量的人力物力资源。

Description

一种基于时空动态算子的水面漂浮物检测方法

技术领域

本发明属于水利、环保领域，视频图像处理领域，具体涉及一种基于时空动态算子的水面漂浮物检测方法。

背景技术

近年来，我国城镇化、工业化的速度越来越快，经济迅猛发展的同时水环境污染问题也不容乐观。江河湖泊均存在大量漂浮物，不仅破坏了自然生态景观，也严重威胁着人类的生命健康和经济的可持续发展，因此，如何有效地监测河湖漂浮物的研究具有重要的现实意义。现今的实际应用场景中大多依靠人工辅助工作，一是安排专员对河道进行定期巡视，二是通过在河道架设监控设备，安排人员在终端值守，三是通过公众的反馈来获取漂浮物的信息，进而安排打捞工作。这种方案需要耗费大量的人力物力资源，且无法实现实时监测，容易漏报。基于视频图像检测技术的水面漂浮物智能检测技术通过江河岸已有监控摄像头，实现对水面的智能化监控，在无需人为干预的情况下对监控的水面场景进行自动分析，快速准确地检测水面是否存在漂浮物，并自动取证，可为防汛、河长制、水源地以及水库的保护等业务提供强有力的技术支撑。

现有的基于视频图像的水面漂浮物检测技术主要针对遥感影像，通过提取遥感影像的光谱特征、空间特征、纹理特征，分析检测是否存在漂浮物。由于遥感影像视野通常较远，所以难以检测城市河道中较小面积的漂浮物，同时由于生成遥感影像对成像设备有要求，采集大量存在漂浮物的遥感图像数据集具有一定难度，不利于在现实应用中推广。而传统的图像分割技术由于水面存在倒影，光照变化等因素分割效果很不理想，大量的水面倒影无法正确分割。

针对以上问题，本文提出基于一种时空动态算子的水面漂浮物检测方法，利用已架设的监控摄像头拍摄的普通视频图像，根据水无常形，而漂浮物具有一定的刚性的特性，提取漂浮物和水面在时间上不同的变换特征，并融合局部空间二值特征，智能区分漂浮物和水体，节省了大量的人力物力资源。

发明内容

本发明的目的在于提供一种基于时空动态算子的水面漂浮物检测方法，能够智能区分漂浮物和水体，节省了大量的人力物力资源。

为实现上述目的，本发明的技术方案是：一种基于时空动态算子的水面漂浮物检测方法，利用水体波动不同于漂浮物漂浮呈现出的规律性、周期性，分别提取水体和漂浮物在时间上的频域变化信号和在空间上的局部二值特征，训练识别漂浮物和水体的随机森林分类器，而后基于随机森林分类器检测水面上的漂浮物。

在本发明一实施例中，所述训练漂浮物和水体的随机森林分类器的具体实现过程如下：

步骤S1、标定出存在漂浮物的矩形区域box_dst，利用TLD目标跟踪技术跟踪该目标区域，提取该目标区域在时间维度M上的图像序列Box{box₁,box₂,box₃,…,box_m}；

步骤S2、以标定的目标区域作为漂浮物的常量模型box_dst，对目标区域及运动范围以外的位置随机选取预定大小的水面区域，作为该水面区域的常量模型box_dst，计算后续帧基于常量模型的变化I，以去除颜色、光照、倒影等因素的影响；

I_i＝box_i-box_dst,i∈[1,m]

步骤S3、求每一帧变化的均值，去除噪音的干扰，在时间维度M上构成一组变化信号Iavg，水体区域会比漂浮物区域显示出更多的正弦波的图案；

步骤S4、对变化信号Iavg做傅里叶变换，将信号的变化从时间域转换到频域上，生成M维的时间算子Fdst；

步骤S5、为保证幅值的不变性，对傅里叶变换后的信号Fdst_j进行规范化处理：

步骤S6、由于自然界水无常形且纹理较弱，而漂浮物具有相对较强的纹理，所以对每个区域提取局部其二值特征L_i用于描述空间表现：

步骤S7、计算每个像素点的LBP值，建立当前帧的局部二值特征直方图

步骤S8、对时间维度M的直方图进行统计，生成最终的空间描述算子H(k)

步骤S9、融合漂浮物和水体的时间描述算子Fdst_j和空间描述算子H(k)生成特征，使用随机森林根据以上特征训练识别漂浮物和水体的二分分类器。

在本发明一实施例中，所述基于随机森林分类器检测水面上的漂浮物的具体实现过程如下：

步骤S10、对输入视频帧图像进行高斯滤波，利用分水岭算法对图像进行分割，然后形态学腐蚀操作去除噪声点，提取灰度值相近的前景像素构成的连通区域作为目标候选框box_dst；

步骤S11、使用与训练阶段相同的特征提取方法生成侯选目标框box_dst的时间和空间特征；

步骤S13、使用训练好的基于随机森林分类器对目标框box_dst的特征进行分类，分类结果是漂浮物的画出矩形框，并使用TLD算法继续跟踪，否则，不再跟踪。

相较于现有技术，本发明具有以下有益效果：

(1)适用于普通视频图像，便于采集训练数据集，对成像设备没有特殊的限制，利于在现实中推广应用；

(2)能够检测生活河道中存在的小面积漂浮物，更适用于防汛、河长制等水情工作；

(3)提取目标的时空动态算子，相较于对单幅图像的检测，有效利用了水体和漂浮在时间轴上呈现的不同类型的变化特征，并融合其空间特征，提高了检测的准确率。

附图说明

图1为本发明方法流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于时空动态算子的水面漂浮物检测方法，利用水体波动不同于漂浮物漂浮呈现出的规律性、周期性，分别提取水体和漂浮物在时间上的频域变化信号和在空间上的局部二值特征，训练识别漂浮物和水体的随机森林分类器，而后基于随机森林分类器检测水面上的漂浮物。

所述训练漂浮物和水体的随机森林分类器的具体实现过程如下：

步骤S1、标定出存在漂浮物的矩形区域box_dst，利用TLD目标跟踪技术跟踪该目标区域，提取该目标区域在时间维度M上的图像序列Box{box₁,box₂,box₃,…,box_m}；

步骤S2、以标定的目标区域作为漂浮物的常量模型box_dst，对目标区域及运动范围以外的位置随机选取预定大小的水面区域，作为该水面区域的常量模型box_dst，计算后续帧基于常量模型的变化I，以去除颜色、光照、倒影等因素的影响；

I_i＝box_i-box_dst,i∈[1,m]

步骤S3、求每一帧变化的均值，去除噪音的干扰，在时间维度M上构成一组变化信号Iavg，水体区域会比漂浮物区域显示出更多的正弦波的图案；

步骤S4、对变化信号Iavg做傅里叶变换，将信号的变化从时间域转换到频域上，生成M维的时间算子Fdst；

步骤S5、为保证幅值的不变性，对傅里叶变换后的信号Fdst_j进行规范化处理：

步骤S6、由于自然界水无常形且纹理较弱，而漂浮物具有相对较强的纹理，所以对每个区域提取局部其二值特征L_i用于描述空间表现：

步骤S7、计算每个像素点的LBP值，建立当前帧的局部二值特征直方图

步骤S8、对时间维度M的直方图进行统计，生成最终的空间描述算子H(k)

步骤S9、融合漂浮物和水体的时间描述算子Fdst_j和空间描述算子H(k)生成特征，使用随机森林根据以上特征训练识别漂浮物和水体的二分分类器。

所述基于随机森林分类器检测水面上的漂浮物的具体实现过程如下：

步骤S10、对输入视频帧图像进行高斯滤波，利用分水岭算法对图像进行分割，然后形态学腐蚀操作去除噪声点，提取灰度值相近的前景像素构成的连通区域作为目标候选框box_dst；

步骤S11、使用与训练阶段相同的特征提取方法生成侯选目标框box_dst的时间和空间特征；

步骤S13、使用训练好的基于随机森林分类器对目标框box_dst的特征进行分类，分类结果是漂浮物的画出矩形框，并使用TLD算法继续跟踪，否则，不再跟踪。

以下为本发明的具体实现过程。

本发明提出的基于视频图像检测技术的水面漂浮物检测方法包含训练和检测两个部分，整体流程如图1所示：

训练阶段：

(1)首先标定出存在漂浮物的矩形区域box_dst，利用TLD(TrackingLearningDetection)目标跟踪技术跟踪该目标区域，提取该目标区域在时间维度M上(即视频帧数为M)的图像序列Box{box₁,box₂,box₃,…,box_m}。

(2)以标定的目标区域作为该漂浮物的常量模型box_dst，对目标区域及运动范围以外的位置随机选取一定大小的水面区域，作为该水域的常量模型box_dst，计算后续帧基于常量模型的变化I，主要是为了去除颜色、光照、倒影等因素的影响。

I_i＝box_i-box_dst,i∈[1,m]

(3)求每一帧变化的均值，去除噪音的干扰，在时间序列M上构成一组变化信号Iavg，水体区域会比漂浮物区域显示出更多的正弦波的图案。

(4)对这组信号做傅里叶变换，将信号的变化从时间域转换到频域上，生成目标M维的时间算子Fdst。

(5)为了保证幅值的不变性，对傅里叶变换后的信号Fdst_j进行规范化处理：

(6)由于自然界水无常形且纹理较弱，而漂浮物具有相对较强的纹理，所以对每个区域提取局部其二值特征L_i用于描述空间表现：

(7)计算每个像素点的LBP值，建立当前帧的局部二值特征直方图

(8)对时间M的直方图进行统计，生成最终的空间描述算子H(k)

(9)融合漂浮物和水体的时间描述算子Fdst_j和空间描述算子H(k)生成特征，使用随机森林根据以上特征训练识别漂浮物和水体的二分分类器。

测试阶段：

(1)首先对输入视频帧图像进行高斯滤波，利用分水岭算法对图像进行分割，然后形态学腐蚀操作去除噪声点，提取灰度值相近的前景像素构成的连通区域作为目标候选框box_dst。

(2)使用与训练阶段相同的特征提取方法生成侯选目标框box_dst的时间和空间特征。

(3)使用训练好的分类器对目标框box_dst的特征进行分类，分类结果是漂浮物的画出矩形框,并使用TLD算法继续跟踪，否则，不再跟踪。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于时空动态算子的水面漂浮物检测方法，其特征在于，利用水体波动不同于漂浮物漂浮呈现出的规律性、周期性，分别提取水体和漂浮物在时间上的频域变化信号和在空间上的局部二值特征，训练识别漂浮物和水体的随机森林分类器，而后基于随机森林分类器检测水面上的漂浮物。

2.根据权利要求1所述的一种基于时空动态算子的水面漂浮物检测方法，其特征在于，所述训练漂浮物和水体的随机森林分类器的具体实现过程如下：

步骤S1、标定出存在漂浮物的矩形区域box_dst，利用TLD目标跟踪技术跟踪该目标区域，提取该目标区域在时间维度M上的图像序列Box{box₁,box₂,box₃,…,box_m}；

步骤S2、以标定的目标区域作为漂浮物的常量模型box_dst，对目标区域及运动范围以外的位置随机选取预定大小的水面区域，作为该水面区域的常量模型box_dst，计算后续帧基于常量模型的变化I，以去除颜色、光照、倒影因素的影响；

I_i＝box_i-box_dst,i∈[1,m]

步骤S3、求每一帧变化的均值，去除噪音的干扰，在时间维度M上构成一组变化信号Iavg，水体区域会比漂浮物区域显示出更多的正弦波的图案；

步骤S4、对变化信号Iavg做傅里叶变换，将信号的变化从时间域转换到频域上，生成M维的时间算子Fdst；

步骤S5、为保证幅值的不变性，对傅里叶变换后的信号Fdst_j进行规范化处理：

步骤S6、由于自然界水无常形且纹理较弱，而漂浮物具有相对较强的纹理，所以对每个区域提取局部其二值特征L_i用于描述空间表现：

步骤S7、计算每个像素点的LBP值，建立当前帧的局部二值特征直方图

步骤S8、对时间维度M的直方图进行统计，生成最终的空间描述算子H(k)

步骤S9、融合漂浮物和水体的时间描述算子Fdst_j和空间描述算子H(k)生成特征，使用随机森林根据以上特征训练识别漂浮物和水体的二分分类器。

3.根据权利要求2所述的一种基于时空动态算子的水面漂浮物检测方法，其特征在于，所述基于随机森林分类器检测水面上的漂浮物的具体实现过程如下：

步骤S10、对输入视频帧图像进行高斯滤波，利用分水岭算法对图像进行分割，然后形态学腐蚀操作去除噪声点，提取灰度值相近的前景像素构成的连通区域作为目标候选框box_dst；

步骤S11、使用与训练阶段相同的特征提取方法生成侯选目标框box_dst的时间和空间特征；

步骤S13、使用训练好的基于随机森林分类器对目标框box_dst的特征进行分类，分类结果是漂浮物的画出矩形框，并使用TLD算法继续跟踪，否则，不再跟踪。