CN110084129B - 一种基于机器视觉的河流漂浮物实时检测方法 - Google Patents

Abstract

本发明涉及基于机器视觉的河流漂浮物实时检测方法，属水文视频处理领域。本发明利用视频流前三帧图像建立背景模型，并建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。本发明可准确检测到漂浮物，在复杂的河流场景中，保持较高的检测准确率；本发明具有实时性好，计算效率高，易于嵌入摄像机等设备的特点，适应于各种天然河道的漂浮物检测。

Description

一种基于机器视觉的河流漂浮物实时检测方法

技术领域

本发明涉及一种基于机器视觉的河流漂浮物实时检测方法，属于水文视频处理技术领域。

背景技术

随着视频处理技术和网络技术的发展，视频监控正逐渐融入到人们日常活动中的方方面面，给生产和生活带来了诸多便利。人们对视频监控逐渐增多的需求使得机器视觉技术应运而生并迅速成为一个研究热点。智能视频监控作为计算机视觉的重要应用方面，其在水文领域中的应用具有很高的实用价值和经济价值。水文测验是指系统收集、整理和传输水文数据的全过程。水文测验工作是水文工作的基础，是防洪减灾工作的重要组成部分，而水文测验铅鱼是水文工作中重要的测流工具。水文测验铅鱼主要用于在江、河、湖泊、渠道过水断面中测量水深、流速及含沙量等数据，其在研究水资源情势中发挥了重要的作用。然而流期间，铅鱼携带的测流设备易受到河流漂浮物(如树枝、水草、垃圾)干扰和破坏，甚至大量漂浮物缠绕铅鱼致使支撑缆道坍塌。河流漂浮物不仅干扰铅鱼的正常测流，也造成严重的经济损失，故基于机器视觉的河流漂浮物检测与预警就显得十分迫切。

发明内容

本发明提供了一种基于机器视觉的河流漂浮物实时检测方法，本发明利用机器视觉技术检测并标记河面上的漂浮物，同时抑制初始化背景模型中存在运动目标产生的虚拟前景(Ghost区域)，消除背景噪声，提高算法的检测精度，适应河流场景的动态变化。

本发明的技术方案是：一种基于机器视觉的河流漂浮物实时检测方法，输入现场视频流，利用视频流前三帧图像建立背景模型，并采用三帧法检测Ghost区域，建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；同时，根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。

进一步地，包括以下步骤：

步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；

步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；

步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；

步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；

步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；

步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型。

进一步地，所述步骤2中，读入视频流前三帧图像，将每帧图像的像素x及其8邻域N_G(x)如公式(2)的像素值作为初始背景模型M⁰(x)的背景样本，则初始背景模型M⁰(x)将由N＝27个背景样本组成；三帧初始化背景模型具体公式如下：

x_i＝{y|y∈{x,N_G(x)}} (1)

其中，x_i表示索引为i的像素，M¹(x)，M²(x)，M³(x)分别为视频流第一、二、三帧像素x及其8邻域N_G(x)的像素值集合；M⁰(x)为像素x的初始背景模型的样本集，其是由三帧的像素值集M¹(x)，M²(x)，M³(x)组成。

进一步地，所述步骤2中，三帧法基本思想是读入视频流前三帧图像，每相邻的两帧之间做差分运算，对得到的两个差分图像进行阈值分割，将两个二值化的图像作或运算，最后对或运算后的二值化图像进行噪声消除和空洞填充操作，得到前三帧中存在的Ghost区域；接着，将Ghost图像转化成一个同输入帧等长宽的矩阵，组成Ghost更新模板。

进一步地，所述步骤4中，在每帧的像素分类的过程中建立一个同输入帧等长宽，并由各像素匹配值n所组成的矩阵，即匹配值更新模板。

进一步地，针对步骤5填充空洞的位置，设定匹配值更新模板对应位置的值为k，各像素匹配值为n；针对步骤5填充空洞的位置，则匹配值更新模板对应位置的值为0，如公式(3)所示：

根据更新模板update(x)中值的大小设定更新因子，并进行背景模型的更新；这样增加背景模型的复杂度，加速旧样本值地淘汰，引入更多不同的新背景像素，如公式(4)所示：

其中，更新因子φ越大，其更新概率越小，更新概率P(x)与更新因子φ的关系是：P(x)＝1/φ；更新模板update(x)值为0时，不进行背景模型更新；update(x)值小于9时，必进行背景模型更新；update(x)值小于15时，以50％的概率更新背景模型；其他情况，以25％的概率更新背景模型。

本发明的有益效果是：

1、本发明可以有效的检测出河面漂浮物，并将其直接集成于现场摄像设备中，保障测流中水文铅鱼的安全；

2、本发明可以在较短时间内消除Ghost，克服波浪干扰的负面影响，消除背景噪声，适应河流的变化速率；

3、本发明可以以每秒30帧的速率处理分辨率为320*240的图像，满足实时性的要求；

4、本发明具有算法实时性好，计算效率高，易于嵌入摄像机等设备的特点，适应于各种复杂河流环境的漂浮物检测。

附图说明

图1是本发明方法的流程示意图；

图2是N_G(x)模型；

图3是三帧初始化背景模型示意图；

图4是固定阈值与PCC和PWC的关系；

图5是自适应阈值与PCC和PWC的关系；

图6是像素值与背景样本在2-D欧式距离空间中比较；

图7是4个视频流检测结果对比图；

图8是3个视频流检测指标对比图。

具体实施方式

实施例1：如图1-8所示，一种基于机器视觉的河流漂浮物实时检测方法，包括以下步骤：

步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；

步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；

步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；

步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；

步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；

步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型。

进一步地，所述步骤2中，利用前三帧图像进行背景建模方法如下：

背景模型中的每一个像素的由N个背景样本组成，记v(x)表示图像在x处的像素值，v_i(x)表示索引为i的背景样本值。背景模型M(x)定义如公式(5)所示：

M(x)＝{v₁(x),v₂(x),…,v_N(x)} (5)

读入视频流前三帧图像，将每帧图像的像素x及其8邻域N_G(x)(如图2所示，如公式(2))的像素值作为初始背景模型M⁰(x)的背景样本，则初始背景模型M⁰(x)将由N＝27个背景样本组成；三帧初始化背景模型示意图如图3所示，具体公式如下：

x_i＝{y|y∈{x,N_G(x)}} (6)

其中，x_i表示索引为i的像素，M¹(x)，M²(x)，M³(x)分别为视频流第一、二、三帧像素x及其8邻域N_G(x)的像素值集合；M⁰(x)为像素x的初始背景模型的样本集，其是由三帧的像素值集M¹(x)，M²(x)，M³(x)组成。

进一步地，所述步骤2中，采用三帧法标记前三帧中的Ghost区域，根据标记结果建立Ghost更新模板具体方法如下：

三帧法基本思想是读入视频流前三帧图像，每相邻的两帧之间做差分运算，对得到的两个差分图像进行阈值分割，将两个二值化的图像作或运算，最后对或运算后的二值化图像进行噪声消除和空洞填充操作，得到前三帧中存在的Ghost区域；接着，将Ghost图像转化成一个同输入帧等长宽的矩阵，组成Ghost更新模板。

进一步地，所述步骤3中，采用固定阈值与动态阈值相结合的方法来设定像素分类阈值方法如下：

固定阈值R是适用于大多数情况的，其设定是一种通过实验所得到的经验数据。如图4所示，更高的距离阈值可以带来更好的性能，并减少错误分类比，当距离阈值大于40时，正确分类百分比(PCC)趋于饱和，错误分类百分比(PWC)趋于平缓，考虑到本发明方法的适用性，R取40最优。

动态阈值设定的核心思想是对于高动态区域(如波浪、水面反光)，应增大动态阈值以降低背景像素误判为前景像素的概率；对于低动态区域，应减少动态阈值以检测出细微变化的前景。通过计算像素的背景模型的标准偏差来确定像素的动态阈值，如公式(8)和(9)所示：

得到像素x的动态阈值后，需要将固定阈值与动态阈值结合起来设定像素分类阈值。像素分类阈值是在动态阈值σ(x)的基础上加上适用于大多数情况的固定阈值R，从而得出自适应距离阈值R(x)。为确保检测的精度，需要对每个像素点背景样本值距离阈值R(x)范围进行限定，选取多个河流漂浮物检测视频流实验后发现，R(x)范围在[40,80]区间内具有较理想的效果，如公式(10)所示：

R(x)＝R+σ(x)·γ R(x)∈[40,80] (10)

如图5所示，更高的γ值可以带来更好的性能，并减少错误分类比。当系数γ大于3时，正确分类百分比(PCC)趋于饱和，错误分类百分比(PWC)下降趋势趋于平缓，考虑到本发明方法的适用性，γ取3最佳。

进一步地，所述步骤3中，像素分类流程如下：

如图6所示，采用2-D空间中的欧氏距离对像素进行分类，记S_R(v(x))表示以v(x)为中心，半径为R(x)的2-D欧氏空间，若S_R(v(x))与M(x)的交集满足元素个数不小于匹配阈值(此处，匹配阈值取2)，则认为x是背景像素，否则，判定x是前景像素，如公式(11)所示：

H{S_R(v(x))∩{v₁(x),v₂(x),…,v_N(x)}} (11)

进一步地，所述步骤4中，具体方法流程包括：

所述根据像素分类结果，建立前景二值化图像mask和匹配值更新模板方法如下；

若像素被分类为前景像素，该像素mask图像对应位置设定为255；若像素被分类为背景像素，该像素mask图像对应位置设定为0。

在每帧的像素分类的过程中建立一个同输入帧等长宽，并由各像素匹配值n所组成的矩阵，即匹配值更新模板。

进一步地，所述步骤5中，噪声消除和填充空洞操作流程如下：

Step1、求取mask图像中的前景连通区域，得到前景连通区域集合A{a₁,a₂,…,a_n}；

Step2、求取mask图像中的空洞连通区域，得到空洞连通区域集合B{b₁,b₂…,b_n}；

Step3、如果前景连通区域集合的像素数小于10，则认为该连通区域为噪声，消除背景噪声，在mask图像中噪声对应位置设定为0；如果空洞连通区域集合的像素数小于50，则认为该连通区域为空洞，在mask图像中噪声对应位置设定为255。

进一步地，所述步骤6中，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型方法如下：

背景模型更新是利用被分类为背景的像素值v(x)，以1/φ的概率替代背景模型M(x)中的任一样本。

进一步地，针对步骤5填充空洞的位置，设定匹配值更新模板对应位置的值为k，各像素匹配值为n；针对步骤5填充空洞的位置，则匹配值更新模板对应位置的值为0，如公式(12)所示：

根据更新模板update(x)中值的大小设定更新因子，并进行背景模型的更新；这样增加背景模型的复杂度，加速旧样本值地淘汰，引入更多不同的新背景像素，如公式(13)所示：

其中，更新因子φ越大，其更新概率越小，更新概率P(x)与更新因子φ的关系是：P(x)＝1/φ；更新模板update(x)值为0时，不进行背景模型更新；update(x)值小于9时，必进行背景模型更新；update(x）值小于15时，以50％的概率更新背景模型；其他情况，以25％的概率更新背景模型。

为定性和定量地验证本发明方法在河流漂浮物检测场景中的效果，使用三组存在河流漂浮物的现场视频流进行测试。为定量比较算法的性能，采用精确率(Precision)、正确分类百分比(PCC,percentage of correct classification)和错误分类百分比(PWC，percentage of wrong classification)作为量化指标，如公式(14)、(15)和(16)所示：

其中，TP(True positive)表示正确的前景像素个数。TN(True negative)表示正确的背景像素个数。FP(False positive)表示错误的前景像素个数。FN(False negative)表示错误的背景像素个数。Precision反映检测的前景像素中正确的前景像素的占比。PCC反映总像素中正确检测像素的占比。PWC反映总像素中错误检测像素的占比。

图7所示为四组测试视频检测结果图，其中图中(a)列为测试视频帧，(b)列为真值图，(c)列为本发明方法检测结果，(d)列为标记后的输入帧。由图7的检测结果可知，本发明方法在较短时间内消除Ghost，克服波浪干扰的负面影响，消除背景噪声，适应河流的变化速率，实时检测河流漂浮物。

如图8所示，本发明方法河流漂浮物检测场景中，三组测试视频流的Precision、PCC相较于ViBe算法均有明显提高，PWC相较于ViBe算法有明显下降。综上，本发明在河流漂浮物检测场景中相比ViBe算法具有明显优势，将其应用于实际场景中，保障测流中水文铅鱼的安全，提高了测流效率，减少了不必要的经济损失。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于机器视觉的河流漂浮物实时检测方法，其特征在于：输入现场视频流，利用视频流前三帧图像建立背景模型，并采用三帧法检测Ghost区域，建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；同时，根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新；

包括以下步骤：

步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；

步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；

步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；

步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；

步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；

步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型；

针对步骤5丢弃处理的位置，设定匹配值更新模板对应位置的值为k，各像素匹配值为n；针对步骤5填充空洞的位置，则匹配值更新模板对应位置的值为0，如公式(1)所示：

根据更新模板update(x)中值的大小设定更新因子，并进行背景模型的更新；这样增加背景模型的复杂度，加速旧样本值地淘汰，引入更多不同的新背景像素，如公式(2)所示：

其中，更新因子φ越大，其更新概率越小，更新概率P(x)与更新因子φ的关系是：P(x)＝1/φ；更新模板update(x)值为0时，不进行背景模型更新；update(x)值小于9时，必进行背景模型更新；update(x)值小于15时，以50％的概率更新背景模型；其他情况，以25％的概率更新背景模型；

通过计算像素的背景模型的标准偏差来确定像素的动态阈值，如公式(3)和(4)所示：

得到像素x的动态阈值后，需要将固定阈值与动态阈值结合起来设定像素分类阈值；像素分类阈值是在动态阈值σ(x)的基础上加上固定阈值R，从而得出自适应距离阈值R(x)；为确保检测的精度，需要对每个像素点背景样本值距离阈值R(x)范围进行限定，选取多个河流漂浮物检测视频流实验后发现，R(x)范围在[40,80]区间内具有理想的效果，如公式(5)所示：

R(x)＝R+σ(x)·γ R(x)∈[40,80] (5)

其中，R取40，γ取3。

2.根据权利要求1所述的基于机器视觉的河流漂浮物实时检测方法，其特征在于：所述步骤2中，读入视频流前三帧图像，将每帧图像的像素x及其8邻域N_G(x)如公式(7)的像素值作为初始背景模型M⁰(x)的背景样本，则初始背景模型M⁰(x)将由N＝27个背景样本组成；三帧初始化背景模型具体公式如下：

x_i＝{y|y∈{x,N_G(x)}} (6)

其中，x_i表示索引为i的像素，M¹(x)，M²(x)，M³(x)分别为视频流第一、二、三帧像素x及其8邻域N_G(x)的像素值集合；M⁰(x)为像素x的初始背景模型的样本集，其是由三帧的像素值集M¹(x)，M²(x)，M³(x)组成。

3.根据权利要求1所述的基于机器视觉的河流漂浮物实时检测方法，其特征在于：所述步骤2中，三帧法具体为是读入视频流前三帧图像，每相邻的两帧之间做差分运算，对得到的两个差分图像进行阈值分割，将两个二值化的图像作或运算，最后对或运算后的二值化图像进行噪声消除和空洞填充操作，得到前三帧中存在的Ghost区域；接着，将Ghost图像转化成一个同输入帧等长宽的矩阵，组成Ghost更新模板。

4.根据权利要求1所述的基于机器视觉的河流漂浮物实时检测方法，其特征在于：所述步骤4中，在每帧的像素分类的过程中建立一个同输入帧等长宽，并由各像素匹配值n所组成的矩阵，即匹配值更新模板。

Images