CN114677343A

CN114677343A - 一种基于双背景的高速公路抛洒物检测方法

Info

Publication number: CN114677343A
Application number: CN202210262727.1A
Authority: CN
Inventors: 张星明; 张星海; 林育蓓
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2022-03-15
Filing date: 2022-03-15
Publication date: 2022-06-28

Abstract

本发明公开了一种基于双背景的高速公路抛洒物检测方法，该方法步骤如下：S1、对高速公路监控视频进行背景建模，得到背景帧视频；S2、用背景帧视频中的当前背景帧减去历史背景帧，得到当前背景帧和历史背景帧的差分图；S3、对差分图进行数学形态学操作，得到背景帧视频中的运动物体；S4、在获得的运动物体中去除面积过小和过大的、距离摄像头过远的，以及不在路面上的运动物体，其余运动物体判定为抛洒物，并在画面中进行标示。本发明通过背景建模并进行背景帧相减，再通过一系列的条件判断检测出抛洒物，在实际场景中验证了本发明的有效性。

Description

一种基于双背景的高速公路抛洒物检测方法

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于双背景的高速公路抛洒物检测方法。

背景技术

抛洒物检测是目标检测领域的一个重要分支。利用数字图像来进行抛洒物检测在生产生活中具有重要意义，尤其是在高速公路的场景下。高速公路上的抛洒物检测，利用公路摄像头的监控视频，及时、自动地发现抛洒物，尽可能地减少道路安全隐患，提升高速公路行驶的安全性。

目前国内外对高速公路抛洒物检测的研究较少，且大多数是使用深度学习的方法。基于深度学习的方法需要有大量的数据集进行训练，但当面对训练集中未出现过的抛洒物时，这些方法很难奏效。现实环境中，抛洒物的种类繁多，理论上无法通过建立包含所有抛洒物种类的训练集对模型进行训练，目前亟待提出一种不需要数据驱动的高速公路抛洒物检测方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于双背景的高速公路抛洒物检测方法，以提高抛洒物检测准确度以及鲁棒性。

本发明的目的可以通过采取如下技术方案达到：

一种基于双背景的高速公路抛洒物检测方法，所述抛洒物检测方法包括以下步骤：

S1、对高速公路监控视频进行背景建模，得到背景帧视频；

S2、用所述背景帧视频中的当前背景帧减去历史背景帧，得到当前背景帧和历史背景帧的差分图；

S3、对所述差分图进行数学形态学操作，得到背景帧视频中的运动物体；

S4、在获得的运动物体中去除面积过小和过大的、距离摄像头过远的，以及不在路面上的运动物体，其余运动物体判定为抛洒物，并在画面中进行标示。

进一步地，所述步骤S1过程如下：

采用混合高斯模型进行背景建模，将高速公路监控视频P输入混合高斯模型，生成对应的背景帧视频G，所述背景帧视频中G只包含高速公路监控视频的背景内容。

图像中的背景在人眼看来应该是不变的，但其灰度其实是在一定范围内变化的。如果做一个统计的话，这些像素值是在某一中心值一定范围内分布，表现形式上呈正态分布，也称为高斯分布。根据图像所表现出的这个特点，如果像素点的值离中心值过远，就可以认为是前景，如果离中心值很近，就可以认为是背景。理论上，如果不存在干扰的话，可以准确区分前景和背景，但现实环境中往往会有很多干扰因素，比如当光照条件发生变化时，中心值就会发生变化，因此很难达到理想状况。混合高斯模型指某个像素点附近存在多个中心位置，多个中心位置可能是由现实环境中的多种因素造成的，比如树叶的摆动、翻动的水面和摄像头的抖动等。这些意外因素都会使像素点在多个中心位置聚集大量的点，每个位置都会有一个高斯分布。因此，混合高斯模型就是用来解决背景像素点具有多峰特性的场合，适合环境因素复杂多变的高速公路实际场景。

混合高斯模型在接受输入视频的帧图像后，可生成对应的背景帧视频G，背景帧视频G中只包含高速公路监控视频的背景内容。

进一步地，所述步骤S2过程如下：

在背景帧视频G中提取当前时刻的背景帧R，并取背景帧R之前时间间隔为t的历史背景帧L，用当前背景帧R减去历史背景帧L，得到差分图D，差分图D表示为：D＝R-L。

高速公路上的抛洒物在掉落后，经过短时间的运动，最终在路面上静止，直到发生下一次碰撞，在这个运动过程中，抛洒物会从图像的前景变为图像的背景。基于抛洒物掉落前后图像背景会发生变化这一基本认识，就可以用背景帧视频中的当前背景帧减去历史背景帧，从而得到背景中出现变化的区域。背景中发生变化的区域，就是疑似抛洒物的区域，但同时也可能是其它事件引起的，比如光照引起的阴影变化、刮风引起的花草树木的摆动等。在背景帧视频G中取当前时刻的背景帧R，并取背景帧R之前时间间隔为t的历史背景帧L，之所以需要有一个时间间隔，是因为抛洒物从前景融入到背景中需要一段时间。用当前背景帧R减去历史背景帧L，得到差分图D。

进一步地，所述步骤S3过程如下：

得到差分图D后，对差分图D进行数学形态学操作，共计四次，按照顺序依次为开运算、膨胀运算、闭运算、膨胀运算。常用的数学形态学操作包括膨胀运算、腐蚀运算、开运算和闭运算。膨胀运算是将物体的轮廓加以膨胀；腐蚀运算是为了腐蚀物体边缘；开运算是对图像先腐蚀，再膨胀，可以消除小物体，平滑较大物体的边界；闭运算是对图像先膨胀，再腐蚀，主要是为了排除小型空洞，将区域连通起来，形成连通域。按照图像的特点，设计相应的数学形态学操作和顺序，可以去除图像中的噪声，达到去干扰的目的。经过数学形态学操作后，得到背景帧R中的运动物体集合O：O＝{o₁,o₂,…,o_n}，

其中，o₁,o₂,…,o_n分别代表第1、第2、…、第n个运动物体。

进一步地，所述步骤S4过程如下：

得到运动物体集合O后，虽然已经通过数学形态学操作去除了大部分干扰项，但还是有少部分的干扰需要其他方法来去除。根据高速公路抛洒物的实际情况，过小的抛洒物不会对汽车安全行驶产生干扰(如树叶、小纸片等)，而过大的抛洒物理论上不会存在(如汽车、施工车等)，只是因为背景建模的性能有限，所以极端情况下才会残留在背景当中，从而出现在了运动物体集合里。通过计算运动物体集合O中每个运动物体的面积，根据事先设定的过小面积判断阈值和过大面积判断阈值，去除面积过小和面积过大的运动物体。由于高速公路监控摄像头的性能有限，画面远端的物体显示不清晰，在背景图片中会导致噪声的出现，被误判为运动物体。因此根据事先设定的距离判断阈值，去除距离摄像头过远的运动物体。道路两旁的花草树木，会因为刮风而摆动，从而被误判为运动物体，但抛洒物检测的目标区域本就是路面，并不需要考虑道路两旁的花草树木，所以去除不在路面上的运动物体。经过这三次条件筛选后，最终得到抛洒物集合

最后在对应的视频图像中用方框框出集合O′中的抛洒物。

本发明相对于现有技术具有如下的优点及效果：

1)本发明基于抛洒物掉落前后道路背景会发生变化这一认识，采用背景帧相减的方式得到背景中发生变化的区域，这一操作鲁棒性强，相较于其他算法，对光照等环境变化的敏感度低，且几乎不会产生抛洒物漏检的情况。

2)本发明完全采用传统图像处理方法，未使用深度学习相关算法，因此计算量小，抛洒物检测速度快，几乎可以做到实时检测，且在实际环境中部署时，对硬件设备的要求低，可以降低部署成本。

3)本发明不需要像神经网络模型一般建立数据集并进行长时间的模型训练，并且能够检测到各种类型的抛洒物，普适性更强，更符合实际的高速公路场景。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明公开的基于双背景的高速公路抛洒物检测方法的步骤图；

图2是本发明实施例公开的基于双背景的高速公路抛洒物检测方法的示例处理步骤图；

图3是采用本发明方法后抛洒物检测的效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例公开了一种基于双背景的高速公路抛洒物检测方法，包括下述步骤：

S1、对高速公路监控视频进行背景建模，得到背景帧视频；

S2、用背景帧视频中的当前背景帧减去历史背景帧，得到当前背景帧和历史背景帧的差分图；

S3、对差分图进行数学形态学操作，得到背景帧视频中的运动物体；

输入视频P，采用混合高斯模型进行背景建模，混合高斯模型的参数设置采用数字图像处理函数库opencv中的默认设置。经过背景建模后，可以去除视频P的前景，得到画面干净、稳定的背景帧视频G。

在背景帧视频G中取当前时刻的背景帧R，并取R之前时间间隔为t的历史背景帧L，经实验得t取三秒最为合适，用当前背景帧R减去历史背景帧L，得到差分图D，D可表示为：D＝R-L

得到差分图D后，对差分图D进行数学形态学操作，共计四次，按照顺序依次为开运算、膨胀运算、闭运算、膨胀运算，形态学操作中的运算核选取3×3大小的正方形，运算核每次在差分图中的移动步长为1。通过数学形态学操作，可以去除差分图中的干扰因素，保留疑似抛洒物的运动物体。经过数学形态学操作后，得到背景帧中的运动物体集合O：

O＝{o₁,o₂,…,o_n}

得到运动物体集合O后，对其中的物体进行筛选排除。计算O中每个运动物体的面积，去除小于5单位面积和大于25单位面积的运动物体，去除距离画面顶端五分之一高度内的运动物体，去除不在路面上的运动物体，最终得到抛洒物集合

最后在对应的视频图像中用方框框出集合O′中的抛洒物。使用本发明方法对所采集的27个高速公路监控视频进行测试，27个监控视频中共出现91次抛洒物事件，本发明方法成功检测出88次抛洒物事件，检测准确率为96.7％。本发明方法对高速公路监控视频中的抛洒物进行检测的准确率如表1所示。

表1.本发明方法对高速公路监控视频中的抛洒物进行检测的准确率

	箱子	轮胎	路锥	水瓶	安全帽	其它物体	总计
								事件数量(个)	26	21	17	9	10	8	91
检测数量(个)	26	21	17	8	9	7	88
								准确率	100％	100％	100％	88.89％	90％	87.5％	96.7％

实施例2

本实施例按照实施例1公开的一种基于双背景的高速公路抛洒物检测方法，在高速公路监控摄像头所拍摄的视频中进行测试，如图2所示，为本实施例的处理步骤图。原视频输入混合高斯模型进行背景建模，得到背景帧视频，用当前背景帧减去历史背景帧，得到差分图，对差分图进行数学形态学操作，得到背景帧中的运动物体，最后经过一系列的条件筛选，框出抛洒物。

实施例3

本实施例按照实施例1公开的一种基于双背景的高速公路抛洒物检测方法，在高速公路监控摄像头和人工所持摄像头所拍摄的视频中进行测试，如图3所示，为本实施例的处理步骤图。原视频输入混合高斯模型进行背景建模，得到背景帧视频，用当前背景帧减去历史背景帧，得到差分图，对差分图进行数学形态学操作，得到背景帧中的运动物体，最后经过一系列的条件筛选，框出抛洒物。图3中检测结果证明，本发明公开的高速公路抛洒物检测方法能够准确无误地检测出所有抛洒物并框出，证明了本发明的有效性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于双背景的高速公路抛洒物检测方法，其特征在于，所述抛洒物检测方法包括以下步骤：

S1、对高速公路监控视频进行背景建模，得到背景帧视频；

2.根据权利要求1所述的一种基于双背景的高速公路抛洒物检测方法，其特征在于，所述步骤S1过程如下：

3.根据权利要求2所述的一种基于双背景的高速公路抛洒物检测方法，其特征在于，所述步骤S2过程如下：

4.根据权利要求3所述的一种基于双背景的高速公路抛洒物检测方法，其特征在于，所述步骤S3过程如下：

对差分图D进行四次数学形态学操作，按照顺序依次为开运算、膨胀运算、闭运算、膨胀运算，经过四次数学形态学操作后，得到背景帧R中的运动物体集合O：

O＝{o₁,o₂,…,o_n}

5.根据权利要求4所述的一种基于双背景的高速公路抛洒物检测方法，其特征在于，所述步骤S4过程如下：

计算运动物体集合O中每个运动物体的面积，根据事先设定的过小面积判断阈值和过大面积判断阈值，去除面积过小和面积过大的运动物体，根据事先设定的距离判断阈值，去除距离摄像头过远的运动物体和不在路面上的运动物体，最终得到抛洒物集合O′：

最后在对应的视频图像中用方框框出集合O′中的抛洒物。