CN112651293A - 一种公路违法设摊事件视频检测方法 - Google Patents

Abstract

本发明公开了一种公路违法设摊事件视频检测方法，包括：通过动态前景提取方法与基于深度学习的图像分割方法，自动分割出视频图像中需要进行事件检测的道路区域，其次利用基于深度学习的图像目标检测方法，实时提取出现在视频中的多种与违法设摊事件相关的目标，然后利用道路区域对目标进行过滤，并通过目标聚集性搜索与判别，提取呈现违法设摊事件特性的目标子集，从而定位侵占公路路权的违法设摊事件。本方法能够对公路网实时视频数据进行智能分析，自动检测判别视频中是否有违法设摊事件出现，可以有效提高公路违法设摊事件的检测效率，降低事件漏报风险，缩短事件处置延迟，减少公路管理部门巡查管理的成本投入，为保障路网畅通安全提供支撑。

Description

一种公路违法设摊事件视频检测方法

技术领域

本发明属于智能交通技术领域，特别涉及一种公路违法设摊事件视频检测方法。

背景技术

路违法设摊(也称作占道经营、违法摆摊设点)事件是国省公路干线上经常发生的一种侵占路产路权的交通违法事件，常常出现于公路交叉路口、农作物出产地沿线，这类事件侵占道路区域，并伴随引起人群聚集或车辆违停，在影响路容路貌与道路环境、干扰路政管理秩序的同时，极易造成道路拥堵和交通事故，及时发现和制止公路违法设摊事件对于提高国省干线公路通行能力、保障公路通行安全具有重要意义。

违法设摊巡查整治是各级公路管理部门的一项重要工作，目前，对这类事件的视频巡查以人工巡查为主，即：管理人员在公路监控中心对接入的公路监控视频画面进行人工轮巡，通过人眼观察的方式检测视频中发生的违法设摊事件；或者派遣巡查车辆上路，现场查检沿途的违法设摊事件。

但是，由于公路管理部门需要监控巡查的路网视频数量巨大，而违法设摊事件出现的时间和地点具有随机性，通过人工巡查进行事件检测的方式效率低，人工劳动强度大，事件漏检风险高，难以实现对大范围公路违法设摊事件的及时发现和快速处置。

随着技术的发展，基于计算机视觉技术的智能化手段为违法设摊事件的检测提供了新的途径，已有成果主要包括：

1、王秀亮等在《占道经营管理装置及方法》(专利申请号：201811501421.7)中提出一种利用视频进行占道经营检测的方法，该方法需要检测墙体基线，并需要预先设定检测区域，泛化推广能力较弱，且不适用于利用国省干线公路网监控视频图像进行违法设摊事件检测的场景。

2、廖海斌等在《违停监测方法、装置及电子终端》(专利申请号：201810946422.6)中提出提取一种视频图像特征，并将特征与事先采集的道路图像进行匹配来识别违法停车与占道经营的方法，但是，该方法所提取的特征无法准确识别实时视频图像中车辆、人等具体目标，导致其对事件识别的准确性难以保证，并且，在公路网监控视频场景下，需要检测轮巡的视频往往在数百路以上，加之每个摄像头都有多个预置位，且每个预置位在不同的时段、不同光照条件下的场景是在不断变化的，因此，该方法所需进行的道路图像事先采集将由于工作量过于巨大而难以实施。

3、马祥晖等在《一种基于尺度不变特征变换算法监测桥下空间的方法和系统》(专利申请号：201910434544.1)中提出一种基于尺度不变特征变换算法监测桥下空间的方法和系统，其核心在于通过结构相似性(SSIM)算法比对视频检测区域画面是否与基准画面有差异来判别是否有违法设摊事件出现，但是，由于图像中可能出现的众多目标场景(例如：在画面中出现车辆、动物等)都可能导致这一对比出现差异，且该方法并没有对这些差异进行一一鉴别，因而，这一方法无法进行事件的准确分辨。此外，该方法的应用范围也仅仅局限于桥下空间这一特定的场景。

4、郑全新等在《基于深度学习及运动一致性的街面秩序事件视频检测方法》(专利申请号：201810086477.4)中提出一种通过计算视频帧之间图像目标运动一致性来判别是否有占道经营事件出现的方法，该方法认为目标运动越规律，运动一致性越强，出现占道经营事件的可能越小，反之，则出现占道经营事件的可能性越高，但是，在车流、人流较大的国省公路干线场景下，由于多个非占道经营目标也可能出现无序的运动特征，体现出较大的运动一致性差异，从而将导致该方法无法正确进行事件判别。此外，该方法也无法自动识别需要进行事件检测的区域。

5、贠周会等在《一种基于背景建模的城市摆摊设点检测方法与流程》(专利申请号：201711231709.2)中提出一种通过计算视频画面中运动目标大小，并判别同面积运动目标是否在人为设定时间内离开画面来确定是否有违法设摊事件的方法，然而，该方法在没有人工辅助的情况下，无法确定进入画面的运动目标是否为违法设摊相关目标，并且，在运动目标数量较大的国省公路干线场景下，该方法将无法使用。

6、林韶军等在《一种城市违章智能识别方法与流程》(专利申请号：201811292068.6)中提出一种利用城市监控进行城市违章识别的框架构想，该构想对于事件识别的思路并非该专利的独创，与当前主流的基于样本学习的目标检测方法并无差异，并且由于违法设摊事件类型繁多，属于样本稀少的复杂事件，目前，仅依靠样本学习来进行违法设摊事件检测的路径尚难以实用。

由上述分析可以看到，在现有的违法设摊(或占道经营、违法摆摊设点)事件检测技术或方法中，还没有一种可以兼顾对违法设摊事件检测区域的自动提取、对违法设摊事件相关目标的准确识别、以及对违法设摊事件发生区域的有效定位，因此，现有方法还无法通过对国省干线公路监控视频的分析处理，自动检测识别出侵占公路区域的违法设摊事件。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种公路违法设摊事件视频检测方法，通过对公路监控视频的智能分析处理，实现违法设摊事件的自动检测，提高公路管理部门对公路违法设摊事件的监测与处理效率，为保障公路安全畅通提供支持。

实现本发明目的的技术解决方案为：一种公路违法设摊事件视频检测方法，所述方法包括以下步骤：

步骤1，接入公路网监控视频，对视频流进行解码，按帧或按需跳帧读取视频图像，并根据处理硬件资源条件，对视频图像进行预处理；该步骤通过循环的方式不断为后续处理提供经过预处理的视频图像数据；

步骤2，读取步骤1输出的视频图像帧，检测图像中是否有运动目标，若有，提取其轮廓，并计算所有运动目标轮廓面积之和，当该总面积超过预设阈值，则重复步骤1到步骤2，直到图像帧中的运动目标轮廓总面积低于预设阈值，输出该图像帧；若没有，则输出当前图像帧；

步骤3，提取当前摄像头观测范围内的道路区域；

步骤4，对步骤1输出的每一帧视频图像进行目标识别，提取图像中与违法设摊事件相关性满足预设阈值的目标数据集Τ；

步骤5，利用步骤3提取的道路区域对步骤4提取的目标集Τ进行过滤，仅保留与路面区域相交，或者距离路面区域在预设范围内的目标，输出目标集合Τ_r；

步骤6，重复步骤1、步骤4、步骤5，并记录步骤5输出的每一个目标在图像中相同位置出现的次数，并输出在固定位置重复出现次数超过预设阈值的目标集合；

步骤7，利用步骤6输出的目标集合，通过搜索目标集合中外接矩形相交或相距距离小于预设阈值的目标子集，对目标的聚集性进行鉴别，输出由呈现聚集性的目标子集组成的集合；

步骤8，对步骤7输出的目标子集中的目标类别进行判别，选择包含2种及以上关键目标类别的目标子集，并将该目标子集中所有目标的共同边界矩形作为定位违法设摊事件的区域输出。

本发明与现有技术相比，其显著优点为：1)提出结合动目标检测算法与基于深度学习的语义分割算法，对公路实时视频进行图像分割，自动提取待检测的路面区域，实现违法设摊事件待检测区域的自动识别；2)提出利用基于深度学习的目标检测，识别出现在路面区域内的感兴趣目标，并与路面区域进行比对，实现侵占路面区域的违法设摊目标的准确提取；3)提出通过目标重复次数判别、目标聚集性鉴别以及违法设摊关键目标识别的组合步骤，对构成违法设摊关键要素目标的聚集区域进行识别与定位，从而实现违法设摊事件在视频图像中的检测；4)本方法可以自动检测公路上实时出现的违法设摊事件，有效提高公路管理与执法部门检测处置公路违法设摊事件的效率，降低事件漏报风险，缩短事件处置延迟，减少公路管理部门巡查管理的成本投入，为保障路网畅通安全提供支撑，发挥巨大的社会价值与经济价值。

下面结合附图对本发明作进一步详细描述。

附图说明

图1本发明方法基本流程示意图。

图2本发明方法实施实例示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，一种公路违法设摊事件视频检测方法，所述方法包括以下步骤：

步骤1，接入公路网监控视频，对视频流进行解码，按帧或按需跳帧读取视频图像，并根据处理硬件资源条件，对视频图像进行预处理；该步骤通过循环的方式不断为后续处理提供经过预处理的视频图像数据；

这里，预处理包括将图像尺寸缩放至处理硬件资源条件能够处理的图像尺寸、遮蔽图像中带固定字幕的区域等。

步骤2，读取步骤1输出的视频图像帧，检测图像中是否有运动目标，若有，提取其轮廓，并计算所有运动目标轮廓面积之和，当该总面积超过预设阈值，则重复步骤1到步骤2，直到图像帧中的运动目标轮廓总面积低于预设阈值，输出该图像帧；若没有，则输出当前图像帧；

步骤3，提取当前摄像头观测范围内的道路区域；在对某一路公路视频源进行一次处理时，步骤2与步骤3只执行1次，即：不对道路路面区域进行重复提取。

步骤4，对步骤1输出的每一帧视频图像进行目标识别，提取图像中与违法设摊事件相关性满足预设阈值的目标数据集Τ，例如：人、轿车、货车、摩托车、遮阳伞。保存各个目标的数据信息，包括：目标类别、置信率、目标的边界矩形坐标。

步骤5，利用步骤3提取的道路区域对步骤4提取的目标集Τ进行过滤，仅保留与路面区域相交，或者距离路面区域在预设范围内的目标，输出目标集合Τ_r；

步骤6，基于构成违法设摊事件的目标会在图像中的固定位置持续出现较长时间这一特性，重复步骤1、步骤4、步骤5，并记录步骤5输出的每一个目标在图像中相同位置出现的次数，并输出在固定位置重复出现次数超过预设阈值的目标集合；

步骤7，基于构成违法设摊事件通常由多个类别的目标组成，并呈现空间聚集性的特点，利用步骤6输出的目标集合，通过搜索目标集合中外接矩形相交或相距距离小于预设阈值的目标子集，对目标的聚集性进行鉴别，输出由呈现聚集性的目标子集组成的集合；

步骤8，在构成违法设摊事件的多种目标中，一般包含2种(或2种以上)关键目标类别，因此，对步骤7输出的目标子集中的目标类别进行判别，选择包含2种及以上关键目标类别的目标子集，并将该目标子集中所有目标的共同边界矩形作为定位违法设摊事件的区域输出。

进一步地，在其中一个实施例中，步骤2的具体过程包括：

步骤2-1，将步骤1输出的视频图像f_k(x,y)转换为灰度图g_k(x,y)；

步骤2-2，对所述灰度图g_k(x,y)进行形态学滤波，公式如下：

步骤2-3，利用运动目标提取或运动前景提取方法检测图像

中的运动前景图像，检测到有运动目标时，提取运动目标的轮廓，获得运动目标的轮廓集合{cnt_i}，其中各轮廓由连成该轮廓的若干个点构成：cnt_i＝{p_im}＝{(x_im,y_im)}，p_im＝(x_im,y_im)为构成轮廓的坐标点，

若没有检测到运动目标，则输出当前图像帧；

步骤2-4，计算所有运动目标轮廓的总面积S_Cnts：

S_Cnts＝∑_iS(cnt_i)

式中，S(x)表示计算x的面积；

步骤2-5，运动目标轮廓的总面积超过预设阈值th_Cnts时，重复步骤1到步骤2，直至图像帧中的运动目标总面积低于预设阈值，将当前帧图像f_k(x,y)标示为f_B(x,y)输出给步骤3。

进一步地，在其中一个实施例中，步骤3所述提取当前摄像头观测范围内的道路区域，具体过程包括：

步骤3-1，利用基于深度学习的图像语义分割方法，对步骤2输出的图像进行语义分割，获得分割结果l(x,y)；

步骤3-2，从所述l(x,y)中提取对应于取值为路面类别的区域r_Mask(x,y)：

式中，label_Road为路面类型；

步骤3-3，搜索r_Mask(x,y)中的轮廓，并得到包含区域面积最大的轮廓cnt_r＝{p_rm}＝{(x_rm,y_rm)}，p_rm＝(x_rm,y_rm)为构成轮廓的坐标点，

将该轮廓cnt_r包含的区域作为当前摄像头观测视场内的道路区域。

进一步地，在其中一个实施例中，步骤4所述对步骤1输出的每一帧视频图像进行目标识别，提取图像中与违法设摊事件相关性满足预设阈值的目标数据集Τ，具体包括：

利用基于深度学习的图像检测算法，对步骤1输出的每一帧视频图像进行目标识别；

该步骤获得的目标数据集为Τ＝{t_i}，其中，第i个目标信息为t_i＝{p_i0,p_i1,p_i2,p_i3,class_i,conf_i,olp_i}，

p_i0＝{x_left,y_top}、p_i1＝{x_right,y_top}、p_i2＝{x_left,y_bottom}、p_i3＝{x_right,y_bottom}为目标边界矩形四个角点的坐标；class_i为第i个目标所属的类别，conf_i为第i个目标的置信概率，conf_i∈(0,1]，olp_i表示目标t_i在固定位置重复出现的次数。

进一步地，在其中一个实施例中，步骤5中目标与路面区域的距离的定义为：

其中，两点距离由欧式距离计算得到：

d_mn(p_m,p_n)＝((x_m-x_n)²+(y_m-y_n)²)^1/2。

进一步地，在其中一个实施例中，步骤6中目标在固定位置重复出现次数的判定方式如下：

假设t_i为第k_i帧图像中检测到的目标，t_j为k_j帧图像中检测到的目标，

且k_j＞k_i，若同时满足下述条件：

class_i＝class_j

conf_j∈[conf_i-ε,conf_i+ε]

两个目标的交并比IOU_ij超过预设阈值th_IOU

表明t_j为t_i在相同位置的复现，将t_i的重叠次数olp_i增1；

其中IOU_ij的定义为：

式中，S(t_i∩t_j)表示两个目标相交区域的面积，S(t_i∪t_j)表示在两个目标存在重叠的情况下，两个目标在图像中组成连通区域的总面积，IOU_ij∈[0,1]，若两个目标完全重叠，则IOU_ij＝1，若两个目标不相交，则IOU_ij＝0；

之后输出在固定位置重复出现次数超过预设阈值th_o的目标集合Τ_s：

Τ_s＝{t_Si|olp_i≥th_o,t_Si∈Τ_r}。

进一步地，在其中一个实施例中，步骤7所述利用步骤6输出的目标集合，通过搜索目标集合中外接矩形相交或相距距离小于预设阈值的目标子集，对目标的聚集性进行鉴别，输出由呈现聚集性的目标子集组成的集合，具体包括：

步骤7-1，遍历搜索目标集合Τ_s中外接矩形相交或相距距离小于预设阈值、且呈现“聚集性”的目标子集

即对于每个

其元素具有以下特性：

以下两个条件至少有1个成立：

条件1：

与

相交，或者二者的距离d_e(t_i,t_j)≤th_dn，th_dn为外接矩形距离阈值；

条件2：

序列

中前后两两元素满足条件1，且

与

与

也满足条件1；

步骤7-2，输出所有的目标子集的集合

进一步地，在其中一个实施例中，步骤8所述对步骤7输出的目标子集中的目标类别进行判别，选择包含2种及以上关键目标类别的目标子集，并将该目标子集中所有目标的共同边界矩形作为定位违法设摊事件的区域输出，具体过程包括：

步骤8-1，确定2种及以上关键目标类别，分别记为第一关键目标类别、第二关键目标类别...；

步骤8-2，根据步骤7的输出结果T^CAND，判断聚集目标中是否包含有上述关键目标类别，即对于每个

其元素需同时满足以下两个条件：

条件1：

其类别

为第一关键目标类别；

条件2：

且

其类别

属于其他关键目标类别；

由此认为

包含有违法设摊事件，将其标记为

步骤8-3，将包含

中所有目标的最小边界矩形作为违法设摊事件的区域输出。

作为一种具体示例，在其中一个实施例中，对本发明进行进一步验证说明。结合图2，本实施例包括以下内容：

首先，将按照本方法开发的违法设摊事件检测软件(或软件模块)部署到接入公路管理部门专用网络的计算机(或服务器上)，通过以太网等方式接入路网视频流，即可进行违法设摊事件视频检测，具体检测实施方法如下：

步骤1，接入公路网监控视频流，在本实例中，可通过公路管理部门的业务专网接入RTSP(Real-Time Stream Protocol)协议的实时视频流，然后，对视频流进行解码，每秒循环读取1帧视频图像，并对视频图像进行预处理，在本实例中，使用安装有1块Nvidia2080Ti GPU显卡的服务器进行智能分析处理，为平衡处理速度与识别精度，将视频尺寸缩减为1280像素宽、720像素高。预处理后的第k个视频帧可表示为：f_k(x,y)，其中

x∈{0,1,2，…，1279}、y∈{0,1,2，…，719}分别为图像宽度轴和高度轴上的坐标。

步骤2，读取步骤1输出的视频图像帧f_k(x,y)，利用动目标提取方法检测图像中是否有运动目标，在本实例中，首先，将输入图像f_k(x,y)转换为灰度图g_k(x,y)，采用加权方法通过f_k(x,y)的三个颜色通道得到灰度图，如下式所示。

g_k(x,y)＝0.299R_k(x,y)+0.578G_k(x,y)+0.114B_k(x,y)

其中，R_k(x,y)、G_k(x,y)、B_k(x,y)分别表示f_k(x,y)中对应于红、绿、蓝3个颜色通道的值。对g_k(x,y)进行形态学滤波，降低噪声干扰，如下式所示。

其中，b为滤波核，可根据处理图像尺寸与场景实际需求进行选择，本实例中采用Opencv中尺寸为5×5的预定义椭圆滤波核。

然后，使用ViBe(Visual Background Extractor)方法检测图像

中的运动前景图像，当检测到有运动目标时，提取运动目标的轮廓，得到运动目标的轮廓集合{cnt_i}，其中各轮廓由连成该轮廓的若干个点组成：cnt_i＝{p_im}＝{(x_im,y_im)}，p_im＝(x_im,y_im)；

计算所有运动目标轮廓的总面积S_Cnts：

S_Cnts＝∑_iS(cnt_i)

式中，S(x)表示计算x的面积；

当运动目标的总面积超过阈值th_Cnts时(在本实例中，此阈值按照经验设定为100)，重复步骤1到步骤2，直到图像帧中的运动目标总面积低于预设阈值，此时，认为这一帧图像f_k(x,y)包含的运动目标所占区域较小，利用这一帧图像进行分割可以获得比较完整的路面区域。将这一帧图像f_k(x,y)标示为f_B(x,y)输出给步骤3。

步骤3，在本实例中，利用基于深度学习的Deeplabv3+图像语义分割方法，对步骤2输出的图像f_B(x,y)进行分割。首先，对图像的颜色通道进行转换，将Opencv读取的视频帧由原来的BGR颜色通道模式，转换为适用于Deeplabv3+的RGB颜色通道模式；然后，将完成颜色通道转换的图像送入Deeplabv3+模型进行分割，得到分割结果l(x,y)，从中提取对应值为0的区域r_Mask(x,y)：

搜索r_Mask(x,y)中的轮廓，并得到包含区域面积最大的轮廓cnt_r＝{p_rm}＝{(x_rm,y_rm)}，p_rm＝(x_rm,y_rm)为构成轮廓的坐标点，

将该轮廓cnt_r包含的区域作为当前摄像头观测视场内的道路区域。

步骤2与步骤3只执行1次，不对道路路面区域进行重复提取。

步骤4，在本实例中，完成步骤3之后，利用基于深度学习的Yolov3图像检测算法，对步骤1输出的每一帧视频图像进行目标识别，提取公路视频巡查场景下，图像中与违法设摊事件密切相关的目标，这里包括：人、小汽车、货车、摩托车、遮阳伞，得到目标数据集Τ＝{t_i}，其中，第i个目标信息为t_i＝{p_i0,p_i1,p_i2,p_i3,class_i,conf_i,olp_i}，

p_i0＝{x_left,y_top}、p_i1＝{x_right,y_top}、p_i2＝{x_left,y_bottom}、p_i3＝{x_right,y_bottom}为目标边界矩形四个角点的坐标；class_i为第i个目标所属的类别，在本实例中，class_i∈Cla＝{'person','car','truck','motorbike','umbrella'}；conf_i为第i个目标的置信概率，conf_i∈(0,1]，olp_i表示目标t_i在固定位置重复出现的次数。

步骤5，利用步骤3中提取的道路区域对步骤4提取的目标集Τ进行过滤，仅保留与路面区域相交，或者距离路面区域在预设范围内的目标。目标与路面区域的距离由下式定义：

其中，两点距离由欧式距离计算得到：

d_mn(p_m,p_n)＝((x_m-x_n)²+(y_m-y_n)²)^1/2。

保留Τ中与路面区域相交，或d_e(t_i,cnt_r)≤th_dr的目标，其中，阈值th_dr可根据经验与检测场景进行选择，在本实例中，th_dr选择为图像帧高度的5％。将本步骤输出的目标集合记为Τ_r。

步骤6，基于组成违法设摊的目标会在图像中的固定位置持续出现的特点，重复步骤1、步骤4、步骤5，并记录步骤5输出的每一个目标在图像中相同位置出现的次数olp_i。

在本实例中，对于目标重复出现次数的判定方式如下：假设t_i为第k_i帧图像中检测到的目标，t_j为k_j帧图像中检测到的目标，

且k_j＞k_i，若同时满足下述条件：

class_i＝class_j

conf_j∈[conf_i-ε,conf_i+ε]

两个目标的交并比IOU_ij超过预设阈值th_IOU

表明t_j为t_i在相同位置的复现，将t_i的重叠次数olp_i增1；(ε为目标置信概率的较小偏移量，在本实例中ε∈(0,0.2]，th_IOU根据实际使用场景和经验选取，本实例中th_IOU＝0.9)；

其中IOU_ij的定义为：

式中，S(t_i∩t_j)表示两个目标相交区域的面积，S(t_i∪t_j)表示在两个目标存在重叠的情况下，两个目标在图像中组成连通区域的总面积，IOU_ij∈[0,1]，若两个目标完全重叠，则IOU_ij＝1，若两个目标不相交，则IOU_ij＝0；

之后输出在固定位置重复出现次数超过预设阈值th_o(该阈值可根据实际使用场景和经验选取，在本实例中，设定该阈值为30)的目标集合Τ_s：

Τ_s＝{t_Si|olp_i≥th_o,t_Si∈Τ_r}。

步骤7，利用步骤6输出的目标集合Τ_s，对目标的聚集性进行鉴别，在本实例中，借鉴密度聚类算法(DBSCAN,Density-Based Spatial Clustering of Applications withNoise)的思想，遍历搜索目标集合Τ_s中相交或相距较近、且呈现“聚集性”的目标子集

使得输出的每个

其元素具有以下特性：

以下两个条件至少有1个成立。

条件1：

与

相交，或者二者的距离d_e(t_i,t_j)≤th_dn，d_e(t_i,t_j)≤th_dn可根据实际使用场景和经验选取，在本实例中，设定该阈值为图像帧高度的5％；

条件2：

序列

中前后两两元素满足条件1，且

与

与

也满足条件1；

完成搜索后，输出所有的目标子集的集合

步骤8，本步骤根据应用场景的特点，从T^CAND中比对挑选包含违法设摊关键目标类别的元素

输出。本实例考虑的是公路网应用场景，在此场景下，违法设摊事件通常由2个及以上聚集性目标组成，且在构成违法设摊的目标中，包含两个关键要素，关键要素1：类别为人(person)的目标；关键要素2：货车(truck)和遮阳伞(umbrella)这2种目标中的至少会出现1种，因此，本实例在对聚集目标进行判断的时候，根据步骤7的输出结果T^CAND，判断聚集目标中是否包含有上述两个关键要素，即对于每个

其元素需同时满足以下两个条件：

条件1：

其类别

条件2：

且

其类别

至此，认为

包含有违法设摊事件，将其标记为

并将包含

中所有目标的最小边界矩形作为违法设摊事件的区域输出。

本方法能够对公路网实时视频数据进行智能分析，自动检测判别视频中是否有违法设摊事件出现，可以有效提高公路违法设摊事件的检测效率，降低事件漏报风险，缩短事件处置延迟，减少公路管理部门巡查管理的成本投入，为保障路网畅通安全提供支撑。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种公路违法设摊事件视频检测方法，其特征在于，所述方法包括以下步骤：

步骤1，接入公路网监控视频，对视频流进行解码，按帧或按需跳帧读取视频图像，并根据处理硬件资源条件，对视频图像进行预处理；该步骤通过循环的方式不断为后续处理提供经过预处理的视频图像数据；

步骤2，读取步骤1输出的视频图像帧，检测图像中是否有运动目标，若有，提取其轮廓，并计算所有运动目标轮廓面积之和，当该总面积超过预设阈值，则重复步骤1到步骤2，直到图像帧中的运动目标轮廓总面积低于预设阈值，输出该图像帧；若没有，则输出当前图像帧；

步骤3，提取当前摄像头观测范围内的道路区域；

步骤4，对步骤1输出的每一帧视频图像进行目标识别，提取图像中与违法设摊事件相关性满足预设阈值的目标数据集Τ；

步骤5，利用步骤3提取的道路区域对步骤4提取的目标集Τ进行过滤，仅保留与路面区域相交，或者距离路面区域在预设范围内的目标，输出目标集合Τ_r；

步骤6，重复步骤1、步骤4、步骤5，并记录步骤5输出的每一个目标在图像中相同位置出现的次数，并输出在固定位置重复出现次数超过预设阈值的目标集合；

步骤7，利用步骤6输出的目标集合，通过搜索目标集合中外接矩形相交或相距距离小于预设阈值的目标子集，对目标的聚集性进行鉴别，输出由呈现聚集性的目标子集组成的集合；

步骤8，对步骤7输出的目标子集中的目标类别进行判别，选择包含2种及以上关键目标类别的目标子集，并将该目标子集中所有目标的共同边界矩形作为定位违法设摊事件的区域输出。

2.根据权利要求1所述的公路违法设摊事件视频检测方法，其特征在于，步骤1中所述预处理包括将图像尺寸缩放至处理硬件资源条件能够处理的图像尺寸、遮蔽图像中带固定字幕的区域。

3.根据权利要求2所述的公路违法设摊事件视频检测方法，其特征在于，步骤2的具体过程包括：

步骤2-1，将步骤1输出的视频图像f_k(x,y)转换为灰度图g_k(x,y)；

步骤2-2，对所述灰度图g_k(x,y)进行形态学滤波，公式如下：

式中，b为滤波核；

步骤2-3，利用运动目标提取或运动前景提取方法检测图像

中的运动前景图像，检测到有运动目标时，提取运动目标的轮廓，获得运动目标的轮廓集合{cnt_i}，其中各轮廓由连成该轮廓的若干个点构成：cnt_i＝{p_im}＝{(x_im,y_im)}，p_im＝(x_im,y_im)为构成轮廓的坐标点，

若没有检测到运动目标，则输出当前图像帧；

步骤2-4，计算所有运动目标轮廓的总面积S_Cnts：

S_Cnts＝∑_iS(cnt_i)

式中，S(x)表示计算x的面积；

步骤2-5，运动目标轮廓的总面积超过预设阈值th_Cnts时，重复步骤1到步骤2，直至图像帧中的运动目标总面积低于预设阈值，将当前帧图像f_k(x,y)标示为f_B(x,y)输出给步骤3。

4.根据权利要求3所述的公路违法设摊事件视频检测方法，其特征在于，步骤3所述提取当前摄像头观测范围内的道路区域，具体过程包括：

步骤3-1，利用基于深度学习的图像语义分割方法，对步骤2输出的图像进行语义分割，获得分割结果l(x,y)；

步骤3-2，从所述l(x,y)中提取对应于取值为路面类别的区域r_Mask(x,y)：

式中，label_Road为路面类型；

步骤3-3，搜索r_Mask(x,y)中的轮廓，并得到包含区域面积最大的轮廓cnt_r＝{p_rm}＝{(x_rm,y_rm)}，p_rm＝(x_rm,y_rm)为构成轮廓的坐标点，

将该轮廓cnt_r包含的区域作为当前摄像头观测视场内的道路区域。

5.根据权利要求4所述的公路违法设摊事件视频检测方法，其特征在于，步骤4所述对步骤1输出的每一帧视频图像进行目标识别，提取图像中与违法设摊事件相关性满足预设阈值的目标数据集Τ，具体包括：

利用基于深度学习的图像检测算法，对步骤1输出的每一帧视频图像进行目标识别；

该步骤获得的目标数据集为Τ＝{t_i}，其中，第i个目标信息为t_i＝{p_i0,p_i1,p_i2,p_i3,class_i,conf_i,olp_i}，

p_i0＝{x_left,y_top}、p_i1＝{x_right,y_top}、p_i2＝{x_left,y_bottom}、p_i3＝{x_right,y_bottom}为目标边界矩形四个角点的坐标；class_i为第i个目标所属的类别，conf_i为第i个目标的置信概率，conf_i∈(0,1]，olp_i表示目标t_i在固定位置重复出现的次数。

6.根据权利要求5所述的公路违法设摊事件视频检测方法，其特征在于，步骤5中目标与路面区域的距离的定义为：

其中，两点距离由欧式距离计算得到：

d_mn(p_m,p_n)＝((x_m-x_n)²+(y_m-y_n)²)^1/2。

7.根据权利要求6所述的公路违法设摊事件视频检测方法，其特征在于，步骤6中目标在固定位置重复出现次数的判定方式如下：

假设t_i为第k_i帧图像中检测到的目标，t_j为k_j帧图像中检测到的目标，

且k_j＞k_i，若同时满足下述条件：

class_i＝class_j

conf_j∈[conf_i-ε,conf_i+ε]

两个目标的交并比IOU_ij超过预设阈值th_IOU

表明t_j为t_i在相同位置的复现，将t_i的重叠次数olp_i增1；

其中IOU_ij的定义为：

式中，S(t_i∩t_j)表示两个目标相交区域的面积，S(t_i∪t_j)表示在两个目标存在重叠的情况下，两个目标在图像中组成连通区域的总面积，IOU_ij∈[0,1]，若两个目标完全重叠，则IOU_ij＝1，若两个目标不相交，则IOU_ij＝0；

之后输出在固定位置重复出现次数超过预设阈值th_o的目标集合Τ_s：

Τ_s＝{t_Si|olp_i≥th_o,t_Si∈Τ_r}。

8.根据权利要求7所述的公路违法设摊事件视频检测方法，其特征在于，步骤7所述利用步骤6输出的目标集合，通过搜索目标集合中外接矩形相交或相距距离小于预设阈值的目标子集，对目标的聚集性进行鉴别，输出由呈现聚集性的目标子集组成的集合，具体包括：

步骤7-1，遍历搜索目标集合Τ_s中外接矩形相交或相距距离小于预设阈值、且呈现“聚集性”的目标子集

即对于每个

其元素具有以下特性：

以下两个条件至少有1个成立：

条件1：

与

相交，或者二者的距离d_e(t_i,t_j)≤th_dn，th_dn为外接矩形距离阈值；

条件2：

序列

中前后两两元素满足条件1，且

与

与

也满足条件1；

步骤7-2，输出所有的目标子集的集合

9.根据权利要求8所述的公路违法设摊事件视频检测方法，其特征在于，步骤8所述对步骤7输出的目标子集中的目标类别进行判别，选择包含2种及以上关键目标类别的目标子集，并将该目标子集中所有目标的共同边界矩形作为定位违法设摊事件的区域输出，具体过程包括：

步骤8-1，确定2种及以上关键目标类别，分别记为第一关键目标类别、第二关键目标类别...；

步骤8-2，根据步骤7的输出结果T^CAND，判断聚集目标中是否包含有上述关键目标类别，即对于每个

其元素需同时满足以下两个条件：

条件1：

其类别

为第一关键目标类别；

条件2：

且

其类别

属于其他关键目标类别；

由此认为

包含有违法设摊事件，将其标记为

步骤8-3，将包含

中所有目标的最小边界矩形作为违法设摊事件的区域输出。

Images