CN106845424B - 基于深度卷积网络的路面遗留物检测方法 - Google Patents

Abstract

基于深度卷积神经网络的路面遗留物检测方法，移动终端检测点作为道路摄像头，移动终端检测点通过摄像头获取图像信息，将深度学习引入路面事件识别并加以改进，以显著提高道路事件识别准确率。本发明利用卷积神经网络对获取的图像进行分析，解决移动摄像机与静止图像目标检测，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面遗留物、路面抛洒物等静态目标。本发明应用于路面遗留物、路面抛洒物等非实时性任务，充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率路面遗留物等路面事件检测。

Description

基于深度卷积网络的路面遗留物检测方法

技术领域

本发明属于深度特征的视频检测技术领域，涉及路面事件的检测，基于Deep-CNN路面反向识别模型进行路面遗留物检测，以及对检测结果的数据分析与数据挖掘，为一种基于深度卷积神经网络(Deep-CNN)的路面遗留物检测方法。

背景技术

道路事故，交通拥堵，环境污染是当今公路交通发展面临的普遍性难题。道路交通安全状况令人堪忧，道路信息化与智能交通系统(Intelligent Transportation System，ITS)是提升道路设施利用效率，缓解交通堵塞，降低交通事故发生率的有效手段。通过计算机视觉技术实时感知道路车速、流量等交通流参数，提供实时路况，并结合历史数据对路网通行状态和出行时间进行预测，以自动视频分析代替人工监看，从海量视频中检测道路异常事件，包括路面遗留物检测、高速公路违法停检测等高危事件，对提高公路信息化水平和公众服务能力都具有非常重要的意义。

发明内容

本发明要解决的问题是：随着道路监控视频数量大幅攀升，仅依靠人工无法实现既有视频资源有效管理。通过计算机视频分析自动分析交通监控视频，提取交通参数，自动发现并主动上报异常事件，可大幅减少交通管理的人力成本，提高管理水平与事件应急响应能力。

本发明的技术方案为：基于深度卷积神经网络的路面反向识别方法，基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别方法反向识别高速公路路面遗留物，包括以下步骤：

Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI_路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；

Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；

Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；

Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行路面遗留物检测。

所述的路面遗留物检测具体为：

Step1.1：对实时视频图像中路面设置关注区域ROI_关注，视频窗口图像网格化后，根据路面—非路面识别模型分类；

Step1.2：连通ROI_关注区域内非路面网格图片I_m,n，生成候选目标O_h；

Step1.3：对候选目标O_h分类识别，判定候选目标不属于车辆或行人目标类型；

Step1.4：计算时刻T₀与时刻T_0+t时候选目标的位移，确定目标是否静止；

Step1.5：确定并输出路面遗留物信息。

进一步的，Step1和Step2具体为：

1)设置感兴趣区域ROI_路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的兴趣域ROI_路面，也就是有效检测区域；

2)非检测区域漫水填充：非ROI_路面为非监测区域，进行漫水填充处理，填充后，落在ROI_路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；

3)检测区域ROI_路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI_路面的分块中非路面的网格图片连起来，记为I_p,q，即

I_p,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。

本发明充分利用现有视频监控设施和海量视频数据，可最大限度节省硬件投入，获得更丰富直观的交通数据，满足交通管理与公众服务的数据/信息需求。

考虑到传统背景建模方法不适用于静态目标检测，以及路面遗留物难以使用先验模型构造训练集的情况，前馈式的深度卷积神经网络Deep-CNN更易于训练且泛化性能良好。本发明建立了基于Deep-CNN的反向路面识别模型，利用Deep-CNN路面模型解决移动摄像机与静止图像目标检测，主要应用于路面遗留物、抛洒物等非实时性任务。与地感线圈、雷达等传统技术相比，监控视频含有路面、车辆、路面遗留物等图像信息，通过CNN神经网络提取上述特征并基于Deep-CNN路面反向识别模型分析路面遗留物、抛洒物等异常事件信息，识别道路事故并及时发送图文报警，提供比传统车检设备更丰富的道路事件信息。

本发明在监测区域大范围部署移动终端，形成移动终端检测点，通过移动通信设备或道路监控进行交互式标定，确定摄像头参数后，使用摄像头采集图像，利用CNN神经网络对采集的图像作进一步分析，获得当前每个图像的ROI数据，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面遗留物、路面抛洒物等静态目标。

本发明移动终端检测点为道路摄像头，自身价格低廉，充分利用移动互联网优势，不需要昂贵的监测仪器设备，只需道路上现成的摄像头，可大范围部署，现场检测路面信息通过移动互联网传输至服务器。充分利用移动互联网的特点与优势，以低成本实现区域高覆盖率路面事件检测。

附图说明

图1为本发明基于Deep-CNN反向识别路面事件检测流程图

图2为本发明使用的Deep-CNN模型原理。(a)Softplus与ReLU激活函数(b)Deep-CNN网络结构。

图3为本发明Deep-CNN路面识别模型检测图。(a)ROI检测区域划分(b)漫水法填充清除非ROI区域像素(c)网格化Deep-CNN输入及目标检测。

图4为本发明移动终端单帧照片路面检测训练图。(a)手持移动终端照片(b)车道ROI区域路面检测效果。

图5为本发明实施的选取江苏省宁连高速公路场景进行路面遗留物测试效果图。

具体实施方式

本发明将深度学习引入路面事件识别并加以改进，可显著提高道路事件识别准确度。考虑到背景建模方法不适用于静态目标检测，以及路面遗留物难以使用先验模型构造训练集的情况。本发明建立了基于深度卷积神经网络Deep-CNN的路面遗留物检测，移动终端检测点为道路摄像头，移动终端检测点通过摄像头获取图像信息，利用CNN神经网络对获取的图像进行分析，本发明将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路路面遗留物、路面抛洒物等静态目标。

本发明构建了基于Deep-CNN网络的分层道路事件识别框架：

其基本思想是分层识别，通过路面—非路面识别，进而反向识别路面目标物，路面反向识别过程为：

首先进行路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)网格化分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面。

然后进行非路面前景模型训练，将被分为非路面的网格图片块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等。

对道路进行实时检测时，首先进行前景目标检测，在之前的路面识别模型基础上实现运动与静态前景目标检测与分类。

最后进行行为分析，在前景目标检测基础上，根据目标在视频图像序列中的上下文信息，进行路面遗留物检测。

所述的路面遗留物检测具体实现于以下步骤：

Step1.1：对实时视频图像中路面设置关注区域ROI_关注，视频窗口图像网格化后，根据路面—非路面识别模型分类；

Step1.2：连通ROI_关注区域内非路面网格图片I_m,n，生成候选目标O_h；

Step1.3：对候选目标O_h分类识别，判定候选目标不属于车辆或行人目标类型；

Step1.4：计算时刻T₀与时刻T_0+t时候选目标的位移，确定目标是否静止；

Step1.5：确定并输出路面遗留物信息。

下面通过具体实施例进一步说明本发明的实施。

本发明的流程示意图如图1所示，通过移动终端道路摄像机获取视频图片，进行CNN处理训练分类进行路面事件检测：

Step1：路面模型训练，将视频窗口的感兴趣区域(Region of Interest,ROI)分割成多个小块，标准化后作为Deep-CNN网络的训练集，考虑到路面模型由路面沥青、路面车道、护栏等组成，图像外观差异较大，强制标注为单独一类容易引起过拟合，故而采用无监督方法训练获取图像特征，聚类后再以多类标签人工方式标记路面，保证准确区分路面与非路面；

Step2：非路面前景模型训练，将被分为非路面的分割小块按连通区域组合成候选目标加入训练库，再次Deep-CNN网络训练，分级训练路面目标，包括车辆、路面遗留物、行人等；

Step3：前景目标检测，在step1、step2路面识别模型基础上实现运动与静态前景目标检测与分类；

Step4：行为分析，在前景目标分类识别基础上，根据上下文信息，进行路面遗留物检测。

深度卷积神经网络Deep-CNN的网络模型原理如图2所示，包括：

1)类生物神经激活函数：

神经科学家认为人脑信号接收过程实质上是神经触突对外界输入信号的激活响应，神经元结点兴奋可以看作一次函数激活，对外界刺激做出反映结点值为1，否则为0。对脑电波受输入刺激的能量测量实验发现，外界刺激与神经元结点响应的模式是稀疏的，即大量刺激信号下只有一部分神经元结点是激活的，接收到外界信息同一时间只有约1％～4％的神经元处于活跃状态。2001年，神经科学家Dayan和Abott从生物学角度，提出模拟出了脑神经元信号接受与激活响应模型。为了便于计算，Glorot等人提出了适应于机器学习多层神经网络的校正非线性激活函数Softplus，近似替代神经元模型。

Softplus函数定义为：

SortPlus(x)＝log(1+exp(x)) (1)

校正线性激活函数(Rectified Linear Units，ReLU)是Softplus的线性简化版本，定义为：

ReLU(x)＝max(0，x) (2)

ReLU函数求导非常简单，当x>0时导数为1，否则为0，求导公式为可表示为：

Softplus与ReLU激活函数的曲线分布如图2(a)

2)网络结构

图2(b)为多层CNN网络结构包含输入层、隐含层和输出层等基本层次，隐含层由多个卷积—池化子层叠加而成，上一层的输出作为下一层的输入。每次卷积计算后使用ReLU函数激活结点，由于ReLU函数的求导特征，初始值经过ReLU梯度计算后部分结点的权值被置为0，这被分0值权重的部分结点不被激活，使得网络结构具有稀疏性。稀疏性网络结构符合生物神经的本质，在数学计算中也具有实际优势，如减少参数复杂度，提高运算效率，并可以有效防止过拟合现象发生。

整个过程包括以下具体操作：

基于Caffe实现提出的Deep-CNN路面识别模型，以路面模型反向提取候选目标，分类后用于实现路面遗留物、抛洒物检测。

假设输入图像尺寸为w×h，使用步长s将图像网格化为(w/s)×(h/s)个小块，表示成矩阵序列A_ij(i＝1,2,3…w/s；j＝1,2,3…h/s)，步长s的像素宽度约为车道的1/4宽度。

检测兴趣区域ROI_路面为点{x1，y1；x2，y2；x3，y3；x4.y4；x1，y1}围成的封闭检测区域，则A_ROI∈ROI_路面为检测区域内矩阵网格。

将路面模型的A_ROI图像块送入Deep-CNN训练，使用无监督方法，提取路面模块特征后进行聚类，将路面聚类为沥青表面、车道线标记、护栏等子类型，标记为“路面1”～“路面n”(n<4)。为提高路面模型样本覆盖，网格化图像过程采用向下、向右偏移部分像素采样方法，共得到3×(w/s)×(h/s)个路面样本。

输入图像网格化后，构造对应分类矩阵，位于路面非检测区域的网格图片直接使用漫水法将像素置为0，非覆没区网格矩阵

初始化为-1，检测区域网格图像块由Deep-CNN路面模型分类后，输出分类结果矩阵

由于难以使用先验知识构建路面遗留物经验模型，本发明采用路面—非路识别，反向实现前景检测与分类。提取前景由C_ROI＝1的连通矩阵子块构成候选目标，使用Deep-CNN目标网络将前景聚类为车辆、行人、其他目标(可能为路面遗留物)。

图3演示了Deep-CNN路面模型实现过程，图3(a)中标注了兴趣域，即检测区域，使用4个顶点生成封闭的ROI检测区，图3(b)为非检测区漫水填充，漫水法填充后，网格图片块I_i,j落在ROI区域外的网格图片像素均值为0，可在送入Deep-CNN前直接过滤。检测区ROI图片块经Deep-CNN分类结果为路面或非路面。将ROI_路面的分块中非路面的网格图片连起来，记为I_p,q，即

如图3(c)加粗标记区域所示，I_p,q组成候选目标，送入分类器，分类为车辆、行人或其他不明确目标(即路面遗留物)。

图4演示了手持终端移动照片路面检测情况，图4(a)为原始照片，使用车道线直线检测提取ROI检测区域，并将非ROI区域使用漫水法填充为黑色，以减轻分类器负担，如图4(b)所示，路面下水井盖，立锥路障，减速带都被检测成非路面。对常规路面设施，如井盖、路障等，可提取前景图像至训练样本集中直接训练检测模型。

根据上述路面遗留物检测流程，使用Deep-CNN检测出非路面前景目标

前景目标二次分类结果为其他，即非车辆、非行人。取时间间隔t＝3S(75帧)，设目标移动阈值

计算

在网格矩阵中的位移距离，判定路面模型中检测出前景为静止状态，确定前景目标为道路遗留物，如图5所示。

Claims (3)

1.基于深度卷积神经网络的路面遗留物检测方法，其特征是基于深度卷积神经网络Deep-CNN网络模型，Deep-CNN网络模型将路面感兴趣区域划分为多个网格，构建路面—非路面识别模型，通过非路面网格反向识别方法反向识别高速公路路面遗留物，包括以下步骤：

Step1：路面模型训练，采集道路摄像头的视频图像，将视频窗口中路面的感兴趣区域ROI_路面网格化分割成多个小块，标准化后作为Deep-CNN网络模型的训练集，训练时首先采用无监督方法训练获取图像特征，聚类后再设置标签，人工方式标记路面类型，区分路面与非路面，得到路面—非路面识别模型；

Step2：非路面前景模型训练，将被分为非路面的网格图片按连通区域组合成候选目标加入训练库，再次采用Deep-CNN网络模型进行训练，分级训练路面目标，所述路面目标包括车辆、路面遗留物和行人，得到前景识别模型；

Step3：前景目标检测，在step1及step2的识别模型基础上，对实时视频图像使用Deep-CNN网络模型和SVM分类器实现前景目标的检测与分类，先识别路面非路面，再识别出前景目标的类型；

Step4：行为分析，在前景目标分类识别基础上，根据前景目标在视频图像序列中的上下文信息，进行路面遗留物检测。

2.根据权利要求1所述的基于深度卷积神经网络的路面遗留物检测方法，其特征是所述的路面遗留物检测具体为：

Step1.1：对实时视频图像中路面设置关注区域ROI_关注，视频窗口图像网格化后，根据路面—非路面识别模型分类；

Step1.2：连通ROI_关注区域内非路面网格图片I_m,n，生成候选目标O_h；

Step1.3：对候选目标O_h分类识别，判定候选目标不属于车辆或行人目标类型；

Step1.4：计算时刻T₀与时刻T_0+t时候选目标的位移，确定目标是否静止；

Step1.5：确定并输出路面遗留物信息。

3.根据权利要求1所述的基于深度卷积神经网络的路面遗留物检测方法，其特征是Step1和Step2具体为：

1)设置感兴趣区域ROI_路面：采集道路或街景监控器的视频图像，获得道路或街景视频帧图像，根据实际的道路或街景状况，在当前帧图像上提取关注区域的边界对角4个点，对所提取的点进行直线拟合计算，形成叉形结构，叉形结构内作为检测的感兴趣区域ROI_路面，也就是有效检测区域；

2)非检测区域漫水填充：非ROI_路面为非检测区域，进行漫水填充处理，填充后，落在ROI_路面区域外的网格图片像素均值为0，直接滤除不再进行后续处理；

3)检测区域ROI_路面网格化分块，网格图片经Deep-CNN分类结果为路面或非路面，将ROI_路面的分块中非路面的网格图片连起来，记为I_p,q，即

I_p,q组成候选目标，送入分类器，分类为车辆、行人或路面遗留物。

Images