CN103971521A - 道路交通异常事件实时检测方法及装置 - Google Patents

Abstract

本发明提出一种道路交通异常事件实时检测方法及装置。其中方法包括：对道路进行监控，获取连续多帧监控图像；从监控图像中提取亮白色线段，并处理得到车道线和车道消失点，建立车道模型；根据车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测双向检测区域中的运动目标，并确定运动目标的位置；根据连续多帧监控图像中运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立运动目标和实际车辆的映射关系，得到实际车辆的行驶轨迹与行驶速度；根据预存的道路交通异常行为的语义模型，对车道模型以及实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。本发明具有智能化、精度高等优点。

Description

道路交通异常事件实时检测方法及装置

技术领域

本发明属视频监控领域，具体涉及一种道路交通异常事件实时检测方法及装置。

背景技术

基于视频监控的高速公路车辆异常事件检测技术能够极大地减轻监控人员的劳动强度，降低漏检率，提高检测的实时性，在高速公路安全方面具有良好的应用前景。目前交通车辆异常行为检测着重于建立异常行为模型，依据模型分析车辆的行为。按建模的方法可分为三类，模式识别模型、状态模型和语义模型。模式识别通过对车辆轨迹和行为特征的分析建立车辆行为模式判定异常。算法简单直接，事件检测率高，但是无法精确检测某一类型的事件。状态识别使用轨迹分类，隐马尔科夫模型进行事件判别。这种算法对行为的表示力强，但模型过于复杂，处理空间时间复杂度高。语义识别用运动行为描述子描述前景目标的运动，以此建立行为矢量图判定异常。这种方法简单高效，灵活度高，但很难准确通过语义对异常行为进行描述。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种道路交通异常事件实时检测方法及装置。

根据本发明第一方面的道路交通异常事件实时检测方法，其特征在于，包括以下步骤：A.对道路进行监控，获取连续多帧监控图像；B.从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；C.根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；D.根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；E.根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。

由上可知，根据本发明实施例道路交通异常事件实时检测方法，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。

根据本发明的一个实施例，所述步骤B包括以下步骤：B1.采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段,X为正整数；B2.将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点；B3.将重复B1-B2多次以完成连续多帧所述监控图像的处理，将出现次数最多的所述帧图像消失点作为最终的实际消失点；B4.将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；B5.计算相邻两条所述候选车道线的夹角,将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；B6.将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。

根据本发明的一个实施例，所述步骤C包括以下步骤：C1.采用高斯混合模型从连续多帧所述监控图像中提出背景模型；C2.将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；C3.将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；C4.将所述区域最小外接矩形的中心作为运动目标的质心位置。

根据本发明的一个实施例，所述步骤D包括以下步骤：D1.根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；D2.根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；D3.建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。

根据本发明的一个实施例，所述道路交通异常行为包括：逆向行驶、撞车事故、车辆超速和停车事件。

根据本发明第二方面的道路交通异常事件实时检测装置，其特征在于，包括以下部分：监控图像获取模块，用于对道路进行监控，获取连续多帧监控图像；车道模型建模模块，用于从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；运动目标定位模块，用于根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；运动目标追踪模块，用于根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；语义判断模块，用于根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。

由上可知，根据本发明实施例道路交通异常事件实时检测装置，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。

根据本发明的一个实施例，所述车道模型建模模块包括以下部分：长线段获取模块，用于采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段；实际消失点获取模块，用于将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点，然后将连续多帧所述监控图像中出现次数最多的所述帧图像消失点作为最终的实际消失点；候选车道线获取模块，用于将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；实际车道线获取模块，用于计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；车道划分模块，用于将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。

根据本发明的一个实施例，所述运动目标定位模块包括以下部分：背景提取模块，用于采用高斯混合模型从连续多帧所述监控图像中提出背景模型；差分处理模块，用于将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；外接矩形获取模块，用于将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；质心获取模块，用于将所述区域最小外接矩形的中心作为运动目标的质心位置。

根据本发明的一个实施例，所述运动目标追踪模块包括以下部分：第一合并模块，用于根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；第二合并模块，用于根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；映射建立模块，用于建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。

根据本发明的一个实施例，所述道路交通异常行为包括：逆向行驶、撞车事故、车辆超速和停车事件。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的道路交通异常事件实时检测的总体原理图；

图2为本发明实施例的道路交通异常事件实时检测方法的流程图；

图3为本发明实施例一种道路交通异常事件实时检测方法的硬件配置原理框图；

图4为本发明实施例一种道路交通异常事件实时检测方法的监控图像示意图；

图5为本发明实施例的道路交通异常事件实时检测方法的车道模型示意图；

图6为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中交叠关系示意图；

图7为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中避免假消失的跳帧搜索示意图；

图8为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中的合并操作示意图；

图9为本发明实施例的道路交通异常事件实时检测方法的跟踪过程中的分裂操作示意图；

图10为本发明实施例的车辆逆行行为判决流程图；

图11为本发明实施例的车辆逆行行为检测效果图；

图12为本发明实施例的道路交通异常事件实时检测装置的结构框图；

图13为本发明实施例的道路交通异常事件实时检测装置的车道模型建模模块的结构框图；

图14为本发明实施例的道路交通异常事件实时检测装置的运动目标定位模块的结构框图；

图15为本发明实施例的道路交通异常事件实时检测装置的运动目标追踪模块的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为克服现有技术中的难以准确描述异常行为的缺点，以及为了适应图像质量较低而造成运动目标检测效果不稳定的情况，本申请针对高速公路直线车道的情况，结合车道模型及车辆的位置和速度对车辆异常行为进行语义建模，采用基于后验概率的目标检测算法，最终实现高速公路车辆异常行为的实时检测。图1为根据本发明实施例的道路交通异常事件实时检测的总体原理图。

本发明第一方面提出一种道路交通异常事件实时检测方法，如图2所示，可以包括以下步骤：

A.对道路进行监控，获取连续多帧监控图像。

具体地，可以在现有公路视频监控系统的硬件配置保持不变的情况下，在视频监控系统中增加一台交通事件检测与分析的工作站计算机，如图3所示。在计算机内配置图像采集卡与信号量控制卡。图像采集卡以并行方式采集多路信道的视频信号。信号量控制卡用于控制视频切换矩阵，用于选择监控的信道，配合图像采集卡完成对每一路视频信号采集。当检测到监控场景内有车辆异常行为或交通事件时，通过信号量控制卡将信道编码及相关信息输出到视频监控控制器上，在电视视频墙切换出有交通事件的监控场景。

需要说明的是，被监控的道路可以是多车道双向的道路(例如高速公路道路)，也可以是多车道单向道路、单车道双向道路等等，并不加以限制。为了举例更加典型，本申请具体实施例均基于最常见的多车道双向的道路。

需要说明的是，监控图像可以为白天场景，也可以是夜间场景。只不过获取夜间场景下的监控图像需要用到红外摄像机等特殊设备。

B.从监控图像中提取亮白色线段，并基于亮白色线段处理得到车道线和车道消失点，并建立车道模型。

如图4所示，通常道路上的车道线对象具有明显的线结构特征，而白天车道线在光照下呈现亮白色与附近黑色沥青的路面呈现较大的反差，并且车道线本身存在一定的线宽，由此采用梯度十字模板的方法提取亮线段，并进一步处理得到车道线和车道消失点，最终建立车道模型。步骤B具体包括如下步骤：

B1.采用梯度十字模板提取监控图像中的亮白色线段，依据亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个长线段。长线段即由多个上述由梯度十字模板提取的断续的具有共线性与连续性的亮白色线段组成，用来判断消失点的直线。具体过程如下：

B11.采用长度为masksize的十字模板，按水平方向模板读入图像水平方向对应的亮度值，检测垂直方向的线特征对象，提取线段二值图像。

在模板内按水平方向和垂直方向按如下式计算差分值：

dh_(n,j)＝Y(i,n)-Y(i,j)-公式(1)

其中，i,j分别表示模板中心的行列坐标，即当前遍历像素点的位置，Y(i,j)表示的是图像第i行j列的亮度值，dh_(n,j)为水平方向上n列与模板中心j列的梯度值。m＝[i-4,i+4]且m≠i，n＝[j-4,j+4]且n≠j。对于以上模板内的方向差分值，进行如下式运算：

$\left\{\begin{array}{c}H1={\mathrm{\Σ}}_{n=j-4}^{j-1}{\mathrm{dh}}_{(n,j)}\\ H2={\mathrm{\Σ}}_{n=j+1}^{j+4}{\mathrm{dh}}_{(n,j)}\end{array}\right.$ -公式(2)

其中，H1，H2分别为沿方向、方向的区域差分和，用于分析模板中沿两个方向上的区域与模板中心位置亮度变化，实现提取线段二值图像。

B12.采用八邻域连通性搜索线段二值图像，并使用最小外接矩形定位每个连通域，在此基础上将断续的亮白色线段连接成为长线段，剔除长度较短的长线段，保留最长的X个的长线段(例如，保留长度排前30名的30条长线段)。

具体地，采用Gestalt定律作为分析的基础，对于线段的角度采用切线更能反映其角度的变化，依据线段的长度分段计算斜率与截距，用于起始端点与结束端点斜率与截距的计算。当线段角度在-75°～75°之间以左右方向来分析线段之间的关系；当线段角度小于-75°或大于75°之间以上下方向来分析线段之间的关系。

为了减少背景纹理小线段的干扰，同时降低对车道线并列线段的影响，分松紧两种情况来计算Gestalt感知定律搜索最佳合并线段。紧条件下是将受背景纹理影响断续的直线线段合并，而松条件下是将近直线或曲线断续的线段合并。

在紧条件下线段合并时，依据线段方向类型，从小到大排列线段角度，将总的线段分为六组：水平线段组、上偏水平线段组、上偏垂直线段组、下偏水平线段组、下偏垂直线段组、垂直线段组。而在松条件下线段合并是将上述紧条件下合并后的线段分为两组：线段角度在-75°～75°之间的线段组和线段角度在小于-75°或大于75°之间线段组。

合并时，对一组中两条线段计算Gestalt感知定律中的线段之间近似性、连续性和共线性，若符合要求则合并成长线段重新参与迭代。迭代结束后，选取其中最长的30条长线段，其位置所在直线参与车道线提取。

B2.将监控图像的上方区域作为消失点搜索区域，计算消失点搜索区域内每个像素点到各条保留下来的长线段的距离，将距离小于预设距离阈值的次数最多的像素点作为帧图像消失点。

具体地，可以搜索某帧监控图像中上方区域的每个像素点，计算像素点到帧内所有直线(即保留下来的30条长线段所在的直线)的距离小于预设距离阈值(例如，预设距离阈值取值为3)的次数最多的点作为该帧图像的帧图像消失点。

B3.将重复B1-B2多次以完成连续多帧监控图像的处理，将出现次数最多的帧图像消失点作为最终的实际消失点。

具体地，由于监控时长可以无限长、监控图像可以有无数帧。为了简便起见，可以先从前面N帧图像中统计出最可能的实际消失点，从第N+1帧监控图像开始直接沿用前面确定的实际消失点，不再做计算。例如，可以先对前30帧监控图像进行分析，得到了30个帧图像消失点。但这30个帧图像消失点可能有重复(这是由于拍摄场景不变带来的图像重现性)，统计出重复次数最多的帧图像消失点作为实际消失点。从第31帧监控图像开始时，以前30帧中确定的实际消失点作为实际消失点。

B4.将监控图像中通过实际消失点的出现次数最多的Y条长线段作为候选车道线，Y为正整数。

具体地，得到实际消失点之后，在第31帧时，统计前30帧中通过实际消失点并且出现次数最多的20条长线段作为候选车道线。

B5.计算相邻两条候选车道线的夹角,将夹角小于预设夹角阈值的相邻两条候选车道线中斜率较大者剔除，剩下的作为实际车道线。

如图4可知，实际道路中车道线的特点是：在左半幅图中车道线的斜率为正数，从左向右越来越大；在右半幅图中车道线的斜率为负数，从左到右越来越大(绝对值越来越小)。

因此，对前一步骤得到的20条候选车道线按其斜率先正后负依次从小到大排列。然后计算队列中相邻两根候选车道线的夹角，若夹角过小(例如小于2°)则说明二者可能实际对应于同一条实际车道线，应当删除斜率较大的线以避免重复。这样，剩下的就是实际车道线。

B6.将多条实际车道线按相邻每两条实际车道线组成一个车道，以建立车道模型。

具体地，将实际车道线按斜率正负归类，定义斜率为正的相邻两条实际车道线组成一个车道，属于左车道区域，对应的行驶正方向为Y轴负方向；定义斜率为负的相邻两条实际车道线组成一个车道，属于右车道区域，对应的行驶正方向为Y轴正方向，最后将车道内的区域定义检测区域，车道模型建立成功，如图5所示。

C.根据车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测双向检测区域中的运动目标，并确定运动目标的位置。

步骤C可以包括以下步骤：C1.采用高斯混合模型从连续多帧监控图像中提出背景模型；C2.将监控图像与背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；C3.将监控图像中运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；C4.将区域最小外接矩形的中心作为运动目标的质心位置。

具体地，相对来说，背景在一段时间内出现的频率比较高，权重较大，而且颜色更集中；前景出现时间较短，权重较小。对每个像素建立高斯混合模型，根据权重ωk和标准差σ_k，先将K个高斯分布按ω_k/σ_k从大到小排列，将前面b个模型被选择为背景，其他模型被视为前景。

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T)$ -公式(3)

其中，常数T代表整个视频中背景出现的概率；每一个新采样的像素值Xt与该像素点现存的K个高斯分布依次进行匹配，如果Xt与任何一个高斯分布相匹配，则Xt被判为背景像素，如果Xt与所有高斯分布均无法匹配，则Xt被判为前景像素。将图像中前景像素点进行八连通域搜索，框定每个区域最小外接矩形；将所述区域最小外接矩形blob的中心作为运动目标的质心位置。

D.根据连续多帧监控图像中运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立运动目标和实际车辆的映射关系，得到实际车辆的行驶轨迹与行驶速度。

换言之，利用相互最邻近目标这个原则来估计帧与帧之间运动目标的轨迹，得到一系列的运动对象和他们之间的联系(主要联系和次要联系)，进而得到一张定向图代表了视频序列中有位置、有轨迹的前景目标。运动目标就是图中的结点而图中的弧线就是他们之间的关系，这张运动图就是跟踪过程中输出的结果。具体包括以下步骤：

D1.根据同一帧监控图像中的运动目标位置，建立空间上的区域交叠关系，对运动目标进行区域合并。

采用空间关系去噪方法，在同一帧图像中利用运动目标的位置和大小信息去除噪声或合并属于同一物体的小块blob，确保在视角一定的情况下，除去遮挡的情况，在某一物体所在的blob区域内，不可能有其他物体的存在。即若式(4)成立，则将blob合并，合并后blob区域为两者的并集。

$\left\{\begin{array}{c}|x_{(k,i)}-x_{(k,j)}|<\frac{{\mathrm{width}}_{(k,i)}+{\mathrm{width}}_{(k,j)}}{2}+C_w\\ |y_{(k,i)}-y_{(k,j)}|<\frac{{\mathrm{height}}_{(k,i)}+{\mathrm{height}}_{(k,j)}}{2}+C_h\end{array}\right.$ -公式(4)

其中，(x_(k,i),y_(k,i))表示第K帧中i号blob的中心点，width_(k,i)，height_(k,i)分别表示第K帧中i号blob的宽和高；(x_(k,j),y_(k,j))表示第K帧中j号blob的中心点，width_(k,j)，height_(k,j)分别表示第K帧中j号blob的宽和高；C_w和C_h为可调参数，分别表示i，j两blob邻近边的x轴方向和y轴方向合并的最小距离。由于公路上摄像机视角的原因，将表示y轴方向距离的C_h设置较大，可设为3～5，而表示x轴方向距离的C_w设置较小，可设为0～1。

D2.根据连续多帧监控图像中运动目标位置，建立时间上的区域交叠关系，对运动目标进行区域分裂合并。

其次，在空间关系去噪后，大多数运动目标与实际物体之间建立了一一对应关系，但是少部分目标仍存在一对多和多对一的不稳定情况，如车辆之间的遮挡和大型目标检测中运动目标分裂。为此进行时间关系去噪。时间关系去噪即是利用相邻2帧运动目标之间的位置和大小关系，利用物体匀速运动预测跟踪的方法，建立表示相邻帧blob包含关系的图，称为茎干图，如图6所示，用以消除运动目标的分裂和合并的不稳定现象。

设第K帧i号blob的中心点(x_(k,i),y_(k,i))，宽width_(k,i)，高height_(k,i)，x、y轴方向位移矢量分别为vx_(k,i)、vy_(k,i)；第K+1帧j号blob的中心点(x_(k+1,i),y_(k+1,i))，宽width_(k+1,j)，高height_(k+1,j)。假设物体匀速运动，则第K帧i号blob预测在K+1帧中位置：

$\left\{\begin{array}{c}{x}_{(k+1,i)}^{\&prime;}=x_{(k,i)}+{\mathrm{vx}}_{(k,i)}\\ y_{(k+1,i)}^{\&prime;}=y_{(k,i)}+{\mathrm{vy}}_{(k,i)}\end{array}\right.$ -公式(5)

$\left\{\begin{array}{c}|x_{(k+1,i)}^{\&prime;}-x_{(k+1,j)}|<\frac{{\mathrm{width}}_{(k,i)}+{\mathrm{width}}_{(k+1,j)}}{2}+C_w\\ |y_{(k+1,i)}^{\&prime;}-y_{(k+1,j)}|<\frac{{\mathrm{height}}_{(k,i)}+{\mathrm{height}}_{(k+1,j)}}{2}+C_h\end{array}\right.$ -公式(6)

若式(6)成立，则称第K帧i号与第K+1帧j号blob建立一个包含关系，其中C_w和C_h含义与式(4)相同，位置预测过程中认为相邻2帧blob做匀速运动，位移矢量大小在跟踪模块中确定。对连续N帧图像中的运动目标建立茎干图，以某个blob为例如图6所示。

图6中N＝5，茎干图中的元素即为各帧blob，用圆形表示，元素之间的关系为包含关系，用直线表示。

由于茎干图的建立过程是通过搜索相邻2帧的blob包含关系所确定，而在应用中因噪声的原因导致某一帧的blob的突然形变、位置偏移甚至消失的情况，这将导致应用式(6)在第k帧blob在第k+1帧中的搜索失败，使茎干图建立的中断。如图7所示，由于第k帧中没有搜索到与k-1帧的包含关系，导致k+1以后的所有帧无法搜索而产生的blob“假消失”的情况。为此，当出现消失情况时可以采用跳帧搜索的方法，如跳一帧的情况下将式(5)中速度系数改为2倍，而式(6)修改为：

$\left\{\begin{array}{c}|x_{(k+2,i)}^{\&prime;}-x_{(k+2,j)}|<\frac{{\mathrm{width}}_{(k,i)}+{\mathrm{width}}_{(k+2,j)}}{2}+C_w\\ |y_{(k+2,i)}^{\&prime;}-y_{(k+2,j)}|<\frac{{\mathrm{height}}_{(k,i)}+{\mathrm{height}}_{(k+2,j)}}{2}+C_h\end{array}\right.$ -公式(7)

跳一帧搜索情况如图8所示，跳多帧的情况与一帧类似。

建立了茎干图后即可统计出每一帧存在包含关系的blob个数n，如图6中k-1帧n＝2，其余n＝1。如果n大于帧数N的一半则称n为“多数个数”，如图6中“多数个数”为1。若茎干图各帧中所含blob个数不等于“多数个数”，则存在两种情况：blob个数大于多数个数时，执行合并操作，如图8所示；blob个数小于多数个数时，执行分裂操作，如图9所示。这里的合并指将多余的blob按式(4)的规则两两组合直到个数等于“多数个数”，而添加指按前一帧预测的blob参数创造一个blob，使blob个数符合“多数个数”，其位置为前一帧的预测位置(式(5))，速度和前一帧相同。

D3.建立区域分裂合并后的运动目标和实际车辆的一一对应映射关系，确定实际车辆的行驶轨迹和行驶速度。

通过以上过程，可以将每一个茎干图中除去头尾的元素的出度和入度变为1，即只存在主干部分，此时认为茎干图处于稳定状态。处于稳定状态的茎干图中元素与每一帧中实际物体一一对应。然后，根据多个相邻帧的图像中车辆的位置变化，确定对应车辆的行驶轨迹。之后，根据多个车辆的位置变化和位置变化所产生的时间获得对应车辆的行驶速度。

E.根据预存的道路交通异常行为的语义模型，对车道模型以及实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。

道路交通异常行为包括但不限于：逆向行驶、撞车事故、车辆超速和停车事件。由建立的车道模型与检测与跟踪的车辆轨迹及速度，按如下方式判断夜晚公路上可能发生的交通事件：

(1)由跟踪的车辆中心点计算车辆行驶方向与车道模型建立每个车道行驶方向相反，则该车辆进行逆行驾驶。

(2)机动车在禁止行驶的方向上行驶，也就是车辆行驶的方向，与道路正确行驶的方向相反。考虑摄像机正对道路架设的情况。车辆面向摄像机行驶时，正常行驶的车辆其在图像中的纵坐标会越来越小同时目标的面积会越来越大，而逆向行驶的车辆在图像中的纵坐标会越来越大同时目标的面积会越来越小。为了增强对逆向行驶的鲁棒性本文通过计算车道行驶方向与所在车道的方向之间的夹角且根据跟踪车辆在相邻多帧(设置为5)Y坐标的变化来判断车辆是否发生了逆向行驶事件，如果符合公式(8)的关系，车辆则发生了逆向行驶事件。

且Fi(car(center.y))-F_i+5(car(center.y))>0-公式(8)

其中，v和i分别为车辆的速度与所在车道的方向(本文规定车道的方向为从消失点沿着车道线向下的方向)，F_i(car(center.y))表示跟踪车辆在被跟踪第i(i>0)帧时中心点在图像中纵坐标的值，F_i+5(car(center.y))为跟踪车辆在被跟踪第i+5(i>0)帧时中心点在图像中纵坐标的值，θ为门限值。

(3)由跟踪车辆的中心点计算车辆行驶的方位角度与车道模型中车道边缘的角度发生大于45°的偏移，则该车辆发生碰车的交通事件。

(4)由计算出该车辆行驶的速度是否大于预设的限速值，确定该车辆是否超速驾驶。

(5)如果计算车速度的平均值小于预先设定的速度阈值(例如2km/h)，则确定发生停车事件，由建立的车道模型进一步确定该车停在道路中间还是停在道路傍边。

(6)停车事件是指车辆速度过于缓慢，接近零，或者进入检测区之后，很长时间都没有驶出检测区，如果这种事件发生在公路上极可能引发撞车的交通事故。如果场景中有停车事件发生，这种行为可以通过其轨迹和速度来反应。通过连续5帧对车辆速度进行检测，如果符合公式(9)的关系，车辆则发生了停车事件，此处的为第n帧时车辆的速度，δ为门限。

$\frac{1}{M}\&times;\underset{n=1}{\overset{M}{\mathrm{\&Sigma;}}}\left|\stackrel{\&RightArrow;}{v_n}\right|<\mathrm{\&delta;}$ -公式(9)

其中，δ为门限，为第n帧时车辆的速度，M为连续M帧统计，此处M取值为5帧。

图10为根据本发明一个实施例的车辆逆行行为判决流程图，图11为根据本发明一个实施例的车辆逆行行为检测效果图。

由上可知，根据本发明实施例道路交通异常事件实时检测方法，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。

本发明第二方面提出一种道路交通异常事件实时检测装置，如图12所示，可以包括：监控图像获取模块100、车道模型建模模块200、运动目标定位模块300、运动目标追踪模块400以及语义判断模块500。

监控图像获取模块100用于对道路进行监控，获取连续多帧监控图像。

车道模型建模模块200用于从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型。如图13所示，车道模型建模模块200具体包括以下部分：长线段获取模块210，用于采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段；实际消失点获取模块220，用于将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点，然后将连续多帧所述监控图像中出现次数最多的所述帧图像消失点作为最终的实际消失点；候选车道线获取模块230，用于将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；实际车道线获取模块240，用于计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；车道划分模块250，用于将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。

运动目标定位模块300用于根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置。如图14所示，运动目标定位模块300具体包括以下部分：背景提取模块310，用于采用高斯混合模型从连续多帧所述监控图像中提出背景模型；差分处理模块320，用于将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；外接矩形获取模块330，用于将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；质心获取模块340，用于将所述区域最小外接矩形的中心作为运动目标的质心位置。

运动目标追踪模块400用于根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度。如图15所示，运动目标追踪模块400具体包括以下部分：第一合并模块410，用于根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；第二合并模块420，用于根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；映射建立模块430，用于建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。

语义判断模块500用于根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。其中，道路交通异常行为包括：逆向行驶、撞车事故、车辆超速和停车事件。

由上可知，根据本发明实施例道路交通异常事件实时检测装置，提高了现有公路视频监控的工作效率，降低了监控人员的工作强度，同时减少了由交通事故产生的交通延误，避免二次事故的发生。

在本发明的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种道路交通异常事件实时检测方法，其特征在于，包括以下步骤：

A.对道路进行监控，获取连续多帧监控图像；

B.从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；

C.根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；

D.根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；

E.根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。

2.如权利要求1所述的方法，其特征在于，所述步骤B包括以下步骤：

B1.采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段,X为正整数；

B2.将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点；

B3.将重复B1-B2多次以完成连续多帧所述监控图像的处理，将出现次数最多的所述帧图像消失点作为最终的实际消失点；

B4.将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；

B5.计算相邻两条所述候选车道线的夹角,将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；

B6.将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。

3.如权利要求1所述的方法，其特征在于，所述步骤C包括以下步骤：

C1.采用高斯混合模型从连续多帧所述监控图像中提出背景模型；

C2.将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；

C3.将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；

C4.将所述区域最小外接矩形的中心作为运动目标的质心位置。

4.如权利要求1所述的方法，其特征在于，所述步骤D包括以下步骤：

D1.根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；

D2.根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；

D3.建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。

5.如权利要求1所述的方法，其特征在于，所述道路交通异常行为包括：逆向行驶、撞车事故、车辆超速和停车事件。

6.一种道路交通异常事件实时检测装置，其特征在于，包括以下部分：

监控图像获取模块，用于对道路进行监控，获取连续多帧监控图像；

车道模型建模模块，用于从所述监控图像中提取亮白色线段，并基于所述亮白色线段处理得到车道线和车道消失点，并建立车道模型；

运动目标定位模块，用于根据所述车道模型确定车道的双向检测区域，采用高斯混合模型背景差的方法检测所述双向检测区域中的运动目标，并确定所述运动目标的位置；

运动目标追踪模块，用于根据所述连续多帧监控图像中所述运动目标的位置，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，建立所述运动目标和实际车辆的映射关系，得到所述实际车辆的行驶轨迹与行驶速度；

语义判断模块，用于根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。

7.如权利要求6所述的装置，其特征在于，所述车道模型建模模块包括以下部分：

长线段获取模块，用于采用梯度十字模板提取所述监控图像中的亮白色线段，依据所述亮白色线段的共线性与连续性将断续的亮白色线段连接为长线段，然后仅保留最长的X个所述长线段；

实际消失点获取模块，用于将所述监控图像的上方区域作为消失点搜索区域，计算所述消失点搜索区域内每个像素点到各条保留下来的所述长线段的距离，将所述距离小于预设距离阈值的次数最多的像素点作为帧图像消失点，然后将连续多帧所述监控图像中出现次数最多的所述帧图像消失点作为最终的实际消失点；

候选车道线获取模块，用于将所述监控图像中通过所述实际消失点的出现次数最多的Y条所述长线段作为候选车道线，Y为正整数；

实际车道线获取模块，用于计算相邻两条所述候选车道线的夹角，将所述夹角小于预设夹角阈值的相邻两条所述候选车道线中斜率较大者剔除，剩下的作为实际车道线；

车道划分模块，用于将多条所述实际车道线按相邻每两条所述实际车道线组成一个车道，以建立车道模型。

8.如权利要求6所述的装置，其特征在于，所述运动目标定位模块包括以下部分：

背景提取模块，用于采用高斯混合模型从连续多帧所述监控图像中提出背景模型；

差分处理模块，用于将所述监控图像与所述背景模型进行绝对值差分处理，绝对值小于预设差分阈值的像素点作为运动目标像素点；

外接矩形获取模块，用于将所述监控图像中所述运动目标像素点进行八连通域搜索，框定每个区域最小外接矩形；

质心获取模块，用于将所述区域最小外接矩形的中心作为运动目标的质心位置。

9.如权利要求6所述的装置，其特征在于，所述运动目标追踪模块包括以下部分：

第一合并模块，用于根据同一帧所述监控图像中的所述运动目标位置，建立空间上的区域交叠关系，对所述运动目标进行区域合并；

第二合并模块，用于根据连续多帧所述监控图像中运动目标位置，建立时间上的区域交叠关系，对所述运动目标进行区域分裂合并；

映射建立模块，用于建立所述区域分裂合并后的所述运动目标和实际车辆的一一对应映射关系，确定所述实际车辆的行驶轨迹和行驶速度。

10.如权利要求6所述的装置，其特征在于，所述道路交通异常行为包括：逆向行驶、撞车事故、车辆超速和停车事件。