CN103914698A - 一种基于视频的道路障碍物识别分类方法 - Google Patents

Abstract

本发明公开了一种基于视频的障碍物识别分类方法。针对城市道路监控视频，研究障碍物特征提取及识别算法，提出了自适应背景更新的混合高斯建模方法，根据检测出来的静态障碍物目标，对道路背景进行选择性更新；提出了基于目标凹凸轮廓特性的移动目标分割方法，通过该方法实现移动目标进一步准确提取及分离，为基于轮廓的遮挡目标分割奠定基础；提出了道路感兴趣区域(ROI)的自动检测算法，实现监控画面中道路ROI的自动提取；采用自适应感兴趣区域截取的道路障碍物分类方法，将道路障碍物识别分类为违规停止车辆和遗撒物。本发明有助于提高交通部门的障碍物处理效率，为预防交通事故奠定基础。

Description

一种基于视频的道路障碍物识别分类方法

技术领域

本发明涉及道路交通障碍物识别分类领域，特别是提供一种基于视频的道路障碍物识别分类方法。

背景技术

从上世纪80年代开始，随着市社会经济的快速发展，人们生活水平的不断提高，越来越多的人有能力购买私人汽车。城乡交通中的各种车辆数量的快速增长标志着新世纪的中国已经进入了机动车的时代。因为机动车辆和交通车辆的前所未有的迅速增长，传统的道路交通设施已经不能满足当代社会的道路交通的需要。因此，国内大部分城市尤其是大城市的道路交通的问题及其严重，交通事故的数量呈现出不断上升的趋势，给人们带来了巨大的经济损失和生命威胁。研究表明，交通道路上的各类障碍物容易引起交通事故。在此所提到的障碍物，是指任何具有一定高度而且能迟滞或阻碍道路中的车辆行驶的静止物体。据统计，在城市道路上，由一次交通事故、车辆抛锚及道路遗撒等一次事件导致的交通事故占事故总数的20%～50%，且50%以上的二次事故是在一次事件发生后10分钟内发生的。

目前，针对道路障碍物检测技术在国内外做了一定的研究工作，并应用于交通事件检测系统中取得了较高的准确率，但是针对以上几类不同障碍物识别分类而言，研究工作较少，需要进一步深入研究。基于视频的障碍物分类方法在ITS领域具有非常广阔的研究意义。通过研究典型的障碍物图像特征和准确、可靠的障碍物检测识别方法，提高交通事件检测系统的预防交通事故的能力和交通管理部门的障碍物处理效率，从而保障人们的生命财产安全。

发明内容

本发明的目的是提供一种基于视频的道路障碍物识别分类方法，用于道路中可能出现的道路障碍物的实时检测与分类，为交通诱导与控制监控系统提供主要依据。

为了实现上述目的，本发明提出一种基于视频的道路障碍物识别分类方法，具体包括以下步骤：

S1，建立自适应背景更新的高斯混合模型，根据道路静止目标的检测情况，对道路背景模型进行更新，有效地防止了道路静止目标融入为道路背景；

S2，利用基于目标凹凸轮廓特性的移动目标分割方法，通过判断目标轮廓近似多边形的凹凸特性，对凹轮廓目标的侧边凸出部分进行分割，消除道路移动目标自身侧边阴影，提高前景移动目标的检测精度；

S3，采集道路前景目标连通域的中心坐标信息，根据道路前景移动目标的坐标，从背景图像中确定种子点，在给定的阈值T内，围绕种子点八连通区域扩散，在阈值内的目标确定为新种子点，并通过重复计算在场景内自动建立道路感兴趣区域；

S4，组合利用道路目标在道路感兴趣区域内的位置特征、目标相对速度特征、目标相对面积特征和目标相对几何尺寸特征，从道路目标中检测道路障碍物；

S5，根据道路障碍物在图像坐标中的相对尺寸，自动截取感兴趣区域，从感兴趣区域内提取障碍物HOG特征，以目标HOG特征为基础，实现道路障碍物的分类识别，提高分类效率；

进一步，所述步骤S2中包括以下步骤：

S21：从道路前景图像中，检测道路目标前景目标连通域，根据连通域轮廓信息，计算目标轮廓的近似多边形；

S22：根据目标轮廓近似多边形各定点的导数特性，判断目标近似多边形的凹凸形状，并凹多边形各顶点中，计算凹点坐标信息；

S23：利用近似多边形凹点坐标信息与相邻多边形顶点坐标信息，确定两条直线，并计算两条直线的交点，若构成两条直线的四个点坐标为(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)，则交点坐标可以表示为：

$\left\{\begin{array}{c}y=\frac{B_1{B}_2(x_2-x_0)-B_1{A}_2{y}_2+B_2{A}_1{y}_0}{B_2{A}_1-B_1{A}_2}\\ x=\frac{A_1(B_1{B}_2(x_2-x_0)-B_1{A}_2{y}_2+B_2{A}_1{y}_0)}{(B_2{A}_1-B_1{A}_2)B_1}-\frac{A_1{y}_0}{B_1}+x_0\end{array}\right.$

其中A₁=x₁-x₀、A₂=x₃-x₂、B₁=y₁-y₀和B₂=y₃-y₂；

S24：根据两条直线的交点坐标信息和近似多边形凹点坐标信息，计算切割线段，利用切割线段，切除目标侧边的阴影；

S25：利用目标近似多边形的凹点信息、两条直线的交点信息、切割线段信息和目标近似多边形的顶点信息，计算消除侧边阴影的目标轮廓顶点信息；

进一步，所述步骤S3具体包括以下步骤：

S31：根据连通域面积大于阈值T1的道路移动目标坐标信息，在道路背景图像中把对应坐标点作为种子点；

S32：利用种子点，在道路背景图像内八连通域进行扩散，即种子点灰度值与相邻点的灰度值差值小于T2，则将相邻点作为新种子点并标记，否则结束扩散，重复标记，直到再也没有新种子点；

S33：检测标记区域的封闭轮廓，对道路标记区域进行填充，获取交通场景的最终道路感兴趣区域；

进一步，所述步骤S4中包括以下步骤：

S41：利用道路目标的相对面积信息和几何尺寸信息，消除不影响交通秩序的目标；

S42：根据道路目标的位置信息，判断目标是否在步骤S3中得到的道路感兴趣区域；

S43：判断目标的相对速度v是否满足v>T₁且v<T₂，其中T₁<T₂，从而判定当前目标是否静止；

S44：若当前道路目标处于静止状态，则将目标判断为道路障碍物；

进一步，所述步骤S5中包括以下步骤：

S51：利用道路障碍物的相对几何尺寸信息，确定待检测的图像区域，自动截取感兴趣区域；

S52：在截取的图像感兴趣区域内提取HOG特征，利用SVM分类器对障碍物进行分类，将障碍物分为违规停止车辆和障碍物；

综上所述，本发明所述基于视频的道路障碍物识别分类方法中，提出自适应背景更新的高斯混合模型，实现道路前景目标的准确检测，避免道路静止目标融入为背景图像；提出基于目标凹凸轮廓特性的移动目标分割方法，切除道路目标自身侧边的阴影，提高所检测的道路前景目标连通域的精度；提出道路感兴趣区域自动检测方法，实现道路内外目标的准确区分；提出特征组合的道路障碍物检测方法，组合利用道路目标在道路感兴趣区域内的位置特征、目标相对速度特征、目标相对面积特征和目标相对几何尺寸特征，实现道路障碍物的快速检测；最后，采用自适应感兴趣区域截取的道路障碍物分类识别算法，将所检测的道路障碍物识别分类为违规停止车辆和遗撒物两类。

附图说明

图1是本发明一种基于视频的障碍物识别分类方法流程图。

图2是自适应背景更新的道路背景更新算法流程图。

图3是基于目标凹凸轮廓特性的移动目标分割方法流程图。

图4是道路感兴趣区域自动检测方法流程图。

图5是自适应感兴趣区域截取的道路障碍物分类识别算法流程图。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的阐述。

如图1所示，获取城市道路视频图像序列；建立自适应背景更新的高斯混合模型，检测前景目标；利用基于目标凹凸轮廓特性的移动目标分割方法，消除目标自身侧边的阴影；提出道路感兴趣区域自动检测方法，实现道路内外目标的准确区分；通过组合特征的道路障碍物检测方法，实现道路障碍物的快速检测；最后，采用自适应感兴趣区域截取的道路障碍物分类识别算法，将所检测的道路障碍物识别分类为违规停止车辆和遗撒物。其处理步骤具体如下：

S1，建立自适应背景更新的高斯混合模型，根据道路静止目标的检测情况，对道路背景模型进行更新，有效地防止了道路静止目标融入为道路背景；

S2，利用基于目标凹凸轮廓特性的移动目标分割方法，通过判断目标轮廓近似多边形的凹凸特性，对凹轮廓目标的侧边凸出部分进行分割，消除道路移动目标自身侧边阴影，提高前景移动目标的检测精度；

S3，采集道路前景目标连通域的中心坐标信息，根据道路前景移动目标的坐标，从背景图像中确定种子点，在给定的阈值T内，围绕种子点八连通区域扩散，在阈值内的目标确定为新种子点，并通过重复计算在场景内自动建立道路感兴趣区域；

S4，组合利用道路目标在道路感兴趣区域内的位置特征、目标相对速度特征、目标相对面积特征和目标相对几何尺寸特征，从道路目标中检测道路障碍物；

S5，根据道路障碍物在图像坐标中的相对尺寸，自动截取感兴趣区域，从感兴趣区域内提取障碍物HOG特征，以目标HOG特征为基础，将障碍物分类为违规停止车辆和障碍物；

如图2所示，自适应背景更新的道路背景更新算法具体过程包括如下步骤：

S11：利用高斯混合背景模型，对道路背景进行建模，具体过程如下：

在高斯混合背景模型中，序列图像中的每个像素点都被看作是一个独立于其他点的统计随机过程，

{X₁,…,X_t}={I(x_n,y_n,i):1≤i≤t}     (1)

对每个像素点建立一个由k个高斯分布组成的高斯混合模型，

$P\left(X_t\right)=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i,t}\mathrm{\&eta;}\left(X_t\right|{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})---\left(2\right)$

式中，ω_i,t为t时刻第i个高斯分量的权重；μ_i,t和∑_i,t分别为第i个高斯分布的均值矢量和协方差矩阵；η(X_t|μ_i,t,∑_i,t)是t时刻第i个高斯分量的概率密度函数，表示为

$\mathrm{\&eta;}\left(X_i\right|{\mathrm{\&mu;}}_{i,t},{\mathrm{\&Sigma;}}_{i,t})=(1/{\left(2\mathrm{\&pi;}\right)}^{\frac{n}{2}}|{\mathrm{\&Sigma;}}_k{|}^{\frac{1}{2}}){\exp }^{-\frac{1}{2}{(X_t-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(X_t-{\mathrm{\&mu;}}_k)}---\left(3\right)$

将新的时刻采集到的像素值与当前的k个高斯分布进行比较，从而得到最佳的匹配，并更新高斯混合模型的参数。算法通过对各高斯分布的比较可以得到背景的分布，而那些不属于背景分布的像素则被判断为前景。

S12：利用一种颜色模型，对道路前景目标的阴影初步检测，并消除所检测的道路目标阴影。

为了检测移动影子，需要一种能够分离色彩信息和亮度信息的颜色模型。该颜色模型需要既能够充分利用高斯混合模型，又能够与高斯混合模型相兼容。然后当前色彩和亮度与背景的色彩和亮度做差分，如果颜色和亮度的差分结果都在相应的阈值范围内，则当前像素被认为移动影子点。本发明使用了一种有效的颜色计算模型。该颜色计算模型由背景像素的RGB均值的位置向量E、预期的色度线||E||、色度失真d和亮度阈值τ来构成。对给定的像素观测值I，亮度失真a，和颜色失真c，移动影子可以从背景模型中计算出来，即：

a=argmin(I-zE)²     (4)

c=||I-aE||     (5)

在混合高斯模型的每个成分为球星高斯分布的假设下，第K个成分的标准差σ_k可以被置为d。由于利用向量的点乘来计算a和c的过程比较繁琐，将a设置为2.5倍的标准差，并且τ<c<1。如果一个样本被判断为背景，并且满足上述条件，就将其当作移动影子。

S13：根据步骤S4的障碍物检测结果，在交通场景中不存在道路障碍物的前提下，对道路背景模型进行更新，既避免道路障碍物融入为背景图像，又提高了自适应背景更新算法的适应性。该步骤能够表示为如下：

${\mathrm{BG}}_n=\left\{\begin{array}{cc}{\mathrm{update}}_{\mathrm{GMM}}& \mathrm{obstacleobject}=0\\ B_{n-1}& \mathrm{obstacleobject}=1\end{array}\right.---\left(6\right)$

式子中BG_n为当前背景，BG_n-1是原先背景，当检测不到道路障碍物时，对背景进行更新，否则，不进行背景更新。

如图3所示，基于目标凹凸轮廓特性的移动目标分割方法具体过程包括如下步骤：

S21：从道路前景图像中，检测道路目标前景目标连通域，根据连通域轮廓信息，计算目标轮廓的近似多边形，近似多边形的计算过程为：

（1）从轮廓选择2个最远的点，然后将两个点连成一个线段。

（2）再从轮廓上查找离线段最远的点，添加到逼近后的新的轮廓。

（3）反复第二步骤，不断将最远的点添加到逼近后的新轮廓中，直到所有轮廓上的点到近似多边形的距离d小于指定的距离L，从而获得轮廓的最终近似多边形。

S22：根据目标轮廓近似多边形各定点的导数特性，判断目标近似多边形的凹凸形状，并凹多边形各顶点中，计算凹点坐标信息；

判断轮廓的凹凸特性对整个算法来讲非常重要。根据近似多边形的各顶点坐标，计算相邻两个顶点坐标的一阶导数，若某个导数小于0，则将当前多边形判断为凹多边形，否则判断为凸多边形。

S23：利用近似多边形凹点坐标信息与相邻多边形顶点坐标信息，确定两条直线，并计算两条直线的交点。

假设轮廓近似多边形的向内凹点的坐标为(x₁,y₁)，其前一顶点坐标为(x₀,y₀)。从凹点后再取两个顶点(x₂,y₂)，(x₃,y₃)，其中x₂<x₁<x₃且y₁<y₂,y₁<y₃。找出经过(x₀,y₀)、(x₁,y₁)的直线与经过(x₂,y₂)、(x₃,y₃)的直线的交点。该两条直线交点的推导过程如下：

$\left\{\begin{array}{c}(y-y_0)(x_1-x_0)-(x-x_0)(y_1-y_0)=0\\ (y-y_2)(x_3-x_2)-(x-x_2)(y_3-y_2)=0\end{array}\right.---\left(6\right)$

则交点坐标(x,y)可以表示为：

$\left\{\begin{array}{c}y=\frac{B_1{B}_2(x_2-x_0)-B_1{A}_2{y}_2+B_2{A}_1{y}_0}{B_2{A}_1-B_1{A}_2}\\ x=\frac{A_1(B_1{B}_2(x_2-x_0)-B_1{A}_2{y}_2+B_2{A}_1{y}_0)}{(B_2{A}_1-B_1{A}_2)B_1}-\frac{A_1{y}_0}{B_1}+x_0\end{array}\right.---\left(7\right)$

其中A₁=x₁-x₀、A₂=x₃-x₂、B₁=y₁-y₀和B₂=y₃-y₂；

S24：根据两条直线的交点坐标信息和近似多边形凹点坐标信息，计算切割线段，利用切割线段，切除目标侧边的阴影；

根据理论计算得到线段交点，按照轮廓顶点循序（顺时针或逆时针）重新计算运动目标轮廓，实现目标切割。

S25：利用目标近似多边形的凹点信息、两条直线的交点信息、切割线段信息和目标近似多边形的顶点信息，计算消除侧边阴影的目标轮廓顶点信息；

如图4所示，道路感兴趣区域自动检测方法具体过程包括如下步骤：

S31：根据连通域面积大于阈值T1的道路移动目标坐标信息，在道路背景图像中把对应坐标点作为种子点A；

S32：利用种子点A，在道路背景图像内八连通域进行扩散，即种子点A灰度值与相邻点B的灰度值差值d(x,y)=|A(x,y)-B(x,y)|(其中A(x,y),B(x,y)为A和B的灰度值)小于T2，则将相邻点作为新种子点A并标记，并返回步骤S32，否则结束扩散；

S33：检测标记区域的封闭轮廓，对道路标记区域进行填充，获取交通场景的最终道路感兴趣区域；

如图5所示，自适应感兴趣区域截取的道路障碍物分类识别算法具体过程包括如下步骤：

S51：利用道路障碍物的相对几何尺寸信息，确定待检测的图像区域，自动截取感兴趣区域；

S52：在截取的图像感兴趣区域内提取HOG特征，利用SVM分类器对障碍物进行分类，将障碍物分为违规停止车辆和障碍物，具体过程如下：

（1）建立线性SVM分类器；

（2）由多个HOG特征组合的HOG特征向量为样本，对线性SVM分类器进行训练。图像大小为64*128的样本图像作为窗口，16*16的单元作为块，8*8的单元为细胞单元，对样本进行特征提取，并把提取的特征组合为特征向量。因为每2*2个细胞组成一个块，且每个细胞有9个特征，所以每个块内有4*9=36个特征，以8个像素为步长，那么，水平方向将扫描7次，垂直方向将扫描15次，这样样本中总共有36*7*15=3780个特征。因此，特征向量f=(x₁,x₂,……,x_n)中有3780个特征值。

（3）在步骤S51中截取的图像感兴趣区域内提取HOG特征向量，利用训练后的线性SVM道路障碍物分类器，根据所提取的HOG特征向量，将道路障碍物分为违规停止车辆和遗撒物两种类别。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于视频的道路障碍物识别分类方法，其特征在于：根据固定图像传感器所采集的监控视频，对道路障碍物进行检测分类，具体包括以下几个步骤：

S1，提出自适应背景更新的高斯混合建模方法，根据道路静止目标的检测情况，对道路背景模型进行更新，有效地防止了道路静止目标融入为道路背景；

S2，提出基于目标凹凸轮廓特性的移动目标分割方法，通过判断目标轮廓近似多边形的凹凸特性，对凹轮廓目标的侧边凸出部分进行分割，消除道路移动目标自身侧边阴影，提高前景移动目标的检测精度；

S3，提出道路感兴趣区域自动检测方法，根据道路前景移动目标的坐标，从背景图像中确定种子点，在给定的阈值T内，围绕种子点八连通区域扩散，在阈值内的目标确定为新种子点，并通过重复计算在场景内自动建立道路感兴趣区域；

S4，提出特征组合的道路障碍物检测方法，组合利用道路目标在道路感兴趣区域内的位置特征、目标相对速度特征、目标相对面积特征和目标相对几何尺寸特征，从道路目标中检测道路障碍物；

S5，提出了自适应感兴趣区域截取的道路障碍物分类识别算法，根据道路障碍物在图像坐标中的相对尺寸，自动截取感兴趣区域，从感兴趣区域内提取障碍物HOG特征，以目标HOG特征为基础，实现道路障碍物的分类识别，提高分类效率。

2.根据权利要求1所述的一种基于视频的道路障碍物识别分类方法，其特征在于：所述步骤S2中包括以下步骤：

S21：从道路前景图像中，检测道路目标前景目标连通域，根据连通域轮廓信息，计算目标轮廓的近似多边形；

S22：根据目标轮廓近似多边形各定点的导数特性，判断目标近似多边形的凹凸形状，并凹多边形各顶点中，计算凹点坐标信息；

S23：利用近似多边形凹点坐标信息与相邻多边形顶点坐标信息，确定两条直线，并计算两条直线的交点，若构成两条直线的四个点坐标为                                                   、   、   、   ，则交点坐标可以表示为：

其中   、   、   和   ；

S24：根据两条直线的交点坐标信息和近似多边形凹点坐标信息，计算切割线段，利用切割线段，切除目标侧边的阴影；

S25：利用目标近似多边形的凹点信息、两条直线的交点信息、切割线段信息和目标近似多边形的顶点信息，计算消除侧边阴影的目标轮廓顶点信息。

3.根据权利要求1所述的一种基于视频的道路障碍物识别分类方法，其特征在于：所述步骤S3具体包括以下步骤：

S31：根据连通域面积大于阈值T₁的道路移动目标坐标信息，在道路背景图像中把对应坐标点作为种子点；

S32：利用种子点，在道路背景图像内八连通域进行扩散，即种子点灰度值与相邻点的灰度值差值小于T₂，则将相邻点作为新种子点并标记，否则结束扩散，重复标记，直到再也没有新种子点；

S33：检测标记区域的封闭轮廓，对道路标记区域进行填充，获取交通场景的最终道路感兴趣区域。

4.根据权利要求1所述的一种基于视频的道路障碍物识别分类方法，其特征在于：所述步骤S4中包括以下步骤：

S41：利用道路目标的相对面积信息和几何尺寸信息，消除不影响交通秩序的目标；

S42：根据道路目标的位置信息，判断目标是否在步骤S3中得到的道路感兴趣区域；

S43：判断目标的相对速度是否满足   且   ，其中   ，从而判定当前目标是否静止；

S44：若当前道路目标处于静止状态，则将目标判断为道路障碍物。

5.根据权利要求1所述的一种基于视频的道路障碍物识别分类方法，其特征在于：所述步骤S5中包括以下步骤：

S51：利用道路障碍物的相对几何尺寸信息，确定待检测的图像区域，自动截取感兴趣区域；

S52：在截取的图像感兴趣区域内提取HOG特征，利用SVM分类器对障碍物进行分类，将障碍物分为违规停止车辆和障碍物。