CN103942541A - 一种基于车载视觉的盲区内电动车自动检测方法 - Google Patents

Abstract

本发明公开了一种基于车载视觉的盲区内电动车自动检测方法，该方法首先获取样本数据并提取样本特征数据，通过训练模块对特征数据进行训练，生成Adaboost级联分类器；通过基于假设产生和假设验证的方式对输入图像数据进行在线检测，输入到训练好的分类器中，完成对电动车的定位；本发明旨在提高道路交通安全，减少盲区事故的发生，该方法在保证检测准确率的前提下，提高检测效率。

Description

一种基于车载视觉的盲区内电动车自动检测方法

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于车载视觉的盲区内电动车自动检测方法。

背景技术

随着汽车保有量的不断增加，道路交通事故和因车祸伤亡的人数居高不下，造成了巨大的经济损失和人员伤亡。由于缺乏特殊保护设备等原因，行人和骑车者是最脆弱的交通参与者，同时也是交通事故最主要的受害者。道路交通事故的发生一般是由于驾驶员的疏忽、经验不足或是车辆的视觉盲区引起的，尤其是车辆右侧盲区。许多驾驶员发生交通事故后被询问原因时，得到的回答往往是“事先没有看到”，“太突然了”或是“发现后来不及停车”等等，这些都表现了盲区事故的特性。

针对盲区问题，为保护易受伤害的道路使用者（行人和骑行者），汽车电子行业的研究者，从机器视觉的角度出发，提出了盲区预警系统。通过安装在车辆上的摄像头，获取车辆盲区的道路信息，借助一定的智能检测算法对可能发生的危险情况向驾驶员发出警报。目前，对行人检测的研究得到了一定程度的发展，但对骑行者检测的研究比较少。事实上，电动车的速度远远大于行人，造成事故的危害更为严重；而且，我国的交通模式主要是混合交通模式，自行车、电动车骑行者闯红灯、逆向行驶，违法载人、见缝插针等现象都易造成与汽车的相撞。因此，本发明针对右侧视觉盲区提出对电动车的自动检测方法，对保护骑行者人身安全，减少交通事故，改善交通现状具有重要的意义。

从计算机视觉的角度来看，电动车的检测极具挑战性：首先，它具有较快的速度，这就要求算法必须能够进行更快地视觉数据处理，更快地实现识别和判断；其次，对电动车的检测同时包含了“人”与“物体”两种因素，具有一定的非刚性，视角不同会导致外观形状等特征的改变；再者，道路状况的变化和行人的干扰都会给检测造成困难。因此，兼顾检测的准确率与检测效率，提高对道路变化的适应性也是一个研究难点。

本发明针对现有技术的不足以及检测存在的难点，提出一种基于车载视觉的盲区内电动车自动检测方法。该方法在实现对电动车检测的前提下，保证实时检测速率，同时对道路状况具有一定的适应性，从而使对电动车的检测具有实用价值。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于车载视觉的盲区内电动车自动检测方法。

本发明是通过以下技术方案来实现的：一种基于车载视觉的盲区内电动车自动检测方法。该方法包括如下内容：

（1）样本数据的获取与特征提取，该步骤包括以下子步骤：

（1.1）采用视频监控摄像头采集盲区真实道路状况信息，处理获取不同种类、不同视角和尺寸的电动车图像。

（1.2）图像尺寸归一化，电动车图像作为正样本数据，非电动车等背景图像作为负样本数据。

（1.3）电动车特征提取：定义一组特征参数来描述电动车，作为区分电动车和非电动车的依据。采用基于积分通道的类哈尔特征作为描述电动车的特征集，即通过梯度、色彩等特征构建特征通道图像，再在这些通道图像中利用积分图像的方法来快速计算类哈尔特征。

（2）利用获得的电动车数据以及基于积分通道的类哈尔特征通过Adaboost算法，训练得到一个可以快速检测电动车的Adaboost级联分类器，该步骤包括以下子步骤：

（2.1）获取包含电动车的图像数据，称为正样本图像。

（2.2）获取不包含电动车的图像数据，称为负样本图像。

（2.3）对正负样本图像分别计算预先定义好的电动车特征，得到正负样本特征。

（2.4）再对步骤（2.3）中得到的电动车特征进行标记，表明该特征来自电动车特征还是非电动车特征，从而产生用于训练分类器的特征参数样本。其中电动车样本（正样本）标记为+1，非电动车样本（负样本）标记为0。

（2.5）利用Adaboost算法训练得到电动车检测级联分类器。

（3）利用训练得到的分类器实现输入视频帧图像的在线检测，该步骤包括以下子步骤：

（3.1）通过安装在车辆上的摄像头，实时获取车辆盲区内道路的视频图像。

（3.2）对获取到的视频进行一帧一帧的处理。对每一帧输入图像，计算其特征通道图像并获取电动车可能存在区域，该区域定义为特征通道图像的ROI区域。

（3.3）计算每个特征通道图像在滑动窗口内的类哈尔特征。

（3.4）采用滑动窗口的方法遍历特征通道图像的ROI区域。

（3.5）将步骤（3.3）中得到的类哈尔特征输入训练得到的分类器，该分类器判断输入的特征中的哪些特征属于电动车特征，哪些特征属于非电动车特征。

（3.6）最后用非极大值抑制算法产生最匹配的滑动窗口，确定电动车的位置，或者判断输入的图像中无电动车。

本发明的有益效果是，本发明基于假设产生和假设验证的方法来实现对电动车进行检测，即首先确定电动车可能存在区域（ROI），然后在该区域内检测是否存在电动车，从而提高检测速率；本发明旨在提高道路交通安全，减少盲区事故的发生，在保证检测准确率的前提下，提高了检测效率，同时对道路状况具有一定的适应性，使电动车的检测具有实用价值。

附图说明

图1为本发明所述基于车载视觉盲区内电动车自动检测方法步骤示意图；

图2为本发明的类哈尔特征示意图。

具体实施方式

下面对本发明的基于车载视觉的盲区内电动车自动检测方法结合附图详细介绍具体的执行步骤。

（1）样本数据的获取与特征提取，该步骤包括以下子步骤：

（1.1）采用视频监控摄像头采集盲区真实道路状况信息，处理获取不同种类、不同视角和尺寸的电动车图像。

（1.2）图像尺寸归一化，电动车图像作为正样本数据，非电动车等背景图像作为负样本数据，大小统一为32*64。

（1.3）电动车特征提取：定义一组特征参数来描述电动车，作为区分电动车和非电动车的依据。采用基于积分通道的类哈尔特征作为描述电动车的特征集，即通过梯度、色彩等特征构建特征通道图像，再在这些通道图像中利用积分图像的方法来计算类哈尔特征。本方法中主要涉及五种特征通道图像分别是HOG特征通道图像、梯度幅值特征通道图像以及LUV颜色空间对应的3个颜色特征通图像。

梯度直方图(Histogram of Gradient,HOG)能够很好的描述目标的局部结构信息，通过比较相同大小邻域内的直方图分布就可以判断两个相比较的邻域内物体的匹配程度。HOG计算过程如下：首先计算原始图像的梯度得到梯度图像，然后遍历梯度图像的各个像素，以各个像素为中心，计算8*8像素范围内的梯度直方图分布。

兼顾稳定性和算法执行的有效性，本发明方法中采用Sobel算子来计算梯图像的梯度幅值，公式如下：

${\▿}_{x}f(x,y)=f(x,y)-f(x-1,y)---\left(1\right)$

${\▿}_{y}f(x,y)=f(x,y)-f(x,y-1)---\left(2\right)$

其中f(x,y)表示输入图像，x,y表示该像素在图像中的位置。那么2维图像的梯度得到如下：

$\▿f(x,y)={\▿}_{x}f(x,y)+{\▿}_{y}f(x,y)---\left(3\right)$

即，

$\▿f(x,y)=2f(x,y)-f(x-1,y)-f(x,y-1)---\left(4\right)$

那么图像的梯度幅值就为

3个颜色特征通道图像分别为L特征通道图像、U特征通道图像、V特征通道图像。首先将图像由RGB颜色空间，转换到CIE-LUV色彩空间，转换公式如公式（5），然后分别提取L、U、V分量图，构成颜色特征通道图。

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(5\right)$

在获取到图像中明显变化信息之后，通过在特征通道的基础上计算类哈尔特征，得到图像中局部空间的结构信息。本发明中主要计算了4种哈尔特征，包括了边缘特征、线特征、对角线特征以及点特征，如图2中A、B、C、D依次所示。特征值是通过两个相邻矩形的差值来体现，图2中A所示特征计算公式如下：

H_A=|∑rec1_i-∑rec2_i|（6）

其中∑rec1_i表示一个矩形中像素值的总和，∑rec2_i表示另外一个矩形中像素值的总和。类似的B、C、D中的特征分别表示如下：

H_B=|∑rec1_i+∑rec3_i-∑rec2_i|（7）

H_C=|∑rec1_i+∑rec3_i-∑rec2_i-∑rec4_i|（8）

H_D=|∑rec1_i-∑rec2_i|（9）

（2）利用获得的电动车数据以及基于积分通道的类哈尔特征通过Adaboost算法，通过Adaboost算法训练得到一个可以快速检测电动车的Adaboost级联分类器，该步骤包括以下子步骤：

（2.1）获取包含电动车的图像数据，称为正样本图像。

（2.2）获取不包含电动车的图像数据，称为负样本图像。

（2.3）对正负样本图像分别计算预先定义好的电动车特征，得到正负样本特征。

（2.4）再对步骤（2.3）中得到的电动车特征进行标记，表明该特征来自电动车特征还是非电动车特征，从而产生用于训练分类器的特征参数样本。其中电动车样本（正样本）标记为+1，非电动车样本（负样本）标记为0。

（2.5）利用Adaboost算法训练得到电动车检测级联分类器。如图1所示的训练过程，首先训练基于类哈尔特征的弱分类器，由弱分类器构建强分类器，最终由若干强分类器构建级联分类器。

本发明的方法中采用二阶决策树分类器作为弱分类器。决策树中，每个叶子节点为类别属性，非叶子节点为特征属性。构建决策树若分类器的过程即从所有的样本特征中选择分类误差最小的那个特征作为分类的阈值。

然后，采用Adaboost算法将得到的多个弱分类器构成强分类器。本发明中强分类器的获得采用了自适应终止的训练方法，即根据最终级联分类器的准确率、误检率以及个数，来控制训练过程。最后不断更新训练样本集，得到若干个强分类器，构成最终用于检测的级联分类器。

（3）利用训练得到的分类器实现输入视频帧图像的在线检测，在实施实时检测过程中，本发明方法提出一种基于假设产生和假设验证的方法来提高检测效率。下面结合图1中检测过程，该步骤包括以下子步骤：

（3.1）通过安装在车辆上的摄像头，实时获取车辆盲区内道路的视频图像。

（3.2）对获取到的视频进行一帧一帧的处理。对每一帧输入图像，计算其特征通道图像并获取电动车可能存在区域，该区域定义为特征通道图像的ROI区域。

若摄像机运动，则先进行背景补偿后，然后差分投影，来获得电动车可能存在区域；若摄像机静止，则直接差分投影获得电动车可能存在区域。

特征通道图像的计算如下：对输入图像分别计算HOG特征通道图像、梯度幅值特征通道图像、LUV色彩特征通道图像，分别记为：T_H、T_M、T_L、T_U、T_V。

对上述每个特征通道图像计算其对应的整形图像表示，按如下公式计算：

ii(x,y)=∑_{x′≤x,y′≤y}i(x′,y′)  （10）

式中，ii(x,y)为图像的整形表示，i(x′,y′)为原特征通道图像中的像素值，x,y表示图像中像素的位置。对步骤3）中得到的特征通道图像依次计算其整形图像，将这些整形图像记作IT_H、IT_M、IT_L、IT_U、IT_V。

（3.3）计算每个特征通道图像在滑动窗口内的类哈尔特征。

（3.4）采用滑动窗口的方法遍历特征通道图像的ROI区域。

以32*64大小的滑动窗口作为标准尺度窗口，对步骤（3.2）中得到的整形图像表示的特征通道图像在得到的特征通道图像的ROI区域内进行遍历。在每个滑动窗口内计算类哈尔特征，由此得到该尺寸窗口对应的电动车特征。

（3.5）将步骤（3.3）中得到的类哈尔特征输入训练得到的分类器，该分类器判断输入的特征中的哪些特征属于电动车特征，哪些特征属于非电动车特征。

（3.6）最后用非极大值抑制算法产生最匹配的滑动窗口，确定电动车的位置，或者判断输入的图像中无电动车。

本发明通过采用训练电动车分类器检测车辆盲区存在的电动车，提出利用基于积分通道的类哈尔特征来抽象电动车的特征，减少了个体差异对检测结果的影响，同时使用了基于假设产生和假设验证的方式来实现对电动车的检测，减少了运算量，提高了检测效率。本发明方法将电动车检测技术推向实用化，使其能够适用于实际的工程应用中，对提升道路交通安全，具有重要的实际意义。

Claims (4)

1.一种基于车载视觉的盲区内电动车自动检测方法，其特征在于，该方法包括以下步骤：

（1）样本数据的获取与特征提取，该步骤包括以下子步骤：

（1.1）采用视频监控摄像头采集盲区真实道路状况信息，处理获取不同种类、不同视角和尺寸的电动车图像；

（1.2）图像尺寸归一化，电动车图像作为正样本数据，非电动车等背景图像作为负样本数据；

（1.3）电动车特征提取：定义一组特征参数来描述电动车，作为区分电动车和非电动车的依据；采用基于积分通道的类哈尔特征作为描述电动车的特征集，即通过梯度、色彩等特征构建特征通道图像，再在这些通道图像中利用积分图像的方法来计算类哈尔特征；

（2）利用获得的电动车数据以及基于积分通道的类哈尔特征通过Adaboost算法，训练得到一个可以快速检测电动车的Adaboost级联分类器，该步骤包括以下子步骤：

（2.1）获取包含电动车的图像数据，称为正样本图像；

（2.2）获取不包含电动车的图像数据，称为负样本图像；

（2.3）对正负样本图像分别计算预先定义好的电动车特征，得到正负样本特征；

（2.4）再对步骤（2.3）中得到的电动车特征进行标记，表明该特征来自电动车特征还是非电动车特征，从而产生用于训练分类器的特征参数样本；其中电动车样本（正样本）标记为+1，非电动车样本（负样本）标记为0；

（2.5）利用Adaboost算法训练得到电动车检测级联分类器；

（3）利用训练得到的分类器实现输入视频帧图像的在线检测，该步骤包括以下子步骤：

（3.1）通过安装在车辆上的摄像头，实时获取车辆盲区内道路的视频图像；

（3.2）对获取到的视频进行一帧一帧的处理；对每一帧输入图像，计算其特征通道图像并获取电动车可能存在区域，该区域定义为特征通道图像的ROI区域；

（3.3）计算每个特征通道图像在滑动窗口内的类哈尔特征；

（3.4）采用滑动窗口的方法遍历特征通道图像的ROI区域；

（3.5）将步骤（3.3）中得到的类哈尔特征输入训练得到的分类器，该分类器判断输入的特征中的哪些特征属于电动车特征，哪些特征属于非电动车特征；

（3.6）最后用非极大值抑制算法产生最匹配的滑动窗口，确定电动车的位置，或者判断输入的图像中无电动车。

2.根据权利要求1所述的基于车载视觉的盲区内电动车自动检测方法，其特征在于，提出了基于假设产生和假设验证的方法来实现对电动车进行检测，即首先确定电动车可能存在区域，然后在该区域内检测是否存在电动车，从而提高检测速率。

3.根据权利要求1所述的基于车载视觉的盲区内电动车自动检测方法，其特征在于，电动车可能存在区域（ROI）的产生是通过差分投影的方法获得；由于车载视觉存在车运动与静止两种情况，当车运动时，首先对背景进行补偿，然后进行差分；车静止时，直接进行差分。

4.根据权利要求1所述的基于车载视觉的盲区内电动车自动检测方法，其特征在于，所述步骤6）中，采用非极大值抑制算法选择最佳匹配的滑动窗口。