CN103661102A - 一种实时提示车辆周边路人的方法及装置 - Google Patents

Abstract

本发明公开了一种实时提示车辆周边路人的方法及装置。该装置包括：视频信息采集单元，视频信息发送单元，路人视频信息识别单元，路人位置信息显示单元。该方法包括：实时采集车辆周边视频信息；发送车辆周边视频信息到车机；识别出车辆周边视频信息里的路人；标记路人位置并在LCD屏上显示出来。本发明的优点是：通过车机完成车辆周边路人的实时识别、标记与显示，使得驾驶员能及时注意到周边路人，保障了驾车安全及车辆周边路人的人身安全。

Description

一种实时提示车辆周边路人的方法及装置

技术领域

本发明涉及车载领域，尤其涉及一种实时提示车辆周边路人的方法及装置。

背景技术

在行车过程中，对车辆周边的路人进行实时提示，是保障汽车及路人安全是一种新的研发方向，在进行路人识别过程中，车载设备必须满足高效实时的提示要求，因此，图像算法不能过于复杂，现有的车辆周边的路人识别技术在低功耗、性能较弱的车载处理器上运行极其缓慢，难以达到实时性要求。

基于这些不足，本发明使用基于整数运算的快速有效的图像算法，使用车机的ARM处理器即可实现高效实时的路人识别及显示提示。

发明内容

为了解决现有技术的车辆周边的路人识别方案在低功耗、性能较弱的车载处理器上运行极其缓慢，难以达到高效实时的识别及提示要求，本发明运用基于整数运算的快速有效的图像算法，使用车机的处理器即可实现高效实时的路人识别及显示提示。

本发明为解决现有技术问题，设计了一种实时提示车辆周边路人的方法及装置。该方法在于，包括以下步骤：

实时采集车辆周边视频信息；

发送车辆周边视频信息到车机；

识别出车辆周边视频信息里的路人；

标记路人位置并在LCD屏上显示出来。

进一步地，识别出车辆周边视频信息里的路人的步骤如下：

采用多区块局部二值模式MB_LBP算子作为特征描述符；

使用Adaboost算法及CART分类器离线训练出强分类器；

19个强分类器级联得到瀑布型的Cascade级联分类器；

使用16×32像素识别窗口在被识别画面上滑动进行识别；

被识别窗口图像送入级联分类器进行识别并记录路人位置，识别到的行人位置进行合并，显示到车机LCD上。

在以上步骤里，采用多区块局部二值模式MB_LBP算子作为特征描述符的过程如下：使用MB-LBP算子作为特征描述符，使用积分图像快速获得MB-LBP描述符。基本的LBP算子采用固定的3×3尺寸的窗口，根据8个邻域像素与中心像素的灰度差值进行二进制编码。MB-LBP采用一个矩形方块内所有像素的灰度值之和而不是一个像素的灰度值，采用和基本LBP相似的8邻域与中心之差进行二进制编码，从而获得特征描述符。积分图像中的任意一点(x，y)的值是从图像的左上角到这个点的所构成的矩形区域内所有的像素的灰度值之和，使用积分图像快速计算MB_LBP编码。步骤如下：

计算灰度图的积分图像

其中I(x，y)是积分图像(x，y)点的值，M(i，j)是原图像(i，j)点的灰度值。

矩形区域rect((x，y，width，height)的总灰度值g使用积分图像按如下方法计算：

g＝I(x+width，y+height)-I(x，y+height)-I(x+width，y)+I(x，y)

点P(x，y)的MB_LBP特征以其为左上顶点，根据3×3相连接的共9个连续矩形区域rect(x，y，width，height)的总灰度值g，按如下方式编码得到：

$\mathrm{LBP}(x,y)=\underset{p=0}{\overset{7}{\mathrm{\Σ}}}s(g_p-g_c)2^P$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

其中g_c为中心矩形区总灰度，g_p为8个相邻矩形区域之一的总灰度。指标p从左上区域开始，按顺时针方向从7依次减小到0。得到的MB_LBP编码作为特征描述符。MB_LBP编码为非度量量表示总共256种不同状态中的一种，对其进行分类以bit位为依据。

使用Adaboost算法及CART分类器离线训练出强分类器的过程如下：给出一组样本集合(x₁，y₁)，(x₂，y₂)，...(x_n，y_n)，其中x_i为图像MB_LBP特征描述符，采用不同的rect_m(x，y，width，height)将会得到不同的特征，其下标m表示第m种特征。y_i＝-1，+1分别表示负样本及正样本，i＝1，2，...N，N为总样本数。每个样本的权重初始值

使用CART树对样本分类得到弱分类器f_m(x)∈-1，1使正样本映射为1，负样本映射为-1。CART树的构建步骤如下：

第一步，对x的1个bit位进行分裂(split)，分裂后的Gini不纯度如下计算：

$\mathrm{Impurity}=\underset{i\&NotEqual;j}{\mathrm{\&Sigma;}}{p}_i{p}_j=1-{\left(\frac{C_{+,L}}{N_L}\right)}^2-{\left(\frac{C_{-,L}}{N_L}\right)}^2-{\left(\frac{C_{+,R}}{N_R}\right)}^2-{\left(\frac{C_{-,R}}{N_R}\right)}^2$

其中N_L，N_R分别表示左节点样本数及右节点样本数，C_+，L C_-，L为左节点正样本数及左节点负样本数，C_+，R C_-，R则是右节点正样本数及右节点负样本数。

第二步，逐个对MB_LBP编码的8个bit位进行分裂并计算分裂后的Gini不纯度，选取Gini不纯度最小的一个bit位进行分裂。

第三步，分裂得到的左子树及右子树重复进行第一步及第二步，得到深度为3的CART树，记录进行过分裂的bit位。从而根据这些bit位得到弱分类器f_m(x)。

计算加权错误 ${\mathrm{err}}_m=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,i}\&CenterDot;I(y_i\&NotEqual;f_m\left(x_i\right))}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,i}}$ 及 ${\mathrm{\&alpha;}}_m=\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

更新权重：ω_m，i＝ω_m，i·exp[α_m·I(y_i≠f_m(x_i))]    i＝1，2..N重复CART树对样本分类得到弱分类器的步骤至上述更新权重的步骤M次，直到最终得到强分类器：

19个强分类器级联得到瀑布型的Cascade级联分类器。Cascade型分类器由若干层组成，每一层都采用上述步骤最后得到的强分类器。层次较低的强分器包含特征数M较少以拒绝大量的非路人图片，层次较高的强分器包含的特征数M较大以提高识别精度。保存训练完成的Cascade型分类器用于识别行人。使用级联型的Cascade分类器排除大量非路人图片，被识别的图片必须依次通过全部强分类器才被认可为路人，也就是说，被识别的图片必须依次通过19级强分类器才被认可为路人。

使用16×32像素识别窗口在被识别画面上滑动进行识别，被识别窗口图像送入级联分类器进行识别并记录路人位置；搜索完整个画面之后将识别画面缩小1.1倍再次进行上述识别，被识别窗口图像送入级联分类器进行识别并记录行人位置，连续缩小4次，识别到的路人位置进行合并并显示到车机LCD上。进一步详细的过程为：从视频信息采集单元采集到的画面到发送到路人视频信息识别单元后，提取Y分量并缩小到250×160像素。对缩小后的画面进行直方均衡化以减小光照变化的影响。读取训练完成的Cascade型级联分类器数据，使用16×32像素的窗口进行搜索，在搜索窗口内按照不同矩形区域rect_m(x，y，width，height)分别进行编码，使用CART树分别对M个MB_LBP特征

接拒绝。该窗口通过全部19级强分类器则认定该窗口为路人。滑动窗口逐个识别，x及y方向增量均为1像素，遍历整个画面。将画面缩小1.1倍，使用上述识别方法重新识别。连续缩小4次，包括原始画面总共识别5个不同的尺度，最后，对5个尺度下识别到的行人位置进行合并，使用红色外框标记路人位置并显示到车机LCD上提示驾驶员。

MB_LBP(Multi-block Local Binary Pattern)。在数字图像处理和模式识别领域，LBP指局部二值模式，即Local Binary Patterns，最初功能为辅助图像局部对比度，后来提升为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。MB_LBP是对原始LBP特征的一种扩展，改进了原始LBP特征只能描述小范围的图像信息以及易受噪声影响的缺点。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。CART(Classification And Regression Tree)算法采用一种二分递归分割的技术，将当前的样本集分为两个子样本集，使得生成的决策树的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。

一种实时提示车辆周边路人的装置，该装置包括：视频信息采集单元，视频信息发送单元，路人视频信息识别单元，路人位置信息显示单元。

进一步地，所述路人视频信息识别单元优选方案为ARM处理器，该路人视频信息识别单元包括：特征描述符单元，训练强分类器单元，级联分类器单元，滑动识别单元，路人位置信息显示单元。在本发明中，我们选用的是性价比软高的ARM11处理器。

进一步地，所述视频信息采集单元包括：前置摄像头、后视摄像头、侧置摄像头。其中，前置摄像头优选地，可为红外摄像头。

最后，所述路人位置信息显示单元为LCD显示器。

附图说明

图1为本发明的一种实时提示车辆周边路人的装置的结构示意图。

图2为本发明使用积分图像计算矩形区域总灰度示意图。

图3为本发明MB_LBP编码提取及改变矩形区域产生不同MB_LBP特征示意图。

图4为本发明的CART树对MB_LBP编码按bit位分类示意图。

图5为本发明的级联型Cascade分类器的识别流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例中一种实时提示车辆周边路人的装置的结构示意图。根据该结构图，所述一种实时提示车辆周边路人的装置，包括：视频信息采集单元100，视频信息发送单元106，路人视频信息识别单元108，路人位置信息显示单元107。这四个单元之间的结构关系如下：其中，前置摄像头101、后视摄像头102、侧置摄像头103，这三个位置的摄像头共同构成了视频信息采集单元100，它们分别负责车辆周边不同方向的视频信息的采集。而视频信息发送单元106，路人视频信息识别单元108，路人位置信息显示单元107都内置于车机104内，也就是说，车机104包括了：视频信息发送单元106，路人视频信息识别单元108，路人位置信息显示单元107，这三者的连接关系为：视频信息发送单元106与路人视频信息识别单元108相连接，路人视频信息识别单元108又与路人位置信息显示单元107相连接。那么，视频信息采集单元100通过接口总成105与车机相连接。各单元之间具体的工作过程如下，视频信息采集单元100把采集到的视频信息通过车机104的接口总成传送到视频信息发送单元106，视频信息发送单元106接收到视频信息后，即时发送视频信息的信号到路人视频信息识别单元108进行处理，经处理判断为路人的视频信息会在这个单元做好标记并通过路人位置信息显示单元107进行实时显示，通常，在车辆的前进、倒车、转弯等各类运动过程中，通过本装置识别到的行人能在40毫秒内显示于车机LCD显示器上面提示驾驶员注意安全，真正实现了车辆周边路人的实时提示效果。

图2为本发明的使用积分图像计算矩形区域总灰度值的示意图。下面结合图2，对计算矩形区域D的总灰度值步骤详细说明如下。如图所示，D区域的4个顶点分别标记为1、2、3、4，这4个顶点分割出四个相邻的矩形区域A、B、C、D。由图可直观的看出：D区域的总灰度值的计算公式为D＝I(4)-I(3)-I(2)+I(1)。其中I(4)表示顶点4对应的积分图数值。积分图像按

度值之和。

图3为本发明的MB_LBP编码提取及改变矩形区域产生不同MB_LBP特征示意图。如图所示，视频信息采集单元100将采集到的路人视频信息通过视频信息发送单元106传输给路人视频信息处理单元108，路人视频信息处理单元108对视频流进行解码，选择其中的亮度分量Y构成灰度图像计算积分图。图3(A)所示为视频原图，图3(A)提取Y分量并按积分图的方法计算出分块的总灰度值为图3(B)所示。图3(C)所示为9个相邻方块总灰度值分布示意图，图3(D)所示为该区域的MB_LBP编码：

$\mathrm{LBP}(x,y)=\underset{0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^P$

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$

其中gc为中心矩形区总灰度，gp为8个相邻矩形区域之一的总灰度。指标p从左上开始，按顺时针方向从7依次减小到0。2的P次方求和可以采用常数的按位与操作实现，例如2⁷+2³＝128||8。得到的MB_LBP编码作为特征描述符。MB_LBP编码为非度量量表示总共256种不同状态中的一种，对其进行分类以bit位为依据。如果改变小方块的尺寸或者位置，将得到不同的MB_LBP编码，如图3(E)，3(F)，3(G)所示。这些MB_LBP编码有各自的弱分类器，采用加权投票的方式决定检测窗口是否为行人。

图4为本发明的CART树对MB_LBP编码按bit位分类得到弱分类器f_m(x)示意图。对x的1个bit位进行分裂(split)，分裂后的Gini不纯度如下计算：

$\mathrm{Impurity}=\underset{i\&NotEqual;j}{\mathrm{\&Sigma;}}{p}_i{p}_j=1-{\left(\frac{C_{+,L}}{N_L}\right)}^2-{\left(\frac{C_{-,L}}{N_L}\right)}^2-{\left(\frac{C_{+,R}}{N_R}\right)}^2-{\left(\frac{C_{-,R}}{N_R}\right)}^2$

其中NL，NR分别表示左节点样本数及右节点样本数，C_+，L C_-，L为左节点正样本数及左节点负样本数，C_+，R C_-，R则是右节点正样本数及右节点负样本数。逐个对MB_LBP编码的8个bit位进行分裂并计算分裂后的Gini不纯度，选取Gini不纯度最小的一个bit位进行分裂。分裂得到的左子树及右子树分别重复进行上述步骤，得到深度为3的CART树，记录进行过分裂的bit位。从而根据这些bit位得到弱分类器f_m(x)。

图5为本发明的级联型Cascade分类器的识别流程示意图。其中每一级强

501，502.503，504各强分类器提取被检测窗口的M个MB_LBP特征，并计算

本发明所述的技术方案并不限于上述具体实施方式中所述实施例。本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (8)

1.一种实时提示车辆周边路人的方法，其特征在于，包括以下步骤：

实时采集车辆周边视频信息；

发送车辆周边视频信息到车机；

识别出车辆周边视频信息里的路人；

标记路人位置并在LCD屏上显示出来。

2.根据权利要求1的一种实时提示车辆周边路人方法，其特征在于：识别出车辆周边视频信息里的路人的步骤如下：

采用多区块局部二值模式MB_LBP算子作为特征描述符；

使用Adaboost算法及CART分类器离线训练出强分类器；

19个强分类器级联得到瀑布型的Cascade级联分类器；

使用16×32像素识别窗口在被识别画面上滑动进行识别；

识别到的路人位置进行合并，显示到车机LCD上。

3.根据权利要求2所述的一种实时提示车辆周边路人方法，其特征在于：使用16×32像素识别窗口在被识别画面上滑动进行识别时，搜索完整个画面之后将被识别画面缩小1.1倍再次进行上述识别，连续缩小4次，识别到的路人位置进行合并、显示到车机LCD上。

4.一种实时提示车辆周边路人的装置，其特征在于，该装置包括：视频信息采集单元，视频信息发送单元，路人视频信息识别单元，路人位置信息显示单元。

5.根据权利要求4所述的一种实时提示车辆周边路人的装置，其特征在于，所述路人视频信息识别单元包括：特征描述符单元，训练强分类器单元，级联分类器单元，滑动识别单元，路人位置信息显示单元。

6.根据权利要求4或5任意之一所述的一种实时提示车辆周边路人的装置，其特征在于，所述路人视频信息识别单元为ARM处理器。

7.根据权利要求4所述的一种实时提示车辆周边路人的装置，其特征在于，所述视频信息采集单元包括：前置摄像头、后视摄像头、侧置摄像头。

8.根据权利要求4所述的一种实时提示车辆周边路人的装置，其特征在于，所述路人位置信息显示单元为LCD显示器。

Images