CN102774325A - 一种后视倒车辅助系统和形成后视障碍图像的方法 - Google Patents

Abstract

本发明公开了一种后视倒车辅助系统和形成后视障碍图像的方法，是一种在车辆后方两侧外表面固定且平行安装两个摄像头的基础上，对车辆倒车时后视场景中障碍物自动识别、测距，并最终融合显示的方法；该方法依次包括分割、测距以及融合三大部分；所述分割部分包括预处理、自适应FCM分割以及分割后处理；测距部分包括SIFT特征匹配、摄像头标定以及距离测量；融合部分主要是根据已经测得的距离信息，结合实际交通场景情况，建立相关规则并融合显示。本发明方法消除了车后的视觉盲区，将后视图像中障碍物自动分割出来并获得该障碍到本车的距离，融合显示倒车时最急需关注的距离很近的障碍物，消除了其他距离较远的事物的干扰，使得倒车更加便捷。

Description

一种后视倒车辅助系统和形成后视障碍图像的方法

【技术领域】

本发明属于倒车影像技术领域，特别涉及一种后视倒车辅助系统以及在车辆进行倒车时后方视野中障碍物自动识别、测距并融合显示的方法。

【背景技术】

随着汽车电子市场的快速繁荣发展，传统的倒车雷达辅助系统已经被可视化倒车辅助系统所替代，当前市场上比较流行的后视摄像的倒车辅助系统，是在汽车尾部固定安装一个摄像头，当驾驶者开始倒车时，摄像头实时的拍摄后视视场景象并传输到汽车中控台的显示器上，使得驾驶者能够直观的了解到车后的情况，更加安全方便的倒车。但是只在车尾安装一个摄像头只能覆盖汽车后方有限的区域，而车后方两侧的视觉盲区无疑存在倒车不安全隐患。

经过对现有技术的检索发现，中国实用新型专利201020002707.3提出了一种倒车用的双摄像机，该装置在壳体内外分别安装了第一摄像机和第二摄像机，通过两个角度进行摄录。利用该实用新型的驾驶者当倒车时可以观察到全方位的影像。中国发明专利号200910153173.6的专利，该专利的名称为：基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法。该装置通过在车的四周各安装广角摄像机，使得所有摄像机能够覆盖汽车周围的区域，并且对于任意相邻的两个摄像机，他们相互之间有一定的公共视场；然后对标定模板进行一系列计算，获得表示汽车四周摄像机之间的参数，根据这些参数，产生虚拟的全景鸟瞰图，从而最大限度扩大了驾驶员的视野范围。

通过上述装置和方法确实可以拓宽驾驶者的视场，然而，一方面通过广角镜头获取的障碍物会有一定失真，另一方面由于摄像头拍摄的图像已经将现实物体从三维世界变换到二维，那么图片中事物的深度信息已经丢失，也就是说驾驶者不能确定这些事物距离它有多远，只是知道车后存在障碍物，给驾驶者造成了一定的心理负担，驾驶者不得不为距离它很远对倒车无影响的事物担忧。由于距离是倒车时驾驶者极为关注的信息，中国实用新型专利号为200820042567.5的专利：一种倒车可视测距系统，包括倒车雷达系统,摄像装置,OSD显示控制器和显示器，通过倒车雷达系统获取距离信息。该专利在工作状态下不仅能够显示车后的图像,而且还能够显示障碍物的距离以及与距离相应的彩色标识。

【发明内容】

本发明的目的是提供一种后视倒车辅助系统和形成后视障碍图像的方法，用于解决目前后视倒车视场较小存在盲区的安全隐患，以及后视图像中含有较多与本车相距很远的事物给驾驶者倒车时进行决策造成干扰的问题。

为了实现上述目的，本发明采用如下技术方案：

一种后视倒车辅助系统，包括视频采集器、图像同步处理器、DSP处理器、逻辑控制器、存储模块、输出帧缓存、视频解码器和视频显示器；视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频解码器和视频显示器依次连接，逻辑控制器连接图像同步处理器、DSP处理器、输出帧缓存和视频解码器；其中视频采集器包括两个针孔摄像头，平行固定安装在车后外表面两侧，且两个摄像头成像有部分重合；所述存储模块包括闪存和内存，所述闪存和内存分别与DSP处理器相连。

本发明进一步的改进在于：逻辑控制器连接有音频报警器。

本发明进一步的改进在于：视频采集器的两个针孔摄像头各采集到一帧图像，经过图像同步处理器同步后储存到内存中，DSP处理器对两个摄像头采集的两帧图像分割、测距后并进行融合处理，将处理结果对应的像素点发送到输出帧缓存后，两个摄像头开始采集新的一帧图像，如此循环；由逻辑控制器产生输出帧缓存的时序信号将输出缓存中所存储的内容传输到视频编码器中，转换成视频信号，由视频线传输到视频显示器显示出后视障碍物图像，与此同时，DSP处理器将获得的各个障碍目标的距离与系统设定的安全距离阈值对比，若小于该阈值，则逻辑控制器驱动音频报警器报警。

一种形成后视障碍图像的方法，包括以下步骤：

车后两侧外表面平行固定安装的两个针孔摄像头各采集到一帧图像，经过图像同步处理器同步后储存到内存中，DSP处理器对两个摄像头采集的两帧图像依次进行分割、测距和融合处理，将处理结果对应的像素点发送到输出帧缓存；逻辑控制器产生输出帧缓存的时序信号将输出缓存中所存储的内容传输到视频编码器中，转换成视频信号，由视频线传输到视频显示器显示出后视障碍物图像，与此同时，DSP处理器将获得的各个障碍目标的距离与系统设定的阈值T_r对比，若小于该阈值，则逻辑控制器驱动音频报警器报警。

本发明进一步的改进在于：DSP处理器对两个摄像头各采集的一帧图像分割的方法依次包括：预处理、自适应FCM分割和分割后处理；

预处理包括背景建模和前景提取；背景建模时，首先进行模型的初始化，对每个像素点设置下列参数，聚类中心c，亮度畸变半径Δ_I和颜色畸变半径Δ_C，子类权重ω，最大子类数M；接下来，取视频图像序列第一帧作为初始背景模型，并将该帧中每个像素位置的颜色特征向量v作为其第一个聚类中心c₁，同时设置该类的权重ω₁=1；

随后，对采集到的连续两帧图像f_t，f_t+1进行帧间差分，即：f_t-f_t+1，得到其中的不变区域v_t+1，也就是不包含运动目标的背景部分；对上述不变区域中的每个像素，计算当前像素特征向量和已存在聚类中心的畸变差异D，并选取其中的最小值D_min以及所对应的子类编号K；

如果D_min满足(1)和(2)组成的聚类准则，

brightness(I_i,I_k)=ΔI≤Δ_I    (1)

colordist(x_i,c_k)=ΔC≤Δ_C     (2)

表明当前像素属于子类k，那么按照下式对子类的参数进行更新：

c_k，t+1(x,y)=(1-α₁)c_k,t(x,y)+α₁v_t+1(x,y)    (3)

ω_k，t+1=(1-α₁)ω_k,t+α₁                     (4)

式中：

c_k，t+1(x,y)——像素(x,y)处第k个子类更新后的聚类中心；

c_k,t(x,y)——像素(x,y)处第k个子类更新前的聚类中心；

α₁——学习速率；

ω_k，t+1——第k个子类更新后的权重；

ω_k，t——第k个子类更新前的权重；

如果D_min不满足式(1)和(2)组成的聚类准则，表明当前像素不属于任何一个已存在的子类，则比较max(k)和M的大小，最后，对每个像素位置，根据权重ω对已存在的子类由大到小进行排序，并按照下式选择符合条件的前N个子类作为背景模型的合理描述：

$N=\arg {\min }_n(\underset{K=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T_n)---\left(5\right)$

此后，重复上述过程，对建立的背景模型进行不断更新，以提高模型的准确度，满足时刻变化的交通场景需求；经过以上建模更新得到了背景模型g(i,j)，原始帧的灰度图像为f(i,j)，背景差分即||f(i,j)-g(i,j)||>T时，认为当前图像中出现了部分与背景模型g(i,j)偏差较大的像素点，即表示前景；T为阈值，阈值T通过如下步骤确定：

1）计算图像的直方图统计结果，得到灰度值为k的频率P_HS(k)为 $P_{\mathrm{HS}}\left(k\right)=\frac{1}{m\×n}\underset{f(i,j)=k}{\mathrm{\Σ}}1;$

2）计算图像的灰度均值μ_T为

3）计算灰度类均值μ(s)和类直方图之和w(s)分别为

$w\left(s\right)=\underset{k=0}{\overset{s}{\mathrm{\Σ}}}{P}_{\mathrm{HS}}\left(k\right);$

4）计算类分离指标σ_B为

最后求出使得σ_B达到最大值的s，则阈值T=s；

所述自适应FCM分割是对预处理后的图像，选取PBM-index评价指数先验决定聚类数目，然后利用FCM算法进行分割；其中PBM-index的定义如下：

$\mathrm{PBM}\left(K\right)={(\frac{1}{K}\×\frac{E_1}{E_K}\×D_K)}^2---\left(6\right)$

其中K为当前估计的聚类数目，且有：

$E_K=\underset{K=1}{\overset{K}{\mathrm{\Σ}}}{E}_k---\left(7\right)$

$E_k=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{kj}}\left|\right|x_j-z_k\left|\right|---\left(8\right)$

$D_k=\underset{i,j=1}{\overset{k}{\max }}\left|\right|z_i-z_j\left|\right|---\left(9\right)$

X_j为第j个数据元素，Z_k为第k个数据中心的位置，D_k表征各聚类中心间距离之和；按照k=2到k=T_m迭代执行，记录使得PBM-index最大的相应k值，即为估计得到的先验聚类数目；接下来执行FCM聚类算法，求出各个聚类的聚类中心与半径，并将半径内的数据元素即像素点全部置为聚类中心的灰度值；

所述分割后处理，首先定义窗口

在窗口范围内进行区域融合，然后对其结果进行形态学上的闭运算处理；以下两种操作作为区域融合的关键性步骤：

Operation1:初始区域确定；以像素点x_ij为中心的

范围内，找出所有互不连通的前景类c₁，...，c_n，统计其像素数目l₁，...,l_n；

Operation2:判断是否应当合并；对于两类c_i与c_j，判断是否满足

若满足，则将两类合并，将窗体中心相邻点的灰度值置为c_i与c_j的平均值；其中S_i为当前所处理的前景类C_i的边缘长度，min(l_i,l_j)为l_i和l_j的最小值，先验阈值T₀取0.78；

区域融合的形式化步骤为：

STEP1：判断当前像素点是否为背景类，是转STEP2，否则转STEP4；

STEP2：以当前像素点为中心执行Operation1运算；

STEP3：对于中的类两两执行Operation2运算，然后转STEP4；

STEP4：取下一像素点，转STEP1继续执行。

本发明进一步的改进在于：测距的方法为：首先利用SIFT特征匹配算法确定两帧图像的重叠部分；然后运用经典的张正友标定法标定两个摄像头，获得内外部参数；在重叠部分的目标利用双目视觉进行三维重建，获取其深度信息，不在重叠部分内的目标，联系实际成像的特点选取测距点，通过反转透视模型，利用单目视觉得到其距离。

本发明进一步的改进在于：测距后的融合的方法为首先根据车速确定安全阈值，然后根据定义的几种主要操作完成图像的融合，并做垂直镜像变化；

车速表示为v＝(t_z，t_x,ω_y)，t_z表示向后的平移速度，t_x表示水平方向的平移速度，ω_y表示旋转的角速度；两帧图像ψ和ψ′分别采集于t时刻和t+Δt时刻；由测距过程测得ψ中一点P在t时刻摄像机坐标系中的坐标为(x,y,z)，运用SIFT匹配的方法找到P点在ψ′中的对应点P′，P′在t+Δt时刻的摄像机坐标系中的坐标为(x′，y′,z′)；根据空间坐标变换关系可知：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right)=\left(\begin{array}{cccc}\cos (\mathrm{\θ}\·\mathrm{\Δt})& 0& \sin (\mathrm{\θ}\·\mathrm{\Δt})& 0\\ 0& 1& 0& 0\\ -\sin (\mathrm{\θ}\·\mathrm{\Δt})& 0& \cos (\mathrm{\θ}\·\mathrm{\Δt})& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}1& 0& 0& -t_x\·\mathrm{\Δt}\\ 0& 1& 0& 0\\ 0& 0& 1& -t_z\·\mathrm{\Δt}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)---\left(10\right)$

求解该方程组以获得车辆在t时刻的速度,动态的确定安全阈值T_s如下：

t_z≥20km/s时，取T_s=3.2m；

20km/s>t_z≥10km/s时，取T_s=2.2m；

t_z<10km/s，取T_s=1.0m；

音频报警器的触发阈值T_r取为0.3到0.5m；

考虑交通场景的实际情况在所成图像中的特点,分为以下a,b,c三种条件，其中I_c1和I_c2为两摄像头各采集的一帧图像，I_c1和I_c2大小为m×n：

a.当I_c1和I_c2中相同位置不都有障碍目标时；

b.当I_c1和I_c2中相同位置有障碍目标且

时；

c.其他情况；

障碍目标融合的操作为：

操作1：初始障碍目标确定；根据获得此时汽车的倒车速度，并对不同的倒车速度范围设定相应的安全距离阈值T_s，统计d_i<T₁的各个障碍目标以及这些障碍目标的个数n和像素数目总和S；

操作2：对于d_i>T_S的障碍目标，取此帧中背景g(i,j)对应位置填充该障碍目标；

操作3：首先对I_c1和I_c2中所有的n个障碍目标，将I_c1保留，并将I_c2中对应位置的障碍目标显示在I_c1相同位置处，然后平行移动各个障碍物，以确保I_c1中障碍目标在I_c2中障碍目标的左侧，若移动时，出现障碍物太大不能显示在移动后的位置，将其按比例缩小至刚好显示在移动后的位置即可，此时输出I_c1；

操作4：首先将I_c1中各个障碍目标依次向左下角移动，并确保各个障碍目标刚刚接触并且不重叠，然后对于I_c2中的各个障碍同样执行如上移动过程，移动后形成的矩形图像大小m₀×n₀，若m₀<m，则将各个障碍按之前移动的反方向依次从I_c2最右上角的障碍目标开始，移动至大小为m×n，若m₀>m，则将m₀×n₀缩放为m×n大小；

操作5：将I_c1以及I_c2中两帧非重叠部分的矩形图像等比例的缩放至m×n大小，并输出显示；

有了上面的几个操作，对于障碍目标融合，形成以下形式化步骤：

Step1：执行操作1，根据测得的车速获得安全阈值为T_s，以及参数n和S；

Step2:执行操作2；

Step3：依次检测参数满足a、b、c三个条件中的哪一个；

Step4:满足条件a时，执行操作3；满足条件b时，执行操作4；满足条件c情况下执行操作5。

与现有技术相比，本发明具有以下优点：

本发明提供的后视倒车辅助系统不仅能够将拍摄到的后视景象显示给驾驶员，还能够将景象中的各个障碍分别测距，只显示距离比较近的障碍物，利于驾驶者更好的掌握车后情况，以及更加准确快速的做出相应的倒车动作，安全倒车。该系统具有安全、经济、便捷的特点。形成后视障碍图像的方法，能够消除车后的视觉盲区，将后视图像中障碍物自动分割出来并获得该障碍到本车的距离，融合显示倒车时最急需关注的距离很近的障碍物，使驾驶者一目了然，消除了其他距离较远的事物的干扰，使得倒车更加便捷。

【附图说明】

图1是后视倒车辅助系统结构图；

图2是形成后视障碍图像方法结构图；

图3为颜色畸变示意图；

图4为基于空间聚类的背景建模方法流程图；

图5为FCM分割算法流程图；

图6为分割后某帧局部示意图；

图7为区域融合方法执行后的弥补效果；

图8为金字塔多尺度示意图；

图9是双目立体视觉相机布局；

图10是双目立体视觉模型；

图11是反转透视模型主视图；

图12为反转透视模型俯视图。

【具体实施方式】

下面结合附图对本发明做进一步详细描述。

请参阅图1所示，本发明中后视倒车辅助系统，包括视频采集器、图像同步处理器、DSP处理器、逻辑控制器、存储模块、输出帧缓存、视频解码器、视频显示器和音频报警器。视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频解码器和视频显示器依次连接，逻辑控制器连接图像同步处理器、DSP处理器、输出帧缓存、视频解码器和音频报警器，DSP处理器连接存储模块；其中视频采集器包括两个针孔摄像头，平行固定安装在车后外表面两侧，且两个摄像头成像要有一定的重合,存储模块包括内存和闪存。

该系统中，两个摄像头各采集到一帧图像，经过图像同步处理器同步后储存到内存中，DSP处理器调用存储在闪存中的形成后视障碍图像的算法，对两个摄像头采集的两帧图像分割、测距后并进行融合处理，将处理结果对应的像素点发送到输出帧缓存后，两个摄像头开始采集新的一帧图像，如此循环。由逻辑控制器产生输出帧缓存的时序信号将输出缓存中所存储的内容传输到视频编码器中，转换成视频信号，由视频线传输到LCD屏幕显示出后视障碍物图像，与此同时，DSP处理器将获得的各个障碍目标的距离与系统设定的某个安全距离阈值对比，若有小于该阈值，则逻辑控制器驱动音频报警器报警。

本发明中所述形成后视障碍图像的方法即是后视倒车系统中的核心算法，通过DSP处理器实现。对采集到的各一帧输入图像(两个摄像头采集图像)，如图2所示，先后经过图像分割、测距以及融合，将后视视场中的障碍物显示出来，此处，将除路面以外的其他事物统称为障碍（物）目标。

输入图像定义如下：摄像头C₁所拍图像中某一帧表示为I_c1，摄像头C₂所拍与C₁同步的图像表示为I_c2。输入图像为I_c1和I_c2，经过图像分割后I_c1被分割为N个障碍目标，表示为：

其中i＝1,2,…,N，N为整数，I_c2被分割为个M个障碍目标，表示为：

其中j=1,2,…,M，M为整数；测距过程，明确了I_c1和I_c2中的重叠目标并且得到各个目标与本车的距离（只考虑本车运动方向的距离）；根据距离信息和交通场景的现实状况建立融合规则，将障碍目标融合显示。

以下分别从图像分割、测距、融合三大部分详细说明算法实现过程。

对于采集到的图像进行分割，主要包括预处理、自适应FCM分割、分割后处理。

预处理主要是对采集到的图像进行背景建模和前景提取，剔除图像中绝大部分道路背景，保留障碍目标，并对图像灰度化。所述背景建模方法为一种基于空间聚类(Spatial Clustering，SC)的背景建模方法。文献(Background modeling andsubtraction by codebook construction.In:Proceedings of International Conference onImage Processing.Singapore,Singapore:IEEE,2004.3061-3064)中，Kim通过实验证实，RGB颜色空间中随着光照变化，彩色模板上大多数像素处RGB值的变化都是沿着通过原点的轴线方向上的拉伸，这也就是说，当光照发生轻微改变时，对于背景图像中某一像素位置的颜色值，其变化范围应该遵循上述特点。基于此，将上述颜色畸变规律作为聚类准则，用于像素的空间聚类并最终建立背景模型。设视频序列在时刻t的背景模型为

c_k为

中某一像素位置处第k个聚类中心，且c_k=(R_k,G_k,B_k)^T，I_k为c_k的亮度，定义其畸变区间为以该点和原点连线为轴的圆柱体，如图3，其中Δ_I为亮度畸变聚类半径，Δ_C为颜色畸变聚类半径。通过实验发现(Improved Background Subtraction Based on Novel Thresholding Approach,InActa Automatica Sinica)，同一幅图像在均匀光照变化下，各像素处的亮度畸变值和颜色畸变值大体上随着亮度的增加而近似线性的增加，也就是说，对于具有不同亮度值的像素，其聚类半径的大小也是互不相同的，它是随着亮度值的改变而自适应选取。因此，定义Δ_I和Δ_C分别为：

Δ_I=α₀·I_k    (1)

Δ_c=tanΔ_θ·I_k≈Δ_θ·I_k    (2)

其中，α₀和Δ_θ为畸变常量，通常取值α₀=0.03，Δ_θ=0.06，并且要求I_k>I_const，I_const为一个比较小的值，当I_k<I_const时，表明聚类中心像素处几乎没有可见的颜色信息，此时令I_k=I_const，只对其进行亮度畸变检测。通常常量I_const可取图像中最大亮度值的1/10，在此根据经验取

对于输入图像像素向量x_i=(R_i,G_i,B_i)^T和同一位置背景模型聚类中心c_k，定义聚类准则计算如下：

${\left|\right|x_i\left|\right|}^2+R_i^2+G_i^2+B_i^2---\left(3\right)$

${\left|\right|c_k\left|\right|}^2=R_k^2+G_k^2+B_k^2---\left(4\right)$

〈x_i,c_k〉²=(R_iR_k+G_iG_k+B_iB_k)²    (5)

$a^2={\left|\right|x_i\left|\right|}^2{\cos }^2\mathrm{\&theta;}=\frac{{\&lang;x_i,c_k\&rang;}^2}{{\left|\right|c_k\left|\right|}^2}---\left(6\right)$

brightness(I_i,I_k)=ΔI=|I_i-I_k|   (7)

$\mathrm{colordist}(x_i,c_k)=\mathrm{\&Delta;C}=\sqrt{{\left|\right|x_i\left|\right|}^2-a^2}---\left(8\right)$

若I_k>I_const，则进行亮度畸变和颜色畸变检测，即：

brightness(I_i,I_k)=ΔI≤Δ_I    (9)

colordist(x_i,c_k)=ΔC≤Δ_C     (10)

如果同时满足式(9)和(10)，则认为像素x_i满足聚类条件，属于该类。

若I_k≤I_const，令I_k=I_const，根据式(9)只进行亮度畸变检测，若满足条件则将其归为该类。

在此基础之上，按照如下过程进行背景模型的建立，如图4。

首先，进行模型的初始化。对每个像素点设置下列参数，聚类中心c，亮度畸变半径Δ_I和颜色畸变半径Δ_C，子类权重ω，最大子类数M。接下来，取视频图像序列第一帧作为初始背景模型，并将该帧中每个像素位置的颜色特征向量v作为其第一个聚类中心c₁，同时设置该类的权重ω₁＝1。

随后，对采集到的连续两帧图像f_t，f_t+1进行帧间差分，即：f_t-f_t+1，得到其中的不变区域v_t+1，也就是不包含运动目标的背景部分。对上述不变区域中的每个像素，计算当前像素特征向量和已存在聚类中心的畸变差异D，并选取其中的最小值D_min以及所对应的子类编号K。

如果D_min满足(9)和(10)组成聚类准则，表明当前像素属于子类K，那么按照下式对子类的参数进行更新：

c_k，t+1(x,y)=(1-α₁)c_k,t(x,y)+α₁v_t+1(x,y)    (11)

ω_k，t+1=(1-α₁)ω_k，t+α₁                    (12)

式中：

c_k，t+1(x,y)——像素(x,y)处第k个子类更新后的聚类中心；

c_k,t(x,y)——像素(x,y)处第k个子类更新前的聚类中心；

α₁——学习速率，取其值为0.1；

ω_k，t+1——第k个子类更新后的权重；

ω_k，t——第k个子类更新前的权重。

如果D_min不满足式(9)和(10)组成的聚类准则，表明当前像素不属于任何一个已存在的子类，需要比较max(k)和M的大小，若max(k)<M，即当前子类个数小于设定的最大子类数，则添加新的子类，聚类中心设为当前像素特征向量，权重初始化为一个较小的值ω₀，ω₀可取0.05；若max(k)≥M，则用当前像素特征向量替换已存在聚类中心中权重最小一个，同样将其权重初始化为一个较小的值ω₀，ω₀可取0.05。对于上述两种情况，在设定新子类的权值之后，需要对之前已有子类的权值进行调整，即按照下式衰减：

ω_k，t+1=(1-ω₀)ω_k，t    (13)

最后，对每个像素位置，根据权重ω对已存在的子类由大到小进行排序，并按照下式选择符合条件的前N个子类作为背景模型的合理描述。

$N=\arg {\min }_n(\underset{K=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_k>T_n)---\left(14\right)$

此后，重复上述过程，对建立的背景模型进行不断更新，以提高模型的准确度，满足时刻变化的交通场景需求，如图4。

考虑实际的交通场景和倒车时车速较慢等因素，通过背景建模得到了绝大部分道路信息。

图像的前景提取是指利用背景差分法进行目标检测，提取出前景障碍目标。假设原始帧的灰度图像为f(i,j)，经上述背景建模得到的背景模型为g(i,j)，将当前含有前景目标的灰度图像f(i,j)与背景模型g(i,j)做差分，当含目标的灰度图像与背景图像对应的像素点之间的灰度值小于某一阈值，即||f(i,j)-g(i,j)||>T(T为阈值)时，认为当前图像中出现了部分与背景模型g(i,j)偏差较大的像素点，表示已经检测到前景目标。

阈值T通过如下步骤确定：

1).计算图像的直方图统计结果，得到灰度值为k的频率P_HS(k)为 $P_{\mathrm{HS}}\left(k\right)=\frac{1}{m\&times;n}\underset{f(i,j)=k}{\mathrm{\&Sigma;}}1;$

2).计算图像的灰度均值μ_T为

3).计算灰度类均值μ(s)和类直方图之和w(s)分别为

$w\left(s\right)=\underset{k=0}{\overset{s}{\mathrm{\&Sigma;}}}{P}_{\mathrm{HS}}\left(k\right);$

4).计算类分离指标σ_B为

最后求出使得σ_B达到最大值的s，则阈值T＝s。

自适应FCM分割是在预处理的基础上，利用原有FCM算法，选取PBM-index评价指数先验决定聚类数目，使得该分割算法可以随着交通场景变化，自适应的分割出各个障碍目标。

PBM-index的定义如下：

$\mathrm{PBM}\left(K\right)={(\frac{1}{K}\&times;\frac{E_1}{E_K}\&times;D_K)}^2---\left(15\right)$

其中K为当前估计的聚类数目，且有：

$E_K=\underset{K=1}{\overset{K}{\mathrm{\&Sigma;}}}{E}_k---\left(16\right)$

$E_k=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{kj}}\left|\right|x_j-z_k\left|\right|---\left(17\right)$

$D_k=\underset{i,j=1}{\overset{k}{\max }}\left|\right|z_i-z_j\left|\right|---\left(18\right)$

X_j为第j个数据元素，Z_k为第k个数据中心的位置，D_k表征各聚类中心间距离之和。整个聚类指数主要由三部分组成，分别为

与D_K。其中，随着聚类数目的增长而单调减小；

中，E₁为常数(由公式16，17)，E_k随聚类数目的增长而减小，因此

随聚类数目的减小而增加；第三项D_K随着聚类数目的增长而增长。显然，后两项

与D_K保证了聚类结果的紧致性，而第一项

兼顾了聚类间的分离性。PBM-index的目的是迭代计算使得式(15)最大值的聚类数K，将此数据集作为数据集对象的最优聚类数。

PBM-index的整个执行思路实际是将可能范围内的聚类数目与相应的聚类中心迭代输入算法，从中选取最优聚类数。由于对于灰度图像，每个像素点都可以表征为0至255区间内的某个灰度值，这个特征说明聚类数目不会超过256个（即使每个灰度特征都被划为一类，所有的灰度特征一共只有256个），同时，结合现实场景图像特征与分割目的，可以将聚类数目的上限定为一个常数(为方便后文叙述，取为T_m)；另一方面，由于实际聚类中，至少存在一个背景类与目标前景类(背景差分后还是会有一部分道路信息保留)，所以聚类的下线设定最小为2。以此为基础，对聚类半径及相应的聚类中心有以下假设：

1）各个聚类半径一致，即每个聚类包含的灰度值的数目相同。本假设的目的是快速得到每个聚类的范围，以便从中计算出此类的聚类中心。

2）聚类中心为本聚类中出现频率最高的灰度值（中值法）。本假设依照一个简单的思路，即：在一个聚类中，聚类中心使得聚类内部各数据元素与聚类中心位置距离和最小；而选取本聚类中出现频率最高的灰度值，可以比较好的模拟聚类中心位置，同时本方法的时间效率较高。本方法形式化表示为：

$C_i=\underset{j\&Element;(d_i,u_i)}{\max }\left(x_j\right)---\left(19\right)$

其中x_j为图像灰度值，(d_i,u_i)为聚类i的聚类半径，c_i为聚类i的聚类中心。

有了以上两个假设，估算聚类数目的算法即可得出。对于有k个聚类的图片，首先按灰度值将整个灰度空间平均划分为k类，每类包含256/k个灰度值。然后将目标图像中的像素点按灰度划归入相应聚类，按式(19)求出相应的聚类中心，最后将相应的聚类中心代入PBM-index公式进行计算。又由上面分析，k的范围可取为2，将以上过程按照k＝2到k＝T_m迭代执行，记录使得PBM-index最大的相应k值，即为估计得到的先验聚类数目,其中T_m可取30。接下来只需要执行FCM聚类算法，如图5，求出各个聚类的聚类中心与半径，并将半径内的数据元素（像素点）全部置为聚类中心的灰度值，即完成分割。

分割后处理是对于分割效果的弥补和改善，由于分割算法本身的局限性造成的一些障碍目标轮廓的间断、破碎，这一点在车辆挡风玻璃边框上体现的尤为明显。为了尽量还原完整目标，引入了形态学上的区域融合算法和闭运算，对分割后的图像进行了处理，修正了部分因分割造成的信息缺失。

定义窗口

在窗口（可取7×5大小）范围内进行区域融合工作，窗口过大可能会把不同障碍物连接起来，而窗口过小又对分割效果起不到作用,窗口大小也可通过实验自行确定。同时定义了以下两种操作作为区域融合的关键性步骤：

Operation1:初始区域确定。以像素点x_ij为中心的

范围内，找出所有互不连通的前景类c₁，...,c_n，统计其像素数目l₁,...,l_n；

Operation2:判断是否应当合并。对于两类c_i与c_j（i与j可以相等），判断是否满足

若满足，则将两类合并，将窗体中心相邻点（而不是单纯的窗体中心像素）的灰度值置为c_i与c_j的平均值，其中S_i为当前所处理的前景类C_i的边缘长度，min(l_i,l_j)为l_i和l_j的最小值，先验阈值T₀取0.78。

有了上面的两个操作，对于区域融合，提出以下形式化步骤：

STEP1：判断当前像素点是否为背景类，是转STEP2，否则转STEP4；

STEP2：以当前像素点为中心执行Operation1运算。

STEP3：对于

中的类两两执行Operation2运算，转STEP4；

STEP4：取下一像素点，转STEP1继续执行。

在具体实现中，对目标像素点的选择规则做了优化，同时定义了区域判定前提条件。区域判定前提条件要求执行区域融合的中心像素点必须是背景类，这就保证了目标聚类元素出现频率较高的障碍目标主体不会被重复判定。因为目标障碍本身全部被聚为了非背景类，重新进行区域融合没有意义。而对于寻找下一像素点时，算法优化，使得上一个窗体中心像素点不会被下一个窗体所包含，降低了重复计算量，同时也使得当前操作对下一次迭代不会产生显著影响。图6与7展示了区域融合算法的效果。

经过区域融合处理之后，分割结果得到了一定程度上的改善，与单纯的FCM分割做比较，进行区域融合后的结果断裂带的宽度减小或者消除，但目标车辆边缘附近的“毛刺”现象却没有改善，这需要继续进行平滑处理。形态学中先膨胀后腐蚀的过程称为闭运算，闭运算可以用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。故选用闭运算对融合结果进行平滑处理。

测距是在分割的基础上进行的，经过分割后的图像中障碍目标已经被明确分离出来。首先利用SIFT特征匹配算法确定两帧图像的重叠部分；然后运用经典的张正友标定法标定两个摄像头，获得内外部参数，为后面的测距做好准备；在重叠部分的目标利用双目视觉进行三维重建，获取其深度信息，不在重叠部分内的目标，联系实际成像的特点选取测距点，可以通过反转透视模型，利用单目视觉得到其距离信息(各个障碍物测得的距离用d_i表示)。

SIFT特征匹配算法主要包括两个阶段，一个是SIFT特征的生成，第二阶段是SIFT特征向量的匹配。

SIFT特征是图像的局部特征，该特征对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有较强的不变性。特征是与尺度相关联的，某种大小的特征对应着一个尺度；为了能够在不同的尺度下提取到相同的特征，需要确定特征的尺度大小。在SIFT算法中，首先使用了高斯差分算子(DoG)来描述图像的多尺度表示，也就是生成图像的DoG尺度空间；然后在提取特征点的时候确定了其尺度大小。

之所以选择高斯差分算子(DoG)作为确定图像区域特征的尺度的标准化算子，是因为它比另一个常用的算子高斯-拉普拉斯算子更节省时间，虽然二者只相差一个常数因子而且可以近似表示。DoG的定义如下所示：

G(x,y,kσ)-G(x,y,σ)    (20)

其中：高斯函数G(x，y,σ)表示如下所示：

$G(x,y,\mathrm{\&sigma;})=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{x^2+y^2}{{2\mathrm{\&sigma;}}^2}}---\left(21\right)$

SIFT特征提取方法的步骤如下：

（1）生成DoG金字塔尺度空间。金字塔多尺度示意图如图8。

（2）对于每一个点，确定其是否为极值点。通过将该点与其上下左右及对角线总共八个点，还有上下层的十八个邻接点进行比较来确定其是否为极值点。如果确定该点是极值点，那么该点就是特征点，而且可以根据其邻域的梯度计算该点的主方向。

（3）描述特征点。一般情况下是在某个尺度下在某个点周围取一个邻域，并对该邻域使用某种方法进行合适的描述。在SIFT特征点描述方法中，取特征点周围一个大小为16×16的邻域，然后将其分为16个大小为4×4的子邻域，并计算每个子邻域的梯度，每个子邻域等分为8个方向来描述梯度的大小。因此，在SIFT算法中使用128维的向量来描述特征点。而且在SIFT算法中特征点的描述有三个关键部分：邻域的划分、计算梯度时邻域的角度划分和利用邻域划分及角度划分来描述梯度大小。

对SIFT特征向量进行匹配是根据相似性度量来进行的，常用的匹配方法有：欧式距离和马氏距离等。采用欧式距离对SIFT的特征向量进行匹配。获取SIFT特征向量后，采用优先k-d树进行优先搜索来查找每个特征点的近似最近邻特征点。在这两个特征点中，如果最近的距离除以次近的距离小于某个比例阈值（该阈值通过实验确定），则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

经过SIFT特征匹配后，匹配上的特征点所在的障碍目标区域可以确定是在两个摄像头所拍图像的重叠区域，在此基础上，相对于未匹配上的特征点，将两帧图像I_c1和I_c2中可以匹配上的特征点标记出来。对于图像I_c1的N个目标和图像I_c2的M个目标，先检测其中是否有已标记的特征点（即匹配上的特征点），若有，则将该目标标记出来。对标记出来的目标，若其已经标记的特征点数目K过多，则只取某几个特征点作为后续的测距点。

在测距之前，首先需要通过标定摄像头确定从三维空间点到摄像头成像平面上的二维图像点之间映射关系的参数。此处采用经典的张正友标定法进行摄像头的标定。

主要步骤为：

（1）打印一张棋盘方格并贴在一个平坦物体的表面作为标定板；

（2）移动标定板，在不同的位置上获取至少三幅标定板图像；

（3）用提取角点的方法检测出标定板图像；

（4）获得特征点坐标，进而计算每一幅图像的平面投影矩阵；

（5）通过封闭式解决方法，利用旋转矩阵的正交性，估计得到五个内部参数和外部参数；

（6）利用最小二乘法估算摄像机的径向畸变系数；

（7）利用再投影误差最小准则，对内外参数进行优化。

通过张正友标定法得到两个摄像头C₁和C₂的内部参数矩阵A和外部参数矩阵M_RT。

摄像头标定完成后，进行距离测量。对于已经标记的目标利用双目测距。

在实际中，双目立体视觉相机布局如图9所示，其光轴并不平行，左右焦距也并非相同。而所能获取的像点在图像平面的坐标是其像素坐标而非像平面坐标，因此不能简单建立几何的投影模型来描述被测点的距离与相机参数之间的关系。该实际模型应当包括三个坐标的转换：世界坐标系到摄像机坐标系的转换、摄像机坐标系到图像坐标的转换，图像坐标到像素坐标的转换。

该实际模型可用图10描述。根据照相机成像线性理论，三次变换可描述为：

1）客观世界坐标到摄像机坐标的转换

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\&CenterDot;\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(22\right)$

2）摄像机到像平面坐标的转换

利用小孔模型，可以描述空间中任一点(X_c,Y_c,Z_c)与其像平面投影位置(x,y)的关系，

x=fX_c/Z_c    (23)

y=fY_c/Z_c    (24)

可以将式（23）和式（24）描述为齐次坐标的矩阵形式，

$Z_c\&CenterDot;\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\&CenterDot;\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]---\left(25\right)$

3）像平面到计算机像素坐标的转换

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/d_x& 0& u_0\\ 0& 1/d_y& v_0\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(26\right)$

式中：

(X_c,Y_c,Z_c)——待测物在摄像机坐标系下的坐标；

(X_w,Y_w,Z_w)——待测物在世界坐标系下的坐标；

R——摄像头的旋转矩阵；

T——摄像头的平移矩阵；

f——相机的焦距；

(x，y)——待测物像平面的坐标；

(u,v)——待测物在计算机中的像素坐标；

(d_x,d_y)——像素单位的物理长度；

(u₀,v₀)——图像中心的像素坐标。

可以将，式（22）、式（25）和式（26）联立，从而获得待测物由世界坐标系转化为像素坐标的公式。即：

$Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)={\mathrm{AM}}_{\mathrm{RT}}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\&alpha;}}_u& 0& u_0\\ 0& {\mathrm{\&alpha;}}_u& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cc}{R}_w& T_w\\ O^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=M\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(27\right)$

式中：

M——摄像机的参数矩阵。

当我们通过摄像机进行标定获得M之后，就可以建立每个摄像机中待测点与像点的摄像机坐标与图像坐标的对应关系。在双目立体视觉模型中，对两个摄像头均可列出式（27）的关系如下：

$Z^{\left(1\right)}\left(\begin{array}{c}{u}^{\left(1\right)}\\ v^{\left(1\right)}\\ 1\end{array}\right)=A^{\left(1\right)}{M}_{\mathrm{RT}}^{\left(1\right)}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\&alpha;}}_u^{\left(1\right)}& 0& u_0^{\left(1\right)}\\ 0& {\mathrm{\&alpha;}}_u^{\left(1\right)}& v_0^{\left(1\right)}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cc}{R}_w^{\left(1\right)}& T_w^{\left(1\right)}\\ O^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=M^{\left(1\right)}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(28\right)$

$Z^{\left(2\right)}\left(\begin{array}{c}{u}^{\left(2\right)}\\ v^{\left(2\right)}\\ 1\end{array}\right)=A^{\left(2\right)}{M}_{\mathrm{RT}}^{\left(2\right)}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\&alpha;}}_u^{\left(2\right)}& 0& u_0^{\left(2\right)}\\ 0& {\mathrm{\&alpha;}}_u^{\left(2\right)}& v_0^{\left(2\right)}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cc}{R}_w^{\left(2\right)}& T_w^{\left(2\right)}\\ O^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=M^{\left(2\right)}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(29\right)$

式中：

Z⁽¹⁾Z⁽²⁾——在摄像头坐标系中光轴坐标；

A⁽¹⁾A⁽²⁾——两个摄像头的内参矩阵；

——两个摄像头的外参矩阵即旋转平移矩阵。

假设拍摄时，摄像头参数矩阵M⁽¹⁾,M⁽²⁾已由标定给出，分别为

$M^{\left(1\right)}=\left(\begin{array}{cccc}{m}_{11}^{\left(1\right)}& m_{12}^{\left(1\right)}& m_{13}^{\left(1\right)}& m_{14}^{\left(1\right)}\\ m_{21}^{\left(1\right)}& m_{22}^{\left(1\right)}& m_{23}^{\left(1\right)}& m_{24}^{\left(1\right)}\\ m_{31}^{\left(1\right)}& m_{32}^{\left(1\right)}& m_{33}^{\left(1\right)}& m_{34}^{\left(1\right)}\end{array}\right)---\left(30\right)$

$M^{\left(2\right)}=\left(\begin{array}{cccc}{m}_{11}^{\left(2\right)}& m_{12}^{\left(2\right)}& m_{13}^{\left(2\right)}& m_{14}^{\left(2\right)}\\ m_{21}^{\left(2\right)}& m_{22}^{\left(2\right)}& m_{23}^{\left(2\right)}& m_{24}^{\left(2\right)}\\ m_{31}^{\left(2\right)}& m_{32}^{\left(2\right)}& m_{33}^{\left(2\right)}& m_{34}^{\left(2\right)}\end{array}\right)---\left(31\right)$

代入式（30）和式（31）联立，可获得方程

$\left\{\begin{array}{cccc}(u^{\left(1\right)}{m}_{31}^{\left(1\right)}-m_{11}^{\left(1\right)})& X_w+(u^{\left(1\right)}{m}_{32}^{\left(1\right)}-m_{12}^{\left(1\right)})& Y_w+(u^{\left(1\right)}{m}_{33}^{\left(1\right)}-m_{13}^{\left(1\right)})& Z_w=(m_{14}^{\left(1\right)}-m_{34}^{\left(1\right)}{u}^{\left(1\right)})\\ (v^{\left(1\right)}{m}_{31}^{\left(1\right)}-m_{21}^{\left(1\right)})& X_w+(v^{\left(1\right)}{m}_{32}^{\left(1\right)}-m_{22}^{\left(1\right)})& Y_w+(v^{\left(1\right)}{m}_{33}^{\left(1\right)}-m_{23}^{\left(1\right)})& Z_w=(m_{24}^{\left(1\right)}-m_{34}^{\left(1\right)}{v}^{\left(1\right)})\\ (u^{\left(2\right)}{m}_{31}^{\left(2\right)}-m_{11}^{\left(2\right)})& X_w+(u^{\left(2\right)}{m}_{32}^{\left(2\right)}-m_{12}^{\left(2\right)})& Y_w+(u^{\left(2\right)}{m}_{33}^{\left(2\right)}-m_{13}^{\left(2\right)})& Z_w=(m_{14}^{\left(2\right)}-m_{34}^{\left(2\right)}{u}^{\left(2\right)})\\ (v^{\left(2\right)}{m}_{31}^{\left(2\right)}-m_{11}^{\left(2\right)})& X_w+(V^{\left(2\right)}{m}_{32}^{\left(2\right)}-m_{12}^{\left(2\right)})& Y_w+(v^{\left(2\right)}{m}_{33}^{\left(2\right)}-m_{13}^{\left(2\right)})& Z_w=(m_{14}^{\left(2\right)}-m_{34}^{\left(2\right)}{v}^{\left(2\right)})\end{array}\right.---\left(32\right)$

将式(30)写为齐次坐标形式之后，即可通过利用最小二乘法对该线性方程组进行求解，即获得该空间点的三维坐标(X_w Y_w Z_w）。

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]={\left(M^{T}M\right)}^{-1}{M}^{T}B---\left(33\right)$

式中： $M--\left(\begin{array}{ccc}{u}^{\left(1\right)}{m}_{31}^{\left(1\right)}-m_{11}^{\left(1\right)}& u^{\left(1\right)}{m}_{32}^{\left(1\right)}-m_{12}^{\left(1\right)}& u^{\left(1\right)}{m}_{33}^{\left(1\right)}-m_{13}^{\left(1\right)}\\ v^{\left(1\right)}{m}_{31}^{\left(1\right)}-m_{21}^{\left(1\right)}& v^{\left(1\right)}{m}_{32}^{\left(1\right)}-m_{22}^{\left(1\right)}& v^{\left(1\right)}{m}_{33}^{\left(1\right)}-m_{23}^{\left(1\right)}\\ u^{\left(2\right)}{m}_{31}^{\left(2\right)}-m_{11}^{\left(2\right)}& u^{\left(2\right)}{m}_{32}^{\left(2\right)}-m_{12}^{\left(2\right)}& u^{\left(2\right)}{m}_{33}^{\left(2\right)}-m_{13}^{\left(2\right)}\\ v^{\left(2\right)}{m}_{31}^{\left(2\right)}-m_{11}^{\left(2\right)}& v^{\left(2\right)}{m}_{32}^{\left(2\right)}-m_{12}^{\left(2\right)}& v^{\left(2\right)}{m}_{33}^{\left(2\right)}-m_{13}^{\left(2\right)}\end{array}\right);$

得到该点三维坐标信息，另外明确两个摄像头在车尾外表面两侧的安装位置，即可取该测距点到车尾两侧端点所组成的线段的最短距离，作为该目标到本车的距离。此处只选取I_c1或者I_c2重叠目标中的多个标记点进行测量并取平均值。对于未标记的目标，考虑成像的特点，距离较近的点，总是相对的在成像图像的下部，另外考虑反转透视模型的局限性，取摄像头坐标系下该目标内纵坐标最大且最靠近重叠区域垂直中心线的点作为测量点，然后利用该模型进行测距，可得测量点到车尾两侧端点所组成的线段的垂直距离。

由图11可得，

$\tan \mathrm{\&theta;}=\frac{H}{R}---\left(34\right)$

$\frac{2\mathrm{\&alpha;}}{n-1}=\frac{\mathrm{\&theta;}+\mathrm{\&alpha;}-{\mathrm{\&theta;}}_0}{y}---\left(35\right)$

$R=\frac{H}{\tan \mathrm{\&theta;}}=\frac{H}{\tan (\frac{2\mathrm{\&alpha;}\&CenterDot;y}{n-1}+{\mathrm{\&theta;}}_0-\mathrm{\&alpha;})}---\left(36\right)$

由图12可得，

$\tan \mathrm{\&epsiv;}=\frac{S}{R}---\left(37\right)$

$\frac{2\mathrm{\&alpha;}}{m-1}=\frac{\mathrm{\&epsiv;}+\mathrm{\&alpha;}-{\mathrm{\&epsiv;}}_0}{x}---\left(38\right)$

$S=\tan \mathrm{\&epsiv;}\&CenterDot;R=\tan (\frac{2\mathrm{\&alpha;}\&CenterDot;x}{m-1}+{\mathrm{\&epsiv;}}_0-\mathrm{\&alpha;})\&CenterDot;R---\left(39\right)$

$L=\sqrt{S^2+R^2}---\left(40\right)$

将式（36）和式（39）带入式（40）可得，

$L=\sqrt{S^2+R^2}=\{1+\tan (\frac{2\mathrm{\&alpha;}\&CenterDot;x}{m-1}+{\mathrm{\&epsiv;}}_0-\mathrm{\&alpha;})\}\&CenterDot;\frac{H}{\tan (\frac{2\mathrm{\&alpha;}\&CenterDot;y}{n-1}+{\mathrm{\&theta;}}_0-\mathrm{\&alpha;})}---\left(41\right)$

式中：

θ——测量点与摄像机中心连线与水平线所成角；

H——摄像机距地面的高度；

R——测量点距离摄像机的主视距离；

2·α——摄像机的孔径张角；

m×n——摄像机的分辨率；

θ₀——摄像机中心轴与x轴在(x,z)平面的夹角；

(x,y)——测量点在图像中的像素坐标；

ε——俯视图中测量点与摄像机中心连线与水平线所成角；

ε₀——摄像机中心轴与x轴在(x,y)平面的夹角；

P——测量点即目标的最底端点；

L——测量点到车尾两侧端点所组成的线段的垂直距离。

式（41）只要获得摄像机的孔径、分辨率、测量点在图片上的坐标、摄像机距离地面的高度、摄像机中心轴与x轴的在(x,z)平面和(x,y)平面的夹角即可求出测量点到车尾两侧端点所组成的线段的垂直距离，同样的，取该测距点到车尾两侧端点所组成的线段的最短距离，作为该目标到本车的距离。将经过双目和单目测距后的各个障碍目标的距离值统一用d_i表示。

经过分割、测距得到了分割出来的各个障碍目标以及各个障碍物目标与本车的距离，接下来将障碍物目标进行融合显示。在融合时，考虑各个目标障碍在本车后的相对位置以及显示效果，需要满足以下两个准则：

1）设定的某一安全阈值T_s内的所有障碍目标，都应该能够融合在一帧中显示出来；

2）障碍目标融合后应该反映其在真实环境中的相对位置。

车辆在小范围运动的情况下，路面可以近似为绝对平面，则车辆运动可以分解为向后和水平方向的平移以及水平的旋转。车速可以表示为v=(t_z,t_xω_y)，t_z表示向后的平移速度，t_x表示水平方向的平移速度，ω_y表示旋转的角速度。假设两帧图像ψ和ψ′分别采集于t时刻和t+Δt时刻。由测距过程测得ψ中一点P在t时刻摄像机坐标系中的坐标为(x,y,z)，运用SIFT匹配的方法需找到P点在ψ′中的对应点P′，P′在t+Δt时刻的摄像机坐标系中的坐标为(x′,y′,z′)。根据空间坐标变换关系可知

$\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right)=\left(\begin{array}{cccc}\cos (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0& \sin (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0\\ 0& 1& 0& 0\\ -\sin (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0& \cos (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}1& 0& 0& -t_x\&CenterDot;\mathrm{\&Delta;t}\\ 0& 1& 0& 0\\ 0& 0& 1& -t_z\&CenterDot;\mathrm{\&Delta;t}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)---\left(42\right)$

求解该方程组可以获得车辆在t时刻的速度。

由于人的生理反应时间为0.15到0.4s，一般情况下，倒车时的车速不超过30km/h,保留1m的安全距离，动态的确定安全阈值T_s如下：

t_z≥20km/s时，取T_s=3.2m

20km/s>t_z≥10km/s时，取T_s=2.2m

t_z<10km/s，取T_s=1.0m

另外对于音频报警器的触发阈值T_r可取为0.3到0.5m,本系统取0.3m。

考虑交通场景的实际情况在所成图像（假设I_c1和I_c2大小为m×n）中的特点，可以大致分为障碍目标很少，相对较多，非常多三种情况。具体的讲，将以上情况分别表述为以下a,b,c三种条件：

a.当I_c1和I_c2中相同位置不都有障碍目标时；

b.当I_c1和I_c2中相同位置有障碍目标（不论两个障碍目标的重合区域大小）且

时(S为I_c1和I_c2中d_i<T_s的各个障碍目标像素数目和)；

c.其他情况。

定义以下操作作为障碍目标融合的关键操作：

操作1：初始障碍目标确定。根据获得此时汽车的倒车速度，并对不同的倒车速度范围设定相应的安全距离阈值T_s，统计d_i<T_s的各个障碍目标以及这些障碍目标的个数n和像素数目总和S；

操作2：对于d_i>T_s的障碍目标，取此帧中的道路背景填充该障碍目标；

操作3：首先对I_c1和I_c2中所有的n个障碍目标，将I_c1(或者I_c2)保留，并将I_c2中(或者I_c1)对应位置的障碍目标显示在I_c1(或者I_c2)相同位置处，然后平行移动各个障碍物，以确保I_c1(或者I_c2)中障碍目标在I_c2(或者I_c1)中障碍目标的左侧，若移动时，出现障碍物太大不能显示在移动后的位置，将其按比例缩小至刚好显示在移动后的位置即可，此时输出I_c1(或者I_c2)；

操作4：首先将I_c1中各个障碍目标依次向左下角移动，并确保各个障碍目标刚刚接触并且不重叠，然后对于I_c2中的各个障碍同样执行如上移动过程，移动后形成的矩形图像大小m₀×n₀，若m₀<m，则将各个障碍按之前移动的反方向依次从I_c2最右上角的障碍目标开始，移动至大小为m×n，若m₀>m，则将m₀×n₀缩放为m×n大小；

操作5：将I_c1(或者I_c2)以及I_c2(或者I_c1)中两帧非重叠部分的矩形图像等比例的缩放至m×n大小。

有了上面的几个操作，对于障碍目标融合，形成以下形式化步骤：

Step1：执行操作1，根据测得的车速获得安全阈值为T_s，以及参数n和S；

Step2:执行操作2；

Step3：依次检测参数满足a,b,c三个条件中的哪一个；

Step4:满足条件a时，执行操作3；满足条件b时，执行操作4；条件c情况下执行操作5。

另外在显示的时候,由于摄像头安装在车后，所拍摄图像中：距离本车最近的事物会出现在图像下部，上部则是距离相对远的事物；而显示器安装在车辆的驾驶室中控台上，根据驾驶者的观察习惯，显示的图像的上部应该是距离本车较近的事物，而下部则是距离较远的事物，为了达到上述的显示效果，对融合后的图像需要做垂直镜像变换。

Claims (7)

1.一种后视倒车辅助系统，其特征在于，包括视频采集器、图像同步处理器、DSP处理器、逻辑控制器、存储模块、输出帧缓存、视频解码器和视频显示器；视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频解码器和视频显示器依次连接，逻辑控制器连接图像同步处理器、DSP处理器、输出帧缓存和视频解码器；其中视频采集器包括两个针孔摄像头，平行固定安装在车后外表面两侧，且两个摄像头成像有部分重合；所述存储模块包括闪存和内存，所述闪存和内存分别与DSP处理器相连。

2.根据权利要求1所述的一种后视倒车辅助系统，其特征在于，逻辑控制器连接有音频报警器。

3.根据权利要求2所述的一种后视倒车辅助系统，其特征在于，视频采集器的两个针孔摄像头各采集到一帧图像，经过图像同步处理器同步后储存到内存中，DSP处理器对两个摄像头采集的两帧图像分割、测距后并进行融合处理，将处理结果对应的像素点发送到输出帧缓存后，两个摄像头开始采集新的一帧图像，如此循环；由逻辑控制器产生输出帧缓存的时序信号将输出缓存中所存储的内容传输到视频编码器中，转换成视频信号，由视频线传输到视频显示器显示出后视障碍物图像，与此同时，DSP处理器将获得的各个障碍目标的距离与系统设定的安全距离阈值对比，若小于该阈值，则逻辑控制器驱动音频报警器报警。

4.一种形成后视障碍图像的方法，其特征在于，包括以下步骤：

车后两侧外表面平行固定安装的两个针孔摄像头各采集到一帧图像，经过图像同步处理器同步后储存到内存中，DSP处理器对两个摄像头采集的两帧图像依次进行分割、测距和融合处理，将处理结果对应的像素点发送到输出帧缓存；逻辑控制器产生输出帧缓存的时序信号将输出缓存中所存储的内容传输到视频编码器中，转换成视频信号，由视频线传输到视频显示器显示出后视障碍物图像，与此同时，DSP处理器将获得的各个障碍目标的距离与系统设定的阈值T_r对比，若小于该阈值，则逻辑控制器驱动音频报警器报警。

5.根据权利要求4所述的一种形成后视障碍图像的方法，其特征在于，DSP处理器对两个摄像头各采集的一帧图像分割的方法依次包括：预处理、自适应FCM分割和分割后处理；

预处理包括背景建模和前景提取；背景建模时，首先进行模型的初始化，对每个像素点设置下列参数，聚类中心c，亮度畸变半径Δ_I和颜色畸变半径Δ_C，子类权重ω，最大子类数M；接下来，取视频图像序列第一帧作为初始背景模型，并将该帧中每个像素位置的颜色特征向量v作为其第一个聚类中心c₁，同时设置该类的权重ω₁=1；

随后，对采集到的连续两帧图像f_t，f_t+1进行帧间差分，即：f_t-f_t+1，得到其中的不变区域v_t+1，也就是不包含运动目标的背景部分；对上述不变区域中的每个像素，计算当前像素特征向量和已存在聚类中心的畸变差异D，并选取其中的最小值D_min以及所对应的子类编号K；

如果D_min满足(1)和(2)组成的聚类准则，

brightness(I_i,I_k)=ΔI≤Δ_I    (1)

colordist(x_i,c_k)=ΔC≤Δ_C    (2)

表明当前像素属于子类k，那么按照下式对子类的参数进行更新：

c_k,t+1(x,y)=(1-α₁)c_k,t(x,y)+α₁v_t+1(x,y)    (3)

ω_k，t+1=(1-α₁)ω_k，t+α₁                   (4)

式中：

c_k，t+1(x,y)——像素(x,y)处第k个子类更新后的聚类中心；

c_k,t(x,y)——像素(x,y)处第k个子类更新前的聚类中心；

α₁——学习速率；

ω_k，t+1——第k个子类更新后的权重；

ω_k，t——第k个子类更新前的权重；

如果D_min不满足式(1)和(2)组成的聚类准则，表明当前像素不属于任何一个已存在的子类，则比较max(k)和M的大小，最后，对每个像素位置，根据权重ω对已存在的子类由大到小进行排序，并按照下式选择符合条件的前N个子类作为背景模型的合理描述：

$N=\arg {\min }_n(\underset{K=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_k>T_n)---\left(5\right)$

此后，重复上述过程，对建立的背景模型进行不断更新，以提高模型的准确度，满足时刻变化的交通场景需求；经过以上建模更新得到了背景模型g(i,j)，原始帧的灰度图像为f(i,j)，背景差分即||f(i,j)-g(i,j)||>T时，认为当前图像中出现了部分与背景模型g(i,j)偏差较大的像素点，即表示前景；T为阈值，阈值T通过如下步骤确定：

1）计算图像的直方图统计结果，得到灰度值为k的频率P_HS(k)为 $P_{\mathrm{HS}}\left(k\right)=\frac{1}{m\&times;n}\underset{f(i,j)=k}{\mathrm{\&Sigma;}}1;$

2）计算图像的灰度均值μ_T为

3）计算灰度类均值μ(s)和类直方图之和w(s)分别为

$w\left(s\right)=\underset{k=0}{\overset{s}{\mathrm{\&Sigma;}}}{P}_{\mathrm{HS}}\left(k\right);$

4）计算类分离指标σ_B为

最后求出使得σ_B达到最大值的s，则阈值T=s；

所述自适应FCM分割是对预处理后的图像，选取PBM-index评价指数先验决定聚类数目，然后利用FCM算法进行分割；其中PBM-index的定义如下：

$\mathrm{PBM}\left(K\right)={(\frac{1}{K}\&times;\frac{E_1}{E_K}\&times;D_K)}^2---\left(6\right)$

其中K为当前估计的聚类数目，且有：

$E_K=\underset{K=1}{\overset{K}{\mathrm{\&Sigma;}}}{E}_k---\left(7\right)$

$E_k=\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{kj}}\left|\right|x_j-z_k\left|\right|---\left(8\right)$

$D_k=\underset{i,j=1}{\overset{k}{\max }}\left|\right|z_i-z_j\left|\right|---\left(9\right)$

X_j为第j个数据元素，Z_k为第k个数据中心的位置，D_k表征各聚类中心间距离之和；按照k=2到k=T_m迭代执行，记录使得PBM-index最大的相应k值，即为估计得到的先验聚类数目；接下来执行FCM聚类算法，求出各个聚类的聚类中心与半径，并将半径内的数据元素即像素点全部置为聚类中心的灰度值；

所述分割后处理，首先定义窗口

在

窗口范围内进行区域融合，然后对其结果进行形态学上的闭运算处理；以下两种操作作为区域融合的关键性步骤：

Operation1:初始区域确定；以像素点x_ij为中心的范围内，找出所有互不连通的前景类c₁，...,c_n，统计其像素数目l₁，...,l_n；

Operation2:判断是否应当合并；对于两类c_i与c_j，判断是否满足

若满足，则将两类合并，将窗体中心相邻点的灰度值置为c_i与c_j的平均值；其中S_i为当前所处理的前景类C_i的边缘长度，min(l_i,l_j)为l_i和l_j的最小值，先验阈值T₀取0.78；

区域融合的形式化步骤为：

STEP1：判断当前像素点是否为背景类，是转STEP2，否则转STEP4；

STEP2：以当前像素点为中心执行Operation1运算；

STEP3：对于

中的类两两执行Operation2运算，然后转STEP4；

STEP4：取下一像素点，转STEP1继续执行。

6.根据权利要求5所述的一种形成后视障碍图像的方法，其特征在于，测距的方法为：首先利用SIFT特征匹配算法确定两帧图像的重叠部分；然后运用经典的张正友标定法标定两个摄像头，获得内外部参数；在重叠部分的目标利用双目视觉进行三维重建，获取其深度信息，不在重叠部分内的目标，联系实际成像的特点选取测距点，通过反转透视模型，利用单目视觉得到其距离。

7.根据权利要求6所述的一种形成后视障碍图像的方法，其特征在于，测距后的融合的方法为首先根据车速确定安全阈值，然后根据定义的几种主要操作完成图像的融合，并做垂直镜像变化；

车速表示为v=(t_z，t_x,ω_y)，t_z表示向后的平移速度，t_x表示水平方向的平移速度，ω_y表示旋转的角速度；两帧图像ψ和ψ′分别采集于t时刻和t+Δt时刻；由测距过程测得ψ中一点P在t时刻摄像机坐标系中的坐标为(x,y,z)，运用SIFT匹配的方法找到P点在ψ′中的对应点P′，P′在t+Δt时刻的摄像机坐标系中的坐标为(x′,y′,z′)；根据空间坐标变换关系可知：

$\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right)=\left(\begin{array}{cccc}\cos (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0& \sin (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0\\ 0& 1& 0& 0\\ -\sin (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0& \cos (\mathrm{\&theta;}\&CenterDot;\mathrm{\&Delta;t})& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}1& 0& 0& -t_x\&CenterDot;\mathrm{\&Delta;t}\\ 0& 1& 0& 0\\ 0& 0& 1& -t_z\&CenterDot;\mathrm{\&Delta;t}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)---\left(10\right)$

求解该方程组以获得车辆在t时刻的速度,动态的确定安全阈值T_s如下：

t_z≥20km/s时，取T_s=3.2m；

20km/s>t_z≥10km/s时，取T_s=2.2m；

t_z<10km/s，取T_s=1.0m；

音频报警器的触发阈值T_r取为0.3到0.5m；

考虑交通场景的实际情况在所成图像中的特点,分为以下a,b,c三种条件，其中I_c1和I_c2为两摄像头各采集的一帧图像，I_c1和I_c2大小为m×n：

a.当I_c1和I_c2中相同位置不都有障碍目标时；

b.当I_c1和I_c2中相同位置有障碍目标且

时；

c.其他情况；

障碍目标融合的操作为：

操作1：初始障碍目标确定；根据获得此时汽车的倒车速度，并对不同的倒车速度范围设定相应的安全距离阈值T_s，统计d_i<T₁的各个障碍目标以及这些障碍目标的个数n和像素数目总和S；

操作2：对于d_i>T_s的障碍目标，取此帧中背景g(i,j)对应位置填充该障碍目标；

操作3：首先对I_c1和I_c2中所有的n个障碍目标，将I_c1保留，并将I_c2中对应位置的障碍目标显示在I_c1相同位置处，然后平行移动各个障碍物，以确保I_c1中障碍目标在I_c2中障碍目标的左侧，若移动时，出现障碍物太大不能显示在移动后的位置，将其按比例缩小至刚好显示在移动后的位置即可，此时输出I_c1；

操作4：首先将I_c1中各个障碍目标依次向左下角移动，并确保各个障碍目标刚刚接触并且不重叠，然后对于I_c2中的各个障碍同样执行如上移动过程，移动后形成的矩形图像大小m₀×n₀，若m₀<m，则将各个障碍按之前移动的反方向依次从I_c2最右上角的障碍目标开始，移动至大小为m×n，若m₀>m，则将m₀×n₀缩放为m×n大小；

操作5：将I_c1以及I_c2中两帧非重叠部分的矩形图像等比例的缩放至m×n大小，并输出显示；

有了上面的几个操作，对于障碍目标融合，形成以下形式化步骤：

Step1：执行操作1，根据测得的车速获得安全阈值为T_s，以及参数n和S；

Step2:执行操作2；

Step3：依次检测参数满足a、b、c三个条件中的哪一个；

Step4:满足条件a时，执行操作3；满足条件b时，执行操作4；满足条件c情况下执行操作5。

Images