CN104021388A - 基于双目视觉的倒车障碍物自动检测及预警方法 - Google Patents

Abstract

本发明的基于双目视觉的倒车障碍物自动检测及预警方法，步骤包括：1)对双目摄像头进行标定；2)对双目视频帧图像对去除纹理不丰富的路面区域；3)提取右目图像中的轮廓，确定左目图像的裁剪量；4)根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图；5)根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接；6)对左右目图像的拼接图，提取疑似障碍物轮廓及其外接矩形；7)计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，分级预警即成。本发明的方法，简单实用，准确率高。

Description

基于双目视觉的倒车障碍物自动检测及预警方法

技术领域

本发明属于汽车智能辅助安全驾驶技术领域，涉及一种基于双目视觉的倒车障碍物自动检测及预警方法。

背景技术

汽车是当今世界最主要的交通工具之一，随着汽车数量的增加，车辆的安全辅助驾驶技术越来越受到人们的关注，倒车是汽车驾驶中非常重要的一项，由于人的视角范围、后视镜存在盲区、司机误操作、新手不熟练等原因，极易导致倒车事故的发生，安装倒车辅助装置能够有效地减少倒车事故的发生几率。目前常用的倒车辅助装置主要有两类：即倒车探头和倒车影像。

倒车探头主要有雷达、激光、超声波等设备，雷达电磁波、激光光波、超声波等在遇到障碍物后发生反射，探头接收到反射信号后计算障碍物的距离信息并给出报警，其缺点是探头的感知区域有限，检测范围具有局限性，对不在感知区域内的物体，如台阶、较细障碍物、突出的钢筋等容易出现漏检现象；另外，倒车探头不能给驾驶人提供一种可视的车后方影像。倒车影像是通过车尾安装的摄像头为驾驶人提供车后方的可视影像，驾驶人通过显示屏看到车后方的实景，但它不自动检测障碍物也不提供预警，所以驾驶人必须主动关注显示屏上的影像，依赖经验自主判断后方有无障碍物以及障碍物离车的距离；倒车探头和倒车影像结合，使驾驶人看到倒车影像的同时，还有倒车探头给出预警，但由于该组合装置只是简单结合，具体是针对哪个障碍物的预警依旧需要驾驶人自己去判断，且该组合装置依旧没有解决倒车探头的漏检问题。

目前也有关于基于单目和双目视觉的倒车障碍物距离计算的研究。

基于单目视觉的障碍物距离测量需要对安装好的单目摄像头的高度和俯仰角进行测量，并通过标定和计算来实现对障碍物距离的测量，这种方法虽然设计简单，但是由于这种方法的距离计算精度依赖于摄像头安装高度和俯仰角度的测量，测距精度不高，对于处于地面附近的被测点的测量较为准确，如果被测点距离地面有一定高度，则测量结果存在较大误差。

基于双目视觉的障碍物距离测量，需要获取双目视差图，但是现有的获取双目视差图的匹配方法，一是易受纹理不丰富的区域的影响以及没有对左目图像左侧区域进行裁剪处理，导致视差图匹配不准确，从而影响距离计算的精度；二是视差图匹配的速度较慢，实时性差，反应时间短。

发明内容

本发明的目的是提供一种基于双目视觉的倒车障碍物自动检测及预警方法，解决了现有技术中基于双目视觉的倒车设备，视差图易受纹理不丰富区域、以及左目图左侧区域误匹配的影响，导致障碍物距离计算精度不高、双目视差图匹配速度较慢的问题。

本发明所采用的技术方案是，一种基于双目视觉的倒车障碍物自动检测及预警方法，具体按照以下步骤实施：

步骤1：对安装在车辆尾部的双目摄像头进行标定；

步骤2：对倒车时双目摄像头拍摄的双目视频帧图像对，去除纹理不丰富的路面区域；

步骤3：提取右目图像中的轮廓，确定左目图像的裁剪量；

步骤4：根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图；

步骤5：根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接；

步骤6：对左右目图像的拼接图，去除纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形；

步骤7：计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，采用声光分级预警，即成。

本发明的有益效果是，在车辆尾部中间位置一定高度处安装双目摄像头，对双目摄像头进行标定；对倒车时双目摄像头拍摄的双目视频帧图像对，分别利用分块区域生长法去除纹理不丰富的路面区域；提取右目图像中的轮廓，利用反向轮廓模板匹配法确定左目图像的裁剪量；根据裁剪后的左目图像，与完整的右目图像，再利用正向轮廓模板匹配法，获取基于左目图像的视差图；根据视差图，确定右目图像的拼接量，进行左右目图像的拼接；去除拼接图中纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形；根据视差图以及标定的拟合公式，计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在显示屏显示出的拼接图中进行障碍物及其距离标记，声光分级预警。

本发明方法实现了倒车过程中的障碍物的自动检测及距离预警，通过疑似障碍物的筛选提高了倒车障碍物检测的准确度；通过视差图的改善和双目参数的拟合提高了障碍物距离计算的精度；通过最大视差值对匹配搜索范围的限制和轮廓模板匹配法提高了视差图匹配的速度，使得倒车障碍物检测的速度满足了倒车的实时性需求。

附图说明

图1是本发明方法的右目图像与左目图像的轮廓模板匹配示意图；

图2是本发明方法的左目图像与右目图像的轮廓模板匹配示意图；

图3是本发明方法的基于左目图像的视差图示意图；

图4是本发明方法的分级预警示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的基于双目视觉的倒车障碍物自动检测及预警方法，具体按照以下步骤实施：

步骤1：对安装在车辆尾部的双目摄像头进行标定

对安装在车辆尾部中间一定高度位置的双目摄像头，测量其盲区的物理长度，记为Z_min，设最低障碍物的物理高度为H_min，高度小于H_min的物体不被视为障碍物，设标定用棋盘格的内角点数为P_Q，记棋盘格的物理高度为HQ，HQ≤H_min；测量双目摄像头刚好将最低障碍物拍全时，双目摄像头与最低障碍物之间的物理距离，记为Z_max，利用双目摄像头拍摄垂直放置在N个不同物理距离Z_i,Z_i∈[Z_min,Z_max],i＝1,2,3,…,N处的棋盘格，N≥5，得到N组双目图像对，检测N组双目图像对中棋盘格的角点，记N个左目图像中棋盘格的各个角点坐标为j＝1,2,…,P_Q,i＝1,2,…,N，记N个右目图像中棋盘格的各个角点坐标为j＝1,2,…,P_Q,i＝1,2,…,N，计算N组左右目图像对中对应角点的横坐标差的平均值，即视差值，计算公式如下：

${(x_l-x_r)}_i=\frac{\underset{j=1}{\overset{P_Q}{\mathrm{\Σ}}}{x}_{{\mathrm{li}}_j}-x_{{\mathrm{ri}}_j}}{P_Q},i=\mathrm{1,2},...,N,---\left(1\right)$

由双目距离计算公式得到如下公式：

(B×f)_i＝Z_i×(x_l-x_r)_i,i＝1,2,…,N，          (2)

其中B为双目摄像头中两个摄像头光轴间的距离，f为有效焦距，Zi为前述的N个棋盘格的物理距离；以(B×f)_i,i＝1,2,3,…,N为纵坐标y，以公式(1)的视差值(x_l-x_r)_i,i＝1,2,…,N为横坐标x拟合二次曲线，记拟合出的曲线方程式为：

y＝ax²+bx+c，                        (3)

其中的y为双目B×f值，x为视差值，a、b、c均为拟合出的常量；

利用双目摄像头拍摄垂直放置在Zi处的最低障碍物，得到N组双目图像对，获取N个左目图像中该最低障碍物的像素高度，记为HOi，以HOi为纵坐标y，以公式(1)的视差值x_l-x_r为横坐标x拟合二次曲线，则拟合出的曲线方程式为：

yo＝ao×xo²+bo×xo+co，                 (4)

其中yo为最低障碍物的像素高度值，xo为视差值，ao、bo、co分别为拟合出的常量；

将棋盘格放置在双目摄像头盲区距离处，当Z_i＝Z_min时，根据公式(1)所得的视差值x_l-x_r即为最大视差值，记为D_max。

步骤2：对倒车时双目摄像头拍摄的双目视频帧图像对，分别利用分块区域生长法去除纹理不丰富的路面区域

对倒车时双目摄像头拍摄的双目视频帧图像对，记左目图像为L，右目图像为R，对双目图像对分别进行灰度化处理，记左目灰度图像为LG，右目灰度图像为RG，如图1所示，规定左目灰度图像LG下方区域为代表路面的小块，记为S，其左上角坐标为右下角坐标为坐标计算公式如下：

$\begin{array}{c}{x}_{\mathrm{St}}=\frac{W}{2}-a1\\ y_{S_t}=H-b1\\ x_{S_b}=\frac{W}{2}+a1\\ y_{S_b}=H\end{array},---\left(5\right)$

H、W分别为左目灰度图像LG的高度和宽度，

统计路面小块S的平均灰度值，记为ave_gray；

将左目灰度图像LG分为m×n,m≥2,n≥2的小块，记为Ki,i＝1,2…m×n，对各小块Ki从左到右，从下到上依次遍历该小块中各像素的灰度值，当第一次得到的像素值与ave_gray的差小于阈值T＝2的点就作为该小块的种子点，各小块的种子点记为Pi,i∈1,2,…m×n；分别以Pi,i∈1,2,…m×n为种子点，依次对左目灰度图像LG进行漫水填充区域生长，生长的正、负阈值分别设置为T_{_pos}＝90和T_neg＝50，将生长区域赋为白色，这些白色区域就是被去除的路面区域，则非白色区域为路面上的物体；

同理，对右目灰度图像RG利用上述的分块区域生长法去除路面区域；

路面区域去除后的左目灰度图像LG和右目灰度图像RG分别记为LGS、RGS。

步骤3：提取右目图像中的轮廓，利用轮廓模板匹配法确定左目图像的裁剪量

置路面区域去除后的右目图像RG_S中的非白色的路面上物体区域为黑色，对其左侧2×D_max部分，进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_R_i,i＝1,2,…,N_R，N_R为轮廓的个数，计算各个轮廓LK_R_i,i＝1,2,…,N_R的外接矩形的面积，找出外接矩形面积最大的轮廓区域，其外接矩形左上角坐标记为右下角坐标记为在右目灰度图像RG中，如图1所示，以为左上角点，为右下角点所围成的矩形区域记为RectMax，以其作为模板；在左目灰度图像LG中，以k＝0,1,2…D_max为左上角点及以k＝0,1,2…D_max为右下角点构成的矩形区域记为RectMaxL_k,k＝0,1,2,…D_max，作为被匹配区域，随着k从0到D_max变化，从左向右移动，如图1中的箭头所指方向，利用归一化互相关方法进行右目灰度图像RG上的模板区域RectMax依次和左目灰度图像LG上的被匹配区域RectMaxL_k,k＝0,1,2,…D_max的匹配，公式如下：

$S_k=\frac{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\Σ}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\Σ}}}\mathrm{RectMax}{L}_k(x+k,y)\×\mathrm{RectMax}(x,y)}{\sqrt{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\Σ}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\Σ}}}{\left[\mathrm{RectMax}{L}_k(x+k,y)\right]}^2}\×\sqrt{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\Σ}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\Σ}}}{\left[\mathrm{RectMax}(x,y)\right]}^2}},---\left(6\right)$

其中,k＝0,1,2…D_max，S_K为相似性度量值，0≤S_K≤1，计算得到S_K的最大值S_max，将其对应的k值作为左目图像的裁剪量K_L,K_L∈0,1,2…D_max，即K_L＝k；若N_R＝0，即最大轮廓区域不存在，则左目图像的裁剪量设置为K_L＝D_max。

步骤4：根据裁剪后的左目图像，与完整的右目图像，利用轮廓模板匹配法，获取基于左目图像的视差图

记基于左目图像的视差图为Depth，其高度为H，宽度为W，其初始化设视差图Depth的左侧0～K_L部分的视差值为0，即置黑；规定步骤2中的LG_S右侧K_L～W部分中的白色区域，即路面区域在视差图Depth中的视差值为0，即置黑；规定非路面区域在视差图Depth中的视差值为255，即置白；

对步骤2中的左目图像LG_S中的非白色的路面上的物体区域置为黑色，对其右侧K_L～W部分进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_L_i,i＝1,2,…,N_L，N_L为轮廓的个数,计算各个轮廓LK_L_i,i＝1,2,…,N_L的外接矩形，其外接矩形左上角坐标记为i＝1,2.…,N_L，右下角坐标记为i＝1,2.…,N_L，

在左目灰度图像LG中，以i＝1,2,…,N_L为左上角点，i＝1,2,…,N_L为右下角点，该左上角点与右下角点构成的矩形区域记为Rect_i,i＝1,2,…,N_L，分别以Rect_i,i＝1,2,…,N_L作为模板，如图2所示；

在右目灰度图像RG中，依次以k＝0,1,2…D_max,i＝1,2,…,N_L为左上角点，以k＝0,1,2…D_max,i＝1,2,…,N_L为右下角点，该左上角点与右下角点构成的区域记为k＝0,1,2,…D_max,i＝1,2,…,N_L，作为被匹配区域，随着k从0到D_max变化，从右向左移动，如图2中的箭头所指方向，利用归一化互相关方法依次进行左目灰度图像LG中模板区域Rect_i,i＝1,2,…,N_L和右目灰度图像RG中被匹配区域k＝0,1,2,…D_max,i＝1,2,…,N_L的匹配，公式如下：

${\mathrm{SZ}}_{i_k}=\frac{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\Σ}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\Σ}}}\mathrm{Rect}{R}_{i_k}(x+k,y)\×\mathrm{Re}{\mathrm{ct}}_i(x,y)}{\sqrt{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\Σ}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\Σ}}}{\left[\mathrm{Rect}{R}_{i_k}(x+k,y)\right]}^2}\×\sqrt{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\Σ}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\Σ}}}{\left[\mathrm{Re}{\mathrm{ct}}_i(x,y)\right]}^2}},---\left(7\right)$

其中，为相似性度量值，分别计算当i＝0,1,2,…N_L各个数值的的最大值，记为i＝1,2,…,N_L，在视差图Depth中，如图3所示，记左上角点i＝1,2,…,N_L与右下角点i＝1,2,…,N_L构成的矩形区域为RectD_i,i＝1,2,…,N_L，以各个i＝1,2,…,N_L对应的k值，作为区域RectD_i,i＝1,2,…,N_L的视差值D_i,i＝1,2,…,N_L，至此，得到了基于左目图像的视差图Depth。

步骤5：根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接

如图3所示，根据步骤4中的视差图Depth，在区域RectD_i,i＝1,2,…,N_L中找到面积最大的区域，记为RectD_max，取该矩形区域的视差值作为右目图像的拼接位置，记为K_R,K_R∈0,1,2…D_max；

采用加权平均融合法，对左目图像L(x,y)与右目图像R(x,y)中以(W-2×K_R,0)为左上角坐标，(W,H)为右下角坐标围成的子区域进行拼接，记拼接图像为P(x,y)，其高度为H，宽度为W+K_R，拼接公式如下：

$P(x,y)=\left\{\begin{array}{cc}L(x,y),& 0\&le;x<W-K_R\\ d1\&times;L(x,y)+d2\&times;R(x-K_R,y)& ,W-K_R\&le;x<W,\\ R(x-K_R,y),& W\&le;x\&le;W+K_R\end{array}\right.---\left(8\right)$

其中，y＝0,1,…H-1，d1、d2均为融合拼接系数，计算公式如下：

$\left\{\begin{array}{cc}\begin{array}{c}d1=\frac{W-x}{K_R}\\ d2=1-d1\end{array},& W-K_R\&le;x<W\end{array}\right..---\left(9\right)$

步骤6：对左右目图像的拼接图P，去除纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形

对步骤5中的拼接图P进行灰度化，记为PG，以步骤2中的S作为路面区域，将拼接灰度图PG分为m×n,m≥2,n≥2的小块，记为KPi,i＝1,2…m×n，对各小块KPi,i＝1,2…m×n从左到右，从下到上依次遍历该小块中各像素的灰度值，当第一次得到的像素值与步骤2中ave_gray的差小于阈值T＝2的点就作为该小块的种子点，各小块的种子点记为PPi,i∈1,2,…m×n；分别以PPi,i∈1,2,…m×n为种子点，依次对拼接灰度图PG进行漫水填充区域生长，生长的正、负阈值分别设置为T_{_pos}＝90和T_neg＝50，将生长区域赋为白色，这些白色区域就是被去除的路面区域，非白色区域为路面上的物体，路面去除后的拼接灰度图像PG记为PG_S；

置图像PG_S中的非白色的路面上物体区域为黑色，对其进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_P_i,i＝1,2,…,N_p，称为疑似障碍物轮廓，N_p为轮廓的个数；计算各个轮廓LK_P_i,i＝1,2,…,N_p的外接矩形，其外接矩形的左上角坐标记为i＝1,2,…,N_p，右下角坐标记为i＝1,2,…,N_p，如图4所示，在拼接图P中，以i＝1,2,…,N_p为左上角坐标，以i＝1,2,…,N_p为右下角坐标，它们围成的矩形区域记为RectP_i,i＝1,2,…,N_P，称为为疑似障碍物区域。

步骤7：根据视差图Depth以及标定的拟合公式，计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图P中进行障碍物及其距离标记，采用声光分级预警

根据步骤1的公式(4)以及步骤4的视差值D_i,i＝1,2,…,N_L，计算视差值为D_i,i＝1,2,…,N_L时，最低障碍物的像素高度yi，公式如下：

y_i＝ao×D_i ²+bo×D_i+co,i＝1,2,…,N_L，        (10)

计算步骤4视差图Depth中各个矩形区域RectD_i,i＝1,2,…,N_L的像素高度HR_i,i＝1,2,…,N_L，如图3所示，公式如下：

${\mathrm{HR}}_i=y_{{\mathrm{Rb}}_i}-y_{{\mathrm{Rt}}_i},i=\mathrm{1,2},...,N_L,---\left(11\right)$

若HR_i≥y_i,i＝1,2,…,N_L，则该矩形区域RectD_i,i∈1,2,…,N_L对应的步骤6中的拼接图P中的疑似障碍物区域RectP_i,i∈1,2,…,N_P作为障碍物区域，否则，不作为障碍物区域；

根据步骤1的公式(3)，以及步骤4的视差值D_i,i＝1,2,…,N_L，计算各个障碍物对应的双目B×f值，公式如下：

(B×f)_i＝a×D_i ²+b×D_i+c,i∈1,2,3,…,N_L，        (12)

根据公式(12)和步骤1的公式(2)，计算各个障碍物的物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P，公式如下：

${\mathrm{ZO}}_i=\frac{{(B\&times;f)}_i}{D_i}=\frac{a\&times;{D_i}^2+b\&times;D_i+c}{D_i},i\&Element;\mathrm{1,2,3},...,N_L,---\left(13\right)$

如图4所示，在显示屏显示的拼接图P中，标记出各个障碍物的外接矩形框RectP_i，i∈1，2，…，N_P，同时还对应标记出各个障碍物的物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P；设分级预警物理距离分别为Z1、Z2、Z3，Z1＜Z2＜Z3，统计出障碍物物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P的最小值，记为ZO_min，

若Z2＜ZO_min≤Z3，则将拼接图P中的S区域置为绿色，并发出报警声“倒车请注意！”；

若Z1＜ZO_min≤Z2，则将拼接图P中的S区域置为黄色，并发出报警声“危险请注意！”；

若Z_min≤ZO_min≤Z1，则将拼接图P中的S区域置为红色，并发出报警声“请停车！”，即成。

Claims (8)

1.一种基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于，具体按照以下步骤实施：

步骤1：对安装在车辆尾部的双目摄像头进行标定；

步骤2：对倒车时双目摄像头拍摄的双目视频帧图像对，去除纹理不丰富的路面区域；

步骤3：提取右目图像中的轮廓，确定左目图像的裁剪量；

步骤4：根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图；

步骤5：根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接；

步骤6：对左右目图像的拼接图，去除纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形；

步骤7：计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，采用声光分级预警，即成。

2.根据权利要求1所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤1中，

对安装在车辆尾部的双目摄像头，测量其盲区的物理长度，记为Z_min，设最低障碍物的物理高度为H_min，高度小于H_min的物体不被视为障碍物，设标定用棋盘格的内角点数为P_Q，记棋盘格的物理高度为HQ，HQ≤H_min；测量双目摄像头刚好将最低障碍物拍全时，双目摄像头与最低障碍物之间的物理距离，记为Z_max，利用双目摄像头拍摄垂直放置在N个不同物理距离Z_i,Z_i∈[Z_min,Z_max],i＝1,2,3,…,N处的棋盘格，N≥5，得到N组双目图像对，检测N组双目图像对中棋盘格的角点，记N个左目图像中棋盘格的各个角点坐标为j＝1,2,…,P_Q,i＝1,2,…,N，记N个右目图像中棋盘格的各个角点坐标为j＝1,2,…,P_Q,i＝1,2,…,N，计算N组左右目图像对中对应角点的横坐标差的平均值，即视差值，计算公式如下：

${(x_l-x_r)}_i=\frac{\underset{j=1}{\overset{P_Q}{\mathrm{\&Sigma;}}}{x}_{{\mathrm{li}}_j}-x_{{\mathrm{ri}}_j}}{P_Q},i=\mathrm{1,2},...,N,---\left(1\right)$

由双目距离计算公式得到如下公式：

(B×f)_i＝Z_i×(x_l-x_r)_i,i＝1,2,…,N，          (2)

其中B为双目摄像头中两个摄像头光轴间的距离，f为有效焦距，Zi为前述的N个棋盘格的物理距离；以(B×f)_i,i＝1,2,3,…,N为纵坐标y，以公式(1)的视差值(x_l-x_r)_i,i＝1,2,…,N为横坐标x拟合二次曲线，记拟合出的曲线方程式为：

y＝ax²+bx+c，                        (3)

其中的y为双目B×f值，x为视差值，a、b、c均为拟合出的常量；

利用双目摄像头拍摄垂直放置在Zi处的最低障碍物，得到N组双目图像对，获取N个左目图像中该最低障碍物的像素高度，记为HOi，以HOi为纵坐标y，以公式(1)的视差值x_l-x_r为横坐标x拟合二次曲线，则拟合出的曲线方程式为：

yo＝ao×xo²+bo×xo+co，                 (4)

其中yo为最低障碍物的像素高度值，xo为视差值，ao、bo、co分别为拟合出的常量；

将棋盘格放置在双目摄像头盲区距离处，当Z_i＝Z_min时，根据公式(1)所得的视差值x_l-x_r即为最大视差值，记为D_max。

3.根据权利要求2所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤2中，

对倒车时双目摄像头拍摄的双目视频帧图像对，记左目图像为L，右目图像为R，对双目图像对分别进行灰度化处理，记左目灰度图像为LG，右目灰度图像为RG，规定左目灰度图像LG下方区域为代表路面的小块，记为S，其左上角坐标为右下角坐标为坐标计算公式如下：

$\begin{array}{c}{x}_{\mathrm{St}}=\frac{W}{2}-a1\\ y_{S_t}=H-b1\\ x_{S_b}=\frac{W}{2}+a1\\ y_{S_b}=H\end{array},---\left(5\right)$

H、W分别为左目灰度图像LG的高度和宽度，

统计路面小块S的平均灰度值，记为ave_gray；

将左目灰度图像LG分为m×n,m≥2,n≥2的小块，记为Ki,i＝1,2…m×n，对各小块Ki从左到右从下到上依次遍历该小块中各像素的灰度值，当第一次得到的像素值与ave_gray的差小于阈值T＝2的点就作为该小块的种子点，各小块的种子点记为Pi,i∈1,2,…m×n；分别以Pi,i∈1,2,…m×n为种子点，依次对左目灰度图像LG进行漫水填充区域生长，生长的正、负阈值分别设置为T_{_pos}＝90和T_neg＝50，将生长区域赋为白色，这些白色区域就是被去除的路面区域，则非白色区域为路面上的物体；

同理，对右目灰度图像RG利用上述的分块区域生长法去除路面区域；

路面区域去除后的左目灰度图像LG和右目灰度图像RG分别记为LGS、RGS。

4.根据权利要求3所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤3中，

置路面区域去除后的右目图像RG_S中的非白色的路面上物体区域为黑色，对其左侧2×D_max部分，进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_R_i,i＝1,2,…,N_R，N_R为轮廓的个数，计算各个轮廓LK_R_i,i＝1,2,…,N_R的外接矩形的面积，找出外接矩形面积最大的轮廓区域，其外接矩形左上角坐标记为右下角坐标记为在右目灰度图像RG中，以为左上角点，为右下角点所围成的矩形区域记为RectMax，以其作为模板；在左目灰度图像LG中，以k＝0,1,2…D_max为左上角点及以k＝0,1,2…D_max为右下角点构成的矩形区域记为RectMaxL_k,k＝0,1,2,…D_max，作为被匹配区域，随着k从0到D_max变化，从左向右移动，利用归一化互相关方法进行右目灰度图像RG上的模板区域RectMax依次和左目灰度图像LG上的被匹配区域RectMaxL_k,k＝0,1,2,…D_max的匹配，公式如下：

$S_k=\frac{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\&Sigma;}}}\mathrm{RectMax}{L}_k(x+k,y)\&times;\mathrm{RectMax}(x,y)}{\sqrt{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\&Sigma;}}}{\left[\mathrm{RectMax}{L}_k(x+k,y)\right]}^2}\&times;\sqrt{\underset{\mathrm{RM}_t^{x=x}}{\overset{\mathrm{RM}_b^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{RM}_t^{y=y}}{\overset{\mathrm{RM}_b^y}{\mathrm{\&Sigma;}}}{\left[\mathrm{RectMax}(x,y)\right]}^2}},---\left(6\right)$

其中,k＝0,1,2…D_max，S_K为相似性度量值，0≤S_K≤1，计算得到S_K的最大值S_max，将其对应的k值作为左目图像的裁剪量K_L,K_L∈0,1,2…D_max，即K_L＝k；若N_R＝0，即最大轮廓区域不存在，则左目图像的裁剪量设置为K_L＝D_max。

5.根据权利要求4所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤4中，

记基于左目图像的视差图为Depth，其高度为H，宽度为W，其初始化设视差图Depth的左侧0～K_L部分的视差值为0，即置黑；规定步骤2中的LG_S右侧K_L～W部分中的白色区域，即路面区域在视差图Depth中的视差值为0，即置黑；规定非路面区域在视差图Depth中的视差值为255，即置白；

对步骤2中的左目图像LG_S中的非白色的路面上的物体区域置为黑色，对其右侧K_L～W部分进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_L_i,i＝1,2,…,N_L，N_L为轮廓的个数,计算各个轮廓LK_L_i,i＝1,2,…,N_L的外接矩形，其外接矩形左上角坐标记为i＝1,2.…,N_L，右下角坐标记为i＝1,2.…,N_L，

在左目灰度图像LG中，以i＝1,2,…,N_L为左上角点，i＝1,2,…,N_L为右下角点，该左上角点与右下角点构成的矩形区域记为Rect_i,i＝1,2,…,N_L，分别以Rect_i,i＝1,2,…,N_L作为模板；

在右目灰度图像RG中，依次以k＝0,1,2…D_max,i＝1,2,…,N_L为左上角点，以k＝0,1,2…D_max,i＝1,2,…,N_L为右下角点，该左上角点与右下角点构成的区域记为k＝0,1,2,…D_max,i＝1,2,…,N_L，作为被匹配区域，随着k从0到D_max变化，从右向左移动，利用归一化互相关方法依次进行左目灰度图像LG中模板区域Rect_i,i＝1,2,…,N_L和右目灰度图像RG中被匹配区域k＝0,1,2,…D_max,i＝1,2,…,N_L的匹配，公式如下：

${\mathrm{SZ}}_{i_k}=\frac{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\&Sigma;}}}\mathrm{Rect}{R}_{i_k}(x+k,y)\&times;\mathrm{Re}{\mathrm{ct}}_i(x,y)}{\sqrt{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\&Sigma;}}}{\left[\mathrm{Rect}{R}_{i_k}(x+k,y)\right]}^2}\&times;\sqrt{\underset{\mathrm{Rt}_i^{x=x}}{\overset{\mathrm{Rb}_i^x}{\mathrm{\&Sigma;}}}\underset{\mathrm{Rt}_i^{y=y}}{\overset{\mathrm{Rb}_i^y}{\mathrm{\&Sigma;}}}{\left[\mathrm{Re}{\mathrm{ct}}_i(x,y)\right]}^2}},---\left(7\right)$

其中，为相似性度量值，分别计算当i＝0,1,2,…N_L各个数值的的最大值，记为i＝1,2,…,N_L，在视差图Depth中，记左上角点i＝1,2,…,N_L与右下角点i＝1,2,…,N_L构成的矩形区域为RectD_i,i＝1,2,…,N_L，以各个i＝1,2,…,N_L对应的k值，作为区域RectD_i,i＝1,2,…,N_L的视差值D_i,i＝1,2,…,N_L，至此，得到了基于左目图像的视差图Depth。

6.根据权利要求5所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤5中，根据步骤4中的视差图Depth，在区域RectD_i,i＝1,2,…,N_L中找到面积最大的区域，记为RectD_max，取该矩形区域的视差值作为右目图像的拼接位置，记为K_R,K_R∈0,1,2…D_max；

采用加权平均融合法，对左目图像L(x,y)与右目图像R(x,y)中以(W-2×K_R,0)为左上角坐标，(W,H)为右下角坐标围成的子区域进行拼接，记拼接图像为P(x,y)，其高度为H，宽度为W+K_R，拼接公式如下：

$P(x,y)=\left\{\begin{array}{cc}L(x,y),& 0\&le;x<W-K_R\\ d1\&times;L(x,y)+d2\&times;R(x-K_R,y)& ,W-K_R\&le;x<W,\\ R(x-K_R,y),& W\&le;x\&le;W+K_R\end{array}\right.---\left(8\right)$

其中，y＝0,1,…H-1，d1、d2均为融合拼接系数，计算公式如下：

$\left\{\begin{array}{cc}\begin{array}{c}d1=\frac{W-x}{K_R}\\ d2=1-d1\end{array},& W-K_R\&le;x<W\end{array}\right..---\left(9\right)$

7.根据权利要求6所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤6中，对步骤5中的拼接图P进行灰度化，记为PG，以步骤2中的S作为路面区域，将拼接灰度图PG分为m×n,m≥2,n≥2的小块，记为KPi,i＝1,2…m×n，对各小块KPi,i＝1,2…m×n从左到右，从下到上依次遍历该小块中各像素的灰度值，当第一次得到的像素值与步骤2中ave_gray的差小于阈值T＝2的点就作为该小块的种子点，各小块的种子点记为PPi,i∈1,2,…m×n；分别以PPi,i∈1,2,…m×n为种子点，依次对拼接灰度图PG进行漫水填充区域生长，生长的正、负阈值分别设置为T_{_pos}＝90和T_neg＝50，将生长区域赋为白色，这些白色区域就是被去除的路面区域，非白色区域为路面上的物体，路面去除后的拼接灰度图像PG记为PG_S；

置图像PG_S中的非白色的路面上物体区域为黑色，对其进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_P_i,i＝1,2,…,N_p，称为疑似障碍物轮廓，N_p为轮廓的个数；计算各个轮廓LK_P_i,i＝1,2,…,N_p的外接矩形，其外接矩形的左上角坐标记为i＝1,2,…,N_p，右下角坐标记为i＝1,2,…,N_p，在拼接图P中，以i＝1,2,…,N_p为左上角坐标，以i＝1,2,…,N_p为右下角坐标，它们围成的矩形区域记为RectP_i,i＝1,2,…,N_P，称为为疑似障碍物区域。

8.根据权利要求7所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于：所述的步骤7中，根据步骤1的公式(4)以及步骤4的视差值D_i,i＝1,2,…,N_L，计算视差值为D_i,i＝1,2,…,N_L时，最低障碍物的像素高度yi，公式如下：

y_i＝ao×D_i ²+bo×D_i+co,i＝1,2,…,N_L，        (10)

计算步骤4视差图Depth中各个矩形区域RectD_i,i＝1,2,…,N_L的像素高度HR_i,i＝1,2,…,N_L，公式如下：

${\mathrm{HR}}_i=y_{{\mathrm{Rb}}_i}-y_{{\mathrm{Rt}}_i},i=\mathrm{1,2},...,N_L,---\left(11\right)$

若HR_i≥y_i,i＝1,2,…,N_L，则该矩形区域RectD_i,i∈1,2,…,N_L对应的步骤6中的拼接图P中的疑似障碍物区域RectP_i,i∈1,2,…,N_P作为障碍物区域，否则，不作为障碍物区域；

根据步骤1的公式(3)，以及步骤4的视差值D_i,i＝1,2,…,N_L，计算各个障碍物对应的双目B×f值，公式如下：

(B×f)_i＝a×D_i ²+b×D_i+c,i∈1,2,3,…,N_L，        (12)

根据公式(12)和步骤1的公式(2)，计算各个障碍物的物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P，公式如下：

${\mathrm{ZO}}_i=\frac{{(B\&times;f)}_i}{D_i}=\frac{a\&times;{D_i}^2+b\&times;D_i+c}{D_i},i\&Element;\mathrm{1,2,3},...,N_L,---\left(13\right)$

在显示屏显示的拼接图P中，标记出各个障碍物的外接矩形框RectP_i,i∈1,2,…,N_P，同时还对应标记出各个障碍物的物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P；

设分级预警物理距离分别为Z1、Z2、Z3，Z1＜Z2＜Z3，统计出障碍物物理距离ZO_i,i∈1,2,3,…,N_L,N_L≤N_P的最小值，记为ZO_min，

若Z2＜ZO_min≤Z3，则将拼接图P中的S区域置为绿色，并发出报警声“倒车请注意！”；

若Z1＜ZO_min≤Z2，则将拼接图P中的S区域置为黄色，并发出报警声“危险请注意！”；

若Z_min≤ZO_min≤Z1，则将拼接图P中的S区域置为红色，并发出报警声“请停车！”。