CN106183995A - 一种基于立体视觉的可视倒车方法 - Google Patents

Abstract

本发明提出了一种基于立体视觉的可视倒车方法。其步骤为：设置左右摄像机参数一致并固定两摄像机；对左右摄像机进行立体标定，获取其内外参数，利用两摄像机采集车辆后方场景视图；对所采集的视图进行立体校正，使两视图行对准且重投影畸变最小；并对两视图进行立体匹配，去除虚假匹配点对后建立正确的匹配点对应关系；根据正确匹配点得到左右视图视差，由此可以计算出被检测物体的真实三维坐标。本发明能够准确地检测车辆后方物体距车辆的距离，实时性好，能够对汽车倒车起到有效的辅助作用。

Description

一种基于立体视觉的可视倒车方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于立体视觉的可视倒车方法。

背景技术

汽车行业的迅速发展给社会带来了巨大的交通压力。为了缓解交通压力，许多国家开始大力推进智能交通系统的开发。车辆能够通过智能系统实时采集的环境信息智能判断环境变化，并作出最优的辅助控制与提示，甚至实现自动驾驶。

对于双目立体视觉的研究，能够提高计算机对环境信息的提取能力，使现代电子产品能更好地适应环境。如今立体视觉已经应用于三维信息提取、导航、监控等领域，随着立体视觉进一步发展，将会有更多领域应用这项技术。

基于立体视觉的智能交通系统的研究中，主要由双摄像机实时获取双目图像，再由三角测量原理及图像像素间的视差计算出物体三维信息。这借鉴了人体双目视觉系统的工作原理，并具有成本低，保密性高，持续时间长，环境适应性强等人体不具有的优势，因此将立体视觉运用于智能汽车可视倒车系统，有广大的应用前景。

发明内容

本发明旨在解决现有技术中无法精确地检测出倒车时障碍物位置与形状的问题，提供一种基于立体视觉的可视倒车方法，很好地满足了缓速倒车实时测量物体距离的要求。

为达到上述目的，本发明提供的技术方案如下：

步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；

步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；

步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；

步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；

步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。

进一步的，所述步骤2中对左右摄像机进行立体标定，方法如下：

对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：

$\left\{\begin{array}{c}R=R_r{R}_l^{-1}\\ T=T_r-{\mathrm{RT}}_l\end{array}\right.---\left(1\right)$

其中，R_r为左相机的旋转矩阵，R_l为右相机的旋转矩阵，T_l为左相机的平移向量，T_r为右相机的平移向量。

进一步的，所述步骤3中对采集的视图进行立体校正，步骤如下：

步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵r_l，r_r，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；

步骤3.2：两台相机的行对准利用下式实现：

$\left\{\begin{array}{c}{R}_l=R_{rect}{r}_l\\ R_r=R_{rect}{r}_r\end{array}\right.---\left(2\right)$

其中，R_rect为使行对准的旋转矩阵。

$R_{rect}=\left[\begin{array}{c}{e}_1^T\\ e_2^T\\ e_3^T\end{array}\right]---\left(3\right)$

上述旋转矩阵由极点e₁方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：

$e_1=\frac{T}{\left|\right|T\left|\right|}---\left(4\right)$

e₂与e₁正交，并将其归一化到单位向量：

$e_2=\frac{{\left[\begin{array}{ccc}-T_y& T_x& 0\end{array}\right]}^T}{\sqrt{T_x^2+T_y^2}}---\left(5\right)$

其中，T_x为平移向量T在相机所处平面内水平方向的分量，T_y为平移向量T在相机所处平面内竖直方向的分量。

e₃与e₁和e₂正交，可以通过它们的叉积得到：

e₃＝e₂×e₁ (6)

根据上述旋转矩阵物理意义有：

$\left\{\begin{array}{c}{e}_1={\left[\begin{array}{ccc}cos\mathrm{\α}& sin\mathrm{\α}& 0\end{array}\right]}^T\\ e_2={\left[\begin{array}{ccc}-\sin \mathrm{\α}& \cos \mathrm{\α}& 0\end{array}\right]}^T\\ e_3={\left[\begin{array}{ccc}0& 0& 1\end{array}\right]}^T\end{array}\right.---\left(7\right)$

其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e₃方向旋转α′，对于右相机，使其绕e₃方向旋转α″。

进一步的，所述步骤4中对左右视图建立正确的匹配关系，步骤如下：

步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；

步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：

$C(x,y,d)={\mathrm{\Σ}}_{i=-n}^n{\mathrm{\Σ}}_{j=-n}^n|L(x+i,y+i)-R(x+d+j,y+j)|---\left(8\right)$

其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。

步骤4.3：再过滤，去除虚假匹配点。

进一步的，所述步骤5中根据视差计算得到被检测物体的真实三维坐标，方法如下：

根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：

$\left\{\begin{array}{c}Z=\frac{Bf}{X_L-X_R}\\ X=\frac{x(f-Z)}{f}\\ Y=\frac{y(f-Z)}{f}\end{array}\right.---\left(9\right)$

其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；X_L-X_R为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。

与现有技术相比，本发明具有如下有益效果：

本发明的一种基于立体视觉的可视倒车方法，能够精确地测量汽车尾部和汽车后方障碍物之间的距离，且在步骤4中应用BM算法对左右视图进行匹配分析，有效地减少了匹配时间，达到了缓速倒车的实时测量要求。

附图说明

图1是本发明的一种基于立体视觉的可视倒车方法的流程图；

图2是本发明中提取障碍物三维信息的三角测量原理图。图中S_l为左相机的左侧测量边界，S_r为右相机的左侧测量边界，O_l为左侧相机中心，O_r为右侧相机中心，P为物体点，p为P在左相机上成的像，p′为P在右相机上成的像，Z为物体与相机平面的距离。

具体实施方式

下面详细描述本发明的实施例，结合参考附图1，对本发明进一步详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

如图1所示，本发明基于立体视觉的可视倒车方法包括以下步骤：

步骤1：设置左右摄像机参数：初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值相同，光频为50HZ，固定两相机于汽车尾部。

步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；

所述的步骤2中对左右摄像机进行立体标定，方法如下：

对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：

$\left\{\begin{array}{c}R=R_r{R}_l^{-1}\\ T=T_r-{\mathrm{RT}}_l\end{array}\right.---\left(1\right)$

其中，R_r为左相机的旋转矩阵，R_l为右相机的旋转矩阵，T_l为左相机的平移向量，T_r为右相机的平移向量。

步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；

所述的步骤3中对采集的视图进行立体校正，步骤如下：

步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵r_l，r_r，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；

步骤3.2：两台相机的行对准利用下式实现：

$\left\{\begin{array}{c}{R}_l=R_{rect}{r}_l\\ R_r=R_{rect}{r}_r\end{array}\right.---\left(2\right)$

其中，R_rect为使行对准的旋转矩阵：

$R_{rect}=\left[\begin{array}{c}{e}_1^T\\ e_2^T\\ e_3^T\end{array}\right]---\left(3\right)$

上述旋转矩阵由极点e₁方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：

$e_1=\frac{T}{\left|\right|T\left|\right|}---\left(4\right)$

e₂与e₁正交，并将其归一化到单位向量：

$e_2=\frac{{\left[\begin{array}{ccc}-T_y& T_x& 0\end{array}\right]}^T}{\sqrt{T_x^2+T_y^2}}---\left(5\right)$

其中，T_x为平移向量T在相机所处平面内水平方向的分量，T_y为平移向量T在相机所处平面内竖直方向的分量。

e₃与e₁和e₂正交，可以通过它们的叉积得到：

e₃＝e₂×e₁ (6)

根据上述旋转矩阵物理意义有：

$\left\{\begin{array}{c}{e}_1={\left[\begin{array}{ccc}cos\mathrm{\α}& sin\mathrm{\α}& 0\end{array}\right]}^T\\ e_2={\left[\begin{array}{ccc}-\sin \mathrm{\α}& \cos \mathrm{\α}& 0\end{array}\right]}^T\\ e_3={\left[\begin{array}{ccc}0& 0& 1\end{array}\right]}^T\end{array}\right.---\left(7\right)$

其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e₃方向旋转α′，对于右相机，使其绕e₃方向旋转α″。

步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；

所述的步骤4中对左右视图建立正确的匹配关系，步骤如下：

步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；

步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：

$C(x,y,d)={\mathrm{\Σ}}_{i=-n}^n{\mathrm{\Σ}}_{j=-n}^n|L(x+i,y+i)-R(x+d+j,y+j)|---\left(8\right)$

其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。

步骤4.3：再过滤，去除虚假匹配点。

步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。

所述的步骤5中根据视差计算得到被检测物体真实三维坐标，参考图2双目提取三维信息的三角测量原理，步骤如下：

根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：

$\left\{\begin{array}{c}Z=\frac{Bf}{X_L-X_R}\\ X=\frac{x(f-Z)}{f}\\ Y=\frac{y(f-Z)}{f}\end{array}\right.---\left(9\right)$

其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；X_L-X_R为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。

本发明的上述实例对本发明及其实施方式进行了描述，对于本领域的普通技术人员可以在上述的基础上做出不同程度的修改和变动，但不偏离本发明的精神和原则，都应涵盖在本发明的权利要求书保护范围内。

Claims (5)

1.一种基于立体视觉的可视倒车方法，其特征在于，包括以下步骤：

步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；

步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；

步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；

步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；

步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。

2.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤2中对左右摄像机进行立体标定，具体方法如下：

对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：

$\left\{\begin{array}{c}R=R_r{R}_l^{-1}\\ T=T_r-{\mathrm{RT}}_l\end{array}\right.---\left(1\right)$

其中，R_r为左相机的旋转矩阵，R_l为右相机的旋转矩阵，T_l为左相机的平移向量，T_r为右相机的平移向量。

3.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤3中对采集的视图进行立体校正，具体步骤如下：

步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵r_l，r_r，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；

步骤3.2：两台相机的行对准利用下式实现：

$\left\{\begin{array}{c}{R}_1=R_{rect}{r}_1\\ R_r=R_{rect}{r}_r\end{array}\right.---\left(2\right)$

其中，R_rect为使行对准的旋转矩阵：

$R_{rect}=\left[\begin{array}{c}{e}_1^T\\ e_2^T\\ e_3^T\end{array}\right]---\left(3\right)$

上述旋转矩阵由极点e₁方向开始，以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：

$e_1=\frac{T}{\left|\right|T\left|\right|}---\left(4\right)$

e₂与e₁正交，并将其归一化到单位向量：

$e_2=\frac{{\left[\begin{array}{ccc}-T_y& T_x& 0\end{array}\right]}^T}{\sqrt{T_x^2+T_y^2}}---\left(5\right)$

其中，T_x为平移向量T在相机所处平面内水平方向的分量，T_y为平移向量T在相机所处平面内竖直方向的分量；

e₃与e₁和e₂正交，通过它们的叉积得到：

e₃＝e₂×e₁ (6)

根据上述旋转矩阵物理意义有：

$\left\{\begin{array}{c}{e}_1={\left[\begin{array}{ccc}cos\mathrm{\α}& sin\mathrm{\α}& 0\end{array}\right]}^T\\ e_2={\left[\begin{array}{ccc}-sin\mathrm{\α}& cos\mathrm{\α}& 0\end{array}\right]}^T\\ e_3={\left[\begin{array}{ccc}0& 0& 1\end{array}\right]}^T\end{array}\right.---\left(7\right)$

其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°；对于左相机，使其绕e₃方向旋转α′，对于右相机，使其绕e₃方向旋转α″。

4.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤4中对左右视图建立正确的匹配点对应关系，具体步骤如下：

步骤4.1：图像经过预过滤，转换为灰度图，使图像纹理增强；

步骤4.2：沿着步骤3校正后的水平极线通过绝对误差累积SAD窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：

$C(x,y,d)={\mathrm{\Σ}}_{i=-n}^n{\mathrm{\Σ}}_{j=-n}^n|L(x+i,y+i)-R(x+d+j,y+j)|---\left(8\right)$

其中，(x,y)表示左视图中所选计算窗口的中心坐标，d表示左右两视图窗口的中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点；

步骤4.3：再过滤，去除虚假匹配点。

5.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤5中根据视差计算得到被检测物体真实三维坐标，具体步骤如下：

根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：

$\left\{\begin{array}{c}Z=\frac{Bf}{X_L-X_R}\\ X=\frac{x(f-Z)}{f}\\ Y=\frac{y(f-Z)}{f}\end{array}\right.---\left(9\right)$

其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；X_L-X_R为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。