CN106183995B - 一种基于立体视觉的可视倒车方法 - Google Patents
一种基于立体视觉的可视倒车方法 Download PDFInfo
- Publication number
- CN106183995B CN106183995B CN201610596149.XA CN201610596149A CN106183995B CN 106183995 B CN106183995 B CN 106183995B CN 201610596149 A CN201610596149 A CN 201610596149A CN 106183995 B CN106183995 B CN 106183995B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- mtable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于立体视觉的可视倒车方法。其步骤为：设置左右摄像机参数一致并固定两摄像机；对左右摄像机进行立体标定，获取其内外参数，利用两摄像机采集车辆后方场景视图；对所采集的视图进行立体校正，使两视图行对准且重投影畸变最小；并对两视图进行立体匹配，去除虚假匹配点对后建立正确的匹配点对应关系；根据正确匹配点得到左右视图视差，由此可以计算出被检测物体的真实三维坐标。本发明能够准确地检测车辆后方物体距车辆的距离，实时性好，能够对汽车倒车起到有效的辅助作用。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于立体视觉的可视倒车方法。
背景技术
汽车行业的迅速发展给社会带来了巨大的交通压力。为了缓解交通压力，许多国家开始大力推进智能交通系统的开发。车辆能够通过智能系统实时采集的环境信息智能判断环境变化，并作出最优的辅助控制与提示，甚至实现自动驾驶。
对于双目立体视觉的研究，能够提高计算机对环境信息的提取能力，使现代电子产品能更好地适应环境。如今立体视觉已经应用于三维信息提取、导航、监控等领域，随着立体视觉进一步发展，将会有更多领域应用这项技术。
基于立体视觉的智能交通系统的研究中，主要由双摄像机实时获取双目图像，再由三角测量原理及图像像素间的视差计算出物体三维信息。这借鉴了人体双目视觉系统的工作原理，并具有成本低，保密性高，持续时间长，环境适应性强等人体不具有的优势，因此将立体视觉运用于智能汽车可视倒车系统，有广大的应用前景。
发明内容
本发明旨在解决现有技术中无法精确地检测出倒车时障碍物位置与形状的问题，提供一种基于立体视觉的可视倒车方法，很好地满足了缓速倒车实时测量物体距离的要求。
为达到上述目的，本发明提供的技术方案如下：
步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。
进一步的，所述步骤2中对左右摄像机进行立体标定，方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量。
进一步的，所述步骤3中对采集的视图进行立体校正，步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵。
上述旋转矩阵由极点e1方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
e2与e1正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量。
e3与e1和e2正交，可以通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
进一步的，所述步骤4中对左右视图建立正确的匹配关系，步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；
步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。
步骤4.3：再过滤，去除虚假匹配点。
进一步的，所述步骤5中根据视差计算得到被检测物体的真实三维坐标，方法如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
与现有技术相比，本发明具有如下有益效果：
本发明的一种基于立体视觉的可视倒车方法，能够精确地测量汽车尾部和汽车后方障碍物之间的距离，且在步骤4中应用BM算法对左右视图进行匹配分析，有效地减少了匹配时间，达到了缓速倒车的实时测量要求。
附图说明
图1是本发明的一种基于立体视觉的可视倒车方法的流程图；
图2是本发明中提取障碍物三维信息的三角测量原理图。图中Sl为左相机的左侧测量边界，Sr为右相机的左侧测量边界，Ol为左侧相机中心，Or为右侧相机中心，P为物体点，p为P在左相机上成的像，p′为P在右相机上成的像，Z为物体与相机平面的距离。
具体实施方式
下面详细描述本发明的实施例，结合参考附图1，对本发明进一步详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。
如图1所示，本发明基于立体视觉的可视倒车方法包括以下步骤：
步骤1：设置左右摄像机参数：初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值相同，光频为50HZ，固定两相机于汽车尾部。
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
所述的步骤2中对左右摄像机进行立体标定，方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量。
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
所述的步骤3中对采集的视图进行立体校正，步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵：
上述旋转矩阵由极点e1方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
e2与e1正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量。
e3与e1和e2正交，可以通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
所述的步骤4中对左右视图建立正确的匹配关系，步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；
步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。
步骤4.3：再过滤，去除虚假匹配点。
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。
所述的步骤5中根据视差计算得到被检测物体真实三维坐标，参考图2双目提取三维信息的三角测量原理，步骤如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
本发明的上述实例对本发明及其实施方式进行了描述，对于本领域的普通技术人员可以在上述的基础上做出不同程度的修改和变动，但不偏离本发明的精神和原则，都应涵盖在本发明的权利要求书保护范围内。
Claims (3)
1.一种基于立体视觉的可视倒车方法，其特征在于，包括以下步骤：
步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标；
所述的步骤2中对左右摄像机进行立体标定，具体方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>R</mi>
<mo>=</mo>
<msub>
<mi>R</mi>
<mi>r</mi>
</msub>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>T</mi>
<mo>=</mo>
<msub>
<mi>T</mi>
<mi>r</mi>
</msub>
<mo>-</mo>
<msub>
<mi>RT</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量；
所述的步骤3中对采集的视图进行立体校正，具体步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mi>l</mi>
</msub>
<mo>=</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<msub>
<mi>r</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<msub>
<mi>r</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Rrect为使行对准的旋转矩阵：
<mrow>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>2</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>3</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
上述旋转矩阵由极点e1方向开始，以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
<mrow>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mi>T</mi>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>T</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
e2与e1正交，并将其归一化到单位向量：
<mrow>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>T</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
<msqrt>
<mrow>
<msubsup>
<mi>T</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>T</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量；
e3与e1和e2正交，通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°；对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
2.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤4中对左右视图建立正确的匹配点对应关系，具体步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，使图像纹理增强；
步骤4.2：沿着步骤3校正后的水平极线通过绝对误差累积SAD窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
<mrow>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>d</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mo>-</mo>
<mi>n</mi>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mo>-</mo>
<mi>n</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(x,y)表示左视图中所选计算窗口的中心坐标，d表示左右两视图窗口的中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点；
步骤4.3：再过滤，去除虚假匹配点。
3.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤5中根据视差计算得到被检测物体真实三维坐标，具体步骤如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>Z</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mi>f</mi>
</mrow>
<mrow>
<msub>
<mi>X</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mi>R</mi>
</msub>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>X</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>-</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>f</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>-</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>f</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596149.XA CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596149.XA CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106183995A CN106183995A (zh) | 2016-12-07 |
| CN106183995B true CN106183995B (zh) | 2018-05-15 |
Family
ID=57495438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610596149.XA Expired - Fee Related CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106183995B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803273B (zh) * | 2017-01-17 | 2019-11-22 | 湖南优象科技有限公司 | 一种全景摄像机标定方法 |
| CN107248179A (zh) * | 2017-06-08 | 2017-10-13 | 爱佩仪中测（成都）精密仪器有限公司 | 用于视差计算的三维匹配建立方法 |
| CN109345587B (zh) * | 2018-09-01 | 2022-02-22 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
| CN109974623B (zh) * | 2018-09-13 | 2021-01-05 | 北京伟景智能科技有限公司 | 基于线激光和双目视觉的三维信息获取方法和装置 |
| CN111640086A (zh) * | 2019-03-01 | 2020-09-08 | 北京伟景智能科技有限公司 | 手持式钢筋计数仪 |
| CN111452036B (zh) * | 2019-03-19 | 2023-08-04 | 北京伟景智能科技有限公司 | 一种基于线激光双目立体视觉的工件抓取方法 |
| CN110686622A (zh) * | 2019-10-08 | 2020-01-14 | 华南理工大学 | 一种列车车轮冲角的测量方法 |
| CN114559131A (zh) * | 2020-11-27 | 2022-05-31 | 北京颖捷科技有限公司 | 一种焊接控制方法、装置及上位机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201534522U (zh) * | 2009-10-28 | 2010-07-28 | 安徽华东光电技术研究所 | 立体可视倒车系统 |
| CN102774325A (zh) * | 2012-07-31 | 2012-11-14 | 西安交通大学 | 一种后视倒车辅助系统和形成后视障碍图像的方法 |
| CN105539290A (zh) * | 2015-12-24 | 2016-05-04 | 科世达（上海）管理有限公司 | 一种用于显示车辆3d全景影像的系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011105884B4 (de) * | 2011-06-28 | 2019-02-21 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Einparken eines Fahrzeugs |
-
2016
- 2016-07-26 CN CN201610596149.XA patent/CN106183995B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201534522U (zh) * | 2009-10-28 | 2010-07-28 | 安徽华东光电技术研究所 | 立体可视倒车系统 |
| CN102774325A (zh) * | 2012-07-31 | 2012-11-14 | 西安交通大学 | 一种后视倒车辅助系统和形成后视障碍图像的方法 |
| CN105539290A (zh) * | 2015-12-24 | 2016-05-04 | 科世达（上海）管理有限公司 | 一种用于显示车辆3d全景影像的系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于双目视觉的嵌入式三维坐标提取系统》;夏茂盛等;《吉林大学学报（信息科学版）》;20110131;第29卷(第1期);第61-66页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106183995A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106183995B (zh) | 一种基于立体视觉的可视倒车方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN110322702B (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| CN110285793B (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| CN108510530B (zh) | 一种三维点云匹配方法及其系统 | |
| CN103559711B (zh) | 基于三维视觉系统图像特征和三维信息的运动估计方法 | |
| CN104318561B (zh) | 基于双目立体视觉与光流融合的车辆运动信息检测方法 | |
| CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| Broggi et al. | The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax | |
| CN103955920B (zh) | 基于三维点云分割的双目视觉障碍物检测方法 | |
| CN110842940A (zh) | 一种建筑测量机器人多传感器融合三维建模方法及系统 | |
| CN108230392A (zh) | 一种基于imu的视觉障碍物检测虚警剔除方法 | |
| CN111862673B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN104101331B (zh) | 基于全光场相机的非合作目标位姿测量 | |
| CN106556412A (zh) | 一种室内环境下考虑地面约束的rgb‑d视觉里程计方法 | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| Ali et al. | Real-time vehicle distance estimation using single view geometry | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN109292099B (zh) | 一种无人机着陆判断方法、装置、设备及存储介质 | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
| US9373175B2 (en) | Apparatus for estimating of vehicle movement using stereo matching | |
| Botha et al. | Digital image correlation techniques for measuring tyre-road interface parameters: Part 1–Side-slip angle measurement on rough terrain | |
| CN113781562A (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| CN104182968A (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180515 Termination date: 20190726 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |