CN106183995B - 一种基于立体视觉的可视倒车方法 - Google Patents
一种基于立体视觉的可视倒车方法 Download PDFInfo
- Publication number
- CN106183995B CN106183995B CN201610596149.XA CN201610596149A CN106183995B CN 106183995 B CN106183995 B CN 106183995B CN 201610596149 A CN201610596149 A CN 201610596149A CN 106183995 B CN106183995 B CN 106183995B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- mtr
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于立体视觉的可视倒车方法。其步骤为：设置左右摄像机参数一致并固定两摄像机；对左右摄像机进行立体标定，获取其内外参数，利用两摄像机采集车辆后方场景视图；对所采集的视图进行立体校正，使两视图行对准且重投影畸变最小；并对两视图进行立体匹配，去除虚假匹配点对后建立正确的匹配点对应关系；根据正确匹配点得到左右视图视差，由此可以计算出被检测物体的真实三维坐标。本发明能够准确地检测车辆后方物体距车辆的距离，实时性好，能够对汽车倒车起到有效的辅助作用。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于立体视觉的可视倒车方法。
背景技术
汽车行业的迅速发展给社会带来了巨大的交通压力。为了缓解交通压力，许多国家开始大力推进智能交通系统的开发。车辆能够通过智能系统实时采集的环境信息智能判断环境变化，并作出最优的辅助控制与提示，甚至实现自动驾驶。
对于双目立体视觉的研究，能够提高计算机对环境信息的提取能力，使现代电子产品能更好地适应环境。如今立体视觉已经应用于三维信息提取、导航、监控等领域，随着立体视觉进一步发展，将会有更多领域应用这项技术。
基于立体视觉的智能交通系统的研究中，主要由双摄像机实时获取双目图像，再由三角测量原理及图像像素间的视差计算出物体三维信息。这借鉴了人体双目视觉系统的工作原理，并具有成本低，保密性高，持续时间长，环境适应性强等人体不具有的优势，因此将立体视觉运用于智能汽车可视倒车系统，有广大的应用前景。
发明内容
本发明旨在解决现有技术中无法精确地检测出倒车时障碍物位置与形状的问题，提供一种基于立体视觉的可视倒车方法，很好地满足了缓速倒车实时测量物体距离的要求。
为达到上述目的，本发明提供的技术方案如下：
步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。
进一步的，所述步骤2中对左右摄像机进行立体标定，方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量。
进一步的，所述步骤3中对采集的视图进行立体校正，步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵。
上述旋转矩阵由极点e1方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
e2与e1正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量。
e3与e1和e2正交，可以通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
进一步的，所述步骤4中对左右视图建立正确的匹配关系，步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；
步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。
步骤4.3：再过滤，去除虚假匹配点。
进一步的，所述步骤5中根据视差计算得到被检测物体的真实三维坐标，方法如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
与现有技术相比，本发明具有如下有益效果：
本发明的一种基于立体视觉的可视倒车方法，能够精确地测量汽车尾部和汽车后方障碍物之间的距离，且在步骤4中应用BM算法对左右视图进行匹配分析，有效地减少了匹配时间，达到了缓速倒车的实时测量要求。
附图说明
图1是本发明的一种基于立体视觉的可视倒车方法的流程图；
图2是本发明中提取障碍物三维信息的三角测量原理图。图中Sl为左相机的左侧测量边界，Sr为右相机的左侧测量边界，Ol为左侧相机中心，Or为右侧相机中心，P为物体点，p为P在左相机上成的像，p′为P在右相机上成的像，Z为物体与相机平面的距离。
具体实施方式
下面详细描述本发明的实施例，结合参考附图1，对本发明进一步详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。
如图1所示，本发明基于立体视觉的可视倒车方法包括以下步骤：
步骤1：设置左右摄像机参数：初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值相同，光频为50HZ，固定两相机于汽车尾部。
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
所述的步骤2中对左右摄像机进行立体标定，方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量。
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
所述的步骤3中对采集的视图进行立体校正，步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
其中，Rrect为使行对准的旋转矩阵：
上述旋转矩阵由极点e1方向开始。以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
e2与e1正交，并将其归一化到单位向量：
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量。
e3与e1和e2正交，可以通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°。对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
所述的步骤4中对左右视图建立正确的匹配关系，步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，实现图像纹理的增强；
步骤4.2：沿着步骤3校正后的水平极线通过SAD(绝对误差累积)窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
其中，(x,y)表示左视图中所选计算窗口中心的坐标，d表示左右两视图的窗口中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点。
步骤4.3：再过滤，去除虚假匹配点。
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标。
所述的步骤5中根据视差计算得到被检测物体真实三维坐标，参考图2双目提取三维信息的三角测量原理，步骤如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
本发明的上述实例对本发明及其实施方式进行了描述，对于本领域的普通技术人员可以在上述的基础上做出不同程度的修改和变动，但不偏离本发明的精神和原则，都应涵盖在本发明的权利要求书保护范围内。
Claims (3)
1.一种基于立体视觉的可视倒车方法，其特征在于，包括以下步骤：
步骤1：设置左右摄像机参数：使两个摄像机的初始曝光时间、曝光增益、对比度、白平衡参数、帧速、初始RGB值分别相同，光频为50HZ，固定两相机于汽车尾部；
步骤2：对步骤1中的左右摄像机进行立体标定，获取其内参矩阵A以及左右摄像机间的旋转矩阵R与平移向量T，并利用左右摄像机采集车辆后方场景视图；
步骤3：对步骤2中采集的车辆后方场景视图进行立体校正，使两视图行对准且重投影畸变最小，同时使观察面积最大化；
步骤4：对步骤3得到的立体校正后的左右视图进行匹配得到初步匹配点对，并去除虚假匹配点对，建立正确的匹配点对应关系；
步骤5：由步骤4所得的正确匹配点得到左右视图视差，并根据视差计算得到被检测物体真实三维坐标；
所述的步骤2中对左右摄像机进行立体标定，具体方法如下：
对左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[R T]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点的位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>R</mi>
<mo>=</mo>
<msub>
<mi>R</mi>
<mi>r</mi>
</msub>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>T</mi>
<mo>=</mo>
<msub>
<mi>T</mi>
<mi>r</mi>
</msub>
<mo>-</mo>
<msub>
<mi>RT</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Rr为左相机的旋转矩阵，Rl为右相机的旋转矩阵，Tl为左相机的平移向量，Tr为右相机的平移向量；
所述的步骤3中对采集的视图进行立体校正，具体步骤如下：
步骤3.1：将步骤2中得到的两相机之间的旋转矩阵R分解为两个旋转矩阵rl，rr，每个相机都旋转一半，使光轴互相平行，两幅图像旋转至同一平面，此时图像重投影畸变最小；
步骤3.2：两台相机的行对准利用下式实现：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mi>l</mi>
</msub>
<mo>=</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<msub>
<mi>r</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<msub>
<mi>r</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Rrect为使行对准的旋转矩阵：
<mrow>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>2</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>e</mi>
<mn>3</mn>
<mi>T</mi>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
上述旋转矩阵由极点e1方向开始，以左图像的原点为主点，左相机至右相机的平移向量的方向为主点方向：
<mrow>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mfrac>
<mi>T</mi>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>T</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
e2与e1正交，并将其归一化到单位向量：
<mrow>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>T</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
<msqrt>
<mrow>
<msubsup>
<mi>T</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>T</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Tx为平移向量T在相机所处平面内水平方向的分量，Ty为平移向量T在相机所处平面内竖直方向的分量；
e3与e1和e2正交，通过它们的叉积得到：
e3＝e2×e1 (6)
根据上述旋转矩阵物理意义有：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，α表示为使行对准，两相机在其所处平面内需要旋转的角度，0≤α≤180°；对于左相机，使其绕e3方向旋转α′，对于右相机，使其绕e3方向旋转α″。
2.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤4中对左右视图建立正确的匹配点对应关系，具体步骤如下：
步骤4.1：图像经过预过滤，转换为灰度图，使图像纹理增强；
步骤4.2：沿着步骤3校正后的水平极线通过绝对误差累积SAD窗口计算，得到最小值作为匹配点，SAD窗口计算如下式：
<mrow>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>d</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mo>-</mo>
<mi>n</mi>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mo>-</mo>
<mi>n</mi>
</mrow>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
<mo>+</mo>
<mi>j</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，(x,y)表示左视图中所选计算窗口的中心坐标，d表示左右两视图窗口的中心距离，n表示从左视图所选窗口中心到边缘的距离，L(x+i，y+i)表示左视图窗口灰度，R(x+d+j，y+j)表示右视图窗口灰度，C(x，y，d)表示左右视图窗口灰度和的差值；计算得到的差值最小区域的中心像素点即为匹配点；
步骤4.3：再过滤，去除虚假匹配点。
3.根据权利要求1所述的一种基于立体视觉的可视倒车方法，其特征在于：所述的步骤5中根据视差计算得到被检测物体真实三维坐标，具体步骤如下：
根据步骤2立体标定后得到的相机内参矩阵A和外参矩阵[R T]，以及下式，求得所检测物体在空间中的真实坐标：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>Z</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mi>f</mi>
</mrow>
<mrow>
<msub>
<mi>X</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mi>R</mi>
</msub>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>X</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>-</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>f</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>-</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>f</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，f是摄像机的焦距，B是两摄像机的间距，由标定信息给出；XL-XR为空间一点在左右视图的视差，由匹配信息给出；(x，y)为物体点在成像平面上的坐标；据此可以求得空间点三维坐标(Z,X,Y)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596149.XA CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610596149.XA CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106183995A CN106183995A (zh) | 2016-12-07 |
| CN106183995B true CN106183995B (zh) | 2018-05-15 |
Family
ID=57495438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610596149.XA Expired - Fee Related CN106183995B (zh) | 2016-07-26 | 2016-07-26 | 一种基于立体视觉的可视倒车方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106183995B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803273B (zh) * | 2017-01-17 | 2019-11-22 | 湖南优象科技有限公司 | 一种全景摄像机标定方法 |
| CN107248179A (zh) * | 2017-06-08 | 2017-10-13 | 爱佩仪中测（成都）精密仪器有限公司 | 用于视差计算的三维匹配建立方法 |
| CN109345587B (zh) * | 2018-09-01 | 2022-02-22 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
| CN109974623B (zh) * | 2018-09-13 | 2021-01-05 | 北京伟景智能科技有限公司 | 基于线激光和双目视觉的三维信息获取方法和装置 |
| CN111640086B (zh) * | 2019-03-01 | 2025-02-11 | 北京伟景智能科技有限公司 | 手持式钢筋计数仪 |
| CN111452036B (zh) * | 2019-03-19 | 2023-08-04 | 北京伟景智能科技有限公司 | 一种基于线激光双目立体视觉的工件抓取方法 |
| CN110686622A (zh) * | 2019-10-08 | 2020-01-14 | 华南理工大学 | 一种列车车轮冲角的测量方法 |
| CN114559131A (zh) * | 2020-11-27 | 2022-05-31 | 北京颖捷科技有限公司 | 一种焊接控制方法、装置及上位机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201534522U (zh) * | 2009-10-28 | 2010-07-28 | 安徽华东光电技术研究所 | 立体可视倒车系统 |
| CN102774325A (zh) * | 2012-07-31 | 2012-11-14 | 西安交通大学 | 一种后视倒车辅助系统和形成后视障碍图像的方法 |
| CN105539290A (zh) * | 2015-12-24 | 2016-05-04 | 科世达（上海）管理有限公司 | 一种用于显示车辆3d全景影像的系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011105884B4 (de) * | 2011-06-28 | 2019-02-21 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Einparken eines Fahrzeugs |
-
2016
- 2016-07-26 CN CN201610596149.XA patent/CN106183995B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201534522U (zh) * | 2009-10-28 | 2010-07-28 | 安徽华东光电技术研究所 | 立体可视倒车系统 |
| CN102774325A (zh) * | 2012-07-31 | 2012-11-14 | 西安交通大学 | 一种后视倒车辅助系统和形成后视障碍图像的方法 |
| CN105539290A (zh) * | 2015-12-24 | 2016-05-04 | 科世达（上海）管理有限公司 | 一种用于显示车辆3d全景影像的系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于双目视觉的嵌入式三维坐标提取系统》;夏茂盛等;《吉林大学学报（信息科学版）》;20110131;第29卷(第1期);第61-66页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106183995A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106183995B (zh) | 一种基于立体视觉的可视倒车方法 | |
| CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN103868460B (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN101549683B (zh) | 自动识别道路深坑与障碍物的车辆智能方法 | |
| CN107884767A (zh) | 一种双目视觉系统测量船舶距离与高度的方法 | |
| CN103231708A (zh) | 一种基于双目视觉的智能车辆避障方法 | |
| CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| US9665782B2 (en) | Obstacle detecting apparatus and obstacle detecting method | |
| CN104933718A (zh) | 一种基于双目视觉的物理坐标定位方法 | |
| CN105225230A (zh) | 一种识别前景目标对象的方法及装置 | |
| CN108534782A (zh) | 一种基于双目视觉系统的地标地图车辆即时定位方法 | |
| CN101789123A (zh) | 一种创建基于单目机器视觉距离图的方法 | |
| CN104930985A (zh) | 基于时空约束的双目视觉三维形貌测量方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN108279677B (zh) | 基于双目视觉传感器的轨道机器人检测方法 | |
| CN108491810A (zh) | 基于背景建模和双目视觉的车辆限高方法及系统 | |
| CN103204104B (zh) | 一种车辆全视角驾驶监控系统及方法 | |
| CN111681283B (zh) | 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法 | |
| CN105975957B (zh) | 一种基于车道线边缘的道路平面检测方法 | |
| CN107990878A (zh) | 基于微光双目相机的测距系统和测距方法 | |
| CN103852060A (zh) | 一种基于单目视觉的可见光图像测距方法 | |
| CN110378341A (zh) | 一种双目视觉行人距离检测方法 | |
| CN104658272A (zh) | 一种基于双目立体视觉的道路车流量统计与测速方法 | |
| CN104794717A (zh) | 一种基于双目视觉系统的深度信息对比方法 | |
| CN111862210A (zh) | 一种基于环视相机的目标物检测定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180515 Termination date: 20190726 |