CN112129262A - 一种多摄像头组的视觉测距方法及视觉导航芯片 - Google Patents

Abstract

本发明公开一种多摄像头组测距的视觉测距方法及视觉导航芯片，与现有技术的平行双目立体视觉模型相比，本发明公开的视觉测距方法根据同一预设直线的第一摄像头和第二摄像头的双目测距结果，来运用基准摄像头和不在该预设直线上的多个摄像头的双目测距结果去计算出最佳深度值，克服现有技术的双目摄像头不能检测处于平行线场景（门槛、阶梯水平平行线边缘）的待测物体空间点深度信息的问题，避免第一摄像头和第二摄像头的双目测距产生的深度值距离的误判，提升距离检测的精度。

Description

一种多摄像头组的视觉测距方法及视觉导航芯片

技术领域

本发明属于双目视觉测距的技术领域，尤其涉及一种多摄像头组测距的视觉测距方法及视觉导航芯片。

背景技术

距离测量对于很多机器人都是必须的功能，特别是三维信息，帮助机器人感知外部世界。双目立体视觉测距具有非接触、自动测量、对人眼无害等优点。最常用的是平行光轴模型，机器人的两摄像机相距一个基线距离水平放置，先通过畸变校正和极线校正，使得同一特征点在两摄像机的图像只有水平视差，利用图像配准的方法得到对应点的视差，利用视差和深度的关系最终得到场景中物点的深度信息。但是在实际测距的过程中，机器人的两摄像机会采集到的与两摄像机的基线平行的阶梯边缘轮廓线、门槛线，但是不能根据这些与基线平行的图像线条计算出与两摄像机的基线平行的物体的深度信息。

发明内容

为了解决双目摄像头存在的平行线不能检测深度的问题，提升距离检测的精度，本发明公开以下具体的技术方案：

一种多摄像头组的视觉测距方法，该视觉测距方法包括以下步骤：从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第一深度值；其中，第一摄像头和第二摄像头是在同一预设水平线上相距一个基线距离设置的两个不同位置处的摄像头；从第一摄像头和第二摄像头中任选一个摄像头作为基准摄像头；将基准摄像头拍摄的图像依次和第三摄像头组的所有摄像头拍摄的图像搜索出基于同一待测物体空间点的相对应的纵向匹配特征点对，并分别求出相对应的纵向匹配特征点的第二视差，然后分别结合基准摄像头和第三摄像头组内相对应的摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第二深度值，以形成与搜索出的所有纵向匹配特征点对相匹配的待比较深度值组；其中，第三摄像头组的所有摄像头是所述预设水平线的垂直上方和/或所述预设水平线的垂直下方设置的摄像头；判断第一深度值是否为预设深度判定值，是则按照不同纵向匹配特征点对的第二视差大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值，否则按照第一视差与不同纵向匹配特征点对的第二视差大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值，其中，最佳深度值是用于表示待测物体空间点和机器人之间距离。

与现有技术的平行双目立体视觉模型相比，本技术方案根据同一预设直线的第一摄像头和第二摄像头的双目测距结果，来运用基准摄像头和不在该预设直线上的多个摄像头的双目测距结果去计算出最佳深度值，克服现有技术的双目摄像头不能检测处于平行线场景(门槛、阶梯水平平行线边缘)的待测物体空间点深度信息的问题，避免第一摄像头和第二摄像头的双目测距带来的第一深度值为预设深度判定值时产生的深度值距离的误判，提升距离检测的精度。

进一步地，所述按照不同纵向匹配特征点对的第二视差大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值的方法为：将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值，然后对待比较深度值组内所有的第二深度值进行加权平均运算以获得所述最佳深度值。该技术方案在确定第一摄像头和第二摄像头的双目测距产生的深度距离误判后，利用不同纵向匹配特征点对所对应的视差和深度值进行加权平均计算以获取接近待测物体空间点与机器人的实际距离(像素值)，提高双目视觉测距的精度。

进一步地，所述按照第一视差与不同纵向匹配特征点对的第二视差大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值的方法为：将第一视差配置为第一深度值的权重值；将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值；然后对第一深度值和待比较深度值组内所有的第二深度值进行加权平均处理，以获得所述最佳深度值。该技术方案利用加权平均的方法去处理不在同一预设直线的三个摄像头获得的深度值，使得最佳深度值具有更好的稳定性，减弱环境因素的影响。

进一步地，所述预设深度判定值是处于0的一个预设浮动数值范围内，用于表示所述机器人识别出所述待测物体空间点位于第一摄像头和第二摄像头之间的基线的平行线上，这个平行线是属于门槛、阶梯的水平边缘线。

进一步地，所述预设水平线上设置有至少两个摄像头；所述的视觉测距方法还包括：当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制同一所述预设水平线上设置的其余两个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值；或者，当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制所述第一摄像头和所述第二摄像头其中任一个摄像头与同一所述预设水平线上设置的一个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值。从而兼容远距离和近距离的视觉测距场景。

进一步地，所述搜索出基于同一待测物体空间点的横向匹配特征点对的方法包括：将第一摄像头拍摄的图像设置为左图像，将第二摄像头拍摄的图像设置为右图像；首先以左图像为基准图像，右图像为待匹配图像，在左图像中选择第一预设特征点，再基于极线约束从右图像中搜索出与这个第一预设特征点相匹配的第二预设特征点；然后以右图像为基准图像，左图像为待匹配图像，在右图像中选择第二预设特征点，再基于极线约束，在从左图像中搜索出与这个第二预设特征点相匹配的第一预设特征点时，则将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在左图像的投影点，第二预设特征点是同一待测物体空间点在右图像的投影点；或者，将第一摄像头拍摄的图像设置为基准图像，将第二摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第一预设特征点，再基于极线约束从待匹配图像中搜索出与这个第一预设特征点相匹配的第二预设特征点，然后将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在基准图像的投影点，第二预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小第一摄像头拍摄的左图像的特征点和第二摄像头拍摄的右图像的特征点的匹配范围，提高横向或是水平上的特征点匹配效率。

进一步地，所述搜索出基于同一待测物体空间点的纵向匹配特征点对的方法包括：将基准摄像头拍摄的图像设置为下图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为上图像；首先以下图像为基准图像，上图像为待匹配图像，在下图像中选择第三预设特征点，再基于极线约束从上图像中搜索出与这个第三预设特征点相匹配的第四预设特征点；然后以上图像为基准图像，下图像为待匹配图像，在上图像中选择第四预设特征点，再基于极线约束，在从下图像中搜索出与这个第四预设特征点相匹配的第三预设特征点时，则将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在下图像的投影点，第四预设特征点是同一待测物体空间点在上图像的投影点；或者，将基准摄像头拍摄的图像设置为基准图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第三预设特征点，再基于极线约束从待匹配图像中搜索出与这个第三预设特征点相匹配的第四预设特征点，然后将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在基准图像的投影点，第四预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小特征点的匹配范围，提高与前述技术方案的摄像头分布直线方向不同的分布方位处的特征点匹配效率。

一种视觉导航芯片，该视觉导航芯片用于存储所述的多摄像头组的视觉测距方法对应的程序代码。

附图说明

图1是本发明的一实施例公开的一种多摄像头组测距的视觉测距方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。在本发明的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例公开的一种多摄像头组测距的视觉测距方法的实施主体是一种多摄像头测距的机器人，该机器人包括承载底座和驱动轮，该承载底座安装至少三个不在同一预设直线上的摄像头，实施方式包括：在机器人的承载底座上，存在至少两个摄像头分布在同一直线上，必定存在一个摄像头不分布在这一直线上。与现有技术的平行双目立体视觉模型相比，本实施例在机器人的承载底座上安装不在同一预设直线的三个或三个以上的摄像头，克服现有技术的双目摄像头不能检测平行线场景(门槛、阶梯边缘区域)的深度信息的问题，提升距离检测的精度。

在本发明实施例中，在所述承载底座上，同一预设直线内安装至少两个摄像头，另外存在至少一个摄像头设置在所述预设直线的上方和/或下方。确保机器人的同一预设直线上的两个摄像头能正常执行双目视觉测距作用，又能在同一预设直线上的两个摄像头不能检测平行线时，调用与其存在几何位置关联的摄像头完成平行线的双目视觉测距工作，这里的几何位置关联可以包括不设置在同一预设直线内的摄像头，但这个摄像头可以与同一预设直线内安装的摄像头执行双目视觉测距，用于构建出新的双目立体视觉模型。

优选地，在所述承载底座中，所述预设直线内安装的其中两个摄像头的连线中心点的垂直上方及其垂直下方各设置一个摄像头，则在所述承载底座内形成呈十字架结构设置的4个摄像头，与现有技术的平行双目立体视觉模型相比，提升各个摄像头的极线上的特征点的匹配效率。

优选地，所述预设直线是所述承载底座所处的水平面上的一条水平线，方便实施双目视觉测距，简化深度信息的计算量。

作为一种实施例，所述预设直线在同一水平采集方向上设置两个或两个以上的摄像头，以使：所述预设直线上(理解为水平线内)，存在其中两个摄像头的间距与另外两个摄像头的间距不同，或者存在其中两个摄像头的基线长度与另外两个摄像头的基线长度不同，其中两个摄像头的间距与另外两个摄像头的间距不同时，则：其中同一预设直线上分布的两个摄像头的基线长度与另外两个摄像头的基线长度不同，从而兼容远距离和近距离的视觉测距场景，即同一预设直线上分布的两个摄像头的基线长度越大则所述机器人可以用于测量更远场景中的物体深度信息，同一预设直线上分布的两个摄像头的基线长度越小则所述机器人可以用于测量更近场景中的物体深度信息。

作为一种实施例，在所述预设直线上，存在相距一个基线距离水平放置的左摄像头和右摄像头，所述预设直线的上方安装的第三摄像头组位于左摄像头和右摄像头之间的基线的垂线上，或者第三摄像头组内存在摄像头位于左摄像头和右摄像头连线的中垂线上。左摄像头的内参数、右摄像头的内参数和第三摄像头组内所有摄像头的内参数相同，左摄像头的光轴、右摄像头的光轴和第三摄像头组内的摄像头的光轴平行且垂直于左摄像头和右摄像头之间的基线，使得左摄像头拍摄的左图像和右摄像头拍摄的右图像共面且只有水平视差，但第三摄像头组的摄像头拍摄的图像和左摄像头拍摄的图像不一定共面，第三摄像头组的摄像头拍摄的图像和右摄像头拍摄的图像不一定共面，其中，左摄像头的投影中心和右摄像头的投影中心连线距离为基线距离。本实施例方便构建平行双目立体视觉模型进行深度值计算，提高运算效率。

需要说明的是，前述实施例中，机器人的承载底座及其安装的前述摄像头属于一种视觉测距模组。

本发明一实施例公开一种多摄像头组的视觉测距方法。在前述实施例的多摄像头测距的机器人中，根据所述的多摄像头测距的机器人的实际测距场景范围大小而在同一预设直线内选择的相距一个基线距离放置第一摄像头和第二摄像头，其中，相机基线限制了测量范围。测量范围和基线(两个摄像头间距)关系很大；基线越大，测量范围越远；基线越小，测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。当然还可以安装相同图像采集方向的多个摄像头，使得这些摄像头中的任意两个摄像头之间的基线长度都不相同，以兼容远近不同的视觉测距场景；所述预设直线上方的摄像头或所述预设直线下方的一个摄像头设置为第三摄像头，或者，所述预设直线上方的摄像头和/或所述预设直线下方的一个摄像头各自设置一个或多个摄像头，以提高特征点的匹配效率，搜索出更加丰富匹配特征点以参与深度值的运算，增加克服现有技术的双目摄像头不能检测平行线场景(门槛、长廊、阶梯边缘区域)的深度信息的几率，提高测距检测精度。

作为一种实施例，如图1所示，所述视觉测距方法包括以下步骤：

步骤S101、从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第一深度值；其中，第一摄像头和第二摄像头是在同一预设水平线上相距一个基线距离设置的两个不同位置处的摄像头；然后进入步骤S102。

优选地，第一摄像头和第二摄像头的最佳设置方式为水平放置，光轴平行且垂直于基线，第一摄像头的相机焦距和第二摄像头的相机焦距相等，当第一摄像头和第二摄像头在同一时刻拍摄同一待测物体空间点时，第一摄像头和第二摄像头分别获取到该待测物体空间点的图像，然后沿着同一极线去搜索出基于待测物体空间点的相互匹配的两个特征点，然后这两个特征点的坐标同方向相减后得到水平视差，根据三角几何关系可知，第一摄像头和第二摄像头之间的基线长度与这个水平视差的比值等于这个待测物体空间点的深度与相机焦距的比值，形成按照标准配置放置的双摄像头系统的经典双目视觉视差测距原理。因此步骤S101可结合第一摄像头和第二摄像头之间的基线距离、第一视差和相机焦距的比例关系计算出第一深度值，是这个待测物体空间点相对于第一摄像头和第二摄像头之间的基线的距离，通过把图像中对应像素点的像素值用深度值Z表示，就能得到深度图。如果这个待测物体空间点是在平行于第一摄像头和第二摄像头之间的基线的平行线上(如阶梯边缘)则基于同一待测物体空间点的横向匹配特征点对在同一极线上可能重合在一起，很难获得准确的视差，这种情况下获得的视差一般是零。

步骤S102、从第一摄像头和第二摄像头中任选一个摄像头作为基准摄像头；将基准摄像头拍摄的图像依次和第三摄像头组的所有摄像头拍摄的图像搜索出基于同一待测物体空间点的相对应的纵向匹配特征点对，并分别求出相对应的纵向匹配特征点的第二视差，然后分别结合基准摄像头和第三摄像头组内相对应的摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第二深度值，以形成与搜索出的所有纵向匹配特征点对相匹配的待比较深度值组；其中，第三摄像头组的所有摄像头是所述预设水平线的垂直上方和/或所述预设水平线的垂直下方设置的摄像头；然后进入步骤S103。第三摄像头组存在的摄像头数目多于1个。

优选地，基准摄像头的光轴和第三摄像头组内的摄像头的光轴平行且垂直于基准摄像头和第三摄像头组内的所有摄像头之间的基线，基准摄像头的相机焦距和第三摄像头组内的所有摄像头的相机焦距相等，当基准摄像头和第三摄像头组内所有摄像头在同一时刻拍摄步骤S101中同一待测物体空间点时，按照标准配置放置的双摄像头系统的经典双目视觉视差测距原理，基准摄像头和第三摄像头分别获取到这一待测物体空间点的图像，这一待测物体空间点分别在基准摄像头拍摄的图像存在投影点和第三摄像头组内其中一个预配置摄像头拍摄的图像存在投影点，然后沿着极线方向分别对这两个投影点寻找匹配的特征点以确定出基于同一待测物体空间点的纵向匹配特征点对，再将纵向匹配特征点对的两个相匹配的特征点的坐标同方向相减以得到第二视差，即这个待测物体空间点相对于基准摄像头和所述预配置摄像头之间的基线的距离，此时的第二视差不是水平视差，不会受到步骤S101中的平行于第一摄像头和第二摄像头之间的基线的平行线的影响，使得第三摄像头组内所有的摄像头与所述基准摄像头运用双目视觉视差测距原理计算求得的视差不会受到步骤S101中的平行于第一摄像头和第二摄像头之间的基线的平行线的影响。在本实施例中，因为这一待测物体空间点、基准摄像头和第三摄像头组内的摄像头形成的极平面垂直于第一摄像头和第二摄像头之间的基线，所以，在第三摄像头组内的摄像头的成像平面和基准摄像头的成像平面中，待测物体中平行于第一摄像头和第二摄像头之间的基线的平行边缘线不会平行于基准摄像头和第三摄像头之间的基线。

在前述步骤中，当存在两个摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。双目匹配(步骤S101中搜索的横向匹配特征点对和步骤S102中搜索的纵向匹配特征点对)的作用是把同一场景在两个摄像头的成像视图上对应的投影点匹配起来，这样做的目的是为了得到视差图。

步骤S103、判断第一深度值是否为预设深度判定值，是则进入步骤S104，否则进入步骤S105。本实施例中，所述预设深度判定值是处于0的一个预设浮动数值范围内，用于表示所述机器人识别出所述待测物体空间点位于第一摄像头和第二摄像头之间的基线的平行线上，这个平行线是属于门槛、阶梯的水平边缘线。其中，这个平行线是属于门槛、阶梯的水平边缘线。此时，第一摄像头和第二摄像头之间的基线与这个待测物体空间点所处的边缘线平行，机器人可能检测识别出与两摄像机的基线平行的阶梯边缘轮廓线、门槛线。

步骤S104、按照不同纵向匹配特征点对对应的第二视差的大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值，即将第二深度值确定为用于表示待测物体空间点和机器人之间距离的最佳深度值。此时步骤S101从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出的基于同一待测物体空间点的横向匹配特征点对的第一视差是0，这个视差显然是无法求取这一待测物体空间点与所述机器人的深度信息，因为第一摄像头和第二摄像头之间的基线与这个待测物体空间点所处的边缘线平行，不能被第一摄像头和第二摄像头采集到相互匹配的投影点，只能采集到线条，此时只能采用步骤S102中求取的第二深度值的均值处理结果作为用于表示待测物体空间点和机器人之间距离的最佳深度值。

作为一种实施例，步骤S104中，所述按照不同纵向匹配特征点对的第二视差大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值的方法为：将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值，然后对待比较深度值组内所有的第二深度值进行加权平均运算以获得所述最佳深度值。使得步骤S104获得的最佳深度值较为接近待比较深度值组内的最大第二深度值。其中,每一个纵向匹配特征点对相对应的第二视差被配置为待比较深度值组内相对应的第二深度值的权重统计值,每一个第二视差为相对应的第二深度值产生权重贡献。本实施例在确定第一摄像头和第二摄像头的双目测距产生的深度距离误判后，利用不同纵向匹配特征点对所对应的视差和深度值进行加权平均计算以获取接近待测物体空间点与机器人的实际距离(像素值)，提高双目视觉测距的精度。

步骤S105、按照第一视差与不同纵向匹配特征点对对应的第二视差的大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值。该步骤的目的是通过处理不在同一水平直线或预设直线上分布的至少三个摄像头相配合获取的第一深度值和待比较深度值组，包括同一预设直线上分布的两个摄像头和不在这一预设直线上分布的至少一个摄像头，获取更为准确稳定的最佳深度值。

作为一种实施例，步骤S105中，所述按照第一视差与不同纵向匹配特征点对的第二视差大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值的方法为：将第一视差配置为第一深度值的权重值；将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值；然后对第一深度值和待比较深度值组内所有的第二深度值进行加权平均处理，以获取所述最佳深度值，而这个所述最佳深度值接近所述第一深度值和所有的第二深度值的最大数值。在本实施例中，若所述预设直线上方和/或下方存在多个所述第三摄像头分别与所述基准摄像头按照经典双目视觉视差测距原理参与基于同一待测物体空间点的纵向匹配特征点对的搜索，以求取出多个视差和对应的深度值，形成待矫正深度信息映射表，然后计算待矫正深度信息映射表内部所有的视差和第一视差各自所占的比例，并将这些视差对应的深度值参与加权平均计算，最后求的加权平均值是所述最佳深度值。其中, 每一个纵向匹配特征点对相对应的第二视差被配置为待比较深度值组内相对应的第二深度值的权重统计值,每一个第二视差为相对应的第二深度值产生权重贡献。本实施例利用加权平均的方法去处理不在同一预设直线上的三个摄像头获得的深度值(其中必然存在至少两个摄像头分布在同一直线上)，使得最佳深度值具有更好的稳定性，减弱环境因素的影响。

优选地，所述预设水平线上设置有至少两个摄像头；所述的视觉测距方法还包括：当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制同一所述预设水平线上设置的其余两个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值；或者，当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制所述第一摄像头和所述第二摄像头其中任一个摄像头与同一所述预设水平线上设置的一个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值。从而兼容远距离和近距离的视觉测距场景。

在前述实施例中，所述搜索出基于同一待测物体空间点的横向匹配特征点对的方法包括：将第一摄像头拍摄的图像设置为左图像，将第二摄像头拍摄的图像设置为右图像；首先以左图像为基准图像，右图像为待匹配图像，在左图像中选择第一预设特征点，再基于极线约束从右图像中搜索出与这个第一预设特征点相匹配的第二预设特征点；然后以右图像为基准图像，左图像为待匹配图像，在右图像中选择第二预设特征点，再基于极线约束，在从左图像中搜索出与这个第二预设特征点相匹配的第一预设特征点时，则将第一预设特征点和第二预设特征点组成一个横向匹配特征点对。或者，将第一摄像头拍摄的图像设置为基准图像，将第二摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第一预设特征点，再基于极线约束从待匹配图像中搜索出与这个第一预设特征点相匹配的第二预设特征点，然后将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在基准图像的投影点，第二预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小第一摄像头拍摄的左图像的特征点和第二摄像头拍摄的右图像的特征点的匹配范围，提高横向或是水平线上的特征点匹配效率。

需要说明的是，第一预设特征点是同一待测物体空间点在左图像的投影点，第二预设特征点是同一待测物体空间点在右图像的投影点；当所述左图像和所述右图像平行时，所述第一预设特征点与所述第二预设特征点在同一极线上，使得所述左图像的极线方向上，所述右图像中存在与所述左图像的所述第一预设特征点相互匹配的所述第二预设特征点，对应的所述第一视差为所述第一预设特征点的坐标与所述第二预设特征点的坐标按相同方向相减，以便求取第一深度值；当所述左图像和所述右图像不平行时，所述第一预设特征点与所述第二预设特征点不在同一极线上，则通过单应性矩阵将所述左图像和所述右图像投影变换到同一平面上，以使得投影变换后的所述左图像的水平极线方向上，投影变换后的所述右图像中存在与所述第一预设特征点相互匹配的所述第二预设特征点，对应的所述第一视差为所述第一预设特征点的坐标与所述第二预设特征点的坐标按水平极线方向相减，以便求取第一深度值。

在前述实施例中，所述搜索出基于同一待测物体空间点的纵向匹配特征点对的方法包括：将基准摄像头拍摄的图像设置为下图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为上图像；首先以下图像为基准图像，上图像为待匹配图像，在下图像中选择第三预设特征点，再基于极线约束从上图像中搜索出与这个第三预设特征点相匹配的第四预设特征点；然后以上图像为基准图像，下图像为待匹配图像，在上图像中选择第四预设特征点，再基于极线约束，在从下图像中搜索出与这个第四预设特征点相匹配的第三预设特征点时，则将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在下图像的投影点，第四预设特征点是同一待测物体空间点在上图像的投影点；或者，将基准摄像头拍摄的图像设置为基准图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第三预设特征点，再基于极线约束从待匹配图像中搜索出与这个第三预设特征点相匹配的第四预设特征点，然后将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在基准图像的投影点，第四预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小特征点的匹配范围，提高与前述实施例的横向不同的分布方位处的特征点匹配效率。从而缩小第三摄像头组的其中一个摄像头拍摄的待匹配图像的特征点和基准摄像头(第一摄像头或第二摄像头)拍摄的基准图像的特征点的匹配范围，提高与前述实施例的摄像头分布直线方向不同的分布方位处的特征点匹配效率。

需要说明的是，当所述下图像和所述上图像平行时，所述第三预设特征点与所述第四预设特征点在同一极线上，使得所述下图像的极线方向上，所述上图像中存在与所述下图像的所述第三预设特征点相互匹配的所述第四预设特征点，对应的所述第二视差为所述第三预设特征点的坐标与所述第四预设特征点的坐标按相同方向相减，以便求取第二深度值；当所述下图像和所述上图像不平行时，所述第三预设特征点与所述第四预设特征点不在同一极线上，则通过单应性矩阵将所述下图像和所述上图像投影变换到同一平面上，以使得投影变换后的所述下图像的极线方向上，投影变换后的所述上图像中存在与所述第三预设特征点相互匹配的所述第四预设特征点，对应的所述第二视差为所述第三预设特征点的坐标与所述第四预设特征点的坐标按投影变换后的极线方向相减，以便求取所述待比较深度值组内的第二深度值。

本发明实施例还公开一种视觉导航芯片，该视觉导航芯片用于存储所述的多摄像头组的视觉测距方法对应的程序代码。与现有技术的平行双目立体视觉模型相比，本实施例公开的视觉导航芯片内置于机器人后，让机器人根据同一预设直线的第一摄像头和第二摄像头的双目测距结果，来运用基准摄像头和不在该预设直线上的多个摄像头的双目测距结果去计算出最佳深度值，克服现有技术的双目摄像头不能检测处于平行线场景(门槛、阶梯水平平行线边缘)的待测物体空间点深度信息的问题，避免第一摄像头和第二摄像头的双目测距带来的第一深度值为预设深度判定值时产生的深度值距离的误判，提升距离检测的精度。

应当理解，本发明的各部分可以用硬件、软件件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (8)

1.一种多摄像头组的视觉测距方法，其特征在于，该视觉测距方法包括以下步骤：

从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第一深度值；其中，第一摄像头和第二摄像头是在同一预设水平线上相距一个基线距离设置的两个不同位置处的摄像头；

从第一摄像头和第二摄像头中任选一个摄像头作为基准摄像头；

将基准摄像头拍摄的图像依次和第三摄像头组的所有摄像头拍摄的图像搜索出基于同一待测物体空间点的相对应的纵向匹配特征点对，并分别求出相对应的纵向匹配特征点的第二视差，然后分别结合基准摄像头和第三摄像头组内相对应的摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第二深度值，以形成与搜索出的所有纵向匹配特征点对相匹配的待比较深度值组；其中，第三摄像头组的所有摄像头是所述预设水平线的垂直上方和/或所述预设水平线的垂直下方设置的摄像头；

判断第一深度值是否为预设深度判定值，是则按照不同纵向匹配特征点对对应的第二视差的大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值，否则按照第一视差与不同纵向匹配特征点对对应的第二视差的大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值，其中，最佳深度值是用于表示待测物体空间点和机器人之间距离。

2.根据权利要求1所述的视觉测距方法，其特征在于，所述按照不同纵向匹配特征点对的第二视差大小占比关系对待比较深度值组内的第二深度值进行均值处理，以获得最佳深度值的方法为：

将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值，然后对待比较深度值组内所有的第二深度值进行加权平均运算以获得所述最佳深度值。

3.根据权利要求2所述的视觉测距方法，其特征在于，所述按照第一视差与不同纵向匹配特征点对的第二视差大小占比关系对第一深度值和待比较深度值组内的第二深度值进行均值处理以获得最佳深度值的方法为：

将第一视差配置为第一深度值的权重值；

将不同纵向匹配特征点对相对应的第二视差配置为待比较深度值组内相对应的第二深度值的权重值；

然后对第一深度值和待比较深度值组内所有的第二深度值进行加权平均处理，以获得所述最佳深度值。

4.根据权利要求3所述的视觉测距方法，其特征在于，所述预设深度判定值是处于0的一个预设浮动数值范围内，用于表示所述机器人识别出所述待测物体空间点位于第一摄像头和第二摄像头之间的基线的平行线上，这个平行线是属于门槛、阶梯的水平边缘线。

5.根据权利要求1或4所述的视觉测距方法，其特征在于，所述预设水平线上设置有至少两个摄像头；所述的视觉测距方法还包括：

当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制同一所述预设水平线上设置的其余两个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值；

或者，当所述第一摄像头和所述第二摄像头之间的基线距离不满足实际测距需求时，控制所述第一摄像头和所述第二摄像头其中任一个摄像头与同一所述预设水平线上设置的一个摄像头搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出所述第一深度值。

6.根据权利要求5所述的视觉测距方法，其特征在于，所述搜索出基于同一待测物体空间点的横向匹配特征点对的方法包括：

将第一摄像头拍摄的图像设置为左图像，将第二摄像头拍摄的图像设置为右图像；首先以左图像为基准图像，右图像为待匹配图像，在左图像中选择第一预设特征点，再基于极线约束从右图像中搜索出与这个第一预设特征点相匹配的第二预设特征点；然后以右图像为基准图像，左图像为待匹配图像，在右图像中选择第二预设特征点，再基于极线约束，在从左图像中搜索出与这个第二预设特征点相匹配的第一预设特征点时，则将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在左图像的投影点，第二预设特征点是同一待测物体空间点在右图像的投影点；

或者，将第一摄像头拍摄的图像设置为基准图像，将第二摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第一预设特征点，再基于极线约束从待匹配图像中搜索出与这个第一预设特征点相匹配的第二预设特征点，然后将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在基准图像的投影点，第二预设特征点是同一待测物体空间点在待匹配图像的投影点。

7.根据权利要求5所述的视觉测距方法，其特征在于，所述搜索出基于同一待测物体空间点的纵向匹配特征点对的方法包括：

将基准摄像头拍摄的图像设置为下图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为上图像；首先以下图像为基准图像，上图像为待匹配图像，在下图像中选择第三预设特征点，再基于极线约束从上图像中搜索出与这个第三预设特征点相匹配的第四预设特征点；然后以上图像为基准图像，下图像为待匹配图像，在上图像中选择第四预设特征点，再基于极线约束，在从下图像中搜索出与这个第四预设特征点相匹配的第三预设特征点时，则将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在下图像的投影点，第四预设特征点是同一待测物体空间点在上图像的投影点；

或者，将基准摄像头拍摄的图像设置为基准图像，将第三摄像头组的其中一个摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第三预设特征点，再基于极线约束从待匹配图像中搜索出与这个第三预设特征点相匹配的第四预设特征点，然后将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在基准图像的投影点，第四预设特征点是同一待测物体空间点在待匹配图像的投影点。

8.一种视觉导航芯片，其特征在于，该视觉导航芯片用于存储权利要求1至7任一项所述的多摄像头组的视觉测距方法对应的程序代码。

Images