CN105627932A - 一种基于双目视觉的测距方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目视觉的测距方法及装置,所述方法包括:获取同一时刻第一感光元件采集的第一图像和第二感光元件采集的第二图像；接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；计算深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。能够在快速得到物体与摄像头之间的距离的同时，保证了计算精度。

Description

一种基于双目视觉的测距方法及装置

技术领域

本发明涉及视觉测距技术领域，尤其涉及一种基于双目视觉的测距方法及装置。

背景技术

小型无人机由于飞行环境具有不确定性，不能使用预先规划路径的方式，只能采用自主避障的方式飞行。如何测量障碍物与小型无人机之间的距离决定小型无人机能否自主避障的重要因素。

目前，测量障碍物与小型无人机之间的距离主要有以下两种方式，其一，通过小型无人机上配备的激光测距仪或者声波探测器测量障碍物的距离，这种方式虽然能够准确的测量障碍物与小型无人机之间的距离，但激光测距仪或者声波探测器重量较大，影响小型无人机的飞行性能。其二，使用视觉测距，通过对捕捉的视频图像进行处理运算得到障碍物与小型无人机之间的距离。但是处理时间长，不能满足小型无人机快速避障的需求。

发明内容

有鉴于此，本发明实施例提供一种基于双目视觉的测距方法及装置，以实现快速准确的测量碍物与小型无人机之间的距离的目的。

第一方面，本发明实施例提供了一种基于双目视觉的测距方法，包括：

通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像；

接收选取物体操作,提取第一图像中选取物体的特征点基准特征点,并根据特征点基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

根据特征点基准特征点和匹配特征点的位置分布，对所述特征点基准特征点和匹配特征点进行过滤，建立过滤后的多条连接特征点基准特征点和对应的匹配特征点的线段；

计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

计算多个深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

第二方面，本发明实施例还提供了一种基于双目视觉的测距装置，包括：

图像获取模块，用于通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像获取同一时刻第一感光元件采集的第一图像和第二感光元件采集的第二图像；

特征点基准特征点及匹配特征点获取模块，用于接收选取物体操作,提取第一图像中选取物体的特征点基准特征点,并根据特征点基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

线段建立模块，用于根据特征点基准特征点和匹配特征点的位置分布，对所述特征点基准特征点和匹配特征点进行过滤，建立过滤后的多条连接特征点基准特征点和对应的匹配特征点的线段；

深度距离计算模块，用于计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

距离计算模块，用于计算深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。本发明实施例提供的基于双目视觉的测距方法及装置，通过对同一时刻两个摄像头分别采集的第一图像和第二图像中的基准特征点进行暴力匹配，能够快速的计算得到物体与摄像头之间的距离。并且通过对连接基准特征点与匹配特征点的线段进行过滤，可以去除偏差较大的基准特征点与匹配特征点，能够在快速得到物体与摄像头之间的距离的同时，保证了计算精度，实现满足小型无人机快速避障的需求的目的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的基于双目视觉的测距方法的流程示意图；

图2是本发明第一实施例提供的基于双目视觉的测距方法中双目测距的原理示意图；

图3是本发明第二实施例提供的基于双目视觉的测距方法的流程示意图；

图4是本发明第三实施例提供的基于双目视觉的测距方法的流程示意图；

图5是本发明第四实施例提供的基于双目视觉的测距装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明第一实施例提供的基于双目视觉的测距方法的流程图，本实施例可适用于小型无人机测量小型无人机与物体之间的距离，该方法可以由基于双目视觉的测距装置来执行，该装置可由软件/硬件方式实现，并集成于小型无人机测距装置中。

所述方法具体包括如下：

S110，通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像。

图2是本发明第一实施例提供的基于双目视觉的测距方法中双目测距的原理示意图，参考图2，双目视觉系统是由两个单目成像模型组合而成，即两个同样的感光元件，在本实施例中采用摄像头作为感光元件。图中两个摄像头的镜头中心间的连线为系统的基线，两个摄像头相同且每个摄像头的坐标系统的各对应轴精确平行。并使用相同的坐标系。其中，需要测得的深度距离即为物体垂直于系统的基线的距离。在本实施例中，需要获取同一时刻双目视觉的测距系统中两个摄像头在同一时刻拍摄的两幅图像。示例性的，在双目视觉的测距系统预先设置一个硬件同步开关，通过该硬件同步开关可以控制两个摄像头在同一时刻进行拍摄，并获取两个摄像头分别采集的第一图像和第二图像。

S120，接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点。

双目视觉系统的两个摄像头所采集的图像中可能会包括多个物体，由于不同的物体与系统的基线之间的距离并不相同，需要选取采集的图像中需要测距的物体。可以通过人工选取方式选取图像中需要测距的物体。示例性的，使用者可以使用输入装置在图像上选取图像中的物体,双目视觉的测距系统接收使用者选取物体的操作。并提取第一图像中选取物体的基准特征点。基准特征点又被称为兴趣点、显著点、关键点等等。基准特征点既是一个点的位置标识，同时也说明该基准特征点的局部邻域具有一定的模式特征。一般将物体的边缘点作为图像中物体的基准特征点。示例性的，可以通过获取选取物体的所有像素的RGB值，并将任意一点像素的RGB值与周围像素RGB值进行比较，与周围像素RGB值的差值大于预设的阈值时，则确定该点像素为基准特征点。

获取第一图像中的基准特征点的特征，并根据特征采用暴力匹配的方法从第二图像中提取与第一图像基准特征点一一对应的匹配特征点。示例性的，为每个基准特征点建立一个集合，集合中的元素为该像素的描述符。将第二图像中的所有像素点的集合与第一图像中的基准特征点的集合进行匹配，确定第二图像中与第一图像中基准特征点对应的匹配特征点。示例性的，将第二图像中的像素点的集合中的元素依次与基准特征点的集合中的元素进行比较，在第一图像中基准特征点的集合中所有元素与第二图像中像素点的集合中部分元素匹配一致时，则确定该像素点为第一图像中基准特征点的匹配特征点。

S130，根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段。

由于确定物体的基准特征点时可能会出现误差，导致一些非基准特征点像素也被提取为基准特征点，或者由于采用暴力匹配算法确定第二图像中的匹配特征点，在匹配过程中，也可能会出现误差。所以依据匹配特征点所建立的线段的长度也会出现偏差。示例性的，第一图像中的基准特征点为物体的左侧边缘点，而采用暴力匹配算法所确定的匹配特征点为物体的右侧边缘点，这时所建立的线段是错误的，需要将基准特征点或匹配特征点进行过滤，去除错误的基准特征点或匹配特征点。示例性的，可以通过如下方法将基准特征点或匹配特征点进行过滤。

计算第一图像中所有基准特征点的中心坐标，即所有基准特征点坐标的平均值，并计算每个基准特征点与中心坐标的距离，计算距离的方差σ2n，并将计算得到的方差σ2n与预先设定的方差阈值σ1进行比较，在σ2n大于σ1时，舍弃该基准特征点及其所对应的第二图像中的匹配特征点。也可以利用上述方法过滤掉第二图像中的匹配特征点和与其对应的第一图像的基准特征点。通过上述方法，能够过滤掉与基准特征点的中心坐标偏差较大的基准特征点，由于选取物体只在图像中占据较小的尺寸，基准特征点与匹配特征点都密集分布在图像的一定区域内，据此，可以过滤掉选取错误的基准特征点和匹配错误的匹配特征点，实现提高测量精度的目的。由于双目视觉的测距系统的两个摄像头的焦距相同，且透镜中心处于同一直线上，其所采集的图像会投影在同一平面中，且处于同一个坐标系内，将第一图像中的基准特征点与第二图像中的对应的匹配特征点通过线段连接。形成多条连接第一图像基准特征点和第二图像匹配特征点的线段。

S140，计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离。

参考图2，根据相似三角形原理，可以得到下述公式：

$\frac{T}{Z}=\frac{T-(x_1-x_r)}{Z-f}\⇒z=\frac{fT}{x_1-x_r},$

其中，物体与感光元件的连线和镜头交点的坐标为PL(Xl，Yl)和PR(Xr，Yr)，深度距离值为Z，其中f为镜头焦距，T为双目摄像机两个感光元件的距离值。根据上述公式可以计算每一个连接基准特征点与匹配特征点的线段所对应的深度距离。

S150，计算深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

获取每一个连接基准特征点与匹配特征点的线段所对应的深度距离，并计算多个深度距离的平均值，并将深度距离的平均值作为物体与摄像头之间的距离。通过计算多个深度距离的平均值，能够进一步减少误差。提高测量的精度。

本实施例提供的基于双目视觉的测距方法及装置，通过对同一时刻两个摄像头分别采集的第一图像和第二图像中的基准特征点进行暴力匹配，能够快速的计算得到物体与摄像头之间的距离。并且通过对连接基准特征点与匹配特征点的线段进行过滤，可以去除偏差较大的基准特征点与匹配特征点，在能够快速得到物体与摄像头之间的距离的同时，保证了计算精度，实现满足小型无人机快速避障的需求的目的。

需要说明的是，本实施例所提供的方法不仅适用于小型无人机，也适用于快速移动的各种设备，例如行走机器人等。

实施例二

图3为本发明第二实施例提供的种基于双目视觉的测距方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，在计算深度距离的平均值后，增加如下步骤：计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较，在所述差值大于预设的差值阈值时，舍弃所述深度距离；并将多个深度距离的平均值作为物体与感光元件之间的距离，具体优化为：将剩余多个深度距离的平均值作为物体与感光元件之间的距离。

相应的，本实施例的方法具体包括：

S210，通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像。

S220，接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点。

S230，根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段。

S240，计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离。

S250，计算深度距离的平均值。

S260，计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较。

分别计算每条线段对应的深度距离值Z1，Z2，……，Zn，并计算深度距离值的均值计算Zn与的差值(n＝1，2，……，n)，并将Zn与的差值与预设的差值阈值m进行比较。所述的差值阈值由经验值确定。

S270，在所述差值大于预设的差值阈值时，舍弃所述深度距离。

深度距离是一个特定距离值，由于存在误差，根据每条线段计算得到的深度距离值会存在误差。如果某条线段对应的深度距离值与深度距离均值的差值大于预设的差值阈值，则说明该深度距离存在较大的误差，需要将其舍弃。

S280，将剩余多个深度距离的平均值作为物体与感光元件之间的距离。

计算舍弃后余下深度距离的平均值，具体的，可建立一个关于深度距离的数组acc[n]，将余下深度距离值赋值给数组acc[n]中的元素，将数组acc[n]进行均值处理，通过以下公式得到的多个深度距离的平均值

$\stackrel{\‾}{Z^{\′}}=\frac{acc\[1\]+acc\[2\]+...+acc\[n\]}{n}.$

并将多个深度距离的平均值作为物体与感光元件之间的距离。

本实施例通过在根据过滤后的多条线段的长度计算得到多个深度距离后，增加如下步骤：根据多个深度距离计算得到深度距离均值；并计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较，在所述差值大于预设的差值阈值时，舍弃该深度距离值。能够对深度距离值进行修正，使计算得到的深度距离值更加准确。

实施例三

图4为本发明第三实施例提供的种基于双目视觉的测距方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，在所述的计算深度距离的平均值之后，将深度距离的平均值作为物体与感光元件之间的距离之前，增加如下步骤：分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值；所述将深度距离的平均值作为物体与感光元件之间的距离，具体优化为：计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。

相应的，本实施例的方法具体包括：

S310，通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻分别采集的第一图像和第二图像。

S320，接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点。

S330，根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段。

S340，计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离。

S350，计算深度距离的平均值。

S360，分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值。

由于外界因素的影响，感光元件采集的图像可能会出现比例失真，局部细节模糊等情况。如果根据上述情况所采集的图像计算物体与感光元件之间的距离，所计算的距离必然会产生较大的误差。为了避免上述误差，在本实施例中，通过使用同一时刻前后每个预设时刻对应的深度距离的平均值来消除误差。示例性的，在在预设的时间段内，按照预设的时刻，第一感光元件定时采集多张第一图像，第二感光元件也同样定时采集多张第二图像。并按照上述S310-S360的方法,依次计算得到每个预设时刻对应的深度距离的平均值。其中的预设的时刻可以是从预设的时间段的起始时间开始，按照预设的时间间隔设定的时刻。

S370，计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。

计算每个预设时刻对应的深度距离的平均值的均值，示例性的，可采用如下公式计算：

其中为深度距离的平均值的均值，为深度距离的平均值，t为当前时刻，τ为预设的时间间隔。

将均值作为物体与感光元件之间的距离。通过计算每个预设时刻对应的深度距离的平均值的均值，能够防止获取的某一时刻的两帧图像数值波动过大，提高物体与感光元件之间的距离的计算准确性。

本实施例通过在所述的计算深度距离的平均值之后，将深度距离的平均值作为物体与感光元件之间的距离之前，增加如下步骤：分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值；所述将深度距离的平均值作为物体与感光元件之间的距离，具体优化为：计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。能够防止获取的某一时刻的两帧图像数值波动过大，提高物体与感光元件之间的距离的计算准确性。

实施例四

图5中是本发明第四实施例的基于双目视觉的测距装置的结构示意图，如图5所示，所述装置包括：

图像获取模块410，用于通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像；

基准特征点及匹配特征点获取模块420，用于接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

线段建立模块430，用于根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；

深度距离计算模块440，用于计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

距离计算模块450，用于计算深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

本发明实施例通过对同一时刻两个摄像头分别采集的第一图像和第二图像中的基准特征点进行暴力匹配，能够快速的计算得到物体与摄像头之间的距离。并且通过对连接基准特征点与匹配特征点的线段进行过滤，可以去除偏差较大的基准特征点与匹配特征点，在能够快速得到物体与摄像头之间的距离的同时，保证了计算精度，实现满足小型无人机快速避障的需求的目的。

在上述各实施例的基础上，所述线段建立模块430用于：

计算基准特征点的方差和匹配特征点的方差；

将所述基准特征点或匹配特征点的方差与预设的方差阈值进行比较，在所述基准特征点或匹配特征点的方差大于预设的方差阈值时，舍弃所述基准特征点或匹配特征点。

在上述各实施例的基础上，所述装置还包括：

深度距离舍弃模块460，用于计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较，在所述差值大于预设的差值阈值时，舍弃所述深度距离；

所述距离计算模块450，用于：

将剩余多个深度距离的平均值作为物体与感光元件之间的距离。

在上述各实施例的基础上，所述装置还包括：

平均值计算模块470，用于分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值；

所述距离计算模块450，用于计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。

本发明实施例所提供的基于双目视觉的测距装置可用于执行本发明任意实施例提供的基于双目视觉的测距方法，具备相应的功能模块，实现相同的有益效果。

显然，本领域技术人员应该明白，上述的本发明的各模块或各操作可以通过如上所述的终端设备实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等；或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于双目视觉的测距方法,其特征在于,包括:

通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻分别采集的第一图像和第二图像；

接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；

计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

计算多个深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

2.根据权利要求1所述的方法，其特征在于，所述对所述基准特征点和匹配特征点进行过滤，包括：

计算基准特征点的方差和匹配特征点的方差；

将所述基准特征点或匹配特征点的方差与预设的方差阈值进行比较，在所述基准特征点或匹配特征点的方差大于预设的方差阈值时，舍弃所述基准特征点或匹配特征点。

3.根据权利要求1所述的方法，其特征在于，在计算深度距离的平均值后，还包括：

计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较，在所述差值大于预设的差值阈值时，舍弃所述深度距离；

所述将多个深度距离的平均值作为物体与感光元件之间的距离，包括：

将剩余多个深度距离的平均值作为物体与感光元件之间的距离。

4.根据权利要求1所述的方法，其特征在于，在所述的计算深度距离的平均值之后，将深度距离的平均值作为物体与感光元件之间的距离之前，还包括：

分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值；

所述将深度距离的平均值作为物体与感光元件之间的距离，包括：

计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。

5.根据权利要求1-4任一所述的方法，其特征在于，所述感光元件为摄像头。

6.一种基于双目视觉的测距装置,其特征在于,包括:

图像获取模块，用于通过双目视觉系统的第一感光元件和第二感光元件获取同一时刻第一感光元件分别采集的第一图像和第二感光元件采集的第二图像；

基准特征点及匹配特征点获取模块，用于接收选取物体操作,提取第一图像中选取物体的基准特征点,并根据基准特征点对第二图像进行暴力匹配，获取第二图像的匹配特征点；

线段建立模块，用于根据基准特征点和匹配特征点的位置分布，对所述基准特征点和匹配特征点进行过滤，建立过滤后的多条连接基准特征点和对应的匹配特征点的线段；

深度距离计算模块，用于计算每条线段的长度，根据过滤后的线段的长度通过双目视觉测距方法计算得到多个深度距离；

距离计算模块，用于计算深度距离的平均值，并将深度距离的平均值作为物体与感光元件之间的距离。

7.根据权利要求6所述的装置，其特征在于，所述线段建立模块用于：

计算基准特征点的方差和匹配特征点的方差；

将所述基准特征点或匹配特征点的方差与预设的方差阈值进行比较，在所述基准特征点或匹配特征点的方差大于预设的方差阈值时，舍弃所述基准特征点或匹配特征点。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

深度距离舍弃模块，用于计算每个深度距离与深度距离均值的差值,并将所述差值与预设的差值阈值进行比较，在所述差值大于预设的差值阈值时，舍弃所述深度距离；

所述距离计算模块，用于：

将剩余多个深度距离的平均值作为物体与感光元件之间的距离。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

平均值计算模块，用于分别计算所述同一时刻前后每个预设时刻对应的深度距离的平均值；

所述距离计算模块，用于计算每个预设时刻对应的深度距离的平均值的均值，并将所述均值作为物体与感光元件之间的距离。