CN105043350A - 一种双目视觉测量方法 - Google Patents

Abstract

本发明提供一种双目视觉测量方法，利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；使用RANSAC算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。本发明利用了双目视觉原理，结合SURF和RANSAC算法，实现对物体与相机的远近进行了实时的测量，其用于无人机时，可以解决无人机在飞行过程中的测距问题，具有现实的实用意义。

Description

一种双目视觉测量方法

技术领域

本发明涉及一种双目视觉测量方法。

背景技术

无人机技术在科研生产领域的大规模应用，促进了相关领域的快速发展。对于无人机飞行过程中进行实时拍摄测量的需求日益显现出来。通常，无人机可以机载遥感设备,如高分辨率CCD数码相机、轻型光学相机、红外扫描仪，激光扫描仪、磁测仪等获取信息，用计算机对图像信息进行处理，并按照一定精度要求制作成图像。

如2011.04.20公开的，公开号为CN102023003A的中国发明揭示了一种基于激光探测和图像识别的无人直升机三维定位及测绘方法，含有：基于激光探测和图像识别的测距传感器、高度传感器和飞行控制计算机，其中，测距传感器由机载摄像机和激光发射器组成，用于探测无人直升机距周围障碍物的距离，其中：通过改变俯仰角和偏航角，测距传感器对无人直升机周围环境进行探测并测距；高度传感器用于测量无人直升机距地面的飞行高度；根据在不同俯仰角、航向角和飞行高度条件下测量得到的测距数据，可以实现无人直升机对未知环境的三维同步定位及测绘。本发明通过在无人直升机上搭载激光探测和图像识别的测距传感器，可以在飞行过程中快速、简便和可靠地对周围环境进行探测。

但是这些机载设备大多成本较高，使用不方便，同时难以进行实时的运算处理分析工作。所以急需一套行之有效的简易实时测量设备和方法。

发明内容

本发明要解决的技术问题，在于提供一种双目视觉测量方法，利用双目相机拍摄的图像进行特征点的SURF图像匹配，RANSAC方法对匹配结果进行筛选，利用了双目视觉原理，以及简单的相机内部参数对物体的大小，物体与相机的远近进行了实时的测量。

本发明是这样实现的：一种双目视觉测量方法，包括：

步骤10、利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；

步骤20、使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；

步骤30、使用RANSAC(RANdomSAmpleConsensus，随机抽样一致性方法)算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；

步骤40、根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。

进一步的，所述步骤30中的RANSAC算法的输入是经过粗匹配后特征点对在所述左右图像中的坐标值，该RANSAC算法通过反复选择特征点对中的一组随机子集来达成目标，被选取的子集被假设为已经满足要求的特征点对，并用下述过程进行验证：

(1)有一个空间线性关系适应于假设满足要求的特征点对，即所有的未知参数都能从假设的特征点对计算得出；

(2)用步骤(1)中得到的空间线性关系去测试所有其它特征点对，如果某个特征点对适用于估计的线性关系，假设其满足要求；

(3)如果有足够多的点被归类为假设满足要求的点对，那么估计的线性关系就足够合理；

(4)然后，用所有假设满足要求的特征点对去重新估计线性关系，因为它仅仅被初始的假设满足要求的点对估计过；

(5)最后，通过估计满足要求的点对与模型的错误率来评估线性关系。

所述步骤(1)至(5)的过程被重复执行固定的次数，每次产生的线性关系要么因为满足要求的点对太少而被舍弃，要么因为比现有的线性关系更好而被选用。

进一步的，假设双目相机的两相机焦距相同，左右两幅图像在同一个平面上，(u₁，v₁)为P在左图像平面坐标系中的P₁坐标，(u₂，v₂)为特征点P在右图像平面坐标系中的P₂坐标，v＝v₁＝v₂；左摄像机坐标系x’y’z’，原点在摄像机镜头的光心处，则所述双目立体视觉三维测量的相关公式是：

d＝u₂-u₁；

$X^c=\frac{b*u_1}{d},Y^c=\frac{b*v}{d},Z^c=\frac{b*f}{d};$

式中，d为P点在左右两图像中的视差，b为双目相机基线，f为双目相机焦距，(X^c，Y^c，Z^c)即为P点的左摄像机坐标系中的坐标。

进一步的，该方法用于无人机。

本发明的有益效果：本发明方法利用双目相机拍摄的图像进行特征点的SURF图像匹配，RANSAC方法对匹配结果进行筛选，利用了双目视觉原理，以及简单的相机内部参数对物体的大小，物体与相机的远近进行了实时的测量。其优点在于：

(1)传统的测量方法运算速度较慢，图像匹配的过程很复杂，而本发明基于SURF算法的图像匹配对于640*480像素尺寸的图像运算时间仅为几十到一百毫秒，速度大大的增加，且图像匹配比较简单；

(2)本发明使用双目立体视觉技术进行测量，利用双摄像头对同一物体进行拍摄，利用几何光学上的位置信息，并通过相关公式的计算来达到测量的目的；该方法简便易行，同时对设备的要求不高，适合于在无人机这样较为狭窄的空间内使用；

(3)本发明方法用于无人机时，解决了无人机在飞行过程中的测距问题，具有现实的实用意义。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法的总体执行流程图。

图2为本发明方法中双目立体成像的原理示意图。

具体实施方式

如图1所示，本发明的双目视觉测量方法，包括：

步骤10、利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；

步骤20、使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；

使用SURF算法对所述左右两幅图像进行特征点提取是现有技术，SURF算法在适中的条件下完成所述左右两幅图像中物体的匹配基本实现了实时处理，其能达到快速的效果实际上是基于对积分图像haar求导。本发明中该SURF算法使用积分图像分别完成左右两幅图像卷积操作，使用Hessian矩阵检测特征值，使用基于分布的描述符。SURF算法建立一阶Haar小波在x和y上的响应的分布，使用积分图像提高计算速度，并且只有64维，使用Laplacian的符号来索引特征点，方便匹配。

步骤30、使用RANSAC算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；

RANSAC算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。

本发明中RANSAC算法的输入是经过粗匹配后特征点对在所述左右图像中的坐标值，RANSAC算法通过反复选择特征点对中的一组随机子集来达成目标，被选取的子集被假设为已经满足要求的特征点对，并用下述过程进行验证：

(1)有一个空间线性关系适应于假设满足要求的特征点对，即所有的未知参数都能从假设的特征点对计算得出；

(2)用步骤(1)中得到的空间线性关系去测试所有其它特征点对，如果某个特征点对适用于估计的线性关系，假设其满足要求；

(3)如果有足够多的点被归类为假设满足要求的点对，那么估计的线性关系就足够合理；

(4)然后，用所有假设满足要求的特征点对去重新估计线性关系，因为它仅仅被初始的假设满足要求的点对估计过；

(5)最后，通过估计满足要求的点对与模型的错误率来评估线性关系。

这个过程被重复执行固定的次数，每次产生的线性关系要么因为满足要求的点对太少而被舍弃，要么因为比现有的线性关系更好而被选用。

由此，就可以得到最优的空间线性关系，同时获得满足该线性关系的可信特征点对。

步骤40、根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。

双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。左摄像机坐标系x’y’z’的原点在左摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O₁uv的u轴和v轴与和左摄像机坐标系的x’轴和y’轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O₁和O₂。空间中某点P(X^c，Y^c，Z^c)在左图像和右图像中相应的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。

假定双目相机的左右两幅图像在同一个平面上，则点P图像坐标的Y坐标相同，即v＝v₁＝v₂。由三角几何关系得到左右两图像中的视差d:

d＝u₂-u₁

由此可计算出空间中某点P在左摄像机坐标系中的坐标为：

$X^c=\frac{b*u_1}{d},Y^c=\frac{b*v}{d}{,Z}^c=\frac{b*f}{d}$

因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机的焦距f，并调节左右摄像机的焦距使两焦距一致，同时获取左右两摄像机的基线b，就可以确定这个点的三维坐标。

当本方法用于无人机时，其双目相机的左右两个相机可以安装在无人机的左右两侧，可以解决无人机在飞行过程中的测距问题，具有现实的实用意义。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种双目视觉测量方法，其特征在于：包括：

步骤10、利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；

步骤20、使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；

步骤30、使用RANSAC算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；

步骤40、根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。

2.根据权利要求1所述的一种双目视觉测量方法，其特征在于：所述步骤30中的RANSAC算法的输入是经过粗匹配后特征点对在所述左右图像中的坐标值，该RANSAC算法通过反复选择特征点对中的一组随机子集来达成目标，被选取的子集被假设为已经满足要求的特征点对，并用下述过程进行验证：

(1)有一个空间线性关系适应于假设满足要求的特征点对，即所有的未知参数都能从假设的特征点对计算得出；

(2)用步骤(1)中得到的空间线性关系去测试所有其它特征点对，如果某个特征点对适用于估计的线性关系，假设其满足要求；

(3)如果有足够多的点被归类为假设满足要求的点对，那么估计的线性关系就足够合理；

(4)然后，用所有假设满足要求的特征点对去重新估计线性关系，因为它仅仅被初始的假设满足要求的点对估计过；

(5)最后，通过估计满足要求的点对与模型的错误率来评估线性关系。

所述步骤(1)至(5)的过程被重复执行固定的次数，每次产生的线性关系要么因为满足要求的点对太少而被舍弃，要么因为比现有的线性关系更好而被选用。

3.根据权利要求1所述的一种双目视觉测量方法，其特征在于：假设双目相机的两相机焦距相同，左右两幅图像在同一个平面上，(u₁，v₁)为P在左图像平面坐标系中的P₁坐标，(u₂，v₂)为特征点P在右图像平面坐标系中的P₂坐标，v＝v₁＝v₂；左摄像机坐标系x’y’z’，原点在摄像机镜头的光心处，则所述双目立体视觉三维测量的相关公式是：

d＝u₂-u₁；

$X^c=\frac{b*u_1}{d},Y^c=\frac{b*v}{d},Z^c=\frac{b*f}{d};$

式中，d为P点在左右两图像中的视差，b为双目相机基线，f为双目相机焦距，(X^c，Y^c，Z^c)即为P点的左摄像机坐标系中的坐标。

4.根据权利要求1至3任一项所述的一种双目视觉测量方法，其特征在于：该方法用于无人机。