CN105005999A

CN105005999A - 一种基于计算机立体视觉面向导盲仪的障碍物探测方法

Info

Publication number: CN105005999A
Application number: CN201510494651.5A
Authority: CN
Inventors: 魏彤; 封洁轩; 贾文渊; 张琳; 袁磊; 金砺耀
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2015-08-12
Filing date: 2015-08-12
Publication date: 2015-10-28
Anticipated expiration: 2035-08-12
Also published as: CN105005999B

Abstract

一种基于计算机立体视觉面向导盲仪的障碍物探测方法，利用计算机立体视觉技术探测路面上的障碍物，得到障碍物的位置和轮廓坐标，为引导盲人行进提供必要的信息来源。本方法通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息。本发明为盲人出行提供路面障碍信息，提高盲人出行的安全性，适用于导盲仪引导盲人出行。

Description

一种基于计算机立体视觉面向导盲仪的障碍物探测方法

技术领域

本发明涉及一种基于计算机视觉的应用于导盲仪的障碍物探测方法，该方法可以帮助盲人行走时探测障碍物。

背景技术

盲人由于先天或后天的生理缺陷而丧失了视觉，因而丧失了获得知识和经验的最重要来源，对盲人日常生活造成了极大障碍，尤其是制约了盲人的出行活动。如何能够帮助盲人在日常出行中躲避道路中出现的障碍物，也成为了人们的研究重点。为了解决这一问题，人们已经研究出许多方法，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在很大的缺陷：使用盲杖探测，探测范围过小；使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。近些年，陆续出现一些基于视觉的障碍物探测方案，但也存在一定的缺陷：(1)只检测障碍物在图像中的所在区域，没有提供实际三维空间中障碍物相对盲人的位置信息；(2)只分离出障碍物在图像中的轮廓，没有给出其外形信息，例如凸起或凹陷等；(3)地面方程的提取依赖于相机坐标系与世界坐标系的固定关系，主要应用于车辆导航等领域，不适用于导盲仪。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于计算机立体视觉面向导盲仪的障碍物探测方法，解决现有导盲仪算法对于盲人行进路线上的障碍物信息获取不足，难以形成安全导盲策略的问题，为提高盲人出行安全性提供有利条件。

本发明的技术解决方案:本发明通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息。具体包括以下步骤：

步骤1、将双目相机固定在头部两侧，提前标定好双目相机的内外参数，包括焦距，主点位置，及相机间的旋转和平移矩阵等。

步骤2、用已标定好的双目相机同步连续采集左右图像。

步骤3：使用SURF算法对采集到的两幅图像进行特征提取及匹配，并采用对称性测试对匹配结果进行检测，得到一个匹配点对集合。

步骤4：利用双目立体视觉三维测量原理对匹配点对集合进行计算，求解出每对匹配点在左相机坐标系下的三维坐标。

步骤5：利用随机一致性算法提取路面平面方程：

每次从数据集中随机选取3个不共线的点，被选取的子集被假设为局内点，采用最小二乘法拟合出一个平面方程，确定参数(A,B,C)，并假设此模型适用于局内点。用这个平面模型去测试所有的其它数据，如果某个点适用于估计的模型(A,B,C)，认为它也是局内点。测试方法为计算此三维点到平面方程的垂直距离D_i。当垂直距离小于设定距离5cm时，则认为此点适用于当前平面模型。被归类为假设的局内点数大于参数d时，认为估计的模型就足够合理。然后，用所有假设的局内点去重新估计模型。设e为模型误差，计算方法为局内点到估计平面距离的均方差。最后，通过比较局内点的数量和e大小来估计模型优劣，局内点数越多、e越小的模型越优。这个过程被重复执行k次，每次通过比较将局内点数更多且e值更小的模型保留下来。当这个过程迭代完k次以后，即可获得最优平面模型。

步骤6：使用局内点集图像坐标得到左右两图路面区域间的单应变换矩阵，计算左图单应变换后与右图的灰度差值，提取出障碍物轮廓，在障碍物轮廓范围内进行稠密匹配，获得障碍物位置及轮廓坐标。

本发明的优点在于：

(1)本发明利用导盲仪双目相机的图像，采用计算机双目立体视觉方法计算出实际三维空间中障碍物相对盲人的位置，为盲人出行策略提供丰富的路面障碍信息，提高了盲人出行的安全性，适用于导盲仪引导盲人出行。

(2)完全采用计算机视觉算法获取路面平面方程，避免引入其他传感器，有助于降低导盲仪整机的复杂性。

(3)只对障碍物区域进行局部稠密匹配，获取障碍物位置及轮廓坐标信息，大幅度降低了导盲算法的计算量，提高了运算效率。

附图说明

图1：本发明的总流程图；

图2：本发明中随机一致性算法的流程图；

图3：本发明中区分障碍物及计算其位置轮廓坐标算法流程图。

具体实施方式

下面结合说明书附图对本发明方法做详细说明：

本发明通过盲人佩戴的导盲仪中的双目摄像机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面方程区分出障碍物区域，计算出障碍物位置和轮廓坐标，为帮助盲人行进提供必要信息。

如图1所示，本发明具体包括以下步骤：

步骤1：将双目相机利用眼镜固定在头部两侧，对双目相机内外参数进行标定：内参数包括归一化焦距f_xl、f_yl、f_xr、f_yr，和左右相机主点在图像坐标系下的坐标C_xl、C_yl、C_xr、C_yr，外参数包括相机间的旋转和平移矩阵。左右相机的内参矩阵P_l、P_r和右相机到左相机的坐标系变换矩阵M_lr为：

其中f_xl和f_yl分别为左相机横轴和纵轴上的归一化焦距、f_xr和f_yr分别为右相机横轴和纵轴上的归一化焦距；C_xl、C_yl、C_xr、C_yr为左右相机主点在图像坐标系下的坐标，单位为像素；R和T分别为坐标系变换矩阵的旋转分量和平移分量,r₁～r₉为旋转分量的各元素,t_x、t_y、t_z为平移分量的各元素。

步骤2：用已标定好的双目相机进行同步采集左右图像。

步骤3：使用SURF算法对采集到的两幅图像进行特征提取及匹配，并采用对称性测试对匹配结果进行检测，得到一个正确可靠的特征点对集合。

步骤3-1.使用SURF检测器分别对左右图像进行特征点提取。使用离散化的高斯模板与图像进行卷积处理，得到图像上每一点的响应值，响应值大于10的点认为是特征点，并把左右图中特征点分别存储。

步骤3-2.使用一个描述窗口域中的其他像素点对特征点的小波响应来表述该特征点。向量v作为描述子，对各特征点进行描述：

v＝[∑dx ∑dy ∑|dx| ∑|dy|]

其中，∑dx是水平方向的小波响应之和，∑dy是垂直方向的小波响应之和，∑|dx|是水平方向的小波响应的绝对值之和，∑|dy|是垂直方向的小波响应的绝对值之和。

左右两图中特征点描述子向量距离之比大于0.65的点作为一对粗匹配点。

步骤3-3.采用对称性测试检验粗匹配点，只保留均位于彼此极线上的特征点，作为最终的可靠匹配点集合。

步骤4：利用双目立体视觉三维测量原理对匹配点对集合进行计算，求解出每对匹配点在左相机坐标系下的三维坐标，得到一组三维点集。

\{\begin{matrix} x = \frac{z (u_{l} - C_{x l})}{f_{x l}} \\ y = \frac{z (v_{l} - C_{y l})}{f_{y l}} \\ z = \frac{f_{x l} f_{y l} (f_{x r} t_{x} + C_{x r} t_{z} - t_{z} u_{r})}{f_{y l} (r_{7} u_{r} - f_{x r} r_{1} - C_{x r} r_{7}) (u_{l} - C_{x l}) + f_{x l} (r_{8} u_{r} - f_{x r} r_{2} - C_{x r} r_{8}) (v_{l} - C_{y l}) + f_{x l} f_{y l} (r_{9} u_{r} - f_{x r} r_{3} - C_{x r} r_{9})} \end{matrix}

其中，(x,y,z)为左相机坐标系下的坐标；(u_l,v_l)和(u_r,v_r)分别为匹配点P在左图和右图中图像坐标系下的坐标，单位为像素；f_xl和f_yl分别为左相机横轴和纵轴上的归一化焦距、f_xr和f_yr分别为右相机横轴和纵轴上的归一化焦距；C_xl、C_yl、C_xr、C_yr为左右相机主点在图像坐标系下的坐标，单位为像素；r₁～r₉为坐标系变换矩阵旋转分量的各元素,t_x、t_y、t_z为坐标系变换矩阵平移分量的各元素。

步骤5：利用随机一致性算法提取路面平面方程Ax+By+Cz＝1，流程图如图2所示，其中A，B，C为路面平面方程参数，x,y,z为左相机坐标系下坐标。

步骤5-1.根据点集的大小设置循环次数k，设置初始路面平面方程误差e为无穷大，初始局内点集大小n为0。

步骤5-2.在三维点集中随机选取3个不共线的点加入局内点集，计算出初始路面平面方程：A₁x+B₁y+C₁z＝1，其中A₁，B₁，C₁为路面平面方程参数，x,y,z为左相机坐标系下坐标。

步骤5-3.循环计算剩余三维点与初始路面平面的距离d，若d小于5cm，则把此点加入局内点集。

步骤5-4.计算局内点集大小n′，若n′大于n则重新估算路面平面方程A₂x+B₂y+C₂z＝1，计算局内点与新路面平面距离的均方差e′，若e′小于e，则将路面平面方程更新为A₂x+B₂y+C₂z＝1，将方程误差e更新为e′，将局内点集大小n更新为n′。

步骤5-5.若循环次数等于k，将当前路面平面方程作为最终结果Ax+By+Cz＝1，否则转到步骤5-2。

步骤6：基于单应变换方法和局部稠密匹配方法，获得障碍物位置及轮廓坐标，流程图如图3所示。

步骤6-1.根据局内点集计算左右两图路面平面之间的单应变换关系，求出单应性矩阵H。

步骤6-2.利用矩阵H对左图进行单应性变换，计算变换后的左图与右图原图的灰度值之差，得到灰度差值图像。

步骤6-3.对灰度差值图像进行二值化操作，得到二值化差值图像。

步骤6-4.对二值化差值图像进行外轮廓提取，得到障碍物轮廓。

步骤6-5.在障碍物轮廓范围内，使用左右原图进行局部稠密匹配，得到障碍物位置及轮廓坐标信息。

Claims

1.一种基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：通过佩戴在盲人身上的双目相机同时采集路面图像，利用特征提取算法提取双目图像中的特征点，并进行特征点匹配；再计算匹配点在左相机坐标系下的三维坐标，根据匹配点三维坐标使用随机一致性算法计算出路面平面方程；最终根据路面平面方程区分出障碍物区域，计算其位置和轮廓的坐标，为帮助盲人行进提供必要信息。

2.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：所述双目相机分为左右相机，通过预先标定，得到左右相机的内参矩阵P_l、P_r和右相机到左相机的坐标系变换矩阵M_lr：

3.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：所述特征提取算法采用SURF算法，提取双目图像中的特征点，并进行特征点匹配，然后采用对称性测试对匹配结果进行检验，得到一个匹配点对集合。

4.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：所述利用双目立体视觉三维测量原理计算匹配点在左相机坐标系下的三维坐标，计算方法为：

\{\begin{matrix} x = \frac{z (u_{l} - C_{x l})}{f_{x l}} \\ y = \frac{z (v_{l} - C_{y l})}{f_{y l}} \\ z = \frac{f_{x l} f_{y l} (f_{x r} t_{x} + C_{x r} t_{z} - t_{z} u_{r})}{f_{y l} (r_{7} u_{r} - f_{x r} r_{1} - C_{x r} r_{7}) (u_{l} - C_{x l}) + f_{x l} (r_{8} u_{r} - f_{x r} r_{2} - C_{x r} r_{8}) (v_{l} - C_{y l}) + f_{x l} f_{y l} (r_{9} u_{r} - f_{x r} r_{3} - C_{x r} r_{9})} \end{matrix}

5.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：所述根据匹配点三维坐标使用随机一致性算法计算出路面平面方程过程为：采用随机一致性算法，每次随机选取三个匹配点计算一个候选路面平面方程Ax+By+Cz＝1，其中A，B，C为候选路面平面方程参数；计算每个匹配点到候选路面平面的距离，若距离小于设定距离,则判断该点属于候选平面,并记为局内点；所有匹配点都判断完成后，统计匹配点中局内点数目；通过多次迭代，选取局内点数目最多的所有组中估算误差最小的一组(A,B,C)值作为最终的路面平面方程参数，并获得属于路面的局内点集。

6.根据权利要求1所述的基于计算机立体视觉面向导盲仪的障碍物探测方法，其特征在于：使用局内点集图像坐标得到左右两图路面区域间的单应变换矩阵，计算左图单应变换后与右图的灰度差值，提取出障碍物轮廓，在障碍物轮廓范围内进行稠密匹配，获得障碍物位置及轮廓坐标。