CN105096327B - 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 - Google Patents

Abstract

一种基于计算机双目视觉及单应性矩阵的盲道定位方法，对所采集的盲道左、右摄像机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据匹配点计算左、右摄像机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左摄像机的定位。本发明所获取的盲道位置信息可用于调整盲人在盲道上行走的行进方向，并能够在盲人偏离盲道后引导其走回盲道，适用于计算机视觉导盲。

Description

一种基于计算机双目视觉及单应性矩阵的盲道定位方法

技术领域

本发明涉及一种基于计算机双目视觉及单应性矩阵的盲道定位方法，用于确定盲道的空间位置以引导盲人沿盲道行走，尤其适用于计算机视觉导盲。

背景技术

目前传统的方法是借助导盲杖或导盲犬等来协助盲人行走。然而它们都有很大的局限性：导盲杖的探测范围有限且精度不高，而导盲犬的数量较少，因此盲人的出行安全难以得到保障。除此以外，虽然现代化的电子导盲设备多种多样，例如基于红外、蓝牙、射频等原理的非视觉导盲仪等，但是这些设备的应用也较为有限。实际上，盲人缺失的是视觉，只有计算机视觉导盲装置才可能最大程度弥补盲人的生理缺陷，最大程度缩小盲人相对于常人行为能力的巨大差距。

近些年，世界各地开始致力于开发计算机视觉导盲装置，希望通过这些设备可以帮助盲人真正地安全出行，可以说，计算机视觉导盲已经成为了如今导盲研究领域的热点，而导盲道作为最普遍的导盲道路设施必然是视觉处理的重点。目前现有的技术是采用一种盲道边界模型对盲道进行定位。在模型中建立两个坐标系，其中一个是盲道图像的图像坐标系，另一个是由实际盲道的两条边界建立的盲道坐标系，采用θ表示两个坐标系中心线之间的夹角。在识别出盲道的边界后，便可确定其中心线以及建立相关的盲道坐标系，进而定位出盲道与当前行进方向的位置，通过偏离的角度θ来指导盲人的行进方向。

但现有的方法存在一定的缺陷：(1)仅能确定行进方向相对盲道中心线的偏角，当盲人行走在盲道上时，偏角可以调整行进方向使其沿着盲道方向行走，但一旦盲人偏离了盲道，仅靠偏角就很难再将盲人引导回盲道上，因此还需要更为详细的数据，比如盲人相对盲道的距离等；(2)图像坐标系和世界坐标系下的数据并不一致，在图像坐标系中确定的偏角在世界坐标系中存在较大的误差。

由于上述缺陷的存在，因而在计算机视觉导盲中，这种方法应用的效果不够理想。

发明内容

本发明的技术解决问题：克服现有方法在盲道图像坐标系中定位不可靠的缺陷，提供了一种基于计算机双目视觉及单应性矩阵的盲道定位方法，达到了对盲道进行空间精确定位的目的，提高了引导盲人行走的可靠性。

本发明的技术解决方案是：对所采集的盲道左、右摄像机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据匹配点计算左、右摄像机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左摄像机的定位。

所述的计算盲道平面方程的步骤包括：

步骤一：对盲道进行拍摄，获取盲道的左、右摄像机图像；

步骤二：检测左、右摄像机图像的SURF特征点，提取特征描述子并对其进行匹配，获取匹配点；

步骤三：通过双目视觉原理计算匹配点在摄像机坐标系下对应的三维坐标；

步骤四：通过最小二乘法计算步骤三中的三维点所在平面的法向量则盲道平面方程可以表示为：

A₁x+B₁y+C₁z＝1

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₁,B₁,C₁为盲道平面方程的系数。

所述的计算盲道中心线的方向向量的步骤包括：

步骤一：由匹配点计算左、右摄像机图像间的单应性矩阵；

步骤二：在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点；

步骤三：通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标，进而得到盲道中心线的方向向量

过盲道中心线的垂面的法向量由式得出，进而得到的盲道垂面方程为：

A₂x+B₂y+C₂z＝D

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，为盲道中心线的方向向量，为盲道平面的法向量，为盲道垂面的法向量。

盲道中心线的空间方程由盲道平面和盲道垂面联合表示，即由下述公式确定：

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，A₁,B₁,C₁为盲道平面方程的系数。

盲道中心线的空间方程确定后，便可确定盲道在空间中的位置，从而实现了盲道对左摄像机的定位，为引导盲人的安全行走提供了必要条件。

本发明与现有技术相比的优点在于：(1)通过确定盲道中心线在摄像机坐标系下的空间方程，获取了更丰富的盲道信息，包括盲人相对盲道的距离和行进方向相对盲道中心线的偏角，从而可以调整盲人的行进方向，即使盲人偏离盲道，仍能引导其走回盲道，因而更适用于计算机视觉导盲；(2)通过计算盲道中心线在摄像机坐标系下的空间位置，得到实际三维空间中准确的距离和偏角信息，提高了引导盲人行走的可靠性。

附图说明

图1为本发明基于计算机双目视觉及单应性矩阵进行盲道定位的总体流程图；

图2为本发明计算盲道平面方程的流程图；

图3为本发明基于单应性矩阵计算盲道中心线方向向量的示意图。

具体实施方式

本发明基于计算机双目视觉及单应性矩阵进行盲道定位的总体流程如图1所示，具体包括：对所采集的盲道左、右摄像机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据匹配点计算左、右摄像机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左摄像机的定位。

下面结合说明书附图对本发明中的各个部分做详细说明：

本发明计算盲道平面方程的流程如图2所示，具体步骤详细说明如下：

步骤1：对盲道进行拍摄，获取盲道的左、右摄像机图像；

步骤2：

2-1、检测左、右摄像机图像的SURF特征点。SURF检测器选用二阶Hessian矩阵进行特征点的检测。给定图像I中某点X＝(x,y)，在该点X处，尺度为σ的Hessian矩阵H(X,σ)定义如式(1)：

其中，L_xx(X,σ)是高斯二阶微分在点X＝(x,y)处与图像I的卷积，L_xy(X,σ)、L_yy(X,σ)以此类推。由上式可得到图像上每点的响应值，通过设置阈值d，当响应强度大于d时则认为其为特征点；

2-2、对特征点进行描述：选择一个描述窗口，利用窗口区域中其它点对特征点的小波响应来对特征点进行描述。将用于测量水平方向的局部强度差值的核记为dx，用于测量垂直方向的差值的核记为dy。窗口区域被分割为4×4大小的子区域，对于每个区域计算5×5均匀摆放的dx响应和dy响应。然后对所有的响应求和，每个区域提取四个描述子的值：

v＝[∑dx ∑dy ∑|dx| ∑|dy|] (2)

每个小区域有4个值，每个特征点则可用一个16×4＝64维的向量描述。利用向量的距离公式求解两幅图像中特征点之间的距离，设定一个阈值p，当两个特征向量的距离之比大于该阈值p时认为其对应的一组特征点对是匹配点；

2-3、对检测到的特征点对依次进行比率测试及对称性测试，移除错误的匹配点，获取优质的匹配点。

步骤3：通过双目立体视觉原理计算匹配点在摄像机坐标系下对应的三维坐标：假设由步骤2-3得到的一组匹配点为(X_l,Y_l)和(X_r,Y_r)，则匹配点在摄像机坐标系下对应的三维坐标见公式(3)：

其中(X_l,Y_l)和(X_r,Y_r)分别为匹配点在左、右摄像机图像中的图像坐标；B为基线距，即左、右摄像机光心间的距离；f为摄像机的焦距；Disparity＝X_l-X_r为视差。

步骤4：本发明忽略盲道不平整带来的不共面的影响，设所有三维点都位于盲道平面上，采用最小二乘法计算得到的盲道平面的法向量为则盲道平面方程可以表示为：

A₁x+B₁y+C₁z＝1 (4)

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₁,B₁,C₁为盲道平面方程的系数。

本发明基于单应性矩阵计算盲道中心线的方向向量的示意图如图3所示，首先在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点；再通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标，两三维点间的向量即为盲道中心线的方向向量。具体步骤详细说明如下：

步骤1：由所得的匹配点可计算左、右摄像机图像间的单应性矩阵如下式：

其中，(X,Y)和(x,y)分别为匹配点在左、右摄像机图像中的图像坐标，H为左、右摄像机图像间的单应性矩阵；

步骤2：在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点；

步骤3：通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标，由于这两个三维点均位于实际盲道的中心线上，因此两点间的向量即为盲道中心线的方向向量

然后计算过盲道中心线的垂面方程，盲道垂面的法向量由式得出，进而得到的盲道垂面方程为：

A₂x+B₂y+C₂z＝D (6)

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，为盲道中心线的方向向量，为盲道平面的法向量，为盲道垂面的法向量；

最后盲道中心线的空间方程由盲道平面方程和盲道垂面方程联合表示：

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，A₁,B₁,C₁为盲道平面方程的系数。

Claims (3)

1.一种基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征在于：对所采集的盲道左、右摄像机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据匹配点计算左、右摄像机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左摄像机的定位；

所述的计算盲道平面方程的步骤包括：

步骤一：对盲道进行拍摄，获取盲道的左、右摄像机图像；

步骤二：检测左、右摄像机图像的SURF特征点，提取特征描述子并对其进行匹配，获取匹配点；

步骤三：通过双目立体视觉原理计算匹配点在摄像机坐标系下对应的三维坐标；

步骤四：通过最小二乘法计算步骤三中的三维点所在平面的法向量则盲道平面方程可以表示为：

A₁x+B₁y+C₁z＝1

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₁,B₁,C₁为盲道平面方程的系数；

计算盲道中心线的方向向量的步骤包括：

步骤一：由匹配点计算左、右摄像机图像间的单应性矩阵；

步骤二：在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点；

步骤三：通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标，进而得到盲道中心线的方向向量

2.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征在于：过盲道中心线的垂面的法向量由式得出，进而得到的盲道垂面方程为：

A₂x+B₂y+C₂z＝D

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，为盲道中心线的方向向量，为盲道平面的法向量，为盲道垂面的法向量。

3.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征在于：盲道中心线的空间方程由盲道平面和盲道垂面联合表示，即由下述公式确定：

其中，(x,y,z)表示摄像机坐标系下的三维坐标，A₂,B₂,C₂,D为盲道垂面方程的系数，A₁,B₁,C₁为盲道平面方程的系数。