CN104848861B - 一种基于图像消失点识别技术的移动设备姿态测量方法 - Google Patents

Abstract

本发明涉及一种基于图像消失点识别技术的移动设备姿态测量方法，首先利用手机摄像头拍摄室内墙角等人造规则物体，利用消失点检测技术可以从中提取出三维结构信息，利用不同照片之间三维结构的变化可以矫正手机内部的惯性传感器模块，例如陀螺仪、加速度计等。这样就可以在不增加硬件的基础上，提高传感器测量精度，获得更加准确的手机姿态。另外，本发明提出的方法，相比于传统的方法，有效的避免了室内电视、计算机等电磁干扰对加速度计、陀螺仪的干扰，而且还防止了陀螺仪积分的累计误差，因此大幅度提高了手机姿态测量的精确度。

Description

一种基于图像消失点识别技术的移动设备姿态测量方法

技术领域

本发明涉及机器视觉以及电子设备应用领域，具体涉及一种基于图像消失点识别技术的移动设备姿态测量方法。

背景技术

手机姿态指的是手机相对于大地坐标系的精确的3D坐标和朝向信息。这个信息对许多手机应用程序来说起到至关重要的作用。例如手机游戏、手势和动作识别、室内导航等等。精确的室内定位和导航，是近几年科研领域和商业应用领域的热点问题。其中利用手机内部传感器，例如加速度计、陀螺仪、指南针进行定位是其中常用的方法。但是要实现精确的室内定位，必须要对手机姿态进行测定。目前对手机姿态的测量主要有两种方法，第一种是利用陀螺仪积分得到手机3D姿态，第二种是利用加速度计和磁感应传感器。

利用陀螺仪积分的方法是目前应用最广泛的获取手机姿态的方法。陀螺仪是用来测量旋转角速度的传感器，又被称作角速度传感器。因此我们可以通过对陀螺仪获得的角速度进行不断的积分，这样有了手机初始姿态，再加上每时每刻的角速度，我们就可以得到具体某一时刻的手机姿态。这种方法虽然简单，也有其难以解决的问题。虽然陀螺仪在测量瞬时角速度方面误差较小，但是手机姿态却是通过积分得到的，这样随着时间的增长，累积误差越来越大，到最后，系统获得的手机姿态便会有较大的误差。

另一种方法是利用加速度计和磁感应传感器来直接计算手机的瞬时姿态。磁感应传感器可以用来检测磁场强度的大小。加速度传感器用来实时检测手机的加速度，它虽然无法直接得到重力的方向，但是利用滤波器，可以过滤到由于手机移动产生的加速度，只保留下重力加速度。这样综合利用磁感传感器和加速度传感器就可以得到手机的实时姿态。但是磁感应传感器的精确度很低，而且在室内环境下，极其容易受到周围电子设备的影响。而加速度传感器除了会受到电磁干扰还容易受到手机自身运动的影响，精确度相对于陀螺仪积分的方法来说较低。因此没有得到广泛的使用。

以上两种方法各有优缺点，陀螺仪积分的方法短时间内精度高，但是随着时间的增加，会有累积误差，精确度逐渐降低；加速度计的方法容易受环境影响，精确度较低。

发明内容

为了解决现有技术中的问题，本发明提出了一种能够矫正陀螺仪积分的累积误差，降低了误差率，具有精确度高，不易受环境影响的基于图像消失点识别技术的移动设备姿态测量方法。

为了实现以上目的，本发明所采用的技术方案为，包括以下步骤：

1)利用移动设备的摄像头拍摄建筑物具有三条互相垂直的直线的场景，场景包含空间坐标系三个坐标轴的方向信息；

2)利用机器视觉的方法对场景图像进行边缘检测，得到图像中的线段，然后对线段进行分类，得到在三维空间内互相垂直的三类线段；

3)利用步骤2)得到的线段，以及图像消失点检测算法得到图像三个互相垂直方向上的消失点；

4)利用图像消失点，结合摄像头成像模型，得到移动设备的姿态信息；

5)用得到的移动设备的姿态信息对陀螺仪积分得到的结果进行矫正，即完成移动设备姿态测量方法。

所述的步骤2)中对场景图像进行边缘检测采用的是canny边缘检测方法，具体包括：首先对图像进行高斯平滑处理，抑制图像中的噪声；然后对图像进行梯度计算，计算梯度的幅值和方向，记下来细化梯度幅值矩阵，寻找图像中的可能边缘点；最后利用双门限检测的方法来进行边缘提取，根据检测到的线段的斜率将线段分类。

所述的步骤2)中采用KLT追踪算法对检测到的线段进行追踪，追踪线段上的点得到特定线段在下一帧上的位置，并在该位置周围进行线段检测。

所述的步骤3)中首先根据线段的斜率信息，对线段进行分类，利用KNN方法选取数量最多的三类平行线，代表空间坐标系的三个轴的方向；然后利用RANSAC算法，计算这些平行线的交点，得到三个互相垂直方向上的消失点。

所述的步骤4)中的摄像头成像模型采用针孔相机模型，针孔相机模型的世界坐标的点P(X_c,Y_c,Z_c)，在图像平面上的投影点为P(X,Y)的关系为：

式中，K是指的相机的内参，R是旋转矩阵，t是平移矩阵，利用上面的公式，以及消失点的坐标计算出拍摄照片时的移动设备姿态。

所述的步骤4)中利用拓展卡尔曼滤波的方法将从摄像头图像获得的移动设备姿态和从陀螺仪积分得到的移动设备姿态进行结合，从而完成移动设备姿态测量方法。

所述的步骤4)中首先将摄像头图像获得的移动设备姿态的矩阵转化为四元数，然后结合移动设备内部的陀螺仪获得的陀螺仪四元数，利用拓展卡尔曼滤波的方法得到移动设备姿态。

所述的陀螺仪为MEMS陀螺仪。

与现有技术相比，本发明不受室内外的电磁干扰的影响，由于电子设备的增多，电磁干扰的影响是计算移动设备姿态时必须要考虑的因素。而本发明利用的是由摄像头获得的图像信息，周围的电视机、移动设备等都不会对其造成影响，实验结果表明，本发明得到的瞬时移动设备姿态跟通过加速度计和磁场滤波计算出来的相比，精确度得到了较大的提高。而且同陀螺仪积分得到的结果相比，由于本发明直接可以得到姿态，而不是像陀螺仪那样需要通过对角速度积分来得到，因此避免了累积误差。精确度不会随着时间的增长而减少。因此可以将摄像头得到的姿态与陀螺仪积分的结果进行结合，利用陀螺仪的瞬时姿态来矫正积分。两者优势互补，得到更加准确的移动设备姿态。综合来说本发明提高了移动设备姿态的获取精度，而且对周围环境因素的干扰有较强的抵抗能力。解决了在室内或者强电磁干扰的情况下，无法计算移动设备姿态的问题。

进一步，考虑相邻帧之间的关系，相邻帧之间检测到的线段可能存在较大的差异，而且经过会动的物体会对最终的结果造成较大的影响，如果直接以canny边缘检测来计算消失点和手机姿态，会使得结果有较大的抖动，准确率较低。因此我们使用KLT追踪算法来对检测到的线段进行追踪，追踪线段上的点，就可以准确的得到特定线段在下一帧上的位置，并在这些位置周围进行线段检测，通过这种方法可以筛选掉那些异常的线段，只保留追踪性强的线段，减少环境中的偶然因素，如行人、动物等的干扰，提高算法的鲁棒性，KLT算法是计算机视觉方面常用的跟踪算法，具有较高的追踪精度。

进一步，根据线段的斜率信息，对线段进行分类，利用KNN方法选取其中数量最多的三类即是我们需要的三类平行线，这代表空间坐标系的三个轴的方向。然后利用RANSAC算法，计算这些平行线的交点，得到三个消失点。RANSAC为Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法，利用该算法可以减小误差，得到较准确的消失点估计。

进一步，MEMS陀螺仪采用硅结构微机械系统，支持将运动转换为电信号的传感器功能，尽管与之前的机械器件相比，MEMS陀螺仪更容易集成到电子系统中,但是许多器件的精准度可能参差不齐且相去甚远，陀螺仪校准可以弥补这一差距，使得我们能够选用在价格、封装样式、功耗或其他属性方面更具优势的方法。

附图说明

图1为本发明的整体流程图；

图2为针孔相机模型图；

图3为针孔相机模型中存在的三个坐标系图；

图4为消失点获得流程图；

图5为KLT追踪流程图；

图6为拓展卡尔曼滤波流程图。

具体实施方式

下面结合具体的实施例和附图对本发明作进一步解释说明。

参见图1，移动设备以智能手机为例，本发明包括以下步骤：

1)利用手机摄像头拍摄建筑物墙壁、墙角、天花板等具有三条互相垂直的直线的场景，这些人工建筑物都具有标准的朝向和垂直关系，包含着空间坐标系三个坐标轴的方向信息；

2)利用机器视觉的方法，对拍到的照片进行边缘检测，得到图像中的线段，然后对线段进行分类，得到需要的三类在三维空间内互相垂直的线段；

3)利用这些线段，以及图像消失点检测算法得到图像消失点；

4)利用图像消失点，结合摄像头成像模型，得到手机的姿态信息；

5)用图片得到的手机姿态信息对陀螺仪积分得到的结果进行矫正。

步骤2)中对图片进行边缘检测用到的是canny边缘检测的方法。Canny算子的原理是首先在x,y方向求一阶导数，然后组合为4个方向的导数。这些方向的导数达到局部最大值的点就是组成边缘的候选点。然后根据检测到的线段的斜率将线段分类。

步骤3)中消失点指的是本来在空间中互相垂直的直线，在透视投影的条件下，会相交于一点，这个点就被称为消失点，因此空间中互相垂直的三类线段会形成三个消失点。

步骤4)中用到的相机模型为针孔模型，这样世界坐标系下一个点P(X_c,Y_c,Z_c)，在图像平面上的投影点为P(X,Y)的关系为：

式中，K是指的相机的内参，R是旋转矩阵，t是平移矩阵，这样利用上面的公式，以及消失点的坐标就可以计算出拍摄照片时的手机姿态。

参见图1，本发明包括以下步骤：

(1)首先通过摄像头拍摄墙角、桌角等具有明显棱角的物体，这些物体表面存在三条互相垂直的直线，且其方向都为标准的已知方向。

(2)对拍摄到的图像进行处理，获得三个互相垂直方向上的消失点，在这一步骤内首先进行的图像线段检测，检测到图片中存在的线段。本发明使用的方法是canny边缘检测，它首先对图像进行高斯平滑处理，抑制图像中的噪声，然后对图像进行梯度计算，计算梯度的幅值和方向，记下来细化梯度幅值矩阵，寻找图像中的可能边缘点，最后利用双门限检测的方法来进行边缘提取。通过cannny边缘检测，可以检测图形中存在的线段。

通过上面的方法可以从从视频中分别独立得检测出每一帧中的线段。但是这样并没有考虑相邻帧之间的关系，相邻帧之间检测到的线段可能存在较大的差异。而且，经过的行人动物等等会动的物体会对最终的结果造成较大的影响。如果直接以此来计算消失点和手机姿态，会使得结果有较大的抖动，准确率较低。参见图5，因此我们使用KLT追踪算法来对检测到的线段进行追踪。追踪线段上的点，就可以准确的得到特定线段在下一帧上的位置。并在这些位置周围进行线段检测。通过这种方法可以筛选掉那些异常的线段，只保留追踪性强的线段，减少环境中的偶然因素，如行人、动物等的干扰，提高算法的鲁棒性。KLT算法是计算机视觉方面常用的跟踪算法。具有较高的追踪精度。具体流程见附图。

(3)参见图4，得到每一帧图片中的线段之后，根据线段的斜率信息，对线段进行分类，利用KNN方法选取其中数量最多的三类即是我们需要的三类平行线，这代表空间坐标系的三个轴的方向。然后利用RANSAC算法，计算这些平行线的交点，得到三个消失点。RANSAC为Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。利用该算法可以减小误差，得到较准确的消失点估计。

RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

RANSAC基本思想描述如下：

①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P，集合P的样本数#(P)>n，从P中随机抽取包含n个样本的P的子集S初始化模型M；

②余集SC＝P\S中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(Consensus Set)；

③若#(S*)≥N，认为得到正确的模型参数，并利用集S*(内点inliers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。

④在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。

在本发明中，我们首先从检测到的线段中随机抽取出两个，然后计算它们的交点最为候选的消失点。得到两个消失点后，因为三个消失点是正交的，因此可以利用前面两个候选消失点来计算出第三个。然后评估这三个消失点的精确性。不断重复上面的过程，会计算出许多的消失点对，最后利用非线性最优化来选择出最精确的消失点。这样利用RANSAC来进行不断的迭代，最终计算出来的消失点额精确性不断增加。下面的公式是RANSAC过程中，衡量每个消失点对的精确性的公式。其中w1，w2是权衡因子，d为距离，a为一组平行的线，t为距离阈值。

经过RANSAC过程我们就得到了三个比较精确的消失点，

(4)利用消失点来计算针孔相机模型的内外参数，来得到拍摄照片时的手机的姿态。

参见图2和图3，在本发明中，我们考虑的是针孔相机模型。这是一种透视投影模型。图2为其成像原理。图3为在针孔模型中存在的三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系。

世界坐标系(X_w，Y_w，Z_w)是用户定义的空间三维坐标系，用来描述三维空间中的物体和相机之间的坐标位置，满足右手法则

摄像机坐标系(X_c，Y_c，Z_c)以相机的光心作为原点，Z_c轴与光轴重合，并垂直于成像平面，且以摄影方向为正方向，X_c，Y_c轴与图像物理坐标系的x,y轴平行，且O_cO为摄像机的焦距f

图像坐标系是以图像的左上方为原点的图像坐标系(u v)(此坐标以像素为单位)，

在本发明中，我们用的坐标系如附图所示，我们可以看到世界坐标系以O_w为中心，三个坐标轴为(X_w，Y_w，Z_w),相机坐标系以O_c为中心，三个坐标轴为(X_c，Y_c，Z_c),而相机拍摄形成的像的坐标系则以O_i为中心，三个坐标轴为(X_i，Y_i，Z_i)。V₁、V₂为两个消失点。

将三个消失点在图像坐标系的坐标分别表示为

V₁＝λ₁[u₁ v₁ 1]

V₂＝λ₂[u₂ v₂ 1]

V₃＝λ₃[u₃ v₃ 1]

利用针孔相机模型，我们就可以得到

其中K是相机内参，于是就可以得到相机的姿态R

(6)由上面的计算可以得到拍摄照片时的手机瞬时姿态R。因此可以每隔一定时间就调用手机摄像头拍摄墙角、建筑物外表面、桌椅等人造环境。在这种环境下，可以利用上述方法，由图片中的相互垂直的线段计算出拍照时的手机姿态信息。

(7)参见图6，最后利用拓展卡尔曼(Kalman)滤波的方法将从相机获得的手机姿态和从陀螺仪积分得到的姿态进行结合，从而得到更加精确的手机姿态信息。

传统上，陀螺仪是用于测量旋转角速率的机械器件,其常见用途之一就是在导航系统中估算方位角。MEMS陀螺仪采用硅结构微机械系统，支持将运动转换为电信号的传感器功能。尽管与之前的机械器件相比，MEMS陀螺仪更容易集成到电子系统中，但是许多器件的精准度可能参差不齐且相去甚远，陀螺仪校准可以弥补这一差距，使得我们能够选用在价格、封装样式、功耗或其他属性方面更具优势的方法。

前面我们得到的姿态是由矩阵表示的，现在将其转化为四元数表示，Q(x,y,z,w)，其中x，y，z用来确定旋转轴，w为旋转的角度。这样可以方便的利用卡尔曼滤波的方法对陀螺仪获得的读数进行修正。因为陀螺仪的数据是由四元数表示的。

欧拉角和四元数是常用的表示转动的两种方式，但是欧拉角存在奇异值问题，因此四元数应用的更加广泛一些。经过上面的步骤，我们可以得到一个姿态矩阵，将这个矩阵转化为一个四元数，我们就得到了由相机得到的姿态四元数，然后利用手机内部的陀螺仪，我们又得到了一个陀螺仪四元数，结合这两个四元数，我们可以用拓展卡尔曼滤波的方法来得到更加准确的手机姿态。

Kalman滤波能够在线性高斯模型的条件下，可以对目标的状态做出最优的估计，得到较好的跟踪效果。对非线性滤波问题常用的处理方法是利用线性化技巧将其转化为一个近似的线性滤波问题。因此，可以利用非线性函数的局部性特性，将非线性模型局部化，再利用Kalman滤波算法完成滤波跟踪。扩展Kalman滤波就是基于这样的思想，将系统的非线性函数做一阶Taylor展开，得到线性化的系统方程从而完成对目标的滤波估计等处理。

用扩展Kalman滤波来处理噪声问题可以分为以下几个步骤：

第一步：初始化状态，协方差矩阵P

第二步：状态预测

第三步：观察预测

第四步：一阶线性化状态方程，求解状态转移矩阵Φ(k)

第五步：一阶线性化观测方程，求解观测矩阵H

第六步：求协方差矩阵预测P

第七步：求Kalman增益

第八步：求状态更新

第九步：协方差更新

以上九步为扩展卡尔曼年滤波的一个计算周期，如此循环下去就是各个时刻EKF对非线性系统的处理过程。

在本发明中，卡尔曼滤波器的状态方程由以下步骤得到。

由四元数转动变化的性质可以得到：

其中q_true为姿态四元数真值，为估计值，△q为误差四元数。根据微分方程可得：

上面三个公式联立可得：

由陀螺仪误差模型可以得到陀螺仪输出估计值的误差为

其中为陀螺仪测量噪声，为陀螺仪漂移噪声，τ为陀螺仪漂移相关事件。

根据上面两公式利用小角度转动假设，略去二阶小量，可有

因此取姿态估计的状态变量为X＝[△θ^T △b^T]^T，因此状态方程可以表示为

卡尔曼滤波器的观察方程由一下步骤得到：

利用相机得到的照片可以计算出手机拍照时的姿态角，将这个姿态角与陀螺仪得到的姿态角相减可以得到角度误差△θ_m，将这个作为观察量，就可以得到观察方程：Z_k＝H_kX_k+v_k。其中v_k为零均值白噪声。

利用上面的状态方程和观察方程可以得到卡尔曼滤波器。

状态变量的时间传播根据：

协方差的传播：P_k+1/k＝A_kP_k/kA^T _k+G_kQG^T _K

更新状态估计：

通过上面的计算，只要给定初值，我们就可以利用陀螺仪、摄像头分别获得的数据由上面的公式进行递推计算。

因此陀螺仪纠正的过程为：

1.由陀螺仪读数获得手机姿态；

2.结合图像数据，利用卡尔曼滤波器计算误差；

3.利用卡尔曼滤波器计算得到的姿态误差，更新手机姿态值，纠正姿态；

返回第一步，进行下一周期的计算。

Claims (6)

1.一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于，包括以下步骤：

1)利用移动设备的摄像头拍摄建筑物具有三条互相垂直的直线的场景，场景包含空间坐标系三个坐标轴的方向信息；

2)利用机器视觉的方法对场景图像进行边缘检测，得到图像中的线段，然后对线段进行分类，得到在三维空间内互相垂直的三类线段；对场景图像进行边缘检测采用的是canny边缘检测方法，具体包括：首先对图像进行高斯平滑处理，抑制图像中的噪声；然后对图像进行梯度计算，计算梯度的幅值和方向，记下来细化梯度幅值矩阵，寻找图像中的可能边缘点；最后利用双门限检测的方法来进行边缘提取，根据检测到的线段的斜率将线段分类；

3)利用步骤2)得到的线段，以及图像消失点检测算法得到图像三个互相垂直方向上的消失点；具体包括：首先根据线段的斜率信息，对线段进行分类，利用KNN方法选取数量最多的三类平行线，代表空间坐标系的三个轴的方向；然后利用RANSAC算法，计算这些平行线的交点，得到三个互相垂直方向上的消失点；

4)利用图像消失点，结合摄像头成像模型，得到移动设备的姿态信息；

5)用得到的移动设备的姿态信息对陀螺仪积分得到的结果进行矫正，即完成移动设备姿态测量方法。

2.根据权利要求1所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于：所述的步骤2)中采用KLT追踪算法对检测到的线段进行追踪，追踪线段上的点得到特定线段在下一帧上的位置，并在该位置周围进行线段检测。

3.根据权利要求1所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于：所述的步骤4)中的摄像头成像模型采用针孔相机模型，针孔相机模型的世界坐标的点P(X_c,Y_c,Z_c)，在图像平面上的投影点为P(X,Y)的关系为：

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>K</mi> <mo>&amp;lsqb;</mo> <mi>R</mi> <mo>|</mo> <mi>t</mi> <mo>&amp;rsqb;</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

式中，K是指的相机的内参，R是旋转矩阵，t是平移矩阵，利用上面的公式，以及消失点的坐标计算出拍摄照片时的移动设备姿态。

4.根据权利要求3所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于：所述的步骤4)中利用拓展卡尔曼滤波的方法将从摄像头图像获得的移动设备姿态和从陀螺仪积分得到的移动设备姿态进行结合，从而完成移动设备姿态测量方法。

5.根据权利要求4所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于：所述的步骤4)中首先将摄像头图像获得的移动设备姿态的矩阵转化为四元数，然后结合移动设备内部的陀螺仪获得的陀螺仪四元数，利用拓展卡尔曼滤波的方法得到移动设备姿态。

6.根据权利要求5所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于：所述的陀螺仪为MEMS陀螺仪。