CN103530881B - 适用于移动终端的户外增强现实无标志点跟踪注册方法 - Google Patents

Abstract

本发明提供一种适用于移动终端的户外增强现实无标志点跟踪注册方法，具体步骤为，在训练准备阶段中针对每一个样本场景都获取一用于表达该场景的样本图像，建立各场景样本图像的全局特征描述符矩阵的索引表；在跟踪注册阶段中移动终端采集当前场景的待匹配图像；提取待匹配图像在不同尺度下的全局特征描述符矩阵；从样本图像中选取相似度最高的关键帧图像；将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并剔除误匹配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩阵，再利用所述单应矩阵计算移动终端的位姿矩阵，基于位姿矩阵实现对关键帧图像的跟踪注册。

Description

适用于移动终端的户外增强现实无标志点跟踪注册方法

技术领域

本发明属于移动增强现实技术领域，具体涉及一种适用于移动终端的户外增强现实无标志点跟踪注册方法。

背景技术

增强现实(AugmentedReality，简称AR)是虚拟现实(VirtualReality，简称VR)技术的一个重要分支。由于其潜在的广阔应用空间成为近年来国际上的研究热点。VR技术强调使用者在感官效果上的完全浸沉感，即沉浸在由计算机描绘的虚拟环境中，而新兴的AR技术则是要借助显示技术、交互技术、多种传感技术和计算机图形与多媒体技术将计算机生成的虚拟环境与使用者周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分，同时AR技术也克服了一些VR技术对于逼真虚拟环境的苛刻要求：AR技术充分利用周围业已存在的大量信息，在其基础上加以扩充，这太大降低了对计算机图形能力的要求；

总体地说，增强现实技术是借助计算机图形技术和可视化技术产生现实环境不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境；所以增强现实系统具有虚实结合、实时交互、三维注册的新特点为实现虚实间的完美结台，三维跟踪注册(Registration)技术至关重要。三维注册主要是指将计算机产生的虚拟物体与用户周围的真实环境全力位对准，要求用户在真实环境运动的过程中维持正确的对准关系，三维跟踪注册所要完成的任务是由计算机视觉系统实时地检测出用户头部的相对位置和视线方向，根据这些信息确定所要添加的虚拟物体在真实空间坐标的映射位置，并将这些信息实时地显示头盔显示器的正确位置。然而目前大多数增强现实系统的注册对象均为空间坐标位置已知的静止物体。如笔画、室外风景、建筑物等。采用人为放置标志点的方法以简化图像处理与识别的计算量。利用3D-2D特征点匹配的方法确定用户的视点位姿，实现系统的三维注册，然而在实际生活中，往往需要对运动物体添加增强信息以增强人们对客观事物的感知和认识，例如在机械装配维修过程中，为运动的机械部件添加注释性说明文字或图像，以告诉用户该部件当前的运行状况等类似的应用广泛存在于医学、军事、娱乐、教学等各个方面，因而对运动物体进行跟踪注册的增强现实系统具有广阔的应用前景和极强的实用性。

以智能手机为平台的户外增强现实应用，使得增强现实技术摆脱了大体积PC平台的限制，算法的功耗低、所需存储空间小。一些经典的应用有增强现实浏览器-LayAR，该浏览器可运行于Android手机平台之上，用户只需要将手机的摄像头对准感兴趣场景，首先通过GPS定位用户所在位置，然后利用罗盘判断摄像头所面对的方向，用户就能在手机的屏幕上看到所拍摄的场景相关信息，甚至还包括周边房屋出租、酒吧及餐馆的打折信息、招聘启事以及ATM等实用性的信息。Wikitude发布了两款针对智能手机的增强现实的应用Drive和WorldBrowser。Drive是关于增强现实实景导航的应用，用户看到的不是地图，而是前方街道的实时视图，以及叠加在视频上方的导航数据。现在已经在欧洲、澳大利亚、北美市场得到了应用。WorldBrowser也是一款另类但是很先进导航的软件，使用时需要开启GPS定位，以获得较为准确的位置。当你到一处景点、大楼或者城市的某个角落的时候，打开这个软件对着你想了解的地方拍照，屏幕上马上会显示这个地方的有用信息，比如大楼内部的餐馆数量，订座电话，酒店信息，景点名胜的有用信息，相关YouTuBe视频，甚至其他网友发布上去的有关信息等等

以上介绍的户外增强现实系统均采用GPS、罗盘等技术对用户位置进行定位，然后实现虚拟物体的显示。然而物理传感器通常存在刷新频率和定位精度较低的问题，定位的准确性和实时性都存在问题，特别是在天气比较恶劣的情况下，定位的精度误差较大，影响了基于位置的增强现实应用的整体性能。

发明内容

有鉴于此，本发明的主要目的针对移动终端处理器的计算能力和存储器的容量不如PC机的强大，同时户外环境范围大、场景数量多的特点，提出了一种适用于移动终端的户外增强现实无标志点跟踪注册方法。

实现本发明的技术方案如下：

一种适用于移动终端的户外增强现实无标志点跟踪注册方法，主要包括训练准备阶段和跟踪注册阶段，具体步骤为：

训练准备阶段：

①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对应场景的GPS信息和终端采集样本图像时的重力方向；

②提取每一样本图像在不同尺度下的全局特征描述符矩阵，并提取样本图像上各特征点的梯度主方向；然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向和重力方向的夹角；

③以GPS信息为索引，建立各场景样本图像的全局特征描述符矩阵的索引表；

跟踪注册阶段：

④移动终端采集当前场景的待匹配图像，并获取当前场景的GPS信息和移动终端采集图像时的重力方向信息；

⑤利用边缘检测算法对待匹配图像进行特征点检测，并计算所检测到的各特征点的梯度主方向；然后针对待匹配图像，提取其在不同尺度下的全局特征描述符矩阵；

⑥将待匹配图像均匀分成多个子区域，针对每一子区域计算其边缘特征点的梯度方向，再基于所述重力方向信息计算重力方向与各梯度方向的夹角；

⑦从样本图像库索引表中选取与待匹配图像的GPS信息最近的GPS信息对应的链表，将待匹配图像不同尺度的全局特征描述符矩阵与该链表中的样本图像不同尺度全局特征描述符矩阵进行匹配，选取相似度最高的样本图像，将其定义为关键帧图像；

⑧将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并计算所有匹配点对的梯度方向与重力方向夹角的差值，设定一个阈值为θ_α，将夹角的差值小于θ_α的匹配点对保留下来；

⑨对步骤⑧中保留下来的匹配点对，运用PROSAC算法进行几何一致性校验，剔除误匹配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩阵，再利用所述单应矩阵计算移动终端的位姿矩阵[R|t]，基于位姿矩阵[R|t]实现对关键帧图像的跟踪注册。

进一步地，本发明在步骤⑤特征点检测之前，对待匹配图像进行降采样处理。

进一步地，本发明在步骤⑤特征点检测完成后，在待匹配图像上选取一中心点，计算中心点的梯度方向，并将待匹配图像绕中心点逆时针旋转到该梯度方向下；后续步骤皆为在旋转后的图像上进行的。

有益效果

(1)在本发明中通过在样本库的建立过程中，建立样本图像不同尺度(相当于即金字塔尺度)矩阵特征描述符和当前场景的待匹配图像的不同尺度空间矩阵特征描述符，然后将两者进行矩阵匹配，寻找相似图像，提高了匹配的准确性和鲁棒性。

(2)本发明中引入了地理位置GPS信息的约束，建立区域场景的聚类中心坐标的GPS值为链表的索引，在很大程度上缩小了基于视觉方法的场景识别的检索范围，因此进一步缩短了后续场景识别过程的处理时间，实现了较高的场景识别率。

(3)本发明中运用重力方向与边缘特征的梯度主方向的夹角，对匹配点进行过滤，再利用场景的不同视图之间的几何一致性关系来剔除误匹配点对，确保了无标跟踪注册的鲁棒性，又满足了增强现实对于跟踪注册的快速、准确的要求。

附图说明

图1为本发明中移动终端上的户外增强现实无标注册算法流程图；

图2为本发明中图像不同尺度的边缘特征示意图；

图3为本发明中边缘特征的梯度主方向与重力方向的夹角示意图；

图4为本发明中图像边缘特征的全局描述矩阵结构图；

图5为本发明中室外场景样本图像的边缘特征向量的索引结构图。

具体实施方式

下面将结合附图对本发明的跟踪注册方法做详细描述。

如图1所示，本发明适用于移动终端的户外增强现实无标志点跟踪注册方法，主要包括训练准备阶段和跟踪注册阶段，具体步骤为：

训练准备阶段：

①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对应场景的GPS信息和终端采集样本图像时的重力方向；

一般来说可以按场景获取图像，例如从智能手机或者带GPS、重力传感的摄像机等图像采集设备实地拍摄，每个场景从不同角度获取几幅样本图像，场景的GPS信息就是样本图像的GPS信息。

②提取每一样本图像在不同尺度下的全局特征描述符矩阵；为了提高后续待匹配图像与样本图像之间匹配的准确性，在本发明中，提取样本图像上各特征点的梯度主方向；然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向和重力方向的夹角；如图3所示。将所述各特征点的梯度主方向和所述夹角作为后续进一步匹配的条件，这样可以大大提高匹配的准确性。

③对场景的GPS值进行聚类，即找出各场景所属区域的GPS信息，建立以GPS信息为索引特征链表，将样本图像的特征描述符矩阵、夹角及子区域梯度主方向，存储到距离自己最近GPS信息的链表中，如图5所示，在图5的链表中，每一索引节点对应一个样本图像，在每一索引所指向的后续表格用于存储样本图像的相关信息，在本发明中用于存储样本图像的特征描述符矩阵、夹角及子区域梯度主方向，同时还可以存储样本图像的ID、边缘特征位置坐标等等。

跟踪注册阶段：

S1:用户打开移动终端(可以为智能手机)的拍摄设备，移动终端采集当前场景的待匹配图像；再调用移动终端的GPS传感器和重力传感器接口，获取移动终端采集图像时的重力方向信息和当前场景的GPS信息。

S2:为了降低运算量，终端对采集到的待匹配图像进行降采样处理(即降低图像分辨率)，将图像分辨率统一降为320×240；然后采用Sobel边缘检测算法对待匹配图像的进行特征点检测，获得待匹配图像的边缘特征点，并计算各边缘特征点的梯度主方向。

户外环境中的场景复杂，不同场景所具有的典型特征各不相同。例如建筑物、车辆等物体的边缘特征要较其纹理特征更为明显。因此若要用纹理特征区分边缘特征比较丰富的图像可能效果欠佳。纹理特征通常用图像中以特征点为中心的图像块来表示。本发明提取边缘特征点采用目前较为常用的Sobel边缘检测，能有效的抑制噪声，快速确定边缘的位置。在使用Sobel边缘算子时，首先建立图像的金字塔尺度空间，设尺度抽样层的图像为I(x，y；σ)，在每一层使用5x5的高斯核和Sobel算子沿着x和y方向计算图像一阶近似的梯度选择局部梯度值最大的像素，并且满足该梯度值大于一个阈值θ₁的点为边缘特征点，一般θ₁设为50；然后，将同一尺度的边缘特征，按梯度值进行降序排列，边缘特征点的梯度主方向设为O通过获得。

S3：选取一中心点，计算中心点的梯度方向，将待匹配图像绕中心点旋转到该梯度方向下；中心点选取的原则是：在原始图像层(原始图像就是没有进行任何的高斯平滑处理的图像)中选取边缘特征点的16σ邻域内存在的其它边缘特征点的个数最多的边缘像素点为中心点，其中σ表示高斯平滑的尺度参数，值越大图像就越模糊，它模拟了人的眼睛，当人离物体越近看到的东西就越清晰，离得越远看到的东西就越模糊，σ的大小代表了模糊程度。

S4：针对S3旋转后的待匹配图像，提取其不同尺度下的全局特征描述符矩阵，如图2所示。

本实施例中提取不同尺度下的全局特征描述符矩阵采用现有技术实现，下面对某一尺度下全局特征描述符矩阵的提取方法进行简单说明：

将待匹配图像分割成均匀的子区域，针对每一子区域计算梯度值最大的像素点，并计算该像素点的梯度方向；然后将梯度方向量化为8bit的梯度向量，并将所有子区域对应的梯度向量链接生成全局特征描述符矩阵对待匹配图像进行表示。例如，在图4所示的待匹配图像中，一共分割成R×R个子区域，子区域大小是Sub×Sub,图像区域大小是RSub×RSub，区域中心点是(x,y,Orientation)。

设梯度方向角为r，量化的位数为B，C(r)为子区域的量化的向量并且属于{0，1}^B,C_i(r)为C向量中第i个元素，具体量化公式如下：

$C_i\left(r\right)=\left\{\begin{array}{cc}1& if\frac{\left(i-1\right)\mathrm{\&pi;}}{B}\&le;r<\frac{i\mathrm{\&pi;}}{B}\\ 0& otherwise\end{array}\right.,fori=1,2,\mathrm{...},B$

本实施例中采用[0|1]图像矩阵特征来对用户所在场景进行表达，在场景匹配时只需进行简单的与操作，就能得出匹配结果，因此与传统使用数量众多的高维特征向量，进行逐个匹配的方式相比，该方法明显提高了图像的匹配速度，保证了图像特征点匹配性能不会受到特征点数量多少的影响。

S5：根据所述重力方向信息计算出重力方向，然后针对待匹配图像上的每一子区域，计算其上边缘特征点的梯度方向，再计算出重力方向与各梯度方向的夹角。在后续步骤匹配时先进行全局特征描述匹配，找到最相似的图像，再进行局部特征点的匹配，运用梯度方向与重力方向夹角信息，剔除掉夹角值相差较大的匹配特征点，即该夹角的计算为步骤7中的局部特征匹配创造条件。

图3为本发明中边缘特征的梯度主方向与重力方向的夹角示意图，计算出了边缘特征的梯度方向和重力方向后，就可以很容易就出它们之间的夹角，用来对匹配边缘特征点对作进一步的过滤，因为室外拍摄建筑物场景存在大量相似结构的物体，单靠局部特征无法区分图像里面的相似结构。但是，用移动终端拍摄待匹配图像时的重力方向和局部特征描述符的主方向可以更好的过滤非相似特征，获得最为相似的特征。

针对每一带有重力感应的终端设备，其对应的重力方向的计算方法都是确定的，下面以某一款手机为例对重力方向的计算方法进行说明：

例如：图像中点p＝[u,v,1]^T处的重力方向向量为d＝p'-p；

其中d＝[d_u,d_v,0]^T为点p处的重力方向，p'由下式计算得出：

p'＝[wu',wv',w]^T＝p+Kg

其中g＝[g_x,g_y,g_z]^T即为手机中重力加速度感应器获得的三个坐标轴方向的加速度矢量，K为手机相机的内参矩阵。

由d可计算出图像中重力方向的角度为θ_g＝arctan(d_v/d_u)。

S6：从样本图像库中选取与待匹配图像的GPS信息最近的GPS信息对应的链表，将待匹配图像不同尺度的特征描述符矩阵与该链表中的样本图像特征描述符矩阵进行匹配，选取相似度最高的样本图像，将其定义为关键帧图像；

由于样本图像库中包含大量的图像，若进行一一匹配，则匹配效率低，因此本发明首先利用待匹配图像的GPS信息对样本图像的GPS信息进行匹配，选取出与待匹配图像GPS信息最相近的GPS信息对应的样本图像；然后从选取出的样本图像中查找与待匹配图像最相似的样本图像。本实施例采用GPS信息进行过滤，从而缩小匹配样本图像的范围。如图5所示，就是通过智能手机采集到GPS坐标信息，查找距离最近的GPS索引，并在该链表中查询相似关键帧。

同时，本步骤中选取相似度最高的样本图像可采用下述方法进行：

因为描述符矩阵元素是[0|1]，只要进行AND(与)操作，并统计两个矩阵与操作后结果矩阵保留1数量，保留最多的即为两个相似矩阵。具体的计算公式如下：

设待匹配图像的特征描述符矩阵为D₁，样本图像库中某一样本图像的特征描述符矩阵为D₂，N为子区域个数，S(D₁，D₂）为两图像的匹配得分。

$S(D_1,D_2)=\frac{1}{N}\left|\right|D_1.D_2\left|\right|$

将两个特征描述符矩阵进行叉积，统计结果矩阵中不为零的列向量数量占矩阵列向量的比率,比率越高相似度越大，同时将该比率定义为两图像的匹配得分。其实，每个列向量代表一个子区域，比率越高，代表相似子区域数量越多。通常设定一个相似图像的最小比率阈值，最高的矩阵匹配得分必须大于这个阈值。例如θ_s通常设置为0.6，D₁，D₂为相似图像必须满足S(D₁，D₂)＞θ_s。

S7：获取待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并计算所有匹配点对的梯度方向与重力方向夹角的差值，设定一个阈值为θ_α，当夹角差值小于该阈值认为是稳定匹配点对，并将其保留下来，将夹角差值大于等于该阈值的匹配点对过滤掉。

例如，设匹配点对为(P₁，P₂)，它们的梯度方向与重力方向的夹角分别为α₁，α₂，当|α₁-α₂|<θ_α，保留该匹配点对；当|α₁-α₂|＞θ_α，被认为户外场景内部存在相似的部分，实际上为非正确的匹配点对，此时将其删除。

S8：对S7保留下来的匹配点对，运用PROSAC算法进行几何一致性校验，剔除误匹配的匹配点对；基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应关系，再利用事先标定好的摄像机内部参数分解单应矩阵，计算摄像机的位姿矩阵[R|t]完成对关键帧的跟踪注册。R代表了旋转矩阵，t代表了平移矩阵，得到了[R|t]就能知道摄像机的当前位置相对于关键帧图像的所进行的操作，就能完成对关键帧跟踪注册。

至此，本流程结束。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种适用于移动终端的户外增强现实无标志点跟踪注册方法，其特征在于，主要包括训练准备阶段和跟踪注册阶段，具体步骤为：

训练准备阶段：

①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对应场景的GPS信息和终端采集样本图像时的重力方向；

②提取每一样本图像在不同尺度下的全局特征描述符矩阵，并提取样本图像上各特征点的梯度主方向；然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向与所述重力方向的夹角；

③以GPS信息为索引，建立各场景样本图像的全局特征描述符矩阵的索引表；

跟踪注册阶段：

④移动终端采集当前场景的待匹配图像，并获取当前场景的GPS信息和移动终端采集图像时的重力方向信息；

⑤利用边缘检测算法对待匹配图像进行特征点检测，并计算所检测到的各特征点的梯度主方向；然后针对待匹配图像，提取其在不同尺度下的全局特征描述符矩阵；

⑥将待匹配图像均匀分成多个子区域，针对每一子区域计算其边缘特征点的梯度方向；再基于所述重力方向信息计算重力方向与各梯度方向的夹角；

⑦从样本图像库的索引表中选取与待匹配图像的GPS信息最近的GPS信息对应的链表，将待匹配图像不同尺度的全局特征描述符矩阵与该链表中的样本图像不同尺度的全局特征描述符矩阵进行匹配，选取相似度最高的样本图像，将其定义为关键帧图像；

⑧将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并计算所有匹配点对的梯度方向与重力方向夹角的差值，设定一个阈值为θ_α，将夹角的差值小于θ_α的匹配点对保留下来；

⑨对步骤⑧中保留下来的匹配点对，运用PROSAC算法进行几何一致性校验，剔除误匹配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩阵，再利用所述单应矩阵计算移动终端的位姿矩阵[R|t]，基于位姿矩阵[R|t]实现对关键帧图像的跟踪注册。

2.根据权利要求1所述适用于移动终端的户外增强现实无标志点跟踪注册方法，其特征在于，在步骤⑤特征点检测之前，对待匹配图像进行降采样处理。

3.根据权利要求1或2所述适用于移动终端的户外增强现实无标志点跟踪注册方法，其特征在于，在步骤⑤特征点检测完成后，在待匹配图像上选取一中心点，计算中心点的梯度方向，并将待匹配图像绕中心点逆时针旋转到该梯度方向下；后续步骤皆为在旋转后的图像上进行的。