CN107833280A - 一种基于地理网格与图像识别相结合的户外移动增强现实方法 - Google Patents

Abstract

本发明涉及属于增强现实领域，具体涉及一种地理格网与图像识别结合的户外移动增强现实方法，其包括以下步骤：户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示，本发明能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。

Description

一种基于地理网格与图像识别相结合的户外移动增强现实 方法

技术领域

本发明涉及属于增强现实领域，具体涉及一种地理格网与图像识别结合的户外移动增强现实方法。

背景技术

增强现实是一种实时地计算摄影机影像的位置及角度并加上相应虚拟信息的技术，融合图像识别、融合显示、多传感器、计算机等多门学科，它在虚拟场景与现实之间架起了一座桥梁，把虚拟世界套在现实世界并展现在屏幕上进行互动，已经成功应用到医疗手术、工业设计、市政规划、军事仿真、教育培训和文化娱乐等领域。当前，增强现实对输入输出设备和计算设备等都有较高的要求，近年来，随着互联网技术和智能手机的快速发展，移动设备在功能和性能上不断提升，且集成全球跟踪定位、陀螺仪、摄像等多种硬件传感器，解除了用户活动范围的限制，拓宽了增强现实信息可视化的范围，促进了移动增强现实技术的应用。

图像识别技术是增强现实的一个重要研究领域，是图像信息提取与目标匹配的基础，是现实世界场景匹配到虚拟对象的关键环节。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术，同时也是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域重要的应用价值。在图像识别系统中，对于熟悉的图形，由于掌握了它的主要特征，就会把它当作一个单元来识别，不必注意它的细节。对复杂图像的识别往往要通过不同层次的信息加工才能实现，户外场景目标的图像识别往往采用此类方法，可解决相似建筑结构的纹理信息不易区分等问题，提升图像识别的准确程度。

在保证准确程度的同时采用基于地理格网的四叉树索引技术提升增强现实的匹配速度。地理格网是一种科学、简明的定位参照系统，不但可以提到与空间分布信息的集成效率，还可以减少数据精度损失和资源的浪费。近年来，地理空间定位格网在数据信息进行组织和应用方面提供了科学实用的方法，方便多源、多尺度地理空间信息的整合和分析。针对户外场景数据的管理，地理格网提供了一种全新的数据索引、查询手段，在增强现实过程中不必遍历查询所有的目标数据集，根据位置角度信息快速匹配索引到地理格网单元中的数据。

综上所述，在信息技术快速发展过程中户外增强现实的应用领域越来越广泛，而单一图像识别技术已经无法满足精准、高效等增强现实显示需求，因此，如何将地理格网与图像识别结合实现大场景海量数据的识别与匹配，并将其运用于户外移动增强现实成为重点研究的对象。

本发明主要是克服户外场景图像数量大、相似性多的难点，运用地理格网分割区域并建立空间索引提升运算处理效率，最终实现户外场景移动增强现实显示。主要解决两个方面的问题：

1.户外场景拥有更加复杂的地物信息，存在场景图像数量大、相似建筑结构的纹理信息不易区分等问题，增加了图像识别的难度。基于图像识别的典型算法是尺度不变特征转换算法，通过侦测与描述影像中的局部性特征，在空间尺度中寻找极值点来提取出其位置、尺度、旋转不变量，但是该算法在灰度变化相似的区域易产生误匹配且特征提取及匹配速度效率较低。通过添加检测中心与周围像素点的明暗程度步骤来确定特征点，除了具有稳定高效的特点外，还降低了算法复杂度，提高了特征检测和匹配的实时性。本发明在此基础上集成场景图像的地理位置信息，提取并生成含有位置信息的图像特征点描述，在提高图像识别准确率的同时，能够根据位置区分具有相似纹理的图像特征。

2.户外场景存在空间范围广、识别过程随机性大等问题，加上手机的运算和存储能力有限，难以进行大规模运算且效率较低。图像特征点检测提取生成海量的样本特征点数据，结合地理格网技术将区域范围进行地理格网单元的划分，通过位置建立地理格网单元与图像特征点的索引机制，根据终端设备定位的经纬度坐标确定所在的单元网格，查询该网格内所包含的目标元素特征点集合，结合方位角计算可进一步缩小查询的目标范围，进而提高数据的集成匹配速率。

基于此，本发明目的是提供一种地理格网与图像识别相结合的户外移动增强现实方法。

发明内容

本发明提供了一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：

户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示。

进一步地，在空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库。该步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。

进一步地，在地理格网单元划分步骤中，基于权利要求一的空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分，确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。

进一步地，在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点，该步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。

进一步地，其特征在于，在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述。该步骤一方面是建立空间四叉树索引的数据基础，另一方面是

图像识别匹配过程中的样本数据基础。

进一步地，其特征在于，在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度。在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库。该步骤是形成图像训练匹配的基础支撑数据。

进一步地，其特征在于，在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据。该步骤为图像“特征”的生成提供必要的数据和增强现实显示设备。

进一步地，其特征在于，在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。该步骤是图像识别匹配过程中的动态数据基础。

进一步地，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量。结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。

进一步地，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。

本发明的有益效果为：

1.地理格网与图像识别相结合的户外移动增强现实方法与其他增强现实方法相比，一方面有完备的积分数学理论基础，能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，另一方面结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。

2.对图像特征点提取的生成的特征描述信息结合GIS技术方法进行了优化。采用带有空间位置信息的图像特征描述能够弥补训练匹配能力和性能方面的缺陷。首先通过位置信息将区域、地理格网单元、目标场景和图像特征描述信息统一关联起来，然后将带有位置信息的图像“指纹”与地理格网单元进行关联，最终通过GIS的地理相关性提升现实场景与目标场景的训练匹配效率。经优化的方法过程，可以很方便的查询出目标物的特征信息，消除匹配过程中的冗余，可以达到实时训练匹配的要求。

3.在方法的应用过程中，由于特征点空间具有高维性，相似的距离可能有大量的错误匹配问题，选择合适的比例阈值范围是至关重要的。特征点匹配时，取图像中某个关键点，采用欧氏距离与样本库的特征点向量进行相似性度量匹配，求出欧式距离最近的前两个关键点，如果两点最近的距离除以次近的距离少于比例阈值，则记录这一对匹配点。当阈值设置较高时，匹配点数量多但错误率高，阈值设置较低时，匹配准确度高但数量少。综合匹配数量与准确性两方面因素考量，采用k-d树算法查找每个特征点的近似最近邻特征点，得出比例阈值设置为0.5-0.6之间时，既满足匹配的数量又满足匹配准确程度，可以得到良好的训练匹配结果。

附图说明

图1为本发明的流程示意框图；

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示,本发明提供了一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：

户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示。

进一步地，在空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库。该步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。

进一步地，在地理格网单元划分步骤中，基于权利要求一的空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分，确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。

进一步地，在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点，该步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。

进一步地，其特征在于，在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述。该步骤一方面是建立空间四叉树索引的数据基础，另一方面是

图像识别匹配过程中的样本数据基础。

进一步地，其特征在于，在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度。在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库。该步骤是形成图像训练匹配的基础支撑数据。

进一步地，其特征在于，在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据。该步骤为图像“特征”的生成提供必要的数据和增强现实显示设备。

进一步地，其特征在于，在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。该步骤是图像识别匹配过程中的动态数据基础。

进一步地，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量。结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。

进一步地，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。

本发明的有益效果为：

1.地理格网与图像识别相结合的户外移动增强现实方法与其他增强现实方法相比，一方面有完备的积分数学理论基础，能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，另一方面结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。

2.对图像特征点提取的生成的特征描述信息结合GIS技术方法进行了优化。采用带有空间位置信息的图像特征描述能够弥补训练匹配能力和性能方面的缺陷。首先通过位置信息将区域、地理格网单元、目标场景和图像特征描述信息统一关联起来，然后将带有位置信息的图像“指纹”与地理格网单元进行关联，最终通过GIS的地理相关性提升现实场景与目标场景的训练匹配效率。经优化的方法过程，可以很方便的查询出目标物的特征信息，消除匹配过程中的冗余，可以达到实时训练匹配的要求。

3.在方法的应用过程中，由于特征点空间具有高维性，相似的距离可能有大量的错误匹配问题，选择合适的比例阈值范围是至关重要的。特征点匹配时，取图像中某个关键点，采用欧氏距离与样本库的特征点向量进行相似性度量匹配，求出欧式距离最近的前两个关键点，如果两点最近的距离除以次近的距离少于比例阈值，则记录这一对匹配点。当阈值设置较高时，匹配点数量多但错误率高，阈值设置较低时，匹配准确度高但数量少。综合匹配数量与准确性两方面因素考量，采用k-d树算法查找每个特征点的近似最近邻特征点，得出比例阈值设置为0.5-0.6之间时，既满足匹配的数量又满足匹配准确程度，可以得到良好的训练匹配结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：

户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示。

2.根据权利要求1所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库。该步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。

3.根据权利要求2所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在地理格网单元划分步骤中，基于权利要求一的空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分，确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。

4.根据权利要求3所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点，该步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。

5.根据权利要求4所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述。该步骤一方面是建立空间四叉树索引的数据基础，另一方面是图像识别匹配过程中的样本数据基础。

6.根据权利要求5所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度。在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库。该步骤是形成图像训练匹配的基础支撑数据。

7.根据权利要求6所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据。该步骤为图像“特征”的生成提供必要的数据和增强现实显示设备。

8.根据权利要求7所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。该步骤是图像识别匹配过程中的动态数据基础。

9.根据权利要求8所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量。结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。

10.根据权利要求9所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。