CN107833280B - 一种基于地理网格与图像识别相结合的户外移动增强现实方法 - Google Patents

一种基于地理网格与图像识别相结合的户外移动增强现实方法 Download PDF

Info

Publication number
CN107833280B
CN107833280B CN201711095574.1A CN201711095574A CN107833280B CN 107833280 B CN107833280 B CN 107833280B CN 201711095574 A CN201711095574 A CN 201711095574A CN 107833280 B CN107833280 B CN 107833280B
Authority
CN
China
Prior art keywords
data
image
spatial
augmented reality
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711095574.1A
Other languages
English (en)
Other versions
CN107833280A (zh
Inventor
毕金强
许家帅
尚东方
寇黎瑛
辛全波
杨东远
王瑞玺
蔡静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Research Institute for Water Transport Engineering MOT
Original Assignee
Tianjin Research Institute for Water Transport Engineering MOT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Research Institute for Water Transport Engineering MOT filed Critical Tianjin Research Institute for Water Transport Engineering MOT
Priority to CN201711095574.1A priority Critical patent/CN107833280B/zh
Publication of CN107833280A publication Critical patent/CN107833280A/zh
Application granted granted Critical
Publication of CN107833280B publication Critical patent/CN107833280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及属于增强现实领域，具体涉及一种地理格网与图像识别结合的户外移动增强现实方法，其包括以下步骤：户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示，本发明能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。

Description

一种基于地理网格与图像识别相结合的户外移动增强现实 方法
技术领域
本发明涉及属于增强现实领域，具体涉及一种地理格网与图像识别结合的户外移动增强现实方法。
背景技术
增强现实是一种实时地计算摄影机影像的位置及角度并加上相应虚拟信息的技术，融合图像识别、融合显示、多传感器、计算机等多门学科，它在虚拟场景与现实之间架起了一座桥梁，把虚拟世界套在现实世界并展现在屏幕上进行互动，已经成功应用到医疗手术、工业设计、市政规划、军事仿真、教育培训和文化娱乐等领域。当前，增强现实对输入输出设备和计算设备等都有较高的要求，近年来，随着互联网技术和智能手机的快速发展，移动设备在功能和性能上不断提升，且集成全球跟踪定位、陀螺仪、摄像等多种硬件传感器，解除了用户活动范围的限制，拓宽了增强现实信息可视化的范围，促进了移动增强现实技术的应用。
图像识别技术是增强现实的一个重要研究领域，是图像信息提取与目标匹配的基础，是现实世界场景匹配到虚拟对象的关键环节。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术，同时也是立体视觉、运动分析、数据融合等实用技术的基础，在导航、地图与地形配准、自然资源分析、天气预报、环境监测、生理病变研究等许多领域重要的应用价值。在图像识别系统中，对于熟悉的图形，由于掌握了它的主要特征，就会把它当作一个单元来识别，不必注意它的细节。对复杂图像的识别往往要通过不同层次的信息加工才能实现，户外场景目标的图像识别往往采用此类方法，可解决相似建筑结构的纹理信息不易区分等问题，提升图像识别的准确程度。
在保证准确程度的同时采用基于地理格网的四叉树索引技术提升增强现实的匹配速度。地理格网是一种科学、简明的定位参照系统，不但可以提到与空间分布信息的集成效率，还可以减少数据精度损失和资源的浪费。近年来，地理空间定位格网在数据信息进行组织和应用方面提供了科学实用的方法，方便多源、多尺度地理空间信息的整合和分析。针对户外场景数据的管理，地理格网提供了一种全新的数据索引、查询手段，在增强现实过程中不必遍历查询所有的目标数据集，根据位置角度信息快速匹配索引到地理格网单元中的数据。
综上所述，在信息技术快速发展过程中户外增强现实的应用领域越来越广泛，而单一图像识别技术已经无法满足精准、高效等增强现实显示需求，因此，如何将地理格网与图像识别结合实现大场景海量数据的识别与匹配，并将其运用于户外移动增强现实成为重点研究的对象。
本发明主要是克服户外场景图像数量大、相似性多的难点，运用地理格网分割区域并建立空间索引提升运算处理效率，最终实现户外场景移动增强现实显示。主要解决两个方面的问题：
1.户外场景拥有更加复杂的地物信息，存在场景图像数量大、相似建筑结构的纹理信息不易区分等问题，增加了图像识别的难度。基于图像识别的典型算法是尺度不变特征转换算法，通过侦测与描述影像中的局部性特征，在空间尺度中寻找极值点来提取出其位置、尺度、旋转不变量，但是该算法在灰度变化相似的区域易产生误匹配且特征提取及匹配速度效率较低。通过添加检测中心与周围像素点的明暗程度步骤来确定特征点，除了具有稳定高效的特点外，还降低了算法复杂度，提高了特征检测和匹配的实时性。本发明在此基础上集成场景图像的地理位置信息，提取并生成含有位置信息的图像特征点描述，在提高图像识别准确率的同时，能够根据位置区分具有相似纹理的图像特征。
2.户外场景存在空间范围广、识别过程随机性大等问题，加上手机的运算和存储能力有限，难以进行大规模运算且效率较低。图像特征点检测提取生成海量的样本特征点数据，结合地理格网技术将区域范围进行地理格网单元的划分，通过位置建立地理格网单元与图像特征点的索引机制，根据终端设备定位的经纬度坐标确定所在的单元网格，查询该网格内所包含的目标元素特征点集合，结合方位角计算可进一步缩小查询的目标范围，进而提高数据的集成匹配速率。
基于此，本发明目的是提供一种地理格网与图像识别相结合的户外移动增强现实方法。
发明内容
本发明提供了一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：
户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示。
进一步地，在空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库。该步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。
进一步地，在地理格网单元划分步骤中，基于权利要求一的空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分，确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。
进一步地，在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点，该步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。
进一步地，其特征在于，在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述。该步骤一方面是建立空间四叉树索引的数据基础，另一方面是
图像识别匹配过程中的样本数据基础。
进一步地，其特征在于，在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度。在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库。该步骤是形成图像训练匹配的基础支撑数据。
进一步地，其特征在于，在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据。该步骤为图像“特征”的生成提供必要的数据和增强现实显示设备。
进一步地，其特征在于，在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。该步骤是图像识别匹配过程中的动态数据基础。
进一步地，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量。结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。
进一步地，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。
本发明的有益效果为：
1.地理格网与图像识别相结合的户外移动增强现实方法与其他增强现实方法相比，一方面有完备的积分数学理论基础，能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，另一方面结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。
2.对图像特征点提取的生成的特征描述信息结合GIS技术方法进行了优化。采用带有空间位置信息的图像特征描述能够弥补训练匹配能力和性能方面的缺陷。首先通过位置信息将区域、地理格网单元、目标场景和图像特征描述信息统一关联起来，然后将带有位置信息的图像“指纹”与地理格网单元进行关联，最终通过GIS的地理相关性提升现实场景与目标场景的训练匹配效率。经优化的方法过程，可以很方便的查询出目标物的特征信息，消除匹配过程中的冗余，可以达到实时训练匹配的要求。
3.在方法的应用过程中，由于特征点空间具有高维性，相似的距离可能有大量的错误匹配问题，选择合适的比例阈值范围是至关重要的。特征点匹配时，取图像中某个关键点，采用欧氏距离与样本库的特征点向量进行相似性度量匹配，求出欧式距离最近的前两个关键点，如果两点最近的距离除以次近的距离少于比例阈值，则记录这一对匹配点。当阈值设置较高时，匹配点数量多但错误率高，阈值设置较低时，匹配准确度高但数量少。综合匹配数量与准确性两方面因素考量，采用k-d树算法查找每个特征点的近似最近邻特征点，得出比例阈值设置为0.5-0.6之间时，既满足匹配的数量又满足匹配准确程度，可以得到良好的训练匹配结果。
附图说明
图1为本发明的流程示意框图；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示,本发明提供了一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：
户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示。
进一步地，在空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库。该步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。
进一步地，在地理格网单元划分步骤中，基于权利要求一的空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分，确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。
进一步地，在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点，该步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。
进一步地，其特征在于，在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述。该步骤一方面是建立空间四叉树索引的数据基础，另一方面是
图像识别匹配过程中的样本数据基础。
进一步地，其特征在于，在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度。在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库。该步骤是形成图像训练匹配的基础支撑数据。
进一步地，其特征在于，在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据。该步骤为图像“特征”的生成提供必要的数据和增强现实显示设备。
进一步地，其特征在于，在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。该步骤是图像识别匹配过程中的动态数据基础。
进一步地，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量。结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。
进一步地，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。
本发明的有益效果为：
1.地理格网与图像识别相结合的户外移动增强现实方法与其他增强现实方法相比，一方面有完备的积分数学理论基础，能较好的克服图像识别过程中平移、旋转、尺度缩放、亮度变化等因素的影响，同时在描述器中加入色彩信息，解决了灰度变化相似的区域易产生误匹配的问题，另一方面结合了地理信息技术，能够根据位置区分具有相似纹理的图像特征，利用地理格网的划分将样本点信息建立四叉树索引，能够在海量特征数据库中进行快速、准确的匹配。
2.对图像特征点提取的生成的特征描述信息结合GIS技术方法进行了优化。采用带有空间位置信息的图像特征描述能够弥补训练匹配能力和性能方面的缺陷。首先通过位置信息将区域、地理格网单元、目标场景和图像特征描述信息统一关联起来，然后将带有位置信息的图像“指纹”与地理格网单元进行关联，最终通过GIS的地理相关性提升现实场景与目标场景的训练匹配效率。经优化的方法过程，可以很方便的查询出目标物的特征信息，消除匹配过程中的冗余，可以达到实时训练匹配的要求。
3.在方法的应用过程中，由于特征点空间具有高维性，相似的距离可能有大量的错误匹配问题，选择合适的比例阈值范围是至关重要的。特征点匹配时，取图像中某个关键点，采用欧氏距离与样本库的特征点向量进行相似性度量匹配，求出欧式距离最近的前两个关键点，如果两点最近的距离除以次近的距离少于比例阈值，则记录这一对匹配点。当阈值设置较高时，匹配点数量多但错误率高，阈值设置较低时，匹配准确度高但数量少。综合匹配数量与准确性两方面因素考量，采用k-d树算法查找每个特征点的近似最近邻特征点，得出比例阈值设置为0.5-0.6之间时，既满足匹配的数量又满足匹配准确程度，可以得到良好的训练匹配结果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，包括以下步骤：
户外场景区域采集、空间数据处理、地理格网单元划分、目标数据采集、图像特征点检测提取、空间四叉树索引、样本数据库生成、终端数据采集、图像特征生成、数据解析匹配、场景信息三维注册和场景增强现实显示；
空间数据处理步骤中，选取户外场景区域后，将目标建筑物的空间分布情况进行数字化处理，首先定义坐标系为2000国家大地坐标系，可实现与经纬度坐标的吻合，其次提取地图矢量数据要素内容，拓扑检查无误后存储入库；
在地理格网单元划分步骤中，基于空间数据进行地理格网的划分，采用经纬坐标网格进行分级与编码，将单元网格按照2″×2″格网间隔进行划分；
在目标数据采集步骤中，利用摄像机采集户外场景的目标图像，记录所在格网单元，同时结合空间数据计算出目标场景成像面的坐标中心点；
在图像特征点检测提取步骤中，首先利用Hessian矩阵的三个矩阵元素,其次计算特征点主方向，最后将坐标中心点融合到特征描述算子中，生成带有空间位置信息的图像特征描述；
在空间四叉树索引步骤中，建立空间四叉树索引主要目的是为提高增强现实过程中的匹配速度和准确程度；在地理格网单元的基础上，建立场景区域→单元格网→目标图像→特征点信息四层树结构，按照树结构依次将区域数据、单元格网数据、目标图像数据和带有空间位置信息的图像特征描述信息进行入库存储，并挂接虚拟增强信息，构建静态样本库；
在终端数据采集步骤中，集成了摄像头和传感器设备，打开摄像头获取现实的目标场景视频，同时调取GPS和角度数据；
在图像特征生成步骤中，涵盖了经纬度坐标、角度和视频帧数据形成图形识别与匹配的基础数据，利用二进制编码将三类信息合成。
2.根据权利要求1所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，空间数据处理步骤一是精确掌握目标的四至坐标，二是为地理格网单元的划分提供基础数据。
3.根据权利要求2所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，地理格网单元划分步骤确保移动设备在某一格网单元中倾斜摄影可获取目标的整体。
4.根据权利要求3所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，目标数据采集步骤一方面是建立空间四叉树索引的数据基础，另一方面为图像特征点检测提取生成空间位置信息描述提供信息。
5.根据权利要求4所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，图像特征点检测提取步骤一方面是建立空间四叉树索引的数据基础，另一方面是图像识别匹配过程中的样本数据基础。
6.根据权利要求5所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，空间四叉树索引步骤是形成图像训练匹配的基础支撑数据。
7.根据权利要求6所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，终端数据采集步骤为图像特征的生成提供必要的数据和增强现实显示设备。
8.根据权利要求7所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，图像特征生成步骤是图像识别匹配过程中的动态数据基础。
9.根据权利要求8所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在数据解析匹配步骤中，该操作在服务器端进行，首先解析图像特征数据，一方面解析出图像数据按照操作提取特征描述算子，一方面解析出位置和角度信息，利用位置按照空间查询快速匹配所在单元网格的所有目标数据，利用角度信息计算方向，进一步缩小匹配的数据量；结合两方面的数据内容，利用k-d树算法与静态样本库中的数据进行运算，匹配成功后得到原始目标场景所挂接的虚拟信息。
10.根据权利要求9所述的基于地理网格与图像识别相结合的户外移动增强现实方法，其特征在于，在场景信息三维注册步骤中，在智能终端系统中构建虚实融合场景的两层视图框架，一层是摄像机视图，用于显示调用显示真实场景视频画面，一层是模型视图，用于绘制获取到的虚拟信息，通过两层视图的叠加建立现实世界与虚拟物体的坐标系统关联，达到增强显示效果。
CN201711095574.1A 2017-11-09 2017-11-09 一种基于地理网格与图像识别相结合的户外移动增强现实方法 Active CN107833280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711095574.1A CN107833280B (zh) 2017-11-09 2017-11-09 一种基于地理网格与图像识别相结合的户外移动增强现实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711095574.1A CN107833280B (zh) 2017-11-09 2017-11-09 一种基于地理网格与图像识别相结合的户外移动增强现实方法

Publications (2)

Publication Number Publication Date
CN107833280A CN107833280A (zh) 2018-03-23
CN107833280B true CN107833280B (zh) 2021-05-11

Family

ID=61654029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711095574.1A Active CN107833280B (zh) 2017-11-09 2017-11-09 一种基于地理网格与图像识别相结合的户外移动增强现实方法

Country Status (1)

Country Link
CN (1) CN107833280B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492343B (zh) * 2018-03-28 2021-09-21 东北大学 一种扩充目标识别的训练数据的图像合成方法
CN108961425A (zh) * 2018-07-24 2018-12-07 高哲远 增强现实效果的方法、系统、终端及服务器
CN109376262B (zh) * 2018-11-12 2022-02-11 万瞳(南京)科技有限公司 一种基于大数据处理的景点离线图像识别方法及其装置
CN109917906A (zh) * 2019-01-24 2019-06-21 北京德火科技有限责任公司 一种基于增强现实技术实现景点互动的方法及系统
WO2020237480A1 (zh) * 2019-05-27 2020-12-03 西门子股份公司 基于图像识别的控制方法与装置
CN110443229A (zh) * 2019-08-22 2019-11-12 国网四川省电力公司信息通信公司 一种基于人工智能的设备显示内容识别方法
CN110704556B (zh) * 2019-09-03 2023-03-31 镇江市勘察测绘研究院有限公司 一种基于gis技术的地理信息采集方法
CN110910497B (zh) * 2019-11-15 2024-04-19 北京信息科技大学 实现增强现实地图的方法和系统
CN110989840B (zh) * 2019-12-03 2023-07-25 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN111583348B (zh) * 2020-05-09 2024-03-29 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备
CN111814080B (zh) * 2020-07-06 2023-12-29 山西省煤炭地质物探测绘院 一种基于互联网技术的大规模数据辅助分析系统
CN112800157B (zh) * 2021-01-11 2022-08-19 武汉旭云智慧交通有限公司 一种动态占位网格模型构建方法及其应用架构设计方法
CN113838104B (zh) * 2021-08-04 2023-10-27 浙江大学 基于多光谱与多模态图像一致性增强网络的配准方法
CN113642448B (zh) * 2021-08-09 2024-01-26 中国人民解放军海军航空大学航空作战勤务学院 一种空中平台对海/地面机动目标的图像识别方法和装置
CN113680059B (zh) * 2021-08-31 2024-05-14 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法
CN114648259B (zh) * 2022-05-23 2022-09-13 科大天工智能装备技术（天津）有限公司 一种城市道路井盖管理方法
CN118365079A (zh) * 2024-05-06 2024-07-19 吉林化工学院 一种基于图像识别的工业园区风险预警系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976461A (zh) * 2010-10-25 2011-02-16 北京理工大学 一种新的户外增强现实无标跟踪注册算法
KR20120076175A (ko) * 2010-12-29 2012-07-09 건아정보기술 주식회사 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN103500452A (zh) * 2013-10-12 2014-01-08 杭州师范大学 基于空间关系和图像分析的景区景物移动增强现实方法
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN104504753A (zh) * 2014-12-18 2015-04-08 深圳先进技术研究院 一种基于增强现实的互联网三维ip地图系统及方法
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN105630988A (zh) * 2015-12-23 2016-06-01 中山大学 一种快速检测空间数据变化并更新的方法及系统
CN107092680A (zh) * 2017-04-21 2017-08-25 中国测绘科学研究院 一种基于地理网格的政务信息资源整合方法
CN107133325A (zh) * 2017-05-05 2017-09-05 南京大学 一种基于街景地图的互联网照片地理空间定位方法
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023619A3 (en) * 2007-08-10 2012-01-04 Sony Corporation Image processing apparatus and method
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976461A (zh) * 2010-10-25 2011-02-16 北京理工大学 一种新的户外增强现实无标跟踪注册算法
KR20120076175A (ko) * 2010-12-29 2012-07-09 건아정보기술 주식회사 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
CN103500452A (zh) * 2013-10-12 2014-01-08 杭州师范大学 基于空间关系和图像分析的景区景物移动增强现实方法
CN104504753A (zh) * 2014-12-18 2015-04-08 深圳先进技术研究院 一种基于增强现实的互联网三维ip地图系统及方法
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN105630988A (zh) * 2015-12-23 2016-06-01 中山大学 一种快速检测空间数据变化并更新的方法及系统
CN107092680A (zh) * 2017-04-21 2017-08-25 中国测绘科学研究院 一种基于地理网格的政务信息资源整合方法
CN107133325A (zh) * 2017-05-05 2017-09-05 南京大学 一种基于街景地图的互联网照片地理空间定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Volumetric Model-Based CNC Simulation and Monitoring System in Augmented Environments;J. Zhang .etal;《2006 International Conference on Cyberworlds》;20061219;1-8页 *
可量测影像实景导航关键技术研究;高扬;《中国博士学位论文全文数据库——基础科学辑》;20140715(第7期);10,27,28,36-42,58-64,73,87页 *
基于Google_Maps设计普通地质实习网络教学平台;尚东方 等;《中国地质教育》;20150414(第1期);81-84页 *
基于SURF_BRISK的目标识别匹配与定位方法研究;惠记庄 等;《长安大学学报（自然科学版）》;20160531;第36卷(第3期);93-101页 *
高扬.可量测影像实景导航关键技术研究.《中国博士学位论文全文数据库——基础科学辑》.2014,(第7期),A008-8页. *

Also Published As

Publication number Publication date
CN107833280A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107833280B (zh) 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
US10380410B2 (en) Apparatus and method for image-based positioning, orientation and situational awareness
WO2021057797A1 (zh) 定位方法及装置、终端、存储介质
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN104715471B (zh) 目标定位跟踪方法及其装置
CN101976461A (zh) 一种新的户外增强现实无标跟踪注册算法
EP3274964B1 (en) Automatic connection of images using visual features
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
Xu et al. A new clustering-based framework to the stem estimation and growth fitting of street trees from mobile laser scanning data
WO2008103804A2 (en) Iterative region-based automated control point generation
Kim et al. Interactive 3D building modeling method using panoramic image sequences and digital map
Liang et al. A novel skyline context descriptor for rapid localization of terrestrial laser scans to airborne laser scanning point clouds
CN113656477A (zh) 一种国土空间多源异构数据的校验与融合方法
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN118229901A (zh) 一种Cesium地图引擎下基于多源空间数据的三维可视化方法及系统
CN113570535B (zh) 视觉定位方法及相关装置、设备
CN111220156A (zh) 一种基于城市实景的导航方法
US10878278B1 (en) Geo-localization based on remotely sensed visual features
CN112884846A (zh) 图像采集设备的采集角度估计方法、装置、设备和介质
Liu et al. Crowd sensing and spatiotemporal analysis in urban open space using multi‐viewpoint geotagged videos
Wu et al. UAVD4L: A Large-Scale Dataset for UAV 6-DoF Localization
Salah et al. Summarizing large scale 3D mesh for urban navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant