CN104376118B - 基于全景图的精确标注兴趣点的户外移动增强现实方法 - Google Patents

基于全景图的精确标注兴趣点的户外移动增强现实方法 Download PDF

Info

Publication number
CN104376118B
CN104376118B CN201410725817.5A CN201410725817A CN104376118B CN 104376118 B CN104376118 B CN 104376118B CN 201410725817 A CN201410725817 A CN 201410725817A CN 104376118 B CN104376118 B CN 104376118B
Authority
CN
China
Prior art keywords
poi
panorama sketch
augmented reality
user
interest point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410725817.5A
Other languages
English (en)
Other versions
CN104376118A (zh
Inventor
梁杏
陈靖
蔡珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201410725817.5A priority Critical patent/CN104376118B/zh
Publication of CN104376118A publication Critical patent/CN104376118A/zh
Application granted granted Critical
Publication of CN104376118B publication Critical patent/CN104376118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于全景图的精确标注兴趣点的户外移动增强现实方法，其中用户在当前地点在线生成全景图，通过模板匹配算法将预先存放在服务器端的兴趣点POI的模板图像精确匹配到在线生成的全景图中；同时，在此过程中通过计算当前位置和兴趣点之间的方位角，将POI的模板图像在全景图中粗略定位，有效缩小模板匹配算法的搜索范围。识别完成后，用户可以在生成的全景图中选取感兴趣的区域，对其添加个性化的增强现实标签如文字、声音、GPS等，并将其上传至服务器，作为兴趣点信息库的扩充。本发明为户外增强现实提供了一种全新的实现方式，通过在当前所在位置的全景图精确地标注POI信息，用户可以直观地获取增强现实信息，加深对周围环境的了解。

Description

基于全景图的精确标注兴趣点的户外移动增强现实方法
技术领域
本发明属于计算机技术领域，涉及一种基于全景图的精确标注兴趣点的户外移动增强现实方法。
背景技术
增强现实(Augmented Reality，AR)作为当前计算机视觉领域的研究热点，是一种用计算机产生的附加信息对真实世界的场景进行增强或者扩张的技术，通过将虚拟图像与真实物体融合来增强用户对现实环境的理解和感知。基于移动终端的户外增强现实系统结合了地理位置服务(Location Based Services，LBS)，通过移动端确定用户实际地理位置，为用户提供附近的街景、购物、商业热点等兴趣点(Point of Interest，POI)信息，让用户能在陌生的环境中迅速适应，完成增强现实的实景导航。
传统的基于移动终端的户外增强现实系统大多依靠GPS和手机传感器(包括电子罗盘、加速度计等)粗略确定用户位置和姿态，将用户附近的POI信息以标签形式实时叠加在移动设备的屏幕上，以加深用户对周围环境的认知，实现信息增强。然而，受限于GPS的定位精度和手机传感器的现有发展水平，通过GPS和传感器获得的用户位置姿态数据是不精确的，根据此位置姿态数据将POI映射至屏幕中，POI在屏幕中呈现的位置将会与实际拍摄画面上的位置有很大偏差。如此，POI标签的叠加并没有给用户提供“所见即所得”的增强现实的效果，需要经过一定的学习和理解才能使用，增大了普通用户对于传统增强现实系统的学习成本。
近年来，针对移动终端的户外增强现实系统的精确标注，国内外广泛开展相关系统的研究，逐渐取得了一些成果。2011年，学者Arth,Clemens等(文献1.Arth C,KlopschitzM,Reitmayr G,et al.Real-time self-localization from panoramic images onmobile devices[C]//Mixed and Augmented Reality(ISMAR),201110th IEEEInternational Symposium on.IEEE,2011:37-46.)提出了一种基于移动端的精确定位用户6D姿态的方法。通过预先采集并重建户外场景的3D数据，结合pnp方法，从用户拍摄的实时图像中恢复出用户所在的坐标和姿态，精确地计算得出用户6D姿态。但是该方法需要预先重建大规模户外场景的3D数据，建立场景的三维点和场景相关二维图像的关系，需要巨大的预工作量。
发明内容
针对现有的技术存在的问题，本发明提供一种基于全景图的精确标注兴趣点的户外移动增强现实方法。
本发明通过以下技术方案来实现：
基于全景图的精确标注兴趣点的户外移动增强现实方法，包括以下步骤：
步骤1、离线建立POI模板数据库，存储于服务器端；
步骤2、用户持有移动设备，开启摄像头功能和GPS服务，依靠GPS方式进行粗定位，通过GPS信息计算当前地点和周围POI距离；
步骤3、用户立于原地，进行水平旋转拍摄，每间隔30°拍摄1张图像，一共拍摄12张图像序列，拍摄完成后，将序列图像通过全景图拼接模块进行拼接；
步骤4、在用户当前地点产生的全景图上，利用模板匹配算法，搜索步骤2中获得的POI点的最佳匹配位置；匹配完成后，在最佳匹配位置上显示半透明增强现实标签；
步骤5、在用户生成的全景图上，以感兴趣的区域作为用户自定义POI，添加增强现实内容，成功生成用户自定义POI后上传至服务器，作为POI数据库的扩大补充。
所述步骤2中搜索附近300米～3000米内的POI地点。
所述步骤4中，在进行模板匹配时，采用基于方位角的减少模板匹配算法搜索区域的方法，通过计算POI与当前地点的相对方位角，将POI的位置映射至全景图中，仅在POI对应的像素位置附近一定区域内对POI图像模板进行模板匹配。
在步骤5后进一步包括步骤6：在已生成的全景图上实现离线浏览，用户通过拖拽的方式，分段浏览360°全视角图片，经过标注的POI的位置准确稳定地呈现在全景图中，反复浏览而不产生跳变。
其中步骤5所述的现实内容包括文字描述，语音描述，视频内容，三维动画。
本发明的有益效果：
1、本发明通过模板匹配算法将POI模板图像精确匹配到在线生成的全景图中；相比于通过传感器确定POI位置的方法，有效地提高了POI在当前图像中的位置精度，实现“所见即所得”的增强现实体验。
2、本发明通过计算POI与当前地点的相对方位角，将POI的位置映射至全景图中，仅在POI对应的像素位置附近一定区域内对POI图像模板进行模板匹配。该方法极大地缩小了模板匹配算法的在全景图上的搜索范围，有效提高图像匹配速度，提供流畅运行的良好用户体验。
3、本发明提供用户自定义添加POI的交互方式，不仅可以添加个性化的增强现实内容如文字、声音、GPS等，产生定制内容，引导用户进行长期体验；并可以将其上传至服务器，作为兴趣点信息库的扩充，实现系统生态的更新和多样化。
4、本发明提供以离线方式浏览已添加标注的全景图。用户相比于传统浏览器的根据用户朝向实时计算POI位置的方式，离线浏览提供“一次生成，多次浏览”的体验方式，当用户需要查看POI信息时，只需要通过拖拽的方式，分段浏览360°全视角图片，经过标注的POI的位置可以准确稳定地呈现在全景图中，反复浏览而不产生跳变。
附图说明
图1是本系统实施例的示例性流程图；
图2是本系统实施例步骤4中计算两地之间航向角的方式的示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中，本系统实施例设计了一种基于全景图的精确标注兴趣点的户外移动增强现实技术方案。该技术方案能根据用户通过移动终端拍摄的全景图像，进行分析和识别图像中POI图像，进而计算POI图像在当前用户产生的全景图中的准确位置，在移动客户端上将相应POI图像对应的位置标识出来，进而以叠加增强现实标签的形式在全景图中加入POI的名称信息，以此为用户提供丰富的定位和环境信息。同时，用户可在全景图中圈出感兴趣区域，添加自定义增强现实内容，并上传至服务器，作为POI数据库的扩大和补充。
请参阅附图1，为本系统实施例提供的实现流程，其主要流程包括以下步骤：
步骤1：离线建立POI模板数据库，存储于服务器端。
其中，对POI模板的描述至少包含一张描述POI外观的100*100像素的图片，拍摄该图片的地点的GPS信息，以及POI所在地的GPS信息和POI的名称。POI模板图像的生成方法同步骤3和步骤6，在拍摄完成的全景图中选取一块100*100像素的图像区域作为POI的图像模板，并添加自定义内容。POI模板可以包含其他增强现实内容，包括文字描述，语音描述，视频内容，三维动画等。
步骤2：用户持有移动设备，开启摄像头功能和GPS服务，依靠GPS方式粗定位，通过GPS信息计算当前地点和周围POI的距离，搜索附近300米内的POI地点。
其中，搜索附近300米内的POI地点，是指通过计算当前地点和POI数据库中的GPS，获得两地之间的距离。当POI与当前地点的距离小于300米时，将其添加至搜索列表，作为后续步骤的搜索模板。
步骤3：用户立于原地，根据电子罗盘提示，面朝正北方，横屏手持移动设备，对当前场景进行拍摄。用户在原地进行水平旋转，从正北方向开始，顺时针旋转360°，每间隔30°拍摄1张图像，一共拍摄12张图像序列。拍摄完成后，点击拼接按钮，序列图像将自动输入全景图拼接模块进行拼接。
其中，全景图拼接模块实现包括：
1.将输入图像降采样，压缩至800*600分辨率。
2.将图像序列按输入顺序提取SIFT特征，找到图像序列间的相对位置关系，投影至圆柱面。
3.将投影至圆柱面的图像序列进行拼接融合形成360°全景图，裁减黑边留下水平部分，并将分辨率压缩至7200*600。
步骤4：将用户生成的全景图作为源图像，在其中搜索步骤1中得到的POI模板图像。
其中，在全景图中搜索模板图像的方法为统归一化积相关(NCC，NormalizedCorrelation Coefficient)算法。在全景图中搜索时，采用计算当前位置和POI的GPS的方式得到的两地间的方位角，因此得到POI映射至全景图中的像素位置。搜索时，以POI映射至全景图中的像素位置为中心，搜索±300像素长，宽600像素的区域，即在全景图中搜索600*600像素的区域。在搜索得到POI模板图像在全景图中的最佳匹配位置，叠加半透明的、包含增强现实内容标签。
其中，显示的增强现实内容包括POI的名称，和当前位置的距离。点击标签，显示更多增强现实内容。显示的内容包括该POI模板存储于服务器中的其他所有内容，形式可以为文字描述，语音描述，视频内容，三维动画等。
计算两地之间方位角的方式见附图2。
设P1点为用户当前所在地点，P2为POI地点，连接球面三角形P1NP2，则从用户当前所在地点到POI地点的方位角为α12。分别连接P1、P2、N点和地心O，得到三个扇面三角形，分别为P1ON，P2ON,P1OP2。其中，P1ON平面和P2ON平面的夹角定义为θ，角P1ON定义为α2，角P2ON定义为α1。已知P1点的纬度为经度为λ1，同理P2点纬度为经度为λ2。则计算方位角α12可以由下式得出：
cos(α12)＝cos(α1)*cos(α2)+sin(α1)*sin(α2)*cos(θ)
步骤5：在用户生成的全景图上为感兴趣的区域添加自定义标签。在全景图浏览界面，用户点击添加自定义标签按键，接着点击全景图，屏幕上以手指为中心出现一个100*100像素的红色方框，。手指在屏幕上拖拽红色方框，直到停留在用户感兴趣区域时离开屏幕，方框内像素区域即为用户选定的感兴趣区域。区域选择完成后，自动弹出提示框，提示用户添加其他自定义内容，包括POI名称、文字描述，语音描述，视频内容，三维动画等。其中，POI名称为必填项。填写自定义内容完成后，系统将根据填写的POI名称，自动搜索该POI的GPS信息，并提供相似内容供用户选择。用户根据提供的地点信息内容，选择该POI的GPS位置。同时，系统将添加用户当前位置的GPS信息，作为拍摄该POI的地点信息。至此，一个用户自定义的POI模板生成。系统将成功生成的POI模板上传至服务器，作为POI信息库的扩大和补充。
步骤6：在已生成的全景图上，离线浏览POI标注。当用户需要查看全景图上标注好的POI信息时，通过拖拽的方式，分段浏览360°全视角图片，经过标注的POI的位置可以准确稳定地呈现在全景图中，反复浏览而不产生跳变。

Claims (4)

1.基于全景图的精确标注兴趣点的户外移动增强现实方法，其特征在于，包括以下步骤：
步骤1、离线建立POI模板数据库，存储于服务器端；
步骤2、用户持有移动设备，开启摄像头功能和GPS服务，依靠GPS方式进行粗定位，通过GPS信息计算当前地点和周围POI距离；
步骤3、用户立于原地，进行水平旋转拍摄，每间隔30°拍摄1张图像，一共拍摄12张图像序列，拍摄完成后，将图像序列通过全景图拼接模块进行拼接：
1.将图像序列降采样；
2.将图像序列按输入顺序提取SIFT特征，找到图像序列间的相对位置关系，投影至圆柱面；
3.将投影至圆柱面的图像序列进行拼接融合形成360°全景图，裁减黑边留下水平部分，并将分辨率压缩；
步骤4、在用户当前地点产生的全景图上，利用模板匹配算法，搜索步骤2中获得的POI的最佳匹配位置；匹配完成后，在最佳匹配位置上显示半透明增强现实标签；
其中，在进行模板匹配时，采用基于方位角的减少模板匹配算法搜索区域的方法，通过计算POI与当前地点的相对方位角，将POI的位置映射至全景图中，仅在POI对应的像素位置附近一定区域内对POI图像模板进行模板匹配；
步骤5、在用户生成的全景图上，以感兴趣的区域作为用户自定义POI，添加增强现实内容，成功生成用户自定义POI后上传至服务器，作为POI模板数据库的扩大补充。
2.如权利要求1所述的基于全景图的精确标注兴趣点的户外移动增强现实方法，其特征在于，在步骤5后进一步包括步骤6：在已生成的全景图上实现离线浏览，用户通过拖拽的方式，分段浏览360°全视角图片，经过标注的POI的位置准确稳定地呈现在全景图中，反复浏览而不产生跳变。
3.如权利要求1或2所述的基于全景图的精确标注兴趣点的户外移动增强现实方法，其特征在于，所述步骤2中搜索附近300米～3000米内的POI地点。
4.如权利要求1或2所述的基于全景图的精确标注兴趣点的户外移动增强现实方法，其特征在于，其中步骤5所述的现实内容包括文字描述，语音描述，视频内容，三维动画。
CN201410725817.5A 2014-12-03 2014-12-03 基于全景图的精确标注兴趣点的户外移动增强现实方法 Active CN104376118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410725817.5A CN104376118B (zh) 2014-12-03 2014-12-03 基于全景图的精确标注兴趣点的户外移动增强现实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410725817.5A CN104376118B (zh) 2014-12-03 2014-12-03 基于全景图的精确标注兴趣点的户外移动增强现实方法

Publications (2)

Publication Number Publication Date
CN104376118A CN104376118A (zh) 2015-02-25
CN104376118B true CN104376118B (zh) 2018-02-16

Family

ID=52555025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410725817.5A Active CN104376118B (zh) 2014-12-03 2014-12-03 基于全景图的精确标注兴趣点的户外移动增强现实方法

Country Status (1)

Country Link
CN (1) CN104376118B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105091895A (zh) * 2015-07-21 2015-11-25 寅家电子科技（上海）有限公司 关注点提示系统及方法
CN106487835A (zh) * 2015-08-27 2017-03-08 白云杰 一种信息展示方法及装置
CN106813670A (zh) * 2015-11-27 2017-06-09 华创车电技术中心股份有限公司 三维行车影像辅助装置
CN105631809B (zh) * 2015-12-31 2018-11-06 北京理工大学 一种非均匀分辨率球面全景图生成方法
KR102542515B1 (ko) * 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN106488123A (zh) * 2016-10-18 2017-03-08 安徽协创物联网技术有限公司 一种基于全景相机的窄视场双相机影像拼接方法
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
CN106973282B (zh) * 2017-03-03 2019-12-24 深圳市梦网百科信息技术有限公司 一种全景视频沉浸感增强方法和系统
CN108958462A (zh) * 2017-05-25 2018-12-07 阿里巴巴集团控股有限公司 一种虚拟对象的展示方法及装置
CN107480173B (zh) * 2017-06-30 2021-01-22 百度在线网络技术（北京）有限公司 Poi信息的展示方法及装置、设备及可读介质
CN107885858A (zh) * 2017-11-18 2018-04-06 同创蓝天投资管理（北京）有限公司 网络全景图标记方法
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN108171802B (zh) * 2018-02-07 2022-01-11 北京易讯理想科技有限公司 一种云端与终端结合实现的全景增强现实实现方法
CN108335246A (zh) * 2018-02-09 2018-07-27 天津城建大学 基于增强现实和位置服务的校园信息服务方法及系统
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
CN111143488B (zh) * 2018-11-06 2023-03-28 阿里巴巴集团控股有限公司 一种poi位置的确定方法及装置
CN109685899A (zh) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 三维可视化标注管理系统、方法和计算机存储介质
CN110111278A (zh) * 2019-04-30 2019-08-09 北京理工大学 一种修复拼接图像黑色无数据区域的图像处理方法
CN110324641B (zh) * 2019-07-12 2021-09-03 青岛一舍科技有限公司 全景视频中保持兴趣目标时刻显示的方法及装置
CN110647886A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 兴趣点标注方法、装置、计算机设备和存储介质
JP2021125846A (ja) * 2020-02-07 2021-08-30 株式会社リコー プログラム、記録媒体および情報処理装置
CN111402404B (zh) * 2020-03-16 2021-03-23 北京房江湖科技有限公司 全景图补全方法、装置、计算机可读存储介质及电子设备
CN113556666A (zh) * 2020-04-03 2021-10-26 广州迈傲信息科技有限公司 一种室内环境下的楼层定位方法
CN112559884B (zh) * 2020-12-25 2023-09-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN113096221A (zh) * 2021-03-09 2021-07-09 惠州Tcl移动通信有限公司 一种全景图片ar显示方法、显示装置及存储介质
CN116246085B (zh) * 2023-03-07 2024-01-30 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置
CN116934857A (zh) * 2023-07-17 2023-10-24 北京理工大学 一种基于全景图片的视觉定位方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
CN103106272B (zh) * 2013-02-06 2016-04-06 腾讯科技（深圳）有限公司 兴趣点信息获取方法及装置
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system

Also Published As

Publication number Publication date
CN104376118A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
CN104376118B (zh) 基于全景图的精确标注兴趣点的户外移动增强现实方法
US11393173B2 (en) Mobile augmented reality system
CN107045844B (zh) 一种基于增强现实技术的景观导视方法
CN103632626B (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN108446310B (zh) 虚拟街景地图生成方法、装置和客户端设备
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104102678B (zh) 增强现实的实现方法以及实现装置
Lu et al. Geometry-aware satellite-to-ground image synthesis for urban areas
US8797353B2 (en) Augmented media message
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
Ventura et al. Wide-area scene mapping for mobile visual tracking
US8633970B1 (en) Augmented reality with earth data
CN101833896B (zh) 基于增强现实的地理信息指引方法与系统
CN106683195B (zh) 一种基于室内定位的ar场景渲染方法
JP2015084229A (ja) カメラ姿勢決定方法、及び実環境物体認識方法
CN105023266A (zh) 增强现实实现方法、装置和终端设备
CN112037314A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN112215964A (zh) 基于ar的场景导览方法和设备
Coors et al. Matching buildings: Pose estimation in an urban environment
CN102946476B (zh) 一种快速定位的方法及装置
Zhu et al. Large-scale architectural asset extraction from panoramic imagery
TW201126451A (en) Augmented-reality system having initial orientation in space and time and method
CN108235764B (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN106846311B (zh) 基于图像识别的定位及ar方法及系统及应用
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant