CN109917906A - 一种基于增强现实技术实现景点互动的方法及系统 - Google Patents
一种基于增强现实技术实现景点互动的方法及系统 Download PDFInfo
- Publication number
- CN109917906A CN109917906A CN201910070204.5A CN201910070204A CN109917906A CN 109917906 A CN109917906 A CN 109917906A CN 201910070204 A CN201910070204 A CN 201910070204A CN 109917906 A CN109917906 A CN 109917906A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- characteristic point
- scenic spot
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供一种基于增强现实技术实现景点互动的方法及系统，其中，所述方法包括：采集并保存现实中目标景点的图像信息；对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像，基于用户输入的信息以及显示的三维图像进行互动。通过本发明的景点互动方式实现了用户能随时随地获取景点数据，以及景点虚拟三维图像。
Description
技术领域
本申请涉及增强现实技术领域，具体涉及互联网技术领域，尤其涉及一种基于增强现实技术实现景点互动的方法及系统。
背景技术
国内旅游业(这里仅指传统物理旅游)近几年发展势头迅速，但对于游客而言，传统的旅游方式仍然存在着诸多局限性。
(1)经济因素，全球旅游景点众多，然而真正对于普通旅游爱好者来说，不可能到达所有的景点，费用昂贵，时间成本都限制了旅游的方式；
(2)环境因素，全球人口众多，尤其是在旅游旺季时，景点的承载能力有限，游客出行造成环境污染等问题也日益突出；
(3)安全问题，对于一些旅游热点景点，游客众多使得景点安全隐患存在，如何在旅游时既能欣赏到美景也能保证安全是需要解决的问题。
为了解决上述问题，目前，发展出了一种实时虚拟三维旅游的想法，其含义是，将一个实际物理景区，通过虚拟现实技术搬运到另一个空间，使原来景区在另一空间似“海市蜃楼或彩虹”虚拟形式，以全息三维成像的方式，在空气中实时再现，供游客在虚拟景区内游览。
虚拟三维旅游景区，具有巨大的经济价值和社会价值，通过将实地物理景观在异地三维全息具现，间接实现了生态系统地保护以及远程异地的景观演示；另一方面，一些重要的场面(如会议、演出、历史场景等)以及旅游主体个性化旅游表达，也能够因为该技术得到保存和适时三维演示及互动体验。
只是，目前尚没有一种适合的实用方案，尤其是如何真实、实时的再现是急需解决的技术问题。
发明内容
为解决上述技术问题，本发明提出了一种基于增强现实技术实现景点互动的方法及系统，来解决以上背景技术部分提到的技术问题。
根据本发明的一个实施例，本发明提供一种基于增强现实技术实现景点互动的方法，所述方法包括如下步骤：
S1、采集并保存现实中目标景点的图像信息；
S2、对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像；
S3、基于用户输入的信息以及显示的三维图像进行互动。
优选的，所述采集并保存现实中目标景点的图像信息包括获取现实中目标景点的图像颜色信息。
优选的，所述步骤S2具体包括：
S2.1、对所述图像进行灰度化预处理；
S2.2、对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点；
S2.3、预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据，并进行显示。
优选的，当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。
优选的，所述媒体资源信息至少选自字符、文档、图形、音频、视频、虚拟模型或者超级链接。
根据本发明的一个实施例，本发明还提供了一种基于增强现实技术实现景点互动的系统，所述系统：
采集装置，用于采集并保存现实中目标景点的图像信息；
处理装置，用于对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像；
互动装置，用于基于用户输入的信息以及显示的三维图像进行互动。
优选的，所述采集装置还用于获取现实中目标景点的图像颜色信息。
优选的，所述处理装置还用于对所述图像进行灰度化预处理，对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点，预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据。
优选的，所述互动装置还用于当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。
优选的，所述系统还包括显示装置，用于显示采集的图像信息以及三维图像信息。
本发明提供一种基于增强现实技术实现景点互动的方法及系统，其中，所述方法包括：采集并保存现实中目标景点的图像信息；对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像，基于用户输入的信息以及显示的三维图像进行互动。通过本发明的景点互动方式实现了用户能随时随地获取景点数据，以及景点虚拟三维图像。
附图说明
图1为本发明提出的基于增强现实技术实现景点互动方法总体流程图；
图2为本发明提出的基于增强现实技术实现景点互动系统总体框架图；
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的核心是提供一种基于增强现实技术实现景点互动的方法及系统，为了使本技术领域的人员更好地理解本发明的方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明提出的基于增强现实技术实现景点互动方法总体流程图，如图1所示，一种基于增强现实技术实现景点互动的方法，其特征在于，所述方法包括如下步骤：
S1、采集并保存现实中目标景点的图像信息；所述采集并保存现实中目标景点的图像信息包括获取现实中目标景点的图像颜色信息。
基于互联网及增强现实技术来实现景点信息互动主要是利用现实中采集的图像或者视频信息来进行的，随着互联网的发展以及移动终端的更新换代，基于用户图像信息的移动增值服务逐渐成为移动终端用户所应用。GPS技术、手机摄像头和增强现实技术结合在一起，实现景点信息的三维再现。
在本发明中，通过移动终端的摄像头拍摄景点照片或者视频，然后进行预处理，或者浏览网页的过程中将需要了解的景点的相关照片保存到本地后进行识别，从而获取目标景点的图像信息。
S2、对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像。
该步骤具体包括如下内容：
S2.1、对所述图像进行灰度化预处理；
S2.2、对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点；
实现对图像的匹配，则需要首先对图像进行特征点提取及检测，在本发明中，检测算法为加速稳健特征检测算法，采用求取不同尺度下的Hessian矩阵的部分最大值，图像在σ尺度下的Hessian矩阵为：
其中，Lxx(X,σ)表示高斯二阶偏导数与图像在像素点(x,y)处的卷积，表示在σ尺度下该点在x方向上的二阶偏导数，g(σ)为高斯函数，
根据此算法可以同时对多尺度空间的图片进行同时处理，省去了降采样的操作，当有多个用户同时访问时，也可以同时针对不同用户的图像信息进行处理，提高了处理速度。
通过检测后获得了方向信息，此时对特征点进行描述，描述过程如下，对于任意一个点对(xi,yi)的多维矩阵表示为：
根据方向矩阵Rθ，得到描述矩阵，
从而根据描述矩阵对检测后的特征点进行描述。
S2.3、预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据，并进行显示。
S3、基于用户输入的信息以及显示的三维图像进行互动。
当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。所述媒体资源信息至少选自字符、文档、图形、音频、视频、虚拟模型或者超级链接。
在本发明中，为了使得获取的景点信息能够与用户进行互动，不仅向用户推送三维景点信息，而且还要接受用户的输入操作，从而实现互动，在展示的三维图像中，加载选择项，其中所述选择项包括对所述三维图像的基本操作，如翻转、调换、是否播放视频、是否播放音频以及是否展示文字内容。
根据本发明的一个实施例，本发明还提供了一种基于增强现实技术实现景点互动的系统，所述系统包括：
采集装置，用于采集并保存现实中目标景点的图像信息；
处理装置，用于对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像；
互动装置，用于基于用户输入的信息以及显示的三维图像进行互动。
所述采集装置还用于获取现实中目标景点的图像颜色信息。
所述处理装置还用于对所述图像进行灰度化预处理，对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点，预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据。
所述互动装置还用于当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。
所述系统还包括显示装置，用于显示采集的图像信息以及三维图像信息。
本发明提供一种基于增强现实技术实现景点互动的方法及系统，其中，所述方法包括：采集并保存现实中目标景点的图像信息；对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像，基于用户输入的信息以及显示的三维图像进行互动。通过本发明的景点互动方式实现了用户能随时随地获取景点数据，以及景点虚拟三维图像。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。
Claims (10)
1.一种基于增强现实技术实现景点互动的方法，其特征在于，所述方法包括如下步骤：
S1、采集并保存现实中目标景点的图像信息；
S2、对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像；
S3、基于用户输入的信息以及显示的三维图像进行互动。
2.根据权利要求1所述的方法，其特征在于，所述采集并保存现实中目标景点的图像信息包括获取现实中目标景点的图像颜色信息。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：
S2.1、对所述图像进行灰度化预处理；
S2.2、对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点；
S2.3、预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据，并进行显示。
4.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括，当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。
5.根据权利要求4所述的方法，其特征在于，所述媒体资源信息至少选自字符、文档、图形、音频、视频、虚拟模型或者超级链接。
6.一种基于增强现实技术实现景点互动的系统，其特征在于，所述系统包括：采集装置，用于采集并保存现实中目标景点的图像信息；
处理装置，用于对所述图像进行预处理，之后对所述图像进行特征点提取，从而获取所述图像的特征点数据，将采集的现实景点图像与预先存储的虚拟图像特征点对数进行匹配，在完成匹配后，则获取所述目标景点的三维拟合图像数据，显示该三维图像；
互动装置，用于基于用户输入的信息以及显示的三维图像进行互动。
7.根据权利要求6所述的系统，其特征在于，所述采集装置还用于获取现实中目标景点的图像颜色信息。
8.根据权利要求6所述的系统，其特征在于，所述处理装置还用于对所述图像进行灰度化预处理，对预处理后的图像进行特征点提取，在提取之前先进行加速稳健特征检测，然后采用ORB对特征点进行描述形成待识别的图像特征点，预先在虚拟图像库中保存加速稳健特征检测特征点提取和ORB描述的图像特征点信息，然后将待识别的图像特征点与虚拟图像库中的图像特征点采用汉明距离匹配，并通过RANSAC算法对匹配点进行筛选，获取筛选后的匹配结果，如果所述匹配结果满足预设的阈值，则符合匹配要求，则根据提取的特征点数据形成目标景点的三维拟合图像数据。
9.根据权利要求8所述的系统，其特征在于，所述互动装置还用于当显示三维拟合图像后，判断是否感应到用户的输入操作信息，若为是，则接收用户输入操作信息，并且基于用户输入操作信息完成三维图像的输出相应的媒体资源信息，从而实现互动。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括显示装置，用于显示采集的图像信息以及三维图像信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910070204.5A CN109917906A (zh) | 2019-01-24 | 2019-01-24 | 一种基于增强现实技术实现景点互动的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910070204.5A CN109917906A (zh) | 2019-01-24 | 2019-01-24 | 一种基于增强现实技术实现景点互动的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109917906A true CN109917906A (zh) | 2019-06-21 |
Family
ID=66960686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910070204.5A Pending CN109917906A (zh) | 2019-01-24 | 2019-01-24 | 一种基于增强现实技术实现景点互动的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109917906A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866678A (zh) * | 2021-01-04 | 2021-05-28 | 融信信息科技有限公司 | 一种基于ar智能眼镜的图像识别系统 |
| CN114708698A (zh) * | 2022-03-24 | 2022-07-05 | 重庆巡感科技有限公司 | 隧道内异物智能感知与预警系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530881A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 适用于移动终端的户外增强现实无标志点跟踪注册方法 |
| CN107526772A (zh) * | 2017-07-12 | 2017-12-29 | 湖州师范学院 | Spark平台下基于SURF‑BIT算法的图像检索系统 |
| CN107797665A (zh) * | 2017-11-15 | 2018-03-13 | 王思颖 | 一种基于增强现实的三维数字沙盘推演方法及其系统 |
| CN107833280A (zh) * | 2017-11-09 | 2018-03-23 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
| CN108037830A (zh) * | 2017-01-23 | 2018-05-15 | 苏州梦想人软件科技有限公司 | 一种增强现实的实现方法 |
| CN109213834A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的导游方法和系统 |
-
2019
- 2019-01-24 CN CN201910070204.5A patent/CN109917906A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530881A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 适用于移动终端的户外增强现实无标志点跟踪注册方法 |
| CN108037830A (zh) * | 2017-01-23 | 2018-05-15 | 苏州梦想人软件科技有限公司 | 一种增强现实的实现方法 |
| CN109213834A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的导游方法和系统 |
| CN107526772A (zh) * | 2017-07-12 | 2017-12-29 | 湖州师范学院 | Spark平台下基于SURF‑BIT算法的图像检索系统 |
| CN107833280A (zh) * | 2017-11-09 | 2018-03-23 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
| CN107797665A (zh) * | 2017-11-15 | 2018-03-13 | 王思颖 | 一种基于增强现实的三维数字沙盘推演方法及其系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866678A (zh) * | 2021-01-04 | 2021-05-28 | 融信信息科技有限公司 | 一种基于ar智能眼镜的图像识别系统 |
| CN114708698A (zh) * | 2022-03-24 | 2022-07-05 | 重庆巡感科技有限公司 | 隧道内异物智能感知与预警系统 |
| CN114708698B (zh) * | 2022-03-24 | 2023-08-08 | 重庆巡感科技有限公司 | 隧道内异物智能感知与预警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102560187B1 (ko) | 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템 | |
| CN101520904B (zh) | 带有现实环境估算的增强现实的方法及其系统 | |
| US20180276882A1 (en) | Systems and methods for augmented reality art creation | |
| CN105654471A (zh) | 应用于互联网视频直播的增强现实ar系统及方法 | |
| CN106816077A (zh) | 基于二维码和增强现实技术的互动沙盘展示方法 | |
| CN106897648A (zh) | 识别二维码位置的方法及其系统 | |
| CN107103316A (zh) | 基于智能手机的方法和系统 | |
| CN104469179A (zh) | 一种将动态图片结合到手机视频中的方法 | |
| Zhang et al. | Personal photograph enhancement using internet photo collections | |
| CN108765333B (zh) | 一种基于深度卷积神经网络的深度图完善方法 | |
| CN109754461A (zh) | 图像处理方法及相关产品 | |
| CN107084740B (zh) | 一种导航方法和装置 | |
| CN113055611B (zh) | 图像处理方法及装置 | |
| CN109917906A (zh) | 一种基于增强现实技术实现景点互动的方法及系统 | |
| CN112766215A (zh) | 人脸融合方法、装置、电子设备及存储介质 | |
| CN112675545A (zh) | 地表仿真画面的显示方法和装置、存储介质及电子设备 | |
| US20150325040A1 (en) | Method, apparatus and computer program product for image rendering | |
| CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
| CN103955713B (zh) | 一种图标识别方法和装置 | |
| CN105786776A (zh) | 一种动画展示方法及装置 | |
| CN104281865A (zh) | 一种生成二维码的方法与设备 | |
| CN106412718A (zh) | 一种字幕在3d空间中的渲染方法及其装置 | |
| CN114092670A (zh) | 一种虚拟现实显示方法、设备以及存储介质 | |
| CN106997366A (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
| KR20190101620A (ko) | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |