CN109634421A - 基于增强现实的空间虚拟点击交互方法 - Google Patents
基于增强现实的空间虚拟点击交互方法 Download PDFInfo
- Publication number
- CN109634421A CN109634421A CN201811538683.0A CN201811538683A CN109634421A CN 109634421 A CN109634421 A CN 109634421A CN 201811538683 A CN201811538683 A CN 201811538683A CN 109634421 A CN109634421 A CN 109634421A
- Authority
- CN
- China
- Prior art keywords
- identification
- mobile device
- augmented reality
- camera
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明揭示了一种基于增强现实的空间虚拟点击交互方法，包括：打开移动设备内的所述增强现实应用，将移动设备的摄像头对准识别图，移动设备显示识别图后，将移动设备显示画面内的准星图标对准识别图的内容，通过摄像头实时获取带有识别图的画面；保持准星图标对准识别图的内容后，将移动设备向识别图靠近，在移动设备移动的距离达到预定值后，触发点击识别图，获取识别图上的可交互内容。本发明操作简单，相对于市面上其它产品，只需要将屏幕中心对准可点击的物体并靠近即可实现点击效果。
Description
技术领域
本发明涉及一种增强现实技术，尤其是涉及一种基于增强现实的空间虚拟点击交互方法。
背景技术
当前，通过增强现实技术(Augmented Reality，简写AR)提高图书的内容丰富增强的实现，往往是结合手机、平板电脑等移动终端，通过摄入现实图书场景、通过一定方法在显示屏显示出图书与虚拟信息混合的图像，以此实现图书内容增强现实。
目前市面上基于AR的交互方式大多为屏幕点击交互方式，由于AR体验必须双手操作，会引发一系列问题，尤其是对儿童而言移动设备难以单手握持的问题。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种基于增强现实的空间虚拟点击交互方法。
为实现上述目的，本发明提出如下技术方案：一种基于增强现实的空间虚拟点击交互方法，所述方法基于一空间虚拟点击交互装置实现，所述装置包括移动设备和一张识别图，所述移动设备包括安装的增强现实应用和摄像头，所述识别图包括供摄像头识别的可交互的内容，且所述识别图已在服务器或本地端存储匹配特征，所述方法包括：
S100，打开移动设备内的所述增强现实应用；
S200，将所述移动设备的摄像头对准识别图；
S300，所述移动设备显示所述识别图后，将移动设备显示画面内的准星图标对准识别图的内容，通过摄像头实时获取带有所述识别图的画面；
S400，保持准星图标对准识别图的内容后，将移动设备向识别图靠近，在移动设备移动的距离达到预定值后，触发点击识别图，获取识别图上的可交互内容。
优选地，S400中，所述移动设备向识别图移动的最高速度≥0.4m/s。
优选地，所述S400包括：
S401，计算获取识别图在画面内的二维平面坐标，及计算获取识别图与摄像头间的距离；
S402，利用所述二维平面坐标及距离通过OpenGL进行反投影计算转变成三维坐标并反馈给移动设备，所述移动设备的屏幕中看到识别图中可交互的内容实时跟随识别图移动；
S403，通过移动设备向识别图移动，获得移动开始时和结束后两个三维坐标，对两个所述三维坐标进行差值计算，若所述差值达到预定值，则触发点击识别图，获取识别图上的可交互内容。
优选地，所述S401中，通过对画面内识别图的大小进行对比计算获取识别图与摄像头间的距离。
优选地，所述空间虚拟点击交互方法可在移动设备充电情况下实现。
优选地，所述S300中，当移动设备扫描识别图时，通过捕捉识别图中的特征与已存储匹配的特征进行匹配，获取并显示所述识别图的内容，并实时更新位置。
优选地，所述S300包括：
S301，当开启移动设备的摄像头，所述摄像头实时捕捉识别图所在的真实场景；
S302，将所述真实场景的图像实时的计算出的所述特征与已存储匹配的特征进行实时匹配；
S303，识别成功后所述移动设备显示识别图上的内容，并返回在其屏幕中显示的识别图的数据，实时更新内容所在的位置信息；
S304，将移动设备的屏幕中心的扫描截面对准识别图可点击交互的位置。
优选地，所述摄像头为后置摄像头，且所述后置摄像头所捕捉的画面分辨率达到供增强现实应用识别的要求。
优选地，所述移动设备至少选用手机、平板电脑中的一种。
本发明的有益效果是：本发明在使用了增强现实技术的移动设备上，通过结合增强现实技术与空间位置的计算来触发交互，取代传统的屏幕点击等操作。可以取得：
1、操作简单，相对于市面上其它产品，只需要将屏幕中心对准可点击的物体并靠近即可实现点击效果。
2、本方法对设备位置没有特别的要求，可以在充电的情况下使用，且可同时操作识别图和智能移动设备屏幕，互不干扰。
3、基于摄像头性能和用户习惯，使用后置摄像头而不是前置，主要是一方面提高了识别率和稳定性，另一方面由于用户更习惯于后置摄像头拍摄物体，不会引起操作不便，能给予用户更良好的增强现实应用体验。
4、通过这种操作可以让学龄儿童无需单手操作即可进行点击交互体验，极大提高了设备的安全性以及用户体验感。
附图说明
图1是本发明方法的流程示意图；
图2是本发明步骤S300的流程示意图；
图3是本发明步骤S400的流程示意图。
具体实施方式
下面将结合本发明的附图，对本发明实施例的技术方案进行清楚、完整的描述。
本发明实施例所揭示的一种基于增强现实的空间虚拟点击交互方法，基于一空间虚拟点击交互装置实现，其中，所述装置包括移动设备和一张识别图，所述移动设备包括安装的增强现实应用和摄像头，实施时，移动设备可采用市面上所有可以使用增强现实技术的带有陀螺仪的移动设备，如手机、平板电脑等等。另外，摄像头优选用后置摄像头，且其所捕捉的画面分辨率必须要达到供增强现实应用识别的要求。
所述识别图必须包括供摄像头识别的可交互的内容，这样移动设备在实现戳一戳时才可以更直观的体验到效果。且该识别图已在服务器或本地端存储匹配特征。识别图另外的一个功能就是作为空间定位的锚点，这样在保证识别图显示在手机画面的前提下移动手机，会有空间感，戳一戳功能正是利用手机与识别图在固定时间内的相对位移来实现。
如图1所示，本发明所揭示的一种基于增强现实的空间虚拟点击交互方法，具体包括：
S100，打开移动设备内的所述增强现实应用。
S200，将所述移动设备的摄像头对准识别图。
S300，所述移动设备显示所述识别图后，将移动设备显示画面内的准星图标对准识别图的内容，通过摄像头实时获取带有所述识别图的画面；
结合图2所示，当移动设备扫描识别图时，通过捕捉识别图中的特征与已存储匹配的特征进行匹配，获取并显示所述识别图的内容，并实时更新位置。所述S300具体包括：
S301，当开启移动设备的摄像头，所述摄像头实时捕捉识别图所在的真实场景。
S302，将所述真实场景的图像实时的计算出的所述特征与已存储匹配的特征进行实时匹配。
S303，识别成功后所述移动设备显示识别图上的内容，并返回在其屏幕中显示的识别图的数据，实时更新内容所在的位置信息。
S304，将移动设备的屏幕中心的扫描截面对准识别图可点击交互的位置。
S400，保持准星图标对准识别图的内容后，将移动设备向识别图靠近，在移动设备移动的距离达到预定值后，触发点击识别图，获取识别图上的可交互内容。
结合图3所示，所述S400具体包括：
S401，计算获取识别图在画面内的二维平面坐标，及计算获取识别图与摄像头间的距离。
实施时，通过画面中识别图的位置计算获取识别图在画面内的二维平面坐标，通过对画面内识别图的大小进行对比计算获取识别图与摄像头间的距离。
通过对画面内识别图的大小进行对比计算获取识别图与摄像头间的距离具体为：摄像头与识别图间距可以通过识别图在摄像头内的画面进行计算，利用正交相机的概念，即距离越远，在摄像机内呈现的画面越小，距离与大小呈反比。利用摄像机内识别图呈现出的画面大小通过矩阵换算获取摄像头与识别图的距离，也即，摄像头与识别图之间的距离没有一个具体的数值，但是处在不同距离的识别图之间有一个模拟的间距。
S402，利用所述二维平面坐标及距离通过OpenGL进行反投影计算转变成三维坐标并反馈给移动设备，所述移动设备的屏幕中看到识别图中可交互的内容实时跟随识别图移动。
S403，通过移动设备向识别图移动，获得移动开始时和结束后两个三维坐标，对两个所述三维坐标进行差值计算，若所述差值达到预定值，则触发点击识别图，获取识别图上的可交互内容。
其中，所述移动设备向识别图移动的最高速度≥0.4m/s。
另外，优选地，上述空间虚拟点击交互方法可在移动设备充电情况下实现。
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。
Claims (9)
1.一种基于增强现实的空间虚拟点击交互方法，其特征在于，所述方法基于一空间虚拟点击交互装置实现，所述装置包括移动设备和一张识别图，所述移动设备包括安装的增强现实应用和摄像头，所述识别图包括供摄像头识别的可交互的内容，且所述识别图已在服务器或本地端存储匹配特征，所述方法包括：
S100，打开移动设备内的所述增强现实应用；
S200，将所述移动设备的摄像头对准识别图；
S300，所述移动设备显示所述识别图后，将移动设备显示画面内的准星图标对准识别图的内容，通过摄像头实时获取带有所述识别图的画面；
S400，保持准星图标对准识别图的内容后，将移动设备向识别图靠近，在移动设备移动的距离达到预定值后，触发点击识别图，获取识别图上的可交互内容。
2.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，S400中，所述移动设备向识别图移动的最高速度≥0.4m/s。
3.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述S400包括：
S401，计算获取识别图在画面内的二维平面坐标，及计算获取识别图与摄像头间的距离；
S402，利用所述二维平面坐标及距离通过OpenGL进行反投影计算转变成三维坐标并反馈给移动设备，所述移动设备的屏幕中看到识别图中可交互的内容实时跟随识别图移动；
S403，通过移动设备向识别图移动，获得移动开始时和结束后两个三维坐标，对两个所述三维坐标进行差值计算，若所述差值达到预定值，则触发点击识别图，获取识别图上的可交互内容。
4.根据权利要求3所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述S401中，通过对画面内识别图的大小进行对比计算获取识别图与摄像头间的距离。
5.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述空间虚拟点击交互方法可在移动设备充电情况下实现。
6.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述S300中，当移动设备扫描识别图时，通过捕捉识别图中的特征与已存储匹配的特征进行匹配，获取并显示所述识别图的内容，并实时更新位置。
7.根据权利要求6所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述S300包括：
S301，当开启移动设备的摄像头，所述摄像头实时捕捉识别图所在的真实场景；
S302，将所述真实场景的图像实时的计算出的所述特征与已存储匹配的特征进行实时匹配；
S303，识别成功后所述移动设备显示识别图上的内容，并返回在其屏幕中显示的识别图的数据，实时更新内容所在的位置信息；
S304，将移动设备的屏幕中心的扫描截面对准识别图可点击交互的位置。
8.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述移动设备至少选用手机、平板电脑中的一种。
9.根据权利要求1所述的基于增强现实的空间虚拟点击交互方法，其特征在于，所述摄像头为后置摄像头，且所述后置摄像头所捕捉的画面分辨率达到供增强现实应用识别的要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811538683.0A CN109634421A (zh) | 2018-12-14 | 2018-12-14 | 基于增强现实的空间虚拟点击交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811538683.0A CN109634421A (zh) | 2018-12-14 | 2018-12-14 | 基于增强现实的空间虚拟点击交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109634421A true CN109634421A (zh) | 2019-04-16 |
Family
ID=66074345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811538683.0A Pending CN109634421A (zh) | 2018-12-14 | 2018-12-14 | 基于增强现实的空间虚拟点击交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109634421A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104460330A (zh) * | 2014-11-04 | 2015-03-25 | 宁波工程学院 | 一种基于室内定位与电子罗盘的增强现实与远程控制方法 |
| CN106582016A (zh) * | 2016-12-05 | 2017-04-26 | 湖南简成信息技术有限公司 | 基于增强现实的运动游戏控制方法及控制装置 |
| CN107009358A (zh) * | 2017-04-13 | 2017-08-04 | 武汉库柏特科技有限公司 | 一种基于单相机的机器人无序抓取装置及方法 |
| CN107015642A (zh) * | 2017-03-13 | 2017-08-04 | 武汉秀宝软件有限公司 | 一种基于增强现实的数据同步方法和系统 |
| US20180114372A1 (en) * | 2016-10-25 | 2018-04-26 | Microsoft Technology Licensing, Llc | Virtual reality and cross-device experiences |
| CN108037830A (zh) * | 2017-01-23 | 2018-05-15 | 苏州梦想人软件科技有限公司 | 一种增强现实的实现方法 |
| CN108399207A (zh) * | 2018-02-01 | 2018-08-14 | 江苏汉大信息科技有限公司 | 基于文史地多学科融合的文学作品呈现方法和设备 |
| CN108959668A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 智能的家居设计方法和装置 |
-
2018
- 2018-12-14 CN CN201811538683.0A patent/CN109634421A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104460330A (zh) * | 2014-11-04 | 2015-03-25 | 宁波工程学院 | 一种基于室内定位与电子罗盘的增强现实与远程控制方法 |
| US20180114372A1 (en) * | 2016-10-25 | 2018-04-26 | Microsoft Technology Licensing, Llc | Virtual reality and cross-device experiences |
| CN106582016A (zh) * | 2016-12-05 | 2017-04-26 | 湖南简成信息技术有限公司 | 基于增强现实的运动游戏控制方法及控制装置 |
| CN108037830A (zh) * | 2017-01-23 | 2018-05-15 | 苏州梦想人软件科技有限公司 | 一种增强现实的实现方法 |
| CN107015642A (zh) * | 2017-03-13 | 2017-08-04 | 武汉秀宝软件有限公司 | 一种基于增强现实的数据同步方法和系统 |
| CN107009358A (zh) * | 2017-04-13 | 2017-08-04 | 武汉库柏特科技有限公司 | 一种基于单相机的机器人无序抓取装置及方法 |
| CN108959668A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 智能的家居设计方法和装置 |
| CN108399207A (zh) * | 2018-02-01 | 2018-08-14 | 江苏汉大信息科技有限公司 | 基于文史地多学科融合的文学作品呈现方法和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230045386A1 (en) | Interactive and shared surfaces | |
| US9142062B2 (en) | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking | |
| US9639988B2 (en) | Information processing apparatus and computer program product for processing a virtual object | |
| US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
| US9595127B2 (en) | Three-dimensional collaboration | |
| US10802663B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| CN104081307B (zh) | 图像处理装置、图像处理方法和程序 | |
| CN109126121B (zh) | Ar终端互联方法、系统、装置及计算机可读存储介质 | |
| US11064784B2 (en) | Printing method and system of a nail printing apparatus, and a medium thereof | |
| JP2010217719A (ja) | 装着型表示装置、その制御方法及びプログラム | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| US20150185829A1 (en) | Method and apparatus for providing hand gesture-based interaction with augmented reality applications | |
| EP4195664A1 (en) | Image processing method, mobile terminal, and storage medium | |
| CN109496293A (zh) | 扩展内容显示方法、装置、系统及存储介质 | |
| WO2014014634A2 (en) | Real-time interactive collaboration system | |
| CN110168630A (zh) | 增强视频现实 | |
| US11704756B2 (en) | System and method for displaying additional information on 3D tour | |
| CN109634421A (zh) | 基于增强现实的空间虚拟点击交互方法 | |
| EP3962062A1 (en) | Photographing method and apparatus, electronic device, and storage medium | |
| CN115756170A (zh) | 一种基于增强现实设备的多设备交互系统和方法 | |
| CN115460388A (zh) | 扩展现实设备的投影方法及相关设备 | |
| CN115526925A (zh) | 建模方法及相关电子设备及存储介质 | |
| KR20210028035A (ko) | 3d 투어 부가정보 표시 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |