CN109189214A - 基于移动设备的增强现实交互系统、设备和方法 - Google Patents
基于移动设备的增强现实交互系统、设备和方法 Download PDFInfo
- Publication number
- CN109189214A CN109189214A CN201810931682.6A CN201810931682A CN109189214A CN 109189214 A CN109189214 A CN 109189214A CN 201810931682 A CN201810931682 A CN 201810931682A CN 109189214 A CN109189214 A CN 109189214A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- image
- module
- information
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 110
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 6
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000019771 cognition Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 102100032530 Glypican-3 Human genes 0.000 description 2
- 108050007237 Glypican-3 Proteins 0.000 description 2
- 101150118928 MXR1 gene Proteins 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 101100459241 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MXR2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于移动设备的增强现实交互系统、设备和方法。所述基于移动设备的增强现实交互方法包括：通过移动设备识别和/或跟踪图像，并获取与图像对应和相关的增强现实应用数据和用于跟踪的标识信息，且以一个以上标识跟踪模块识别和/或跟踪所述标识信息，进而将所述增强现实应用数据与对应的真实图景组合，再输出和展示增强现实应用数据与真实图景叠加的增强现实图景。本发明实施例提供的基于移动设备的增强现实交互系统、设备和方法，可以基于移动设备而实施，并将图像识别技术用于AR叠加显示的前期识别认知环节，进而为用户提供更好的交互体验，同时有利于增强现实的广泛应用。
Description
技术领域
本发明涉及一种增强现实交互系统，特别涉及一种基于移动设备的增强现实交互系统、设备和方法，属于增强现实技术领域。
背景技术
增强现实(Augmented Reality，简称AR)是通过信息技术，将真实世界信息和虚拟世界信息“无缝”集成，把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，从而达到超越现实的感官体验。
传统的增强现实(AR)应用一般是通过读取预先存储的特定标识物/形状后调取显示数据库中的存储数据来实现人机交互，但是，这种交互方式适用于相对固定的环境，而无法满足移动终端的应用需求。
发明内容
针对现有技术的不足，本发明的主要目的在于旨在提出一种基于移动设备的增强现实交互系统、设备和方法，籍以提高用户在移动设备上进行增强现实交互的体验，本发明另一目的在于提供一种基于图像识别的增强现实检索查阅系统和方法，其能在移动设备上实现对图像信息的识别以及获取相关模型介绍的增强现实人机交互方法，特别是多模型的增强现实人机交互，从而丰富了现有技术中的内容。
为实现前述发明目的，本发明实施例提供的一种基于移动设备的增强现实交互系统，至少包括：
图像采集模块，至少用于采集图像数据；
摄像运动选取图像模块，至少用于获取准确的运动目标和有效的图像信息；
图像处理模块，至少用于对获取到的图像信息进行特征处理和标识识别，获得与可识别标识库中的标识相匹配的选定标识；
指令采集模块，至少用于采集和分析用于调整增强现实交互状态的指令；
图像跟踪模块，至少用于实时跟踪选定标识的位置；
交互控制模块，至少用于在用户从选定标识中选择的图像关键信息标识上叠加一种以上叠加物并显示于移动设备的可触摸显示屏装置上，以及
至少用于依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
显示模块，至少用于将叠加后的增强现实图景输出并展示。
优选地，所述系统还包括模型渲染模块，至少用于对所述叠加物进行实时渲染。
优选地，所述指令包括：操作人员通过移动设备的实体和/或虚拟操作界面发出的指令。
优选地，所述指令包括：操作人员通过改变移动设备的空间位置而发出的指令。
优选地，所述指令包括：由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息。
优选地，所述指令包括：来源于图像输入接口的指令，所述图像输入接口一端与图像和/或视频捕捉设备连接，另一端分别经图像处理模块和指令采集模块与交互控制模块连接。
优选地，所述摄像运动选取图像模块采用对称差分法和背景减法相结合的方式，获取准确的运动目标和有效的图像信息。
优选地，所述图像信息包括物品、动植物、人物、环境。
优选地，所述叠加物包括三维模型、动画、图像、视频或文字。
相应地，本发明还公开了一种增强现实设备，其特征在于，所述设备包括如前所述的任一种增强现实交互系统。
相应地，本发明还公开了一种增强现实资源库检索查阅系统，所述增强现实资源库检索查阅系统在如前所述的任一种增强现实交互系统的基础上，还包括：
信息筛选模块，至少用于根据用户信息从增强现实资源库中检索出与用户相关的增强现实相关信息推荐给用户。
相应地，本发明还公开了一种增强现实资源库检索查阅方法，基于如前所述的增强现实检索查阅系统实现，所述方法包括以下步骤：
S1.通过图像采集模块和摄像运动选取图像模块，获取有效的图像信息。
S2.通过图像处理模块，将获取的图像数据与可识别标识库中的标识进行匹配获得选定标识；
S3.通过信息筛选模块，从增强现实资源库中检索获得增强现实相关信息推荐给用户；
S4.通过图像跟踪模块实时跟踪所述选定标识的当前位置；
S5.通过指令采集模块采集和分析用于调整增强现实交互状态的指令；
S6.通过交互控制模块，在从所述选定标识中选择的图像关键信息标识上叠加一种以上叠加物，以及
依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
S7.通过显示模块，将增强现实应用数据与真实图景叠加的增强现实图景输出并展示。
优选地，所述从增强现实资源库中检索包括通过增强现实模型数据库和/或其他信息数据库、网页搜索工具进行检索。
优选地，所述增强现实相关信息包括与待识别对象相关的文字、图片、模型、链接。
优选地，所述指令包括操作人员通过移动设备的实体和/或虚拟操作界面发出的指令。
优选地，，所述指令包括操作人员通过改变移动设备的空间位置而发出的指令。
优选地，所述指令包括由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息。
优选地，以图像和/或视频捕捉设备捕捉外部标识或动作，经图像处理模块处理识别后，再由指令采集模块解析形成指令信息。
优选地，所述方法还包括对所述叠加物进行实时渲染。
优选地，所述方法还包括：通过交互控制模块调整两个以上选定标识和/或两种以上叠加物的相对空间位置和/或一个以上选定标识与一种以上叠加物之间的相对空间位置，实现两个以上选定标识之间、两种以上叠加物之间或一个以上选定标识与一种以上叠加物之间的锁定和/或解锁。
与现有技术相比，本发明的优点包括：本发明实施例提供的一种基于移动设备的增强现实交互系统和检索查阅系统可以基于移动设备而实施，操作方便，进而为用户提供更好的交互体验；同时，本发明使得图像识别技术应用于AR叠加显示的前期识别认知环节，扩大了AR显示信息的使用范围。并且，本发明提供的增强现实资源库检索查阅方法支持实时调节选定标识和/或多个叠加物之间的相互位置关系，有效拓宽了增强现实的应用范围，且还可支持对选定标识之间、叠加物之间、选定标识与叠加物之间的锁定与调节，能够实现虚拟与现实的最佳融合。
附图说明
图1是本发明一典型实施案例中一种基于移动设备的增强现实交互系统结构示意图；
图2是本发明一典型实施案例中一种增强现实资源库检索查阅方法的使用场景示意图。
图3a是发明实施例五MXR1的段尾图；
图3b是发明实施例五MXR3的段尾图；
图3c是发明实施例五MXR7的段尾图；
图3d是发明实施例五MXR10的段尾图。
具体实施方式
鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
为实现前述发明目的，本发明实施例提供的一种基于移动设备的增强现实交互系统，至少包括：
图像采集模块，至少用于采集图像数据；
摄像运动选取图像模块，至少用于获取准确的运动目标和有效的图像信息；
图像处理模块，至少用于对获取到的图像信息进行特征处理和标识识别，获得与可识别标识库中的标识相匹配的选定标识；
指令采集模块，至少用于采集和分析用于调整增强现实交互状态的指令；
图像跟踪模块，至少用于实时跟踪选定标识的位置；
交互控制模块，至少用于在用户从选定标识中选择的图像关键信息标识上叠加一种以上叠加物并显示于移动设备的可触摸显示屏装置上，以及
至少用于依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
显示模块，至少用于将叠加后的增强现实图景输出并展示。
本发明还公开了一种增强现实设备，其特征在于，所述设备包括如前所述的任一种增强现实交互系统。
相应地，本发明还公开了一种增强现实资源库检索查阅系统，所述增强现实资源库检索查阅系统在如前所述的任一种增强现实交互系统的基础上，还包括：
信息筛选模块，至少用于根据用户信息从增强现实资源库中检索出与用户相关的增强现实相关信息推荐给用户。
相应地，本发明还公开了一种增强现实资源库检索查阅方法，基于如前所述的增强现实检索查阅系统实现，所述方法包括以下步骤：
S1.通过图像采集模块和摄像运动选取图像模块，获取有效的图像信息。
S2.通过图像处理模块，将获取的图像数据与可识别标识库中的标识进行匹配获得选定标识；
S3.通过信息筛选模块，从增强现实资源库中检索获得增强现实相关信息推荐给用户；
S4.通过图像跟踪模块实时跟踪所述选定标识的当前位置；
S5.通过指令采集模块采集和分析用于调整增强现实交互状态的指令；
S6.通过交互控制模块，在从所述选定标识中选择的图像关键信息标识上叠加一种以上叠加物，以及
依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
S7.通过显示模块，将增强现实应用数据与真实图景叠加的增强现实图景输出并展示。
如下将结合具体实施例，对该技术方案、其实施过程及原理等作进一步的解释说明。
实施例一
请参阅图1，本实施例提供了一种基于移动设备的增强现实交互系统结构示意图，该系统可以包括以下模块：
图像采集模块，至少用于采集图像数据；
摄像运动选取图像模块，至少用于获取准确的运动目标和有效的图像信息，所述图像信息包括但不限于物品、动植物、人物、环境等
图像处理模块，至少用于对获取到的图像信息进行特征处理和标识识别，获得与可识别标识库中的标识相匹配的选定标识；
指令采集模块，至少用于采集和分析用于调整增强现实交互状态的指令；
图像跟踪模块，至少用于实时跟踪选定标识的位置；
交互控制模块，至少用于在用户从选定标识中选择的图像关键信息标识上叠加一种以上叠加物显示于移动设备的可触摸显示屏装置上，以及
至少用于依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
显示模块，至少用于将叠加后的增强现实图景输出并展示。
其中摄像运动选取图像模块可采用对称差分法和背景减法相结合的方式获取到准确的运动目标和有效的图像，具体包括：首先利用对称差分法和背景减法分别得到两种差分图像，再用 OTSU分割法得到阈值将这两种差分图像二值化，然后将得到的两种二值化图像进行或运算，最后利用图像形态学滤波得到准确的运动目标。
进一步的，所述叠加物包括但不限于三维模型、动画、图像、视频或文字。
进一步的，所述指令可以为操作人员通过移动设备的实体和/或虚拟操作界面发出的指令；
和/或，操作人员通过改变移动设备的空间位置而发出的指令；
和/或，由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息。
作为较为优选的实施方案之一，所述指令还包括来源于图像输入接口的指令，所述图像输入接口与图像和/或视频捕捉设备连接，并经图像处理模块、及指令采集模块与交互控制模块连接。
作为较为优选的实施方案之一，该增强现实交互系统还包括模型渲染模块，至少用于对叠加物进行实时渲染，所述叠加物包括当不限于三维模型、动画、图像、视频或文字等。
实施例二
在实施例一的基础上，本实施例还公开了一种增强现实设备，所述设备包括如前所述的任一种实施方式的增强现实交互系统。
实施例三
在实施例一的基础上，本实施例还公开了一种增强现实检索查阅系统，所述检索查阅系统在如前所述的任一种实施方式的增强现实交互系统的基础上，还包括信息筛选模块。
信息筛选模块至少用于根据用户信息从增强现实资源库中检索出与用户相关的增强现实相关信息推荐给用户。例如根据用户信息从增强现实模型数据库中检索出与用户相关的增强现实模型列表，和/或通过其他信息数据库、网页搜索工具检索到与待识别对象相关的文字、图片、模型、链接等信息推荐给用户。
所述用户信息包括用户的基本信息，如性别、年龄等，以及用户的兴趣偏好等信息。信息筛选模块根据用户的基本信息以及偏好从增强现实资源库中筛选出适合的模型等信息进行回应，从而增强人机交互体验。
实施例四
基于实施例三的增强现实资源库检索查阅系统，本实施例还公开了一种增强现实资源库检索查阅方法，其可以包括以下步骤：
Step1.通过图像采集模块和摄像运动选取图像模块，获取有效的图像信息。
Step2.通过图像识别模块，将图像采集模块所获取的图像数据与可识别标识库中的标识进行匹配；
Step3.通过信息筛选模块，根据用户信息从增强现实资源数据库中检索出与用户相关的增强现实相关信息推荐给用户，增强现实相关信息包括与待识别对象相关的文字、图片、模型、链接等信息；
Step4.在选定图像数据与可识别标识库中的选定标识匹配成功时，通过图像跟踪模块实时跟踪所述选定标识的当前位置；
Step5.使用指令采集模块采集和分析用于调整增强现实交互状态的指令；
Step6.通过交互控制模块，在从所述选定标识中选择的图像关键信息标识上叠加一种以上叠加物，以及
依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
Step7.通过显示模块，将增强现实应用数据与真实图景叠加的增强现实图景输出并展示。
作为较为优选的实施方案之一，该方法还包括：通过模型渲染模块，对叠加物进行实时渲染。例如，对三维叠加物进行三维渲染，且进一步地，所述叠加物包括但不限于三维模型、动画、图像、视频或文字。
步骤Step5和Step6所述指令包括操作人员通过移动设备的实体和/或虚拟操作界面发出的指令；和/或，操作人员通过改变移动设备的空间位置而发出的指令；
和/或，由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息。
作为较为优选的实施方案之一，该方法还包括：
以图像和/或视频捕捉设备捕捉外部标识或动作，经图像处理模块处理后，再经指令采集模块解析后形成指令信息输送给交互控制模块。
作为较为优选的实施方案之一，该方法还包括：
以交互控制模块调整两个以上选定标识和/或两种以上叠加物的相对空间位置和/或一个以上选定标识与一种以上叠加物之间的相对空间位置，实现两个以上选定标识之间、两种以上叠加物之间或一个以上选定标识与一种以上叠加物之间的锁定和/或解锁，从而使得虚拟与现实达到最佳融合。
实施例五
在一些较为具体的实施方案中，基于移动平台的增强现实设备(简称移动终端)进行增强现实的过程需要移动终端、服务器、数据库共同参与，其过程可以包括如下步骤：
MXR1.移动终端利用对称差分法和背景减法获取有效准确的运动物体图像；
MXR2.对图像进行识别；
MXR3.发送信息给服务器信息筛选服务；
MXR4.服务器向AR应用数据库获取AR应用数据；
MXR5.数据库将AR应用数据返回给服务器；
MXR6.由服务器根据用户信息和偏好筛选出最合适的相关AR应用数据返回给移动终端；
MXR7.摄入真实图景；
MXR8.将摄入的真实图景信息输入；
MXR9.图像处理包括自定义标识的图景学习绑定和相关跟踪图景的预处理；
MXR10.将AR应用信息所包含的虚拟物体等融入真实图景中；
MXR12.开始相关AR应用，并将AR应用的结果(即增强现实内容资源图景)展示给移动终端；
MXR13.对AR应用的结果进行可控制的交互操作，例如调节AR对象的位置、对AR对象进行锁定或解锁等。
请参阅图2，图2为本实施例公开的一种增强现实资源库检索查阅方法的使用场景示意图，移动终端201通过网络202分别与图像识别服务器203和搜索数据服务器204进行数据交互，序号1～8为增强现实交互过程的操作指令，其增强现实交互过程具体包括：
移动终端201执行图像选取操作(指令1)，图像选取完毕后，移动终端201向图像识别服务器203执行图像传输操作(指令2)，图像识别服务器完成图像识别后，向移动终端201执行返回图像信息操作(指令3)；
移动终端201向搜索数据服务器204发出请求AR模型操作(指令4)，搜索数据服务器 204根据AR请求向AR数据库205发出检索AR模型请求操作(指令5)，AR数据库205向搜索数据服务器204执行返回AR模型数据操作(指令6)；搜索服务器204向移动终端201执行返回AR模型操作(指令7)，移动终端201根据返回的AR模型执行播放模型操作(指令8)。
本发明所涉及的移动设备主要指手机、平板电脑、笔记本电脑等便携式移动终端，尤其在具有可触摸式屏幕的移动终端平台上，能够给予用户良好的增强现实应用体验。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于移动设备的增强现实交互系统，其特征在于包括：
图像采集模块，至少用于采集图像数据；
摄像运动选取图像模块，至少用于获取准确的运动目标和有效的图像信息；
图像处理模块，至少用于对获取到的图像信息进行特征处理和标识识别，获得与可识别标识库中的标识相匹配的选定标识；
指令采集模块，至少用于采集和分析用于调整增强现实交互状态的指令；
图像跟踪模块，至少用于实时跟踪选定标识的位置；
交互控制模块，至少用于在用户从选定标识中选择的图像关键信息标识上叠加一种以上叠加物并显示于移动设备的可触摸显示屏装置上，以及
至少用于依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
显示模块，至少用于将叠加后的增强现实图景输出并展示。
2.根据权利要求1所述的增强现实交互系统，其特征在于：
所述系统还包括模型渲染模块，至少用于对所述叠加物进行实时渲染。
3.根据权利要求1所述的增强现实交互系统，其特征在于，所述指令包括：
操作人员通过移动设备的实体和/或虚拟操作界面发出的指令；
和/或，操作人员通过改变移动设备的空间位置而发出的指令；
和/或，由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息；
和/或，来源于图像输入接口的指令，所述图像输入接口一端与图像和/或视频捕捉设备连接，另一端分别经图像处理模块和指令采集模块与交互控制模块连接。
4.根据权利要求1所述的增强现实交互系统，其特征在于：
所述摄像运动选取图像模块采用对称差分法和背景减法相结合的方式，获取准确的运动目标和有效的图像信息。
5.根据权利要求1所述的增强现实交互系统，其特征在于：
所述图像信息包括物品、动植物、人物、环境；
和/或，所述叠加物包括三维模型、动画、图像、视频或文字。
6.一种增强现实设备，其特征在于：所述设备包括如权利要求1～5任一项所述的增强现实交互系统。
7.一种增强现实资源库检索查阅系统，其特征在于：包括权利要求1～5任一项所述的系统以及信息筛选模块；
所述信息筛选模块至少用于从增强现实资源库中检索获得增强现实相关信息推荐给用户。
8.一种增强现实资源库检索查阅方法，其特征在于：所述方法基于如权利要求7所述的增强现实检索查阅系统实现，至少包括以下步骤：
S1.通过图像采集模块和摄像运动选取图像模块，获取有效的图像信息。
S2.通过图像处理模块，将获取的图像数据与可识别标识库中的标识进行匹配获得选定标识；
S3.通过信息筛选模块，从增强现实资源库中检索获得增强现实相关信息推荐给用户；
S4.通过图像跟踪模块实时跟踪所述选定标识的当前位置；
S5.通过指令采集模块采集和分析用于调整增强现实交互状态的指令；
S6.通过交互控制模块，在从所述选定标识中选择的图像关键信息标识上叠加一种以上叠加物，以及
依据所述指令采集模块所输送的指令信息和/或所述图像跟踪模块所提供的图像关键信息标识的位置信息调整所述选定标识的相对空间位置，和/或至少一种叠加物与选定标识的相对位置，和/或在选定标识上增加或取消至少一种叠加物；
S7.通过显示模块，将增强现实应用数据与真实图景叠加的增强现实图景输出并展示。
9.根据权利要求8所述的增强现实资源库检索查阅方法，其特征在于：
所述从增强现实资源库中检索包括通过增强现实模型数据库和/或其他信息数据库、网页搜索工具进行检索；
和/或，所述增强现实相关信息包括与待识别对象相关的文字、图片、模型、链接；
和/或，所述指令包括操作人员通过移动设备的实体和/或虚拟操作界面发出的指令；
和/或，所述指令包括操作人员通过改变移动设备的空间位置而发出的指令；
和/或，所述指令包括由移动设备自外部捕获的设定信息转换形成的指令，所述设定信息包括模型、图像、文字、视频或动作信息；
和/或，以图像和/或视频捕捉设备捕捉外部标识或动作，经图像处理模块处理识别后，再由指令采集模块解析形成指令信息。
10.根据权利要求8所述的增强现实资源库检索查阅方法，其特征在于，所述方法还包括：
对所述叠加物进行实时渲染；
和/或，通过交互控制模块调整两个以上选定标识和/或两种以上叠加物的相对空间位置和/或一个以上选定标识与一种以上叠加物之间的相对空间位置，实现两个以上选定标识之间、两种以上叠加物之间或一个以上选定标识与一种以上叠加物之间的锁定和/或解锁。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810931682.6A CN109189214A (zh) | 2018-08-15 | 2018-08-15 | 基于移动设备的增强现实交互系统、设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810931682.6A CN109189214A (zh) | 2018-08-15 | 2018-08-15 | 基于移动设备的增强现实交互系统、设备和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109189214A true CN109189214A (zh) | 2019-01-11 |
Family
ID=64918057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810931682.6A Pending CN109189214A (zh) | 2018-08-15 | 2018-08-15 | 基于移动设备的增强现实交互系统、设备和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109189214A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110368702A (zh) * | 2019-07-12 | 2019-10-25 | 中山职业技术学院 | 一种可折叠全息玩具识别系统及其方法 |
| CN111833139A (zh) * | 2019-04-19 | 2020-10-27 | 苹果公司 | 产品比较技术 |
| CN112099637A (zh) * | 2020-09-27 | 2020-12-18 | 成都佳发教育科技有限公司 | 一种基于ar交互的穿戴式信息采集系统 |
| CN112509153A (zh) * | 2020-12-22 | 2021-03-16 | 上海影谱科技有限公司 | 基于移动设备定位的ar模型显示处理方法及装置 |
| CN113852517A (zh) * | 2021-09-06 | 2021-12-28 | 天翼数字生活科技有限公司 | 一种基于ar的信号强度可视化系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102377873A (zh) * | 2010-08-16 | 2012-03-14 | Lg电子株式会社 | 显示信息的方法和使用该方法的移动终端 |
| CN103310099A (zh) * | 2013-05-30 | 2013-09-18 | 佛山电视台南海分台 | 一种利用图像捕获和识别技术实现增强现实的方法和系统 |
| CN103309895A (zh) * | 2012-03-15 | 2013-09-18 | 中兴通讯股份有限公司 | 移动增强现实搜索方法、客户端、服务器及搜索系统 |
| US8681178B1 (en) * | 2010-11-02 | 2014-03-25 | Google Inc. | Showing uncertainty in an augmented reality application |
| CN104798109A (zh) * | 2012-11-13 | 2015-07-22 | 高通股份有限公司 | 修改虚拟对象显示性质 |
| US20170074675A1 (en) * | 2010-02-12 | 2017-03-16 | Apple Inc. | Augmented reality maps |
-
2018
- 2018-08-15 CN CN201810931682.6A patent/CN109189214A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170074675A1 (en) * | 2010-02-12 | 2017-03-16 | Apple Inc. | Augmented reality maps |
| CN102377873A (zh) * | 2010-08-16 | 2012-03-14 | Lg电子株式会社 | 显示信息的方法和使用该方法的移动终端 |
| US8681178B1 (en) * | 2010-11-02 | 2014-03-25 | Google Inc. | Showing uncertainty in an augmented reality application |
| CN103309895A (zh) * | 2012-03-15 | 2013-09-18 | 中兴通讯股份有限公司 | 移动增强现实搜索方法、客户端、服务器及搜索系统 |
| CN104798109A (zh) * | 2012-11-13 | 2015-07-22 | 高通股份有限公司 | 修改虚拟对象显示性质 |
| CN103310099A (zh) * | 2013-05-30 | 2013-09-18 | 佛山电视台南海分台 | 一种利用图像捕获和识别技术实现增强现实的方法和系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833139A (zh) * | 2019-04-19 | 2020-10-27 | 苹果公司 | 产品比较技术 |
| CN110368702A (zh) * | 2019-07-12 | 2019-10-25 | 中山职业技术学院 | 一种可折叠全息玩具识别系统及其方法 |
| CN112099637A (zh) * | 2020-09-27 | 2020-12-18 | 成都佳发教育科技有限公司 | 一种基于ar交互的穿戴式信息采集系统 |
| CN112509153A (zh) * | 2020-12-22 | 2021-03-16 | 上海影谱科技有限公司 | 基于移动设备定位的ar模型显示处理方法及装置 |
| CN112509153B (zh) * | 2020-12-22 | 2023-11-10 | 上海影谱科技有限公司 | 基于移动设备定位的ar模型显示处理方法及装置 |
| CN113852517A (zh) * | 2021-09-06 | 2021-12-28 | 天翼数字生活科技有限公司 | 一种基于ar的信号强度可视化系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109189214A (zh) | 基于移动设备的增强现实交互系统、设备和方法 | |
| US10719759B2 (en) | System for building a map and subsequent localization | |
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| de Amorim et al. | Spatial-temporal graph convolutional networks for sign language recognition | |
| CN107222468B (zh) | 增强现实处理方法、终端、云端服务器和边缘服务器 | |
| CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
| EP2701818B1 (en) | Generating and joining shared experience | |
| CN107633441A (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
| US20130101209A1 (en) | Method and system for extraction and association of object of interest in video | |
| CN105556508A (zh) | 虚拟镜子的装置、系统和方法 | |
| CN110134829A (zh) | 视频定位方法和装置、存储介质及电子装置 | |
| CN110914873A (zh) | 增强现实方法、装置、混合现实眼镜及存储介质 | |
| CN108345387A (zh) | 用于输出信息的方法和装置 | |
| CN105117399B (zh) | 一种图像搜索方法和装置 | |
| CN112561973A (zh) | 训练图像配准模型的方法、装置和电子设备 | |
| CN110852942A (zh) | 一种模型训练的方法、媒体信息合成的方法及装置 | |
| CN109643318A (zh) | 商标图像的基于内容的搜索和检索 | |
| CN103399900B (zh) | 基于位置服务的图片推荐方法 | |
| CN105353878A (zh) | 现实增强信息处理方法、装置及系统 | |
| Xie et al. | Temporal‐enhanced graph convolution network for skeleton‐based action recognition | |
| Wang et al. | Will you ever become popular? learning to predict virality of dance clips | |
| Li et al. | Application algorithms for basketball training based on big data and Internet of things | |
| CN107479715A (zh) | 利用手势控制实现虚拟现实交互的方法和装置 | |
| JP5536124B2 (ja) | 画像処理システム及び画像処理方法 | |
| Ruiz-Santaquiteria et al. | Improving handgun detection through a combination of visual features and body pose-based data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |
|
| RJ01 | Rejection of invention patent application after publication |