CN108874156A - 增强现实交互系统及其使用方法 - Google Patents
增强现实交互系统及其使用方法 Download PDFInfo
- Publication number
- CN108874156A CN108874156A CN201811001344.9A CN201811001344A CN108874156A CN 108874156 A CN108874156 A CN 108874156A CN 201811001344 A CN201811001344 A CN 201811001344A CN 108874156 A CN108874156 A CN 108874156A
- Authority
- CN
- China
- Prior art keywords
- information
- identified
- augmented reality
- virtual scene
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 138
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 24
- 210000000352 storage cell Anatomy 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种增强现实交互系统及其使用方法。所述增强现实交互系统包括控制装置、分别与所述控制装置电性连接的信息识别装置和播放装置,所述信息识别装置用于获取现实场景内待识别体的标识信息和与待识别体相关的交互信息,并传递至所述控制装置中;所述控制装置用于对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置中进行播放;所述控制装置还用于接收处理所述交互信息,以对所述虚拟场景进行修改并在所述播放装置中联动显示。本发明的增强现实交互系统及其使用方法可根据相应的交互指令产生场景交互的效果,从而实现虚拟和现实世界之间的互动,提升本发明增强现实交互系统的交互性。
Description
技术领域
本发明涉及一种增强现实交互系统及其使用方法,属于互动系统技术领域。
背景技术
现实世界中,当人们对物品进行探索使用时,通常需要经过多次的实际体验,以获取物品相应的信息;这种信息获取方式导致短时间内无法全面了解这一物品,更无直观获取与此物品相关的信息;而在阅读过程中同样会发生此类问题,即,人们在阅读过程中,无法快速准确的获取文章中一些词语的含义,致使阅读效率明显降低。同样的,在儿童游戏过程中,也会发生类似的问题,如儿童在摆弄、操纵和使用玩具时,由于缺少交互性,单一的操作动作将导致儿童逐渐丧失对玩具的兴趣,致使玩具无法满足儿童的心理活动需要。
而增强现实技术,一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,可以将原本在现实世界的一定时间和空间范围内很难体验到的实体信息,如视觉信息、声音信息等,通过相应的科学技术模拟仿真后,将虚拟的信息叠加到真实世界中,使得真实世界和虚拟信息相互补充,以被人类感官感知,从而达到超越现实的感官体验,方便人们直观了解获取相应的信息,实现信息的交互。
因此,如何将增强现实技术应用在生活领域,继而帮助人们了解认知相应的物品,并产生活动,是增强现实技术发展的重要方向。
发明内容
本发明的目的在于提供一种增强现实交互系统及其使用方法,以将实体物品和虚拟信息相互融合,使用户可便捷、全面的了解认识物品;并可根据相应的交互指令产生场景交互的效果,从而实现虚拟和现实世界之间的互动,提升本发明增强现实交互系统的交互性。
为实现上述发明目的,本发明提供了一种增强现实交互系统,所述增强现实交互系统包括:控制装置、分别与所述控制装置电性连接的信息识别装置和播放装置,所述信息识别装置用于获取现实场景内待识别体的标识信息和交互信息,并传递至所述控制装置中;所述控制装置用于对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置中进行播放;所述控制装置还用于根据接收到的所述交互信息对所述虚拟场景进行修改并在所述播放装置中联动显示。
作为本发明的进一步改进,所述增强现实交互系统还包括自定义装置,所述自定义装置包括信息定义单元以及与所述信息定义单元对应设置的多个接触构件,所述信息定义单元与所述控制装置电性连接,所述接触构件设置在所述待识别体上,所述信息定义单元可根据所述接触构件的排布定义待识别体,与所述控制装置中的虚拟场景匹配。
作为本发明的进一步改进,所述信息识别装置包括音频采集单元和影像采集单元,所述音频采集单元用于接受语音交互信息;所述影像采集单元用于识别现实场景内一个或多个待识别体的标识信息及发生在每个所述待识别体上的交互信息。
作为本发明的进一步改进,所述标识信息至少包括所述待识别体的形状信息和位置信息;所述交互信息至少包括语音信息、动作信息、运动位置、运动轨迹及运动方式信息。
作为本发明的进一步改进,所述影像采集单元至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
作为本发明的进一步改进,所述控制装置包括数据存储单元和信息处理单元,所述数据存储单元用于存储虚拟场景;所述信息处理单元分别与所述数据存储单元、信息识别装置及所述播放装置电性相连,以根据所述信息识别装置采集的标识信息和交互信息匹配和调用数据存储单元中的虚拟场景,并通过所述播放装置播放。
作为本发明的进一步改进,所述数据存储单元设有信息交互端口,所述数据存储单元通过所述信息交互端口获取所述虚拟场景,所述虚拟场景至少包括图片信息、声音信息、视频信息及交互游戏;所述虚拟场景还包括所述信息处理单元通过所述信息交互端口直接调用的互联网信息。
作为本发明的进一步改进,所述播放装置包括图像播放装置和语音播放装置,且所述图像播放装置的投影角度可调。
为实现上述发明目的,本发明还提供了一种增强现实交互系统的使用方法,所述增强现实交互系统包括:控制装置、分别与所述控制装置电性连接的信息识别装置和播放装置,所述增强现实交互系统的使用方法包括以下步骤:
S1、根据用户或控制装置发出的控制指令,信息识别装置识别现实场景内待识别体的标识信息,并传递至控制装置中;
S2、所述控制装置对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置中进行播放显示;
S3、所述信息识别装置采集现实场景内与所述待识别体相关的交互信息,并传递至所述控制装置中控制所述虚拟场景进行联动显示;或者,虚拟场景提示相应的交互信息,信息识别装置对现实场景内的待识别体的交互信息进行采集,当虚拟场景和现实场景中的交互信息匹配时,触发下一场景。
作为本发明的进一步改进,所述增强现实交互系统还包括自定义装置,所述自定义装置用于定义待识别体,并将待识别体的标识信息和交互信息与控制装置中的虚拟场景进行匹配。
本发明的有益效果是:通过信息识别装置对待识别体进行识别,并在控制装置中匹配相应的虚拟场景,使得现实场景和虚拟场景叠加显示,并进一步通过信息识别装置获取相应的交互指令,继而带动虚拟场景发生变化,产生场景交互的效果,从而实现虚拟和现实世界之间的互动,提升本发明增强现实交互系统的交互性。
附图说明
图1是本发明增强现实交互系统的模块示意图。
图2是本发明增强现实交互系统一较佳实施例的结构示意图。
图3是本发明增强现实交互系统的控制方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
请参阅图1所示,为本发明提供的一种增强现实交互系统100的模块示意图。所述增强现实交互系统100包括控制装置1、分别与所述控制装置1电性连接的信息识别装置2以及播放装置3,所述控制装置1通过所述信息识别装置2获取待识别体(未图示)的标识信息和交互信息,以形成与现实场景相匹配的虚拟场景,并进一步通过所述播放装置3播放显示在现实场景中,以实现虚拟和现实世界之间的互动。
需要说明的是,在本发明中所述待识别体为标识信息和交互信息的承载体,可以是任何具有一定信息承载能力的对象;其中,所述标识信息至少包括所述待识别体的形状信息和位置信息;所述交互信息至少包括语音信息、动作信息、运动位置、运动轨迹及运动方式信息。
进一步的,为了防止所述待识别体在虚拟场景匹配的过程中发生混乱,每个所述待识别体具有唯一的标识信息,如此设置,所述信息识别装置2可通过所述标识信息区分不同的待识别体。
在本发明实施例中,所述待识别体既可为非电子化信息载体,如玩具、书籍、卡片、人体等实体类信息承载体;此时,所述标识信息可为所述待识别体上的图像、文字、人脸表情、手部动作等抽象信息;所述待识别体也可为电子化信息载体,如显示屏或手机、平板电脑等具有显示屏幕的电子设备,此时所述标识信息还可为mac地址或IP地址等。
所述控制装置1用于对所述信息识别装置2采集的待识别体的标识信息和交互信息进行处理,并匹配相应的虚拟场景;进一步的,所述控制装置1还用于接收处理所述交互信息,以对所述虚拟场景进行修改并在所述播放装置3中联动显示。
具体来讲,所述控制装置1包括数据存储单元11和信息处理单元12。所述数据存储单元11用于存储虚拟场景;所述数据存储单元11还设有信息交互端口111,所述信息交互端口111至少包括HDMI接口、USB接口、I/O接口、无线网关或以太网接口中的一种或几种,且所述数据存储单元11可通过所述信息交互端口111获取虚拟场景。进一步的,所述虚拟场景至少包括图片信息、声音信息、视频信息及交互游戏中的一种或几种;所述虚拟场景还包括通过所述信息交互端口111直接调用的互联网信息。
所述信息处理单元12分别与所述数据存储单元11、所述信息识别装置2及所述播放装置3电性相连,以根据所述信息识别装置2采集的所述标识信息和所述交互信息匹配和调用数据存储单元11中的虚拟场景,并通过所述播放装置3播放显示。
具体来讲,本发明中,所述信息处理单元12为所述增强现实交互系统100的主要控制协调单元,所述信息处理单元12在接受所述信息识别装置2传递的标识信息和/或交互信息后,会自动匹配存储或间接存储于所述数据存储单元11中的虚拟场景,并传递至所述播放装置3进行显示播放;进一步的,所述信息处理单元12还用于根据所述交互信息调整虚拟场景,以通过所述交互信息激发虚拟场景的推进,并在所述播放装置3中联动显示。
所述信息识别装置2包括音频采集单元21和影像采集单元22,所述音频采集单元21用于接受语音交互信息;所述影像采集单元22用于识别所述现实场景内一个或多个待识别体的标识信息及发生在每个所述待识别体上的交互信息。
所述影像采集单元22至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
所述播放装置3包括图像播放装置31和语音播放装置32,所述图像播放装置31与所述语音播放装置32分别与所述信息处理单元12电性连接,以播放虚拟场景中的图像信息和音频信息,特别地,所述语音播放装置32还可用于播放信息处理单元12分配的交互信息。
具体来讲,所述图像播放装置31的显示角度可调,即,在本发明中,所述虚拟场景的显示位置、显示角度等可根据所述图像播放装置31的位置和角度进行调整,以保证所述虚拟场景中图像信息的完整性,进一步的,在本发明的一个实施例中,所述图像播放装置31为投影装置,且所述投影装置设有焦距调节机构;当然,应当理解,所述投影装置还可为具有自动调焦功能的投影装置,以根据所述投影装置的投影位置自动调节虚拟场景中图像信息的播放清晰度。
进一步的,本发明的所述增强现实交互系统100还包括自定义装置4,所述自定义装置4用于定义待识别体的标识信息和交互信息,并与数据存储单元11中的虚拟场景匹配,一方面保证所述增强现实交互系统100可将不同的待识别体匹配至虚拟场景中;另一方面,可根据实际需要更换与虚拟场景相匹配的待识别体。
具体来讲,本发明的所述增强现实交互系统100可对具有明确含义的待识别体进行识别,并匹配相应的虚拟场景,如词语、常见的动画形象、图片、照片以及游戏等,所述信号处理单元12在接收到相应的标识信息(即体现待识别体特征的图像信息)后,可直接分配虚拟场景;进一步的,当同一待识别体同时对应多种虚拟场景时,可通过交互信息控制所述信号处理单元12选择相应的虚拟场景,完成后续的互动。
而当所述待识别体携带的标识信息不可识别或者不具有标识信息时,就需要通过所述自定义装置4定义所述待识别体的标识信息,并匹配相应的虚拟场景。
具体来讲,所述自定义装置4包括信息定义单元41以及与所述信息定义单元41对应设置的多个接触构件42。所述信息定义单元41与所述控制装置1电性连接,具体来讲,所述信息定义单元41通过所述信息交互端口111直接/间接与所述信息处理单元12电性连接,且所述信息定义单元41同时具有图像识别功能和语音识别功能,即,在本发明中,所述信息定义单元41既可定义录入的声音信息、也可定义录入的图像信息;当然,通过所述信息定义单元41定义录入的声音信息,一方面可作为交互信息,另一方面可叠加到虚拟场景中,作为虚拟场景的一部分进行播放。
所述接触构件42以粘贴或打印的形式设置在具有一定形状的待识别体上,如具有3D形态的玩具或者卡片等片状物体;当然,对于不同的待识别体,所述接触构件42的使用数量和/或设置形状不同,以保证每个所述待识别体均具有不同的标识信息。
进一步的,所述信息定义单元41可根据所述接触构件42的排布定义待识别体,即,用户可通过所述信息定义单元41将所述待识别体与所述数据存储单元11中的虚拟场景相匹配,以定义所述待识别体及相应的交互信息;待识别体的定义结束后,当所述待识别体仍处于所述信息识别装置2的视觉区域内时,所述待识别体可被识别,并通过所述信息处理单元12匹配相应的虚拟场景进行播放。
需要说明的是,所述增强现实交互系统100还应包括电源组件、信息输入组件等其他组件,在本发明的实施例中仅示例性的给出部分组件,并不意味着本发明的所述增强现实交互系统100仅包括上述组件。
请参阅图2所示,为本发明增强现实交互系统100的一个具体实施例,在本实施例中,所述增强现实交互系统100呈机器人形状设置,所述机器人包括头部(未标号)、连接在所述头部上的躯干部。所述信息识别装置2和所述播放装置3收容在所述机器人的头部,进一步的,在本实施例中所述影像采集单元22和所述图像播放装置31被伪装成所述机器人的眼睛。
如此设置,可保证所述影像采集单元22所能识别的视觉区域(即现实场景所在区域)与所述图像播放装置31播放的虚拟场景的区域一致,以达到将现实场景中的待识别体直接拟合至虚拟场景的目的,以提升所述增强现实交互系统100构建的虚拟场景的真实性。同时,所述机器人的头部可相对所述躯干部转动,继而带动所述影像采集单元22和所述图像播放装置31随之转动,以改变所述影像采集单元22进行识别的现实场景和所述图像播放装置31播放虚拟场景的区域。
所述控制装置1收容在所述机器人的躯干部内,且所述信息交互端口111设置在所述机器人的躯干部上,如此设置,可方便所述信息交互端口111与所述自定义装置4或其它虚拟场景存储设备连接。进一步的,所述音频采集单元21设置在所述机器人的躯干部上,以保证所述音频采集单元21音频采集的准确性;且所述语音播放装置32也设置在所述机器人的躯干部上,以保证所述语音播放装置32播放的声音清晰、易识别。
在本实施例中,所述机器人的底部还设有转轮,如此设置,可方便所述机器人形状的增强现实交互系统100的移动,有效提升本实施例增强现实交互系统100的适用性。
需要说明的是,在本发明的实施例中,仅以所述增强现实交互系统100设置成机器人形状为例进行举例说明,当然在其他实施例中,所述增强现实交互系统100中的各个组成部分也可根据实际情况收容安装在所述机器人的不同位置,所述增强现实交互系统100还可设置为其他形状,只需满足所述增强现实交互系统100的使用效果即可。
请参阅图3所示,为本发明提供的一种增强现实交互系统的使用方法,所述增强现实交互系统的使用方法包括以下步骤:
S1、根据用户或控制装置1发出的控制指令,信息识别装置2识别现实场景内待识别体的标识信息,并传递至控制装置1中;
S2、所述控制装置1对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置3中进行播放显示;
S3、所述信息识别装置2采集现实场景内与所述待识别体相关的交互信息,并传递至所述控制装置1中控制所述虚拟场景进行联动显示;或者,虚拟场景提示相应的交互信息,信息识别装置2对现实场景内的待识别体的交互信息进行采集,当所述交互信息匹配时,触发下一场景。
以下说明书部分将针对所述增强现实交互系统的使用方法进行详细的阐述。
所述步骤S1具体包括:
S11、接通所述增强现实交互系统100的电源,监听所述控制装置1发送的开始识别待识别体的通知;
S12、当监听到开始识别待识别体的通知时,所述信息识别装置2开始识别任务,并检测现实场景中是否包含待识别体;
S13、当所述信息识别装置2检测到待识别体时,所述信息识别装置2将待识别体携带的标识信息传递给所述信息处理单元12。
需要说明的是,在所述步骤S11中,所述控制装置1发送的开始识别待识别体的通知可以是开始游戏通知、开始互动通知、开启信息识别的通知等;当然所述控制装置1发送的开始识别待识别体的通知还可以为通过语音、物理按键或者触控的方式发出的实际指令,例如,“开始”的语音指令或者在虚拟场景中点击“开始”按钮等。
进一步的,在所述步骤S1中,所述播放装置3既可处于开启状态也可处于关闭状态,具体来讲,当所述播放装置3处于开启状态时,所述播放装置3播放的虚拟场景可以仅包括虚拟控制按钮信息,此时,所述信息识别装置2的识别任务即为检测现实场景中的待识别体作用在虚拟控制按钮上的交互信息,并根据所述交互信息进入与真实场景匹配的虚拟场景中。
而当所述信息识别装置2接收到开始识别待识别体的通知时,所述信息识别装置2开始识别任务,并检测现实场景中是否包含与虚拟场景匹配的待识别体,若所述信息识别装置2匹配检测到待识别体,则将待识别体的标识信息发送至信息处理单元12中进行处理;若未检测到待识别体,则控制装置1调整所述信息识别装置2的信号采集角度,直至检测到待识别体,并固定信息识别装置2的现实场景区域。
当然,所述播放装置3也可直接播放虚拟场景,此时所述待识别体的标识信息已经定义完成,即,所述信息识别装置2的识别任务为寻找与虚拟场景中的标识信息匹配的待识别体。
所述步骤S2具体为:所述控制装置1对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置3中进行播放显示。需要说明的是,在该过程中,所述虚拟场景的显示内容与所述信息识别装置2和所述播放装置3的位置有关,具体来讲,当所述虚拟场景与所述现实场景的位置重合时,所述待识别体直接显示在所述虚拟场景中并作为所述虚拟场景的一部分,当所述交互信息作用在所述待识别体上时,与所述待识别体相关的虚拟信息将在所述虚拟场景中联动显示,以便获取虚实相容的交互体验。
而当所述虚拟场景与所述现实场景的位置存在角度差时,所述虚拟场景中可提供待识别体的虚拟的像,进一步的,当所述交互信息作用在所述待识别体上时,虚拟场景中待识别体的像将进行联动显示,以将所述待识别体在虚拟场景中展示。
所述步骤S3具体为:所述信息识别装置2采集现实场景内与所述待识别体相关的交互信息,传递至所述控制装置1中并控制所述虚拟场景进行联动显示,实现交互目的;或者,虚拟场景提示相应的交互信息,信息识别装置2对现实场景内的交互信息进行采集,当虚拟场景和现实场景中的交互信息匹配时,触发下一场景。即,在本发明中,所述增强现实交互系统的使用方法与所述待识别体的类型及匹配的虚拟场景有关。
进一步的,在所述步骤S1之前,所述增强现实交互系统的使用方法还可包括所述步骤S0,所述步骤S0具体为:通过自定义装置4定义待识别体,并将所述待识别体的标识信息、交互信息与控制装置1中的虚拟场景进行匹配。所述步骤S0具体包括:
S01:取多个所述接触构件42固定设置在待识别体上;
S02:使用所述信息定义单元41对所述接触构件42进行识别,并与数据存储单元11中的虚拟场景进行匹配;
S03:将所述待识别体的交互信息匹配至所述虚拟场景节点位置,完成所述待识别体的定义。
定义后的待识别体可被所述信息识别装置2识别,进一步的,由于定义的待识别体中,每个所述接触构件42的设置位置、设置形式等信息均存在差别,因此,所述待识别体上的接触构件42形成的标识信息是单一的,可被所述信息识别装置2唯一识别,并匹配相应的虚拟场景进行播放,且所述虚拟场景将随交互信息联动显示,实现现实场景中待识别体与虚拟场景的叠加互动。
以下说明书部分将结合具体实施例,对所述增强现实交互系统的使用方法进行阐述。
实施例一:
在本实施例中,所述待识别体为书籍。首先,开启所述增强现实交互系统100,并将所述书籍放入所述信息识别装置2所能识别到的现实场景内,所述影像采集单元22将对书籍上的文字信息进行采集,并传递至信息处理单元12中进行匹配处理,匹配处理结束后,所述播放装置3将在虚拟场景范围内提示相应的匹配处理结果。
此时,用户可向所述增强现实交互系统100发送交互信息,如语音控制所述增强现实交互系统100使其朗读书籍中的内容,此时所述音频采集单元21采集相应的语音交互信息并经所述信息处理单元12处理后,通过语音播放装置32进行播放。
进一步的,当所述书籍为儿童陪伴型书籍,如睡前故事、童话等类型的书籍时,用户可预先通过所述信息定义单元41将亲自朗读的内容预存至数据存储单元11中,以使得儿童在使用本发明的增强现实交互系统100查看书籍时,预存的声音可作为虚拟场景的播放内容,使儿童易于接收,有效提高了本发明增强现实交互系统100的使用范围和用户友好度。
而对于纯文本类书籍,用户还可通过手指或红外LED笔头点击或圈取兴趣点位置,此时所述影像采集单元22将采集到的交互信息传递至所述信息处理单元12中,所述信息处理单元12对兴趣点位置的内容进行识别,并在虚拟场景中以图片、声音或视屏的形式进行输出。
进一步的,用户可在虚拟场景中将匹配的虚拟信息进行保存,以作为兴趣点位置处的注释。同时,所述虚拟场景中还可将匹配的信息以折叠或游戏的形式进行展示,用户若想获取相应的内容则需回答虚拟场景中匹配的问题或测试,当用户反馈的交互信息与虚拟场景中匹配的信息一致时,虚拟场景推进至下一情境中,如此设置,可以引导用户进行兴趣点位置知识点的关联,丰富书籍阅读、学习时的记忆力和想象力。
进一步的,当所述书籍为以图画为主的绘本时,所述影像采集单元22将采集绘本图像中的标识信息,进一步的,所述信息处理单元12接收相应的标识信息,并匹配虚拟场景通过所述播放装置3进行展示,需要说明的是,此时所述播放装置3播放的虚拟场景可为动画影像或是交互游戏等,此时,绘本不再是静态的,而是动态的且具有相应的交互内容的;同时,作为选项,用户还可根据虚拟场景中的提示或语音交互信息切换动画影像或是交互游戏中的语言,提升本发明增强现实交互系统100的交互性。
需要说明的是,在本实施例中,默认所述虚拟场景和所述现实场景为位置相同,虚拟场景中的书籍即为书籍的实体;当然在其他实施例中,所述虚拟场景和所述现实场景之间可以存在角度差异,此时虚拟图像中的书籍为影像采集单元22获取的书籍的像。
实施例二:
在本实施例中,所述待识别体为儿童玩具。使用初期,首先开启所述增强现实交互系统100,用户通过语音交互信息控制所述影像采集单元22工作,并获取现实场景内待识别体的标识信息,进一步的,所述信息处理单元12接收相应的标识信息,并匹配相应的虚拟场景,其中虚拟场景中的图像信息通过所述图像播放装置31进行播放;而虚拟场景中的音频信息则通过所述语音播放装置32进行播放。
在本实施例中,所述虚拟场景中的图像信息和/或音频信息还包括所述交互信息,具体来讲,在本实施例中,所述虚拟场景将通过图像信息和/或音频信息提示用户将待识别体转移至虚拟场景的相应区域,并通过所述信息处理单元12激发相应的虚拟场景的变化,其中所述虚拟场景的变化可以是一段对话的产生或是一段视频的推进。
进一步的,当所述虚拟场景的变化为一段对话的产生时,用户可扮演待识别体所代表的形象,与所述虚拟场景内的虚拟形象进行对话,同时所述音频采集单元21将采集用户发出的语音信息作为交互信息,传递至信息处理单元12进行判断,当所述用户发出的交互信息被所述信息处理单元12识别且与虚拟场景中的信息匹配时,将推进所述虚拟场景进入下一阶段。
需要说明的是,在本发明中,所述待识别体可设有一个或多个,当所述待识别体设有多个时,所述待识别体可分别代表虚拟场景中的虚拟形象,此时交互信息可为多个用户之间的对话;进一步的,在对话准备过程中,所述虚拟场景是以静止图片的形式进行播放的。
综上所述,本发明的增强现实交互系统100及增强现实交互系统的使用方法,通过所述音频采集单元21和所述影像采集单元22对待识别体进行识别,并通过所述信息处理单元12和所述数据存储单元11匹配相应的虚拟场景,使得现实场景和虚拟场景叠加显示,并进一步通过音频采集单元21和所述影像采集单元22获取相应的交互指令,继而带动虚拟场景发生变化,产生场景交互的效果,从而实现虚拟和现实世界之间的互动;同时,所述增强现实交互系统100还可通过虚拟场景引导用户进行操作,并推进虚拟场景的发展,进一步提升了本发明增强现实交互系统100的交互性,使得用户可通过所述虚拟场景获得虚拟交互体验。同时,本发明中自定义装置4的设置,使得本发明的所述增强现实交互系统100可根据用户需要匹配多种虚拟场景,进一步提升了本发明增强现实交互系统100的适用性。
以上实施例仅用于说明本发明而并非限制本发明所描述的技术方案,对本说明书的理解应该以所属技术领域的技术人员为基础,尽管本说明书参照上述的实施例对本发明已进行了详细的说明,但是,本领域的技术人员应当理解,所属技术领域的技术人员仍然可以对本发明进行修改或者等同替换,而一切不脱离本发明的精神和范围的技术方案及其改进,均应涵盖在本发明的权利要求范围内。
Claims (10)
1.一种增强现实交互系统,其特征在于,包括:控制装置、分别与所述控制装置电性连接的信息识别装置和播放装置,所述信息识别装置用于获取现实场景内待识别体的标识信息和交互信息,并传递至所述控制装置中;所述控制装置用于对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置中进行播放;所述控制装置还用于根据接收到的所述交互信息对所述虚拟场景进行修改并在所述播放装置中联动显示。
2.根据权利要求1所述的增强现实交互系统,其特征在于:所述增强现实交互系统还包括自定义装置,所述自定义装置包括信息定义单元以及与所述信息定义单元对应设置的多个接触构件,所述信息定义单元与所述控制装置电性连接,所述接触构件设置在所述待识别体上,所述信息定义单元可根据所述接触构件的排布定义待识别体,与所述控制装置中的虚拟场景匹配。
3.根据权利要求1所述的增强现实交互系统,其特征在于:所述信息识别装置包括音频采集单元和影像采集单元,所述音频采集单元用于接受语音交互信息;所述影像采集单元用于识别现实场景内一个或多个待识别体的标识信息及发生在每个所述待识别体上的交互信息。
4.根据权利要求3所述的增强现实交互系统,其特征在于:所述标识信息至少包括所述待识别体的形状信息和位置信息;所述交互信息至少包括语音信息、动作信息、运动位置、运动轨迹及运动方式信息。
5.根据权利要求3所述的增强现实交互系统,其特征在于:所述影像采集单元至少包括红外摄像头、双目视觉传感器、激光散斑检测装置、深度摄像头及单目摄像头中的一种或几种。
6.根据权利要求1所述的增强现实交互系统,其特征在于:所述控制装置包括数据存储单元和信息处理单元,所述数据存储单元用于存储虚拟场景;所述信息处理单元分别与所述数据存储单元、信息识别装置及所述播放装置电性相连,以根据所述信息识别装置采集的标识信息和交互信息匹配和调用数据存储单元中的虚拟场景,并通过所述播放装置播放。
7.根据权利要求6所述的增强现实交互系统,其特征在于:所述数据存储单元设有信息交互端口,所述数据存储单元通过所述信息交互端口获取所述虚拟场景,所述虚拟场景至少包括图片信息、声音信息、视频信息及交互游戏;所述虚拟场景还包括所述信息处理单元通过所述信息交互端口直接调用的互联网信息。
8.根据权利要求1所述的增强现实交互系统,其特征在于:所述播放装置包括图像播放装置和语音播放装置,且所述图像播放装置的投影角度可调。
9.一种增强现实交互系统的使用方法,所述增强现实交互系统包括:控制装置、分别与所述控制装置电性连接的信息识别装置和播放装置,其特征在于,所述增强现实交互系统的使用方法包括以下步骤:
S1、根据用户或控制装置发出的控制指令,信息识别装置识别现实场景内待识别体的标识信息,并传递至控制装置中;
S2、所述控制装置对所述标识信息进行处理,以生成相应的虚拟场景,并传递至所述播放装置中进行播放显示;
S3、所述信息识别装置采集现实场景内与所述待识别体相关的交互信息,并传递至所述控制装置中控制所述虚拟场景进行联动显示;或者,虚拟场景提示相应的交互信息,信息识别装置对现实场景内的待识别体的交互信息进行采集,当虚拟场景和现实场景中的交互信息匹配时,触发下一场景。
10.根据权利要求9所述的增强现实交互系统的使用方法,其特征在于:所述增强现实交互系统还包括自定义装置,所述自定义装置用于定义待识别体,并将待识别体的标识信息和交互信息与控制装置中的虚拟场景进行匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001344.9A CN108874156A (zh) | 2018-08-30 | 2018-08-30 | 增强现实交互系统及其使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001344.9A CN108874156A (zh) | 2018-08-30 | 2018-08-30 | 增强现实交互系统及其使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108874156A true CN108874156A (zh) | 2018-11-23 |
Family
ID=64322513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811001344.9A Pending CN108874156A (zh) | 2018-08-30 | 2018-08-30 | 增强现实交互系统及其使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108874156A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321002A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种场景交互系统及交互方法 |
CN111260792A (zh) * | 2018-12-03 | 2020-06-09 | 广东虚拟现实科技有限公司 | 虚拟内容显示方法、装置、终端设备及存储介质 |
CN111324409A (zh) * | 2020-02-14 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 基于人工智能的互动方法和相关装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
US20160284134A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
CN107029424A (zh) * | 2017-05-10 | 2017-08-11 | 北京派希教育科技有限公司 | 一种用于增强现实的积木搭建系统及方法 |
CN206574041U (zh) * | 2017-01-20 | 2017-10-20 | 程成 | 一种ar地图系统 |
CN107390875A (zh) * | 2017-07-28 | 2017-11-24 | 腾讯科技(上海)有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
CN108245891A (zh) * | 2016-12-29 | 2018-07-06 | 中兴通讯股份有限公司 | 一种头戴式设备、游戏交互平台、桌游实现系统及方法 |
CN108269307A (zh) * | 2018-01-15 | 2018-07-10 | 歌尔科技有限公司 | 一种增强现实交互方法及设备 |
CN208622062U (zh) * | 2018-08-30 | 2019-03-19 | 合肥虹慧达科技有限公司 | 增强现实交互系统 |
-
2018
- 2018-08-30 CN CN201811001344.9A patent/CN108874156A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习系统及方法 |
CN104102412A (zh) * | 2014-07-24 | 2014-10-15 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
US20160284134A1 (en) * | 2015-03-24 | 2016-09-29 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
CN108245891A (zh) * | 2016-12-29 | 2018-07-06 | 中兴通讯股份有限公司 | 一种头戴式设备、游戏交互平台、桌游实现系统及方法 |
CN206574041U (zh) * | 2017-01-20 | 2017-10-20 | 程成 | 一种ar地图系统 |
CN107029424A (zh) * | 2017-05-10 | 2017-08-11 | 北京派希教育科技有限公司 | 一种用于增强现实的积木搭建系统及方法 |
CN107390875A (zh) * | 2017-07-28 | 2017-11-24 | 腾讯科技(上海)有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
CN108269307A (zh) * | 2018-01-15 | 2018-07-10 | 歌尔科技有限公司 | 一种增强现实交互方法及设备 |
CN208622062U (zh) * | 2018-08-30 | 2019-03-19 | 合肥虹慧达科技有限公司 | 增强现实交互系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260792A (zh) * | 2018-12-03 | 2020-06-09 | 广东虚拟现实科技有限公司 | 虚拟内容显示方法、装置、终端设备及存储介质 |
CN110321002A (zh) * | 2019-05-09 | 2019-10-11 | 深圳报业集团控股公司 | 一种场景交互系统及交互方法 |
CN111324409A (zh) * | 2020-02-14 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 基于人工智能的互动方法和相关装置 |
CN111324409B (zh) * | 2020-02-14 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 基于人工智能的互动方法和相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN208622062U (zh) | 增强现实交互系统 | |
CN110900617B (zh) | 机器人及其操作方法 | |
US7065711B2 (en) | Information processing device and method, and recording medium | |
CN108881784A (zh) | 虚拟场景实现方法、装置、终端及服务器 | |
CN108874156A (zh) | 增强现实交互系统及其使用方法 | |
CN109287116A (zh) | 录制和广播应用视觉输出 | |
CN110457096A (zh) | 多参与者实时通信用户界面 | |
JP2022551660A (ja) | シーンのインタラクション方法及び装置、電子機器並びにコンピュータプログラム | |
JP2020537206A (ja) | ロボットインタラクションのための方法及びデバイス | |
CN208141466U (zh) | 一种基于机器人的签到装置及系统 | |
CN110154056A (zh) | 服务机器人及其人机交互方法 | |
JP2001245269A (ja) | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 | |
CN108108012A (zh) | 信息交互方法和装置 | |
CN103430217A (zh) | 输入支持装置、输入支持方法及记录介质 | |
CN112749956B (zh) | 信息处理方法、装置及设备 | |
JP2022188081A (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
CN107645523A (zh) | 一种情绪交互的方法和系统 | |
TW201228332A (en) | Mobile electronic device | |
WO2022121592A1 (zh) | 一种直播互动方法及装置 | |
CN108564943A (zh) | 语音交互方法及系统 | |
CN109119080A (zh) | 声音识别方法、装置、穿戴式设备及存储介质 | |
TW200910203A (en) | Device for information communication and interaction and method for the same | |
US20180157397A1 (en) | System and Method for Adding Three-Dimensional Images to an Intelligent Virtual Assistant that Appear to Project Forward of or Vertically Above an Electronic Display | |
WO2022193635A1 (zh) | 客服服务系统、方法、装置、电子设备及存储介质 | |
Valencia et al. | Aided nonverbal communication through physical expressive objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |