CN108351705B - 用于在物理环境与数字环境中转变增强现实对象的装置、方法和设备 - Google Patents
用于在物理环境与数字环境中转变增强现实对象的装置、方法和设备 Download PDFInfo
- Publication number
- CN108351705B CN108351705B CN201680067068.9A CN201680067068A CN108351705B CN 108351705 B CN108351705 B CN 108351705B CN 201680067068 A CN201680067068 A CN 201680067068A CN 108351705 B CN108351705 B CN 108351705B
- Authority
- CN
- China
- Prior art keywords
- sensor
- information carrying
- digital
- renderable
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
所描述的是与在物理环境与数字环境之间转变增强现实对象相关联的装置、方法和存储介质,其中所述增强现实对象被具体化为至少两个信息携带对象,所述信息携带对象包括传感器启用物理对象和数字对象。
Description
相关申请
本申请要求2015年12月16日提交的题为“TRANSITIONING AUGMENTED REALITYOBJECTS IN PHYSICAL AND DIGITAL ENVIRONMENTS(在物理环境与数字环境中转变增强现实对象)”的美国申请No.14/971,781的优先权权益。
技术领域
本公开涉及计算领域。更具体地,本公开涉及增强现实对象以及在物理环境与数字环境之间转变增强现实对象。
背景技术
本文中所提供的背景描述用于总地呈现本公开的上下文的目的。除非在本文中另有指示,本部分中描述的材料不是本申请中的权利要求的现有技术,并且不因为包含在本部分中而被承认为现有技术。
已知游戏计算机包括允许用户控制屏幕上对象的控制器。例如,可转动控制器上的轮来围绕数字轨道操纵汽车的数字表示或者可摆动手持棒来将数字保龄球“投掷”到或使其“滚”落保龄球道的数字表示。然而,汽车或保龄球的数字表示不会转变至真实物理环境中,也不会回到数字环境。附图简述
通过下列具体实施方式连同附图,将容易理解实施例。为了助益此描述,相同的附图标记指示相同的结构元件。在附图中,通过示例而非限制来例示实施例。
图1是根据各实施例的例示出网络(一个或多个)、计算设备以及这些组件的物理和逻辑关系的网络和设备图;图1还包括增强显示对象在物理实施例、数字实施例之间转变并回到物理实施例的示例的例示。
图2是例示出增强现实服务器的示例的功能框图。
图3是例示出增强现实服务器数据存储的示例的框图。
图4是例示出可由模态跟踪模块实践的方法的示例的流程图。
图5是例示出可由致动器模块实践的方法的示例的流程图。
图6是例示出可由传感器模块实践的方法的示例的流程图。
图7是例示出增强现实对象在多个环境之间以及在多于一个位置中转变的示例的功能框图。
图8是例示出若干个增强现实对象在环境之间转变的示例的功能框图。
图9A是例示出环境中的增强现实对象的示例的功能框图。
图9B是图9A的增强现实对象转变至另一环境的功能框图。
具体实施方式
在以下详细描述中,参考形成本文一部分的附图,其中相同的标记指示全文中相同的部分,并且其中通过例示示出了可以实现的实施例。应理解,可利用其它实施例并作出结构或逻辑改变而不背离本公开的范围或精神。因此,以下详细描述不旨在作为限制,并且实施例的范围由所附权利要求及其等效方案来限定。
可以将各操作描述为多个分立动作或操作,进而按照在理解要求保护的主题时最有帮助的方式来描述各操作。然而,不应将描述的顺序解释为意味着这些操作必然取决于次序。具体而言,可以不按照呈现的次序执行这些操作。可以以不同于描述的实施例的次序执行描述的操作。在附加的实施例中,可以执行各种附加操作和/或可以省略描述的操作。
对于本公开的目的,短语“A和/或B”意思是(A)、(B)或(A和B)。对于本公开的目的,短语“A、B和/或C”意思是(A)、(B)、(C)、(A 和B)、(A和C)、(B和C)或(A、B和C)。
说明书可使用短语“在一个实施例中”或“在多个实施例中”,其每一个可指代相同或不同实施例中的一个或多个。此外,相对于本公开的实施例使用的术语“包含”、“包括”、“具有”等是同义的。使用不具有字母后缀的附图标记来引用一类组件,包含以该共同参号编号例示的所有组件。
如本文中所使用的那样,术语“模块”可指执行提供所描述功能的一个或多个软件或固件程序、组合逻辑电路和/或其他合适的组件的专用集成电路 (ASIC)、片上系统(SoC)、电子电路、处理器(共享的、专用的或成组的) 和/或存储器(共享的、专用的或成组的),或可以是上述各项的部分,或可包括上述各项。
概括而言,所公开的是用于在物理环境与数字环境之间转变增强现实对象的方法和装置,其中增强现实对象可作为信息携带对象(“ICO”)存在于任一环境中,其中传感器针对第一ICO进行监视,该第一ICO使增强现实对象具体化,其中传感器还针对第一环境中第一ICO的特性进行监视,其中该特性的参数被测量,其中该特性是用于在第二环境中以第二ICO实例化增强现实对象的转变事件触发,其中致动器激活第二ICO的可呈现属性,并且其中该可呈现属性根据参数而与第一ICO特性相近似。
参考图1,例示了增强现实对象服务器-1 200。增强现实对象服务器-1 200 在图2中进一步被例示为包括模态跟踪模块400(在图4中进一步被例示)、致动器模块500(在图5中进一步被例示)、传感器检测模块600(在图6中进一步被例示)以及数字对象呈现模块260。这些模块经由本地网络155(或经由网络150)与传感器120、致动器135和显示器125通信。
传感器120和致动器135感测并控制ICO-1传感器启用设备-1 115、ICO-2 显示对象130以及ICO-3传感器启用设备-2 140。
传感器120可以是物理环境中的对象的传感器,诸如麦克风、压力传感器、运动传感器、相机、电容表面、传导检测器、电磁能量(诸如RF、红外线、可见光等)检测器、振动检测器、邻近度检测器、基准标记检测器等等。
例如,传感器120可检测被投掷于或者以其他方式变得邻近于或接触触摸敏感或邻近敏感屏幕、目标或显示器的物理对象,诸如豆袋(bean-bag)或泡沫飞镖(foam dart)。触摸敏感或邻近敏感屏幕、目标或显示器可被并入数字呈现设备(诸如例如,显示器125)中。在此示例中,传感器120可经由跟踪对象的一个或多个相机、经由显示器中的触摸敏感或邻近敏感检测器、经由声学传感器等来检测对象。
传感器120还可以是数字环境中的对象(如可在例如显示器125中被呈现) 的传感器;在此情形中,传感器120可包括由传感器模块向数字对象呈现模块和/或向操作系统进行的注册。此类注册可允许传感器120接收与数字环境中数字对象的呈现有关的信息。
不论在物理环境中还是在数字环境中测量对象,传感器120都可检测例如相应环境中对象的数字或物理特性。这些特性可包括例如时间、定向、位置、位置变化速率、相对位置、编码信息、颜色以及声音。定向、位置和位置变化速率可相对于传感器120、相对于另一对象(诸如相对于触摸敏感屏幕、相对于屏幕的边缘,这都可被理解为另一数字对象)或者相对于外部参照系。此类特性中的某些可以是转变事件触发(本文会进一步讨论),在此情形中,此类特性可作为特性340记录被存储在增强现实数据存储300中。
对选择哪个/哪些对象来感测和/或记录相关特性可根据以下来进行:此类对象是否可被标识为信息携带对象(“ICO”),诸如ICO-1传感器启用设备 -1 115、ICO-2显示对象130以及ICO-3传感器启用设备-2 140。将ICO与其他对象区分开可例如通过模态跟踪模块400和/或传感器检测模块600来执行。
在物理环境中,ICO可包括物理对象,该物理对象包括以声学能量、电磁辐射、电能、加速度以及磁场编码的信息中的至少一个的发射器。例如,物理 ICO可包括由具有条形码、QR码或其他可识别结构或图案、RFID、有源或无源收发机等的广泛材料(塑料、金属、木、复合材料或其他)制成的豆袋、球、飞镖、块、建筑块等。物理ICO还可包括此类信息的检测器以及能够将此类所检测信息(或其结果)传送或传达至传感器120的传送器。两个示例在本文中被称为“传感器启用设备”,因为它们是传感器(诸如传感器120)能够检测的对象或设备。关于此类物理ICO的记录可作为传感器启用对象315被存储在增强现实数据存储300中。
在数字环境中,ICO可包括以数字对象编码的信息。数字对象ICO可包括经呈现特性,诸如像素、音频、振动或其他触觉输出(经由触觉发射器)、气味(经由化学发射器)等。关于此类数字ICO的记录可作为数字对象320被存储在增强现实数据存储300中。传感器启用对象315和数字对象320记录两者可以是信息携带对象310记录的子类型。
在物理对象和数字对象ICO两者的情形中,ICO可编码标识符或与标识符相关联,该标识符和附加信息可被存储于传感器启用对象315、数字对象320 和/或信息携带对象310记录中。
致动器(诸如致动器135)可控制数字或物理环境中的对象(包括ICO)。在物理环境的情形中,致动器可包括以下各项中的至少一者:扬声器;触觉输出设备(诸如触觉设备110);马达(包括伺服系统、旋转马达、线性马达、压电传感器和致动器);开关;压缩水、空气或其他气体或流体的源;抛射体喷射设备(诸如枪,不论是弹簧装填式、压缩空气式还是其他类型)及其控制器;数字呈现模块(例如,其中具有数字呈现模块的物理对象);和/或用于控制由ICO包括的物理对象发射或经受的声学能量发射、电磁辐射发射、电能应用、磁场和加速度或减速度的另一方法。在数字环境的情形中,致动器可包括向数字对象呈现模块和/或操作系统的注册。此类注册可允许致动器135控制数字环境中对数字图像的呈现。
ICO、传感器、致动器以及增强现实服务器可被配对。
在物理环境和数字环境两者中,增强现实服务器-1 200可通过使用传感器检测模块600和传感器120来检测ICO的特性。特性中的某些可以是转变事件触发,发信号通知增强现实对象将从第一增强现实对象状态转变至第二增强现实对象状态。增强现实对象状态可作为ARO状态370记录被存储于增强现实数据存储300中。在第一增强现实对象状态中,增强现实对象305能以第一ICO 来具体化;在第二增强现实对象状态中,增强现实对象305能以第二ICO来具体化。转变事件触发可作为转变事件触发345被存储于增强现实数据存储300中。
例如,在图1中,增强现实服务器-1 200可经由模态跟踪模块400、传感器120以及传感器检测模块600来检测人1 105已投掷由ICO-1传感器启用设备-1 115表示的泡沫飞镖、球等等。ICO-1传感器启用设备-1 115朝向目标(诸如显示器125)或在目标的邻近区内的靠近可以是与ICO-1传感器启用设备-1 115相关联的特性340同时也是转变事件触发345,发信号通知增强现实对象应当从第一状态,即ARO状态370(其中增强现实对象305以ICO-1传感器启用设备-1 115来具体化)转变至第二ARO状态370(其中增强现实对象以ICO-2 显示对象130来具体化)。
增强现实对象从ICO-1传感器启用设备-1 115至ICO-2显示对象130的转变可通过由模态跟踪模块400确定与所检测特性340相关的转变事件输出来实现。转变事件输出可包括一系列输出,这取决于什么被确定为下一ICO。转变事件输出可作为转变事件输出350被存储在增强现实数据存储300中。转变事件输出350还可与增强现实对象305的后续状态相关联。
对于增强现实对象305的当时-当前(then-current)状态,模态跟踪模块400可标识一个或多个ICO,该一个或多个ICO可以是增强现实对象305的当时-当前状态下的该增强现实对象305的容器或者可以其他方式来使该增强现实对象305具体化。例如,ICO-2显示对象130可被标识为用于使增强现实对象305具体化的ICO。
模态跟踪模块400可确定与所确定ICO相关联的可呈现属性。例如,可呈现属性可以是数字显示对象的形状、声音、运动、与其他对象的交互的方式等等。可呈现属性可作为例如可呈现属性355记录被存储在增强现实服务器-1 200中。可呈现属性355记录可进一步与参数相关联,该参数可作为可呈现属性参数360被存储在增强现实数据存储300中。可呈现属性参数360可以是可呈现属性355的可变方面,诸如速度、角度、颜色等等。模态跟踪模块400可基于例如可呈现属性355与可呈现属性参数360这两者之间的表、链、关联或者类似映射或对应性来确定可呈现属性355和可呈现属性参数360。可呈现属性参数360可以是ICO的所测量特性;该所测量特性可以是特性340或传感器数据325,尽管其不必也是转变事件触发345。
如由可呈现属性参数360部分确定的可呈现属性355可被呈现在ICO-2 显示对象130中以与ICO-1传感器启用设备-1的特性340相近似,使得ICO-2 显示对象130在被呈现时与ICO-1传感器启用设备-1的特性340相近似。在图 1所例示的示例中,ICO-2显示对象130可被呈现为按从ICO-1传感器启用设备-1的特性340确定的速度和角度跨显示器125移动。
在图1所例示的示例中,ICO-2显示对象130与显示器125中呈现的窗口边界或另一数字对象的接触可由传感器120来检测并且可被增强现实服务器-1 200和模态跟踪模块400确定为与转变事件触发340记录相关联,该转变事件触发345记录用于经由转变事件输出350、致动器135和ICO-3传感器启用设备-2 140将增强现实对象305从显示器125转变至物理环境。与之前一样,可从ICO-2显示对象130的特性340确定可呈现属性355,该可呈现属性355可与ICO-2显示对象130的特性340相近似。可呈现属性355可通过致动器135 来实现,该致动器135可例如以从ICO-2显示对象130的特性340导出或者受其影响的速度和角度来射出ICO-3传感器启用设备-2 140。
在图1所例示的示例的另一视图中,人-1 105或不同的人可向显示器125 投掷ICO-1传感器启用设备-1 115。ICO-1传感器启用设备-1 115可被解释为蜘蛛或可具有例如蜘蛛的物理形状。ICO-1传感器启用设备-1 115邻近显示器 125可与转变事件触发340记录相关联,转变事件触发340记录用于将增强现实对象306从“蜘蛛”ICO-1传感器启用设备-1115转变至蜘蛛的图形表示,该图形表示可以是ICO-2显示对象130。转变事件输出350和可呈现属性355 可由致动器135实现为使“蜘蛛”ICO-2显示对象130跨显示器125“爬行”。“蜘蛛”ICO-2显示对象130跨显示器125的“爬行”速度可从关于ICO-1传感器启用设备-1 115测量的特性340记录导出。ICO-2显示对象130的“蜘蛛”与显示器125中窗口的边界的接触可由传感器120检测到并且可与转变事件触发345记录相关联,该转变事件触发345记录用于将“蜘蛛”增强现实对象305 从ICO-2显示对象130的“蜘蛛”转变成触觉输出。在该示例的此视图中,触觉设备110可位于人-1 105的臂部上,该臂部保持或邻近于显示器125的由 ICO-2显示对象130的“蜘蛛”接触的一侧。如由模态跟踪模块400实现的结果所得的转变事件输出350和可呈现属性355可随后导致触觉设备110的振动,该振动具有从ICO-2显示对象130的“蜘蛛”跨显示器125的移动的特性340 得出的频率。
同样在图1中例示出的是增强现实服务器-2 145。增强现实服务器-2 145 是与增强现实服务器-1 200类似的计算设备的第二示例,增强现实服务器-2 145使类似的模块具体化并与同本地网络155内所例示的那些相类似组件和人通信。增强现实服务器-1 200和增强现实服务器-2 145可一起工作以允许两个或更多个人和/或组件参与共享交互式会话,诸如其中ICO-2显示对象130 同样或替代地在增强现实服务器-2 145本地的数字显示器上显示。
网络150和本地网络155可包括计算机、计算机之间的网络连接以及用于实现网络连接上的计算机之间的通信的软件例程。网络150可被用于启用相对长程的通信(诸如例如,增强现实服务器-2 145与增强现实服务器-1 200或者本地网络155内的组件之间的通信),而本地网络155可被用于启用相对短程的通信(诸如例如,增强现实服务器-1 200与致动器135之间的通信)。示例包括以太网、因特网和/或无线网络,诸如GSM、TDMA、CDMA、EDGE、HSPA、LTE或由无线服务供应商提供的其他网络。与网络150或本地网络155 的连接可经由有线或无线连接,诸如Wi-Fi连接。所例示设备之间的通信会话中可涉及多于一个网络。与网络150和/或本地网络155的连接可能需要计算机执行实现例如无线电话网络中计算机联网的OSI模型的七层或等效物的软件例程。
本文可作如下讨论:第一计算机连接至第二计算机(诸如显示器125连接至增强现实服务器-1 200)或连接至对应数据存储(诸如连接至增强现实数据存储300);应当理解,此类连接可连至、通过或经由所述两组件中的另一者 (例如,计算设备与增强现实服务器-1 200连接或将数据发送至增强现实服务器-1 200的陈述应当被理解为表述计算设备可与增强现实数据存储300连接或将数据发送至增强现实数据存储300)。本文对“数据库”的引用应当被理解为等同于“数据存储”。虽然被例示为集成在一个物理单元中的组件,但是计算机和数据库可通过公共(或分开)的物理硬件以及公共(或分开)的逻辑处理器和存储器组件来提供。虽然被讨论为发生在一个计算设备中,但软件例程以及软件例程所使用的数据组可通过例如应用虚拟化相对于计算机中的任何来远程地存储和/或执行。
图2是示例性增强现实服务器-1 200计算设备以及其一些数据结构和/或组件的功能框图。图2中的增强现实服务器-1可包括至少一个处理单元210、增强现实服务器存储器250、显示器240以及输入245,所有这些可经由总线 220与网络接口230互连在一起。处理单元210可包括一个或多个通用中央处理单元(“CPU”)212以及一个或多个专用图形处理单元(“GPU”)214。处理单元210的组件可被操作系统255用于增强现实服务器-1 200所执行的例程所需的不同功能。网络接口230可被用于形成与网络150、本地网络155的连接或用于形成与其他计算机的设备至设备连接。增强现实服务器存储器250一般可包括随机存取存储器(“RAM”)、只读存储器(“ROM”)以及永久大容量存储设备,诸如硬盘驱动器、SDRAM(同步动态随机存取存储器)或SSD(固态驱动器)。增强现实服务器存储器250可存储软件例程或模块的程序代码,这些软件例程或模块诸如例如模态跟踪模块400、致动器模块500、传感器检测模块600和数字对象呈现模块260,以及例如浏览器、电子邮件客户端和服务器例程、客户端应用和数据库应用(下面进一步讨论)。用于例程(诸如用于web服务器和web浏览器)的附加数据组也可存在于增强现实服务器-1 200 上并由该增强现实服务器-1 200执行。web服务器和浏览器例程可提供用于例如通过web服务器和web浏览器例程(其可供应网页和html文档或文件形式的数据和信息以及对网页和html文档或文件形式的数据和信息作出响应)与图1所例示的其他计算设备或者与未在图1中例示的其他计算设备交互的接口。浏览器和web服务器意在例示一般的用户界面和用户界面启用例程,并且可由用于将信息供应和呈现至计算设备中的用户界面以及在计算设备中的用户界面中供应和呈现信息(不管是在web浏览器中还是在例如移动设备应用中) 的等效例程替来代。
此外,增强现实服务器存储器250还可存储操作系统255。可通过使用与非瞬态计算机可读存储介质295(诸如软盘、磁带、DVD/CD-ROM驱动器、存储卡或其他类似存储介质)相关联的驱动机制(未示出)来将这些软件组件从非瞬态计算机可读存储介质295加载至计算设备的增强现实服务器存储器250 中。在一些实施例中,软件组件还可以或替代地经由除驱动机制和计算机可读存储介质295以外的机制(例如,经由网络接口230)来加载。
增强现实服务器-1 200还可包括硬件支持输入模态,即输入245,诸如例如,触摸屏、相机、键盘、鼠标、跟踪球、手写笔、运动检测器以及麦克风。输入245还可充当显示器240,如在触摸屏显示器的情形中,该触摸屏显示器也充当输入245,并且该触摸屏显示器可对通过手指或手写笔与输入245的表面的接触形式的输入作出响应。显示器240表示能够呈现图形、音频、气味、振动等的任何技术。显示器240的示例是图1中的显示器125。
增强现实服务器-1 200还可包括图3中所进一步例示的增强现实数据存储300或经由总线220与该增强现实数据存储300通信。在各实施例中,总线 220可包括存储区域网络(“SAN”)、高速串行总线和/或经由其他合适的通信技术。在一些实施例中,增强现实服务器-1 200可经由网络接口230与增强现实数据存储300通信。在一些实施例中,增强现实服务器-1 200可包括比本附图中所示的那些组件更多的组件。然而,为了公开示例性实施例,不一定要显示所有这些一般常规组件。
图3是在图2的计算设备中例示的增强现实数据存储300的功能框图。增强现实数据存储300的组件305-399可包括由例程使用的数据组。图3中所例示的由例程使用的数据组可由列中的单元或数字文档或文件中的所定义结构中与其他值分开的值来表示。虽然在本文中被称为个体记录或条目,但是记录可包括多于一个数据库条目。数据库条目可以是、可表示或可编码数字、数字运算符、二进制值、逻辑值、文本、字符串运算符、联接、条件逻辑、测试等等。增强现实数据存储300的组件305-399在本文剩余附图的讨论中进一步来讨论。
图4是例示出如可由增强现实服务器-1 200执行的模态跟踪模块400的示例的流程图。在框405处,模态跟踪模块400可接收用于启动的指令并且可加载一个或多个增强现实对象305记录,该增强现实对象305记录表示增强现实对象——模态跟踪模块400将跟踪该增强现实对象和/或将该增强现实对象从一个状态转变至另一状态。例如,游戏、视频、虚拟现实环境、数字对象呈现模块260等等可指定表示人或动物、无生命对象等等的增强现实对象。
在框410处,模态跟踪模块400可诸如根据ARO状态370记录来确定框 405的增强现实对象305的当前状态。当前状态可确定例如增强现实对象305 是在物理环境中以物理对象具体化还是在数字环境中以数字对象具体化。当前状态可被定义为起始默认状态、可基于先前状态、和/或可基于可用环境(诸如ICO是在物理环境中可用还是在数字环境中可用)、和/或可基于与虚拟现实环境的用户交互。
开环框415至闭环框485可针对增强现实对象305的当时-当前状态进行迭代。
在框420处,模态跟踪模块400可标识一个或多个(一组)信息携带对象 (“ICO”),该一个或多个(一组)信息携带对象(“ICO”)可以是当时- 当前状态下的增强现实对象305的容器或可被用于表示当时-当前状态下的增强现实对象305。一般ICO可在增强服务器存储器300中被表示为信息携带对象310和/或特定类型的信息携带对象310记录,诸如传感器启用对象315和数字对象320记录。在许多情形中,可存在多于一个ICO,该多于一个ICO可以是当时-当前状态下的增强现实对象305的容器或者可被用于表示当时-当前状态下的增强现实对象305。在一些情形中,对ICO容器的标识可包括对可用 ICO的子集的选择。例如,在虚拟现实环境指定增强现实对象305(其为武器) 的情况下,如果框410的当前ARO状态处于物理环境中,并且如果ICO(其为压缩气枪中各种颜色的泡沫飞镖)的集合可用,则容器ICO可被确定为特定颜色的泡沫飞镖。
在框425处,模态跟踪模块400可标识与框405的增强现实对象305相关的以及框420的容器ICO的一个或多个可呈现属性355记录。注意,可呈现属性可以是数字显示对象的形状、声音、运动、与其他对象的交互方式等等。可基于框405的增强现实对象305、如在框410中确定的增强现实对象的当前状态以及框420的容器ICO来确定可呈现属性355。此对应可在例如一个或多个可呈现属性图(Map)330记录中提供。例如,使用前述示例,在虚拟现实环境指定增强现实对象305(其为武器)的情况下,如果框410的当前ARO状态处于物理环境中,并且如果框420的容器ICO是特定颜色的泡沫飞镖,则可呈现属性图330记录可指定该泡沫飞镖可通过使用可变气压量并在可变方向上来射出。
在框430处,模态跟踪模块400可确定与框425的可呈现属性355记录(一个或多个)相关联的一个或多个参数。参数(一个或多个)可以是例如可变气压量和可变方向。这些参数的值可基于另一ICO的特性340(如果有的话)(如本文进一步讨论的)、可基于传感器数据325(该传感器数据325可与特性340 相关联或者在特性340被检测到时已被记录)、可基于其他输入(诸如来自本地或者连接至第一或另一增强现实服务器的远程位置处的人的输入)。可呈现属性参数可在增强现实数据存储300中被记录为可呈现属性参数360记录。
在框435处,模态跟踪模块400可将可呈现属性355以及可呈现属性参数 360值(一个或多个)输出至致动器模块500以供由例如致动器135(位于如以上示例中所讨论的物理环境中,或位于诸如显示器125之类的数字环境中) 进行致动或实现。
在框500处,模态跟踪模块400可执行致动器模块500。进一步关于图5 来描述致动器模块500。简而言之,致动器模块500以信息携带对象310来实现增强现实对象305。
在框445处,模态跟踪模块400可将框420的信息携带对象310记录的集合输出至传感器检测模块600,从而传达具体化增强现实对象的当时-当前状态的ICO。这允许传感器检测模块600相对于所感测的此类ICO的行为(由传感器检测模块600感测)来监测与此类ICO相关联的特性340记录。
在框450处,模态跟踪模块400可获得与当时-当前ICO相关联的转变事件触发345记录,当它们在在由传感器检测的数据中获得这些记录时,触发或导致增强现实对象从当时-当前状态转变至另一状态,如可在ARO状态370记录中描述或记录的。
在框600处,模态跟踪模块400可执行传感器检测模块600,以便于传感器检测模块600将连接至传感器(一个或多个)、测量与ICO相关的传感器数据(其可作为传感器数据325来存储)并针对与特性340记录的匹配监视ICO 传感器数据。进一步相对于图6来描述传感器检测模块600。
在框460处,模态跟踪模块400可检测或接收与特性340的匹配以及相关联传感器数据325。
开环框465至闭环框480可在框460中接收或标识的特性340和传感器数据325上进行迭代。
在判决框470处,模态跟踪模块400可确定在框460中接收或标识的所接收特性340和传感器数据325是否也与转变事件触发345记录(一个或多个) 相关联,使得它们可导致增强现实对象305的状态的转变。如果是肯定的,则在框475处,模态跟踪模块400可确定或标识与框470的转变事件触发345记录(一个或多个)相关联的一个或多个转变事件输出350记录。转变事件输出 350记录(一个或多个)可标识增强现实对象305要被转变至后续增强现实对象状态,即ARO状态370。转变事件输出350记录(一个或多个)可进一步标识下一ARO状态370的诸方面(诸如其将处于物理环境还是处于数字环境中)、在此状态下使用的ICO等等。此信息可被包含在例如一个或多个可呈现属性图 330记录中。在框475处,模态跟踪模块400可诸如例如在没有下一ARO状态时进一步或替代地确定结束条件已出现。
如果在确定框470处是否定的,则模态跟踪模块400可返回开环框465。
在闭环框485处,模态跟踪模块400可返回开环框415以在框475处确定的当时-当前ARO状态370上进行迭代或者可继续进行至结束框499。在结束框 499处,模态跟踪模块400可终止或者可返回可能产生过它的进程。
图5是例示出如可由增强现实服务器-1 200执行的致动器模块500的示例的流程图。在框505处,致动器模块接收信息携带对象310记录的集合,以及可呈现属性355和可呈现属性参数360记录(或接收对上述各项的标识)。这些可从例如模态跟踪模块400接收。
在框510处,致动器模块500可接收和/或得到与在框505处接收的信息携带对象310记录相对应的致动器365记录。此类致动器365记录可对应于诸如例如致动器135之类的致动器。
开环框515至闭环框535可在每个致动器和框505的每个ICO上进行迭代。
在框520处,致动器模块500可诸如根据致动器指令集375记录来将可呈现属性355和可呈现属性参数360记录转换成用于致动器的指令集。用于致动器的指令集可描述例如致动器将如何操作以实现可呈现属性355和可呈现属性参数360记录。
在框525处,致动器模块500可连接至框510的致动器,然后在框510 的致动器上进行迭代,并且在框530处,可将在框520处确定的指令集发出至该致动器。
在结束框599处,致动器模块500可终止和/或返回产生它的进程。
图6是例示出如可由增强现实服务器-1 200执行的传感器检测模块600 的示例的流程图。在框605处,传感器检测模块600可接收信息携带对象310 记录的集合以进行监视。在框610处,传感器检测模块600可确定并可连接至与框605的信息携带对象310记录相关联的传感器(一个或多个)。
开环框615至闭环框615可在框605的信息携带对象310记录的集合上进行迭代。在框620处,传感器检测模块600获得并加载特性340记录,该特性 340记录描述传感器检测模块600要监视的ICO的特性。
在框625处,传感器检测模块600可测量并暂时地存储由框610的传感器 (一个或多个)获得的传感器数据。
开环框630至闭环框645可在框605的ICO集合中的每个ICO上进行迭代。
在判决框635处,传感器检测模块600可确定框625的传感器数据是否与框620的特性340记录匹配。如果是肯定的,则在框640处,传感器检测模块 600可输出所匹配的特性340记录;传感器检测模块600可将暂时存储的传感器数据存储为传感器数据325,并且传感器检测模块600可将特性340和传感器数据325输出至模态跟踪模块400。
传感器检测模块600可返回至框630以在每个所监视的ICO上进行迭代并返回至框615以在ICO集合上进行迭代。
在结束框699处,传感器检测模块600可结束或可返回至可能产生过它的进程,诸如模态跟踪模块400。
图7是例示出增强现实对象在环境之间以及在多于一个位置中转变的示例的功能框图。
在图7中例示的有位置-1 701、位置-2 702、增强现实服务器-2 735、增强现实服务器-3 755、人-2 705以及人-3 703。位置-1 701和位置-2 702可以是物理上分开的位置;人-2 705和人-3 703可彼此交互、与未例示出的其他人交互,或者他们可以在虚拟现实环境中由他们自己来进行动作。
在位置-1 701中,人-2 705可能正参与由例如增强现实服务器-2 735和数字对象呈现模块260等执行的虚拟现实环境。该虚拟现实环境可包括可在物理环境与数字环境之间转变的增强现实对象。增强现实服务器-2 735可能正执行模态跟踪模块400等。
ICO-4传感器启用设备-2 715可包括狼形豆袋或具有狼图片的球等。ICO-4 传感器启用设备-2 715可进一步包括可与传感器-2 725通信的嵌入式RFID等。人-2 705可向显示器725投掷、滚动或推动ICO-4传感器启用设备-2 715。增强现实服务器-2 735和模态跟踪模块400可执行可与传感器-2 725连接的传感器检测模块600等。传感器-2 725可检测ICO-4传感器启用设备-2 715向显示器725的逼近。ICO-4传感器启用设备-2 715可由模态跟踪模块400实例化为虚拟现实环境中增强现实对象的容器。模态跟踪模块400可能没有可呈现属性来供致动器模块500实现
模态跟踪模块400和传感器-2 725可检测ICO-4传感器启用设备-2 715 向显示器725的逼近作为特性340,该特性340还可与用于增强现实对象的转变事件触发345相关联。模态跟踪模块400可根据下一ARO状态370记录来推进增强现实对象的状态。下一ARO状态370记录可定义增强现实对象将转变至数字对象,诸如ICO-5显示对象-2 730。致动器-2740可被用于指令显示器-2 725和/或数字对象呈现模块260来使ICO-5显示对象-2 730以从特性340或传感器数据325导出的速度和方向横跨显示器-2 725“奔跑”。
作为在显示器-2 725上进行呈现的附加或替代,ICO-5传感器启用设备-2 730还可根据由致动器-3 765发出的指令来在位置-2 702中邻近于人-3 703 的显示器-3 750上被呈现为ICO-6显示对象-3 733。继续进行此示例,传感器 -3 760以及由增强现实服务器-3 755执行的模态跟踪模块400的实例(经由同样由增强现实服务器-3 755执行的传感器检测模块600的实例进行动作)可检测ICO-6显示对象-3 733接触显示器-3中的窗口的边界,该接触可以是用于将增强现实对象从ICO-6显示对象-3 733转变至下一ARO状态370记录的转变事件触发345。人-3 703可能正持握显示器-3 750,该显示器-3 750具有位于邻近显示器-3 750的臂部上的触觉设备。可呈现属性图330可定义与增强现实对象相关联的下一ARO状态370将是ICO-7触觉设备710的触觉输出,该输出可由致动器-3 765以及由增强现实服务器-3 755执行的致动器模块700来激活。
图8是例示出若干个增强现实对象在环境之间转变的示例的功能框图。在此示例中,显示器805可能正显示若干个球。显示器805充当数字对象呈现模块并充当增强现实服务器。
在此示例中,人-4 810已向显示器805投掷球815。球815是信息携带对象并且已被确定为增强现实对象。传感器(未例示出)已检测到球815的移动,球815的对象标识符已被检测到;增强现实服务器已确定该球是信息携带对象和增强现实对象并且已测量球815的特性,诸如球815正向显示器805移动。显示器805内(或与显示器805相关联)的模态跟踪模块已确定这是与转变事件输出相关联的转变事件触发,该转变事件触发经由显示器805中的致动器模块使显示器805将球820呈现成显示器805中具有从球815的特性导出的特性的数字对象,使得球820看起来与球815移动地一样快并在相同的行进方向继续进行。
球820或在显示器805中呈现的诸球中的另一个球可从对象(未例示出) “弹”开朝向人-4 810返回。在此情形中,模态跟踪模块确定球820的特性(通过3维空间向屏幕边缘并向人-4 810移动)是与转变事件输出相关联的转变事件触发,该转变事件触发经由显示器805中的致动器模块使致动器830向人-4 810射出真球825。
同样在图8中例示出,投影仪840同样充当致动器,该致动器可将球835 呈现于环境中的墙等上,这可描绘出显示器805中呈现的诸球中的一个“滚”出屏幕。
图9A是例示出增强现实对象的示例的功能框图,在此示例中,数字呈现蜘蛛920位于由显示器905呈现的环境中。显示器905可充当具有模态跟踪模块的增强现实服务器或者受具有模态跟踪模块的增强现实服务器的控制。蜘蛛 920可以是具有对象标识符的数字对象,该对象标识符将其标识为由显示器905 内的数字对象呈现模块呈现的信息携带对象,该信息携带对象也是增强现实对象。蜘蛛920的移动可在由显示器905内的传感器检测模块检测的传感器数据中检测到并且蜘蛛920的特性(诸如其表观速度(apparent speed))可被测量。
在图9A和9B中,手810可能正持握显示器905。手910和/或连接至手 910的臂部可能缠有触觉设备915。
图9B,蜘蛛920已逼近显示器905的邻近手的一侧,这可由显示器905 内的传感器检测模块检测为与转变事件输出相关联的转变事件触发。蜘蛛920 的所测量特性(诸如其表观速度)可作为可呈现属性的可呈现参数(在此情形中是能以从蜘蛛920的速度导出的速度传播的传播振动920)经由显示器905 内的致动器模块被转变至触觉设备915。
这些配置是示例性的,也可实践其他配置。
用于执行上述技术的计算机可读介质(包括至少一个计算机可读介质)、方法、装置、系统和设备是本文所公开实施例的示例性示例。另外,上述交互中的其他设备可被配置成执行各种所公开的技术。本文所描述的实施例的特定示例包括但不限于以下各项:
示例1可包括一种用于在物理环境与数字环境之间转变增强现实对象的装置,包括:存储器和计算机处理器,该存储器包括传感器检测模块、模态跟踪模块以及致动器模块,这些模块都用于由计算机处理器操作;其中传感器检测模块用于在从传感器接收的传感器数据中检测第一信息携带对象的对象标识符以及第一信息携带对象的特性;其中模态跟踪模块用于基于对象标识符和特性来确定与第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出;其中致动器模块用于经由致动器来激活第二信息携带对象的可呈现属性;以及其中第一信息携带对象以下中的一者:传感器启用物理对象、或在数字环境中呈现的数字对象;而第二信息携带对象是另一者。
示例2可包括根据示例1的装置,其中模态跟踪模块进一步用于根据特性确定可呈现属性的可呈现参数。
示例3可包括根据示例2的装置,其中第二信息携带对象的可呈现属性根据可呈现参数而与第一信息携带对象的特性相近似,该可呈现参数由模态跟踪至少部分地根据可呈现属性图来确定。
示例4可包括根据示例1的装置,其中传感器启用物理对象包括物理对象,物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
示例5可包括根据示例1至示例4中任一项的装置,其中第一信息携带对象的特性包括传感器启用物理对象的物理特性以及数字对象的经呈现数字特性中的至少一者。
示例6可包括根据示例1至示例4中任一项的装置,其中特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、相对位置、编码信息、颜色以及声音。
示例7可包括根据示例1至示例4中任一项的装置,其中:传感器是传感器启用物理对象的传感器以及数字对象的传感器;致动器是传感器启用物理对象的致动器以及数字对象的致动器;其中传感器启用物理对象的传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,其中数字对象的传感器以及数字对象的致动器包括传感器模块向数字对象呈现模块的注册;以及其中致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字呈现模块。
示例8包括根据示例3的装置,其中对象标识符是第一对象标识符,特性是第一特性,转变事件触发是第一转变事件触发,转变事件输出是第一转变事件输出,传感器启用物理对象是第一传感器启用物理对象,数字对象是第一数字对象,可呈现属性是第一可呈现属性,可呈现参数是第一可呈现参数以及传感器数据是第一传感器数据;其中传感器模块用于在从传感器接收的第二传感器数据中检测第二信息携带对象的第二对象标识符以及第二信息携带对象的第二特性;其中模态跟踪模块用于基于第二对象标识符和第二特性确定与第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出,该第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;以及其中致动器模块用于激活第三信息携带对象的第二可呈现属性,第二可呈现属性包括由模态跟踪模块根据第二特性确定的第二可呈现参数,其中第三信息携带对象的第二可呈现属性与第二信息携带对象的第二特性相近似,该第二可呈现参数由模态跟踪模块至少部分地根据可呈现属性图来确定。
示例9可包括一种用于计算的方法,包括:在计算设备中包括处理器、存储器、传感器、数字呈现环境以及致动器;通过以下各项操作将增强现实对象从第一信息携带对象转变成第二信息携带对象:使用传感器在从传感器接收的传感器数据中检测第一信息携带对象的对象标识符以及第一信息携带对象的特性;基于对象标识符和特性来确定与第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出;使用致动器激活第二信息携带对象的可呈现属性;其中第一信息携带对象是以下中的一者:传感器启用物理对象、或在数字环境中呈现的数字对象;而第二信息携带对象是另一者。
示例10可包括根据示例9的方法,进一步包括根据特性确定可呈现属性的可呈现参数。
示例11可包括根据示例10的方法,其特征在于,进一步包括至少部分地根据可呈现属性图来确定可呈现参数,其中第二信息携带对象的可呈现属性根据可呈现参数而与第一信息携带对象的特性相近似,该可呈现参数至少部分地根据可呈现属性图。
示例12可包括根据示例9的方法,其特征在于,传感器启用物理对象包括物理对象,物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
示例13可包括根据示例9至示例12中任一项的方法,其中第一信息携带对象的特性包括传感器启用物理对象的物理特性以及数字对象的经呈现数字特性中的至少一者。
示例14可包括根据示例9至示例12中任一项的方法,其中特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、颜色以及声音。
示例15可包括根据示例9至示例12中任一项的方法,其中:传感器是传感器启用物理对象的传感器以及数字对象的传感器;致动器是传感器启用物理对象的致动器以及数字对象的致动器;其中传感器启用物理对象的传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,其中方法进一步包括数字对象的传感器和数字对象的致动器进行注册以接收相关数字对象行为数据并将数字对象行为数据发送至数字呈现环境中的数字对象;以及其中致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字显示器中的数字对象。
示例16可包括根据示例11的方法,其中对象标识符是第一对象标识符,特性是第一特性,转变事件触发是第一转变事件触发,转变事件输出是第一转变事件输出,传感器启用物理对象是第一传感器启用物理对象,数字对象是第一数字对象,可呈现属性是第一可呈现属性,可呈现参数是第一可呈现参数以及传感器数据是第一传感器数据;并且方法进一步包括:在从传感器接收的第二传感器数据中检测第二信息携带对象的第二对象标识符以及第二信息携带对象的第二特性;基于第二对象标识符和第二特性确定与第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出,第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;根据第二信息携带对象的第二特性以及可呈现属性图来确定第二可呈现属性的第二可呈现参数;以及激活第三信息携带对象的第二可呈现属性,其中第三信息携带对象的第二可呈现属性根据第二可呈现参数而与第二信息携带对象的第二特性相近似。
示例17可包括一种用于在物理环境与数字环境之间转变增强现实对象的设备,包括:在计算设备中包括处理器、存储器、传感器以及致动器;用于使用传感器检测第一信息携带对象的对象标识符以及第一信息携带对象的特性的装置;用于基于对象标识符和特性来确定与第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出的装置;用于经由致动器激活第二信息携带对象的可呈现属性的装置;以及其中第一信息携带对象是以下中的一者:传感器启用物理对象、或在数字环境中呈现的数字对象;而第二信息携带对象是另一者。
示例18可包括根据示例17的设备,进一步包括用于根据特性确定可呈现属性的可呈现参数的装置。
示例19可包括根据示例18的设备,进一步包括用于至少部分地根据可呈现属性图来确定可呈现参数的装置,其中第二信息携带对象的可呈现属性根据可呈现参数而与第一信息携带对象的特性相近似,该可呈现参数至少部分地根据可呈现属性图。
示例20包括根据示例17的设备,其特征在于,传感器启用物理对象包括物理对象,物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
示例21可包括根据示例17至示例20中任一项的设备,其中第一信息携带对象的特性包括传感器启用物理对象的物理特性以及数字对象的经呈现数字特性中的至少一者。
示例22可包括根据示例17至示例20中任一项的设备,其中特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、颜色以及声音。
示例23可包括根据示例17至示例20中任一项的设备,其中:传感器是传感器启用物理对象的传感器以及数字对象的传感器;致动器是传感器启用物理对象的致动器以及数字对象的致动器;其中传感器启用物理对象的传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,其中数字对象的传感器和数字对象的致动器包括用于进行注册以接收相关数字对象行为数据的装置以及用于将数字对象行为数据发送至设备的数字呈现环境中的数字对象的装置;以及其中致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字显示器中的数字对象。
示例24可包括根据示例19的设备,其中对象标识符是第一对象标识符,特性是第一特性,转变事件触发是第一转变事件触发,转变事件输出是第一转变事件输出,传感器启用物理对象是第一传感器启用物理对象,数字对象是第一数字对象,可呈现属性是第一可呈现属性、可呈现参数是第一可呈现参数以及传感器数据是第一传感器数据;并且设备进一步包括:用于在从传感器接收的第二传感器数据中检测第二信息携带对象的第二对象标识符以及第二信息携带对象的第二特性的装置;用于基于第二对象标识符和第二特性确定与第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出的装置,第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;用于根据第二信息携带对象的第二特性以及可呈现属性图来确定第二可呈现属性的第二可呈现参数的装置;以及用于激活第三信息携带对象的第二可呈现属性的装置,其中第三信息携带对象的第二可呈现属性根据第二可呈现参数而与第二信息携带对象的第二特性相近似。
示例25可包括包括指令的一个或多个计算机可读介质,响应于计算设备的一个或多个处理器对指令的执行,指令使计算设备用于:通过以下各项操作将增强现实对象从第一信息携带对象转变成第二信息携带对象:使用传感器在从传感器接收的传感器数据中检测第一信息携带对象的对象标识符以及第一信息携带对象的特性;基于对象标识符和特性来确定与第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出;使用致动器激活第二信息携带对象的可呈现属性;其中第一信息携带对象是以下中的一者:传感器启用物理对象、或在数字环境中呈现的数字对象;而第二信息携带对象是另一者。
示例26包括根据示例25的计算机可读介质,其中计算设备进一步被导致用于根据特性确定可呈现属性的可呈现参数。
示例27可包括根据示例26的计算机可读介质,计算设备进一步被导致用于至少部分地根据可呈现属性图来确定可呈现参数,其中第二信息携带对象的可呈现属性根据可呈现参数而与第一信息携带对象的特性相近似,该可呈现参数至少部分地根据可呈现属性图。
示例28可包括根据示例25的计算机可读介质,其中传感器启用物理对象包括物理对象,物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
示例29可包括根据示例25至示例28中任一项的计算机可读介质,其中第一信息携带对象的特性包括传感器启用物理对象的物理特性以及数字对象的经呈现数字特性中的至少一者。
示例30可包括根据示例25至示例28中任一项的计算机可读介质,其中特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、颜色以及声音。
示例31可包括根据示例25至示例28中任一项的计算机可读介质,其中:传感器是传感器启用物理对象的传感器以及数字对象的传感器;致动器是传感器启用物理对象的致动器以及数字对象的致动器;其中传感器启用物理对象的传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,其中数字对象的传感器和数字对象的致动器包括用于接收相关数字对象行为数据并将数字对象行为数据发送至设备的数字呈现环境中的数字对象的注册;以及其中致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字显示器中的数字对象。
示例32可包括根据示例27的计算机可读介质,其中对象标识符是第一对象标识符,特性是第一特性,转变事件触发是第一转变事件触发,转变事件输出是第一转变事件输出,传感器启用物理对象是第一传感器启用物理对象,数字对象是第一数字对象,可呈现属性是第一可呈现属性,可呈现参数是第一可呈现参数以及传感器数据是第一传感器数据;并且进一步使计算设备用于:在从传感器接收的第二传感器数据中检测第二信息携带对象的第二对象标识符以及第二信息携带对象的第二特性;基于第二对象标识符和第二特性确定与第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出,第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;根据第二信息携带对象的第二特性以及可呈现属性图来确定第二可呈现属性的第二可呈现参数;以及激活第三信息携带对象的第二可呈现属性,其中第三信息携带对象中的第二可呈现属性根据第二可呈现参数而与第二信息携带对象的第二特性相近似。
其他实施例可以使用不同的排序、附加或较少的操作以及不同的术语或术语来实现类似的功能。在一些实施例中,可以以同步或异步方式与其他操作并行地执行各种操作或一组操作。这里选择的操作是为了以简化的形式例示一些操作的原则。对于本领域技术人员将是显而易见的是,可在所公开的设备和相关联的方法的所公开的实施例中作出各种修改和变型,而不背离本公开的精神和范围。因此,如果修改和变型落入任何权利要求及其等效方案的范围之内,则本公开旨在涵盖以上所公开的多个实施例的修改和变型。
Claims (25)
1.一种用于在物理环境与数字环境之间转变增强现实对象的装置,包括:
计算机处理器和存储器,所述存储器包括传感器检测模块、模态跟踪模块以及致动器模块,这些模块将由所述计算机处理器操作;
其中所述传感器检测模块用于在从传感器接收的传感器数据中检测第一信息携带对象的对象标识符以及所述第一信息携带对象的特性;
其中所述模态跟踪模块用于基于所述对象标识符和所述特性来确定与所述第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出;
其中所述致动器模块用于经由致动器来激活所述第二信息携带对象的可呈现属性;以及
其中所述第一信息携带对象是以下中的一者:传感器启用物理对象、或在数字环境中呈现的数字对象;而所述第二信息携带对象是另一者。
2.如权利要求1所述的装置,其特征在于,所述模态跟踪模块进一步用于根据所述特性确定所述可呈现属性的可呈现参数。
3.如权利要求2所述的装置,其特征在于,所述第二信息携带对象的所述可呈现属性根据所述可呈现参数而与所述第一信息携带对象的所述特性相近似,所述可呈现参数由所述模态跟踪至少部分地根据可呈现属性图来确定。
4.如权利要求1所述的装置,其特征在于,所述传感器启用物理对象包括物理对象,所述物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
5.如权利要求1至权利要求4中任一项所述的装置,其特征在于,所述第一信息携带对象的所述特性包括以下中的至少一者:所述传感器启用物理对象的物理特性、以及所述数字对象的经呈现数字特性。
6.如权利要求1至权利要求4中任一项所述的装置,其特征在于,所述特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、相对位置、编码信息、颜色以及声音。
7.如权利要求1至权利要求4中任一项所述的装置,其特征在于:
所述传感器是所述传感器启用物理对象的传感器以及所述数字对象的传感器;
所述致动器是所述传感器启用物理对象的致动器以及所述数字对象的致动器;
其中所述传感器启用物理对象的所述传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,
其中所述数字对象的所述传感器以及所述数字对象的所述致动器包括传感器模块向数字对象呈现模块的注册;以及
其中所述致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字呈现模块。
8.如权利要求7所述的装置,其特征在于,所述对象标识符是第一对象标识符,所述特性是第一特性,所述转变事件触发是第一转变事件触发,所述转变事件输出是第一转变事件输出,所述传感器启用物理对象是第一传感器启用物理对象,所述数字对象是第一数字对象,所述可呈现属性是第一可呈现属性,所述可呈现参数是第一可呈现参数以及所述传感器数据是第一传感器数据;
其中所述传感器模块用于在从所述传感器接收的第二传感器数据中检测所述第二信息携带对象的第二对象标识符以及所述第二信息携带对象的第二特性;
其中所述模态跟踪模块用于基于所述第二对象标识符和所述第二特性确定与所述第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出,所述第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;以及
其中所述致动器模块用于激活所述第三信息携带对象的第二可呈现属性,所述第二可呈现属性包括由所述模态跟踪模块根据所述第二特性确定的第二可呈现参数,其中所述第三信息携带对象的所述第二可呈现属性与所述第二信息携带对象的所述第二特性相近似,所述第二可呈现参数由所述模态跟踪模块至少部分地根据所述可呈现属性图来确定。
9.一种用于在物理环境与数字环境之间转变增强现实对象的方法,包括:
在计算设备中包括处理器、存储器、传感器、数字呈现环境以及致动器;
通过以下各项操作将增强现实对象从第一信息携带对象转变成第二信息携带对象:
使用所述传感器在从所述传感器接收的传感器数据中检测所述第一信息携带对象的对象标识符以及所述第一信息携带对象的特性;
基于所述对象标识符和所述特性,确定与所述第一信息携带对象相关联的转变事件触发以及与所述第二信息携带对象相关联的转变事件输出;
使用所述致动器激活所述第二信息携带对象的可呈现属性;
其中所述第一信息携带对象是以下中的一者:传感器启用物理对象、或在所述数字环境中呈现的数字对象;而所述第二信息携带对象是另一者。
10.如权利要求9所述的方法,其特征在于,进一步包括根据所述特性确定所述可呈现属性的可呈现参数。
11.如权利要求10所述的方法,其特征在于,进一步包括至少部分地根据可呈现属性图来确定所述可呈现参数,其中所述第二信息携带对象的所述可呈现属性根据所述可呈现参数而与所述第一信息携带对象的所述特性相近似,所述可呈现参数至少部分地根据所述可呈现属性图。
12.如权利要求9所述的方法,其特征在于,所述传感器启用物理对象包括物理对象,所述物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
13.如权利要求9至权利要求12中任一项所述的方法,其特征在于,所述第一信息携带对象的所述特性包括以下中的至少一者:所述传感器启用物理对象的物理特性、以及所述数字对象的经呈现数字特性。
14.如权利要求9至权利要求12中任一项所述的方法,其特征在于,所述特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、颜色以及声音。
15.如权利要求9至权利要求12中任一项所述的方法,其特征在于:
所述传感器是所述传感器启用物理对象的传感器以及所述数字对象的传感器;
所述致动器是所述传感器启用物理对象的致动器以及所述数字对象的致动器;
其中所述传感器启用物理对象的所述传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,
其中所述方法进一步包括所述数字对象的所述传感器和所述数字对象的所述致动器进行注册以接收相关数字对象行为数据并将数字对象行为数据发送至所述数字呈现环境中的所述数字对象;以及
其中所述致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字显示器中的所述数字对象。
16.如权利要求11所述的方法,其特征在于,所述对象标识符是第一对象标识符,所述特性是第一特性,所述转变事件触发是第一转变事件触发,所述转变事件输出是第一转变事件输出,所述传感器启用物理对象是第一传感器启用物理对象,所述数字对象是第一数字对象,所述可呈现属性是第一可呈现属性,所述可呈现参数是第一可呈现参数以及所述传感器数据是第一传感器数据;以及
所述方法进一步包括:
在从所述传感器接收的第二传感器数据中检测所述第二信息携带对象的第二对象标识符以及所述第二信息携带对象的第二特性;
基于所述第二对象标识符和所述第二特性,确定与所述第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出,所述第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;
根据所述第二信息携带对象的所述第二特性以及所述可呈现属性图来确定第二可呈现属性的第二可呈现参数;以及
激活所述第三信息携带对象的所述第二可呈现属性,其中所述第三信息携带对象的所述第二可呈现属性根据所述第二可呈现参数而与所述第二信息携带对象的所述第二特性相近似。
17.包括指令的一个或多个计算机可读介质,响应于由计算设备的一个或多个处理器对所述指令的执行,所述指令使所述计算设备执行如权利要求9至权利要求12中任一项所述的方法。
18.一种用于在物理环境与数字环境之间转变增强现实对象的设备,包括:
在计算设备中包括处理器、存储器、传感器以及致动器;
用于使用所述传感器检测第一信息携带对象的对象标识符以及所述第一信息携带对象的特性的装置;
用于基于所述对象标识符和所述特性来确定与所述第一信息携带对象相关联的转变事件触发以及与第二信息携带对象相关联的转变事件输出的装置;
用于经由所述致动器激活所述第二信息携带对象的可呈现属性的装置;以及
其中所述第一信息携带对象是传感器启用物理对象或数字对象中的一者,而所述第二信息携带对象是另一者。
19.如权利要求18所述的设备,其特征在于,进一步包括用于根据所述特性确定所述可呈现属性的可呈现参数的装置。
20.如权利要求19所述的设备,其特征在于,进一步包括用于至少部分地根据可呈现属性图确定所述可呈现参数的装置,其中所述第二信息携带对象的可呈现属性根据所述可呈现参数而与所述第一信息携带对象的所述特性相近似,所述可呈现参数至少部分地根据所述可呈现属性图。
21.如权利要求18所述的设备,其特征在于,所述传感器启用物理对象包括物理对象,所述物理对象包括以下各项中至少一者的发射器或检测器:声学能量、电磁辐射、电能、加速度以及磁场。
22.如权利要求18至权利要求21中任一项所述的设备,其特征在于,所述第一信息携带对象的所述特性包括以下中的至少一者:所述传感器启用物理对象的物理特性、以及所述数字对象的经呈现数字特性。
23.如权利要求18至权利要求21中任一项所述的设备,其特征在于,所述特性包括以下各项中的至少一者:时间、定向、位置、位置变化速率、颜色以及声音。
24.如权利要求18至权利要求21中任一项所述的设备,其特征在于:
所述传感器是所述传感器启用物理对象的传感器以及所述数字对象的传感器;
所述致动器是所述传感器启用物理对象的致动器以及所述数字对象的致动器;
其中所述传感器启用物理对象的所述传感器包括以下各项中的至少一者:麦克风、运动检测器、相机、电容表面、电磁检测器、振动检测器、邻近度检测器以及基准标记检测器,
其中所述数字对象的传感器和所述数字对象的致动器包括用于进行注册以接收相关数字对象行为数据的装置以及用于将数字对象行为数据发送至所述设备的数字呈现环境中的所述数字对象的装置;以及
其中所述致动器包括以下各项中的至少一者:扬声器、触觉输出设备、马达、抛射体以及数字显示器中的所述数字对象。
25.如权利要求20所述的设备,其特征在于,所述对象标识符是第一对象标识符,所述特性是第一特性,所述转变事件触发是第一转变事件触发,所述转变事件输出是第一转变事件输出,所述传感器启用物理对象是第一传感器启用物理对象,所述数字对象是第一数字对象,所述可呈现属性是第一可呈现属性,所述可呈现参数是第一可呈现参数以及传感器数据是第一传感器数据;以及
所述设备进一步包括:
用于在从所述传感器接收的第二传感器数据中检测所述第二信息携带对象的第二对象标识符以及所述第二信息携带对象的第二特性的装置;
用于基于所述第二对象标识符和所述第二特性确定与所述第二信息携带对象相关联的第二转变事件触发以及与第三信息携带对象相关联的第二转变事件输出的装置,所述第三信息携带对象包括第二传感器启用物理对象和第二数字对象中的至少一者;
用于根据所述第二信息携带对象的所述第二特性以及所述可呈现属性图来确定第二可呈现属性的第二可呈现参数的装置;以及
用于激活所述第三信息携带对象的所述第二可呈现属性的装置,其中所述第三信息携带对象的所述第二可呈现属性根据所述第二可呈现参数而与所述第二信息携带对象的所述第二特性相近似。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/971,781 US9846970B2 (en) | 2015-12-16 | 2015-12-16 | Transitioning augmented reality objects in physical and digital environments |
US14/971,781 | 2015-12-16 | ||
PCT/US2016/060166 WO2017105658A1 (en) | 2015-12-16 | 2016-11-02 | Transitioning augmented reality objects in physical and digital environments |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108351705A CN108351705A (zh) | 2018-07-31 |
CN108351705B true CN108351705B (zh) | 2021-08-31 |
Family
ID=59057404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680067068.9A Active CN108351705B (zh) | 2015-12-16 | 2016-11-02 | 用于在物理环境与数字环境中转变增强现实对象的装置、方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9846970B2 (zh) |
CN (1) | CN108351705B (zh) |
DE (1) | DE112016005818T5 (zh) |
WO (1) | WO2017105658A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10720184B2 (en) * | 2016-03-16 | 2020-07-21 | Intel Corporation | Selective recording of augmented reality objects |
US20190005724A1 (en) * | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
US10937240B2 (en) | 2018-01-04 | 2021-03-02 | Intel Corporation | Augmented reality bindings of physical objects and virtual objects |
US10593119B2 (en) | 2018-06-25 | 2020-03-17 | Intel Corporation | Projected augmented reality to obscure physical objects |
US10909751B2 (en) | 2019-01-31 | 2021-02-02 | Intel Corporation | Methods and apparatus to transition between 2D and 3D renderings of augmented reality content |
CN112083802B (zh) * | 2020-07-27 | 2024-05-28 | 北京阿派朗创造力科技有限公司 | 一种在现实空间中实现虚拟活动的方法及计算机设备 |
US11295531B1 (en) | 2021-02-24 | 2022-04-05 | Allison Cecile Westley | System and method for generating interactive virtual image frames in an augmented reality presentation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102656595A (zh) * | 2010-03-10 | 2012-09-05 | 英派尔科技开发有限公司 | 在增强现实中通过动态建模来进行鲁棒对象识别 |
CN102741858A (zh) * | 2009-10-28 | 2012-10-17 | 数字标记公司 | 基于传感器的移动搜索、相关方法和系统 |
CN102893236A (zh) * | 2010-07-20 | 2013-01-23 | 英派尔科技开发有限公司 | 增强现实临近检测 |
CN102906810A (zh) * | 2010-02-24 | 2013-01-30 | 爱普莱克斯控股公司 | 支持视觉受损的个体的扩增的现实全景 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5443260A (en) * | 1994-05-23 | 1995-08-22 | Dynamic Sports Technology | Virtual reality baseball training and amusement system |
US20060063574A1 (en) * | 2003-07-30 | 2006-03-23 | Richardson Todd E | Sports simulation system |
US7544137B2 (en) * | 2003-07-30 | 2009-06-09 | Richardson Todd E | Sports simulation system |
US8335345B2 (en) * | 2007-03-05 | 2012-12-18 | Sportvision, Inc. | Tracking an object with multiple asynchronous cameras |
US20080310707A1 (en) | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Virtual reality enhancement using real world data |
CA2740109C (en) * | 2008-10-08 | 2016-01-19 | Interactive Sports Technologies Inc. | Sports simulation system |
US8009022B2 (en) | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
US9418479B1 (en) * | 2010-12-23 | 2016-08-16 | Amazon Technologies, Inc. | Quasi-virtual objects in an augmented reality environment |
KR101048090B1 (ko) | 2011-03-22 | 2011-07-08 | (주) 골프존 | 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 |
US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
US9767720B2 (en) * | 2012-06-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Object-centric mixed reality space |
US9779550B2 (en) | 2012-10-02 | 2017-10-03 | Sony Corporation | Augmented reality system |
US9704295B2 (en) | 2013-11-05 | 2017-07-11 | Microsoft Technology Licensing, Llc | Construction of synthetic augmented reality environment |
-
2015
- 2015-12-16 US US14/971,781 patent/US9846970B2/en active Active
-
2016
- 2016-11-02 CN CN201680067068.9A patent/CN108351705B/zh active Active
- 2016-11-02 DE DE112016005818.7T patent/DE112016005818T5/de active Pending
- 2016-11-02 WO PCT/US2016/060166 patent/WO2017105658A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102741858A (zh) * | 2009-10-28 | 2012-10-17 | 数字标记公司 | 基于传感器的移动搜索、相关方法和系统 |
CN102906810A (zh) * | 2010-02-24 | 2013-01-30 | 爱普莱克斯控股公司 | 支持视觉受损的个体的扩增的现实全景 |
CN102656595A (zh) * | 2010-03-10 | 2012-09-05 | 英派尔科技开发有限公司 | 在增强现实中通过动态建模来进行鲁棒对象识别 |
CN102893236A (zh) * | 2010-07-20 | 2013-01-23 | 英派尔科技开发有限公司 | 增强现实临近检测 |
Also Published As
Publication number | Publication date |
---|---|
WO2017105658A1 (en) | 2017-06-22 |
DE112016005818T5 (de) | 2018-09-06 |
US20170178406A1 (en) | 2017-06-22 |
US9846970B2 (en) | 2017-12-19 |
CN108351705A (zh) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351705B (zh) | 用于在物理环境与数字环境中转变增强现实对象的装置、方法和设备 | |
US10748390B2 (en) | Dynamic haptic generation based on detected video events | |
CN104769522B (zh) | 具有3d 指向和手势识别功能的远程控制器 | |
TWI546725B (zh) | 於手勢和使用者介面元件間之延續虛擬連結技術 | |
CN110007750A (zh) | 实体对象与虚拟对象的增强现实绑定 | |
US20120306734A1 (en) | Gesture Recognition Techniques | |
EP3364272A1 (en) | Automatic localized haptics generation system | |
US10572017B2 (en) | Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments | |
US10747325B2 (en) | Systems and methods for long-range interactions for virtual reality | |
CN108431734A (zh) | 用于非触摸式表面交互的触觉反馈 | |
US20190324538A1 (en) | Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment | |
JP2018142313A (ja) | 仮想感情タッチのためのシステム及び方法 | |
CN105324736A (zh) | 触摸式和非触摸式用户交互输入的技术 | |
KR102021851B1 (ko) | 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법 | |
EP3654205A1 (en) | Systems and methods for generating haptic effects based on visual characteristics | |
CN109117037B (zh) | 一种图像处理的方法及终端设备 | |
JP6732078B2 (ja) | 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体 | |
CN105373314A (zh) | 一种目标对象控制方法及装置 | |
CN110235096A (zh) | 基于笔邻近度重绘用户接口 | |
WO2014138880A1 (en) | System and method for controlling an event in a virtual reality environment based on the body state of a user | |
WO2012008960A1 (en) | First response and second response | |
US20200286298A1 (en) | Systems and methods for a user interaction proxy | |
US20190384398A1 (en) | Systems and Methods for Differential Optical Position Sensing for Haptic Actuation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |