CN107111361B - 促进用于增强现实的动态非视觉标记的方法和装置 - Google Patents
促进用于增强现实的动态非视觉标记的方法和装置 Download PDFInfo
- Publication number
- CN107111361B CN107111361B CN201580061697.6A CN201580061697A CN107111361B CN 107111361 B CN107111361 B CN 107111361B CN 201580061697 A CN201580061697 A CN 201580061697A CN 107111361 B CN107111361 B CN 107111361B
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- visual data
- visual
- reality experience
- experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Toys (AREA)
Abstract
描述了根据一个实施例的用于促进在计算设备上的基于非视觉标记的增强现实体验的动态显现的机构。如本文所述的实施例的方法包括检测非视觉数据。非视觉数据可以经由计算设备的一个或多个捕获/传感组件捕获。方法还可以包括将非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验,其中非视觉数据基于一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记,并且基于一个或多个非视觉标记显现第一增强现实体验。
Description
技术领域
本文描述的实施例通常涉及计算机。更具体地,实施例涉及促进用于计算设备上的增强现实的动态非视觉标记。
背景技术
随着计算设备例如移动计算设备的日益增长的使用,虚拟现实和增强现实(AR)两者针对各种应用和过程对于用户变得越来越重要。然而,与AR相关的常规技术受到显著限制,因为它们需要具有视觉基准标记或轮廓识别以实现场景内的图像锚定,这显著限制AR的用途和潜在的益处。
附图说明
实施例在附图的图中通过示例而非限制性方式示出,其中相同的附图标记表示类似的元件。
图1示出根据一个实施例的采用基于动态非视觉标记的增强现实机构的计算设备。
图2A示出根据一个实施例的基于动态非视觉标记的增强现实机构。
图2B示出根据一个实施例的具有选择性组件组的架构布局的计算设备。
图3A示出根据一个实施例的用于促进基于非视觉标记(例如音频)的增强现实体验的产生和显现的方法。
图3B示出根据一个实施例的用于促进基于非视觉标记(例如化学)的增强现实体验的产生和显现的方法。
图3C示出根据一个实施例的用于促进基于非视觉标记(例如无线信号)的增强现实体验的产生和显现的方法。
图4示出根据一个实施例的适合于实现本公开的实施例的计算机系统。
图5示出根据一个实施例的适合于实现本公开的实施例的计算机环境。
具体实施方式
在下面的描述中,阐述了许多具体细节。然而,如本文所述的实施例可以在没有这些具体细节的情况下实施。在其他情况下,为了不使本描述的理解模糊不清,没有详细描述熟知的电路、结构和技术。
实施例提供用于引入和使用任何数目和类型的非视觉标记(也称为“基准标记”、“轮廓”或简称为“锚”)以增强与计算设备上的AR有关的使用和体验。例如且在一些实施例中,非视觉标记可以基于和包括(但不限于)音频流(例如,声音、噪声、振动、超声等)、无线电波(例如,信号,例如具有数据、元数据的无线信号等)、化学(例如,环境中的化学变化或性质等)和/或类似物。
实施例提供用于获得和应用非视觉标记(例如,声音、化学、无线电波等)以触发和锚定用户AR体验。
实施例进一步提供用于使用一种或多种上述非视觉标记与一种或多种视觉标记的组合(其可以使用非视觉数据捕获设备获得,例如信号检测器/传感器等,而不是视觉数据捕获设备,例如相机等),以进一步增强用户的AR体验。可以设想,头戴式显示器(HMD)允许以更加舒适和拟真方式的AR体验;然而,如上所述,常规技术仍然继续完全依赖于视觉标记和视觉数据检测设备,用于识别视觉场景中的物品或特征,这显著限制用户的AR体验。
图1示出根据一个实施例的采用基于动态非视觉标记的增强现实机构110的计算设备100。计算设备100用作主机,用于托管基于动态非视觉标记的增强现实机构(“AR机构”)110,其包括任何数目和类型的组件,如图2所示,以在实现和增强AR体验中有效采用和使用非视觉标记,如本文通篇将进一步描述的。
计算设备100可以包括任何数目和类型的通信设备,例如大型计算系统,例如服务器计算机、台式计算机等,且还可以包括机顶盒(例如,基于因特网的有线电视机顶盒等)、基于全球定位系统(“GPS”)的设备等。计算设备100可以包括用作通信设备的移动计算设备,例如蜂窝式电话,包括智能电话、个人数字助理(“PDA”)、平板计算机、膝上型计算机(如Ultrabook™系统等)、电子阅读器、媒体互联网设备(“MID”)、智能电视、电视平台、智能设备、计算灰尘(computing dust)、媒体播放器、可穿戴设备(例如可穿戴眼镜、智能手表、手链、智能卡、珠宝、服装物品等)、媒体播放器等。
计算设备100可以包括用作计算机设备100的硬件和/或物理资源与用户之间的接口的操作系统(“OS”)106。计算设备100还包括一个或多个处理器102、存储设备104、网络设备、驱动器等,以及输入/输出(“I/O”)源108,例如触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标等。
注意到,术语例如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“设备”、“计算设备”、“计算机”、“计算系统”等可以在本文通篇互换使用。还应当注意到,术语例如“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”、“代码”、“软件代码”等在本文通篇可互换使用。此外,术语例如“作业”、“输入”、“请求”、“消息”等在本文中通篇可以互换使用。可以设想,术语“用户”可以指使用或有权访问计算设备100的个人或个人的集合。
图2A示出根据一个实施例的基于动态非视觉标记的增强现实机构110。在一个实施例中,基于动态非视觉标记的增强现实机构110可以包括任何数目和类型的组件,例如(但不限于):检测/接收逻辑201;认证/验证逻辑203;上下文引擎205;增强现实协调逻辑207;增强现实显现逻辑209;增强现实共享逻辑211;和通信/兼容逻辑213。计算设备100还包括捕获/传感组件221和输出组件223。
捕获/传感组件221可以包括任何数目和类型的捕获/传感设备,例如一个或多个发送和/或捕获设备(例如,相机、麦克风、生物测定传感器、化学检测器、信号检测器、波检测器、力传感器(例如加速度计)、照明器等),其可用于捕获任何量和类型的视觉数据,例如图像(例如照片、视频、电影、音频/视频流等)和非视觉数据,例如音频流(例如,声音、噪声、振动、超声波等)、无线电波(例如,无线信号,例如具有数据、元数据、符号等的无线信号)、化学变化或性质(例如,湿度、体温等)、生物测定读数(例如指纹等)、环境/天气条件、地图等。可以设想,在全文通篇可以互换引用“传感器”和“检测器”。进一步设想,一个或多个捕获/传感设备221还可以包括一个或多个用于捕获和/或传感数据的支持或补充设备,例如照明器(例如,红外(“IR”)照明器)、灯具、发电机、隔音器等。应当注意,“视觉数据”可以被称为“视觉”或“多个视觉”;而本文通篇中,“非视觉数据”可以被称为“非视觉”或“多个非视觉”。
进一步设想,在一个实施例中,捕获/传感组件221还可以包括用于传感或检测任何数目和类型的上下文(例如,涉及移动计算设备等的评估视距、线加速度等)的任何数目和类型的传感设备或传感器(例如,线性加速度计),其随后可被AR机构110使用以执行与转矩评估相关的一个或多个任务和用于精确的眼睛追踪的任务,如在本文通篇中将进一步描述的。例如,捕获/传感组件221可以包括任何数目和类型的传感器,例如(不限于):加速度计(例如,用于测量线性加速度的线性加速度计等);惯性设备(例如,惯性加速度计、惯性陀螺仪、微机电系统(“MEMS”)陀螺仪、惯性导航仪等);用于研究和测量由重力引起的重力加速度的变化等的重力梯度计等。还可以设想,音频信号的源可以通过由麦克风或麦克风阵列检测的音频波的音频分析来评估。AR机构110随后可以相对于评估的音频源来定位或锚定增强现实输出。
例如,捕获/传感组件221还可以包括(不限于):音频/视频设备(例如,相机、麦克风、扬声器等);上下文感知传感器(例如,温度传感器、与一个或多个音频/视频设备的相机一起工作的面部表情和特征测量传感器、环境传感器(例如传感背景颜色、灯光等)、生物测定传感器(例如检测指纹等)、日历维护和阅读设备)等;全球定位系统(“GPS”)传感器;资源请求器;和可信执行环境(“TEE”)逻辑。TEE逻辑可以单独使用,也可以是资源请求器和/或I/O子系统的一部分等。
计算设备100还可以包括一个或多个输出组件223,以保持与一个或多个捕获/传感组件221和AR机构110的一个或多个组件通信,以促进图像的显示、声音的播放或可视化、指纹的显示可视化、触摸、嗅觉和/或其他感觉相关的体验的呈现可视化等。例如且在一个实施例中,输出组件223可以包括(但不限于)一个或多个显示设备或屏幕、音频扬声器、骨传导扬声器、嗅觉或气味视觉和/或非/视觉呈现设备、触觉或触摸视觉和/或非视觉呈现设备、动画显示设备、生物测定显示设备、X射线显示设备等。
计算设备100可以包括可以与一个或多个存储库或数据库例如增强现实数据库230通信的移动计算设备(例如,智能电话、平板计算机、可穿戴眼镜、手表、智能窗等),其中任何量和类型的数据(例如,AR体验数据、AR实时和历史内容、元数据等)可以与任何量和类型的其他信息一起存储和维护,且可以存储数据源(例如资源、策略等)。此外,计算设备100可以与任何数目和类型的其他计算设备(例如台式计算机、膝上型计算机、移动计算设备例如智能电话、平板计算机、可穿戴眼镜、手表等)通过一个或多个网络(如云网络、互联网、内部网、物联网(IoT)、相邻网络、蓝牙等)通信。
在所示的实施例中,计算设备100显示为AR机构110;然而,可以设想,实施例不限于此,且在另一实施例中,AR机构110可以由多个设备(例如多个客户端计算机或服务器和客户端计算机的组合)等完全或部分托管。然而,在本文通篇中,为了简明、清晰和易于理解,AR机构100显示为由计算设备100托管。
可以设想,计算设备100可以包括一个或多个与AR机构110通信的软件应用(例如,网站、业务应用、移动设备应用等),其中软件应用可以提供一个或多个用户界面(例如,环球网用户界面(WUI)、图形用户界面(GUI)、触摸屏等)来处理和/或促进AR机构110的一个或多个操作或功能。
在一个实施例中,可以使用任何数目和类型的非视觉标记,例如音频(例如,振动、超声等)等来经由AR机构110触发AR体验,AR机构110首先由一个或多个捕获/传感组件221检测。例如,正如视觉数据可以被相机捕获一样,非视觉数据例如声音可以经由麦克风捕获,其中随后可以分别应用和使用视觉数据和非视觉数据作为视觉标记和非视觉标记。类似地,可以经由捕获/传感组件221的一个或多个传感器(例如力传感器,例如加速度计)捕获其他非视觉数据,例如化学变化/性质、无线电波、指纹等,其中所述非视觉数据随后可以用作非视觉标记。
一旦检测到非视觉数据用作一个或多个潜在的非视觉标记,所述非视觉数据可以由认证/验证逻辑203处理。例如,可以在声音或信号的来源、传输等方面对其进行认证和验证,例如音频是否源自或传自人(例如尖叫、唱歌等)、动物(例如犬吠、猫喵等)、设备(例如,播放歌曲或公告的无线电、播放视频游戏的计算设备等)、事物/环境(例如,经过的火车、起飞的飞机、丛林中的树摇曳、落在街上的雨等)和/或类似物。在一些实施例中,当设备例如计算设备、接入点等包括在非视觉数据例如音频中的来源或传输中时,认证/验证逻辑203还可以用于在非视觉数据可被接受用作非视觉标记之前认证/验证设备,以避免任何不想要的内容,例如病毒、恶意软件、错误等。
类似地,其他形式的非视觉数据,例如化学性质(例如,湿度、热、冷等)、生物测定性质(例如,指纹、体温等)和/或类似物也可以通过认证/验证逻辑203来认证和验证。在一些实施例中,某些非视觉数据(例如无线电波等)可能不具有任何认证连接,因此需要认证或验证。
在一个实施例中,上下文引擎205可用于为视觉和/或非视觉数据提供合适的上下文,使得数据可以适当地用作增强AR和向用户提供AR的一个或多个标记。例如,在一个实施例中,上下文引擎205可以提供关于从AR数据库230提取的其他环境因素、背景音频、AR体验等的声音等的合适的上下文。例如,如果狮子的吼叫声音通过麦克风捕获,则上下文引擎205随后可以用于通过分析由一个或多个捕获/传感组件221拾取的任何其他声音、化学性质、甚至视觉等来向吼声提供合适的上下文。例如,某些声音(例如人类谈话、鸟鸣叫、车辆通过等)、化学性质(如湿度、温度等)、视觉(例如捕获人类、动物、树木、街道、停车场、笼子等)可由上下文引擎205使用以确定和提供关于狮子是否在动物园的笼中吼叫或在丛林中自由奔跑的合适的上下文。
如上所述,在一些实施例中,视觉标记也可以与非视觉标记一起使用,且该实施例不仅仅限于非视觉标记。例如,如在前面的示例中描述的,可以获得一个或多个视觉标记并根据需要或期望与一个或多个非视觉标记组合,以在增强现实中提供基于视觉和非视觉标记的组合的锚,所述视觉和非视觉标记的组合进一步基于通过一个或多个捕获/传感组件221获得的视觉和非视觉数据的组合。
例如,计算设备100可以包括移动计算设备(例如,智能电话、平板计算机等)、可穿戴设备(例如,手表、可穿戴眼镜、其他HMD等)等,其中计算机设备100的更多捕获传感组件221之一可以捕获一个或多个视觉(例如,图像等)和/或非视觉数据(例如,音频、信号、波等),例如一个或多个信号、化学性质等。尽管,如上所述,实施例不限于非视觉数据或标记,为了简明、清晰和易于理解,本文中的大多数讨论可能聚焦于非视觉数据/标记。重新参考非视觉数据(例如,音频、信号、化学性质、生物测定性质、无线电波等)的捕获,所捕获的非视觉数据可以由检测/接收逻辑201检测或接收,由认证/验证逻辑203认证和验证,随后由上下文引擎205评估或分析,使得合适的上下文可被分配到所捕获的非视觉数据内的每个数据项。
在一个实施例中,在将上下文分配到非视觉数据(例如,狮子在丛林中而不是在动物园中吼叫)时,与非视觉数据相关的这种分配的上下文和任何其他特定数据/元数据(例如,天/年中的时间、用户名、世界的部分等)、指令(例如,三维(3D)中显示的AR等)和/或类似物可以由AR协调逻辑207考虑以从AR数据库230提取合适的AR体验内容。例如,上述AR体验内容可以包括动画角色(例如,米老鼠(Mickey Mouse™))、二维(2D)和/或3D模型、与计算设备100的用户相关的偏好或历史行为(例如,优选语言、文本的优选字体大小、AR的黑白最终显示(而不是彩色)等)和/或类似物。
此外,例如,在非视觉数据例如一个或多个信号的情况下,可以经由一个或多个感觉通道(例如,视觉、听觉、嗅觉、触觉等)向用户呈现AR体验。当用户的计算设备100(例如,移动计算设备)检测到单件音频(例如鸟鸣叫、河流动等)时,相对简单的示例可以是都出现在用户周围的公园。类似地,继续简单的示例,更复杂的示例可能是更繁忙的环境的示例,例如丛林,都出现在具有计算设备100的用户周围,其中任何数目和类型的声音(例如,动物吼叫、鸟鸣叫、河流流动、吹风、树木耸耸、雨落等)可以由捕获/传感组件221的一个或多个麦克风拾取。
此外,检测/接收逻辑201可以检测这些多个和重叠声音的方向,并允许上下文引擎205确定其上下文(例如,多个声音中的每一个的起源、行进和/或目的地的方向等),以随后允许AR协调逻辑207与AR数据库230一起工作,用于将关键特征布置在相关AR体验内,以进一步将检测到的非视觉数据(具有或不具有任何视觉数据)配置为非视觉标记,以用作经由计算设备100的一个或多个输出组件223提供的用于用户的AR体验的锚。类似地,例如,另一个非视觉数据(例如化学性质,例如由下雨引起的水蒸气)可以由一个或多个上下文引擎205、AR协调逻辑207、AR数据库230等使用,以进一步改变出现在计算设备200上的用户的AR体验中的雨的水平或强度,如由AR显现逻辑209所促进的。
在一个实施例中,一旦由AR协调逻辑207准备用户的AR体验,其然后可以由AR显现逻辑209显现。例如,在准备要向用户呈现的AR体验时,AR显现逻辑209可以完成AR体验,例如在识别和选择用于呈现AR显现逻辑209的一个或多个输出组件223方面。例如且在一个实施例中,可以实时/在运行时显现用户的AR体验,例如可以经由输出组件223的音频扬声器呈现音频声音,并且类似地,AR体验的其他部分可以经由输出组件223的其他合适的呈现设备呈现,例如经由动画显示设备的动画体验、经由触觉呈现设备的触觉体验等,以促进用户的增强的AR体验。
在一个实施例中,用户可以选择与其他用户例如家庭、朋友、同事等共享一个或多个AR体验的显现(经由计算设备100的一个或多个输出组件223呈现),如由AR共享逻辑211所促进的。在一些实施例中,AR共享逻辑211可以用于允许AR体验通过一个或多个网络与关联于其他用户的其他计算设备共享,例如计算设备100的用户可以选择通过一个或多个网络(例如因特网、云网络、相邻网络、蓝牙等)与一个或多个计算设备的一个或多个用户共享计算设备100处的AR体验的显现。类似地,用户可以选择经由一个或多个软件应用与其他用户共享AR体验,例如通过在一个或多个社交和/或商业网络网站(例如,Facebook®、Twitter®、Linkedln®等)上发布AR体验或通过一个或多个电子邮件和/或短消息服务(SMS)应用将AR体验发送给一个或多个用户。
应当注意,实施例不仅基于视觉标记(由通常通过相机捕获的视觉数据获得)、而且基于非视觉标记为用户提供实时AR体验,对于非视觉标记,基本非视觉数据可以在不具有视觉数据捕获设备(例如相机)的情况下获得,且非视觉数据可以使用非视觉设备(例如音频传感器、嗅觉传感器、触觉传感器、化学传感器、无线电波传感器等)获得。甚至视觉元素或标记可以出现在计算设备100(例如,头戴式显示器,例如可穿戴眼镜)上而不利用相机,例如当视觉元素的方向对应于从音频基准源获得的音频的方向时。此外,在一些实施例中,捕获/传感组件221的力传感器(例如,加速度计)可用于精确定位视觉AR体验,例如当用户的头部可能转动时将视觉元素或标记保持在其合适的位置。
如上所述,实施例不仅仅局限于非视觉标记,且它们确实提供根据期望或需要获得并相应地采用由AR机构110促进的视觉标记(具有或不具有非视觉标记),以为用户显现更好的AR体验;然而,在一个实施例中,视觉标记的这种获得和采用可以在必须或不必依赖于任何常规视觉数据捕获设备(例如相机)的情况下执行,而相反在一些实施例中,视觉标记可以使用捕获/传感组件221的一个或多个非视觉设备获得。
例如且在一个实施例中,用作非视觉标记的音频信号可以启动用户的一部分AR体验,但是在这种基于非视觉标记的AR体验之后可以将视觉标记添加到AR体验;然而,可以在不使用相机的情况下获得该视觉标记,且相反视觉标记可以通过由一个或多个化学传感器、声音传感器、生物测定传感器等获得的非视觉数据来获得。为了进一步说明这一点,继续先前的丛林示例,当接近拟真的AR丛林时,大昆虫可能会出现为在特定区域中飞行,且与该事件相关的任何数据可以通过检测与大昆虫的飞行相关的超声信号(与实际视觉相反)来确定,且进一步地,可以获得该超声信号,且即使在用户和/或计算设备100能够要求区域以具有大昆虫飞行的实际视觉之前,可以产生和应用相应的视觉标记。此外,例如,可以使用计算设备100的捕获/传感组件221的一个或多个信号传感器来检测超声信号。
实施例提供(但不限于):1)经由捕获/传感组件221中的一个或多个检测非视觉数据(例如,可听见的声音、超声信号、振动等)且使用检测到的非视觉数据作为用于锚定AR体验的非视觉基准标记,而AR体验的输出可以按一种或多种形式例如视觉、听觉、嗅觉、触觉和/或类似物显现,包括使用通过从各个方向检测非视觉数据来定位AR体验;2)经由一个或多个捕获/传感组件221检测化学性质,包括化学存在和化学中的变化,以触发增强的AR体验,其中AR体验可以按一种或多种形式例如视觉、听觉、嗅觉、触觉和/或类似物显现;3)经由一个或多个捕获/传感组件221检测无线电波(例如甚至没有认证连接),包括信号方向、无线电信号名称等,以触发增强的AR体验,其中AR体验可以按一种或多种形式例如视觉、听觉、嗅觉、触觉和/或类似物显现。
实施例进一步提供(但不限于):4)在一个实施例中,经由捕获/传感组件221的力传感器(例如,加速度计等)使用上述非视觉标记中的一个或多个来启动AR体验,以锚定AR体验的视觉元素或标记(例如即使用户的头部可能正在移动,也抑制视觉或听觉AR元件的运动,其中用户可以戴着头戴式设备(例如眼镜),例如计算设备100,其也可以对应于用户头部的移动而移动)。
实施例进一步提供(但不限于):5)使用一个或多个上述非视觉标记启动AR体验,随后可以接着使用和应用视觉标记来更准确地锚定AR体验。此外,在一个实施例中,AR体验可以根据非视觉标记的强度和/或类型和沿着该过程的任何附加的视觉标记而改变或变化。
实施例进一步提供促进上述实施例的任何组合,如期望或必需的,例如组合实施例1-4,将实施例1-3与其他AR技术组合,例如可以包括姿势、语音I/O、眼睛追踪等和/或类似物的那些。实施例还提供使用上下文引擎205来检测用户活动、位置、社交活动等,以将合适的上下文分配到视觉和非视觉标记并提供更增强和准确的AR体验。
通信/兼容逻辑213可以用于促进计算设备100与任何数目和类型的其他计算设备(例如移动计算设备、台式计算机、服务器计算设备等)、处理设备(例如中央处理单元(CPU)、图形处理单元(GPU)等)、捕获/传感组件221(例如,非视觉数据传感器/检测器,例如音频传感器、嗅觉传感器、触觉传感器、信号传感器、振动传感器、化学检测器、无线电波探测器、力传感器、天气/温度传感器、身体/生物测定传感器、扫描器等,以及视觉数据传感器/检测器,例如相机等)、用户/上下文感知组件和/或识别/验证传感器/设备(如生物测定传感器/检测器、扫描器等)、存储器或存储设备、数据库和/或数据源230(例如数据存储设备、硬驱动器、固态驱动器、硬盘、存储卡或设备、存储器电路等)、网络(例如,云网络、互联网、内联网、蜂窝网络、相邻网络,例如蓝牙、低能量蓝牙(BLE)、智能蓝牙、邻近Wi-Fi、射频识别(RFID)、近场通信(NFC)、体域网(BAN)等)、无线或有线通信和相关协议(例如,Wi-Fi®、WiMAX、以太网等)、连接和位置管理技术、软件应用/网站(例如,社交和/或商业连网网站、商业应用、游戏和其他娱乐应用等)、编程语言等之间的动态通信和兼容,同时确保与变化的技术、参数、协议、标准等兼容。
在本文通篇,术语例如“逻辑”、“组件”、“模块”、“框架”、“引擎”、“工具”等可以互换引用,且通过示例包括软件、硬件、和/或软件和硬件的任何组合,例如固件。此外,使用任何特定品牌、词语、术语、短语、名称和/或首字母缩略词,例如“非视觉”、“视觉”、“标记”、“锚”、“听觉”、“嗅觉”、“触觉”、“信号”、“化学”、“无线电波”、“增强现实”或“AR”等并不应当认为是将实施例限制于产品或本文外的文献中携带的该标签的软件或设备。
可以设想,任何数目和类型的组件可以被添加到AR机构110和/或从AR机构110去除,以促进各种实施例,包括添加、去除和/或增强某些特征。为了简明、清晰和易于理解AR机构110,许多标准和/或已知组件,例如计算设备的组件,不在这里示出或讨论。可以设想,如本文所描述的实施例不限于任何特定技术、拓扑、系统、架构和/或标准,且足够动态以采用并适应任何未来的变化。
图2B示出根据一个实施例的具有一组选择性组件的架构布局的计算设备100。为了简明,参考图1和图2A讨论的许多细节在下面可不讨论或重复。应当设想且注意到,实施例不限于所示的架构布局,无论是在所示的组件还是其布局方面,且为了简明、清晰和易于理解,该布局仅作为示例提供。
如所示且在一个实施例中,捕获/传感组件221可以在上下文引擎205中且还与AR协调逻辑207通信,其中上下文引擎205进一步与AR协调逻辑207通信。此外,AR协调逻辑207可以与AR数据库230通信,并进一步与AR显现逻辑209通信,AR显现逻辑209被显示为与输出组件223通信,以促进经由计算设备100的一个或多个输出组件223向用户显现AR体验。
图3A示出根据一个实施例的用于促进基于非视觉标记(例如音频)的增强现实体验的产生和显现的方法300。方法300可以由可以包括硬件(例如,电路、专用逻辑、可编程逻辑等)、软件(例如在处理设备上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,方法300可以由图1的AR机构110执行。方法300的过程以线性顺序示出,以便简明和清晰呈现;然而,设想可以并行、异步或以不同顺序执行它们中的任何数目。为了简明,参考图1和图2A-B讨论的许多细节可能在下文不讨论或重复。
具有框301的方法300具有图2A的捕获/传感组件221的音频检测设备(例如麦克风),以检测音频(例如声音,包括信号中的特定数据、强度、方向等)。在框303,检测到的声音随后由AR协调逻辑207映射到在图2A的AR数据库230处访问的AR体验数据,其中在框305,该AR显现逻辑209可以随后基于上述映射显现AR体验。在框307,随后可以经由计算设备的一个或多个感觉输出通道(例如图2A的输出组件223),根据其分配的上下文和/或访问或检测到的AR体验数据例如检测到的音频的方向、数据、强度等将显现的AR体验向用户呈现。
在一个实施例中,在框309,作为计算设备的AR体验的接收者的用户可以选择经由一个或多个其他计算设备(例如,智能电话、可穿戴设备等)与其他用户(例如,家人、朋友、同事等)通过一个或多个网络(例如,因特网、云网络、蓝牙、相邻网络等)且以任何数目和类型的方式(例如经由社交连网网站、电子邮件、文本等)共享AR体验。
在框311处,如参考图2A进一步讨论的,在一些实施例中,还可以检测一个或多个视觉标记(例如,使用信号检测器/传感器等来从检测超声信号产生视觉标记),并且因此,在框313,这些视觉标记可以与AR体验一起使用以进一步优化且更好和更准确地提高AR体验。
图3B示出根据一个实施例的用于促进基于非视觉标记(例如化学)的增强现实体验的产生和显现的方法320。方法320可以由可以包括硬件(例如,电路、专用逻辑、可编程逻辑等)、软件(例如在处理设备上运行的指令)或其组合的处理逻辑执行。在一个实施例中,方法320可以由图1的AR机构110执行。方法320的过程以线性顺序示出,以便简明和清楚呈现;然而,设想可以并行、异步或以不同顺序执行其中的任何数目。为了简明,参考图1、2A-B和3A讨论的许多细节在下文将不讨论或重复。
具有框321的方法300具有图2A的捕获/传感组件221的化学传感设备(例如化学传感器),以检测任何化学制品及其相应的性质、变化、特性等,例如与检测到的化学制品相关的类型、强度等。在框323,检测到的化学制品随后由AR协调逻辑207映射到在图2A的AR数据库230处访问的AR体验数据,其中在框325,该AR显现逻辑209可以基于上述映射显现AR体验。在框327,随后可以经由计算设备的一个或多个感觉输出通道(例如图2A的输出组件223),根据其分配的上下文和/或访问或检测到的AR体验数据(例如检测到的化学制品的类型、强度等),将显现的AR体验向用户呈现。
在框329处,如参考图2A进一步讨论的,在一些实施例中,还可以检测一个或多个视觉标记(例如,使用信号检测器/传感器等从检测超声信号产生视觉标记等),因此在框331,这些视觉标记可以与AR体验一起使用,以进一步优化且更好和更准确地增强AR体验。
图3C示出根据一个实施例的用于促进基于非视觉标记例如无线信号的增强现实体验的产生和显现的方法340。方法340可以由可以包括硬件(例如,电路、专用逻辑、可编程逻辑等)、软件(例如在处理设备上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,方法340可以由图1的AR机构110执行。方法340的过程以线性顺序示出,以便简明和清楚呈现;然而,设想可以并行、异步或以不同顺序执行它们中的任何数目。为了简明,参考图1、2A-B和3A-3B讨论的许多细节将不在下文讨论或重复。
具有框341的方法340具有图2A的捕获/传感组件221的信号检测设备,例如信号检测器或无线子系统等,以检测信号及其对应的数据、强度和方向等。在框343,检测的信号随后由AR协调逻辑207映射到在图2A的AR数据库230处访问的AR体验数据,其中在框345,该AR显现逻辑209可以随后基于上述映射来显现AR体验。在框347,随后可以经由计算设备的一个或多个感觉输出通道(例如图2A的输出组件223)根据其分配的上下文和/或访问或检测的AR体验数据(例如检测信号的数据、强度和方向等)将显现的AR体验向用户呈现。
在框349中,如参考图2A进一步讨论的,在一些实施例中,也可以检测一个或多个视觉标记(例如,使用信号检测器/传感器等从检测超声信号产生视觉标记等),因此,在框351,这些视觉标记可以与AR体验一起使用以进一步优化,且更好和更准确地增强AR体验。
图4示出能够支持上述操作的计算系统400的实施例。计算系统400表示各种计算和电子设备(有线或无线),例如包括台式计算系统、膝上型计算系统、蜂窝电话、包括支持蜂窝的PDA的个人数字助理(PDA)、机顶盒、智能电话、平板计算机、可穿戴设备等。备用计算系统可以包括更多、更少和/或不同的组件。计算设备400可以与参考图1描述的计算设备100相同或相似或包括计算设备100。
计算系统400包括总线405(或例如链接、互连或另一类型的传送信息的通信设备或接口)以及耦合到总线405的可处理信息的处理器410。虽然用单个处理器示出计算系统400,它可以包括多个处理器和/或共处理器,例如中央处理器、图像信号处理器、图形处理器和视觉处理器等中的一个或多个。计算系统400还可以包括耦合到总线405的随机存取存储器(RAM)或其他动态存储设备420(称为主存储器),且可以存储可由处理器410执行的信息和指令。主存储器420还可用于存储临时变量或在处理器410执行指令期间的其他中间信息。
计算系统400还可以包括只读存储器(ROM)和/或耦合到总线405的其他存储设备430,其可以存储用于处理器410的静态信息和指令。日期存储设备440可以耦合到总线405以存储信息和指令。日期存储设备440例如磁盘或光盘和相应的驱动器可以耦合到计算系统400。
计算系统400还可以经由总线405耦合到显示设备450,例如阴极射线管(CRT)、液晶显示器(LCD)或有机发光二极管(OLED)阵列以向用户显示信息。包括字母数字和其他键的用户输入设备460可以耦合到总线405以将信息和命令选择传送到处理器410。另一类型的用户输入设备460是光标控制470,例如鼠标、轨迹球、触摸屏、触摸板或光标方向键以将方向信息和命令选择传送到处理器410和控制显示器450上的光标移动。计算机系统400的相机和麦克风阵列490可以耦合到总线405以观察姿势,记录音频和视频,以及接收和发送视觉和音频命令。
计算系统400还可以包括网络接口480,以提供对网络例如局域网(LAN)、广域网(WAN)、城域网(MAN)、个域网(PAN)、蓝牙、云网络、移动网络(例如,第三代(3G)等)、内联网、因特网等的访问。网络接口480可以包括例如具有天线485的无线网络接口,其可以表示一个或多个天线。网络接口480还可以包括例如有线网络接口以经由网络线缆487与远程设备通信,所述网络线缆可以是例如以太网线缆、同轴线缆、光纤线缆、串行线缆或并行线缆。
网络接口480可以例如通过符合IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的访问,和/或无线网络接口可以提供对个域网的访问,例如,通过符合蓝牙标准。还可以支持其他无线网络接口和/或协议,包括标准的先前和后续版本。
除了经由无线LAN标准的通信之外或对其进行替代,网络接口480可以使用例如时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议和/或任何其他类型的无线通信协议提供无线通信。
网络接口480可以包括一个或多个通信接口,例如调制解调器、网络接口卡或其他熟知的接口设备,例如用于耦合到以太网、令牌环或其他类型的物理有线或无线附件的那些,用于例如提供支持LAN或WAN的通信链路。以这种方式,例如,计算机系统还可以经由包括内联网或因特网的常规网络基础设施耦合到多个外围设备、客户端、控制面、控制台或服务器。
应当理解,对于某些实施方案,比上述示例更少或更多的装备系统可能是优选的。因此,计算系统400的配置可以根据众多因素例如价格约束、性能要求、技术改进或其他情况而在实施方案之间变化。电子设备或计算机系统400的实例可以包括但不限于移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手柄、单向寻呼机、双向寻呼机、消息传送设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、平板计算机、服务器、服务器阵列或服务器场、全球网服务器、网络服务器、互联网服务器、工作站、小型计算机、主框架计算机、超级计算机、网络设备、全球网设备、分布式计算系统、多处理器系统、基于处理器的系统、消费电子产品、可编程消费电子产品、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、网桥、交换机、机器或其组合。
实施例可以实现为使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储设备存储并由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)中的任一个或组合。术语“逻辑”可以包括例如软件或硬件和/或软件和硬件的组合。
实施例可以例如提供为计算机程序产品,其可以包括其上存储机器可执行指令的一个或多个机器可读介质,所述机器可执行指令当由一个或多个机器(例如计算机,计算机网络或其他电子设备)执行时,可以导致一个或多个机器执行根据本文所述的实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(光盘只读存储器)和磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外,实施例可以作为计算机程序产品下载,其中所述程序可以通过一个或多个数据信号从远程计算机(例如,服务器)传送到请求计算机(例如,客户端),所述一个或多个数据信号包括在载波或其他传播介质中和/或通过载波或其他传播介质经由通信链路(例如,调制解调器和/或网络连接)调制。
对“一个实施例”、“实施例”、“示例性实施例”、“各种实施例”等的提及表示所描述的实施例可以包括特定的特征、结构或特性,但并不是每个实施例必须包括特定的特征、结构或特性。此外,一些实施例可以具有针对其他实施例描述的一些、全部特征或者没有特征。
在以下描述和权利要求中,可以使用术语“耦合”及其衍生词。“耦合”用于表示两个或更多个元件彼此协作或相互作用,但是它们在它们之间可以或可以不具有插入的物理或电组件。
如权利要求中所用的,除非另有规定,使用顺序形容词“第一”、“第二”、“第三”等来描述共同的元件,仅仅表示提及的相同元件的不同情形,并不旨在表示这样描述的元件必须有给定顺序(暂时、空间),有分级或任何其他方式。
图5示出能够支持上述操作的计算环境500的实施例。模块和系统可以用各种不同的硬件体系结构和形式因素来实现。
命令执行模块501包括中央处理单元,以高速缓存和执行命令且在所示的其他模块和系统之间分配任务。它可以包括指令栈、高速缓存存储器以存储中间和最终结果,以及大容量存储器以存储应用和操作系统。命令执行模块也可以用作系统的中央协调和任务分配单元。
屏幕显现模块521在一个或更多个屏幕上绘制对象,以供用户查看。它可以适合于从下面描述的虚拟对象行为模块504接收数据,且将虚拟对象和任何其他对象和力在一个或多个合适的屏幕上显现。因此,来自虚拟对象行为模块的数据将确定虚拟对象的位置和动态以及相关姿势、力和对象,例如,因此屏幕显现模块将在屏幕上描绘虚拟对象和相关对象和环境。屏幕显现模块还可以适合于从下面描述的相邻屏幕透视模块507接收数据,以描绘虚拟对象的目标着陆区域,如果虚拟对象可以移动到与相邻屏幕透视模块关联的设备的显示器。因此,例如,如果虚拟对象从主屏幕移动到辅助屏幕,则相邻屏幕透视模块2可以向屏幕显现模块发送数据,例如以阴影形式为追踪用户的手移动或眼睛移动的虚拟对象建议一个或多个目标着陆区域。
对象和姿势识别系统522可以适合于识别和追踪用户的手和伤害姿势。这样的模块可以用于识别手、手指、手指姿势、手移动和手相对于显示器的位置。例如,对象和姿势识别模块可以例如确定用户做出身体部分姿势以将虚拟对象丢或投到多个屏幕中的一个或另一个上,或用户做出身体部分姿势来移动虚拟对象到多个屏幕中的一个或另一个的边框。对象和姿势识别系统可以耦合到相机或相机阵列、麦克风或麦克风阵列、触摸屏或触摸表面、或指向设备、或这些物品的一些组合,以检测来自用户的姿势和命令。
对象和姿势识别系统的触摸屏或触摸表面可以包括触摸屏传感器。来自传感器的数据可以被馈送到硬件、软件、固件或其组合,以将在屏幕或表面上的用户的手的触摸姿势映射到虚拟对象的相应动态行为。传感器日期可以用于动量和惯性因子,以允许基于来自用户手的输入(例如用户手指相对于屏幕的滑动速率)的虚拟对象的各种动量行为。捏姿势可以被解释为从显示屏提起虚拟对象,或开始产生与虚拟对象相关联的虚拟绑定或在显示器上放大或缩小的命令。通过使用一个或多个不利用触摸表面的相机的对象和姿势识别系统可以产生类似的命令。
关注模块523的方向可以装备有相机或其他传感器,以追踪用户脸部或手部的位置或姿态。当发出姿势或语音命令时,系统可以针对姿势确定合适屏幕。在一个示例中,在每个显示器附近安装相机以检测用户是否面向该显示器。如果是这样,则将关注模块信息的方向提供给对象和姿势识别模块522,以确保姿势或命令与用于主动显示的合适库相关联。类似地,如果用户远离所有屏幕注视,则可以忽略命令。
设备接近度检测模块525可以使用接近度传感器、罗盘、GPS(全球定位系统)接收器、个域网无线电和其他类型的传感器,以及三角测量和其他技术来确定其他设备的接近度。一旦附近的设备被检测到,它可以被注册到系统,且其类型可以确定为输入设备或显示设备或两者。对于输入设备,接收的数据随后可以被应用于对象姿势和识别系统522。对于显示设备,可以由相邻屏幕透视模块507考虑。
虚拟对象行为模块504适合于从对象速度和方向模块接收输入,并将该输入应用于显示器中显示的虚拟对象。因此,例如,对象和姿势识别系统将解释用户姿势,且通过将用户手的捕获的移动映射到所识别的移动,虚拟对象追踪器模块将关联虚拟对象的位置和移动到由对象和姿势识别系统识别的运动,对象和速度和方向模块将捕获虚拟对象运动的动态,且虚拟对象行为模块将接收来自对象和速度和方向模块的输入,以产生将引导虚拟对象的移动的数据,以对应于来自对象和速度和方向模块的输入。
另一方面,虚拟对象追踪器模块506可以适合于基于来自对象和姿势识别模块的输入来追踪虚拟对象应当在显示器附近的三维空间中位于哪里,以及用户的哪个身体部分正在保持虚拟对象。虚拟对象追踪器模块506可以例如在虚拟对象跨过屏幕移动或在屏幕之间移动时追踪虚拟对象,并追踪用户的哪个身体部分正在保持该虚拟对象。追踪保持该虚拟对象的身体部分允许持续感知身体部分的空气运动,因此最终意识到虚拟物体是否已被释放到一个或多个屏幕上。
姿势到视图和屏幕同步模块508,从关注模块523的方向接收视图和屏幕或两者的选择,且在某些情况下接收语音命令以确定哪个视图和哪个屏幕是主动屏幕。随后,它使得为对象和姿势识别系统522加载相关的姿势库。一个或多个屏幕上的应用的各种视图可以与给定视图的备选姿势库或一组姿势模板相关联。作为示例,夹紧释放姿势启动鱼雷,相同的姿势启动深水炸弹。
可以包括或耦合到设备接近度检测模块525的相邻屏幕透视模块507可以适合于确定一个显示器相对于另一显示器的角度和位置。投影显示器包括例如投影到墙壁或屏幕上的图像。检测附近屏幕的接近度以及由此投影的显示器的相应角度或方向的能力可以例如用红外发射器和接收器或电磁或光检测传感能力来实现。对于允许具有触摸输入的投影显示器的技术,可以分析输入视频以确定投影的显示的位置,并纠正通过在一定角度下显示引起的失真。加速度计、磁力计、罗盘或相机可以用于确定设备被保持的角度,而红外发射器和相机可以允许待确定的屏幕设备相对于相邻设备上的传感器的定位。以这种方式,相邻屏幕透视模块507可以相对于其本身的屏幕坐标来确定相邻屏幕的坐标。因此,相邻屏幕透视模块可以确定哪些设备彼此接近,以及用于跨屏幕移动一个或多个虚拟对象的更多潜在目标。相邻屏幕透视模块可以进一步允许屏幕的位置与表示所有现有对象和虚拟对象的三维空间的模型相关联。
对象和速度和方向模块503可以适合于通过接收来自所述虚拟对象追踪器模块的输入来评估被移动的虚拟对象的动态,例如其轨迹、速度(无论是线速度或角速度)、动量(无论是线动量或角动量)等。对象和速度和方向模块还可以适合于通过例如评估虚拟绑定的加速度、偏转、拉伸程度等来评估任何物理力的动态,以及虚拟对象一旦被用户身体部分释放的动态行为。对象和速度和方向模块还可以使用图像运动、尺寸和角度变化来评估对象的速度,例如手和手指的速度。
动量和惯性模块502可以使用图像平面中或三维空间中的对象的图像运动、图像大小和角度变化来评估空间中或显示器上对象的速度和方向。动量和惯性模块耦合到对象和姿势识别系统522以评估由手、手指和其他身体部分执行的姿势的速度,随后应用这些评估来确定受姿势影响的虚拟对象的动量和速度。
3D图像交互和效果模块505追踪用户与看起来从一个或多个屏幕延伸出来的3D图像的交互。对象在z轴(朝向和远离屏幕的平面)中的影响可以与这些对象彼此之间的相对影响一起计算。例如,在虚拟对象到达屏幕平面之前,由用户姿势投出的对象可能会受到前景中的3D对象的影响。这些对象可能会改变射弹的方向或速度,或者完全破坏它。对象可以由一个或多个显示器上的前景中的3D图像交互和效果模块显现。
以下条款和/或示例涉及其他实施例或示例。实施例中的细节可以在一个或多个实施例中的任何地方使用。不同实施例或示例的各种特征可以多方面地与包括的一些特征和排除的其他特征组合以适应各种不同的应用。示例可以包括主题,例如方法、用于执行所述方法的动作的部件、至少一个机器可读介质(其包括指令,当由机器执行时使机器执行所述方法的动作,或装置或系统的动作),用于根据本文所述的实施例和示例促进混合通信。
一些实施例涉及示例1,其包括促进在计算设备上基于非视觉标记的增强现实体验的动态显现的装置,包括:检测非视觉数据的检测/接收逻辑,其中所述非视觉数据经由一个或多个捕获/传感组件捕获;将所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验的增强现实协调逻辑,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及基于所述一个或多个非视觉标记显现第一增强现实体验的增强现实显现逻辑。
示例2包括示例1的主题,还包括:将所述一个或多个上下文分配到非视觉数据的上下文引擎,其中所述一个或多个上下文基于一个或多个环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据相关的日历事件确定。
示例3包括示例1或2的主题,其中映射基于本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个执行,其中所述数据库存储本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
示例4包括示例1的主题,还包括一个或多个输出组件以呈现第一增强现实体验,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
示例5包括示例1的主题,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
示例6包括示例1的主题,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
示例7包括示例1的主题,其中所述检测/接收逻辑还经由一个或多个捕获/传感组件检测视觉数据,
其中所述增强现实协调逻辑进一步将视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验;并且
其中所述增强现实显现逻辑进一步基于所述一个或多个非视觉标记显现所述第二增强现实体验。
示例8包括示例1或7的主题,还包括增强现实共享逻辑,以经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享第一增强现实体验或第二增强现实体验,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个。
一些实施例涉及示例9,其包括用于促进在计算设备上的基于非视觉标记的增强现实体验的动态显现的方法,包括:检测非视觉数据,其中所述非视觉数据经由计算设备的一个或多个捕获/传感组件捕获;将所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及基于所述一个或多个非视觉标记显现所述第一增强现实体验。
示例10包括示例9的主题,还包括将一个或多个上下文分配到非视觉数据,其中所述一个或多个上下文基于环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据相关的日历事件中的一个或多个确定。
示例11包括示例9的主题,其中映射基于本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个执行,其中所述数据库存储本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
示例12包括示例9的主题,还包括经由一个或多个输出组件呈现第一增强现实体验,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
示例13包括示例9的主题,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
示例14包括示例9的主题,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
示例15包括示例9的主题,还包括:经由所述计算设备的一个或多个捕获/传感组件检测视觉数据;将所述视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验;以及基于所述一个或多个非视觉标记显现所述第二增强现实体验。
示例16包括示例9的主题,还包括经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享第一增强现实体验或第二增强现实体验,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个。
示例17包括至少一个包括多个指令的机器可读介质,当在计算设备上执行时,实现或执行如前述权利要求中任一项所述的方法或实现装置。
示例18包括至少一个非暂时的或有形的机器可读介质,其包括多个指令,当在计算设备上执行时,实现或执行如前述权利要求中任一项所述的方法或实现装置。
示例19包括一种系统,包括实现或执行如前述权利要求中任一项所述的方法或实现装置的机构。
示例20包括一种装置,其包括用于执行如前述权利要求中任一项所述的方法的部件。
示例21包括布置为实现或执行如前述权利要求中任一项所述的方法或实现装置的计算设备。
示例22包括布置成实现或执行如前述权利要求中任一项所述的方法或实现装置的通信设备。
涉及示例23的一些实施例包括一种系统,其包括具有指令的存储设备和执行所述指令以促进执行一个或多个操作的机构的处理器,所述一个或多个操作包括:检测非视觉数据,其中所述非视觉数据经由所述计算设备的一个或多个捕获/传感组件捕获;将所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及基于所述一个或多个非视觉标记显现所述第一增强现实体验。
示例24包括示例23的主题,其中所述一个或多个操作还包括将所述一个或多个上下文分配到所述非视觉数据,其中所述一个或多个上下文基于环境偏差、即时环境、实时运动、历史事件和与所述非视觉数据相关的日历事件中的一个或多个确定。
示例25包括示例23的主题,其中映射基于本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个执行,其中所述数据库存储本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
示例26包括示例23的主题,其中所述一个或多个操作还包括经由一个或多个输出组件呈现第一增强现实体验,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
示例27包括示例23的主题,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
示例28包括示例23的主题,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
示例29包括示例23的主题,其中所述一个或多个操作进一步包括:经由所述计算设备的一个或多个捕获/传感组件检测视觉数据;将所述视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验;以及基于所述一个或多个非视觉标记显现所述第二增强现实体验。
示例30包括示例23的主题,其中所述一个或多个操作还包括经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享第一增强现实体验或第二增强现实体验,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个。
一些实施例涉及示例31,包括一种装置,包括:用于检测非视觉数据的部件,其中所述非视觉数据经由所述计算设备的一个或多个捕获/传感组件捕获;用于将所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验的部件,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及基于所述一个或多个非视觉标记显现所述第一增强现实体验的部件。
示例32包括示例31的主题,还包括用于将一个或多个上下文分配到非视觉数据的部件,其中所述一个或多个上下文基于环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据有关的日历事件中的一个或多个确定。
示例33包括示例31的主题,其中映射基于本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个执行,其中所述数据库存储本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
示例34包括示例31的主题,还包括用于经由一个或多个输出组件呈现第一增强现实体验的部件,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
示例35包括示例31的主题,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
示例36包括示例31的主题,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
示例37包括示例31的主题,还包括:用于经由所述计算设备的一个或多个捕获/传感组件检测视觉数据的部件;用于将所述视觉数据转换成一个或多个视觉标记并产生第二增强现实体验的部件;以及用于基于所述一个或多个非视觉标记显现所述第二增强现实体验的部件。
示例38包括示例31的主题,还包括用于经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享第一增强现实体验或第二增强现实体验的部件,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个。
附图和前面的描述给出了实施例的示例。本领域技术人员将理解,所描述的元件中的一个或多个可以很好地组合成单个功能元件。或者,某些元件可以被分成多个功能元件。来自一个实施例的元件可以添加到另一个实施例。例如,本文描述的过程的顺序可以改变,且不限于本文所述的方式。此外,任何流程图不需要按照所示的顺序实施动作;也不一定需要执行所有动作。此外,不依赖于其他动作的这些动作可以与其他动作并行执行。实施例的范围绝对不受这些具体示例的限制。许多变化,无论是否在说明书中明确给出,例如材料的结构、尺寸和使用的差异是可能的。实施例的范围至少与由以下权利要求给出的范围一样宽。
Claims (28)
1.一种用于促进基于非视觉标记的增强现实体验的动态显现的装置,包括:
检测非视觉数据的检测/接收逻辑,其中所述非视觉数据经由一个或多个捕获/传感组件捕获;
认证/验证所述非视觉数据的来源或传输的认证/验证逻辑;
将已认证/验证的所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验的增强现实协调逻辑,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及
基于一个或多个非视觉标记显现所述第一增强现实体验的增强现实显现逻辑。
2.如权利要求1所述的装置,还包括:
将所述一个或多个上下文分配到所述非视觉数据的上下文引擎,其中所述一个或多个上下文基于环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据有关的日历事件中的一个或多个来确定。
3.如权利要求1或2所述的装置,其中映射基于存储在数据库中的本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个来执行,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
4.如权利要求1所述的装置,还包括一个或多个输出组件以呈现所述第一增强现实体验,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
5.如权利要求1所述的装置,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
6.如权利要求1所述的装置,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
7.如权利要求1所述的装置,其中所述检测/接收逻辑还用于经由所述一个或多个捕获/传感组件来检测视觉数据,
其中所述增强现实协调逻辑进一步将所述视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验;并且
其中所述增强现实显现逻辑进一步基于所述一个或多个非视觉标记显现所述第二增强现实体验。
8.如权利要求7所述的装置,还包括:
增强现实共享逻辑,以经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享所述第一增强现实体验或所述第二增强现实体验,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个;以及
通信/兼容逻辑以建立与所述一个或多个计算设备、所述一个或多个软件应用和所述一个或多个网络中的一个或多个的通信。
9.一种用于促进基于非视觉标记的增强现实体验的动态显现的方法,包括:
检测非视觉数据,其中所述非视觉数据经由计算设备的一个或多个捕获/传感组件捕获;
认证/验证所述非视觉数据的来源或传输;
将已认证/验证的所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及
基于所述一个或多个非视觉标记显现所述第一增强现实体验。
10.如权利要求9所述的方法,还包括:
将所述一个或多个上下文分配到所述非视觉数据,其中所述一个或多个上下文基于环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据相关的日历事件中的一个或多个来确定。
11.如权利要求9所述的方法,其中映射基于存储在数据库中的本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个来执行,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
12.如权利要求9所述的方法,还包括经由一个或多个输出组件呈现所述第一增强现实体验,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
13.如权利要求9所述的方法,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
14.如权利要求9所述的方法,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
15.如权利要求9所述的方法,还包括:
经由所述计算设备的一个或多个捕获/传感组件来检测视觉数据;
将所述视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验;以及
基于所述一个或多个非视觉标记显现所述第二增强现实体验。
16.如权利要求15所述的方法,还包括:
经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享所述第一增强现实体验或所述第二增强现实体验,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个;以及
建立与所述一个或多个计算设备、所述一个或多个软件应用和所述一个或多个网络中的一个或多个的通信。
17.一种机器可读介质,包括多个指令,当在计算设备上执行所述指令时,实施或进行如权利要求9-16中的任一项所述的方法。
18.一种布置成实施或进行如权利要求9-16中的任一项所述的方法的系统。
19.一种布置成实施或进行如权利要求9-16中的任一项所述的方法的计算设备。
20.一种布置成实施或进行如权利要求9-16中的任一项所述的方法的通信设备。
21.一种用于促进基于非视觉标记的增强现实体验的动态显现的装置,包括:
用于检测非视觉数据的部件,其中所述非视觉数据经由计算设备的一个或多个捕获/传感组件捕获;
用于认证/验证所述非视觉数据的来源或传输的部件;
用于将已认证/验证的所述非视觉数据与一个或多个增强现实项目映射以产生第一增强现实体验的部件,其中所述非视觉数据基于所述一个或多个增强现实项目和一个或多个上下文转换成一个或多个非视觉标记;以及
用于基于所述一个或多个非视觉标记显现所述第一增强现实体验的部件。
22.如权利要求21所述的装置,还包括:
用于将所述一个或多个上下文分配到所述非视觉数据的部件,其中所述一个或多个上下文基于环境偏差、即时环境、实时移动、历史事件和与所述非视觉数据相关的日历事件中的一个或多个来确定。
23.如权利要求21所述的装置,其中映射基于存储在数据库中的本地规律、规则组、预定标准和所述一个或多个上下文中的一个或多个来执行,其中所述数据库进一步存储所述一个或多个增强现实项目,所述增强现实项目包括动画人物、二维(2D)模型、三维(3D)模型和与所述非视觉数据相关的历史内容中的一个或多个。
24.如权利要求21所述的装置,还包括用于呈现所述第一增强现实体验的部件,其中所述一个或多个输出组件包括显示设备、扬声器、嗅觉可视化设备、触觉可视化设备、信号呈现设备和化学呈现设备中的一个或多个。
25.如权利要求21所述的装置,其中所述一个或多个捕获/传感组件包括音频传感器、信号检测器、无线电波检测器、化学检测器、生物测定传感器和相机中的一个或多个。
26.如权利要求21所述的装置,其中所述非视觉数据包括音频、化学和信号中的一个或多个,其中所述音频包括声音或噪声,并且其中所述信号包括无线电波。
27.如权利要求21所述的装置,还包括:
用于经由所述计算设备的一个或多个捕获/传感组件来检测视觉数据的部件;
用于将所述视觉数据转换成一个或多个视觉标记,并产生第二增强现实体验的部件;以及
用于基于所述一个或多个非视觉标记显现所述第二增强现实体验的部件。
28.如权利要求27所述的装置,还包括:
用于经由一个或多个计算设备或一个或多个软件应用通过一个或多个网络共享所述第一增强现实体验或所述第二增强现实体验的部件,其中所述一个或多个软件应用包括社交连网网站、商业连网网站、电子邮件应用和短消息服务(SMS)应用中的一个或多个;以及
用于建立与所述一个或多个计算设备、所述一个或多个软件应用和所述一个或多个网络中的一个或多个的通信的部件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/567712 | 2014-12-11 | ||
US14/567,712 US10915161B2 (en) | 2014-12-11 | 2014-12-11 | Facilitating dynamic non-visual markers for augmented reality on computing devices |
PCT/US2015/057335 WO2016093965A1 (en) | 2014-12-11 | 2015-10-26 | Facilitating dynamic non-visual markers for augmented reality on computing devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107111361A CN107111361A (zh) | 2017-08-29 |
CN107111361B true CN107111361B (zh) | 2021-03-19 |
Family
ID=56107899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580061697.6A Active CN107111361B (zh) | 2014-12-11 | 2015-10-26 | 促进用于增强现实的动态非视觉标记的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10915161B2 (zh) |
EP (1) | EP3230958A4 (zh) |
CN (1) | CN107111361B (zh) |
WO (1) | WO2016093965A1 (zh) |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9594429B2 (en) | 2014-03-27 | 2017-03-14 | Apple Inc. | Adjusting the level of acoustic and haptic output in haptic devices |
US9589362B2 (en) | 2014-07-01 | 2017-03-07 | Qualcomm Incorporated | System and method of three-dimensional model generation |
US9886090B2 (en) | 2014-07-08 | 2018-02-06 | Apple Inc. | Haptic notifications utilizing haptic input devices |
US9607388B2 (en) | 2014-09-19 | 2017-03-28 | Qualcomm Incorporated | System and method of pose estimation |
DE102016105496A1 (de) * | 2015-03-26 | 2016-09-29 | Faro Technologies Inc. | System zur Prüfung von Objekten mittels erweiterter Realität |
US10373366B2 (en) | 2015-05-14 | 2019-08-06 | Qualcomm Incorporated | Three-dimensional model generation |
US9911242B2 (en) | 2015-05-14 | 2018-03-06 | Qualcomm Incorporated | Three-dimensional model generation |
US10304203B2 (en) | 2015-05-14 | 2019-05-28 | Qualcomm Incorporated | Three-dimensional model generation |
EP3098690B1 (en) * | 2015-05-28 | 2020-01-08 | Nokia Technologies Oy | Rendering of a notification on a head mounted display |
US20170024010A1 (en) | 2015-07-21 | 2017-01-26 | Apple Inc. | Guidance device for the sensory impaired |
US10585480B1 (en) | 2016-05-10 | 2020-03-10 | Apple Inc. | Electronic device with an input device having a haptic engine |
US10649529B1 (en) | 2016-06-28 | 2020-05-12 | Apple Inc. | Modification of user-perceived feedback of an input device using acoustic or haptic output |
US10845878B1 (en) | 2016-07-25 | 2020-11-24 | Apple Inc. | Input device with tactile feedback |
US10074205B2 (en) | 2016-08-30 | 2018-09-11 | Intel Corporation | Machine creation of program with frame analysis method and apparatus |
US10372214B1 (en) | 2016-09-07 | 2019-08-06 | Apple Inc. | Adaptable user-selectable input area in an electronic device |
US10297085B2 (en) | 2016-09-28 | 2019-05-21 | Intel Corporation | Augmented reality creations with interactive behavior and modality assignments |
US10068379B2 (en) * | 2016-09-30 | 2018-09-04 | Intel Corporation | Automatic placement of augmented reality models |
US10135950B2 (en) | 2016-10-10 | 2018-11-20 | Google Llc | Creating a cinematic storytelling experience using network-addressable devices |
US10341568B2 (en) | 2016-10-10 | 2019-07-02 | Qualcomm Incorporated | User interface to assist three dimensional scanning of objects |
US10212157B2 (en) | 2016-11-16 | 2019-02-19 | Bank Of America Corporation | Facilitating digital data transfers using augmented reality display devices |
US10158634B2 (en) | 2016-11-16 | 2018-12-18 | Bank Of America Corporation | Remote document execution and network transfer using augmented reality display devices |
US10943229B2 (en) | 2016-11-29 | 2021-03-09 | Bank Of America Corporation | Augmented reality headset and digital wallet |
US10339583B2 (en) | 2016-11-30 | 2019-07-02 | Bank Of America Corporation | Object recognition and analysis using augmented reality user devices |
US10600111B2 (en) | 2016-11-30 | 2020-03-24 | Bank Of America Corporation | Geolocation notifications using augmented reality user devices |
US10685386B2 (en) | 2016-11-30 | 2020-06-16 | Bank Of America Corporation | Virtual assessments using augmented reality user devices |
US10586220B2 (en) | 2016-12-02 | 2020-03-10 | Bank Of America Corporation | Augmented reality dynamic authentication |
US10481862B2 (en) | 2016-12-02 | 2019-11-19 | Bank Of America Corporation | Facilitating network security analysis using virtual reality display devices |
US10311223B2 (en) | 2016-12-02 | 2019-06-04 | Bank Of America Corporation | Virtual reality dynamic authentication |
US10607230B2 (en) | 2016-12-02 | 2020-03-31 | Bank Of America Corporation | Augmented reality dynamic authentication for electronic transactions |
US10109096B2 (en) | 2016-12-08 | 2018-10-23 | Bank Of America Corporation | Facilitating dynamic across-network location determination using augmented reality display devices |
US10109095B2 (en) | 2016-12-08 | 2018-10-23 | Bank Of America Corporation | Facilitating dynamic across-network location determination using augmented reality display devices |
US10217375B2 (en) | 2016-12-13 | 2019-02-26 | Bank Of America Corporation | Virtual behavior training using augmented reality user devices |
US10210767B2 (en) | 2016-12-13 | 2019-02-19 | Bank Of America Corporation | Real world gamification using augmented reality user devices |
US10437359B1 (en) | 2017-02-28 | 2019-10-08 | Apple Inc. | Stylus with external magnetic influence |
US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
US10775889B1 (en) | 2017-07-21 | 2020-09-15 | Apple Inc. | Enclosure with locally-flexible regions |
US10768747B2 (en) | 2017-08-31 | 2020-09-08 | Apple Inc. | Haptic realignment cues for touch-input displays |
US11054932B2 (en) | 2017-09-06 | 2021-07-06 | Apple Inc. | Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module |
US10556252B2 (en) | 2017-09-20 | 2020-02-11 | Apple Inc. | Electronic device having a tuned resonance haptic actuation system |
US10768738B1 (en) | 2017-09-27 | 2020-09-08 | Apple Inc. | Electronic device having a haptic actuator with magnetic augmentation |
US10692289B2 (en) * | 2017-11-22 | 2020-06-23 | Google Llc | Positional recognition for augmented reality environment |
US20200364568A1 (en) * | 2018-01-22 | 2020-11-19 | Apple Inc. | Generating objectives for objective-effectuators in synthesized reality settings |
WO2019143886A1 (en) * | 2018-01-22 | 2019-07-25 | Dakiana Research Llc | Objective-effectuators in synthesized reality settings |
US10558857B2 (en) * | 2018-03-05 | 2020-02-11 | A9.Com, Inc. | Visual feedback of process state |
US10318811B1 (en) | 2018-04-22 | 2019-06-11 | Bubbler International Llc | Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects |
US11145123B1 (en) | 2018-04-27 | 2021-10-12 | Splunk Inc. | Generating extended reality overlays in an industrial environment |
US11847773B1 (en) | 2018-04-27 | 2023-12-19 | Splunk Inc. | Geofence-based object identification in an extended reality environment |
US10942571B2 (en) | 2018-06-29 | 2021-03-09 | Apple Inc. | Laptop computing device with discrete haptic regions |
US10936071B2 (en) | 2018-08-30 | 2021-03-02 | Apple Inc. | Wearable electronic device with haptic rotatable input |
CN109325133A (zh) * | 2018-08-31 | 2019-02-12 | 努比亚技术有限公司 | 一种信息定位的方法、终端和计算机可读存储介质 |
US10832482B2 (en) | 2018-09-11 | 2020-11-10 | International Business Machines Corporation | Augmented reality layers enhancement |
US10613678B1 (en) | 2018-09-17 | 2020-04-07 | Apple Inc. | Input device with haptic feedback |
CN110942518B (zh) * | 2018-09-24 | 2024-03-29 | 苹果公司 | 上下文计算机生成现实(cgr)数字助理 |
US10966007B1 (en) | 2018-09-25 | 2021-03-30 | Apple Inc. | Haptic output system |
CN109671141B (zh) * | 2018-11-21 | 2023-04-18 | 深圳市腾讯信息技术有限公司 | 图像的渲染方法和装置、存储介质、电子装置 |
US10854007B2 (en) * | 2018-12-03 | 2020-12-01 | Microsoft Technology Licensing, Llc | Space models for mixed reality |
TWI736188B (zh) * | 2019-03-22 | 2021-08-11 | 宏達國際電子股份有限公司 | 擴增實境資訊傳遞系統及方法 |
DE102020111318A1 (de) | 2019-04-30 | 2020-11-05 | Apple Inc. | Lokalisieren von inhalten in einer umgebung |
CN111859199A (zh) | 2019-04-30 | 2020-10-30 | 苹果公司 | 在环境中定位内容 |
US11210851B1 (en) | 2019-06-14 | 2021-12-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for labeling 3D models using virtual reality and augmented reality |
US11494953B2 (en) * | 2019-07-01 | 2022-11-08 | Microsoft Technology Licensing, Llc | Adaptive user interface palette for augmented reality |
EP3798986A1 (en) * | 2019-09-27 | 2021-03-31 | Apple Inc. | Location aware visual markers |
US11024135B1 (en) | 2020-06-17 | 2021-06-01 | Apple Inc. | Portable electronic device having a haptic button assembly |
WO2022241002A1 (en) * | 2021-05-11 | 2022-11-17 | Stake Drive Systems, Llc | Object orientation indicator |
US11943227B2 (en) | 2021-09-17 | 2024-03-26 | Bank Of America Corporation | Data access control for augmented reality devices |
GB2614539B (en) * | 2022-01-05 | 2024-05-08 | Sony Interactive Entertainment Inc | Content generation system and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799761A (zh) * | 2012-06-20 | 2012-11-28 | 惠州Tcl移动通信有限公司 | 用于移动通信终端的增强现实方法及其系统 |
CN103793063A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 多通道增强现实系统 |
CN104054039A (zh) * | 2012-01-12 | 2014-09-17 | 高通股份有限公司 | 具有声音和几何分析的扩增现实 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100542370B1 (ko) | 2004-07-30 | 2006-01-11 | 한양대학교 산학협력단 | 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템 |
US8767968B2 (en) * | 2010-10-13 | 2014-07-01 | Microsoft Corporation | System and method for high-precision 3-dimensional audio for augmented reality |
US8571263B2 (en) * | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US8493353B2 (en) * | 2011-04-13 | 2013-07-23 | Longsand Limited | Methods and systems for generating and joining shared experience |
US8681759B2 (en) | 2011-04-15 | 2014-03-25 | Blackberry Limited | Methods and apparatus for use in efficiently scanning for wireless networks based on application type |
US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
KR20130000160A (ko) * | 2011-06-22 | 2013-01-02 | 광주과학기술원 | 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법 |
US8943396B2 (en) * | 2011-07-18 | 2015-01-27 | At&T Intellectual Property I, Lp | Method and apparatus for multi-experience adaptation of media content |
US8749396B2 (en) | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
US9292085B2 (en) * | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
US9514570B2 (en) * | 2012-07-26 | 2016-12-06 | Qualcomm Incorporated | Augmentation of tangible objects as user interface controller |
GB2508830B (en) * | 2012-12-11 | 2017-06-21 | Holition Ltd | Augmented reality system and method |
US20140129207A1 (en) * | 2013-07-19 | 2014-05-08 | Apex Technology Ventures, LLC | Augmented Reality Language Translation |
-
2014
- 2014-12-11 US US14/567,712 patent/US10915161B2/en active Active
-
2015
- 2015-10-26 CN CN201580061697.6A patent/CN107111361B/zh active Active
- 2015-10-26 WO PCT/US2015/057335 patent/WO2016093965A1/en active Application Filing
- 2015-10-26 EP EP15867046.3A patent/EP3230958A4/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104054039A (zh) * | 2012-01-12 | 2014-09-17 | 高通股份有限公司 | 具有声音和几何分析的扩增现实 |
CN102799761A (zh) * | 2012-06-20 | 2012-11-28 | 惠州Tcl移动通信有限公司 | 用于移动通信终端的增强现实方法及其系统 |
CN103793063A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 多通道增强现实系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2016093965A1 (en) | 2016-06-16 |
EP3230958A4 (en) | 2018-05-30 |
EP3230958A1 (en) | 2017-10-18 |
US20160171767A1 (en) | 2016-06-16 |
CN107111361A (zh) | 2017-08-29 |
US10915161B2 (en) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107111361B (zh) | 促进用于增强现实的动态非视觉标记的方法和装置 | |
US20210157149A1 (en) | Virtual wearables | |
CN109074750B (zh) | 对无人驾驶飞行器的飞行管理和控制 | |
US11062510B2 (en) | Facilitating body measurements through loose clothing and/or other obscurities using three-dimensional scans and smart calculations | |
US11757675B2 (en) | Facilitating portable, reusable, and sharable internet of things (IoT)-based services and resources | |
EP3468181A1 (en) | Drone clouds for video capture and creation | |
US10715468B2 (en) | Facilitating tracking of targets and generating and communicating of messages at computing devices | |
US10176798B2 (en) | Facilitating dynamic and intelligent conversion of text into real user speech | |
US20160375354A1 (en) | Facilitating dynamic game surface adjustment | |
US20180309955A1 (en) | User interest-based enhancement of media quality | |
US10045001B2 (en) | Powering unpowered objects for tracking, augmented reality, and other experiences | |
US20170090582A1 (en) | Facilitating dynamic and intelligent geographical interpretation of human expressions and gestures | |
US20170262972A1 (en) | Generating voxel representations and assigning trust metrics for ensuring veracity for use with multiple applications | |
US20170372223A1 (en) | Smart crowd-sourced automatic indoor discovery and mapping | |
US20240104744A1 (en) | Real-time multi-view detection of objects in multi-camera environments | |
US20190045169A1 (en) | Maximizing efficiency of flight optical depth sensors in computing environments | |
US20160285842A1 (en) | Curator-facilitated message generation and presentation experiences for personal computing devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |