CN107251102B - 基于与增强现实场景的用户交互的增强修改 - Google Patents

基于与增强现实场景的用户交互的增强修改 Download PDF

Info

Publication number
CN107251102B
CN107251102B CN201680009802.6A CN201680009802A CN107251102B CN 107251102 B CN107251102 B CN 107251102B CN 201680009802 A CN201680009802 A CN 201680009802A CN 107251102 B CN107251102 B CN 107251102B
Authority
CN
China
Prior art keywords
scene
user
user interaction
virtual
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680009802.6A
Other languages
English (en)
Other versions
CN107251102A (zh
Inventor
G·卡米
A·莫兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202210964904.0A priority Critical patent/CN115239926A/zh
Publication of CN107251102A publication Critical patent/CN107251102A/zh
Application granted granted Critical
Publication of CN107251102B publication Critical patent/CN107251102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Architecture (AREA)

Abstract

描述了用于响应于用户交互来修改增强现实的设备、方法和存储介质。在一个实例中，用于修改增强现实的所述设备可以包括处理器、与所述处理器耦合以用于捕捉物理场景的场景捕捉相机、以及由所述处理器操作的增强管理模块。所述增强管理模块可以获取并分析所述物理场景、基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染、追踪与所述经渲染的增强场景的用户交互、并且响应于所述追踪的用户交互来修改或补充所述虚拟物品。可对其他实施例进行描述并要求保护。

Description

基于与增强现实场景的用户交互的增强修改
相关申请
本申请要求于2015年3月24日提交的题为“AUGMENTATION MODIFICATION BASEDON USER INTERACTION WITH AUGMENTED REALITY SCENE(基于与增强现实场景的用户交互的增强修改)”的美国申请号14/667,302的优先权。
技术领域
本公开涉及增强现实领域，并且具体地涉及响应于用户交互而修改增强现实。
背景技术
本文所提供的背景描述是出于一般地呈现本公开的上下文的目的。除非本文另外指出，否则本节中所描述的材料对于本申请的权利要求书而言并非现有技术，并且不通过包括在本节中而被承认是现有技术。
贯穿人的一生，可能涉及居住的物理世界以及可以玩耍、学习、工作等的虚拟世界两者。增强现实和混合现实应用创建了可以模糊虚拟世界与真实世界之间的界限的环境。然而，在当前现有技术下，增强现实可以包括利用虚拟产物对物理场景的增强，所述增强基于用户的自然交互模态(比如面部表情、手势、语音命令等)可能并不响应于与用户的交互。
附图说明
结合附图通过以下详细描述将很容易理解实施例。为了方便本描述，相同的参考标号指代相同的结构元件。在附图的各图中通过示例的方式而非通过限制的方式展示了实施例。
图1是根据本公开的各实施例的展示了一种用于响应于用户交互来修改增强现实的示例设备的框图。
图2展示了根据本公开的各实施例的示例计算环境。
图3展示了根据一些实施例的用于响应于用户交互来修改增强现实的示例过程。
图4展示了根据各实施例的适用于实践本公开的各个方面的示例计算环境。
图5展示了具有被配置用于实践与参照图1至图3所描述的过程相关联的操作中的全部操作或所选操作的指令的示例非瞬态计算机可读存储介质。
具体实施方式
在以下详细描述中，参照形成其一部分的附图，其中相同的标号自始至终指代相同的部件，并且其中通过说明的方式示出了可实践的实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以做出结构改变或逻辑改变。因此，以下详细描述不应被认为具有限制意义，并且实施例的范围由所附权利要求书及其等效物来限定。
本文中描述了用于基于与经渲染的增强现实的用户交互来修改增强现实的计算设备、方法和存储介质。在一个实例中，用于修改增强现实的所述设备可以包括处理器、与所述处理器耦合以用于捕捉物理场景的场景捕捉相机、以及由所述处理器操作的增强管理模块。所述增强管理模块可以获取并分析所述物理场景、基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染、追踪与所述经渲染的增强场景的用户交互、并且响应于所述追踪的用户交互来修改或补充所述虚拟物品。
可以采用对理解所要求保护的主题最有帮助的方式将各个操作依次描述为多个分立的动作或操作。然而，描述的顺序不应被解释为暗示这些操作一定是顺序相关的。具体地，可以不按所呈现的顺序来执行这些操作。可以按与所描述的实施例不同的顺序来执行所描述的操作。可以执行各个附加操作和/或可以在附加实施例中省略所描述的操作。
出于本公开的目的，短语“A和/或B”意指(A)、(B)、(A)或(B)、或者(A和B)。出于本公开的目的，短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)，或者(A、B和C)。
本说明可以使用短语“在一个实施例中(in an embodiment)”或“在实施例中(inembodiments)”，所述短语可以各自指代相同或不同的实施例中的一个或多个实施例。此外，如关于本公开的实施例而使用的术语“包括(comprising)”、“包括(including)”、“具有(having)”等是同义的。
如在本文中所使用的，术语“逻辑”和“模块”可以指代以下各项、是以下各项的一部分或者包括以下各项：执行一个或多个软件或固件程序的应用专用集成电路(ASIC)、电子电路、处理器(共享处理器、专用处理器或组处理器)和/或存储器(共享存储器、专用存储器或组存储器)、组合逻辑电路、和/或提供所描述的功能的其他合适部件。
图1是根据各实施例的展示了用于响应于用户交互来修改增强现实的示例设备100的框图。如所展示的，设备100可以包括与彼此通信地耦合的处理器112、存储器114、增强管理模块140、显示器134、模型库138、场景捕捉相机102以及交互捕捉相机104。设备100可以是例如膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。
场景捕捉相机102可以布置在设备100中或与所述设备耦合，以用于捕捉物理场景的图像/视频。物理场景可以包括一个或多个物理对象的图像。在实施例中，相机102捕捉的图像可以包括颜色信息和深度信息两者。交互捕捉相机104可以布置在设备100中或与所述设备耦合，以用于捕捉与为用户渲染的增强的物理场景的用户交互的图像/视频，如将在图2中更详细地描述的那样。
相机102和104可以外围地附接或集成到设备100中。相机102和104可以经由适用于传输相机102和104所捕捉的数据的有线或物理连接与设备100通信地耦合。如以上所指示的，相机102和104可以被配置用于捕捉深度信息和颜色信息两者。例如，在一些实施例中，相机102和104可以结合深度传感器(比如结合红外相机使用的红外发射器)以及二维(2D)图像捕捉传感器(比如红、绿和蓝(RGB)相机传感器)。通常，相机102和104可以具有2D或三维(3D)图像捕捉能力并且可以实施为3D相机、深度相机或双焦相机和/或以其他方式能够生成深度图像、通道或流。相机102、104可以包括静态相机、视频相机、网络摄像头、红外(IR)相机、或能够捕捉视频和/或图像的其他装置。至少交互捕捉相机104可以包括用户接口(例如，麦克风)以用于应用到为用户渲染的增强现实的语音命令。
设备100可以被配置用于从相机102和104接收物理场景的以及与所述场景的用户交互的捕捉图像并且将所述捕捉图像提供给增强管理模块140。
增强管理模块140可以从场景捕捉相机102获取并分析物理场景并且基于分析的结果生成一个或多个虚拟物品以增强对物理场景的渲染。增强管理模块140还可以基于交互捕捉相机104所提供的图像来追踪与经渲染的增强场景的用户交互，并且响应于追踪的用户交互来修改或补充生成的虚拟物品。下文中更详细地描述了增强管理模块140的操作。
增强管理模块140可以包括一个或多个部件(未示出)，所述一个或多个部件被配置用于合并包括在图像中的颜色信息和深度信息以创建对相机102和104所提供的图像的3D渲染。增强管理模块140可以进一步包括场景增强部件110，所述场景增强部件被配置用于分析场景捕捉相机102所提供的物理场景图像并且基于分析的结果生成一个或多个虚拟物品以增强对物理场景的渲染。在显示器134上对物理场景的渲染可以例如由增强管理模块140或者由设备100的操作系统的对应管理部件来提供。
场景增强部件110可以包括用于识别包含在图像中的预定义物理对象的对象识别和分析模块122。这可以例如通过特征提取以及所提取的特征与预定义物理对象的特征的对比来完成。在实施例中，预定义物理对象可以包含在预定义物理对象数据库中。
在一些实施例中，场景增强部件110可以被配置用于使设备100的用户能够限定新的物理对象。这可以通过经由相机102捕捉物理对象的一个或多个图像来完成。对象识别和分析部件122可以被配置用于从所述一个或多个图像中提取与物理对象相关联的特征并且生成足以标识物理场景的图像中的物理对象的特征数据。这些特征可以存储在物理对象储存库(例如，存储器114)中以用于标识未来的物理场景中的物理对象。
所识别的对象中的一些对象可以包括可与物理场景中所识别对象的增强相关的虚拟物品的标记、标签、或其他指示。对象识别和分析部件122可以被配置用于生成一个或多个虚拟物品并且利用一个或多个虚拟物品增强对所识别的物理对象的3D渲染以用于输出到显示器134上。例如，对象识别和分析模块122可以被配置用于识别与对象相关联的标记中的关键颜色或其他标识符，以响应于颜色或其他标识符的识别而触发生成与对象相关联的一个或多个虚拟物品。例如，如果物理对象包括树，则其可以例如根据与树相关联的并且由对象识别和分析模块122标识的标识符通过添加一个或多个虚拟的鸟、松鼠、坚果、水果等来增强。
在一些实施例中，场景增强部件110可以被配置用于动态地追踪经渲染的场景中的物理对象的位置以确定物理对象的移动并且使生成的虚拟物品根据所述移动来运转。这可以被认为是一种基于上下文的增强，其中，所述上下文可以基于物理对象的移动。
所描述的物理场景增强技术出于说明的目的被提供并且不应被视为对本公开进行限制。将理解的是，可以将不同的现实增强方法应用到场景捕捉相机102所捕捉的物理场景中。
在实施例中，增强管理模块140可以被配置用于基于交互捕捉相机104所捕捉并提供的用户交互的图像(在一些实施例中，结合如在下文中所描述的出于用户交互追踪的目的可以分布在设备100周围的传感器所提供的用户交互信息)实时地或近实时地追踪与显示器134上所渲染的增强物理场景的用户交互。
与增强的经渲染的场景的用户交互可以采取不同形式。例如，用户交互指示可以包括但可以不限于手势、用户面部表情的变化、用户下发的口头命令、用户眼睛注视的变化、用户姿态的变化、用户头部姿势的变化、或其组合。用户交互可以包括与场景增强部件110为显示器134上渲染的增强场景提供的一个或多个虚拟物品的各种类型的交互。
交互捕捉相机104可以被配置用于捕捉与经渲染的增强场景的用户交互并且将捕捉的信息提供给用户交互追踪部件120。在实施例中，交互捕捉相机104可以被放置在设备100中或者在所述设备周围以面对设备100的用户，以便捕捉用户面部表情、手势和/或姿态、姿势、眼睛注视等方面的变化。
在一些实施例中，除了交互捕捉相机104之外或作为所述交互捕捉相机的替代方案，设备100可以包括多个传感器136以用于追踪与经渲染的增强场景的用户交互指示。传感器136可以包括接近度传感器、惯性传感器、光学传感器、光传感器、音频传感器、温度传感器、热敏电阻、运动传感器、振动传感器、麦克风、相机和/或其他类型的传感器。
传感器136可以按照多种不同的方式跨设备100分布。例如，一些传感器(例如，用于捕捉与用户语音命令相关联的音频的麦克风)可以驻留在交互捕捉相机104中，而其他传感器可以嵌在设备100的本体周围。一些传感器(比如运动传感器(例如，加速计、陀螺仪等))可以被放置在场景捕捉相机102所捕捉的物理场景的对象中或在其周围以检测与对象相关联的位置和速度变化等。
传感器136可以包括用于记录例如与用户交互相关联的内容(比如用户交互的图像或语音命令)的记录装置。记录装置可以被实施为任何外部的外围装置或集成装置。
增强管理模块140可以进一步包括用户交互追踪部件120，所述用户交互追踪部件被配置用于基于交互捕捉相机104和/或传感器136所提供的用户交互信息实时地或近实时地追踪与增强的物理场景的用户交互。
用户交互追踪部件120可以包括处理部件150，所述处理部件被配置用于接收、预处理(例如，数字化和时间戳记)交互捕捉相机104和/或传感器136所提供的数据并且提供经过预处理的数据以进行下文中所描述的进一步处理。
用户交互追踪部件120可以包括语音识别部件124，所述用户识别部件被配置用于识别由用户提供的与经渲染的增强场景中的特定虚拟物品相关联的语音命令。在实施例中，语音识别部件124可以包括转换器，所述转换器用于匹配设备100的多个用户的语音，所述多个用户可以有资格提供与虚拟物品相关联的语音命令。
用户交互追踪部件120可以包括面部表情追踪部件115，所述面部表情追踪部件被配置用于追踪用户的面部表情(例如，嘴或眼睛移动)、检测面部表情变化、记录面部表情变化并且解释与经渲染的增强场景中的特定虚拟物品有关的用户面部表情的变化。例如，面部表情追踪部件115可以分析用户面部表情并且响应于面部表情的变化和/或由用户经由语音命令提供的音频叙述使得能够操纵增强场景中的虚拟物品。面部表情追踪部件115还可以被配置用于追踪用户的注视并且提供关于用户对虚拟物品的注视的变化的眼睛追踪信息。
用户交互追踪部件120可以进一步包括手势追踪部件116，所述手势追踪部件用于追踪由用户提供的与经渲染的增强场景中的特定虚拟物品有关的手势。手势可以单独地或结合其他用户交互指示(比如语音命令)充当用于响应于所述指示操纵增强场景中的虚拟物品的指示。
增强管理模块140可以包括增强修改部件130(出于说明的目的被示出为场景增强部件110的一部分)，所述增强修改部件被配置用于响应于追踪的用户交互来修改或补充一个或多个虚拟物品。例如，增强修改部件130可以被配置用于将经渲染的增强场景中的虚拟物品与用户交互追踪部件120所检测到的与经渲染的增强场景中的虚拟物品的所指示的用户交互进行对准。
在另一个示例中，增强修改部件130可以被配置用于响应于用户交互追踪部件120所提供的与虚拟物品的用户交互指示，更改在经渲染的增强场景中的虚拟物品的位置。
在另一个示例中，增强修改部件130可以被配置用于响应于与经渲染的增强场景中的虚拟物品的用户交互指示，更改(例如，改变尺寸、颜色等)经渲染的增强场景中的虚拟物品。
为了方便增强修改，设备100可以包括模型库138，所述模型库被配置成储存库以用于基于检测到的交互指示对虚拟物品进行增强修改。例如，模型库138可以包括规则，所述规则被配置用于基于例如启发式法来确定基于相关联指示或与虚拟物品的用户交互对虚拟物品的修改或补充。例如，模型库138可以按照特定性质和对相关联虚拟物品的相应类型的修改或补充来存储手势、语音命令或面部表情的索引。
应当理解的是，在一些实施例中，所展示的部件中的任何或所有部件(比如相机102、104和/或传感器136)可以与设备100分离开并且远离所述设备，但却与所述设备通信地耦合。通常，设备100的部分或全部功能(比如处理能力和/或存储器容量)可以与增强管理模块140一起使用或共享。此外，增强管理模块140的至少一部分部件(例如，库138)可被设备100访问(例如，与所述设备通信地耦合)，但是可以不必驻留在设备100上。上述部件中的一个或多个部件可以跨设备100分布和/或驻留在云计算设备上以托管这些部件。另外，在一些实施例中，说明性部件中的一个或多个说明性部件可以结合在另一个部件中、或以其他方式形成其一部分。例如，在一些实施例中，存储器114或其一部分可以结合到处理器112中。将理解的是，增强管理模块140可以包括硬件、软件(例如，存储在存储器114中)或其组合。
图2展示了根据本公开的各实施例的示例计算环境200。计算环境200的部件中的至少一些部件可以与图1的设备100的部件相对应。计算环境200可以包括设备100(比如可以包括显示器134和增强管理模块140的膝上型计算装置)。计算环境200可以进一步包括与计算装置100耦合的场景捕捉相机102和交互捕捉相机104。虽然在本文中被描绘成集成到计算装置100中，但是在一些实施例中，相机102和104可以外围地附接至计算装置100。
如所示出的，场景捕捉相机102基本上面对计算装置100前面的物理场景，以使得能够捕捉204(用虚线指示)物理场景206。如所示出的，物理场景包括对象(杯子)208。交互捕捉相机104面对用户210，以使得能够捕捉212(用虚线指示)与显示器134上渲染的增强场景214的用户交互。计算装置100可以被放置在固定位置(例如，在表面202上)，以使能够捕捉具有对象208的物理场景206、与增强场景214进行用户交互、并且进行本文中所描述的场景214增强修改。
在操作中，场景捕捉相机102可以捕捉204具有对象208的物理场景206并且将捕捉的场景提供给增强管理模块140以用于如参照图1所描述的处理和增强。增强管理模块140可以分析捕捉的场景206、标识对象208并且提供所捕捉场景214的增强。例如，增强管理模块140可以生成一个或多个相关的虚拟物品以增强识别的对象208。在图2所展示的示例中，对象208可以用虚拟物品(比如花216和蝴蝶218)来增强，如在图2中所展示的那样。
与场景捕捉相机102的操作基本上同时地，交互捕捉相机104可以捕捉212与显示器134上渲染的增强场景214的用户交互，并且将捕捉的图像提供给增强管理模块140以用于如参照图1所描述的处理和分析。如参照图1所描述的，除了交互捕捉相机104之外，用户交互可以被多个传感器136(未在图2中示出)捕捉。然而，将假设相机104与传感器合作操作以用于捕捉用户交互，并且出于描述的简单性，用户捕捉将关于交互捕捉相机104而被描述。
例如，交互捕捉相机104可以捕捉用户210的图像并且将捕捉的图像提供给增强管理模块140以用于分析。所述分析可以包括标识以及收集关于用户210的个人模态(比如姿态、相对于相机104的位置、头部姿势、面部表情、眼睛注视、手势等)的信息。然后，相机104可以连续地或周期性地实时或近实时地捕捉用户的个人模态并且将捕捉的信息提供给增强管理模块140，以用于追踪并检测与增强的经渲染的场景214的用户交互指示。
如上所述，用户210可以以各种方式与增强的经渲染的场景214进行交互。例如，用户210可以使用手势、语音命令、面部表情、眼睛移动、或者语音命令、手势和面部表情的组合。
例如，用户手势可以与语音命令相关联(例如，经由参照图1所描述的记录装置)。用户210可以指向场景214中的对象并且提供音频命令：对于特定虚拟物品采取特定类型的动作。
在图2所描绘的示例中，用户210可以操纵虚拟物品218(蝴蝶)，比如试图用她的手220抓住蝴蝶或者试图用她的眼睛222的移动来移动蝴蝶。
响应于检测到的用户交互(例如，试图抓住蝴蝶)，增强管理模块140可以修改或补充经渲染的增强的场景214中的虚拟物品216、218。例如，增强管理模块140可以将经渲染的增强场景214中的虚拟物品(例如，蝴蝶218)与指示的用户交互(比如试图抓住蝴蝶218)进行对准。换言之，在经渲染的增强场景214中，增强管理模块140可以使蝴蝶218虚拟地移向(例如“进入”)用户的手220中。
在另一个示例中，增强管理模块140可以响应于用户的手220试图抓住蝴蝶218而更改所述蝴蝶的位置(比如在场景214中虚拟地移动蝴蝶218“远离”用户的手220)。
在另一个示例中，增强管理模块140可以响应于检测到的与虚拟物品的用户交互指示来更改虚拟物品。例如，增强管理模块140可以使花216响应于用户的手220的挥动或其他用户交互指示而虚拟地开放。
在另一个示例中，增强管理模块140可以响应于用户210视点的变化(例如，经由改变的头部姿势)而对准虚拟物品。
对虚拟物品进行了所描述的操纵的增强场景214可以在显示器134上向用户210重新渲染。
图3展示了根据一些实施例的用于响应于用户交互来修改增强现实的示例过程。过程300可以例如由配置有参照图1和图2所描述的增强管理模块140的设备100(例如，计算装置)来执行。
过程300可以始于框302，并且包括获取并分析有关与增强现实的用户交互的物理场景和用户特性的信息。如参照图2所描述的，场景捕捉相机可以捕捉物理场景并且将捕捉的场景提供给增强管理模块以用于处理和增强。增强管理模块可以分析捕捉的场景并且标识场景中的对象，以提供对所捕捉场景的增强。
基本上同时地，交互捕捉相机可以捕捉计算装置的用户的图像并且将捕捉的图像提供给增强管理模块以用于分析。所述分析可以包括标识以及关于用户的个人模态(比如姿态、相对于相机104的位置、头部姿势、面部表情、眼睛注视、手势等)的收集信息。
在框304，过程300可以包括基于对物理场景的分析生成一个或多个虚拟物品以增强对可以显示给用户的物理场景的渲染。更确切地，可以生成一个或多个相关的虚拟物品以增强经渲染的增强场景中的被识别的对象。
在框306处，过程300可以包括增强对具有在框304处生成的虚拟物品的物理场景的渲染。
在框308处，过程300可以包括追踪与经渲染的增强场景的用户交互。例如，交互捕捉相机可以连续地或周期性地实时或近实时地捕捉用户的个人模态并且将捕捉的信息提供给增强管理模块，以用于追踪并检测与增强的经渲染的场景的用户交互指示。
在框310处，过程300可以包括响应于对用户交互的追踪，修改或补充经渲染的增强场景中的一个或多个物品。例如，如果检测到与经渲染的增强场景中的虚拟物品的用户交互指示，则可以通过将经渲染的增强场景中的虚拟物品与经渲染的增强场景中的指示的用户交互进行对准来修改增强场景。在另一个示例中，可以通过响应于检测到的用户交互指示更改在经渲染的增强场景中的虚拟物品的位置来修改增强场景。在另一个示例中，可以通过响应于用户交互指示更改经渲染的增强场景中的虚拟物品来修改增强场景。
在决策框312，过程300可以包括判定与计算装置的用户会话是否已结束。如果会话尚未结束，则过程300可以返回至框308。否则，过程300可以结束。
应当理解的是，参照图3所描述的动作可以不必按所描述的顺序发生。例如，与框308相对应的动作可以同与框310相对应的动作基本上同时发生。
图4展示了根据各实施例的适合用于实践本公开的方面的示例计算装置400。如所示出的，计算装置400可以包括一个或多个处理器或处理器核402、以及系统存储器404。出于本申请(包括权利要求书)的目的，术语“处理器”和“处理器核”可以被认为是同义的，除非上下文另外明确要求。处理器402可以包括任何类型的处理器，比如中央处理单元(CPU)、微处理器等。处理器402可以被实现为具有多核的集成电路，例如，多核微处理器。计算装置400可以包括大容量存储装置406(比如磁盘、硬盘驱动器、易失性存储器(例如，DRAM)、致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)等等)。通常，系统存储器404和/或大容量存储装置406可以是任何类型的临时和/或永久存储装置，包括但不限于易失性和非易失性存储器、光学存储装置、磁存储装置、和/或固态大容量存储装置等等。易失性存储器可以包括但不限于静态随机存取存储器和/或动态随机存取存储器。非易失性存储器可以包括但不限于电可擦除可编程只读存储器、相变存储器、电阻存储器等等。
计算装置400可以进一步包括输入/输出(I/O)装置408(比如显示器134、键盘、光标控件、远程控件、游戏控制器、图像捕捉装置等等)和通信接口(comm.INTF)410(比如网络接口卡、调制解调器、红外接收器、无线电接收器(例如，蓝牙)等等)。如所示出的，I/O装置408可以进一步包括相机102和104以及传感器136。
通信接口410可以包括可被配置用于根据以下各项来操作装置400(或100)的通信芯片(未示出)：全球移动通信系统(GSM)、通用分组无线电业务(GPRS)、通用移动电信系统(UMTS)、高速分组接入(HSPA)、演进型HSPA(E-HSPA)、或LTE网络。通信芯片还可以被配置用于根据以下各项进行操作：GSM演进的增强型数据(EDGE)、GSM EDGE无线电接入网络(GERAN)、通用陆地无线电接入网络(UTRAN)、或演进型UTRAN(E-UTRAN)。通信芯片可以被配置用于根据以下各项进行操作：码分多址(CDMA)、时分多址(TDMA)、数字增强型无绳电信(DECT)、演进数据优化(EV-DO)、其衍生物、以及被指定为3G、4G、5G及其以后的任何其他无线协议。在其他实施例中，通信接口410可以根据其他无线协议进行操作。
上述计算装置400元件可以经由系统总线412耦合至彼此，所述系统总线可以表示一条或多条总线。在多条总线的情况下，它们可以由一个或多个总线桥(未示出)桥接。这些元件中的每个元件可以执行其在本领域中已知的常规功能。具体地，系统存储器404和大容量存储装置406可以用来存储实现与设备100相关联的操作(例如，与提供如参照图1至图3所描述的、通常被示出为计算逻辑422的增强管理模块140相关联的操作)的编程指令的工作副本和永久副本。计算逻辑422可以通过(多个)处理器402所支持的汇编指令或者可编译成这种指令的高级语言来实现。
编程指令的永久副本可以在工厂中或在现场通过例如分布式介质(未示出)(比如压缩盘(CD))或者通过通信接口410(从分布式服务器(未示出))被放置到大容量存储装置406中。
图5展示了具有被配置用于实践与上述过程相关联的操作中的全部操作或所选操作的指令的示例非瞬态计算机可读存储介质502。如所展示的，非瞬态计算机可读存储介质502可以包括多个编程指令504(例如，包括增强管理模块140)。编程指令504可以被配置用于响应于编程指令的执行使得装置(例如，计算装置400)能够执行参照图1至图3所描述的过程的一个或多个操作。在替代实施例中，编程指令504反而可以布置在多个非瞬态计算机可读存储介质502上。在另外的其他实施例中，编程指令504可被编码在瞬态计算机可读信号中。
再次参照图4，元件408、410、412的数量、能力和/或容量可以取决于计算装置400是用作固定的计算装置(比如机顶盒或台式计算机)还是移动的计算装置(比如平板计算装置、膝上型计算机、游戏控制台或智能电话)而发生改变。它们的构成是以其他方式已知的，并且因此将不进行进一步的描述。
处理器402中的至少一个处理器可以与具有被配置用于实践参照图1至图4所描述的实施例的方面的计算逻辑422的存储器封装在一起。例如，计算逻辑422可以被配置成包括或接入内容增强模块140(比如参照图1所描述的部件120)。对于一个实施例，处理器402中的至少一个处理器可以与具有被配置用于实践图3的过程300的方面的计算逻辑422的存储器封装在一起以便形成系统级封装(SiP)或片上系统(SoC)。
在各种实施方式中，计算装置500可以包括膝上型计算机、上网本、笔记本、超级笔记本、智能电话、平板计算机、个人数字助理(PDA)、超级移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数码相机、便携式音乐播放器、或数字视频录像机。在进一步实施方式中，计算装置400可以是对数据进行处理的任何其他电子装置。
以下段落描述了各实施例的示例。
示例1是一种用于提供增强现实计算的设备，包括：处理器；场景捕捉相机，所述场景捕捉相机与所述处理器耦合以用于捕捉物理场景；以及增强管理模块，所述增强管理模块由所述处理器操作以用于：获取并分析所述物理场景，基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染，追踪与所述经渲染的增强场景的用户交互，以及响应于所述追踪的用户交互来修改或补充所述一个或多个虚拟物品。
示例2可以包括如示例1所述的主题，进一步包括：交互捕捉相机，所述交互捕捉相机与所述处理器耦合以用于捕捉与所述增强场景的所述用户交互并且用于将关于所述捕捉的交互的信息提供给所述增强管理模块以用于追踪。
示例3可以包括如示例2所述的主题，其中，所述设备选自以下各项中的一项：膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。
示例4可以包括如示例1所述的主题，其中，所述增强管理模块用于追踪与所述经渲染的增强场景的用户交互包括用于获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示。
示例5可以包括如示例4所述的主题，其中，所述增强管理模块用于修改或补充所述经渲染的增强场景包括用于：将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品同与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述指示的用户交互进行对准；响应于与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品进行所述所述用户交互指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的位置；或者响应于与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品进行所述所述用户交互指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品。
示例6可以包括如示例4所述的主题，其中，所述用户交互指示包括以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。
示例7可以包括如示例1所述的主题，进一步包括：显示装置，所述显示装置与所述处理器耦合以用于向所述用户显示所述经渲染的增强场景。
示例8可以包括如示例1所述的主题，其中，所述增强管理模块用于利用一个或多个虚拟物品增强对所述物理场景的渲染包括用于至少部分地基于与所述物理场景相关联的一个或多个标记来增强所述渲染。
示例9可以包括如示例1至8中任一项的主题，其中，所述增强管理模块用于与所述用户交互的所述追踪基本上同时地修改或补充所述增强场景。
示例10可以包括如示例2所述的主题，其中，所述相机中的每个相机包括二维(2D)或三维(3D)相机，以用于捕捉分别与所述物理场景或所述用户交互相关联的实时深度数据和颜色数据，其中所述颜色数据包括红、绿和蓝(RGB)数据。
示例11可以包括如示例10所述的主题，其中，所述设备被放置在基本上水平的表面上，以使得能够进行对所述物理场景和所述用户交互的所述捕捉。
示例12是一种用于提供增强现实计算的计算机实施的方法，包括：由计算装置利用一个或多个虚拟物品来增强对物理场景的渲染；由所述计算装置追踪与所述经渲染的增强场景的用户交互；以及由所述计算装置响应于对所述用户交互的所述追踪，修改或补充所述经渲染的增强场景中的所述一个或多个虚拟物品。
示例13可以包括如示例12所述的主题，进一步包括：由所述计算装置获取并分析所述物理场景；以及由所述计算装置基于所述分析所述物理场景生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。
示例14可以包括如示例12至13中任一项所述的主题，进一步包括：由所述计算装置对所述增强场景进行渲染以用于显示。
示例15可以包括如示例14所述的主题，其中，追踪与所述经渲染的增强场景的用户交互包括：由所述计算装置获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示，并且其中，修改或补充所述一个或多个物品进一步包括：同获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示基本上同时地且响应于所述获取，由所述计算装置将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准。
示例16可以包括如示例15所述的主题，其中，获取用户交互指示包括由所述计算装置检测以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。
示例17是一种或多种计算机可读介质，具有存储于所述计算机可读介质上的用于提供增强现实计算的指令，所述指令响应于被计算装置执行而为所述计算装置提供增强管理环境，所述增强管理环境用于：利用一个或多个虚拟物品来增强对物理场景的渲染；追踪与所述经渲染的增强场景的用户交互；以及响应于对所述用户交互的所述追踪，修改或补充所述经渲染的增强场景中的所述一个或多个物品。
示例18可以包括如示例17所述的主题，其中，所述计算装置进一步配备有所述增强管理环境，所述增强管理环境用于：获取关于所述物理场景的信息；分析关于所述物理场景的信息；以及基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。
示例19可以包括如示例17至18中任一项所述的主题，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于追踪与所述经渲染的增强场景的用户交互包括所述增强管理环境用于：获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示。
示例20可以包括如示例19所述的主题，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于修改或补充所述一个或多个物品包括所述增强管理环境用于同与所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准。
示例21是一种用于提供增强现实计算的设备，包括：用于利用一个或多个虚拟物品增强对物理场景的渲染的装置；用于追踪与所述经渲染的增强场景的用户交互的装置；以及用于响应于对所述用户交互的所述追踪来修改或补充所述经渲染的增强场景中的所述一个或多个物品的装置。
示例22可以包括如示例21所述的主题，进一步包括：用于获取关于所述物理场景的信息的装置；用于分析关于所述物理场景的信息的装置；以及用于基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染的装置。
示例23可以包括如示例21至22中任一项所述的主题，其中，用于追踪与所述经渲染的增强场景的用户交互的装置包括用于获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示的装置。
示例24可以包括如示例23所述的主题，其中，用于响应于对所述用户交互的所述追踪来修改或补充所述经渲染的增强场景中的所述一个或多个物品的装置包括：用于同与所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准的装置。
用于执行上述技术的计算机可读介质(包括非瞬态计算机可读介质)、方法、设备、系统和装置是本文中所公开的实施例的说明性示例。另外，上述交互中的其他装置可以被配置用于执行各种被公开的技术。
虽然已经出于描述的目的在本文中展示和描述了某些实施例，但是在不脱离本公开的范围的情况下，适合于实现相同目的的各种各样的替代和/或等效实施例或实施方式可以代替所示出和所描述的实施例。本申请旨在覆盖本文中所讨论的实施例的任何修改或变化。因此，显然意图是，本文中所描述的实施例仅由权利要求书来限制。

Claims (20)

1.一种设备，包括：
第一相机，用于收集物理场景的图像；
至少一个传感器，用于跟踪用户的眼睛注视；
至少一个屏幕；
至少一个麦克风，用于检测用户的语音命令；
至少一个存储设备；以及
至少一个处理器，用于执行指令以：
导致至少一个虚拟对象相对于物理场景覆盖的至少一个屏幕上的显示；
结合用户的语音命令基于用户的眼睛注视来确定与所述至少一个虚拟对象的交互，以及
导致所述屏幕响应于所述至少一个传感器检测到所述眼睛注视和来自用户的语音命令而模拟对所述至少一个屏幕上的至少一个虚拟对象的操纵，
其中所述至少一个虚拟对象被用于增强3D渲染。
2.如权利要求1所述的设备，进一步包括：交互捕捉相机和由所述处理器操作的增强管理模块，所述交互捕捉相机与所述处理器耦合以捕捉所述用户与增强场景的交互并且向所述增强管理模块提供关于所捕捉的交互的信息以进行追踪。
3.如权利要求2所述的设备，其中，所述设备选自以下各项中的一项：膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。
4.如权利要求2所述的设备，其中，所述增强管理模块用于追踪用户与经渲染的增强场景的交互包括用于获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示。
5.如权利要求4所述的设备，其中，所述增强管理模块用于对所述经渲染的增强场景进行修改或补充包括用于：
将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品同所指示的用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互进行对准；
响应于关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的所述指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的位置；或者
响应于关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的所述指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品。
6.如权利要求4所述的设备，其中，关于所述用户交互的指示包括以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。
7.如权利要求1所述的设备，进一步包括：显示装置，所述显示装置与所述处理器耦合以向所述用户显示经渲染的增强场景。
8.如权利要求2所述的设备，其中，所述增强管理模块用于利用一个或多个虚拟物品来增强对所述物理场景的渲染包括用于至少部分地基于与所述物理场景相关联的一个或多个标记来增强所述渲染。
9.如权利要求2至6、8中任一项所述的设备，其中，所述增强管理模块用于与对所述用户交互的所述追踪基本上同时地对所述增强场景进行修改或补充。
10.如权利要求2所述的设备，其中，所述相机中的每个相机包括二维(2D)或三维(3D)相机，用于捕捉分别与所述物理场景或所述用户交互相关联的实时深度数据和颜色数据，其中，所述颜色数据包括红、绿和蓝(RGB)数据。
11.如权利要求10所述的设备，其中，所述设备被放置在基本上水平的表面上，以使得能够进行对所述物理场景和所述用户交互的所述捕捉。
12.一种用于提供增强现实计算的计算机实施的方法，所述方法包括：
由计算装置导致至少一个虚拟对象相对于物理场景覆盖的至少一个屏幕上的显示；
由所述计算装置结合用户的语音命令基于用户的眼睛注视来确定与所述至少一个虚拟对象的交互；以及
由所述计算装置导致所述屏幕响应于所述至少一个传感器检测到所述眼睛注视和来自用户的语音命令而模拟对所述至少一个屏幕上的至少一个虚拟对象的操纵，
其中所述至少一个虚拟对象被用于增强3D渲染。
13.如权利要求12所述的计算机实施的方法，进一步包括：
由所述计算装置获取并分析所述物理场景；以及
由所述计算装置基于所述分析物理场景生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。
14.如权利要求12至13中任一项所述的计算机实施的方法，进一步包括：
由所述计算装置对增强场景进行渲染以用于显示。
15.如权利要求14所述的计算机实施的方法，其中，追踪用户与经渲染的增强场景的交互包括：
由所述计算装置获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示，并且
其中，对所述一个或多个物品进行修改或补充进一步包括：
同获取关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的指示基本上同时地且响应于所述获取，由所述计算装置将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所指示的用户交互进行对准。
16.如权利要求15所述的计算机实施的方法，其中，获取关于用户交互的指示包括由所述计算装置检测以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。
17.一种用于提供增强现实计算的设备，包括：
用于导致至少一个虚拟对象相对于物理场景覆盖的至少一个屏幕上的显示的装置；
用于结合用户的语音命令基于用户的眼睛注视来确定与所述至少一个虚拟对象的交互的装置；以及
用于导致所述屏幕响应于所述至少一个传感器检测到所述眼睛注视和来自用户的语音命令而模拟对所述至少一个屏幕上的至少一个虚拟对象的操纵的装置，
其中所述至少一个虚拟对象被用于增强3D渲染。
18.如权利要求17所述的设备，进一步包括：
用于获取关于所述物理场景的信息的装置；
用于分析关于所述物理场景的信息的装置；以及
用于基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染的装置。
19.如权利要求17至18中任一项所述的设备，其中，用于追踪用户与经渲染的增强场景的交互的装置包括用于获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示的装置。
20.如权利要求19所述的设备，其中，用于响应于对所述用户交互的所述追踪对所述经渲染的增强场景中的所述一个或多个物品进行修改或补充的装置包括用于同对关于所述用户与所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所指示的用户交互进行对准的装置。
CN201680009802.6A 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改 Active CN107251102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964904.0A CN115239926A (zh) 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/667,302 US9791917B2 (en) 2015-03-24 2015-03-24 Augmentation modification based on user interaction with augmented reality scene
US14/667,302 2015-03-24
PCT/US2016/018524 WO2016153647A1 (en) 2015-03-24 2016-02-18 Augmentation modification based on user interaction with augmented reality scene

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210964904.0A Division CN115239926A (zh) 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改

Publications (2)

Publication Number Publication Date
CN107251102A CN107251102A (zh) 2017-10-13
CN107251102B true CN107251102B (zh) 2022-12-16

Family

ID=56974181

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210964904.0A Pending CN115239926A (zh) 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改
CN201680009802.6A Active CN107251102B (zh) 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210964904.0A Pending CN115239926A (zh) 2015-03-24 2016-02-18 基于与增强现实场景的用户交互的增强修改

Country Status (4)

Country Link
US (4) US9791917B2 (zh)
EP (3) EP4138043A1 (zh)
CN (2) CN115239926A (zh)
WO (1) WO2016153647A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9791917B2 (en) 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US11182976B2 (en) * 2016-06-06 2021-11-23 Devar Entertainment Limited Device for influencing virtual objects of augmented reality
EP3467619A2 (en) * 2016-06-06 2019-04-10 Devar Entertainment Limited Device for influencing virtual objects of augmented-reality
US10445936B1 (en) * 2016-08-01 2019-10-15 Snap Inc. Audio responsive augmented reality
US10152815B2 (en) * 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
EP3413167A1 (en) * 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
CN107918949A (zh) * 2017-12-11 2018-04-17 网易（杭州）网络有限公司 虚拟资源对象的渲染方法、存储介质、处理器及终端
TWI633500B (zh) * 2017-12-27 2018-08-21 中華電信股份有限公司 擴增實境應用產生系統及方法
EP4307093A3 (en) 2018-05-04 2024-03-13 Google LLC Invoking automated assistant function(s) based on detected gesture and gaze
JP7471279B2 (ja) * 2018-05-04 2024-04-19 グーグル エルエルシー 検出された口運動および／または注視に基づく自動化アシスタントの適応
EP4130941A1 (en) 2018-05-04 2023-02-08 Google LLC Hot-word free adaptation of automated assistant function(s)
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11200811B2 (en) 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
CN113112614B (zh) * 2018-08-27 2024-03-19 创新先进技术有限公司 基于增强现实的互动方法及装置
CN108874156A (zh) * 2018-08-30 2018-11-23 合肥虹慧达科技有限公司 增强现实交互系统及其使用方法
KR102539579B1 (ko) 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
US11150788B2 (en) 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US20200301553A1 (en) * 2019-03-22 2020-09-24 Sony Interactive Entertainment Inc. Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)
EP3726344A1 (en) 2019-04-16 2020-10-21 InterDigital CE Patent Holdings Method and apparatus for user control of an application and corresponding device
US11055919B2 (en) 2019-04-26 2021-07-06 Google Llc Managing content in augmented reality
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
WO2020219110A1 (en) * 2019-04-26 2020-10-29 Google Llc Managing content in augmented reality
US11163997B2 (en) 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
CN113204282B (zh) * 2021-04-12 2024-04-05 领悦数字信息技术有限公司 交互装置、交互方法、计算机可读存储介质以及计算机程序产品
CN113244616B (zh) * 2021-06-24 2023-09-26 腾讯科技（深圳）有限公司 基于虚拟场景的互动方法、装置、设备及可读存储介质
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data
CN114185330B (zh) * 2021-12-12 2024-06-11 深圳市集智创新信息技术有限公司 基于多场景交互的控制方法及控制装置
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US11792243B2 (en) 2022-01-19 2023-10-17 Bank Of America Corporation System and method for conducting multi-session user interactions
CN116030224B (zh) * 2022-12-30 2023-12-26 广州市玄武无线科技股份有限公司 一种ar产品展示方法、装置、电子设备及存储介质
CN116909407B (zh) * 2023-09-12 2024-01-12 深圳康荣电子有限公司 基于虚拟现实的触控显示屏全景交互方法及控制系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185714A1 (zh) * 2012-11-06 2013-12-19 中兴通讯股份有限公司 增强现实中识别对象的方法及系统和计算机

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1069534A3 (en) * 1999-07-12 2002-08-28 Styleclick.Com Method and apparatus for the visualization and updating of three-dimensional scenes
US20060119575A1 (en) * 2004-12-06 2006-06-08 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
JP5045172B2 (ja) * 2007-03-20 2012-10-10 マツダ株式会社 車両用運転支援装置
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
WO2008144729A2 (en) * 2007-05-21 2008-11-27 World Golf Tour, Inc. Electronic game utilizing photographs
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20130155108A1 (en) 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9671869B2 (en) * 2012-03-13 2017-06-06 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US9741145B2 (en) * 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US9349218B2 (en) * 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US20150193977A1 (en) * 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
EP2905676A4 (en) * 2012-10-05 2016-06-15 Nec Solution Innovators Ltd USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE
US8878846B1 (en) * 2012-10-29 2014-11-04 Google Inc. Superimposing virtual views of 3D objects with live images
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
TW201447375A (zh) * 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
CN104240277B (zh) * 2013-06-24 2019-07-19 腾讯科技（深圳）有限公司 基于人脸检测的增强现实交互方法和系统
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
CN103760973B (zh) * 2013-12-18 2017-01-11 微软技术许可有限责任公司 增强现实的信息细节
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9883138B2 (en) * 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
CN103941861B (zh) * 2014-04-02 2017-02-08 北京理工大学 一种应用混合现实技术的多人合作训练系统
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9791917B2 (en) 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185714A1 (zh) * 2012-11-06 2013-12-19 中兴通讯股份有限公司 增强现实中识别对象的方法及系统和计算机

Also Published As

Publication number Publication date
US20180260020A1 (en) 2018-09-13
US20160284134A1 (en) 2016-09-29
WO2016153647A1 (en) 2016-09-29
EP3274965A1 (en) 2018-01-31
EP3274965A4 (en) 2018-08-15
US20200166987A1 (en) 2020-05-28
EP4138043A1 (en) 2023-02-22
EP3786901A1 (en) 2021-03-03
US10488915B2 (en) 2019-11-26
US20220236787A1 (en) 2022-07-28
US9791917B2 (en) 2017-10-17
CN107251102A (zh) 2017-10-13
CN115239926A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN107251102B (zh) 基于与增强现实场景的用户交互的增强修改
US20180088663A1 (en) Method and system for gesture-based interactions
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
US9342230B2 (en) Natural user interface scrolling and targeting
CN106575444B (zh) 用户姿势驱动的化身装置和方法
CN107004287B (zh) 化身视频装置和方法
US20160171739A1 (en) Augmentation of stop-motion content
US9349218B2 (en) Method and apparatus for controlling augmented reality
CN114303120A (zh) 虚拟键盘
EP3072033B1 (en) Motion control of a virtual environment
US20150123901A1 (en) Gesture disambiguation using orientation information
US11106949B2 (en) Action classification based on manipulated object movement
CN103608761A (zh) 输入设备、输入方法以及记录介质
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
JP2017531226A (ja) 動作認識方法及び動作認識装置
CN105493101B (zh) 包括在辅助对象定位中使用加速数据的图像帧处理
KR20180080697A (ko) 인터랙티브 시네마 그램 방법 및 장치
KR20220040148A (ko) 동작 흐름 데이터 생성 방법, 상기 동작 흐름 데이터를 이용한 동작 유사 판단 방법, 동작 흐름 데이터 처리 장치 및 시스템
CN117809073A (zh) 一种情感识别方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant