CN104995583A - 用于混合现实环境的直接交互系统 - Google Patents

用于混合现实环境的直接交互系统 Download PDF

Info

Publication number
CN104995583A
CN104995583A CN201380065568.5A CN201380065568A CN104995583A CN 104995583 A CN104995583 A CN 104995583A CN 201380065568 A CN201380065568 A CN 201380065568A CN 104995583 A CN104995583 A CN 104995583A
Authority
CN
China
Prior art keywords
virtual objects
virtual
user
display device
handheld device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380065568.5A
Other languages
English (en)
Inventor
J·N·马戈利斯
B·I·瓦特
A·A-A·基普曼
G·克莱因
F·斯查法里兹基
D·尼斯特
R·麦克麦金
D·巴恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104995583A publication Critical patent/CN104995583A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于使用诸如手持对象等配件与虚拟环境中的虚拟对象交互的系统和方法。该虚拟对象可使用显示设备来观看。该显示设备和手持对象可协作以确定该虚拟环境的场景图，该显示设备和手持对象在该场景图中被对准。

Description

用于混合现实环境的直接交互系统
背景技术
混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实对象和虚拟对象的混合图像。头戴式显示设备能够创建可在其中看到虚拟和现实对象的环境的三维图。用户能够通过选择虚拟对象(例如通过看着虚拟对象)来与虚拟对象交互。一旦被选择，则用户此后可以操纵或移动该虚拟对象，例如通过抓住并移动该虚拟对象或者对该对象执行某种其他预定义姿势。
这种类型的间接交互具有缺点。例如，用户的手的位置是在由头戴式显示设备所创建的场景图(scene map)中估计的，且所估计的位置可能随时间漂移。这可能导致所抓住的虚拟对象被显示为在用户的手外。使用手的移动来选择对象有时候还是反直觉的。
发明内容
本技术的各实施例涉及一种用于与虚拟环境内的三维虚拟对象交互的系统和方法。一种用于在虚拟环境内创建虚拟对象的系统可部分包括耦合至一个或多个处理单元的透视头戴式显示设备。所述处理单元与(诸)头戴式显示单元协作能够定义虚拟对象在该虚拟环境内的场景图。
该系统可进一步包括独立于该头戴式显示设备移动的配件，诸如手持设备。在各实施例中，该手持设备可与该头戴式显示设备和/或(诸)处理单元协作以使得该手持设备可以在由该头戴式显示设备所使用的相同场景图中被对准。
该手持对象可包括固定于定位器(puck)的相机。该定位器可具有输入垫，该输入垫包括例如使用户能够选择该输入垫上的命令以用于与由该头戴式显示设备所显示的虚拟对象交互的电容式触摸屏。该相机可识别其视野中与由该头戴式显示设备上的一个或多个图像捕捉设备所识别的点公共的点。这些公共点可被用来解析该头戴式显示设备相对于该手持设备的位置，以及在同一场景图中对准这两个设备。该手持设备在该头戴式显示设备的场景图中的对准允许该手持设备与由该头戴式显示设备所显示的虚拟对象的直接交互。
在一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及能够独立于所述显示设备在所述现实世界空间中移动的配件，所述配件在与所述显示设备相同的场景图内被对准。
在另一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及在与所述显示设备相同的场景图内被对准的配件，所述配件能够与所述虚拟对象交互。
在一进一步示例中，本技术涉及一种与虚拟环境内的虚拟对象直接交互的方法，所述虚拟环境与所述现实世界空间共同延伸，所述方法包括：(a)定义所述虚拟环境的场景图，虚拟对象的位置在所述场景图内定义；(b)经由显示设备显示所述虚拟对象，所述显示设备的位置在所述场景图内被对准；以及(c)使用手持设备与所述显示设备所显示的所述虚拟对象直接交互，所述手持设备的位置在所述场景图内被对准。
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图简述
图1是用于向一个或多个用户呈现虚拟环境的系统的一个实施例的示例性组件的图示。
图2是头戴式显示单元的一个实施例的立体图。
图3是头戴式显示单元的一个实施例的一部分的侧视图。
图4是头戴式显示单元的组件的一个实施例的框图。
图5是头戴式显示单元的捕捉设备和处理单元的组件的一个实施例的框图。
图6是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。
图7是根据本公开的各实施例的手持设备的立体图。
图8是根据本公开的各实施例的作为手持设备的部分提供的定位器的框图。
图9是其中用户使用手持设备与虚拟对象交互的虚拟环境的示例的图示。
图10是示出本系统的该一个或多个处理单元、头戴式显示设备和手持设备的操作和协作的流程图。
图11是图10的流程图的步骤608的更详细流程图。
具体实施方式
现在将参考图1-11描述本技术的各实施例，所述图一般涉及用于与混合现实环境中的虚拟对象直接交互的系统和方法。在各实施例中，该系统和方法可使用能够跟踪由头戴式显示设备所生成的三维场景图(three-dimensionalscene map)并将其自己在该三维场景图中对准(register)的手持设备。该手持式设备和/或头戴式显示设备可包括耦合至或集成于该相应设备内的移动处理单元，以及用于捕捉用户周围的视野的相机。
每个用户可佩戴包括显示元件的头戴式显示设备。该显示元件在一定程度上透明，以使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界对象。该显示元件还提供将虚拟图像投影到该用户的FOV以使得所述虚拟图像也可出现在现实世界对象旁边的能力。该系统自动地跟踪用户所看之处，以使得该系统可以确定将该虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟对象投影至何处，就使用该显示元件投影该图像。
在各实施例中，该头戴式显示设备和/或该手持设备可协作以构建该环境的模型，该模型包括6个自由度：用户、现实世界对象和虚拟三维对象在房间或其他环境中的x、y、z、俯仰、偏航以及滚转位置。由环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的模型并且彼此校准。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户显示虚拟图像，但是该系统确定从每个用户的视角的该虚拟图像的显示，从而针对视差以及来自或被该环境中的其他对象的任何闭塞来调整该虚拟图像。该环境的模型(在本文中被称为场景图(scene map))以及对每个用户的FOV以及该环境中的对象的跟踪可由协力或独立工作的一个或多个处理单元来生成。
根据本技术的各方面，手持设备还可被校准至该环境的模型并与该模型对准。如同后文解释的，这允许准确地知晓该手持设备在该环境的模型(也被称为场景图)内的位置和移动(平移和旋转)。
由本系统所提供的虚拟环境可与现实世界空间共同延伸。换言之，虚拟环境可覆盖在现实世界空间上并与该现实世界空间共享相同区域。该虚拟环境可适合放入房间或其他现实世界空间的边界内。替换地，该虚拟环境可大于该现实世界空间的边界。
在现实世界空间内四处移动的用户也可在共同延伸的虚拟环境中四处移动，并从不同视角和观察点来观看虚拟和/或现实对象。一种类型的虚拟环境是混合现实环境，其中虚拟环境包括虚拟对象和现实世界对象两种对象。另一种类型的虚拟环境仅包括虚拟对象。
如同下面所解释的，手持对象可被用来选择虚拟环境内的虚拟对象并与所述虚拟对象直接交互。然而，用户可使用手持对象，并结合其他物理和/或口头姿势，来与虚拟对象交互。因此，除了致动手持设备上的按钮和/或触摸屏外，物理姿势可进一步包括使用手指、手和/或其他身体部位来执行预定义姿势，所述预定义姿势被该混合现实系统识别为对该系统执行预定义动作的用户请求。物理交互可进一步包括由手持设备或者用户的其他部位与虚拟对象的接触。例如，用户可将手持对象放置为与虚拟对象接触或放入虚拟对象内，并且在此后推动或碰撞该虚拟对象。
用户可替换地或附加地使用手持设备连同口头姿势来与虚拟对象交互，所述口头姿势诸如例如被该混合现实系统识别为对该系统执行预定义动作的用户请求的所讲的单词或短语。口头姿势可连同物理姿势一起使用以与虚拟环境中的一个或多个虚拟对象交互。
图1解说了用于通过将虚拟内容21与用户的FOV内的现实内容27相融合来提供混合现实体验的系统10。图1示出用户18正佩戴头戴式显示设备2，在一个实施例中该头戴式显示设备是眼镜的形状，以使得用户可透视显示器并由此具有对该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指直接用人眼查看现实世界对象的能力，而不是查看对象的所创建的图像表示。例如，通过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。
本技术的各方面可进一步包括可由用户携带的手持设备12。尽管在各实施例中被称为手持设备且在图1中也如此示出，然而设备12可更宽泛地指代可独立于头戴式显示设备移动并在头戴式显示设备的场景图内对准的配件。当该配件没有被用户的手握持时也可操纵该配件。该配件可捆绑于用户的臂或腿，或可被置于该环境内的现实对象上。
如图2和3中所见，每个头戴式显示设备2经由连线6与其自己的处理单元4通信。在其他实施例中，头戴式显示设备2通过无线通信来与处理单元4进行通信。在一个实施例中，处理单元4是例如佩戴在用户的手腕上或储放在用户的口袋中的小型便携式设备。该处理单元例如可以是蜂窝电话的大小和形状因子，尽管在其他示例中它也可以是其他形状和大小的。在一进一步实施例中，处理单元4可被集成到头戴式显示设备4中。处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在各实施例中，处理单元4与手持设备12无线通信(例如，WiFi、蓝牙、红外或其他无线通信手段)。在进一步实施例中，构想了处理单元4转而被集成到手持设备12中。
图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设备2的右侧，其包括具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110以用于记录声音以及将音频数据传送给处理单元4，这将在下面予以描述。在头戴式显示设备2的前方是一个或多个面向房间的捕捉设备125，所述捕捉设备可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。
头戴式显示设备2的镜架的一部分将围绕显示器(其包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明度滤光器114之后并与其对齐，并且透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一个实施例中，透视透镜116和118可由可变处方透镜取代。在一些实施例中，头戴式显示设备2可包括一个透视透镜或者不包括透视透镜。在另一替代方案中，处方透镜可以进入光导光学元件115内。不透明度滤光器114滤除自然光(要么以每像素为基础，要么均匀地)以增强虚拟图像的对比度。光导光学元件115将人造光导向眼睛。
在镜腿102处或镜腿102内安装有图像源，该图像源(在一个实施例中)包括用于对虚拟图像进行投影的微显示器120、以及用于将图像从微显示器120引导到光导光学元件115中的透镜122。在一个实施例中，透镜122是准直透镜。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装在镜腿102处的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU 132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU 132还可包括其他惯性传感器。
微显示器120通过透镜122来投影图像。存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自Qualcomm有限公司的显示技术是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。
光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件115还允许如箭头142所示那样将光从头戴式显示设备2的前方通过光导光学元件115传送到用户的眼睛140，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而在包括光导光学元件115的平面基底内被捕获。在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。
由于不同光线将以不同角度传播并弹离衬底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20日公开的美国专利公开号2008/0285140的“Substrate-GuidedOptical Devices(衬底导向的光学设备)”中找到，该申请的全部内容通过引用结合于此。要理解，作为反射透过波导的替代或附加，光导光学元件115可通过投影光学元件操作。在一个实施例中，每只眼睛将具有其自己的光导光学元件115。当头戴式显示设备2具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛中的一个光导光学元件。
与光导光学元件115对齐的不透明度滤光器114要么均匀地、要么以每像素为基础来选择性地阻挡自然光，以免其穿过光导光学元件115。于2010年9月21日提交的Bar-Zeev等人的题为“Opacity Filter For See-Through MountedDisplay(用于透视安装显示器的不透明度滤光器)”的美国专利公开号2012/0068913中提供了不透明度滤光器114的示例的细节，其全部内容通过引用并入本文。然而，一般而言，不透明度滤光器114的一实施例可以是透视LCD面板、电致变色膜(electrochromic film)或能够充当不透明度滤光器的类似设备。不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被单独地控制。尽管0-100％的透光率范围是理想的，然而更受限的范围也是可接受的，诸如例如每像素约50％到90％。
在用代理为现实世界对象进行z-缓冲(z-buffering)之后，可以使用来自渲染流水线的阿尔法值的掩码(mask)。当系统为增强现实显示而呈现场景时，该系统记录哪些现实世界对象处于哪些虚拟对象之前，如同下面解释的。如果虚拟对象处于现实世界对象之前，则不透明度对于该虚拟对象的覆盖区域而言可以是开启的。如果虚拟对象(虚拟地)处于现实世界对象之后，则不透明度以及该像素的任何颜色都可被关闭，使得对于现实光的该相应区域(其大小为一个像素或更多)而言，用户将会看到现实世界对象。覆盖将是以逐像素为基础的，所以该系统可以处置虚拟对象的一部分处于现实世界对象之前、该虚拟对象的一部分处于现实世界对象之后、以及该虚拟对象的一部分与现实世界对象相重合的情况。对这种用途而言，最期望的是能够以低的成本、功率和重量来从0％开始直至100％不透明度的显示器。此外，不透明度滤光器可以比如用彩色LCD或用诸如有机LED等其他显示器来以彩色进行呈现。
头戴式显示设备2还包括用于跟踪用户的眼睛位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的FOV。然而，人类将不会感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的FOV的测量的技术。例如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测所反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见于2008年7月22日颁发的题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利号7,401,920，通过援引将其纳入于此。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
在一个实施例中，该系统将使用以矩形布置的4个IR LED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IR LED和IR光电检测器。来自LED的光从眼睛反射掉。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可以确定眼睛的方向。
另一替代方案是如下面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的侧边上使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像下面所讨论的那样。因此，尽管图3示出了具有一个IR发射机的一个部件，但是图3的结构可以被调整为具有4个IR发射机和/或4个IR传感器。也可以使用多于或少于4个的IR发射机和/或多于或少于4个的IR传感器。
用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器通过用户的耳朵来安装(靠近耳机130)以检测眼睛在转动时的电势并且有效地实时读出眼睛正在进行的动作。也可以使用其他用于跟踪眼睛的实施例。
图3示出了头戴式显示设备2的一半。完整的头戴式显示设备可包括另一组透视透镜、另一不透明度滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。
图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各个组件的框图。在图4中描绘了头戴式显示设备2的组件，该头戴式显示设备2被用于通过将一个或多个虚拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将传感器信息提供回给处理单元4。处理单元4(其组件在图4中描绘)将接收来自头戴式显示设备2的传感器信息。基于该信息和数据，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4的头戴式显示设备。
图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。
在一个实施例中，控制电路200的组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的各组件与处理器210通信。相机接口216向图像捕捉设备125提供接口并将从图像捕捉设备接收的图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明度滤光器114的不透明度控制电路224提供关于微显示器120上所显示的虚拟图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从图像捕捉设备125提供给处理单元4的缓冲区。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出(Di splay out)接口228和显示输入(displayin)接口230与作为到处理单元4的接口的带接口232通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。
头戴式显示器2可进一步包括用于捕捉该用户的FOV的RGB和深度图像以使得能够构建该用户的环境的场景图和三维模型的多个捕捉设备125。图3示意性地示出两个此类捕捉设备125：一个捕捉设备面向头戴式显示器2的前方，而另一个捕捉设备面向侧面。相对侧可包括相同配置以提供4个捕捉设备125以从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。在其他实施例中可以存在更多或更少的捕捉设备。
根据一示例实施例，捕捉设备125可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备125可将深度信息组织为“Z层”(即可与从深度相机沿其视线延伸的Z轴垂直的层)。
图5中示出了捕捉设备125的示意表示。捕捉设备125可具有相机组件423，在各实施例中该相机组件可以是或包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的对象与相机相距的例如以厘米、毫米等为单位的距离。
相机组件423可以包括可用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备125的IR光组件425可以将红外光发射到场景上，并且然后可以使用传感器(在一些实施例中包括未示出的传感器)、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和对象的表面后向散射的光。在其他实施例中，该3-D相机和RGB相机可存在于同一传感器上，例如利用高级彩色滤光器样式。在一些实施例中，可以使用脉冲红外光，以使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备125到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一示例性实施例，飞行时间分析可被用来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备125到目标或对象上的特定位置的物理距离。
在另一示例实施例中，捕捉设备125可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件425被投影到场景上。在落到场景中的一个或多个目标或对象的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机426和/或RGB相机428(和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或对象上的特定位置的物理距离。在一些实施方式中，IR光组件425从相机426和428移位，使得可以使用三角测量来确定与相机426和428相距的距离。在一些实现中，捕捉设备125将包括感测IR光的专用IR传感器或具有IR滤波器的传感器。
在一示例实施例中，捕捉设备125还可包括可与相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给处理单元4的指令。
捕捉设备125还可包括存储器434，该存储器434可存储由处理器432执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例性实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。在进一步的实施例中，处理器432和/或存储器434可被集成到头戴式显示设备2(图4)的控制电路或处理单元4(图6)的控制电路中。
捕捉设备125可以经由通信链路436来与处理单元4进行通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，处理单元4可经由通信链路436向捕捉设备125提供时钟(诸如时钟生成器360，图6)，该时钟可用于确定何时捕捉例如场景。附加地，捕捉设备125经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给处理单元4。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。处理单元4随后可创建并使用模型、深度信息、和所捕捉的图像以例如控制应用，所述应用可包括虚拟对象的生成。
处理单元4可包括骨架跟踪模块450。模块450使用来自捕捉设备125、以及可能来自一个或多个头戴式显示设备2上的相机的每帧中所获得的深度图像来随着每个用户在场景内四处移动而开发捕捉设备125的FOV内的用户18(或其他人)的表示模型。此表示模型可以是下面描述的骨架模型。处理单元4可进一步包括场景制图(scene mapping)模块452。场景制图模块452使用从捕捉设备125获得的深度以及可能的RGB图像数据来开发用户18存在于其中的场景的图或模型。场景图可进一步包括从骨架跟踪模块450获得的用户的位置。处理单元4还可以包括姿势识别引擎454以用于接收场景中的一个或多个用户的骨架模型数据并确定：该用户是否正在执行预定义的姿势或影响运行在处理单元4上的应用的应用控制移动。
关于姿势识别引擎454的更多信息可在于2009年4月13日提交的名称为“Gesture Recognizer System Architecture(姿势识别器系统架构)”的美国专利申请No.12/422,661中找到，该申请的全部内容通过引用结合于此。关于识别姿势的更多信息还可以在于2009年2月23日提交的名称为“Standard Gestures(标准姿势)”的美国专利申请No.12/391,150以及于2009年5月29日提交的名称为“Gesture Tool(姿势工具)”的美国专利申请No.12/474,655中找到，这两个申请的全部内容都通过引用结合于此。
捕捉设备125向处理单元4提供RGB图像(或其他格式或色彩空间的视觉图像)和深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可具有深度值，诸如所捕捉的场景中的对象与捕捉设备相距的距离。处理单元4将使用RGB图像和深度图像来开发用户的骨架模型并跟踪用户或其他对象的移动。可以使用许多方法以通过使用深度图像来对人的骨架进行建模和跟踪。在于2009年10月21日提交的名称为“Pose Tracking Pipeline”(姿态跟踪流水线)的美国专利申请No.12/603,437(此后称为‘437申请)中提供了使用深度图像来跟踪骨架的一个适合示例，该申请的全部内容通过引用结合于此。
‘437申请的过程包括：获得深度图像；对数据进行降采样；移除和/或平滑化高方差噪声数据；标识并移除背景；以及将前景像素中的每个分配给身体的不同部位。基于这些步骤，系统将模型拟合至该数据并创建骨架。该骨架将包括一组关节和这些关节之间的连接。也可使用用于用户建模和跟踪的其他方法。在下列四个美国专利申请中还公开了合适的跟踪技术，所述专利的全部内容都通过引用结合于此：于2009年5月29日提交的名称为“Device forIdentifying and Tracking Multiple Humans Over Time(用于随时间标识和跟踪多个人类的设备)”的美国专利申请No.12/475,308；于2010年1月29日提交的名称为“Visual Based Identity Tracking(基于视觉的身份跟踪)”的美国专利申请No.12/696,282；于2009年12月18日提交的名称为“Motion Detection UsingDepth Images(使用深度图像的运动检测)”的美国专利申请No.12/641,788；于2009年10月7日提交的名称为“Human Tracking System(人类跟踪系统)”的美国专利申请No.12/575,388。
图6是描述处理单元4的各个组件的框图。图6示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320；图形处理单元(GPU)322；高速缓存324；RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲区336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲区338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI express接口；以及USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到计算设备(未示出)，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维对象的主负荷设备。以下提供更多详情。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带(wrist band)上)。模数转换器362被用于监视电池电压、温度传感器并控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。HMD电源376向头戴式显示设备2提供电力。
上述头戴式显示设备2和处理单元4能够将虚拟三维对象插入到一个或多个用户的FOV中，使得该虚拟三维对象扩展和/或替换现实世界的视图。如同上面指出的，处理单元4可被部分或全部集成到头戴式显示器2中，以使得用于生成场景的深度图的上述计算在该头戴式显示器2内执行。在进一步的实施例中，用于生成场景的深度图的上述计算中的部分或全部可替换地或附加地在手持设备12内执行。
在一个示例性实施例中，头戴式显示器2和处理单元4一起工作以创建所述一个或多个用户所在的环境的场景图或模型并且跟踪该环境中移动的对象。此外，头戴式显示器2和处理单元4可通过跟踪头戴式显示设备2的位置和定向来跟踪用户18所佩戴的头戴式显示设备2的FOV。由头戴式显示设备2所获得的传感器信息被传送至处理单元4，在一个实施例中该处理单元随后可更新场景模型。处理单元4随后使用其从头戴式显示设备2接收的附加传感器信息来细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟三维对象的指令。基于来自捕捉设备125中的相机的传感器信息，可在如同下面所解释的闭环反馈系统中在头戴式显示器2和处理单元4之间周期性地更新场景模型和跟踪信息。
参考图1和7-9，本公开进一步包括手持设备12，该手持设备可用于与投影到场景中的虚拟对象直接交互。手持设备12可如同下面所解释的在头戴式显示设备2和处理单元4所生成的场景图内对准，以使得手持设备12的位置和移动(平移和/或旋转)可每帧更新。这允许手持设备12与场景内的虚拟对象的直接交互。本文所使用的“直接”相对于“间接”是指以下事实：基于所捕捉的深度数据和用于标识身体部位的骨架跟踪软件来估计场景中的未对准对象(诸如用户的手)的位置。有时候，在跟踪手或其他身体部位时，可能难以得出精确的定向或者将精确的手的模型拟合到深度图。如此，就没有对未对准对象(诸如用户的手)的位置的“直接”知识。基于对手的位置的以上估计，当用户使用手来与虚拟对象交互时，就称这种交互是间接的。
与之对照，当手持设备的位置在由头戴式显示设备2和处理单元4(设备2和单元4有时在本文中可被统称为移动显示设备)所生成的相同场景图内对准。如同下面所解释的，在一个示例中，手持设备12包括相机，该相机能够标识可等同于移动显示设备所设想的场景图中的同一点的点。一旦标识出那些公共点，则可使用各种方法系统来标识并对准手持设备12在该移动显示设备的场景图内的位置。
图7示出手持设备12的立体图。设备12一般而言可包括固定安装至图像捕捉设备22或与该图像捕捉设备整体成型的定位器(puck)20。定位器20可用于多种功能。一种此类功能是允许用户控制与场景中的虚拟对象交互的输入/反馈设备。具体而言，定位器20可包括用于接收用户输入的输入垫24。在一个示例中，输入垫24可包括电容式屏幕或其他触摸敏感屏幕。在此类示例中，输入垫24可显示一个或多个屏幕，所述屏幕显示图形按钮、滚轮、滑块或其他控件，每个控件与用于促进与虚拟对象的交互的预定义命令相关联。如公知的，此类示例中的给定命令可以通过用户与屏幕的接触以致动图形按钮、滚轮、滑块等来生成。在其他实施例中，不是触摸敏感屏幕，而是该输入垫可由实际的按钮、滚轮、滑块或可被致动以发出如上所述的命令的其他控件形成。
作为许多可能示例之一，用户可致动输入垫上的控件来延伸从手持设备12发出的光线，如图1中所示。在致动恰适控件之际，虚拟光线28可被生成并经由该移动显示设备向该用户显示，其从手持设备12的前方延伸。下面解释光线28的使用。作为另一示例，用户可致动输入垫24上的控件以抓取虚拟对象。在此示例中，该系统可检测手持设备12对虚拟对象的表面或在虚拟对象内的接触，并且此后可将该虚拟对象的位置绑定于手持设备12。用户此后可通过释放该控件或者致动输入垫24上的另一控件来释放该虚拟对象。还可使用其他按钮、滚轮和滑块来执行各种其他命令，包括例如：
·将虚拟对象从手持设备12推开，
·将虚拟对象拉得更靠近手持设备12，
·将虚拟对象向后、向前、向左、向右、向上或向下移动，
·改变虚拟对象的大小，
·旋转虚拟对象，
·复制和/或粘贴虚拟对象，
·移动虚拟对象，
·改变虚拟对象的颜色、纹理或形状，
·动画化对象以按用户定义的方式在该虚拟环境内四处移动。
还构想了其他命令。这些交互可通过选择输入垫24上的恰适命令来发起。在其他实施例中，这些交互可通过选择输入垫24上的命令以及执行某种其他预定义姿势(物理和/或口头)的组合来发起。在其他实施例中，上述交互中的至少一部分可通过执行与输入垫24无关的物理姿势的实行来执行。
定位器20可进一步向该用户提供反馈。该反馈可经由输入垫24在视觉上显示给用户，和/或经由在定位器20上提供的扬声器在听觉上播放给用户。在其他实施例中，定位器20可装备有向用户提供触觉响应的振动马达519(图8)。在各实施例中，手持设备至少有时候可能被使用以使得用户正在看向场景不是在看向手持设备。从而，在用户如下所解释选择对象时，定位器20可提供触觉响应，该触觉响应指示该用户何时锁定到对象上，或者成功地执行了某种其他预期动作。
定位器20的另一个功能是提供手持设备12的角度和/或平移加速度和位置信息。定位器20可包括IMU 511(图8)，该IMU可以类似于或等同于头戴式显示单元中的IMU 132。此类IMU例如可包括惯性传感器，诸如三轴磁力计、三轴陀螺仪和三轴加速度计，以感测手持设备12的位置、定向和加速度(俯仰、滚转和偏航)。如同上面指出并在下面解释的，手持设备12的x、y和z位置和定向通过手持设备12和移动显示设备的合作而在场景图中对准。然而，由手持设备12内的IMU提供的数据可确认和/或补充手持设备在移动显示设备的场景图中的位置和/或定向。在其他实施例中，构想了手持设备12中的IMU可被忽略。
图8示出在定位器20内部的硬件组件的一些的一个示例的框图。在一个示例中，定位器20可以是传统蜂窝电话。在此类实施例中，定位器20可具有用于蜂窝电话的传统硬件配置，并且可操作以执行传统上对蜂窝电话已知的功能。此外，软件应用程序和其他软件组件可被加载到定位器20上以允许该电话根据本技术来操作。在其他实施例中，定位器20可以是为了与本技术一起操作而定制的专用硬件设备。
定位器20可包括用于控制定位器20的操作和与移动显示设备的交互的处理器502。如同上面指出的，定位器20的一个功能是提供关于定位器20的加速度和位置信息。该信息可经由IMU 511被提供至处理器502。定位器20可进一步包括用于存储由处理器503执行的软件代码以及诸如加速度和位置数据、图像数据和场景图等数据的存储器514。
定位器20可进一步包括包括LCD屏幕520和触摸屏512的用户界面，所述LCD屏幕和触摸屏一起担当如上所述的输入垫24。LCD屏幕520和触摸屏512可分别经由LCD控制器522和触摸屏控制器513与处理器502通信。触摸屏512可以是覆盖在LCD屏幕520上的电容式表面。然而，如同上面指出的，在其他实施例中，触摸屏512可以由连同LCD屏幕520在内的各种物理致动器中的任一者来代替。在传统电话的情况下，所述物理致动器中的至少一些可以被指派用于控制如上所述的用户输入的功能。
定位器20可进一步包括用于将定位器20连接至另一设备(诸如例如计算设备(未示出))的连接516。连接516可以是USB连接，但是要理解，可提供其他类型的连接，包括串行、并行、SCSI和IEEE 1394(“火线”)连接。
定位器20可进一步包括本领域已知的相机518。相机518可具有下面参考相机22所描述的那些组件中的一些、全部和/或更多组件。在各实施例中，定位器20可显示由相机518或相机22所捕捉的FOV。
如同上面指出的，定位器20可包括各种反馈组件，包括能够提供触觉反馈的振动马达519、以及用于提供音频的扬声器530。可进一步提供已知构造的话筒532以用于接收语音命令。
定位器20可进一步包括允许定位器20和其他组件(诸如移动显示设备)之间的通信的组件。这些组件包括能够经由天线542经由处理单元4的无线通信设备364与移动显示设备无线通信的通信接口540。定位器20可被硬连线至如下所述的相机22，但是在其他实施例中可经由通信接口540无线连接并通信。
而且，在本技术的各实施例中，通信接口540可向除移动显示设备和相机22之外的组件发送传输并从所述组件接收传输。例如，定位器20可与主计算机通信以传输数据，诸如相片和视频图像，以及软件，诸如应用程序、API、更新、补丁等。根据本技术的各实施例，通信接口540还可被用来与其他设备(诸如包括手持计算机、PDA、和其他移动设备的手持计算设备)通信。通信接口540还可被用来将定位器20和相机22连接至各种网络，包括局域网(LAN)、广域网(WAN)和因特网。
尽管不是关键的，然而定位器20可进一步包括用于处理所接收的数字和模拟信号的数字基带和/或模拟基带。RF收发机506和交换机508可被提供以用于经由天线510接收并传送模拟信号，诸如模拟语音信号。在各实施例中，收发机504可执行正交调制和解调，以及从双带(800和1900MHz)RF到基带的上变频和下变频转换。本文描述的各种通信接口可包括收发机和/或交换机，如在收发机506和交换机508中。
要理解，在本技术的替换实施例中，定位器20可具有各种其他配置和附加或替换组件。
参考图7，相机22在各实施例中可以是类似于捕捉设备125的设备，以使得以上对捕捉设备125的描述类似地适用于相机22。在其他实施例中，相机22可以改为仅仅是能够捕捉静止图像和视频图像的标准的市售相机。
相机22可以如图所示固定于定位器20下方，然而在其他实施例中相机22可以固定于定位器20前面、侧面或者甚至后面。相机22可经由支架30和紧固件来固定到定位器20，然而在其他实施例中相机22可与定位器20整体成型。在所示示例中，相机是面向前方的。这提供了以下优点：相机可捕捉该用户前方的FOV，然而输入垫24向上面向用户以便于观看输入垫24。然而，在其他实施例中，相机可面向上，以使得相机透镜大致平行于输入垫24的表面。在其他实施例中，相机透镜可以在相对于输入垫的表面某个倾斜角度处。进一步构想，相机22可被省略，且定位器20内的相机518执行相机22的功能性。
如同上面指出的，手持设备12和移动显示器可以协作以如上所述地对准手持设备12在该移动显示设备所确定的FOV的x,y,z场景图中的精确位置。下面参考图11的流程图来描述一种用于对准的方法。然而，其他对准方法也是可能的。
尽管在图7中示出了定位器20的特定配置，然而要理解，定位器20可呈现各种不同配置并提供上面描述的功能性。在其他实施例中，相机22可被省略，且所有跟踪功能由在定位器20内提供的IMU 511执行。
使用上述组件，用户可以使用手持设备12与虚拟环境中的虚拟对象直接交互，该手持设备在生成该虚拟图像的移动显示设备所使用的相同场景图内被对准。图1中示出了一个示例。用户可通过从手持设备12延伸光线来指示使用手持设备12来选择对象的期望。在定位器20的输入垫24上选择了恰适命令之际，移动显示设备显示虚拟光线28，该虚拟光线从手持设备12的一部分延伸(诸如从前方发出)。要理解，光线28可以通过用户执行除了与输入垫24的交互之外的姿势来出现。因为包括移动显示设备和手持设备的系统10知晓该手持设备的精确位置和定向，所以当设备12旋转或四处移动时光线28可被显示为从该手持设备12的固定点发射。而且，随着设备12旋转或四处移动，光线与设备12按照一对一的关系移动。
用户可使用光线28指向现实或虚拟对象，且光线28可延伸直到该光线与现实或虚拟对象相交为止。用户可通过将光线28指向虚拟对象来与该虚拟对象直接交互。一旦光线与虚拟对象(诸如图1中的虚拟对象21)相交，则可向该用户提供反馈以指示对该虚拟对象的选择。如同上面指出的，该反馈可以是视觉、听觉和/或触觉的。在各实施例中，在认为一对象被选中之前用户可能需要保持光线28停驻在该虚拟对象上达某个预定时间段以防止对对象的假选中。可能是用户希望选择被另一对象(现实或虚拟对象)遮蔽的对象，通过本系统的移动性，用户可在该环境内四处移动，直到存在至期望对象的清晰视线为止，在该点处该用户可选中该对象。
一旦选中，则用户可以任意多种方式来与对象交互。用户可将该虚拟对象沿该光线移动得更近或更远。该用户可附加地或替换地重新定位该光线，其中该对象固定于该光线，并且将该虚拟对象精确地放入期望位置。上面描述了附加的潜在交互。
图1解说了其中经由虚拟光线选择虚拟对象21的交互，在用户在输入垫24上选择了恰适命令之际该虚拟光线从手持设备12延伸。在其他实施例中，例如在图9中所示，用户可通过用手持设备12物理接触虚拟对象来与该对象交互。在此类实施例中，用户可使手持设备12的一部分与虚拟对象21的表面接触，或将手持设备12的一部分放入虚拟对象21的内部内以选择该虚拟对象。然后，该用户可选择输入垫24上的控件或执行物理姿势来与该虚拟对象21交互。如同上面指出的，此交互可以是各种交互中的任一者，诸如将该对象携带到新位置并将其安置、复制该对象、移除该对象等。
不是在用户接触之际抓取对象，而是该对象可转而作为与该对象碰撞的结果而“弹开”。对象对碰撞的反应可由物理学定义并且可以是精确的。即，因为在碰撞之际手持设备12的速度可从IMU和其他数据精确地知晓，所以该虚拟对象可以精确的速度被弹开。该速度可由物理学来确定且可针对该虚拟对象定义一组变形和弹性性质。
如同下面所解释的，场景图中的虚拟对象的位置由例如处理单元4所知。通过在相同场景图内对准手持设备12，用户能够与该场景图内的虚拟对象直接交互，或者在该场景图中创建新虚拟对象，所述新虚拟对象随后经由头戴式显示设备12被显示。此类直接交互允许以精确的方式并且在虚拟环境中的精确位置处与虚拟对象交互和/或创建所述虚拟对象。
而且，本系统在非工具植入环境(non-instrumented environment)中操作。即，某些现有技术系统使用环形或其他配置的固定图像捕捉设备来确定所述图像捕捉设备的FOV内的对象的位置。然而，因为该移动显示设备和手持设备12两者均可随用户移动，所以本技术可在用户在其中移动的任何环境中操作。提前设置环境不是必要的。
尽管在图7中示出了定位器20的特定配置，然而要理解，定位器20可呈现各种不同配置并提供上面描述的功能性。在一个其他实施例中，定位器20可被配置为枪或能够射击的某种其他对象，以用于其中以虚拟对象为目标的游戏应用。因为手持设备12的位置和定向被精确知晓且在显示虚拟目标的该移动显示单元的参考系内对准，所以可提供准确的射击重现。在其他实施例中，定位器20可在其他应用中使用。
图10是处理单元4、头戴式显示设备2和手持设备12在离散时间段(诸如为了生成、渲染和向每个用户显示单帧图像数据所花费的时间)期间的操作和交互性的高级流程图在各实施例中，在处理单元4、头戴式显示设备2和手持设备122中进行的过程可并行地进行，尽管在其他实施例中各步骤可串行进行。而且，尽管每个组件中的各步骤被显示为串行地逐步进行，然而一组件内的各步骤中的一个或多个步骤可彼此并行地进行。例如，处理单元4中的场景图的确定、虚拟图像位置的评估、以及图像渲染步骤(在下面解释每个步骤)可全部彼此并行地进行。
还要理解，在不同组件内或在同一组件内进行的并行步骤可按不同帧率进行。在各实施例中，所显示的图像可以以60Hz的速率刷新，但是在另外的实施例中可以以更高或更低的频度刷新。除非另外注明，否则在图10的的以下描述中，各步骤可由头戴式显示设备2单独地、处理单元4中的一个或多个处理器单独地、手持设备12中的一个或多个处理器单独地、或者来自设备2、单元4和设备12中的两者或更多的处理器组合来执行。
一般而言，该系统生成具有环境和该环境中的诸如用户、现实世界对象和虚拟对象之类的对象的x、y、z坐标的场景图。该系统还跟踪每个用户的FOV。尽管各用户可以或许在观看该场景的相同方面，然而他们正在从不同视角来观看所述方面。因此，该系统生成每个人对场景的FOV以针对不同观看视角、虚拟或现实世界对象的视差和遮挡进行调整，而这些视差和遮挡对于每个用户而言又可能是不同的。
对于给定的图像数据帧，用户的视图可以包括一个或多个现实和/或虚拟对象。当用户转头时(例如从左向右或上下转头)，该用户的FOV中的现实世界对象的相对位置固有地在该用户的FOV内移动。例如，图1中的植物27可首先出现在用户的FOV的右侧。但是如果随后用户向右转头，则植物27可最终停在用户的FOV的左侧。
然而，随着用户移动其头部向用户显示虚拟对象是更困难的问题。在用户查看其FOV内的虚拟对象的示例中，如果用户向左移动其头以向左移动FOV，则虚拟对象的显示可向右偏移该用户FOV的偏移量，使得实际效果是该虚拟对象在FOV内保持静止。
在步骤604和620中，该移动显示设备和手持设备12可从该场景收集数据。这可以是由捕捉设备125和/或相机22的深度相机426和RGB相机428所感测的图像数据。这可以是由眼睛跟踪组件134所感测的图像数据，且这可以是由IMU 132和IMU 511所感测的加速度/位置数据。
在步骤606中，场景数据被系统10中的各处理单元中的一个或多个(诸如例如处理单元4)收集。在以下描述中，当过程被描述为由处理单元4执行时，理解该过程可由系统10中的各处理器中的一个或多个来执行。在步骤608中，处理单元4执行各种设置操作，所述设置操作允许捕捉设备125和相机22的图像数据的协调。具体而言，在步骤608中，该移动显示设备和手持设备12可协作以对准手持设备12在该移动显示设备的参考系中的位置。现在将参考附图11的流程图解释步骤608的进一步细节。在以下描述中，捕捉设备125和相机22可共同被称为成像设备。
步骤608的一个操作可包括在步骤670中确定系统10中的各个成像设备的时钟偏差。具体而言，为了协调来自该系统中的各成像设备的每一个的图像数据，确认被协调的图像数据是来自同一时间。如下文献中公开了关于确定时钟偏差和同步图像数据的细节：于2010年5月3日提交的名称为“HeterogeneousImage Sensor Synchronization(异类图像传感器同步)”的美国专利申请No.12/772,802；于2010年6月3日提交的名称为“Synthesis Of Information FromMultiple Audiovisual Sources(来自多个视听源的信息的合成)”的美国专利申请No.12/792,961，所述申请的全部内容通过引用结合于此。一般而言，来自捕捉设备125的图像数据和从相机22传入的图像数据被从单一主时钟打时间戳，例如在处理单元4中。对于给定帧针对此类数据使用所述时间戳，以及针对所述成像设备中的每一个的已知分辨率，处理单元4可确定该系统中的所述成像设备中的每一个的时间偏移。据此，可确定从每个成像设备接收的图像之间的差异以及对所述图像的调整。
步骤608还包括在场景的x、y、z笛卡尔空间中校准各成像设备相对于彼此的位置的操作。一旦知晓此信息，系统10中的一个或多个处理器就能够形成场景图或模型，并且标识该场景的几何形状和该场景中的对象(包括用户)的几何形状和位置。在将成像设备的图像数据彼此校准时，可使用深度和/或RGB数据。例如在2007年5月17日公开的、题为“Navigating Images Using ImageBased Geometric Alignment and Object Based Controls(使用基于几何对齐的图像和基于对象的控制来导航图像)”的公开号为2007/0110338的美国专利中描述了用于单独使用RGB信息来校准相机视角的技术，该公开通过整体引用纳入于此。
系统10中的成像设备可各具有一些透镜失真，这些透镜失真可被校正以便校准来自不同成像设备的图像。一旦来自该系统中的各成像设备的图像数据在步骤604中被接收，在步骤674中可调整该图像数据以计入各成像设备的透镜失真。给定成像设备(深度或RGB成像设备)的失真可以是由相机制造商提供的已知属性。如果不是，则还公知有用于计算成像设备的失真的算法，例如包括对诸如是在相机的FOV内的不同位置处的检测板图案等已知尺寸的对象进行成像。该图像中的各点的相机视图坐标的偏差将是相机透镜失真的结果。一旦得知透镜失真的程度，就可以通过已知逆矩阵变换来校正失真，该逆矩阵变换产生给定相机的点云中的点的均匀成像设备视图地图。
接着，该系统可以在步骤678将由每个成像设备所捕捉的经失真校正的图像数据点从相机视图转化成正交3-D世界视图。此正交3-D世界视图是由捕捉设备125和相机22所捕捉的图像数据在正交x,y,z笛卡尔坐标系中的点云地图(point cloud map)。使用将相机视图转化成正交3-D世界视图的矩阵变换等式的方法是已知的。例如，参见由摩根考夫曼出版社出版的David H.Eberly的“3d Game Engine Design:A Practical Approach To Real-Time ComputerGraphics(3d游戏引擎设计：用于实时计算机图形的实用方法)”，该公开通过援引整体纳入于此。还参见前面已通过援引纳入的美国专利申请12/792,961。
系统10中的每个成像设备都可以在步骤678构造正交3-D世界视图。来自给定成像设备的数据点的x,y,z世界坐标仍旧是从步骤678的结论处该成像设备的视角的，而尚未与来自系统10中的其他成像设备的数据点的x,y,z世界坐标相关。下一步骤是将不同成像设备的各个正交3-D世界视图转化成系统10的各成像设备共享的单个总体3-D世界视图。
为了实现这一点，该系统的实施例接下来可在步骤682中寻找各个成像设备的世界视图的云点中的关键点不连续，或线索(cue)。一旦找到，则该系统在步骤684中标识在不同成像设备的不同点云之间相同的线索。一旦该系统能够确定两个不同成像设备的两个世界视图包括相同的线索，则在步骤688中该系统能够确定这两个成像设备相对于彼此以及所述线索的位置、定向和焦距。在各实施例中，捕捉设备125和相机22将不共享相同的公共线索。然而，只要所述捕捉设备和该相机具有至少一个共享线索，该系统或许就能够确定捕捉设备125和相机22相对于彼此的位置、定向和焦距以及单一、整体3-D世界视图。
存在各种用于从图像点云中标识出线索的已知算法。在Mikolajczyk,K和Schmid,C的“A Performance Evaluation of Local Descriptors(局部描述符的性能评估)”(IEEE模式分析和机器智能学报，27，10，1615-1630(2005年))中阐述了这样的算法，该论文的全部内容通过引用结合于此。另一用于利用图像数据检测线索的方法是比例不变特征变换(SIFT)算法。例如在2004年3月23日颁发的题为“Method and Apparatus for Identifying Scale Invariant Featuresin an Image and Use of Same for Locating an Object in an Image(用于在图像中标识出比例不变特征和将其用于对图像中的对象进行定位的方法和装置)”的美国专利No.6,711,293中描述了SIFT算法，该专利的全部内容通过引用结合于此。另一线索检测器方法是最大稳定极值区域(MSER)算法。例如在J.Matas、O.Chum、M.Urba、和T.Pajdla的论文“Robust Wide Baseline Stereo FromMaximally Stable Extremal Regions(来自最大稳定极值区域的鲁棒宽基线立体)”(英国机器视觉会议学报，第384-396页(2002年))中描述了MSER算法，该论文的全部内容通过引用结合于此。
在步骤684，标识出在来自所述成像设备的各点云之间共享的线索。在概念上，当在第一相机的笛卡尔坐标系中存在第一相机与一组线索之间的第一组矢量，并且在第二相机的笛卡尔坐标系中存在第二相机与同一组线索之间的第二组矢量时，这两个系统可以相对于彼此被解析成包括这两个相机的单个笛卡尔坐标系。存在用于寻找来自两个或更多相机的点云之间的共享线索的多种已知技术。此类技术例如在Arya,S.,Mount,D.M.,Netanyahu,N.S.,Silverman,R.和Wu,A.Y.的“An Optimal Algorithm For Approximate Nearest NeighborSearching Fixed Dimensions(用于大致最近邻居搜索固定维度的最优算法)”(ACM期刊45,6,891-923(1998))中示出，通过援引将该论文整体纳入于此。作为上面纳入的Arya等人的大致最近邻居解决方案的替代或补充，可使用其他技术，包括但不限于散列化或上下文敏感散列化。
当来自两个不同成像设备的点云共享足够大数目的匹配线索时，可以例如通过随机采样一致性(RANSAC)或各种其他估计技术来估计将两个点云相关在一起的矩阵。随后可移除对所还原的基础矩阵而言是异类的匹配。在找到点云对之间的假定的、几何上一致的匹配的组之后，可将所述匹配组织成针对各个点云的轨迹的组，其中轨迹是点云之间相互匹配的线索的组。该组中的第一轨迹可包含每个公共线索在第一点云中的投影。该组中的第二轨迹可包含每个公共线索在第二点云中的投影。来自不同相机的点云可被解析成单一正交3-D现实世界视图中的单一点云。
相对于该单个点云和单个正交3-D现实世界视图来校准所述成像设备的位置和定向。为了一起解析这两个点云，分析针对两个点云的轨迹的组中的线索的投影。根据这些投影，该系统可确定各捕捉设备125相对于线索的视角，并且还可确定相机22相对于线索的视角。藉此，该系统可以将点云解析成对单个点云和包括所述线索和来自两个点云的其他数据点的单个正交3-D现实世界视图的估计。一旦完成这一步，该系统可确定各成像设备相对于该单一正交3-D现实世界视图和相对于彼此的相对位置和定向。该系统可进一步确定每个相机相对于该单一正交3-D现实世界视图的焦距。
尽管上面描述了用于对准单一场景图中的头戴式显示设备2和手持设备12的一种方法，然而要理解，在其他实施例中头戴式显示设备2和手持设备12的相对位置可以通过其他方法来确定。作为一个其他示例，头戴式显示设备2和手持设备12中的一者或两者可包括标记，一旦所述标记在另一设备的FOV中则所述标记可被该另一设备检测和跟踪。
再次参考图10，一旦在步骤608校准了该系统，则可以在步骤610开发场景图，该场景图标识出该场景的几何形状以及该场景内的对象的几何形状和位置。在各实施例中，在给定帧中生成的场景图可包括用户、现实世界对象和虚拟对象在该场景中的x,y和z位置。此信息可在图像数据收集步骤604和620期间获得，并且在步骤608中被一起校准。使用在步骤608和610中确定的信息，手持设备12能够在步骤624中确定其在场景图中的位置。
在步骤614中，该系统对于系统10内的用户确定每一头戴式显示设备2的x,y和z位置、定向以及FOV。步骤614的进一步细节在题为“Virtual ObjectGeneration Within a Virtual Environment(虚拟环境内的虚拟对象生成)”的美国专利申请No.13/525,700中提供，通过援引将该申请整体纳入于此。
在步骤628中，手持设备12或处理单元4可检查如上所述的使用手持设备12与虚拟对象的用户交互。如果检测到此类交互，则在步骤630中受影响的虚拟对象的新位置和/或外观被确定并存储，并在步骤618中由处理单元4使用。
在步骤618中，该系统可使用用户位置的场景图、FOV和手持设备12与虚拟对象的交互来确定当前时间处虚拟对象的位置和外观。该虚拟对象的所显示的外观中的这些改变被提供至该系统，该系统随后在步骤618中可更新从该用户的视角的该虚拟三维对象的定向、外观等。
在步骤634，处理单元4(或系统10中的其他处理器)可精选(cull)渲染操作以使得仅有有可能在该头戴式显示设备2的最终FOV内出现的那些虚拟对象被渲染。其他虚拟对象的位置仍可被跟踪，但是它们不被渲染。还可设想，在其他实施例中，步骤634可以被完全跳过且整个图像被渲染。
处理单元4接下来可执行渲染设置步骤638，在该步骤使用在步骤610、612和614中确定的场景图和FOV来执行设置渲染操作。一旦接收到虚拟对象数据，则处理单元就可以对要在该FOV中渲染的虚拟对象执行步骤638中的渲染设置操作。步骤638中的设置渲染操作包括与要在最终FOV中显示的虚拟对象相关联的共同渲染任务。这些渲染任务可包括例如阴影图生成、光照和动画。在各实施例中，渲染设置步骤638可进一步包括可能的绘制信息的编译，诸如要在预测的最终FOV中显示的虚拟对象的顶点缓冲、纹理和状态。
该系统接下来可在步骤644中确定该用户的FOV中的遮挡和阴影。具体而言，该场景图具有对象(包括移动和非移动对象和虚拟对象)在该场景中的x,y和z位置。已知用户的位置以及他们对该FOV中的对象的视线的情况下，处理单元4(或其他处理器)随后可确定虚拟对象是否全部或部分遮挡该用户对可见现实世界对象的视图。此外，处理单元4可确定可见现实世界对象是否部分或全部遮挡该用户对虚拟对象的视图。遮挡可以是因用户而异的。虚拟对象可能在第一用户的视图中阻挡或被阻挡，但是在第二用户的视图中不阻挡或被阻挡。因此，遮挡确定可以在每个用户的处理单元4中执行。
在步骤646中，处理单元4的GPU 322可以接下来渲染要显示给该用户的图像。渲染操作的各部分可能已经在渲染设置步骤638中被执行并且被周期性地更新。
在步骤650，处理单元4检查：是否到了该将所渲染的图像发送给头戴式显示设备2的时间、或者是否还有时间使用来自手持设备12和/或头戴式显示设备2的更加新的位置反馈数据来进一步细化该图像。在使用60赫兹帧刷新率的系统中，单帧大约为16毫秒。
如果到了显示和更新图像的时间，则针对该一个或多个虚拟对象的图像被发送至微显示器120以在恰适像素处显示，同时计入视角和遮挡。在此时，用于不透明度滤光器的控制数据也被从处理单元4传送至头戴式显示设备2以控制不透明度滤光器114。该头戴式显示器随后将在步骤658中向该用户显示该图像。
另一方面，当在步骤650还没到发送要显示的图像数据帧的时间时，处理单元可以为了更多经更新数据而循环回以进一步细化最终FOV的预测以及FOV中的对象的最终位置的预测。具体而言，如果在步骤650中仍旧有时间，则处理单元4可返回至步骤604和620以从头戴式显示设备2和手持设备12获得更新的传感器数据。
上面仅以示例的方式描述了处理步骤604至668。要理解，这些步骤中的一个或多个在其他实施例中可被省略，所述步骤可以按不同次序来执行，或者可以添加附加步骤。
尽管用结构特征与/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (10)

1.一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：
至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及
能够独立于所述显示设备在所述现实世界空间中移动的配件，所述配件在与所述显示设备相同的场景图内被对准。
2.如权利要求1所述的系统，其特征在于，所述配件是手持设备。
3.如权利要求2所述的系统，其特征在于，所述手持设备包括用于在所述手持设备被在所述现实世界空间中移动时提供所述手持设备的加速度或速度数据中的至少一者的惯性测量单元。
4.如权利要求1所述的系统，其特征在于，所述配件包括成像设备和定位器。
5.如权利要求4所述的系统，其特征在于，所述定位器包括蜂窝电话。
6.一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：
至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及
在与所述显示设备相同的场景图内被对准的配件，所述配件能够与所述虚拟对象交互。
7.如权利要求6所述的系统，其特征在于，所述配件与所述虚拟对象的交互通过使用在所述显示设备上显示的虚拟光线来选择所述虚拟对象来进行，所述虚拟光线被显示为从所述配件向所述虚拟对象延伸。
8.如权利要求6所述的系统，其特征在于，所述配件与所述虚拟对象的交互通过在所述配件接触所述虚拟对象的表面或所述配件被置于所述虚拟对象内部之际来选择所述虚拟对象来进行。
9.一种与虚拟环境内的虚拟对象直接交互的方法，所述虚拟环境与所述现实世界空间共同延伸，所述方法包括：
(a)定义所述虚拟环境的场景图，虚拟对象的位置在所述场景图内定义；
(b)经由显示设备显示所述虚拟对象，所述显示设备的位置在所述场景图内被对准；以及
(c)使用手持设备与所述显示设备所显示的所述虚拟对象直接交互，所述手持设备的位置在所述场景图内被对准。
10.如权利要求9所述的方法，其特征在于，与所述虚拟对象直接交互的所述步骤(c)包括以下之一：
使用被所述显示设备显示为从所述手持设备发射的虚拟光线，并且操纵所述手持设备以使得所述显示设备将所述虚拟光线显示为与所述虚拟设备相交来选择所述虚拟对象，或者
通过将所述手持设备定位所述现实世界空间中所述虚拟对象被显示处来选择所述虚拟对象。
CN201380065568.5A 2012-12-13 2013-12-12 用于混合现实环境的直接交互系统 Pending CN104995583A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/713,910 2012-12-13
US13/713,910 US20140168261A1 (en) 2012-12-13 2012-12-13 Direct interaction system mixed reality environments
PCT/US2013/074636 WO2014093608A1 (en) 2012-12-13 2013-12-12 Direct interaction system for mixed reality environments

Publications (1)

Publication Number Publication Date
CN104995583A true CN104995583A (zh) 2015-10-21

Family

ID=49950027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380065568.5A Pending CN104995583A (zh) 2012-12-13 2013-12-12 用于混合现实环境的直接交互系统

Country Status (6)

Country Link
US (1) US20140168261A1 (zh)
EP (1) EP2932358A1 (zh)
JP (1) JP2016507805A (zh)
KR (1) KR20150093831A (zh)
CN (1) CN104995583A (zh)
WO (1) WO2014093608A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
CN107977083A (zh) * 2017-12-20 2018-05-01 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108646917A (zh) * 2018-05-09 2018-10-12 深圳市骇凯特科技有限公司 智能设备控制方法及装置、电子设备和介质
CN108700941A (zh) * 2016-05-13 2018-10-23 谷歌有限责任公司 用于在虚拟现实环境中对准组件的方法和设备
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司，有限责任合伙企业 补充信息的显示
CN109069928A (zh) * 2016-02-17 2018-12-21 株式会社万代南梦宫娱乐 模拟系统和游戏系统
CN109478344A (zh) * 2016-04-22 2019-03-15 交互数字Ce专利控股公司 用于合成图像的方法和设备
EP3438953A4 (en) * 2016-03-31 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE
CN109643159A (zh) * 2016-08-23 2019-04-16 谷歌有限责任公司 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
CN109716397A (zh) * 2016-09-14 2019-05-03 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN112947901A (zh) * 2019-12-11 2021-06-11 中华电信股份有限公司 扩增实境的内容控制系统、方法及计算机存储介质
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
US11380051B2 (en) 2015-11-30 2022-07-05 Snap Inc. Image and point cloud based tracking and in augmented reality systems
CN115016642A (zh) * 2016-02-16 2022-09-06 微软技术许可有限责任公司 用于混合现实的现实混合器
US11748579B2 (en) 2017-02-20 2023-09-05 Snap Inc. Augmented reality speech balloon system

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
US10048760B2 (en) * 2013-05-24 2018-08-14 Atheer, Inc. Method and apparatus for immersive system interfacing
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
EP3116616B1 (en) 2014-03-14 2019-01-30 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US9163933B1 (en) * 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
WO2016042862A1 (ja) * 2014-09-19 2016-03-24 ソニー株式会社 制御装置、制御方法およびプログラム
WO2016061267A1 (en) 2014-10-15 2016-04-21 Dirtt Environmental Solutions, Inc. Virtual reality immersion with an architectural design software application
WO2016099559A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d navigation mode
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN104932698B (zh) * 2015-06-30 2018-03-27 广景视睿科技（深圳）有限公司 一种手持交互设备装置及其投影交互方法
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
JP6766403B2 (ja) * 2016-03-29 2020-10-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
CA2997021A1 (en) * 2016-06-10 2017-12-14 Barrie A. Loberg Mixed-reality architectural design environment
US10699484B2 (en) 2016-06-10 2020-06-30 Dirtt Environmental Solutions, Ltd. Mixed-reality and CAD architectural design environment
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US20170365097A1 (en) * 2016-06-20 2017-12-21 Motorola Solutions, Inc. System and method for intelligent tagging and interface control
US10692113B2 (en) * 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
US10620717B2 (en) * 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
US10503245B2 (en) 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US20180089935A1 (en) 2016-09-23 2018-03-29 Igt Electronic gaming machines and electronic games using mixed reality headsets
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
JP2018064836A (ja) * 2016-10-20 2018-04-26 株式会社Ｂｂｑ バーチャルゲーム装置
US10594786B1 (en) 2017-01-10 2020-03-17 Lucasfilm Entertainment Company Ltd. Multi-device interaction with an immersive environment
US10445935B2 (en) 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
JP7210131B2 (ja) * 2017-08-08 2023-01-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11430291B2 (en) 2017-08-09 2022-08-30 Igt Augmented reality systems and methods for gaming
US20190051103A1 (en) 2017-08-09 2019-02-14 Igt Augmented reality systems and methods for providing a wagering game having real-world and virtual elements
US10741006B2 (en) 2017-08-09 2020-08-11 Igt Augmented reality systems and methods for providing player action recommendations in real time
US11288913B2 (en) 2017-08-09 2022-03-29 Igt Augmented reality systems methods for displaying remote and virtual players and spectators
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
DE102017221871A1 (de) * 2017-12-05 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
AU2019217515A1 (en) 2018-02-06 2020-06-25 Magic Leap, Inc. Systems and methods for augmented reality
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11195334B2 (en) 2018-08-03 2021-12-07 Igt Providing interactive virtual elements within a mixed reality scene
US11282331B2 (en) 2018-08-07 2022-03-22 Igt Mixed reality systems and methods for enhancing gaming device experiences
US10726680B2 (en) 2018-08-20 2020-07-28 Igt Augmented reality coin pusher
US20200090453A1 (en) 2018-09-19 2020-03-19 Igt Pairing augmented reality devices with electronic gaming machines
US10810825B2 (en) 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
US10720006B2 (en) 2018-10-11 2020-07-21 Igt Mixed reality systems and methods for displaying and recording authorized real-world and virtual elements
CN113196212A (zh) 2018-10-17 2021-07-30 美达威公司 作为用于交互的物理接口的移动平台
US10825302B2 (en) 2018-11-08 2020-11-03 Igt Augmented reality ticket experience
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11087595B2 (en) * 2019-01-24 2021-08-10 Igt System and method for wagering on virtual elements overlaying a sports betting field
GB2581367B (en) * 2019-02-14 2022-01-12 Luminous Group Ltd Mixed Reality System
US11410488B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality virtual object collection based on symbol combinations
US11410487B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality brand-based virtual scavenger hunt
US10743124B1 (en) * 2019-05-10 2020-08-11 Igt Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
JP7150894B2 (ja) * 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
JP6854869B2 (ja) * 2019-11-25 2021-04-07 株式会社コロプラ ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
JP7414139B2 (ja) * 2020-06-17 2024-01-16 日本電信電話株式会社 情報処理装置、情報処理方法及びプログラム
EP3958095A1 (en) * 2020-08-21 2022-02-23 Deutsche Telekom AG A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface
US11354872B2 (en) * 2020-11-11 2022-06-07 Snap Inc. Using portrait images in augmented reality components
KR102353669B1 (ko) * 2020-11-23 2022-01-20 (주)아이소프트 Ar 디스플레이장치를 이용한 휴대용 인터렉션 레이저 컨트롤 장치 및 이를 이용한 휴대용 인터렉션 레이저 컨트롤러 조종 방법
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
EP4343516A4 (en) 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
US20230308846A1 (en) * 2022-02-08 2023-09-28 Meta Platforms Technologies, Llc Systems and methods for multicast communication for ar/vr system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005702A1 (en) * 2006-05-31 2008-01-03 Abb Technology Ltd. Virtual work place
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
CN102779000A (zh) * 2012-05-03 2012-11-14 乾行讯科（北京）科技有限公司 一种用户交互系统和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
JP4795091B2 (ja) * 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
JP4777182B2 (ja) * 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005702A1 (en) * 2006-05-31 2008-01-03 Abb Technology Ltd. Virtual work place
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
CN102779000A (zh) * 2012-05-03 2012-11-14 乾行讯科（北京）科技有限公司 一种用户交互系统和方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769307B2 (en) 2015-10-30 2023-09-26 Snap Inc. Image based tracking in augmented reality systems
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
CN107924590B (zh) * 2015-10-30 2023-06-09 斯纳普公司 增强现实系统中的基于图像的跟踪
US11315331B2 (en) 2015-10-30 2022-04-26 Snap Inc. Image based tracking in augmented reality systems
US11380051B2 (en) 2015-11-30 2022-07-05 Snap Inc. Image and point cloud based tracking and in augmented reality systems
CN115016642A (zh) * 2016-02-16 2022-09-06 微软技术许可有限责任公司 用于混合现实的现实混合器
CN109069928B (zh) * 2016-02-17 2022-03-01 株式会社万代南梦宫娱乐 模拟系统和游戏系统
CN109069928A (zh) * 2016-02-17 2018-12-21 株式会社万代南梦宫娱乐 模拟系统和游戏系统
EP3438953A4 (en) * 2016-03-31 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN109478344B (zh) * 2016-04-22 2023-05-30 交互数字Ce专利控股公司 用于合成图像的方法和设备
CN109478344A (zh) * 2016-04-22 2019-03-15 交互数字Ce专利控股公司 用于合成图像的方法和设备
US11568606B2 (en) 2016-04-22 2023-01-31 Interdigital Ce Patent Holdings Method and device for compositing an image
CN108700941B (zh) * 2016-05-13 2023-03-28 谷歌有限责任公司 用于在虚拟现实环境中对准组件的方法和设备
CN108700941A (zh) * 2016-05-13 2018-10-23 谷歌有限责任公司 用于在虚拟现实环境中对准组件的方法和设备
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示
CN109074204B (zh) * 2016-07-22 2022-08-12 惠普发展公司，有限责任合伙企业 补充信息的显示
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司，有限责任合伙企业 补充信息的显示
CN109643159A (zh) * 2016-08-23 2019-04-16 谷歌有限责任公司 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
CN109643159B (zh) * 2016-08-23 2022-08-02 谷歌有限责任公司 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
CN109716397A (zh) * 2016-09-14 2019-05-03 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质
CN109716397B (zh) * 2016-09-14 2022-12-16 株式会社万代南梦宫娱乐 模拟系统、处理方法以及信息存储介质
US11748579B2 (en) 2017-02-20 2023-09-05 Snap Inc. Augmented reality speech balloon system
CN109313342B (zh) * 2017-06-02 2021-05-11 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
US11709360B2 (en) 2017-06-02 2023-07-25 Holo Interactive Us, Inc. Imaging method for modular mixed reality (MR) device
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
CN109313342A (zh) * 2017-06-02 2019-02-05 福州光流科技有限公司 一种模块化mr设备成像方法
CN107065195A (zh) * 2017-06-02 2017-08-18 福州光流科技有限公司 一种模块化mr设备成像方法
WO2018219336A1 (zh) * 2017-06-02 2018-12-06 福州光流科技有限公司 一种模块化mr设备成像方法
CN107977083A (zh) * 2017-12-20 2018-05-01 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN107977083B (zh) * 2017-12-20 2021-07-23 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108646917A (zh) * 2018-05-09 2018-10-12 深圳市骇凯特科技有限公司 智能设备控制方法及装置、电子设备和介质
CN108646917B (zh) * 2018-05-09 2021-11-09 深圳市骇凯特科技有限公司 智能设备控制方法及装置、电子设备和介质
CN112947901A (zh) * 2019-12-11 2021-06-11 中华电信股份有限公司 扩增实境的内容控制系统、方法及计算机存储介质
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法

Also Published As

Publication number Publication date
EP2932358A1 (en) 2015-10-21
US20140168261A1 (en) 2014-06-19
WO2014093608A1 (en) 2014-06-19
JP2016507805A (ja) 2016-03-10
KR20150093831A (ko) 2015-08-18

Similar Documents

Publication Publication Date Title
CN104995583A (zh) 用于混合现实环境的直接交互系统
CN110908503B (zh) 跟踪设备的位置的方法
JP6860488B2 (ja) 複合現実システム
CN109313500B (zh) 纤细形状因子的无源光学和惯性跟踪
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
CN105264478B (zh) 全息锚定和动态定位
CN105452994B (zh) 虚拟物体的同时优选观看
CN105393158A (zh) 共享的和私有的全息物体
CN103180893B (zh) 用于提供三维用户界面的方法和系统
CN106716303B (zh) 稳定交互射线的运动
CN105408837A (zh) Hmd上的混合世界/身体锁定的hud
CN102959616A (zh) 自然交互的交互真实性增强
CN103294260A (zh) 触敏用户界面
CN102419631A (zh) 虚拟内容到现实内容中的融合
CN108744511B (zh) 虚拟环境中的瞄准镜显示方法、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151021

WD01 Invention patent application deemed withdrawn after publication