CN110476139B - 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 - Google Patents

具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 Download PDF

Info

Publication number
CN110476139B
CN110476139B CN201880022204.1A CN201880022204A CN110476139B CN 110476139 B CN110476139 B CN 110476139B CN 201880022204 A CN201880022204 A CN 201880022204A CN 110476139 B CN110476139 B CN 110476139B
Authority
CN
China
Prior art keywords
virtual
sound source
audio signal
user
virtual sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880022204.1A
Other languages
English (en)
Other versions
CN110476139A (zh
Inventor
B·夏普斯
M·A·麦考尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN110476139A publication Critical patent/CN110476139A/zh
Application granted granted Critical
Publication of CN110476139B publication Critical patent/CN110476139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Abstract

增强现实系统包括左透明目镜和右透明目镜，用户可以通过左透明目镜和右透明目镜观看真实世界，并且左透明目镜和右透明目镜用于将按图像调制的光耦合到用户的眼睛中以便显示混合现实体验的虚拟内容组件。该系统还包括左扬声器和右扬声器以及用于虚拟对象的用户空间操纵的设备。该系统产生空间化音频，该空间化音频具有固定到由用户在空间上操纵的一个或多个虚拟对象的虚拟声源位置。因此，该系统提供了混合现实体验的虚拟组件的更真实的视觉和听觉呈现。

Description

具有关联到用户操纵的虚拟对象的空间化音频的增强现实 系统
优先权声明
本专利申请要求2007年3月28日提交的美国临时专利申请No.62/477,976的优先权。
技术领域
本发明涉及增强现实系统。
背景技术
显示技术发展的重要步骤包括：在个人计算机和移动装置中实现的魔术灯、基于电影的运动图片、电视和现代数字视频显示技术。最近已推出虚拟现实头带。这种虚拟现实头带包括位于用户眼睛附近和前方的一对显示器以及介于显示器与用户眼睛之间的透镜，以允许用户聚焦在显示器上。当使用这种虚拟现实头带时，用户完全沉浸在虚拟世界中并且基本上与真实世界隔绝。长期使用虚拟现实系统会引起“虚拟现实疾病”，这可能是由于虚拟环境感觉的真实性存在缺陷。例如，经由前庭系统接收的依赖于用户在真实世界中的动态的感觉刺激可能与虚拟世界中的运动的感觉刺激相冲突。据信人类感知系统高度适合(attune)于整合不同的、视觉的、听觉的、触觉的、味觉的、嗅觉的和前庭的刺激，并且矛盾的感觉导致感觉不一致，这可能导致人类生理系统过渡到低功能(虚拟现实疾病)状态抑制在致病(causative)活动中的进一步参与。
期望提供虚拟内容的呈现，其实现在虚拟内容是真实的情况下将获得的对感觉感知的更高逼真度。
发明内容
本文公开的主题的一个方面包括提供增强现实系统，该增强显示系统包括头带，头带包括左眼显示器和右眼显示器，左眼显示器包括左透明目镜，右眼显示器包括右透明目镜。透明目镜用于将虚拟内容的图像耦合到用户的视场中，同时允许用户看到真实世界并在真实世界中是接地的(例如，具有被定向的和平衡的舒适感觉)。头带还包括左扬声器和右扬声器。该系统还包括手持控制器。跟踪子系统也包括在系统中，该跟踪子系统允许相对于头带的手持控制器的相对平移偏移和取向。该系统还包括耦接到左眼显示器、右眼显示器、左扬声器、右扬声器和跟踪系统的至少一个处理器。至少一个处理器可以包括在头带、手持控制器和/或单独的单元中。该至少一个处理器操作包括至少头带和手持控制器的系统。第一类型虚拟对象的左和右立体图像分别通过左透明目镜和右透明目镜投影。在某些情况下，左和右显示器可以被配置为允许基于到虚拟对象的距离来改变到达用户眼睛的光的波前曲率。由左和右显示器提供的波前曲率可以被量化，使得有限数量的值是可用的或可以是连续可变的。第一类型虚拟对象相对于手持控制器维持基本固定。由于虚拟对象固定到手持控制器，因此通过移动手持控制器，用户可以移动第一类型虚拟对象，并且通过透明目镜看到第一类型虚拟对象相对于真实世界移动。第一类型虚拟对象发出声音。声音从虚拟对象占据的空间中的点发出。发出声音的空间中的点在用户通过手持控制器的设备的控制下与虚拟对象一起移动。当空间中的点移动时，用于空间中的点相对于用户头部的坐标的适当的头部相关传递函数(HRTF)用于处理由对象发出的声音，并且HRTF的立体声输出通过左右扬声器输出。以这种方式，用户听到基本上真实空间化的声音，以便听起来好像从用户已将虚拟对象移动到的位置发出的声音。
在上述方面的替代方案中，不使用手持控制器。然而，跟踪用户的手部和空间化的发声虚拟对象的包括相机的(增强现实系统的)机器视觉子系统至少暂时固定到用户的手部。增强现实系统还可以被配置为识别指示虚拟对象与用户的手部解耦合的某些姿势(例如，投掷动作)。在这种解耦合之后，将继续从虚拟对象的移动位置发出空间化音频。
本文公开的主题的附加方面涉及第二类型虚拟对象，该第二类型虚拟对象的运动被固定到真实世界环境的惯性运动限定，其中增强现实系统的用户位于该真实世界环境中。用于第二类型虚拟对象的空间化声音具有由第二类型虚拟对象占据的虚拟源点。第二类型虚拟对象可以在一些强加的预编程质量的情况下例如遵循牛顿运动定律。对于特殊应用，除了质量之外，还可以为对象分配电荷或磁偶极矩，使得该对象可以与具有电荷或磁偶极矩的附加真实或虚拟对象适当地交互。用户可以经由系统中实现的手部姿势识别机构使用他或她的手部与第二类型虚拟对象交互。例如，用户可以利用系统被编程来识别的预先设置的手部姿势来推或拿第二虚拟对象。通过推第二类型虚拟对象，用户可以将速度赋予给第二虚拟对象，然后其将根据牛顿定律而继续，并且可以随后经历用户的进一步操纵和/或与其他虚拟对象或真实对象交互。例如，虚拟对象可以是虚拟球，并且用户可以使用虚拟球和真实墙来玩手球游戏。真实墙可以是也包括墙的虚拟表示的混合现实对象的一部分。虚拟球可以发出“嗖”的声音，该声音对应于通过空气高速移动的对象的声音。嗖的声音被空间化并且具有由虚拟球占据的虚拟声源。当虚拟球从包括真实墙组件及其相关联的虚拟墙表示组件的增强现实墙反弹时，可以发出具有由虚拟球占据的虚拟源位置的第二空间化反弹声音。当第二类型虚拟对象处于运动中时，为了保持其相对于固定到用户环境的惯性参考系的运动(例如，根据牛顿第一定律)，即使在与头带一起用户旋转他/她的头部的情况下，必须跟踪用户头部的运动，并且必须执行通过目镜显示的第二类型虚拟对象的图像的更改，以便补偿用户头部的运动。更改的性质有进一步的解释。更改图像以维持在连接到本地环境(包括惯性参考系内的任何预期运动)的惯性参考系中限定的第二类型虚拟对象的坐标，该本地环境不受头带与用户头部的旋转的影响。
附图说明
附图示出了本发明的优选实施例的设计和实用性，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其他优点和目的，将通过参考其特定实施例来呈现上面简要描述的本发明的更具体的描述，其在附图中示出。应理解，这些附图仅描绘了本发明的典型实施例，因此不应认为是对其范围的限制，将通过使用附图借助附加特征和细节来描述和解释本发明，其中：
图1示出了根据本发明的实施例的增强现实系统；
图2是位于用户的头部上的图1所示系统的可穿戴头带的顶视图；
图3是图2-3中所示的可穿戴头带的前视图；
图4是从右目镜的顶部观看到的边缘和图1-3中所示的增强现实头带的按图像调制的光的右源的示意表示。
图5是根据本发明的实施例的图1-3中所示的系统的框图；
图6示出了根据本发明的实施例的电磁跟踪系统的某些组件，其包括可用于跟踪图1-5中所示的系统中的相对坐标的接收侧组的三个正交螺线管以及发射侧组的三个正交螺线管；
图7是根据本发明的实施例的操作图1-6中所示的系统的方法的流程图；
图8是生成可以在图7和图14中所示的方法中使用的空间化音频的方法的流程图；
图9是根据本发明的实施例的使用光学传感器来收集环境信息的方法的流程图，该环境信息用于增强与虚拟内容相关联的音频信号的真实性；
图10是根据本发明的实施例的使用已通过图9所示的方法收集的环境信息生成图7和图14中所示的方法中的空间化音频的方法的流程图；
图11-12示出了使用上面参考图1-10描述的系统并且体验被模拟为从用户正在使用诸如图1中所示的控制器操纵的第一虚拟对象发出的空间化音频的用户；
图13示出了使用上面参考图1-10描述的系统并且体验从用户正在使用诸如图1中所示的控制器操纵的第二虚拟对象发出的空间化音频的用户；
图14是根据本发明另一实施例的操作增强现实系统的方法的流程图；以及
图15示出了使用根据图14中所示的方法操作的增强现实系统的用户。
图16示意性地表示环境声音到人的两只耳朵的耦合。
具体实施方式
图1示出了根据本发明的实施例的增强现实系统100。如图1所示，系统100包括增强现实头带102、手持控制器104和辅助单元106。增强现实头带102包括左(用户的左)透明波导组目镜(下文中称为“左目镜”)108和右透明波导组目镜(在下文中称为“右目镜”)110。每个目镜108、110包括用于控制按图像调制的光流的表面衍射光学元件。具体地，左目镜108包括左耦入光栅组112(其中的第一个在图1和图3中是可见的)、左正交光瞳扩展(OPE)光栅组114(其中的第一个在图1和图3中是可见的)和左出射(输出)光瞳扩展(EPE)光栅组116(其中的第一个在
图1和图3中是可见的)。类似地，右目镜110包括右耦入光栅组118、右OPE光栅组120和右EPE光栅组122。按图像调制的光经由耦入光栅112、118、OPE 114、120和EPE 116、122传输到用户的眼睛。可选地，代替耦入光栅组112、118、OPE光栅组114、120和EPE光栅组116、122，目镜108、110包括折射和反射特征，用于控制将按图像调制的光耦合到用户眼睛。
按图像调制的光的左源124通过左耦入光栅组112光学耦接到左目镜108，按图像调制的光的右源126通过右耦入光栅组118光学耦接到右目镜110。按图像调制的光的源124、126可以例如采用每侧使用一个或多个透镜耦接到耦入光栅组112、118中的光纤扫描仪、投影仪的形式，其包括电子光调制器(例如数字光处理(DLP)芯片或硅上液晶(LCoS)调制器)或发射显示器(例如微发光二极管(μLED)或微有机发光二极管(μOLED)面板)。输入耦合光栅组112、118将来自按图像调制的光的源124、126的光偏转到高于用于目镜108、110的全内反射(TIR)的临界角的角度。OPE光栅组114、120递增地将由TIR传播的光向下偏转朝向EPE光栅组116、122。EPE光栅组116、122将光递增地耦出朝向包括用户眼睛瞳孔的用户的脸部。左目镜108与按图像调制的光的左源124组合构成左显示器，右目镜110与按图像调制的光的右源126组合构成右显示器。
辅助单元106可以包括电池(526，图5)以提供操作系统100的能量，并且可以包括用于执行程序以操作系统100的处理器(516，图5)。如图所示，辅助单元106包括用于将辅助单元106附到用户的腰带的夹子128。可选地，辅助单元106可以具有不同的形状因子。
增强现实头带102还包括左镜腿(temple)臂130和右镜腿臂132。左镜腿臂130包括左镜腿扬声器端口134，右镜腿臂132包括右镜腿扬声器端口136。正交线圈电磁接收器138容纳在左镜腿片(piece)中，尽管它可以位于头带102的其他位置。惯性测量单元(IMU)140容纳在右镜腿臂132中，尽管它可以位于头带102的其他位置。头带102还包括左深度(例如，飞行时间)相机142和右深度相机144。深度相机142、144适当地定向在不同方向上，以便一起覆盖更宽的视场。
手持控制器104包括抓握部分146和顶部148，顶部148包括多个按钮150。按钮150还可以用作跟踪手持控制器104的运动的六个自由度(3个平移自由度和3个旋转自由度)的光学跟踪目标。另外，如下面进一步讨论的，手持控制器104可以包括用于跟踪手持控制器104相对于头带102的运动的六个度的附加组件。辅助单元106通过可以例如包括电线和光纤的多导线电缆152耦接到头带102。也可以使用辅助单元106与头带102之间的无线连接。
图2是位于用户头部202上的图1中所示的系统100的可穿戴头带102的顶视图。用户的左眼204定位成透过左目镜108观看，以及用户的右眼206定位成透过右目镜110观看。左扬声器端口134位于用户的左耳208附近，以及右扬声器端口136位于用户的右耳210附近。图3是图2-3中所示的可穿戴头带的前视图。
根据某些实施例，左目镜108和右目镜110中的每一个包括多个波导的堆叠402(图4)。例如，每个目镜108、110可以包括专用于多个(例如，红色、蓝色和绿色)颜色通道中的每一个的独立波导。另外，每个目镜108、110可以包括多个波导的组，每一个组包括用于处理不同(例如，红色、蓝色和绿色)颜色通道的独立波导，其中通过将这些组配置为向发射的光赋予不同的波前曲率来区分这些组。波前曲率通常将要朝向用户的眼睛发散(是凸的)，以对应于在用户前方以与波前曲率的倒数相对应的距离间隔开的虚拟对象位置。如图1和图3所示，EPE光栅组122中的EPE光栅包括弯曲的光栅沟槽。弯曲的光栅沟槽用于通过更改穿过每一个EPE的出射光的坡印亭(Poynting)矢量来赋予上述波前曲率。
立体地调整的左眼图像和右眼图像通过按图像的光调制器124、126和目镜108、110输出给用户，以便有助于显示内容是三维的感知。选择波导有助于增加三维图像的真实性并且有助于避免由于左眼图像与右眼图像之间的差异导致的深度感知提示与人眼的自主适应(accommodation)(依赖于对象距离聚焦)之间的感觉冲突，其中通过该波导输出图像以与显示虚拟对象使用的波前曲率最佳地匹配，以匹配由立体的左图像和右图像指示的距离。虽然不希望受限于增强现实系统100的任何特定操作理论，但是据信在现有虚拟和增强现实系统中存在的这样的感觉冲突可能是虚拟现实疾病的一个源。
图4是从右目镜110的顶部观看到的边缘和图1-3中所示的增强现实头带102的右源按图像调制的光126的示意表示。尽管未示出，但是左目镜108的结构是右目镜110的结构的镜像。如图4所示，波导的堆叠402包括三个波导的第一子组404和三个波导的第二子组406。波导的两个子组404、406通过不同的EPE光栅(图4中未示出)来区分，该不同的EPE光栅具有不同光栅线曲率以向出射光赋予不同的波前曲率。在波导的子组404、406中的每一个子组内，每个波导可用于将不同的光谱通道(例如，红色、绿色和蓝色光谱通道中的一个)耦合到用户的右眼206。
图5是根据本发明的实施例的图1-3中所示的系统100的框图。如图5所示，手持控制器104(也称为“图腾(totem)”)包括图腾至头带的六个自由度(6DOF)图腾子系统502，并且增强现实头带102包括图腾至头带6DOF头带子系统504。6DOF图腾子系统502和6DOF头带子系统504协作以确定手持控制器104相对于增强现实头带102的六个坐标。六个坐标包括三个平移偏移和三个用于旋转(取向)的自由度坐标。六个自由度可以相对于固定到头带102的坐标系而表示。三个平移偏移可以表示为这样的坐标系中的X、Y和Z偏移。旋转自由度可以表示为偏航(yaw)、俯仰(pitch)和翻滚(roll)旋转的序列或者作为四元数取向。根据一种方法，6DOF头带系统504、包括在头带102中的深度相机142、144(可选地，非深度相机)和光学目标(例如，以如上所述的按钮150的形式，或者以包括在手持控制器104中的专用标记的形式)用于6DOF跟踪。可选地，手持控制器104可以包括相机，并且头带102可以包括一起用于光学跟踪的光学目标。根据下面更全面地讨论的另一种方法，头带102和手持控制器104每一个都包括用于无线地发送和接收信号的三个正交定向的螺线管的组。通过测量在用于接收的线圈的每一个中接收的信号的相对大小，可以确定手持控制器104相对于增强现实头带102的6DOF。用于确定两组三个正交线圈之间的相对位置和取向的各种技术在运动跟踪领域中是已知的，并且该各种技术可以用于跟踪手控制器104相对于头带102的相对位置和取向。(另外，6DOF图腾子系统502可以包括惯性测量单元(IMU)，其可用于提供关于手持控制器104的快速移动的改善的准确度和/或更及时的信息。
为了更充分地在增强现实系统100中实现虚拟内容的错觉，有用的是，每个虚拟对象的运动或静止状态被限定在固定到用户环境的惯性参考系中，尽管存在以下事实，即，用户与生成虚拟内容的增强现实头带102一起可以走动和转动他们的头部。例如，如果虚拟人坐在用户前面的真实椅子上，当用户将他们的头部向左旋转10°时，虚拟人应保持坐着，并且不会突然从椅子移出到邻近椅子的空间中。类似地，如果虚拟人以稳定的步速穿过真实房间行走，则尽管用户朝虚拟人行走(除非虚拟人被特别编程为以不同的方式作出反应)，也应该保持虚拟人的稳定行走。为了维持相对于环境固定的惯性参考系限定的虚拟对象运动，增强现实头带跟踪相对于本地环境的用户的头部取向(称为“头部姿势”)和位置(例如，用户所位于的房间内的位置)。可以使用同时定位和映射(Mapping)(SLAM)以及视觉里程计(odometry)程序处理来自深度相机142、144的图像来确定用户的头部姿势和位置。如图5所示，深度相机142、144耦接到SLAM/视觉里程计框506。SLAM/视觉里程计框506实现可以例如包括是电子电路的形式的被编程的处理器。从头带惯性测量单元(IMU)508获得关于用户头部姿势和位置的附加信息源。来自IMU 508的信息可以与来自SLAM/视觉里程计框506的信息集成，以提供关于用户头部姿势和位置的改善的准确度和/或更及时的信息。
由6DOF图腾子系统502和6DOF头带子系统504确定的手持控制器104的坐标可以被变换为固定到用户环境的坐标系，该坐标系还用作用于限定虚拟内容的6DOF的坐标系。
深度相机142、144还耦接到手部姿势跟踪器510并将3D图像提供给手部姿势跟踪器510。手部姿势跟踪器510被配置为将从深度相机142、144接收的3D图像与存储的图案相匹配，该存储的图案表示由手部姿势跟踪器510可识别的多个手部姿势中的每一个。
在使用头带102时，头带102还包括通过左扬声器端口134声学耦接到用户的左耳208的左扬声器512和通过右扬声器端口136声学耦接到用户的右耳206的右扬声器514。
辅助单元106包括处理器516(或者可选地，多个处理器)，该处理器516耦接到头带的6DOF头带子系统504、IMU 508、SLAM/视觉里程计框506和手部姿势跟踪器510并且接收来自头带的6DOF头带子系统504、IMU 508、SLAM/视觉里程计框506和手部姿势跟踪器510的数据。处理器516可以采用电子电路的形式。处理器516还耦接到6DOF图腾系统502并且可以将控制信号发送到6DOF图腾系统502。处理器516可以无线地耦接到6DOF图腾系统，因为手持控制器104可以是无束缚的(untether)。处理器516可以从6DOF图腾子系统502或6DOF头带子系统504接收关于手持控制器104相对于头带102的相对取向的6DOF信息。
在辅助单元106内，处理器516耦接到音频视觉内容存储器518、图形处理单元(GPU)场景渲染520和数字信号处理器(DSP)音频空间器(spatializer)522。音频视觉内容存储器518、图形处理单元(GPU)场景渲染520和数字信号处理器(DSP)音频空间器522可以采用电子电路的形式。DSP音频空间器522耦接到头部相关传递函数(HRTF)存储器524。GPU场景渲染器520包括耦接到按图像调制的光的左源124的左通道输出和耦接到按图像调制的光的右源126的右通道输出。GPU场景渲染器520将立体图像数据输出到按图像调制的光的源124、126。DSP音频空间器522分别耦接到左扬声器512和右扬声器514并且分别将左和右声道音频输出到左扬声器512和右扬声器514。音频空间器522响应于从处理器516接收的关于从系统100的用户到发声虚拟内容的方向的信息，其移动由用户经由手持控制器104或用户的手部来控制。基于到上述虚拟内容的方向，音频空间器522访问具有对应或接近的方向的一个或多个HRTF。通过示例的方式，可以限定虚拟扬声器的组，每个虚拟扬声器具有相对于头带102的限定的球面角坐标，并且可以使用基于矢量的幅度平移(Panning)(VPAB)来确定对于音频流的多个副本中的每一个应用加权系数，该音频流与发声虚拟内容相关联，其然后与该虚拟扬声器的组的子组相关联。在虚拟扬声器的组中的每一个具有特定球面角坐标的程度上，每一个适当地与预定的左和右HRTF相关联。音频空间器522将所访问或生成的HRTF应用于虚拟内容的音频组件，以便提高虚拟内容的真实性。
辅助单元106还包括电池526，以为其组件供电并且还向增强现实头带102供电。
图6示出了根据本发明的实施例的电磁跟踪系统600的某些组件，其包括可用于跟踪图1-5中所示的系统中的相对坐标的接收侧组的三个正交螺线管602以及发射侧组的三个正交螺线管604。通过示例的方式，发射侧组的三个正交螺线管604可以包括在6DOF图腾子系统502中，以及接收侧组的三个正交螺线管602可以包括在6DOF头带子系统504中。发射侧组的三个正交螺线管604耦接到发射器606，该发射器606以可区分的(例如，不同频率或不同调制)信号驱动发射侧组的三个正交螺线管604中的每一个。接收组的三个正交螺线管602耦接到接收器608。接收器被配置为检测由接收侧组的三个正交线圈602中的每一个接收的上述可区分的信号中的每一个的幅度。接收螺线管602和发射螺线管604之间的相互耦接由电磁理论给出。基于幅度，发射侧正交螺线管604与接收侧组的正交螺线管602之间的相对位移和取向偏移由处理器516确定。
图7是根据本发明的实施例的操作图1-6中所示的系统100的方法700的流程图。框702表示持续时间序列重复的循环的顶部。这里和在其他实施例的情况下的时间序列可以是或可以不是规则的间隔。例如，方法700的部分可以由外部事件触发。在框704中，检测手持控制器104相对于头带102的当前位置。在框706中，检测手持控制器104相对于头带102的当前取向。例如，可以使用图腾6DOF子系统502和头带6DOF子系统504来执行框704和706。
在框708中，确定将要(在初始化的情况下)或当前正从头带102显示的虚拟对象的距离。可以使用图腾6DOF子系统502和头带6DOF子系统504来确定头带102与手持控制器104之间的位移矢量和相对取向；以及通过系统100确定手持控制器104与虚拟对象之间的位移和相对取向，使得可以通过评估位移矢量和来确定虚拟对象与头带102之间的距离。在框710中，选择要显示虚拟对象使用的光的波前曲率，以最佳地匹配在框708中确定的到虚拟对象的距离。如上面参考图4所讨论的，目镜108、110的波导404、406的多个子组中的每一个可以具有EPE 116、120，该EPE116、120具有不同的光栅沟槽曲率，以便向从目镜发出的用于将虚拟对象的图像显示给用户的光赋予不同的发散波前曲率。将正确的波前曲率匹配或近似到虚拟对象的距离有助于增强虚拟内容的真实性并且被认为有助于避免虚拟现实疾病。
在框712中，以基本上固定到手持控制器104的至少一个位置和/或旋转坐标(如在框704、706中确定的)的至少一个旋转或位置自由度并且可选地但有利地使用如在框710中确定的具有波前曲率的光经由按图像调制的光的源124、126和目镜108、110显示虚拟对象。在某些情况下，虚拟对象相对于手持控制器104的全部平移自由度被基本固定。系统延迟可能导致虚拟对象跟踪到手持控制器104的移动的一些滞后。在某些实施例中，可以在手持控制器104的位置与虚拟对象之间提供有意的弹性(例如，根据具有阻尼(dampening)的特定力定律)。考虑锁定到手持控制器104的虚拟笛卡尔坐标系是有用的，在某些情况下，虚拟对象在笛卡尔坐标系中具有固定的X、Y和Z坐标。虚拟对象可以例如包括激光剑的刀片、或魔棒、拨浪鼓(rattle)或任何数量的其他东西。在某些实施例中，虚拟对象可以基本上固定在固定到手持控制器104的坐标系中，但是该虚拟对象从手持控制器移位了在固定到手持控制器104的坐标系中限定的某个矢量。然后激光剑被实现为具有手持控制器104的混合现实对象，该手持控制器104用作剑的手柄且是混合现实对象的真实组件，并且剑的刀片是混合现实对象的虚拟组件。在框714中，通过左和右扬声器512、514以及左和右扬声器端口134、136输出空间化音频。在框714中输出的空间化音频具有虚拟源位置，该虚拟源位置固定到在框712中显示的虚拟对象的位置，其中该虚拟对象具有固定到手持控制器104的至少一个坐标。
空间化音频的简要说明是有序的。参考图16，当真实声源1602发出声音时，由于作为声波1610的到达角的函数的耳间时间延迟(声音到达人的左耳1606和右耳1608之间的差异)、耳间相位延迟以及耳朵频率响应的差异，人可以以一定程度的准确度检测声音到达的方向。可以使用关于相对于人的头部1604限定的坐标系1612测量到达角。例如，可以相对于垂直Z轴测量极角，并且可以相对于穿过左耳和右耳的X轴测量方位角。到达人的两只耳朵的声音信号的差异可以被测量或模拟并存储作为头部相关传递函数(HRTF)。头部相关传递函数(HRTF)可以表示并应用于频率域或时间域中的信号。HRTF包括左耳HRTF组分(component)和右耳HRTF组分。HRTF包括用于许多到达角的每一个和多个距离中的每一个的频率响应。例如，可以为间隔5°的增量的每个仰角、间隔5°的增量的每个方位角和距离组(例如10cm、40cm、1m、2m 3m和6m)中的每一个存储HRTF。对于已经测量和存储HRTF的那些之间的角度和距离，可以使用VPAB或插值(interpolation)，或者可以替换HRTF信息可用的最近角度和距离。单(单声道)音频记录(或合成声音)可以以特定角度通过HRTF的左和右部分并且通过左扬声器512和右扬声器514播放，以便在相对于用户头部的特定球面坐标(角度和距离)处模拟声音的起源。应用基于虚拟对象的坐标选择的HRTF用作增强由系统100生成的增强现实世界中的虚拟对象的真实性。因为头带102被固定到用户的头部，所以关于角坐标和距离的正确的HRTF基于所显示的虚拟对象与头带102之间的相对坐标，其可以基于在框704、706中确定的头带102与手持控制器104之间的位置和角度偏移的检测以及在框712中施加的虚拟对象与手持控制器104之间的坐标偏移来推断。
在一个实现中，可以相对于头带102限定虚拟扬声器位置的组。虚拟扬声器位置的角坐标可以在球面坐标系中的就方位角和极角而限定，该球坐标系以位于佩戴头带102的人的耳朵之间的中间为中心。虚拟扬声器可以均匀地或不均匀地分布在4π立体角空间中。例如，可以将更多扬声器放置得更靠近将立体角空间二等分的水平面(即，更靠近赤道区域)。作为非限制性示例，虚拟扬声器的数量可以在15到30的范围内。在每个特定虚拟扬声器的角坐标是固定的程度上，每个虚拟扬声器可以与左和右HRTF的组相关联，该左和右HRTF根据其角坐标为特定虚拟扬声器选择的。在虚拟声源的角坐标可以在用户控制下自由变化的程度上，虚拟声源的角坐标通常不会与任何虚拟扬声器的组的角坐标完全匹配。然而，基于矢量的幅度平移(VBAP)可以用于通过选择虚拟扬声器的子组(例如，3或4)在可用虚拟扬声器的角坐标之间有效地插值，该虚拟扬声器限定包括虚拟扬声器的角坐标的角度子区域，并且基于虚拟声源的角坐标与虚拟扬声器子组的角坐标的接近度将幅度分配给子组中的每一个。然后可以将与虚拟扬声器的子组中的每一者相关联的左和右HRTF应用于虚拟声源音频流的幅度缩放(scale)版本，并且可以在应用头带102的左512和右侧514扬声器之前关于子组分别对左和右HRTF的输出求和。
另外，在封闭空间中，声音可以从表面(例如，墙壁、地板、天花板、桌子顶部)反弹，并且除了直接到达用户而没有反射的声音之外，反射的声音也可以到达用户。反射的声音有助于空间的声学环境。如下面参考图9进一步描述的，可以通过系统100辨别将反射真实声音的真实世界表面(例如，墙壁、天花板)，并且通过左和右扬声器端口134、136以相对低的音量输出的并由此不会产生显著反射的虚拟声音可以合成地被更改以包括这样的反射，就好像由虚拟对象发出的这种声音是由存在于使用系统100的空间中的真实模拟物发出的。
图8是生成可以在图7和图14中所示的方法中使用的空间化音频的方法800的流程图。方法800可用于实现图8中所示的方法800中的框714。方法800的初始框802在方法700的框712之后。在框802中，确定由用户(经由手持控制器或用户的手部)控制的虚拟对象相对于头带102的球面坐标。应注意，由用户佩戴的头带102基本上固定到用户的头部。在框中，通过访问存储的HRTF信息获得与虚拟对象的球面坐标对应的至少一个HRTF。在框中，通过在框804中获得的HRTF处理由用户控制的虚拟对象的声音。在框808中，在框806中由HRTF处理的音频被馈送到左和右扬声器512、514通过左和右扬声器端口134、136输出到用户。方法700的框704在框808之后。
图9是使用光学传感器来收集环境信息的方法900的流程图，该环境信息用于增强与虚拟内容相关联的音频信号的真实性。框902是持续时间序列重复的循环的顶部。在框904中，捕获正在使用头带102的环境的一个或多个图像。如上所述，头带102包括左和右深度相机142、144。因此，在框904中收集的图像可以包括可以用于识别表面的深度信息，这并不是说，在使用非深度相机的可选方案中，系统100也不能识别表面。在框906中，一个或多个图像用于更新关于环境和用户在环境中的位置的SLAM数据。尽管未在框906中指示，但也可使用指示用户在环境中的位置的视觉里程计。在框908中，处理SLAM数据和/或图像以识别环境中的表面，例如，墙壁、地板、天花板、桌子顶部等。在识别表面的过程中，点云中的3D点可以适合于平面的最小二乘意义。在框910中，机器视觉(例如采用深度神经网络(DNN))用于识别头带102的环境中的表面类型。例如，系统100可以区分硬木地板与地毯地板并且区分平坦的墙壁和有纹理的墙壁，表面中的每一个具有不同的声学特性，例如不同的反射系数。
图10是使用已通过图9所示方法收集的环境信息来生成图7和图14中所示的空间化音频的方法1000的流程图。方法1000可用于实现方法700或方法1400中的框714。在框1002中，基于在框908中识别的环境表面确定虚拟声源(在框712或1408中显示的发声虚拟对象)的第一N阶(order)反射图像的位置。反射的阶指示表面的数量，其中在到达环境中用户的位置的路上从该表面反弹时模拟虚拟声音。虚拟声源的一阶反射相对于每个特定环境表面从虚拟声源垂直地移位等于虚拟声源与特定环境表面之间的距离或其两倍的量。每个KTH阶反射是特定环境表面中的(K-1)TH阶反射的反射。因此，每个KTH阶反射相对于形成KTH阶反射的特定环境表面从其“父”(K-1)TH阶反射垂直地移位。通过非限制性示例，N可以设置为两二或三或四。
图11示出了在示意性示出的简单房间1104中的挥动(wield)手持控制器104的用户1102。在这种情况下，手持控制器104用作混合现实剑1106的真实组件手柄。混合现实剑1106还包括以剑1106的刀片1108的形式的虚拟组件，其在上面参照图7描述的方法700之后通过系统100维持固定到手持控制器104(用作剑手柄)。考虑固定到手持控制器104的本地坐标系1110是有用的。在这种情况下，虚拟剑刀片1108通过系统100维持固定到手持控制器104并且平行于固定到手持控制器104的本地坐标系1110的Z轴。在该示例中，虚拟声源1112固定到虚拟剑刀片108的尖端1114。虚拟声源1112的第一一阶图像1116位于简单房间1104的后壁后面并且从虚拟声源1112垂直地向后壁1118移位距离2*d1，其中d1是虚拟声源1112与后壁1118之间的距离。与第一一阶图像1116相关联的反射声音的路径长度等于从第一一阶图像1116到头带102的距离。虚拟声源的第二一阶图像1120位于侧壁1122的后面。作为左侧壁1122中的第一一阶图像1116的反射的第一二阶图像1124位于侧壁1122的后面。
再次参考框1004，基于在框910中为创建特定音频源图像所涉及的每个表面确定的表面类型，将声学吸收应用于直到(up to)N阶反射图像中的每个特定音频源图像。例如，对于一阶图像，虚拟声源仅涉及从真实世界表面的单个虚拟反射，而二阶图像涉及从两个真实世界表面的两个虚拟反射。
在框1006中，确定虚拟声源(由用户控制的虚拟对象上的点)的球面坐标和虚拟声源的第一N阶反射图像的球面坐标。基于在框1002中确定的第一N阶反射图像的位置来确定第一N阶反射图像的球面坐标。
在框1008中，对于虚拟声源并且对于虚拟声源的反射(直到NTH阶)中的每一个，基于虚拟声源或虚拟声源的特定反射(相对于头带102)的球面坐标选择一个或多个HRTF。随后在框1008中，将每个特定选择的HRTF应用于虚拟声源或为其选择特定声源的反射。上述涉及限定虚拟扬声器的组并使用VBAP的方法也可以用于空间化虚拟声源的反射。根据可能的情况，可以在基于定向或反射的传播路径长度的以延迟输出给用户之前，延迟虚拟声源的定向传播和反射。
在框1010中，基于虚拟声源或其图像与头带102之间的传播路径长度R，将时延和1/R2传播损耗应用于来自每个虚拟声源的声音并且应用于来自直到N阶图像中的每一个的声音。时延基于路径长度R和声速。可以相对于图10中所示的顺序改变执行框1004-1010的顺序。
用于虚拟声源和虚拟声源的图像中的每一个的HRTF包括左耳音频流和右耳音频流。对于虚拟声源和图像中的每一个，在框1010中，基于前述传播路径长度，使左耳和右耳音频流延迟和衰减。在框1010之后且在框1012中，组合用于虚拟声源的HRTF输出的左部分及其图像，并且同样地，组合用于虚拟声源的HRTF输出的右部分及其图像。随后在框1012中，通过左扬声器512和左扬声器端口134输出所得到的组合左音频流，并且通过右扬声器514和右扬声器端口136输出所得到的组合右音频流。随后的过程1000导致使用户的混合(增强)现实的虚拟现实组件的真实性增强。
在图12中，用户1102已经将手持控制器104移动到用户头部的侧面并且已经使手持控制器104向后倾斜，使得固定有虚拟声源1112的虚拟剑刀片1108的尖端1114位于用户头部后面。因此，虚拟声源1112的第一一阶图像1116和第二一阶图像1120的位置也改变了位置。在图12中示出了第三一阶图像1202，其是右侧壁1204中的虚拟声源1112的虚拟反射。在这样的位置，虚拟剑刀片可以在用户的视场之外，但是用户仍然可以通过听到来自固定到刀片1108的尖端1114的虚拟声源1112的空间化音频来感测剑刀片的位置。在重新执行框1002-1006时，基于虚拟声源1112的新位置调整与固定到虚拟剑刀片1108的尖端1114的虚拟声源1112相关联的空间化音频。
可以为了在GPU使用而数学上限定平截头体(frustum)以限定要通过按图像的光调制器124、126和目镜108、110输出的选择内容。平截头体的角度边界对应于由按图像调制的光的源124、126和目镜108、110的提供的视场(FOV)。可以基于用户的头部姿势在公共真实世界和虚拟内容坐标系中的某个取向上使这样的平截头体定向，该用户的头部姿势使用头带IMU 508和SLAM/视觉里程计框506确定。由图腾至头带6DoF子系统502、504提供的信息可以用于确定用户通过操纵手持控制器104而操纵的发声虚拟对象何时移出上述平截头体。当发声虚拟内容对象在平截头体之外时，可以停止发声虚拟对象的视觉渲染，但可以继续发声虚拟对象的空间化音频的发射。
图13示出了使用上面参考图1-10描述的系统100并且体验从用户正在使用手持控制器104操纵的以虚拟魔法棒1304的形式的第二虚拟对象发出的空间化音频的用户1302。如图13中所示的手持控制器104的形状与图1所示的不同。虚拟声源1306固定到虚拟魔法棒1304的远端尖端1308(从手持控制器104移位)。可以使用适当选择的魔法棒声音。
图14是根据本发明另一实施例的操作增强现实系统的方法1400的流程图。方法1400的某些框与图7中所示的方法700相同并且具有从图7中采用的附图标记。框1402表示持续时间序列重复的循环的开始。时间序列可以是周期性的或非周期性的。在框1404中，检测用户的手部相对于头带102的位置。左和/或右深度相机142、144可用于检测用户的手部相对于头带102的位置。可以使用应用于通过左和/或右深度相机142、144获得的图像的图案识别来实现对用户的手部的检测。深度相机142、144结合处理器516用作手部跟踪机器视觉子系统，用于执行下面描述的方框1404和1406。除了灰度图像之外，还可以使用深度和/或颜色来从背景中区分用户的手部。
在框1406中，辨别手部姿势(手势)。可以通过使用应用于通过左和/或右深度相机获得的图像的图案识别来辨别特定手部姿势。这种图案识别可以基于特定手势的手部的多个标记图像的训练。
在框1408中，设定要显示的虚拟对象与用户的部手之间的偏移。可以固定或编程偏移以根据某些规则(例如，增强现实游戏规则)而改变。偏移可以包括至少一个平移度(例如，X、Y和/或Z偏移)和/或至少一个旋转度偏移(例如，偏航、俯仰和/或翻滚偏移)。为了确定虚拟对象相对于用户的手部的偏移，可以使用以规定的取向固定到用户的手部的虚拟坐标系。例如，可以将虚拟笛卡尔坐标系的X-Y平面设置为与用户的手掌共面。精确的初始对齐可能并不关键。与初始对准的精度相比，在系统100中跟踪作为时间的函数的用户手掌的取向的变化将更有影响。在某些情况下，可以将虚拟对象位置设置为接近用户的手部以模拟持有虚拟对象的用户。
在框1410中，确定从头带102到要显示的虚拟对象的距离。该距离可以通过将如框1404中所确定的从头带102到用户的手部的矢量位移与如在框1408中确定的用户的手部与要显示的虚拟对象之间的矢量位移加起来而确定。
在框710中，基于到虚拟对象的距离来选择显示虚拟对象时使用的光的曲率。
在框1412中，显示虚拟对象，其中至少一个运动自由度相对于用户的手部固定。至少一个自由度对应于框1408中设定的偏移。
在框714中，通过左和右扬声器512、514以及左和右扬声器端口134、136输出具有固定到所显示的虚拟对象上的位置的虚拟源位置的空间化音频。
上面参考图7、8、9、10和14描述的操作增强现实系统100的方法可以响应于在处理器516(图5)的控制下的用户动作来执行。
图15示出了使用根据图14中所示的方法操作的增强现实系统100的用户1502。用户1502在他的手部1504中握住火球形式的虚拟对象1506，其中虚拟声源1508固定到该火球。系统100可以使用左和/或右深度相机142、144和在处理器516上运行的图案识别软件来检测用户的手部1504并确定用户的手部1504的手势(例如，打开手势、投掷手势)。然后，系统100可以使用GPU场景渲染器520、左和右按图像的光调制器124、126以及左和右目镜108、110，以在用户的手部1504中显示虚拟对象1506。响应于检测到投掷动作，系统100可以向虚拟对象1506赋予速度，其中速度在固定到用户1502所位于的环境(例如，房间1104)的惯性参考系中被限定。更一般地，在某些实施例中，响应于检测到用户的手部的手势，改变至少一个运动学参数(例如，位置、速度和/或加速度)。不管用户的移动，都可以维持虚拟对象的运动(尽管虚拟对象可以在任何给定时刻超越用户的视场，但是它可以再次返回到用户的视场)。系统100还可以被编程为从真实物理墙的虚拟表示中反弹虚拟对象。沿着虚拟声源1508的全部固定到虚拟对象1506，并且用户可以通过声音以及通过视觉检测虚拟对象的位置。在游戏应用中，虚拟对象1506可以被编程为逃避用户。可以通过使用从深度相机或立体相机或者在运动中捕获场景的相机(其中的任何一个可以体现为相机142、144，图1)获得的3-D点云数据然后将三维点云数据拟合为原始形式，来生成真实世界对象的虚拟表示。例如，可以使用复杂几何的3-D网格表示，或者在墙壁的情况下，可以使用最小二乘回归来将3-D点云数据拟合到平面。如果3-D点云的子组位于在最小二乘意义上拟合子组的预定平面距离内，则可以将3-D点云的这些子组辨别为对应于墙壁。这样的平面用作真实墙壁的虚拟替代，并且可以用于计算从墙壁的虚拟对象反弹并且计算从墙壁的虚拟声源波的声学反射，如图11-12所示。本文描述了本发明的各种示例实施例。以非限制性的意义参考这些示例。提供它们是为了说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变并且可以替换等同物。另外，可以进行许多变型以使特定情况、材料、物质组成、过程、过程动作或步骤适应本发明的目的、精神或范围。此外，如本领域技术人员将理解的，本文描述和示出的单独的变型中的每一者具有离散的组件和特征，其可以容易地与任何其他几个实施例的特征分离或组合，而不脱离本发明的范围或精神。所有这些修改旨在落入与本公开相关的权利要求的范围内。
本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适装置的动作。这种提供可以由终端用户执行。换句话说，该“提供”动作仅需要终端用户获得、访问、接近、定位、设置、激活、加电或以其他方式行动以在主题方法中提供必需的装置。本文所述的方法可以以所述事件的任何顺序进行，这些顺序在逻辑上是可能的并且按所述事件的顺序。
另外，尽管已经参考可选地结合各种特征的几个示例描述了本发明，但是本发明不限于关于本发明的每个变型考虑而描述或指示的那些。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种变型，并且可以替换等同物(无论是在本文中引用还是为了简洁起见而未包括的)。另外，在提供一系列值的情况下，应理解，在该范围的上限与下限之间的每个中间值以及在所述范围内的任何其他所述或中间值都包含在本发明内。
此外，可以预期，所描述的本发明变型的任何可选特征可以独立地或者与本文描述的特征的任何一个或多个组合的阐述和要求保护。对单数项目的引用包括存在多个相同项目的可能性。更具体地，如本文和与此相关的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数指示对象，除非另有具体说明。换言之，冠词的使用允许上述说明书以及与本公开相关的权利要求中的主题项目中的“至少一个”。还应注意，可以撰写这样的权利要求以排除任何可选要素。因此，本声明旨在用作用于与权利要求要素的叙述相关联的如“单独地”、“仅”等的这样的排他术语的使用或者“否定”限制的使用的先行基础。
本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限制。

Claims (19)

1.一种系统，包括：
手持控制器；
可穿戴头部装置，包括：
左眼显示器，其包括左目镜；
右眼显示器，其包括右目镜；
左侧扬声器；以及
右侧扬声器；
第一跟踪组件；以及
耦接到所述左眼显示器、所述右眼显示器、所述左侧扬声器、所述右侧扬声器和所述第一跟踪组件的电路，其中所述电路被配置为执行一方法，所述方法包括：
经由所述第一跟踪组件来辨别所述手持控制器相对于所述可穿戴头部装置的位置；
经由所述第一跟踪组件来检测附近环境的一个或多个表面；
输出空间化音频，所述空间化音频包括输出到所述左侧扬声器的左声道音频信号和输出到所述右侧扬声器的右声道音频信号，所述空间化音频与相对于所述手持控制器基本固定的虚拟声源位置相关联，所述虚拟声源位于距所述一个或多个检测到的表面中的第一表面的第一距离处，其中：
所述方法还包括将虚拟声源图像从所述虚拟声源移位等于所述第一距离的两倍的量，以及
所述左声道音频信号和所述右声道音频信号中的一个或多个是基于模拟从所述一个或多个检测到的表面中的所述第一表面离开的声学反射的所述虚拟声源图像。
2.根据权利要求1所述的系统，其中，检测附近环境的一个或多个表面包括：确定所述可穿戴头部装置与所述一个或多个表面之间的距离。
3.根据权利要求1所述的系统，其中，检测附近环境的一个或多个表面包括：确定与所检测到的一个或多个表面中的每一个表面相关联的表面特性。
4.根据权利要求3所述的系统，其中，与所述一个或多个检测到的表面相关联的每一个表面特性与不同的声学特性相关联。
5.根据权利要求1所述的系统，其中，所述虚拟声源图像位于相对于所述虚拟声源的所述第一表面后面。
6.根据权利要求1所述的系统，其中，所述左声道音频信号和所述右声道音频信号中的一个或多个是基于模拟从所述一个或多个检测到的表面中的第二表面离开的所述第一虚拟声源图像的声学反射的第二虚拟声源图像。
7.根据权利要求6所述的系统，其中，所述第二虚拟声源图像位于相对于所述虚拟声源的所述第二表面后面。
8.根据权利要求1所述的系统，其中，所述第一跟踪组件包括一个或多个深度相机。
9.根据权利要求8所述的系统，其中，所述一个或多个深度相机被安装到所述可穿戴头部装置。
10.根据权利要求1所述的系统，其中，所述虚拟声源位置被设置在距所述手持控制器的预定距离处。
11.根据权利要求1所述的系统，其中，所述电路还被配置为经由所述第一跟踪组件接收指示所述手持控制器相对于所述可穿戴头部装置的取向的一个或多个信号。
12.根据权利要求1所述的系统，其中，所述电路还被配置为通过将至少一个头部相关传递函数应用于单音频信号来生成所述左声道音频信号和所述右声道音频信号。
13.根据权利要求1所述的系统，还包括：
耦接到所述电路的第二跟踪组件，
其中，所述电路还被配置为经由所述第二跟踪组件接收指示所述可穿戴头部装置相对于真实世界环境的位置和/或取向的一个或多个信号。
14.一种系统，包括：
可穿戴头部装置，包括：
左眼显示器，其包括左侧目镜；
右眼显示器，其包括右侧目镜；
左侧扬声器；以及
右侧扬声器；
手部跟踪机器视觉子系统；
耦接到所述左眼显示器、所述右眼显示器、所述左侧扬声器、所述右侧扬声器和所述手部跟踪机器视觉子系统的电路，其中所述电路被配置为执行一方法，所述方法包括：
经由所述手部跟踪机器视觉子系统来辨别用户的手部相对于所述可穿戴头部装置的位置；
输出空间化音频，所述空间化音频包括输出到所述左侧扬声器的左声道音频信号和输出到所述右侧扬声器的右声道音频信号，所述空间化音频与相对于所述用户的手部基本固定的虚拟声源位置相关联，所述虚拟声源位于距一个或多个检测到的表面中的第一表面的第一距离处，
其中：
所述方法还包括将虚拟声源图像从所述虚拟声源移位等于所述第一距离的两倍的量，以及
所述左声道音频信号和所述右声道音频信号中的一个或多个是基于模拟从所述一个或多个检测到的表面中的所述第一表面离开的声学反射的所述虚拟声源图像。
15.根据权利要求14所述的系统，其中，所述手部跟踪机器视觉子系统还被配置为辨别所述手部的姿势，并且还被配置为响应于辨别所述姿势来调整所述虚拟对象的至少一个运动学参数。
16.根据权利要求14所述的系统，其中，所述电路被配置为通过将至少一个头部相关传递函数应用于单音频信号来生成所述左声道音频信号和所述右声道音频信号。
17.一种系统，包括：
可穿戴头部装置，包括：
左眼显示器，其包括左目镜；
右眼显示器，其包括右目镜；
左侧扬声器；
右侧扬声器；
一个或多个接收器；以及
耦接到所述左眼显示器、所述右眼显示器、所述左侧扬声器、所述右侧扬声器和所述一个或多个接收器的电路，其中所述电路被配置为执行一方法，所述方法包括：
确定虚拟对象相对于所述可穿戴头部装置的位置；
经由手部跟踪机器视觉子系统来检测附近环境的一个或多个表面；
输出空间化音频，所述空间化音频包括输出到所述左侧扬声器的左声道音频信号和输出到所述右侧扬声器的右声道音频信号，所述空间化音频与相对于所述虚拟对象基本固定并且位于距一个或多个检测到的表面中的第一表面的第一距离处的虚拟声源位置相关联；以及
通过所述一个或多个接收器接收用户输入，并且响应于通过所述一个和多个接收器接收所述用户输入，改变所述虚拟对象的位置并改变所述至少一个虚拟声源位置，
其中：
所述方法还包括将虚拟声源图像从所述虚拟声源移位等于所述第一距离的两倍的量，以及
所述左声道音频信号和所述右声道音频信号中的一个或多个是基于模拟从所述一个或多个检测到的表面中的所述第一表面离开的声学反射的所述虚拟声源图像。
18.根据权利要求17所述的系统，其中，所述一个或多个接收器包括手部跟踪机器视觉子系统或手持控制器中的一个或多个。
19.根据权利要求17所述的系统，其中，所述电路还被配置为通过将至少一个头部相关传递函数应用于单音频信号来生成所述左声道音频信号和所述右声道音频信号。
CN201880022204.1A 2017-03-28 2018-03-27 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 Active CN110476139B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762477976P 2017-03-28 2017-03-28
US62/477,976 2017-03-28
PCT/US2018/024658 WO2018183390A1 (en) 2017-03-28 2018-03-27 Augmeted reality system with spatialized audio tied to user manipulated virtual object

Publications (2)

Publication Number Publication Date
CN110476139A CN110476139A (zh) 2019-11-19
CN110476139B true CN110476139B (zh) 2024-01-02

Family

ID=63670336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022204.1A Active CN110476139B (zh) 2017-03-28 2018-03-27 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统

Country Status (9)

Country Link
US (2) US10747301B2 (zh)
EP (1) EP3602252A4 (zh)
JP (3) JP7175281B2 (zh)
KR (1) KR20190132666A (zh)
CN (1) CN110476139B (zh)
AU (2) AU2018244316B2 (zh)
CA (1) CA3058171A1 (zh)
IL (1) IL269533B2 (zh)
WO (1) WO2018183390A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018244316B2 (en) 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
GB2567012B (en) * 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US10976989B2 (en) * 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
CN113170273B (zh) 2018-10-05 2023-03-28 奇跃公司 用于双耳音频渲染的耳间时间差交叉渐变器
US11047691B2 (en) * 2018-10-31 2021-06-29 Dell Products, L.P. Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11774757B2 (en) * 2019-07-22 2023-10-03 Apple Inc. Optical module for head-mountable device
US11448883B2 (en) 2019-09-27 2022-09-20 Microsoft Technology Licensing, Llc Non-linear angular momentum metasurface
US11467406B2 (en) * 2019-09-27 2022-10-11 Microsoft Technology Licensing, Llc Field of view expanding system
EP4073689A4 (en) * 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
EP3839699A1 (en) * 2019-12-19 2021-06-23 Koninklijke KPN N.V. Augmented virtuality self view
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
KR102318698B1 (ko) * 2019-12-27 2021-10-28 주식회사 믹서 구면좌표계 기반 가상의 대상체가 배치된 가상공간 형성 방법 및 프로그램
US11627428B2 (en) 2020-03-02 2023-04-11 Magic Leap, Inc. Immersive audio platform
KR20210123198A (ko) 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
KR102199591B1 (ko) * 2020-04-02 2021-01-07 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
US11712797B2 (en) * 2020-09-11 2023-08-01 Fanuc Corporation Dual hand detection in teaching from demonstration
CN112181138B (zh) * 2020-09-16 2022-05-03 青岛小鸟看看科技有限公司 自适应智能头手vr系统、方法
CN112367426B (zh) * 2020-11-09 2021-06-04 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
KR20220077452A (ko) 2020-12-02 2022-06-09 허대겸 비전 트래킹 기술을 활용한 집단체험형 증강현실 제공 시스템
US11496852B2 (en) 2020-12-03 2022-11-08 Snap Inc. Head-related transfer function
US11836301B2 (en) 2021-08-10 2023-12-05 Qualcomm Incorporated Electronic device for tracking objects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
EP1027627B1 (en) * 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP4682927B2 (ja) * 2005-08-03 2011-05-11 セイコーエプソン株式会社 静電型超音波トランスデューサ、超音波スピーカ、音声信号再生方法、超音波トランスデューサの電極の製造方法、超音波トランスデューサの製造方法、超指向性音響システム、および表示装置
JP4914124B2 (ja) * 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
US20100020229A1 (en) * 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US8620009B2 (en) 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5821307B2 (ja) * 2011-06-13 2015-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20130083018A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
EP2618564A1 (en) * 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20130217488A1 (en) * 2012-02-21 2013-08-22 Radu Mircea COMSA Augmented reality system
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2936829A4 (en) 2012-12-18 2016-08-10 Nokia Technologies Oy SPACE AUDIO DEVICE
EP2943852A2 (en) * 2013-01-08 2015-11-18 Ayotle Methods and systems for controlling a virtual interactive surface and interactive display systems
JP6079268B2 (ja) * 2013-01-29 2017-02-15 セイコーエプソン株式会社 画像表示装置
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
GB201310364D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20140375531A1 (en) * 2013-06-24 2014-12-25 Ray Latypov Method of roviding to the user an image from the screen of the smartphome or tablet at a wide angle of view, and a method of providing to the user 3d sound in virtual reality
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150138065A1 (en) * 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
KR102268462B1 (ko) * 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
WO2015123771A1 (en) 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US9377626B2 (en) * 2014-02-18 2016-06-28 Merge Labs, Inc. Remote control augmented motion data capture
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US9163933B1 (en) * 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
CA2945842C (en) * 2014-04-14 2020-09-22 Tremolant Inc. Augmented reality communications
US20150324568A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
JP2015228009A (ja) * 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
DE102014009298A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20150382130A1 (en) * 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
US10571696B2 (en) * 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US10265621B2 (en) * 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9787846B2 (en) * 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
KR101627652B1 (ko) * 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3289430B1 (en) * 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
EP4254145A3 (en) * 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
FR3046489B1 (fr) * 2016-01-05 2018-01-12 Mimi Hearing Technologies GmbH Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
JP2017163432A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
EP3429193A4 (en) * 2016-03-10 2019-04-17 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US20170354864A1 (en) * 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US9972119B2 (en) * 2016-08-11 2018-05-15 Microsoft Technology Licensing, Llc Virtual object hand-off and manipulation
RU2746686C2 (ru) * 2016-11-25 2021-04-19 Сенсорикс Аг Носимая система отслеживания движения
US10451439B2 (en) * 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10433094B2 (en) * 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
KR102502383B1 (ko) * 2017-03-27 2023-02-23 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
AU2018244316B2 (en) 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149689A (zh) * 2011-12-06 2013-06-12 微软公司 扩充的现实虚拟监视器
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法

Also Published As

Publication number Publication date
AU2018244316A1 (en) 2019-10-10
EP3602252A4 (en) 2020-12-16
JP2023015258A (ja) 2023-01-31
US20180284882A1 (en) 2018-10-04
JP2020515959A (ja) 2020-05-28
US11231770B2 (en) 2022-01-25
EP3602252A1 (en) 2020-02-05
IL269533A (en) 2019-11-28
US10747301B2 (en) 2020-08-18
AU2022291537A1 (en) 2023-02-02
AU2018244316B2 (en) 2022-09-29
US20200333876A1 (en) 2020-10-22
JP2022107790A (ja) 2022-07-22
CN110476139A (zh) 2019-11-19
CA3058171A1 (en) 2018-10-04
IL269533B2 (en) 2023-11-01
JP7175281B2 (ja) 2022-11-18
WO2018183390A1 (en) 2018-10-04
IL269533B1 (en) 2023-07-01
JP7209891B1 (ja) 2023-01-20
JP7316416B2 (ja) 2023-07-27
KR20190132666A (ko) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110476139B (zh) 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统
US11778398B2 (en) Reverberation fingerprint estimation
JP7252965B2 (ja) 複合現実のための二重聴取者位置
CN111713091A (zh) 混合现实虚拟混响
US11477599B2 (en) Delayed audio following
JP2023527561A (ja) 表面の適切な衝突
CN115176215A (zh) 用于空间计算的逼真角色配置
JP2023527357A (ja) 角加速の決定
US20230396948A1 (en) Delayed audio following
JP2023514571A (ja) 遅延オーディオ追従

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant