CN108604439B - 增强现实系统中定向音频的技术 - Google Patents

增强现实系统中定向音频的技术 Download PDF

Info

Publication number
CN108604439B
CN108604439B CN201780009744.1A CN201780009744A CN108604439B CN 108604439 B CN108604439 B CN 108604439B CN 201780009744 A CN201780009744 A CN 201780009744A CN 108604439 B CN108604439 B CN 108604439B
Authority
CN
China
Prior art keywords
sound
end user
hearing aid
sound source
microphone assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780009744.1A
Other languages
English (en)
Other versions
CN108604439A (zh
Inventor
G·A·桑格
S·A·米勒
B·施密特
A·A·塔吉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202111504258.1A priority Critical patent/CN114189793B/zh
Publication of CN108604439A publication Critical patent/CN108604439A/zh
Application granted granted Critical
Publication of CN108604439B publication Critical patent/CN108604439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种助听器包括：传感器，其被配置为检测终端用户对一真实声源的关注；麦克风组件，其被配置为将声音转换为电信号；扬声器，其被配置为将电信号转换为声音；以及控制子系统，其被配置为基于所检测到的关注而修改麦克风组件的最大灵敏度的方向和/或距离。一种虚拟图像生成系统包括：存储器，其存储三维场景；传感器，其被配置为检测终端用户对一声源的关注；扬声器，其被配置为向终端用户传送声音；以及控制子系统，其被配置为响应于检测到关注而使扬声器优先地传送源自声源的声音，并且被配置为渲染场景的图像帧；以及显示子系统，其被配置为向终端用户顺序地显示图像帧。

Description

增强现实系统中定向音频的技术
技术领域
本发明一般地涉及头戴式助听设备，例如可以在增强现实环境中使用的助听设备。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。
例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置6。除了这些项目之外，AR技术的终端用户同样感知到他“看到”站在真实世界平台8上的机器人雕像10，以及飞过的卡通式化身角色12，该化身角色看起来是大黄蜂的化身，即使这些元素10、12在真实世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。
VR和AR系统通常利用至少松散地耦接到用户头部的头戴式显示器(或头盔式显示器或智能眼镜)，并且因此在终端用户的头部移动时移动。如果显示系统检测到终端用户的头部运动，则可以更新正显示的数据，以考虑头部姿态(即用户头部的取向和/或位置)的变化。
作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以对于每一个视点被重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感觉。如果头戴式显示器被用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和取向并提供增强的在虚拟空间中的沉浸感。
使能AR(即，现实和虚拟对象的同时观看)的头戴式显示器可以具有若干种不同类型的配置。在通常被称为“视频透视”显示器的一个这种配置中，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明)元素以直接观看来自环境中真实对象的光。通常被称为“合成器”的透明元素将来自显示器的光叠加在终端用户对真实世界的视图之上。
为了加强用户的VR/AR体验，可以经由并入头戴式显示器中或以其它方式连接到头戴式显示器的扬声器，向用户传送由真实声源生成的声音和/或由虚拟声源生成的声音。无论声音是从真实声源还是从虚拟声源生成的，期望优先在用户关注(focus)的方向上和/或用户关注的距离处接收声音，以使得用户只听到来自他或她感兴趣的一个或多个对象的声音。尽管可以将定向麦克风与头戴式显示器进行关联，以便优先接收来自位于特定方向上和/或特定距离处的真实或虚拟声源的声音，同时消除来自其它源的噪声，但是定向麦克风的对声源的最大灵敏度的方向和/或距离不一定对应于用户关注的方向和/或用户关注的距离。
因此，存在优先接收并向终端用户传送来自用户关注的真实或虚拟声源的声音的需求。
发明内容
根据本发明的一方面，提供了一种由终端用户使用的助听器。所述助听器包括至少一个传感器(例如相机)，所述传感器被配置为检测所述终端用户对一声源的关注，所述声源可以是真实声源或虚拟声源。在一个实施例中，一个或多个传感器被配置为检测所述终端用户的眼睛的角度位置以检测所述终端用户的关注的方向。在另一实施例中，一个或多个传感器被配置为检测所述终端用户的眼睛的会聚(convergence)以检测所述终端用户的关注的距离。在又一实施例中，一个或多个传感器被配置为检测所述终端用户的头部的角度位置以检测所述终端用户的关注的方向。
所述助听器进一步包括：自适应麦克风组件，其被配置为将声音转换为电信号；以及扬声器，其被配置为将所述电信号转换为由所述终端用户感知的声音。在一个实施例中，所述麦克风组件被配置为根据偶极、心形、超心形或过心形(hyper-cardioid)图案中的一者将声音转换为电信号。根据另一实施例，所述麦克风组件包括麦克风元件的相控阵列。所述助听器可以可选地包括被配置为由所述终端用户穿戴的框架结构。所述框架结构可以承载所述传感器、麦克风组件、以及扬声器。
所述助听器进一步包括控制子系统，所述控制子系统被配置为基于所检测到的所述终端用户对所述声源的关注，修改所述自适应麦克风组件的最大灵敏度的方向和/或距离。例如，所述控制子系统可以被配置为将所述自适应麦克风组件的最大灵敏度设置到所检测到的所述终端用户的关注的方向和/或距离。
根据本发明的第二方面，提供了一种由终端用户使用的虚拟图像生成系统。所述虚拟图像生成系统包括：存储器，其存储三维场景；至少一个传感器，其被配置为检测所述终端用户对一声源(该声源可以是真实生源或虚拟声源)的关注；以及扬声器，其被配置为向所述终端用户传送声音。所述助听器包括至少一个传感器(例如相机)，所述传感器被配置为检测所述终端用户对声源的关注，所述声源可以是真实声源或虚拟声源。在一个实施例中，一个或多个传感器被配置为检测所述终端用户的眼睛的角度位置以检测所述终端用户的关注的方向。在另一实施例中，一个或多个传感器被配置为检测所述终端用户的眼睛的会聚以检测所述终端用户的关注的距离。在又一实施例中，一个或多个传感器被配置为检测所述终端用户的头部的角度位置以检测所述终端用户的关注的方向。所述虚拟图像生成系统进一步包括控制子系统，所述控制子系统被配置为响应于检测到所述终端用户对所述声源的关注而使所述扬声器相对于其它声源优先地传送源自所述声源的声音。
如果所述声源是真实声源，则所述虚拟图像生成系统可以进一步包括自适应麦克风组件，所述自适应麦克风组件被配置为放大声音，在这种情况下，所述控制子系统可以被配置为将所述自适应麦克风组件的最大灵敏度设置到所检测到的所述终端用户的关注的方向和/或距离。所述自适应麦克风组件可以例如被配置为根据偶极、心形、超心形或过心形图案中的一者放大声音。如果所述声源是虚拟声源，则所述三维场景可以包含所述虚拟声源，并且所述存储器可以存储与所述三维场景的所述虚拟声源相关联的合成声音数据。在这种情况下，所述控制子系统可以被配置为响应于检测到所述终端用户对所述虚拟声源的关注而从其它声源中识别所述虚拟声源，并且使所述扬声器根据所述合成声音数据向所述终端用户传送所述声音。
所述控制子系统可以进一步被配置为渲染所述三维场景的多个合成图像帧，在这种情况下，所述虚拟图像生成系统进一步包括显示子系统，所述显示子系统被配置为向所述终端用户顺序地显示所述多个图像帧。所述控制子系统可以包括图形控制子系统单元(GPU)，所述图形控制子系统单元被配置为渲染所述图像帧。所述显示系统可以被配置为位于所述终端用户的眼睛的前方。所述显示系统可以包括投影子系统和部分透明的显示表面。在这种情况下，所述投影子系统被配置为将图像投影到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为位于所述终端用户的眼睛与周围环境之间的视场内，从而允许所述终端用户可视化三维增强场景。所述虚拟图像生成系统可以进一步包括被配置为由所述终端用户穿戴的框架结构。所述框架结构可以承载一个或多个传感器、所述自适应麦克风组件、所述扬声器以及所述显示子系统。
在可选实施例中，所述控制子系统被配置为处理电信号以定位声音，使得源自所述真实声源的声音被所述终端用户感知为源自所述真实声源。在另一可选实施例中，所述控制子系统可以被配置为处理电信号以选择性地升高或降低声音的特定频率分量的音量，从而强化源自所述真实声源的声音和/或弱化源自不同声源的声音。在又一可选实施例中，所述控制子系统被配置为处理电信号以将源自所述真实声源的第一声音的特性与源自不同源的第二声音的特性进行比较，强化具有与所述第一声音的特性相同类型的特性的声音，并且弱化具有与所述第二声音的特性相同类型的特性的声音。
根据本发明的第二方面，上述助听器可以被包括在诸如虚拟现实系统或增强现实系统之类的虚拟图像生成系统中。除了助听器的部件之外，所述虚拟图像生成系统进一步包括存储三维场景的存储器，并且所述控制系统被进一步配置为渲染所述三维场景的多个合成图像帧。所述虚拟图像生成系统进一步包括显示子系统，所述显示子系统被配置为向所述终端用户顺序地显示所述多个图像帧。所述显示系统可以被配置为位于所述终端用户的眼睛的前方。所述显示系统可以包括投影子系统和部分透明的显示表面。在这种情况下，所述投影子系统被配置为将图像投影到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为位于所述终端用户的眼睛与周围环境之间的视场内，从而允许所述终端用户可视化三维增强场景。所述控制子系统可以包括图形控制子系统单元(GPU)，所述图形控制子系统单元被配置为渲染所述图像。
在可选实施例中，所述控制子系统被配置为指示所述显示子系统向所述终端用户显示所述终端用户所关注的方向和/或距离的可视指示符。在另一可选实施例中，所述控制子系统被配置为指示所述显示子系统向所述终端用户显示所述自适应麦克风组件的最大灵敏度的方向和/或距离的可视指示符。
本发明的另外的和其它目的、特征和优点在具体实施方式、附图和权利要求中进行描述。
附图说明
附图示出了本发明的优选实施例的设计和利用，其中相似的元件由共同的参考标号表示。为了更好地理解如何获得本发明的上述和其它优点和目的，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，因此不能被视为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：
图1是可以由现有技术增强现实生成设备向终端用户显示的三维增强现实场景的图片；
图2是根据本发明的一个实施例构造的增强现实系统的框图；
图3是用于图2的增强现实系统的显示子系统的一个实施例的平面图；
图4是用于图2的增强现实系统的显示子系统的一个实施例的透视图；
图5是由图2的增强现实系统生成的示例性帧的平面图；
图6a是可由用于图2的增强现实系统的麦克风组件形成的偶极图案的平面图；
图6b是可由用于图2的增强现实系统的麦克风组件形成的心形图案的平面图；
图6c是可由用于图2的增强现实系统的麦克风组件形成的超心形图案的平面图；
图6d是可由用于图2的增强现实系统的麦克风组件形成的过心形图案的平面图；
图7是由图2的增强现实系统使用的自适应麦克风组件的示意图；
图8a是与用户关注的对象对应的麦克风组件的最大灵敏度的方向的平面图；
图8b是与用户关注的对象对应的麦克风组件的最大灵敏度的另一方向的平面图；
图9a是可用于穿戴图2的增强现实系统的一种技术的平面图；
图9b是可用于穿戴图2的增强现实系统的另一技术的平面图；
图9c是可用于穿戴图2的增强现实系统的又一技术的平面图；以及
图9d是可用于穿戴图2的增强现实系统的再一技术的平面图。
具体实施方式
以下描述涉及在增强现实系统中使用的显示系统和方法。然而，应该理解，虽然本发明非常适合增强现实系统中的应用，但是本发明在其最广泛的方面可以不受此限制。例如，本发明可应用于虚拟现实系统，以及不使用显示器向用户呈现虚拟或增强现实体验的其它头戴式助听设备。因此，尽管本文通常就增强现实系统而言进行描述，但是这些教导不应被限于这样的用途的这些系统。
参考图2，现在将描述根据本发明构造的增强现实系统100的一个实施例。增强现实系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作增强现实系统100时，存在两种基本方法。第一种方法采用一个或多个成像器(例如相机)来捕获周围环境的图像。增强现实系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法采用一个或多个至少部分透明的表面，通过该表面可以看到周围环境，并且增强现实系统100在该表面上产生虚拟对象的图像。
至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的各个物理对象在空间上定位各种虚拟对象。虚拟对象在本文中也被称为虚拟标签或标签或调出(callout)，可以采取多种形式中的任意一种，基本上是能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。
与本发明更相关的是，增强现实系统100被配置为将终端用户的关注耦合到对沿着一方向和/或在一距离处的声音的优先接收，使得终端用户听到与终端用户最相关的声音。特别地，增强现实系统100检测终端用户对一声源的关注，并且基于所检测到的终端用户的关注而优先地将源自该声源的声音传送给终端用户，例如通过将对声音的优先接收的方向和/或距离设置到所检测到的终端用户的关注(即，朝着终端用户关注的声源和/或在终端用户关注的声源处)。
为此，增强现实系统100包括：由终端用户50穿戴的框架结构102；由框架结构102承载的显示系统104，使得显示系统104被定位在终端用户50的眼睛52的前方；以及被包括在显示系统104中或被连接到显示系统104的扬声器106。在例示的实施例中，扬声器106被框架结构102承载，使得扬声器106被定位在终端用户50的耳道附近(在耳道内或耳道周围)，例如耳塞或耳机。可选地，另一扬声器(未示出)被定位在终端用户50的另一耳道附近以提供立体声/可塑形声音控制。尽管扬声器106被描述为被定位在耳道附近，但是可以使用不位于耳道附近的其它类型的扬声器来向终端用户50传送声音。例如，扬声器可以被置于与耳道相距一距离的位置处，例如使用骨传导技术。
增强现实系统100进一步包括自适应麦克风组件107，该自适应麦克风组件107将周围环境中的声音转换为电信号，然后将电信号传送到扬声器106，扬声器106又将电信号转换回声音，然后将该声音播放给终端用户50。如将在下面进一步详细讨论的，麦克风组件107优先地在与终端用户50关注的方向和距离对应的特定方向上和/或特定距离处接收声音，由此允许终端用户50关注在增强现实场景的背景下的任何特定时间与用户最相关的声音。因此，麦克风组件107不仅允许终端用户50更清楚地听到相关声音，而且还会将终端用户50的注意力引向更相关的声音，从而加强了体验的有效性。在所例示的实施例中，麦克风组件107被安装到框架结构102的臂上。
显示系统104被设计为向终端用户50的眼睛52呈现基于相片的辐射图案，所述辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，并且能够呈现二维内容。显示系统104以提供对单一相干场景的感知的高频率呈现一系列的帧。为此，显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108将图像投影在所述部分透明的显示屏110上。显示屏110被定位在终端用户50的眼睛52与周围环境之间的终端用户50的视场中。
在所例示的实施例中，投影子系统108采取基于光纤扫描的投影设备的形式，并且显示屏110采取基于波导的显示器的形式，来自投影子系统108的扫描光被注入该显示器中以产生例如位于比无限远更近的单个光学观看距离(例如手臂长度)处的图像、位于多个离散光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠以表示立体3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起，以对人类视觉子系统看起来连续(即，一层位于相邻层的混淆锥区内)。附加地或替代地，图片元素可以跨两个或更多个层混合，以增加光场中的层之间的过渡的所感知的连续性，即使这些层以较稀疏的方式堆叠(即，一层位于相邻层的混淆锥之外)。显示子系统104可以是单目的或双目的。
参考图3和图4，投影子系统108包括扫描组件112和光学耦合子系统114，扫描组件112响应于控制信号而生成光束并以预定的扫描图案扫描光束，光学耦合子系统114将来自扫描组件114的光束耦合到显示屏110。
扫描组件112包括产生光束(例如，以限定的图案发射不同颜色的光)的一个或多个光源116(为了简洁仅示出一个)。光源116可以采取多种形式中的任意一种，例如，RGB激光器组(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据像素信息或数据的相应帧中指定的已限定的像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度，并且是高能效的。
扫描组件112进一步包括一个或多个光纤118(为了简洁起见仅示出一个)，每个光纤具有近端118a和远端118b，从光源116接收光束到该近端118a中，从该远端118b将光束提供给部分透明的显示屏110。扫描组件112进一步包括机械驱动组件120，光纤118被安装到该机械驱动组件120上。驱动组件120被配置为使光纤118的远端118b移位，并且在所例示的实施例中，驱动组件120包括压电元件122，光纤118被安装到该压电元件122上。
扫描组件112进一步包括驱动电子器件124，驱动电子器件124被配置为将电信号传送到压电元件122，从而使光纤118的远端118b根据扫描图案振动。因此，光源116和驱动电子器件124的操作以产生这样的图像数据的方式协调进行：该图像数据以在空间和/或时间上变化的光的形式被编码。
在所例示的实施例中，压电元件122采取中空管的形式，在这种情况下，光纤118的远端118b穿过压电管122或通过压电管122被接收。光纤118的远端118b作为不固定的柔性悬臂从压电管122突出。压电管122与四个象限电极(未示出)相关联。这些电极可以例如被镀在压电管122的外部、外表面或外周或外径上。芯电极(未示出)也位于管122的核心、中心、内周或内径处。
驱动电子器件124经由导线126被电耦接以驱动相对的电极对(未示出)，从而独立地在两个轴上弯曲压电管122。光纤118的突出远端118b具有机械共振模式。共振频率取决于光纤118的直径、长度和材料特性。通过使压电管122在一阶机械共振模式附近振动，使光纤远端118b振动，并且光纤远端118b可以围绕支点扫过较大的偏转量。替代地，可以使压电管122在更高阶的机械共振模式(例如，二阶模式)附近振动，使得光纤远端118b围绕支点扫过较小的偏转量。
通过在两个轴上激励共振，光纤远端118在填充2D扫描的区域中被双轴扫描。通过与光纤远端118b的扫描同步地调制光源116的强度，从光纤118出射的光束形成图像。在序列号为13/915,530的美国专利申请、序列号为PCT/US2013/045267的国际专利申请和序列号为61/658,355的美国临时专利申请中提供了这样的设置的描述，所有这些专利申请的全部内容通过引用并入此文。
光学耦合子系统116包括光波导输入装置128，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜，以将光光学耦合到显示屏110的端部。光学耦合子系统116进一步包括使来自光纤118的光准直的准直元件130。可选地，光学耦合子系统116包括光学调制装置(未示出)，该光学调制装置被配置为将来自准直元件130的光会聚到位于光波导输入装置128中心的焦点，从而允许光波导输入装置128的尺寸最小化，如在序列号为62/238,052、名称为“Virtual/Augmented Reality System Having Reverse Angle DiffractionGrating(具有反角度衍射光栅的虚拟/增强现实系统)”的美国临时专利申请中进一步详细讨论的，该专利申请通过引用明确地并入此文。每个光纤118可将偏振保持(PM)光纤的优点与非PM光纤的优点组合起来，以确保通过相应光纤118传播的光束的线性偏振被保持，同时保持与扫描设备114相关联的光纤118的部分的机械特性，如在序列号为62/280,992、名称为“Polarizing Maintaining Optical Fiber in Virtual/Augmented Reality System(虚拟/增强现实系统中的偏振保持光纤)”、代理案号为ML-30056.00-US的美国临时专利申请中所讨论的，该专利申请通过引用明确地并入此文。
因此，显示子系统104生成像素信息的一系列合成图像帧，这些图像帧向用户呈现一个或多个虚拟对象的未失真图像。例如，参考图5，示意性地示出了合成图像帧200，其中单元202a至202m被分成水平行或线204a至204n。帧200的每个单元202可以为单元202所对应的相应像素指定用于多个颜色中的每一个的值和/或指定强度。例如，帧200可以为每个像素指定用于红色206a的一个或多个值，用于绿色206b的一个或多个值以及用于蓝色206c的一个或多个值。值206可以被指定为用于每种颜色的二进制表示，例如，用于每种颜色的相应的4位数。帧200的每个单元202可以另外包括指定幅度的值206d。
帧200可以包括一个或多个字段(field)，统称为208。帧200可以由单个字段组成。或者，帧200可以包括两个或甚至更多个字段208a-208b。帧200的完整的第一字段208a的像素信息可以在完整的第二字段208b的像素信息之前被指定，例如，在以阵列、有序列表或其它数据结构(例如，记录、链表)中出现在第二字段208b的像素信息之前。假设呈现子系统被配置为处理多于两个字段208a-208b，则第三字段甚至第四字段可以在第二字段208b之后。
在以下专利申请中提供了描述显示子系统的进一步细节：序列号为61/801,219、名称为“Display System and Method(显示系统和方法)”、代理案号为ML-30006-US的美国临时专利申请；以及序列号为14/331,218、名称为“Planar Waveguide Apparatus WithDiffraction Element(s)and Subsystem Employing Same(具有一个或多个衍射元件的平面波导装置以及采用该平面波导装置的子系统)”、代理案号为ML-30020.00的美国实用新型专利申请，这两个专利申请通过引用明确地并入此文。
返回参考图2，增强现实系统100进一步包括一个或多个传感器(未示出)，所述传感器被安装到框架结构102，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和眼间距离。这样的一个或多个传感器可以包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线设备和/或陀螺仪。
例如，在一个实施例中，增强现实系统100包括头戴式换能器子系统142，该换能器子系统142包括一个或多个惯性转换器以捕获指示终端用户50的头部54的运动的惯性测量。可以使用这样装置感测、测量或收集关于终端用户50的头部运动的信息。例如，可以使用这样的装置检测终端用户50的头部54的测量运动、速度、加速度和/或位置。
增强现实系统100进一步包括一个或多个前向相机144，前向相机144可用于捕获有关终端用户50所处的环境的信息。一个或多个前向相机144可被用于捕获指示终端用户50相对于该环境和该环境中的特定对象的距离和取向的信息。当戴在头部时，一个或多个前向相机144特别适合于捕获指示终端用户50的头部54相对于终端用户50所在的环境和该环境中的特定对象的距离和角度位置(即，头部指向的方向)的信息。一个或多个前向相机144可以例如被用于检测头部运动、头部运动的速度和/或加速度。例如，一个或多个前向相机144可被用于例如至少部分地基于终端用户50的头部54的取向来检测或推断终端用户50的注意力中心。可以检测到任何方向上的取向(例如相对于终端用户50的参考帧的上/下、左、右)。
增强现实系统100进一步包括后向相机146的对，以追踪终端用户50的眼睛52的角度位置(一只或两只眼睛指向的方向)、眨眼和焦深(通过检测眼睛会聚)。例如，可通过将光投射到终端用户的眼睛并检测至少一些所投射的光的返回或反射来辨别这样的眼睛追踪信息。在以下专利申请中提供了讨论眼睛追踪设备的进一步细节：序列号为61/801,219、名称为“Display System and Method(显示系统和方法)”、代理案号为ML-30006-US的美国专利申请；序列号为62/005,834、名称为“Methods and Subsystem for Creating FocalPlanes in Virtual and Augmented Reality(用于在虚拟和增强现实中形成焦平面的方法和子系统)”、代理案号为ML-30017-US的美国专利申请；以及序列号为61/776,771、名称为“Subsystem and Method for Augmented and Virtual Reality(用于增强和虚拟现实的子系统和方法)”、代理案号为ML-30005-US的美国专利申请，这些专利申请通过引用明确地并入此文。
增强现实系统100进一步包括用户取向检测模块148。用户取向模块148检测终端用户50的头部54的瞬时位置，并且可以基于从一个或多个传感器接收的位置数据预测终端用户50的头部54的位置。用户取向模块148还追踪终端用户50的眼睛52，特别地，基于从一个或多个传感器接收的追踪数据来追踪终端用户50关注所在的方向和/或距离。
增强现实系统100进一步包括控制子系统，控制子系统可采取多种形式中的任意一种。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)的其它集成电路控制器。
在所例示的实施例中，控制子系统包括数字信号处理器(DSP)(下面关于麦克风组件107进行描述)、中央处理单元(CPU)150、图形处理单元(GPU)152、以及一个或多个帧缓冲器154。CPU 150控制整体操作，而GPU 152渲染帧(即，将三维场景转变为二维图像)，并且将这些帧存储在一个或多个帧缓冲器154中。尽管未示出，但一个或多个另外的集成电路可以控制将帧读入一个或多个帧缓冲器154和/或从一个或多个帧缓冲器154读出帧，以及控制显示子系统104的扫描设备的操作。读入一个或多个帧缓冲器154和/或从一个或多个帧缓冲器154读出例如可以在过度渲染帧的情况下采用动态寻址。增强现实系统100进一步包括只读存储器(ROM)156和随机存取存储器(RAM)158。增强现实系统100进一步包括三维数据库160，GPU 152可以从该三维数据库160存取用于渲染帧的一个或多个场景的三维数据以及与被包含在三维场景内的虚拟声源相关联的合成声音数据。
对于本发明更重要的是，控制子系统被配置为响应于检测到终端用户50对一声源的关注而使扬声器106相对于其它声源优先地传送源自该声源(其可以是真实声源或虚拟声源)的声音。在终端用户50关注的声源是真实声源的情况下，控制子系统被配置为将自适应麦克风组件107的最大灵敏度设置到所检测到的终端用户50的关注的方向和/或距离。
自适应麦克风组件107能够相对于其它声音优先地接收特定方向上的声音。例如，麦克风组件107可以具有常规的极性图案，例如偶极、心形、超心形或过心形，如图6a至图6d所例示。然而，麦克风组件107能够基于终端用户50所关注的方向而动态地修改极性图案。换言之，可以修改麦克风组件107沿着一方向和/或在一距离处的最大灵敏度。
为此，并且参考图7，麦克风组件107包括麦克风元件250的相控阵列(在这种情况下为麦克风元件M1-Mn)，每个麦克风元件250被配置为检测周围声音信号并将其转换为音频信号。在所例示的实施例中，麦克风元件118本质上是数字的，因此将周围声音信号转换为数字音频信号，在这种情况下转换为脉冲密度调制(PDM)信号。优选地，麦克风元件250在空间上彼此间隔开以使麦克风组件107的方向性最大化。例如，如图2所示，两个麦克风元件250可以被安装到框架结构102的每个臂上，尽管可以将多于两个(诸如四个)麦克风元件250安装到框架结构106的每个臂上。
麦克风组件107进一步包括多个数字麦克风接口(DMIC)252(在这种情况下为DMIC1-DMICn，每个麦克风元件M一个)，所述多个数字麦克风接口252被配置为分别从对应的麦克风元件250接收相应的音频信号并执行被称为“抽取(decimation)”的数字滤波操作以将数字音频信号从PDM格式转换为更容易操纵的脉冲编码调制(PCM)。每个DMIC 190还对数字音频信号执行固定增益控制。
麦克风组件107进一步包括数字信号处理器(DSP)256，DSP 256包括音频处理模块258，该音频处理模块258被配置为处理由增益放大器254输出的数字音频信号，并且输出优先表示由麦克风组件116接收到的声音的定向音频信号。为此，音频处理模块258包括采取多个延迟元件260(在这种情况下，为延迟元件D1-Dn，每个麦克风元件M一个)、多个增益元件262(在这种情况下，为增益元件G1-Gn，每个麦克风元件M一个)和加法器264的形式的处理参数。延迟元件260分别将延迟因子应用于从麦克风组件107的对应增益放大器254接收的经放大的数字信号，并且增益元件262分别将增益因子应用于经延迟的数字信号。加法器264(S)将经增益调整的信号和经延迟的信号相加以生成数字音频信号，该数字音频信号经由数模(D/A)转换器266被变换为模拟音频信号，并被传输到一个或多个扬声器106以作为可辨别的声音输出给终端用户50。
在空间上布置麦克风元件250，并且以导致根据定向极性图案接收周围声音(即，与来自其它角度方向的声音相比，强化来自一个或多个特定角度方向的声音)的方式，对延迟元件260和增益元件262进行设置。重要的是，麦克风元件阵列250的方向性基于所检测到的终端用户50的关注而被修改，例如麦克风元件阵列250优先接收声音的方向可以被设置为沿着所检测到的终端用户50的关注的方向。为此，DSP 256从用户取向检测模块148接收指示用户50所关注的方向的取向数据。例如，取向数据可以与由一个或多个后向相机146检测到的眼睛52的角度位置或由一个或多个前向相机144检测到的头部54的角度位置对应。
例如，参考图8a和8b，如果麦克风元件250的相控阵列的极性图案是心形图案，并且终端用户50关注沿着特定方向272的真实声源270，则DSP 256将以修改麦克风元件阵列250的方向性的方式设置延迟元件260和增益元件262，在这种情况下，心形图案的主瓣的轴线与终端用户50关注声源270的方向对准。
尽管已经将麦克风元件阵列250描述为具有可被设置为与从用户取向检测模块248接收到的关注方向对应的灵敏度，但是可以以允许与从用户取向检测模块248接收的关注距离对应地设置其灵敏度的方式来布置麦克风元件阵列250。特别地，麦克风元件250可以沿直线被布置，使得麦克风元件250将全部位于距声源270的不同距离处。可以经由延迟元件260将延迟引入麦克风元件250，从而有效地和选择性地使麦克风元件250分别移动为“更靠近或更远离”声源270。这可以以有效地将麦克风元件250定位为距离声源270相等距离处的方式来实现。源自声源270的任何声音将同时到达(impinge on)麦克风元件250，而源自其它声源的声音不会在不同时间到达麦克风元件250，从而使麦克风元件阵列250的灵敏度在声源270的位置处最大。
应该注意的是，尽管麦克风元件250被描述为数字的，但麦克风元件250可以替代地是模拟的。此外，尽管延迟元件260、增益元件262和加法器264被公开并被例示为是驻留在DSP 256内的软件部件，但是延迟元件260、增益元件262和加法器264中的任意一者或多者可包括位于DSP 256之外但受其控制的模拟硬件部件。
为了便于动态地修改麦克风元件阵列250的方向性和距离，用于延迟元件260和增益元件262的值的不同集合以及麦克风元件阵列250的对应方向和距离可以被存储在由DSP256访问的存储器中。也就是说，DSP 256将从用户取向检测模块248接收到的关注方向和/或关注距离与存储在存储器中的最靠近的方向和/或距离值进行匹配，并且针对所选择的方向/距离选择用于延迟元件260和增益元件262的对应值的集合。
在终端用户50关注的声源是虚拟声源的情况下，不使用自适应麦克风组件107。替代地，控制子系统被配置为响应于检测到终端用户50对该虚拟声源的关注而从其它(真实的或虚拟的)声源中识别该虚拟声源，并且使扬声器106根据合成声音数据向终端用户50传送声音。终端用户50听到的声音将自然地看起来源自该虚拟声源。
DSP 256可以另外使用声源的位置信息来处理声音信号以实现增强的关注、增强的声音辨别以及增强的语言主题可理解性。也就是说，因为传感器提供关于声源的位置和性质以及实际环境的更好的信息，而数据库160提供“永恒的世界”的信息，因此可以以增强对所期望的声源的注意力的方式告知可以如何向终端用户50提供声音信号。例如，可以使人造声音非常适合于环境或房间，因此逼真且容易集中注意力，或者，可以使人造声音或真实声音不自然，从而以与其它声音形成对比的方式突出，并且吸引注意力，例如改变音高或添加“播音员扩音器”效果。
例如，在使用多个扬声器106的情况下，终端用户50对相关声音的关注和/或终端用户50听到和/或辨别该相关声音的能力可以通过定位所接收的声音而被增强，例如以使得终端用户50觉得声音源自声源的位置的方式通过扬声器106回放声音，从而影响声音的清晰度或逼真度。可以使用各种技术中的一种或多种定位声音。为了增加方向感，特别是对于不是源自真实世界的虚拟声音，DSP 256可适当地塑造回放声音的音调和/或添加适当的反射、遮挡或障碍以适合房间形状或环境的真实或虚拟方面。
可选地，可以选择性地均衡源自关注方向和/或距离的声音以增加对它们的强化。特别地，DSP 256可以通过升高或降低所期望的“所关注的”声音的特定频率分量的音量来强化终端用户50对该声音的关注。升高的频率可以是但不限于人类听力最普遍敏感的频率范围(例如1KHz至5KHz)。可以使用其它DSP技术来增加对“所关注的”声音的强化。类似地，可以选择性地均衡并非源自关注方向和/或距离的声音，以便以互补或相反的方式从它们中去除强化。特别地，DSP 256可以通过升高或降低不期望的声音的特定频率分量的音量来弱化终端用户50对这些声音的关注。换言之，如果将“峰”均衡(例如2KHz下的+5dB)添加到目标声音上，则可以将2KHz下的-5dB的“谷(notch)”均衡应用于所有其它声音。
在另一实施例中，可以对源自关注方向和/或距离的声音进行分布分析(profile)。特别地，DSP 256可以分析并比较目标声音的特性与其它声音的特性，以便确定目标声音的类型。如果需要，DSP 256然后可以强化该类型的所有声音。例如，如果所关注的声音是钢琴独奏，并且不关注的声音源自空调和往来车辆，则DSP 256可以弱化类似源自空调和往来车辆的声音，并且强化类似钢琴独奏的声音，以便当听到其它乐器演奏或更多音乐时，无论这些声音来自哪个方向，都会被强化超过其它声音。
在可选实施例中，控制子系统被配置为指示显示子系统104向终端用户50显示终端用户50所关注的方向和/或距离。例如，显示子系统104可以在终端用户50关注的增强三维场景中显示可视指示符，例如“×”或十字线。或者，显示子系统104可以突出显示终端用户50所关注的声源(无论是真实的还是虚拟的)。作为替代，在声源是真实声源的情况下，控制子系统可以被配置为指示显示子系统104向终端用户50显示麦克风组件107的最大灵敏度的方向和/或距离，该方向和/或距离可能与终端用户50的关注方向或距离完全相关，也可能不完全相关。
增强现实系统100的各种处理部件可以被物理地包含在分布式子系统中。例如，如图9a至图9d所示，增强现实系统100包括本地处理和数据模块170，该本地处理和数据模块170诸如通过有线引线或无线连接172可操作地耦接到显示子系统104的一部分。本地处理和数据模块172可以以各种配置被安装，诸如固定地附接到框架结构102(图9a)、固定地附接到头盔或帽子56(图9b)、嵌入耳机中、可移除地附接到终端用户50的躯干58(图9c)、或者以带状物耦接式配置可移除地附接到终端用户50的髋部60(图9d)。增强现实系统100进一步包括远程处理模块174和远程数据储存库176，远程处理模块174和远程数据储存库176诸如通过有线引线178或无线连接180可操作地耦合到本地处理和数据模块170，使得这些远程模块174、176可操作地彼此耦接并且作为资源可用于本地处理和数据模块170。
本地处理和数据模块170可以包括高功效处理器或控制器，以及诸如闪速存储器的数字存储器，二者都可被用于协助处理、高速缓存和存储从传感器捕获的数据，和/或使用远程处理模块174和/或远程数据储存库176获取和/或处理的数据，可能在这样的处理或检索之后传递到显示子系统104。远程处理模块174可以包括一个或多个相对强大的处理器或控制器，所述处理器或控制器被配置为分析和处理数据和/或图像信息。远程数据储存库176可以包括相对大规模的数字数据存储设施，所述数字数据存储设施可以通过因特网或“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块170中存储全部数据并执行全部计算，从而允许从任何远程模块完全自主的使用。
上述各种部件之间的耦接172、178、180可以包括用于提供电信或光学通信的一个或多个有线接口或端口，或者诸如经由RF、微波和IR用于提供无线通信的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，除了一个或多个光纤118之外，所有通信可以是无线的。在又一些实施方式中，有线和无线通信的选择可以不同于图9a至图9d所示的选择。因此，有线或无线通信的该特定选择不应被视为是限制的。
在所例示实施例中，显示子系统104的显示屏110、光学耦接子系统116和机械驱动组件120、传感器、一个或多个扬声器106、以及麦克风组件107的麦克风元件250与终端用户50的头部54紧密关联，而显示子系统104的一个或多个光源116和驱动电子器件124、以及麦克风组件107的处理部件被包含在本地处理和数据模块170中。用户取向模块148和DSP256可以被包含在本地处理和数据模块170中，而CPU 150和GPU 152可以被包含在远程处理模块174中，尽管在替代实施例中，CPU 150、GPU 152或其部分可以被包含在本地处理和数据模块170中。三维数据库160可以与远程数据储存库176相关联。
在前述说明书中，已经参考本发明的特定实施例描述了本发明。然而，显而易见的是，可以在不脱离本发明的更宽的精神和范围的情况下对本发明做出各种修改和变化。例如，上述处理流程参考处理动作的特定顺序来描述。然而，可以在不影响本发明的范围或操作的情况下改变多个所描述的处理动作的排序。相应地，说明书和附图被认为是说明性的而不是限制性的。

Claims (12)

1.一种由终端用户使用的助听器，包括：
至少一个传感器，其被配置为检测所述终端用户对一真实声源的关注；
自适应麦克风组件，其被配置为将声音转换为电信号；
至少一个扬声器，其被配置为将所述电信号转换为由所述终端用户感知的声音；以及
控制子系统，其被配置为基于所检测到的所述终端用户的关注而修改：
所述自适应麦克风组件的最大灵敏度的方向，以及
所述自适应麦克风组件的所述最大灵敏度的距离，
其中，所述控制子系统被配置为处理所述电信号以将源自所述真实声源的第一声音的特性与源自不同源的第二声音的特性进行比较，强化具有与所述第一声音的特性相同类型的特性的声音，并且弱化具有与所述第二声音的特性相同类型的特性的声音。
2.根据权利要求1所述的助听器，其中，所述自适应麦克风组件被配置为根据偶极、心形、超心形或过心形图案中的一者将所述声音转换为所述电信号。
3.根据权利要求1所述的助听器，其中，所述控制子系统被配置为将所述自适应麦克风组件的最大灵敏度设置到所检测到的所述终端用户的关注的方向和距离。
4.根据权利要求1所述的助听器，其中，所述至少一个传感器包括相机。
5.根据权利要求1所述的助听器，其中，所述至少一个传感器被配置为检测所述终端用户的眼睛的角度位置以检测所述终端用户的关注的方向。
6.根据权利要求1所述的助听器，其中，所述至少一个传感器被配置为检测所述终端用户的眼睛的会聚以检测所述终端用户的关注的距离。
7.根据权利要求1所述的助听器，其中，所述至少一个传感器被配置为检测所述终端用户的头部的角度位置以检测所述终端用户的关注的方向。
8.根据权利要求1所述的助听器，其中，所述自适应麦克风组件包括麦克风元件的相控阵列。
9.根据权利要求1所述的助听器，进一步包括被配置为由所述终端用户穿戴的框架结构，所述框架结构承载所述至少一个传感器、所述麦克风组件、以及所述至少一个扬声器。
10.根据权利要求1所述的助听器，其中，所述控制子系统包括数字信号处理器(DSP)，所述数字信号处理器被配置为修改所述自适应麦克风组件的最大灵敏度的方向和/或距离。
11.根据权利要求1所述的助听器，其中，所述控制子系统被配置为处理所述电信号以定位所述声音，使得源自所述真实声源的声音被所述终端用户感知为源自所述真实声源。
12.根据权利要求1所述的助听器，其中，所述控制子系统被配置为处理所述电信号以选择性地升高或降低所述声音的特定频率分量的音量，从而强化源自所述真实声源的声音和/或弱化源自不同声源的声音。
CN201780009744.1A 2016-02-04 2017-02-02 增强现实系统中定向音频的技术 Active CN108604439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111504258.1A CN114189793B (zh) 2016-02-04 2017-02-02 增强现实系统中定向音频的技术

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662291363P 2016-02-04 2016-02-04
US62/291,363 2016-02-04
PCT/US2017/016263 WO2017136580A1 (en) 2016-02-04 2017-02-02 Technique for directing audio in augmented reality system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111504258.1A Division CN114189793B (zh) 2016-02-04 2017-02-02 增强现实系统中定向音频的技术

Publications (2)

Publication Number Publication Date
CN108604439A CN108604439A (zh) 2018-09-28
CN108604439B true CN108604439B (zh) 2021-12-28

Family

ID=59496440

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780009744.1A Active CN108604439B (zh) 2016-02-04 2017-02-02 增强现实系统中定向音频的技术
CN202111504258.1A Active CN114189793B (zh) 2016-02-04 2017-02-02 增强现实系统中定向音频的技术

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111504258.1A Active CN114189793B (zh) 2016-02-04 2017-02-02 增强现实系统中定向音频的技术

Country Status (10)

Country Link
US (1) US10536783B2 (zh)
EP (2) EP3411873B1 (zh)
JP (2) JP6904963B2 (zh)
KR (1) KR20180109910A (zh)
CN (2) CN108604439B (zh)
AU (2) AU2017215349B2 (zh)
CA (2) CA3206524C (zh)
IL (3) IL283975B2 (zh)
NZ (1) NZ743729A (zh)
WO (1) WO2017136580A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129682B2 (en) * 2012-01-06 2018-11-13 Bacch Laboratories, Inc. Method and apparatus to provide a virtualized audio file
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10725729B2 (en) 2017-02-28 2020-07-28 Magic Leap, Inc. Virtual and real object recording in mixed reality device
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
KR102633727B1 (ko) * 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
CN109753847B (zh) * 2017-11-02 2021-03-30 华为技术有限公司 一种数据的处理方法以及ar设备
GB201800918D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US10585641B2 (en) 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
CN109615703B (zh) * 2018-09-28 2020-04-14 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
KR102458962B1 (ko) 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
US10739726B2 (en) * 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
EP3868128A2 (en) * 2018-10-15 2021-08-25 Orcam Technologies Ltd. Hearing aid systems and methods
US11979716B2 (en) 2018-10-15 2024-05-07 Orcam Technologies Ltd. Selectively conditioning audio signals based on an audioprint of an object
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
WO2020096406A1 (ko) * 2018-11-09 2020-05-14 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
KR102379734B1 (ko) * 2018-11-09 2022-03-29 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN109460120A (zh) * 2018-11-17 2019-03-12 李祖应 一种基于声场定位的现实模拟方法及智能穿戴设备
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
EP3709171A1 (en) * 2019-03-13 2020-09-16 Nokia Technologies Oy Audible distractions at locations external to a device
TWI716842B (zh) * 2019-03-27 2021-01-21 美律實業股份有限公司 聽力測試系統以及聽力測試方法
GB2584837A (en) * 2019-06-11 2020-12-23 Nokia Technologies Oy Sound field related rendering
US20220312128A1 (en) * 2019-08-26 2022-09-29 Orcam Technologies Ltd. Hearing aid system with differential gain
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
GB2589340A (en) 2019-11-27 2021-06-02 Nokia Technologies Oy Augmented reality system
CN110956951A (zh) * 2019-12-23 2020-04-03 苏州思必驰信息科技有限公司 一种语音增强采集配件、方法、系统、设备及存储介质
US11234090B2 (en) 2020-01-06 2022-01-25 Facebook Technologies, Llc Using audio visual correspondence for sound source identification
US11087777B1 (en) * 2020-02-11 2021-08-10 Facebook Technologies, Llc Audio visual correspondence based signal augmentation
US11432067B2 (en) * 2020-03-23 2022-08-30 Orcam Technologies Ltd. Cancelling noise in an open ear system
US11533443B2 (en) 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US11493959B2 (en) * 2020-08-17 2022-11-08 Orcam Technologies Ltd. Wearable apparatus and methods for providing transcription and/or summary
US11604368B2 (en) 2021-04-06 2023-03-14 Innovega, Inc. Contact lens and eyewear frame design using physical landmarks placed on the eye
US11972592B2 (en) 2021-04-06 2024-04-30 Innovega, Inc. Automated eyewear frame design through image capture
US11762219B2 (en) 2021-04-06 2023-09-19 Innovega, Inc. Automated contact lens design through image capture of an eye wearing a reference contact lens
CN117981360A (zh) * 2021-09-21 2024-05-03 索尼集团公司 信息处理装置、信息处理方法和程序
KR102638322B1 (ko) * 2022-05-30 2024-02-19 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
CN105323679A (zh) * 2014-07-28 2016-02-10 铁三角有限公司 麦克风装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
US5901232A (en) * 1996-09-03 1999-05-04 Gibbs; John Ho Sound system that determines the position of an external sound source and points a directional microphone/speaker towards it
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US7269632B2 (en) 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
KR100677601B1 (ko) 2004-11-11 2007-02-02 삼성전자주식회사 메타 데이터를 포함하는 영상 데이터를 기록한 저장매체,그 재생장치 및 메타 데이터를 이용한 검색방법
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
FR2915041A1 (fr) * 2007-04-13 2008-10-17 Canon Kk Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants.
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR20090052169A (ko) * 2007-11-20 2009-05-25 삼성전자주식회사 두부(頭部) 장착 디스플레이
DK2088802T3 (da) * 2008-02-07 2013-10-14 Oticon As Fremgangsmåde til estimering af lydsignalers vægtningsfunktion i et høreapparat
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
KR101547639B1 (ko) * 2009-05-22 2015-08-27 삼성전자 주식회사 사운드 포커싱 장치 및 방법
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
EP2368720B1 (en) 2010-03-26 2018-10-24 Provenance Asset Group LLC Method to transform a virtual object into a real physical object
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9408010B2 (en) * 2011-05-26 2016-08-02 Koninklijke Philips N.V. Audio system and method therefor
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US20130222371A1 (en) 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
ES2621952T3 (es) * 2011-09-01 2017-07-05 9Solutions Oy Sistema de seguimiento de localización adaptativo
JP5969200B2 (ja) * 2011-11-11 2016-08-17 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8781142B2 (en) * 2012-02-24 2014-07-15 Sverrir Olafsson Selective acoustic enhancement of ambient sound
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9319821B2 (en) * 2012-03-29 2016-04-19 Nokia Technologies Oy Method, an apparatus and a computer program for modification of a composite audio signal
DE102012214081A1 (de) * 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9544074B2 (en) 2012-09-04 2017-01-10 Broadcom Corporation Time-shifting distribution of high definition audio data
US8750541B1 (en) * 2012-10-31 2014-06-10 Google Inc. Parametric array for a head-mountable device
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
CN105073073B (zh) * 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9124990B2 (en) * 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
DE102013215131A1 (de) * 2013-08-01 2015-02-05 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verfolgung einer Schallquelle
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
KR101926942B1 (ko) * 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
CN103686565B (zh) * 2013-12-29 2017-09-26 长城汽车股份有限公司 车内声音控制系统
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6125457B2 (ja) * 2014-04-03 2017-05-10 日本電信電話株式会社 収音システム及び放音システム
KR20170067682A (ko) * 2014-05-26 2017-06-16 블라디미르 셔먼 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9654868B2 (en) * 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
WO2016099995A1 (en) * 2014-12-16 2016-06-23 3M Innovative Properties Company Ionic diol, antistatic polyurethane, and method of making the same
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US11631421B2 (en) * 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10206042B2 (en) * 2015-10-20 2019-02-12 Bragi GmbH 3D sound field using bilateral earpieces system and method
US9949056B2 (en) * 2015-12-23 2018-04-17 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
CN105323679A (zh) * 2014-07-28 2016-02-10 铁三角有限公司 麦克风装置

Also Published As

Publication number Publication date
EP3411873B1 (en) 2022-07-13
NZ743729A (en) 2022-10-28
IL307306A (en) 2023-11-01
CA3007511A1 (en) 2017-08-10
US20170230760A1 (en) 2017-08-10
AU2022201783B2 (en) 2023-06-29
JP2019511148A (ja) 2019-04-18
AU2017215349B2 (en) 2021-12-16
IL283975B1 (en) 2023-10-01
CN108604439A (zh) 2018-09-28
AU2022201783A1 (en) 2022-04-07
CN114189793B (zh) 2024-03-19
CN114189793A (zh) 2022-03-15
AU2017215349A1 (en) 2018-07-12
CA3206524A1 (en) 2017-08-10
WO2017136580A1 (en) 2017-08-10
CA3206524C (en) 2024-02-13
CA3007511C (en) 2023-09-19
IL260113A (en) 2018-07-31
IL283975B2 (en) 2024-02-01
IL260113B (en) 2021-06-30
EP3411873A4 (en) 2019-01-23
EP4075826A1 (en) 2022-10-19
JP6904963B2 (ja) 2021-07-21
KR20180109910A (ko) 2018-10-08
JP2020092448A (ja) 2020-06-11
IL283975A (en) 2021-07-29
EP3411873A1 (en) 2018-12-12
US10536783B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108604439B (zh) 增强现实系统中定向音频的技术
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
CN113568165B (zh) 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计
US10979845B1 (en) Audio augmentation using environmental data
CN113406801B (zh) 虚拟/增强现实系统中的偏振保持光纤
US11812222B2 (en) Technique for directing audio in augmented reality system
KR102230645B1 (ko) 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들
CN110267166B (zh) 一种基于双耳效应的虚拟声场实时交互系统
GB2558279A (en) Head mountable display system
GB2558281A (en) Audio processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant