CN114223212A - 组织换能器的调节机构 - Google Patents
组织换能器的调节机构 Download PDFInfo
- Publication number
- CN114223212A CN114223212A CN202080057180.0A CN202080057180A CN114223212A CN 114223212 A CN114223212 A CN 114223212A CN 202080057180 A CN202080057180 A CN 202080057180A CN 114223212 A CN114223212 A CN 114223212A
- Authority
- CN
- China
- Prior art keywords
- transducer
- user
- headset
- adjustable
- transducer assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title description 7
- 210000001519 tissue Anatomy 0.000 claims description 44
- 210000000845 cartilage Anatomy 0.000 claims description 38
- 210000000988 bone and bone Anatomy 0.000 claims description 34
- 241000746998 Tragus Species 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 21
- 210000003128 head Anatomy 0.000 description 28
- 238000012546 transfer Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 14
- 210000000613 ear canal Anatomy 0.000 description 13
- 238000013507 mapping Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000004728 ear cartilage Anatomy 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000001699 lower leg Anatomy 0.000 description 3
- 230000036316 preload Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/06—Hearing aids
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/105—Earpiece supports, e.g. ear hooks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1058—Manufacture or assembly
- H04R1/1066—Constructional aspects of the interconnection between earpiece and earpiece support
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
- H04R5/0335—Earpiece support, e.g. headbands or neckrests
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
Landscapes
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Manufacturing & Machinery (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Headphones And Earphones (AREA)
Abstract
一种头戴式装置包括位于托架上的组织换能器,该托架沿着头戴式装置的镜腿部分平移。托架被配置为接触用户耳朵的耳轮根部。耳轮根部提供参考点,并且当托架与耳轮根部接触时,组织换能器被配置为位于目标区域中。通过保持组织换能器相对于用户耳朵的耳轮根部的固定位置,即使对于具有不同头部形状和尺寸的用户,组织换能器也可以被准确定位。
Description
发明领域
本公开总体上涉及人工现实系统,更具体地说,涉及用于头戴式装置(headset)的音频换能器。
背景
向用户呈现音频内容的头戴式装置,例如人工现实头戴式装置(包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)),使用声学换能器呈现声音。传统上,尽管用户具有不同的头部形状、头部尺寸等,声学换能器通常位于头戴式装置上的固定位置。因此,不同用户和/或在不同时间(但在不同位置)佩戴头戴式装置的同一用户之间的声换能器相对位置的变化会阻止用户具有一致的音频体验。
概述
一种头戴式装置包括位于托架上的音频换能器,该托架沿着头戴式装置的镜腿部分平移。托架被配置为接触用户耳朵的耳轮根部。耳轮根部提供参考点,并且当托架与耳轮根部接触时,音频换能器被配置为位于目标区域中。
在一些实施例中,头戴式装置包括至少一个弹簧,该弹簧在向后的方向上偏置托架。当用户将头戴式装置放置在用户头上时,托架接合用户耳朵的耳轮根部。当用户在向后的方向上移动头戴式装置时(例如,将头戴式装置的前部移向用户的眼睛和鼻子),来自耳轮根部的施加到托架的接触力克服偏置托架的弹簧力,并导致托架沿着头戴式装置的镜腿部分在向前的方向上平移。弹簧力保持托架与耳轮根部接触。
在一些实施例中,头戴式装置包括沿着头戴式装置的镜腿驱动托架的马达。在将头戴式装置放置在用户头上之后,用户可以指示托架在向后的方向上平移。托架可以在向后的位置平移,直到托架接触到用户的耳轮根部。
在一些实施例中,可调节换能器组件包括被配置为向头戴式装置的用户提供音频内容的组织换能器。可调节换能器组件还可以包括被配置为沿着镜腿平移的托架。托架可以耦合到组织换能器,并且包括分度特征(indexing feature)。分度特征随着托架沿着镜腿平移,使得分度特征抵靠用户耳朵的耳轮根部定位,并且组织换能器被定位成经由组织传导向目标区域提供音频内容。
在一些实施例中,还可以包括至少一个弹簧,该弹簧被配置为在远离镜腿的铰接端的方向上将托架偏置在向后的位置。
在一些实施例中,组织换能器可以包括软骨传导换能器,并且其中目标区域可以是用户耳朵的耳屏。
在一些实施例中,还可以包括被配置为沿着镜腿驱动托架的马达。
在一些实施例中,分度特征可以可旋转地耦合到托架。
在一些实施例中,组织换能器可以至少部分地位于托架内。
在一些实施例中,组织换能器可以通过铰链耦合到分度特征。
在一些实施例中,响应于输入,组织换能器可以被配置为从软骨传导位置移动到骨传导位置,或者从骨传导位置移动到软骨传导位置。
在一些实施例中,头戴式装置包括具有镜腿的框架。头戴式装置包括耦合到镜腿的可调节换能器组件。可调节换能器组件包括被配置为向头戴式装置的用户提供音频内容的组织换能器和被配置为沿着头戴式装置的镜腿平移的托架。托架耦合到组织换能器,并且包括分度特征,其中分度特征随着托架沿着镜腿平移,使得分度特征抵靠用户耳朵的耳轮根部定位,并且组织换能器被定位成经由组织传导向目标区域提供音频内容。
在一些实施例中,还可以包括至少一个弹簧,该弹簧被配置为将托架偏置在向后的位置。
在一些实施例中,组织换能器可以包括软骨传导换能器,并且其中目标区域可以是用户耳朵的耳屏。
在一些实施例中,还可以包括被配置为沿着镜腿驱动托架的马达。
在一些实施例中,马达可以被配置为基于来自用户的输入定位组织换能器。
在一些实施例中,分度特征可以可旋转地耦合到托架。
在一些实施例中,组织换能器可以至少部分地位于托架内。
在一些实施例中,组织换能器可以通过铰链耦合到分度特征。
在一些实施例中,响应于来自用户的输入,组织换能器可以被配置为从软骨传导位置移动到骨传导位置。
在一些实施例中,一种头戴式装置包括具有镜腿的框架、被配置为沿着镜腿平移的托架、以及耦合到托架的软骨传导换能器。软骨传导换能器可以被配置为接触用户的耳屏。
在一些实施例中,还可以包括被配置为接触用户耳轮根部的分度特征。
在一些实施例中,在分度特征和软骨传导换能器之间可以有可以固定的距离。
在一些实施例中,软骨传导换能器可以通过铰链耦合到分度特征。
附图简述
图1是根据一个或更多个实施例的被实施为眼部佩戴物(eyewear)设备的头戴式装置的透视图。
图2A是根据一个或更多个实施例的头戴式装置的侧视图,其中可调节换能器组件处于向后的位置。
图2B是处于用户头部上的操作位置的图2A的头戴式装置的侧视图。
图2C示出了处于操作位置的图2A的头戴式装置的侧视图,其中换能器被配置用于髁突(condyle)位置处的骨传导。
图3A示出了根据一个或更多个实施例的具有可调节换能器组件的头戴式装置的侧视图,该可调节换能器组件具有位于托架内并处于向后的位置的换能器。
图3B是处于用户头部上的操作位置的图3A的头戴式装置的侧视图。
图3C示出了处于操作位置的图3A的头戴式装置的侧视图,其中换能器被配置用于骨传导。
图4是根据一个或更多个实施例的音频系统的框图。
图5是示出根据一个或更多个实施例的使用可调节换能器组件呈现音频内容的过程的流程图。
图6是根据一个或更多个实施例的包括头戴式装置的系统。
附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容易认识到,在不脱离本文描述的原理的情况下,可以采用本文示出的结构和方法的替代实施例。
详细描述
一种头戴式装置包括位于托架上的音频换能器,该托架沿着头戴式装置的镜腿部分平移。托架被配置为接触用户耳朵的耳轮根部。耳轮根部提供参考点,并且当托架与耳轮根部接触时,音频换能器被配置为位于目标区域中。对于一些音频换能器,例如被配置为接触用户耳朵耳屏的软骨传导换能器,即使音频换能器的位置上的微小差异也可能导致音频换能器提供给用户的声音的显著损失。然而,通过保持音频换能器相对于用户耳朵耳轮根部的固定位置(例如将音频换能器定位成与耳屏接触),而不是相对于头戴式装置上的位置,即使对于具有不同头部形状和尺寸的用户,音频换能器也可以被准确定位。
在一些实施例中,头戴式装置包括在向后的方向上偏置托架的弹簧。当用户将头戴式装置放置在用户头上时,托架接合用户耳朵的耳轮根部。当用户在向后的方向上移动头戴式装置时(例如,将头戴式装置的前部移向用户的眼睛和鼻子),来自耳轮根部的被施加到托架的接触力克服偏置托架的弹簧力,并导致托架沿着头戴式装置的镜腿部分在向前的方向上平移。弹簧力保持托架与耳轮根部接触。
在一些实施例中,头戴式装置包括沿着头戴式装置的镜腿驱动托架的马达。在将头戴式装置放置在用户头上之后,用户可以指示托架在向后的方向上平移。托架可以在向后的方向上平移,直到托架接触到用户的耳轮根部。用户可以指示托架停止平移,或者头戴式装置可以检测到托架已经接触到用户的耳轮根部,并且马达可以停止向后驱动托架。
本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality,MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如,真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合,其中任何一个都可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外,在一些实施例中,人工现实还可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合用于在人工现实中创建内容和/或在人工现实中以其他方式被使用。提供人工现实内容的人工现实系统可以在各种平台上实现,包括连接到主计算机系统的可佩戴设备(例如,头戴式装置)、独立的可佩戴设备(例如,头戴式装置)、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
图1是根据一个或更多个实施例的被实施为眼部佩戴物设备的头戴式装置100的透视图。在一些实施例中,眼部佩戴物设备是近眼显示器(NED)。通常,头戴式装置100可以戴在用户的脸上,使得使用显示组件和/或音频系统呈现内容(例如,媒体内容)。然而,也可以使用头戴式装置100,使得媒体内容以不同的方式呈现给用户。头戴式装置100呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。头戴式装置100包括框架110,并且可以包括显示组件、深度照相机组件(DCA)、音频系统和位置传感器190以及其他部件,该显示组件包括一个或更多个显示元件120。尽管图1示出了在头戴式装置100上的示例位置上的头戴式装置100的部件,但是这些部件可以位于头戴式装置100上的其他地方、与头戴式装置100配对的外围设备上,或者这两种位置的某种组合。类似地,头戴式装置100上的部件可能比图1中所示的更多或更少。
框架110保持头戴式装置100的其他部件。框架110包括保持一个或更多个显示元件120的前部和附接到用户头部的末端件(例如,镜腿)。框架110的前部架在(bridge)用户鼻子的顶部。镜腿的铰接端(也称为前端)将镜腿连接到框架110的前部。镜腿还可以包括卷曲在用户耳朵后面的部分(也称为弯曲端或后端)。
一个或更多个显示元件120向佩戴头戴式装置100的用户提供光。如图所示,头戴式装置包括用于用户的每只眼睛的显示元件120。在一些实施例中,显示元件120生成提供给头戴式装置100的视窗(eyebox)的图像光。视窗是用户佩戴头戴式装置100时眼睛所占据的空间位置。例如,显示元件120可以是波导显示器。波导显示器包括光源(例如,二维光源、一个或更多个线光源、一个或更多个点光源等)和一个或更多个波导。来自光源的光被向内耦合到一个或更多个波导中,该波导以使得在头戴式装置100的视窗中存在瞳孔复制(pupil replication)的方式输出光。来自一个或更多个波导的光的向内耦合和/或向外耦合可以使用一个或更多个衍射光栅来完成。在一些实施例中,波导显示器包括扫描元件(例如,波导、反射镜等),当来自光源的光向内耦合到一个或更多个波导中时,该扫描元件扫描来自光源的光。须注意,在一些实施例中,显示元件120中的一个或两个是不透明的并且不透射来自头戴式装置100周围的局部区域的光。局部区域是头戴式装置100周围的区域。例如,局部区域可以是佩戴头戴式装置100的用户所在的房间,或者佩戴头戴式装置100的用户可以在外面,并且局部区域是外部区域。在这种情况下,头戴式装置100生成VR内容。替代地,在一些实施例中,显示元件120中的一个或两个至少部分透明,使得来自局部区域的光可与来自一个或更多个显示元件的光组合以产生AR和/或MR内容。
在一些实施例中,显示元件120不生成图像光,而是透镜将光从局部区域传送到视窗。例如,显示元件120中的一个或两个可以是无矫正的透镜(非处方),或者是处方透镜(例如,单视力透镜、双焦和三焦透镜或渐进透镜)以帮助矫正用户视力的缺陷。在一些实施例中,显示元件120可以被偏振和/或着色以保护用户的眼睛免受阳光照射。
须注意,在一些实施例中,显示元件120可以包括附加的光学块(未示出)。光学块可包括将光从显示元件120引导至视窗的一个或更多个光学元件(例如,透镜、菲涅耳透镜等)。光学块可以例如校正一些或所有图像内容中的像差、放大一些或所有图像、或其某种组合。
DCA确定头戴式装置100周围局部区域的一部分的深度信息。DCA包括一个或更多个成像设备130和DCA控制器(未在图1中示出),并且还可以包括照明器140。在一些实施例中,照明器140用光照亮局部区域的一部分。光可以是例如在红外(IR)中的结构光(例如,点图案、条等)、用于飞行时间的IR闪光等。在一些实施例中,一个或更多个成像设备130捕获包括来自照明器140的光的局部区域的一部分的图像。如图所示,图1示出了单个照明器140和两个成像设备130。在替代实施例中,没有照明器140和至少两个成像设备130。
DCA控制器使用捕获的图像和一种或更多种深度确定技术计算局部区域部分的深度信息。深度确定技术可以是例如直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用通过来自照明器140的光添加到场景的纹理)、确定场景的深度的某种其他技术或者它们的某种组合。
音频系统提供音频内容。该音频系统包括换能器阵列、传感器阵列和音频控制器150。然而,在其他实施例中,音频系统可以包括不同的和/或附加的部件。类似地,在一些情况下,参考音频系统的部件描述的功能可以以不同于这里描述的方式分布在部件之间。例如,控制器的一些或所有功能可以由远程服务器执行。
换能器阵列向用户呈现声音。换能器阵列包括多个换能器和用于框架110的一个或两个镜腿的可调节换能器组件170。换能器可以是扬声器或组织换能器(tissuetransducer)160(例如,骨传导换能器或软骨传导换能器)。在一些实施例中,代替用于每只耳朵的单独的扬声器,头戴式装置100包括扬声器阵列,该扬声器阵列包括集成到框架110中的多个扬声器,以改善所呈现的音频内容的方向性。组织换能器160耦合到用户的头部并直接振动用户的组织(例如,骨头或软骨)以生成声音。换能器的数量和/或位置可以与图1所示的不同。
可调节换能器组件170被配置成将组织换能器160定位在适合组织换能的位置,而不管用户头部的尺寸和形状。可调节换能器组件170被配置成沿着框架110的镜腿向前和向后平移。可调节换能器组件170包括换能器,例如扬声器、软骨换能器或骨换能器。可调节换能器组件170可以例如通过弹簧被偏置在向后的位置。响应于用户戴上头戴式装置100,可调节换能器组件170被配置为接触用户耳朵的一部分。耳朵和可调节换能器组件170之间的接触可导致可调节换能器组件170沿着镜腿朝向在镜腿与框架110的包含显示元件120的部分之间的铰链在向前的方向上平移。
在一些实施例中,可调节换能器组件170可以包括马达。可调节换能器组件170最初可以位于向前的位置。在向前的位置,可调节换能器组件170能够在向后的方向上朝着镜腿的弯曲端移动。在戴上头戴式装置100之后,用户可以按下按钮、说出命令或以其他方式指示马达朝着镜腿的弯曲端向后驱动可调节换能器组件170。一旦可调节换能器组件170接触用户的耳朵,可调节换能器组件170可以指示马达停止驱动可调节换能器组件170,并且可调节换能器组件170可以保持与用户的耳朵接触。
在一些实施例中,可调节换能器组件170可以使用闭环反馈系统来指示马达停止驱动可调节换能器组件170。在这样的实施例中,力传感器(或触摸传感器)可以被放置在托架内,以监控从托架到耳轮根部上的预加载。当托架到达耳轮根部时,闭环反馈系统可以持续监控来自力传感器的感测信号的变化。响应于托架到达耳轮根部,闭环反馈系统检测感测到的力信号的变化,并且闭环反馈系统可以确定托架与耳轮根部接触。在一些实施例中,闭环反馈系统将确保从托架到用户耳轮根部的预加载在目标预加载值内。
可调节换能器组件170将其换能器定位在相对于用户耳朵位置的目标区域中。例如,可调节换能器组件170可以将软骨传导换能器定位成与用户耳朵的耳屏接触,或者可调节换能器组件170可以将骨传导换能器抵靠用户面部定位在耳屏前方的位置,或者可调节换能器组件170可以将扬声器定位在用户耳朵的耳道附近或耳道内。
传感器阵列检测头戴式装置100的局部区域内的声音。传感器阵列包括多个声学传感器180。声学传感器180捕获从局部区域(例如,房间)中的一个或更多个声源发出的声音。每个声学传感器被配置为检测声音并将检测到的声音转换成电子格式(模拟或数字)。声学传感器180可以是声波传感器、麦克风、声音换能器或适用于检测声音的类似传感器。
在一些实施例中,一个或更多个声学传感器180可以放置在每只耳朵的耳道中(例如,充当双耳麦克风)。在一些实施例中,声学传感器180可以放置在头戴式装置100的外表面上,放置在可调节换能器组件170上或其中,放置在头戴式装置100的内表面上,与头戴式装置100分离(例如,某个其他设备的一部分),或者它们的某种组合。声学传感器180的数量和/或位置可以与图1所示的不同。例如,可以增加声学检测位置的数量以增加收集的音频信息的量以及信息的灵敏度和/或准确性。声学检测位置可以被定向成使得麦克风能够在佩戴头戴式装置100的用户周围的大范围方向上检测声音。
音频控制器150处理来自传感器阵列的描述由传感器阵列检测到的声音的信息。音频控制器150可以包括处理器和计算机可读存储介质。音频控制器150可以被配置为生成到达方向(DOA)估计、生成声学传递函数(例如,阵列传递函数和/或头部相关传递函数)、跟踪声源的位置、在声源方向上形成波束、对声源进行分类、为扬声器生成声音滤波器,或它们的某种组合。音频控制器150向可调节换能器组件170提供指令,以便为用户产生声音。
位置传感器190响应于头戴式装置100的运动而生成一个或更多个测量信号。位置传感器190可以位于头戴式装置100的框架110的一部分上。位置传感器190可以包括惯性测量单元(IMU)。位置传感器190的示例包括:一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器190可以位于IMU的外部、IMU的内部或者它们的某种组合。
在一些实施例中,头戴式装置100可以提供头戴式装置100的位置的同时定位和映射(SLAM)以及局部区域模型的更新。例如,头戴式装置100可以包括生成彩色图像数据的无源照相机组件(PCA)。PCA可以包括一个或更多个RGB照相机,其用于捕获一些或全部局部区域的图像。在一些实施例中,DCA的一些或所有成像设备130也可以用作PCA。PCA捕获的图像和DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型或者它们的某种组合。此外,位置传感器190跟踪头戴式装置100在房间内的位置(例如,定位和姿态)。关于部件的附加细节参考图6进行了描述。
图2A是根据一个或更多个实施例的头戴式装置200的侧视图,其中可调节换能器组件205处于向后的位置。头戴式装置200可以是图1的头戴式装置100的实施例。可调节换能器组件205可以是图1的可调节换能器组件170的实施例。可调节换能器组件205在向后的方向(x方向)上被偏置到向后的位置。在向后的位置,可调节换能器组件205能够在向前的方向(负x方向)上平移。在一些实施例中,向后的位置是可调节换能器组件205能够在正x方向上行进的最远位置。可调节换能器组件205被配置为在可调节换能器组件205上没有外力(例如接触力、磁力等)的情况下保持在向后的位置。
可调节换能器组件205包括被配置为沿着头戴式装置200的镜腿225平移的托架210。在一些实施例中,托架210可以围绕镜腿225。在其他实施例中,托架210的一部分可以至少部分位于镜腿225内。
可调节换能器组件包括分度特征215,该分度特征215被配置为相对于用户的耳朵定向换能器220。分度特征215被配置为接触用户耳朵235的耳轮根部230。耳轮根部230是耳朵235中耳轮240与用户头部相遇的部分。分度特征215可以包括主体245和凸缘250。凸缘250可以从主体245在向后的方向上延伸。凸缘250可以是分度特征215的被配置为接触耳轮根部230的部分。主体245和凸缘250可以是单个整体部件。在一些实施例中,主体245和凸缘250可以是通过紧固件耦合在一起的不同部件。主体245可以可旋转地耦合到托架210。主体245可以被配置为在xy平面中旋转。主体245可以在枢轴255处耦合到托架210。在一些实施例中,主体245可以响应于绕枢轴255的扭矩而在枢轴255处相对于托架210旋转,该扭矩克服了枢轴255与主体245和托架210之间的摩擦力。在其他实施例中,枢轴255可以包括制动机构(brake mechanism),该制动机构防止主体245相对于托架210旋转,并且如果需要,用户可以例如通过将手指压靠在枢轴255上来解开制动机构,以旋转分度特征215。
换能器220可以耦合到分度特征215。换能器220可以是组织换能器,例如软骨传导换能器或骨传导换能器。换能器220被配置为经由组织传导来向目标区域提供音频内容。例如,换能器220可以被配置为接触用户耳朵的耳屏260,以便经由软骨传导向用户呈现声音。换能器220可以在铰链265处可旋转地耦合到分度特征215。换能器220可以被配置为在yz平面中旋转。铰链265可以包括弹簧或其他机构,该弹簧或其他机构被配置为偏置换能器220以抵靠用户的头部(例如,在负z方向上偏置)。
如图2A所示,头戴式装置200被定位在用户的头部,使得分度特征215与用户耳朵的耳轮根部230接触。然而,头戴式装置200在用户的头上没有完全就位,如前部270与用户鼻梁275之间的分离所表明的。
图2B是处于用户头部上的操作位置的头戴式装置200的侧视图。操作位置是用户通常以其预期方式使用头戴式装置200(例如观看人工现实内容和/或收听头戴式装置200呈现的音频内容)的位置。相对于图2A所示的头戴式装置200的位置,图2B中的头戴式装置200已经向后(x方向)移动,并且头戴式装置200的前部270搁在用户的鼻梁275上。
当用户将头戴式装置从图2A所示的位置向后(x方向)移动到图2B所示的操作位置时,耳轮根部230在正x方向上在分度特征215上施加接触力。可调节换能器组件205通过偏置机构(例如弹簧280)在向后的方向(x方向)上被偏置。弹簧280可以是位于托架210后方的螺旋弹簧,并作为拉伸弹簧工作。在其他实施例中,弹簧280可以位于托架210的前方,并且作为压缩弹簧操作。响应于分度特征215上沿负x方向的接触力超过分度特征上沿正x方向的弹簧力,托架210相对于镜腿225向前(负x方向)平移。弹簧力可以足够强,以在可调节换能器组件205上没有外力的情况下将可调节换能器组件205保持在向后的位置,然而又足够弱,以允许头戴式装置200保持在操作位置,而不会迫使头戴式装置200的前部270远离用户的鼻梁275。在一些实施例中,弹簧常数可以在20-40N/m之间,或者在5-50N/m之间。
在替代实施例中,可调节换能器组件205可以包括马达。可调节换能器组件205最初可以位于向前的位置。在戴上头戴式装置200之后,用户可以按下按钮、说出命令或以其他方式指示马达向后驱动托架210。一旦分度特征215接触用户的耳朵235,可调节换能器组件205可以指示马达停止驱动托架210,并且分度特征215可以保持与用户的耳朵接触。在一些实施例中,马达可以检测由于分度特征215与耳轮根部230之间的接触而产生的力,并且响应于该力超过阈值力,马达可以停止在向后的方向上驱动托架。分度特征215可以包括传感器,该传感器被配置为检测来自耳朵235的压力或检测与耳朵235的接近度。
在操作位置,换能器220与耳屏260接触。因此,换能器220处于使用耳屏260进行软骨传导的位置。换能器220的位置(在xy平面内)相对于分度特征215的位置是固定的。不同人的耳轮根部230和耳屏260之间的距离比耳屏260和鼻梁275之间的距离变化小得多。通过使用可调节换能器组件205相对于耳轮根部230的位置定位换能器220,与不包括可调节换能器组件的头戴式装置相比,换能器220更一致地位于耳屏260附近。
图2C示出了处于操作位置的头戴式装置200的侧视图,其中换能器220被配置用于在髁突位置进行骨传导。在一些实施例中,换能器220可以是骨传导换能器,或者换能器220可以包括骨传导换能器和软骨传导换能器。相对于图2B所示的可调节换能器组件205的位置,可调节换能器组件205已经围绕枢轴255在顺时针方向上旋转。如图2C所示,换能器220(通过用户的皮肤)与用户头部的骨头的髁突相接触。在一些实施例中,用户可以使用用户的手物理地旋转可调节换能器组件205。在其他实施例中,头戴式装置200可以包括绕枢轴255旋转可调节换能器组件205的马达,并且头戴式装置200可以响应于来自用户的命令或者响应于头戴式装置确定头戴式装置200的音频系统处于骨传导模式来旋转可调节换能器组件205。换能器220位于耳屏260的前方(负x方向),例如在耳屏前方0.5-1.0cm之间。换能器220被配置为通过经由用户头部的骨头(例如头骨的一部分)传输能量,经由骨传导为用户产生声音。
图3A示出了根据一个或更多个实施例的头戴式装置300的侧视图,其中可调节换能器组件305处于向后的位置。头戴式装置300可以是图1的头戴式装置100的实施例。可调节换能器组件305可以是图1的可调节换能器组件170的实施例。可调节换能器组件305以与图2A-图2C的可调节换能器组件205基本相同的方式操作。然而,可调节换能器组件305的尺寸和形状不同于可调节换能器组件205。
托架310包括弯曲形状,通常形成一段圆形。托架310的一部分可以至少部分位于镜腿325内。分度特征315可以是托架310的表面,例如托架310的后表面。换能器320可以位于托架310内或者耦合到托架310。如图3A所示,头戴式装置300定位在用户的头部,使得分度特征315与用户耳朵的耳轮根部330接触。然而,头戴式装置300在用户的头上没有完全就位,前部370和用户鼻梁375之间的分离表明了这一点。
图3B是处于用户头部上的操作位置的头戴式装置300的侧视图。相对于图3A所示的头戴式装置300的位置,图3B中的头戴式装置300已经向后(x方向)移动,并且头戴式装置300的前部370搁在用户的鼻梁375上。
当用户将头戴式装置从图3A所示的位置沿向后的方向(x方向)移动到图3B所示的操作位置中时,耳轮根部330沿正x方向在分度特征315上施加接触力。在操作位置,换能器320与耳屏360接触。因此,换能器320处于使用耳屏360进行软骨传导的位置。换能器320的位置(在xy平面内)相对于分度特征315的位置是固定的。
在一些实施例中,换能器320可以包括将声波从换能器组件305传送到耳道开口的可延展管/导管。换能器320可以包括嵌入可调节换能器组件305内部的空气传导换能器或微型扬声器(或扬声器阵列),该空气传导换能器或微型扬声器产生空气传导的声音。可延展管/导管可以被调节,使得空气传导的声音可以以最小的调节传递到耳道的开口。
在一些实施例中,可调节换能器组件305可以包括声学传感器365,例如麦克风。声学传感器365可用于在任何时间收集实时信号。控制系统可以使用声学传感器365基于检测到的声音创建相应的滤波器,并确保用户将总是接收到目标曲线。典型地,耳道开口处的平坦曲线可以被认为是目标曲线。
图3C示出了处于操作位置的头戴式装置300的侧视图,其中换能器320被配置用于骨传导。相对于图3B所示的可调节换能器组件305的位置,可调节换能器组件305已经在顺时针方向上旋转。换能器320位于耳屏360的前方(负x方向),例如在耳屏前方0.5-1.0cm之间。换能器320被配置为通过经由用户头部的骨头(例如头骨的一部分)传输能量,来经由骨传导为用户产生声音。
图4是根据一个或更多个实施例的音频系统400的框图。图1中的音频系统可以是音频系统400的实施例。音频系统400为用户生成一个或更多个声传递函数。音频系统400然后可以使用一个或更多个声传递函数来为用户生成音频内容。在图4的实施例中,音频系统400包括换能器阵列410、传感器阵列420和音频控制器430。音频系统400的一些实施例具有与这里描述的那些部件不同的部件。类似地,在某些情形中,功能可以以不同于这里描述的方式在部件之间分配。
换能器阵列410被配置为呈现音频内容。换能器阵列410包括多个换能器。换能器是提供音频内容的设备。换能器可以是例如扬声器、组织换能器(例如,组织换能器160)、提供音频内容的一些其他设备或它们的某种组合。组织换能器可以被配置用作骨传导换能器或软骨传导换能器。换能器阵列410可以经由空气传导(例如,经由一个或更多个扬声器)、经由骨传导(经由一个或更多个骨传导换能器)、经由软骨传导音频系统(经由一个或更多个软骨传导换能器)或其某种组合来呈现音频内容。在一些实施例中,换能器阵列410可以包括一个或更多个换能器,以覆盖频率范围的不同部分。例如,动圈换能器可用于覆盖频率范围的第一部分,压电换能器可用于覆盖频率范围的第二部分。
骨传导换能器通过振动用户头部的骨头/组织来产生声压波。骨传导换能器可以耦合到头戴式装置的一部分,并且可以被配置为在耳廓后面耦合到用户头骨的一部分。骨传导换能器从音频控制器430接收振动指令,并基于接收的指令振动用户头骨的一部分。来自骨传导换能器的振动产生组织传播的声压波,该声压波绕过耳鼓向用户的耳蜗传播。
软骨传导换能器通过振动用户耳朵的耳软骨的一个或更多个部分来产生声压波。软骨传导换能器可以耦合到头戴式装置的一部分,并且可以被配置为耦合到耳朵的耳软骨的一个或更多个部分。例如,软骨传导换能器可以耦合到用户耳朵的耳廓后部。软骨传导换能器可以位于沿着外耳周围的耳软骨的任何地方(例如耳廓、耳屏、耳软骨的某个其他部分或它们的某种组合)。振动耳软骨的一个或更多个部分可以产生:耳道外的空气传播的声压波;组织产生的声压波,其导致耳道的某些部分振动,从而在耳道内产生空气传播的声压波;或者它们的某种组合。产生的空气传播的声压波沿着耳道向耳鼓传播。
换能器阵列410根据来自音频控制器430的指令生成音频内容。在一些实施例中,音频内容被空间化。空间化的音频内容是听起来源自特定方向和/或目标区域(例如,局部区域中的对象和/或虚拟对象)的音频内容。例如,空间化的音频内容可以使声音听起来是来自音频系统400的用户的房间对面的虚拟歌手。换能器阵列410可以耦合到可佩戴设备(例如,头戴式装置100)。在替代实施例中,换能器阵列410可以是与可佩戴设备分离(例如,耦合到外部控制台)的多个扬声器。
换能器阵列410包括可调节换能器组件,例如图1的可调节换能器组件170。可调节换能器组件被配置为沿着框架的镜腿向前和向后平移。可调节换能器组件包括换能器,例如扬声器、软骨换能器或骨换能器。可调节换能器组件可以例如通过弹簧被偏置在向后的位置。响应于用户戴上头戴式装置,可调节换能器组件被配置为接触用户耳朵的一部分。耳朵和可调节换能器组件之间的接触可以导致可调节换能器组件沿着镜腿在向前的方向上平移。
在一些实施例中,可调节换能器组件可以包括马达。可调节换能器组件170最初可以位于向前的位置。戴上头戴式装置后,用户可以按下按钮、说出命令或以其他方式指示马达向后驱动可调节换能器组件。一旦可调节换能器组件接触用户的耳朵,可调节换能器组件可以指示马达停止驱动可调节换能器组件,并且可调节换能器组件可以保持与用户的耳朵接触。
可调节换能器组件将其换能器定位在相对于用户耳朵位置的目标区域。例如,可调节换能器组件可以将软骨传导换能器定位成与用户耳朵的耳屏接触,或者可调节换能器组件可以将骨传导换能器抵靠用户面部定位在耳屏前方的位置,或者可调节换能器组件可以将扬声器定位在用户耳朵的耳道附近或耳道内。
传感器阵列420检测传感器阵列420周围的局部区域内的声音。传感器阵列420可以包括多个声学传感器,每个声学传感器检测声波的气压变化并将检测到的声音转换成电子格式(模拟或数字)。多个声学传感器可以位于头戴式装置(例如,头戴式装置100)上、用户身上(例如,用户的耳道内)、颈带上或其某种组合上。声学传感器可以是例如麦克风、振动传感器、加速度计或其任意组合。在一些实施例中,传感器阵列420被配置成使用多个声学传感器中的至少一些来监控由换能器阵列410生成的音频内容。增加传感器的数量可以提高描述由换能器阵列410产生的声场和/或来自局部区域的声音的信息(例如,方向性)的准确性。
音频控制器430控制音频系统400的操作。在图4的实施例中,音频控制器430包括数据储存器435、DOA估计模块440、传递函数模块450、跟踪模块460、波束成形模块470和声音滤波器模块480。在一些实施例中,音频控制器430可以位于头戴式装置内部。音频控制器430的一些实施例具有与这里描述的那些部件不同的部件。类似地,功能可以以不同于这里描述的方式分布在部件中。例如,控制器的一些功能可以在头戴式装置外部执行。
数据储存器435存储供音频系统400使用的数据。数据储存器435中的数据可以包括记录在音频系统400的局部区域中的声音、音频内容、头部相关传递函数(HRTF)、一个或更多个传感器的传递函数、一个或更多个声学传感器的阵列传递函数(ATF)、声源位置、局部区域的虚拟模型、到达方向估计、声音滤波器和与音频系统400使用相关的其他数据,或者它们的任意组合。
DOA估计模块440被配置为部分基于来自传感器阵列420的信息来定位局部区域中的声源。定位是确定声源相对于音频系统400的用户所处的位置的过程。DOA估计模块440执行DOA分析以定位局部区域内的一个或更多个声源。DOA分析可以包括分析传感器阵列420处每个声音的强度、频谱和/或到达时间,以确定声音起源的方向。在一些情况下,DOA分析可以包括用于分析音频系统400所处的周围声学环境的任何合适的算法。
例如,DOA分析可以被设计成从传感器阵列420接收输入信号,并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如延迟和求和算法,其中输入信号被采样,并且采样信号的最终加权和延迟版本被一起平均以确定DOA。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如,识别信号强度的差异或到达时间的差异。然后,这些差异可用于估计DOA。在另一个实施例中,可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元,以识别传感器阵列420接收直接路径音频信号的角度。然后,所确定的角度可以用于识别接收到的输入信号的DOA。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。
在一些实施例中,DOA估计模块440还可以相对于音频系统400在局部区域内的绝对位置来确定DOA。传感器阵列420的位置可以从外部系统(例如,头戴式装置的一些其他部件、人工现实控制台、映射服务器、位置传感器(例如,位置传感器190)等)接收。外部系统可以创建局部区域的虚拟模型,其中局部区域和音频系统400的位置被映射。接收的位置信息可以包括音频系统400的一些或全部(例如,传感器阵列420)的位置和/或定向。DOA估计模块440可以基于接收的位置信息更新估计的DOA。
传递函数模块450被配置为生成一个或更多个声学传递函数。一般来说,传递函数是一种数学函数,为每个可能的输入值给出相应的输出值。基于检测到的声音的参数,传递函数模块450生成与音频系统相关联的一个或更多个声学传递函数。声学传递函数可以是阵列传递函数(ATF)、头部相关传递函数(HRTF)、其他类型的声学传递函数或它们的某种组合。ATF表征了麦克风如何从空间中的一个点接收声音。
ATF包括表征声源和由传感器阵列420中的声学传感器接收的相应声音之间的关系的多个传递函数。因此,对于声源,传感器阵列420中的每个声学传感器都有相应的传递函数。这组传递函数统称为ATF。因此,对于每个声源,存在相应的ATF。注意,声源可以是例如在局部区域产生声音的某人或某物、用户或换能器阵列410的一个或更多个换能器。相对于传感器阵列420的特定声源位置的ATF可能因用户而异,这是由于人的解剖结构(例如,耳朵形状、肩膀等)会在声音传到人的耳朵时影响到声音。因此,传感器阵列420的ATF对于音频系统400的每个用户是个性化的。
在一些实施例中,传递函数模块450为音频系统400的用户确定一个或更多个HRTF。HRTF表征耳朵如何接收来自空间中的一点的声音。相对于人的特定源位置的HRTF对于人的每只耳朵是唯一的(并且对于这个人是唯一的),这是由于人的解剖结构(例如,耳朵形状、肩膀等)在声音行进到人的耳朵时会影响声音。在一些实施例中,传递函数模块450可以使用校准过程为用户确定HRTF。在一些实施例中,传递函数模块450可以向远程系统提供关于用户的信息。远程系统使用例如机器学习确定为用户定制的一组HRTF,并将定制的一组HRTF提供给音频系统400。
跟踪模块460被配置为跟踪一个或更多个声源的位置。跟踪模块460可以比较当前DOA估计,并将它们与先前DOA估计的存储历史进行比较。在一些实施例中,音频系统400可以定期重新计算DOA估计,例如每秒一次,或者每毫秒一次。跟踪模块可以将当前的DOA估计与先前的DOA估计进行比较,并且响应于声源的DOA估计的变化,跟踪模块460可以确定声源移动了。在一些实施例中,跟踪模块460可以基于从头戴式装置或一些其他外部源接收的视觉信息来检测位置的变化。跟踪模块460可以跟踪一个或更多个声源随时间的移动。跟踪模块460可以存储关于声源数量和每个声源在每个时间点的位置的值。响应于声源的数量或位置的值的变化,跟踪模块460可以确定声源移动了。跟踪模块460可以计算定位方差的估计。定位方差可以用作每次确定移动变化的置信水平。
波束成形模块470被配置为处理一个或更多个ATF,以选择性地强调来自某个区域内的声源的声音,同时削弱来自其他区域的声音。在分析由传感器阵列420检测到的声音时,波束成形模块470可以组合来自不同声学传感器的信息,以强调来自局部区域的特定区域的相关声音,同时削弱来自该区域外部的声音。波束成形模块470可以基于例如来自DOA估计模块440和跟踪模块460的不同DOA估计,将与来自特定声源的声音相关联的音频信号与局部区域中的其他声源隔离。波束成形模块470因此可以选择性地分析局部区域中的离散声源。在一些实施例中,波束成形模块470可以增强来自声源的信号。例如,波束成形模块470可以应用声音滤波器,其消除高于特定频率、低于特定频率或在特定频率之间的信号。信号增强用于相对于传感器阵列420检测到的其他声音来增强与给定的已识别声源相关联的声音。
声音滤波器模块480确定用于换能器阵列410的声音滤波器。在一些实施例中,声音滤波器使得音频内容被空间化,使得音频内容听起来源自目标区域。声音滤波器模块480可以使用HRTF和/或声学参数来生成声音滤波器。声学参数描述了局部区域的声学属性。声学参数可以包括例如混响时间、混响水平、房间脉冲响应等。在一些实施例中,声音滤波器模块480计算一个或更多个声学参数。在一些实施例中,声音滤波器模块480向映射服务器请求声学参数(例如,如下面参考图6所述)。
声音滤波器模块480向换能器阵列410提供声音滤波器。在一些实施例中,声音滤波器可以根据频率引起声音的正或负放大。
图5是根据一个或更多个实施例的使用可调节换能器组件提供音频内容的方法500的流程图。图5所示的过程可以使用头戴式装置的诸如音频系统(例如,音频系统400)的部件来执行。在其他实施例中,其他实体可以执行图5中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤,或者以不同的顺序执行这些步骤。头戴式装置可以是被配置为向用户提供音频内容的AR或VR头戴式装置。头戴式装置包括可调节换能器组件。可调节换能器组件包括托架、分度特征和组织换能器。可调节换能器组件被配置为沿着头戴式装置的镜腿平移。
头戴式装置沿着头戴式装置的镜腿平移510可调节换能器组件。头戴式装置可以响应于用户将头戴式装置放在用户的头上而平移可调节换能器组件。在一些实施例中,可调节换能器组件可以使用马达平移,该马达沿着头戴式装置驱动可调节换能器组件。在其他实施例中,用户可以使用用户的身体部位,例如用户耳朵的耳轮根部,向可调节换能器组件施加接触力,这使得可调节换能器组件沿着镜腿平移。
头戴式装置使用户耳朵的耳轮根部与可调节换能器组件上的分度特征接触520。在一些实施例中,分度特征可以在平移可调节换能器组件之前接触耳轮根部,并且用户耳朵的耳轮根部可以在平移可调节换能器组件之后保持与分度特征接触。在其他实施例中,头戴式装置可以沿着头戴式装置的镜腿平移可调节换能器组件,直到分度特征接触耳轮根部。
头戴式装置使用可调节换能器组件上的组织换能器,经由组织传导为用户产生530音频内容。头戴式装置可以使用软骨和/或骨传导向用户呈现音频内容。例如,组织换能器可以是软骨传导换能器,并且软骨传导换能器可以通过振动用户耳朵的耳屏向用户提供音频内容。
在在耳道入口处利用双耳麦克风的实施例中,音频系统可以确保目标声压输出(耳道开口处的声压)与目标曲线一致。在一些实施例中,可能需要平坦的目标曲线。然而,组织换能器的原始输出并不总是平坦的;因此,音频系统可以均衡输出。
图6是根据一个或更多个实施例的包括头戴式装置605的系统600。在一些实施例中,头戴式装置605可以是图1的头戴式装置100。系统600可以在人工现实环境(例如,虚拟现实环境、增强现实环境、混合现实环境或其某种组合)中操作。图6所示的系统600包括头戴式装置605、耦合到控制台615的输入/输出(I/O)接口610、网络620和映射服务器625。虽然图6示出了包括一个头戴式装置605和一个I/O接口610的示例系统600,但是在其他实施例中,系统600中可以包括任意数量的这些部件。例如,可以有多个头戴式装置,每个头戴式装置具有关联的I/O接口610,每个头戴式装置和I/O接口610与控制台615通信。在替代配置中,系统600中可以包括不同的和/或附加的部件。此外,在一些实施例中,结合图6中所示的一个或更多个部件描述的功能可以以与结合图6描述的方式不同的方式分布在部件之间。例如,控制台615的一些或全部功能可以由头戴式装置605提供。
头戴式装置605包括显示组件630、光学块635、一个或更多个位置传感器640和DCA645。头戴式装置605的一些实施例具有与结合图6描述的那些部件不同的部件。此外,在其他实施例中,结合图6描述的各种部件提供的功能可以不同地分布在头戴式装置605的部件之间,或者被捕获在远离头戴式装置605的单独组件中。
显示组件630根据从控制台615接收的数据向用户显示内容。显示组件630使用一个或更多个显示元件(例如,显示元件120)显示内容。显示元件可以是例如电子显示器。在各种实施例中,显示组件630包括单个显示元件或多个显示元件(例如,用于用户的每只眼睛的显示器)。电子显示器的示例包括:液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或其某种组合。须注意,在一些实施例中,显示元件120还可以包括光学块635的一些或全部功能。
光学块635可以放大从电子显示器接收到的图像光,校正与图像光相关联的光学误差,并且将校正后的图像光呈现给头戴式装置605的一个或两个视窗。在各种实施例中,光学块635包括一个或更多个光学元件。光学块635中包括的示例光学元件包括:光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外,光学块635可以包括不同光学元件的组合。在一些实施例中,光学块635中的一个或更多个光学元件可具有一个或更多个涂层,例如部分反射或抗反射涂层。
光学块635对图像光的放大和聚焦允许电子显示器比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外,放大可以增大电子显示器所呈现的内容的视场。例如,所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如,大约110度对角线),且在一些情况下使用所有视场来呈现。此外,在一些实施例中,可以通过添加或移除光学元件来调整放大的量。
在一些实施例中,光学块635可以被设计为校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括球面像差、色差或由于透镜场曲率、散光或任何其他类型的光学误差引起的误差。在一些实施例中,被提供给电子显示器用于显示的内容被预失真,并且当光学块635从电子显示器接收基于内容生成的图像光时,光学块635校正失真。
位置传感器640是生成指示头戴式装置605的位置的数据的电子设备。位置传感器640响应于头戴式装置605的运动而生成一个或更多个测量信号。位置传感器190是位置传感器640的一个实施例。位置传感器640的示例包括:一个或更多个IMU、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器或其某种组合。位置传感器640可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如,俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中,IMU对测量信号进行快速采样并根据所采样的数据计算头戴式装置605的所估计的位置。例如,IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量并且对速度矢量在时间上求积分以确定头戴式装置605上的参考点的估计位置。参考点是可以用来描述头戴式装置605的位置的点。虽然参考点通常可以定义为空间中的点,然而实际上参考点被定义为头戴式装置605内的点。
DCA 645为局部区域的一部分生成深度信息。DCA包括一个或更多个成像设备和一个DCA控制器。DCA 645还可以包括照明器。上面参考图1描述了DCA 645的操作和结构。
音频系统650向头戴式装置605的用户提供音频内容。音频系统650类似于上述音频系统400。音频系统650可以包括一个或更多个声学传感器、一个或更多个换能器和音频控制器。音频系统650包括可调节换能器组件,例如图1的可调节换能器组件170。可调节换能器组件被配置为沿着框架的镜腿向前和向后平移。可调节换能器组件包括换能器,例如扬声器、软骨换能器或骨换能器。可调节换能器组件可以例如通过弹簧被偏置在向后的位置。响应于用户戴上头戴式装置605,可调节换能器组件被配置为接触用户耳朵的一部分。耳朵和可调节换能器组件之间的接触可以导致可调节换能器组件沿着镜腿在向前的方向上平移。
音频系统650可以向用户提供空间化的音频内容。在一些实施例中,音频系统650可以通过网络620向映射服务器625请求声学参数。声学参数描述局部区域的一个或更多个声学特性(例如,房间脉冲响应、混响时间、混响水平等)。音频系统650可以从例如DCA 645提供描述至少一部分局部区域的信息和/或从位置传感器640接收头戴式装置605的位置信息。音频系统650可以使用从映射服务器625接收的一个或更多个声学参数生成一个或更多个声音滤波器,并且使用声音滤波器通过使用可调节换能器组件的组织传导向用户提供音频内容。
I/O接口610是允许用户发送动作请求并从控制台615接收响应的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束图像或视频数据的捕获的指令,或者是在应用内执行特定动作的指令。I/O接口610可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台615的任何其他合适的设备。由I/O接口610接收的动作请求被传送到控制台615,控制台615执行对应于动作请求的动作。在一些实施例中,I/O接口610包括IMU,其捕获指示相对于I/O接口610初始位置的I/O接口610估计位置的校准数据。在一些实施例中,I/O接口610可以根据从控制台615接收的指令来向用户提供触觉反馈。例如,当接收到动作请求时提供触觉反馈,或者控制台615将指令传送到I/O接口610,从而使I/O接口610在控制台615执行动作时生成触觉反馈。
控制台615向头戴式装置605提供内容以根据从以下一项或更多项接收到的信息进行处理:DCA 645、头戴式装置605和I/O接口610。在图6所示的示例中,控制台615包括应用储存器655、跟踪模块660和引擎665。控制台615的一些实施例具有与结合图6描述的那些模块或部件不同的模块或部件。类似地,下面进一步描述的功能可以以不同于结合图6描述的方式分布在控制台615的部件之间。在一些实施例中,本文参照控制台615讨论的功能可以在头戴式装置605或远程系统中实现。
应用储存器655存储由控制台615执行的一个或更多个应用。应用是一组指令,当由处理器执行时,该组指令生成用于呈现给用户的内容。应用生成的内容可以响应于经由头戴式装置605或I/O接口610的移动从用户接收到的输入。应用的示例包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块660使用来自DCA 645、一个或更多个位置传感器640或其某种组合的信息来跟踪头戴式装置605或I/O接口610的移动。例如,跟踪模块660基于来自头戴式装置605的信息来确定在局部区域的映射中头戴式装置605的参考点的位置。跟踪模块660还可以确定对象或虚拟对象的位置。另外,在一些实施例中,跟踪模块660可以使用来自位置传感器640的指示头戴式装置605的位置的数据的部分以及来自DCA 645的局部区域的表示来预测头戴式装置605的未来位置。跟踪模块660向引擎665提供头戴式装置605或I/O接口610的估计或预测的未来位置。
引擎665执行应用,并从跟踪模块660接收头戴式装置605的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息,引擎665确定提供给头戴式装置605以呈现给用户的内容。例如,如果接收到的信息指示用户已经向左看,则引擎665生成用于头戴式装置605的内容,该内容反映(mirror)用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。此外,引擎665响应于从I/O接口610接收到的动作请求而在控制台615上执行的应用内执行动作并向用户提供该动作被执行的反馈。所提供的反馈可以是经由头戴式装置605的视觉或听觉反馈或经由I/O接口610的触觉反馈。
网络620将头戴式装置605和/或控制台615耦合到映射服务器625。网络620可以包括使用无线和/或有线通信系统的局域网和/或广域网的任意组合。例如,网络620可以包括互联网以及移动电话网络。在一个实施例中,网络620使用标准通信技术和/或协议。因此,网络620可以包括使用诸如以太网、802.11、微波接入全球互操作性(WiMAX)、2G/3G/4G移动通信协议、数字用户线路(DSL)、异步传输模式(ATM)、InfiniBand、PCI快速高级交换等技术的链路。类似地,网络620上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络620交换的数据可以使用包括二进制形式的图像数据(例如,便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外,所有或部分链路可以使用常规加密技术进行加密,例如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、互联网协议安全性(IPsec)等。
映射服务器625可以包括存储描述多个空间的虚拟模型的数据库,其中虚拟模型中的一个位置对应于头戴式装置605的局部区域的当前配置。映射服务器625经由网络620从头戴式装置605接收描述局部区域的至少一部分的信息和/或局部区域的位置信息。映射服务器625基于接收到的信息和/或位置信息,确定虚拟模型中与头戴式装置605的局部区域相关联的位置。映射服务器625部分地基于虚拟模型中确定的位置和与确定的位置相关联的任何声学参数来确定(例如,检索)与局部区域相关联的一个或更多个声学参数。映射服务器625可以将局部区域的位置和与局部区域相关联的任何声学参数值传输到头戴式装置605。
附加的配置信息
为了说明提出了本公开的实施例的前述描述;它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域的技术人员可以理解,考虑到上述公开,许多修改和变化是可能的。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为将由计算机程序或等效电路、微代码等来实现。此外,将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或它们的任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中,利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块,计算机程序代码可以由计算机处理器执行,用于执行所描述的任何或全部步骤、操作或过程。
实施例还可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的,和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非易失的、有形的计算机可读存储介质中,或者任何类型的适于存储电子指令的介质中,这些介质可以耦合到计算机系统总线。此外,说明书中提到的任何计算系统可以包括单个处理器,或者可以是采用多处理器设计以提高计算能力的架构。
实施例还可以涉及通过本文描述的计算过程生产的产品。这样的产品可以包括从计算过程得到的信息,其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后,说明书中使用的语言主要是出于可读性和指导性的目的而选择的,它可能不是为了描述或限制专利权而选择的。因此,本专利权利的范围不受本详细描述的限制,而是受基于此提出的申请的任何权利要求的限制。因此,实施例的公开旨在说明而非限制在所附权利要求中阐述的专利权范围。
Claims (14)
1.一种可调节换能器组件,包括:
组织换能器,其被配置为向头戴式装置的用户提供音频内容;和
托架,其被配置为沿着所述头戴式装置的镜腿平移,所述托架耦合到所述组织换能器并且包括分度特征,其中,所述分度特征随着所述托架沿着所述镜腿平移,使得所述分度特征抵靠用户耳朵的耳轮根部定位,并且所述组织换能器被定位为经由组织传导向目标区域提供音频内容。
2.根据权利要求1所述的可调节换能器组件,还包括至少一个弹簧,所述至少一个弹簧被配置为在远离所述镜腿的铰接端的方向上将所述托架偏置在向后的位置。
3.根据权利要求1所述的可调节换能器组件,其中,所述组织换能器包括软骨传导换能器,并且其中,所述目标区域是用户耳朵的耳屏。
4.根据权利要求1所述的可调节换能器组件,还包括被配置为沿着所述镜腿驱动所述托架的马达。
5.根据权利要求1所述的可调节换能器组件,其中,所述分度特征可旋转地耦合到所述托架。
6.根据权利要求1所述的可调节换能器组件,其中,所述组织换能器至少部分位于所述托架内。
7.根据权利要求1所述的可调节换能器组件,其中,所述组织换能器通过铰链耦合到所述分度特征。
8.根据权利要求1所述的可调节换能器组件,其中,响应于输入,所述组织换能器被配置为从软骨传导位置移动到骨传导位置,或者从所述骨传导位置移动到所述软骨传导位置。
9.一种头戴式装置,其用于根据权利要求1-8中任一项所述的可调节换能器组件,所述头戴式装置包括:
包括镜腿的框架;和
耦合到所述镜腿的可调节换能器组件。
10.根据权利要求9所述的头戴式装置,其中,所述马达被配置为基于来自用户的输入定位所述组织换能器。
11.一种头戴式装置,包括:
包括镜腿的框架;
被配置为沿着所述镜腿平移的托架;和
耦合到所述托架的软骨传导换能器,其中,所述软骨传导换能器被配置为接触用户的耳屏。
12.根据权利要求11所述的头戴式装置,还包括被配置为接触用户的耳轮根部的分度特征。
13.根据权利要求12所述的头戴式装置,其中,所述分度特征和所述软骨传导换能器之间的距离是固定的。
14.根据权利要求12所述的头戴式装置,其中,所述软骨传导换能器通过铰链耦合到所述分度特征。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/591,984 | 2019-10-03 | ||
US16/591,984 US11082765B2 (en) | 2019-10-03 | 2019-10-03 | Adjustment mechanism for tissue transducer |
PCT/US2020/048960 WO2021066987A1 (en) | 2019-10-03 | 2020-09-01 | Adjustment mechanism for tissue transducer |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114223212A true CN114223212A (zh) | 2022-03-22 |
Family
ID=72517335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080057180.0A Pending CN114223212A (zh) | 2019-10-03 | 2020-09-01 | 组织换能器的调节机构 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11082765B2 (zh) |
EP (1) | EP4038899A1 (zh) |
JP (1) | JP2022550235A (zh) |
KR (1) | KR20220076479A (zh) |
CN (1) | CN114223212A (zh) |
WO (1) | WO2021066987A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10757501B2 (en) | 2018-05-01 | 2020-08-25 | Facebook Technologies, Llc | Hybrid audio system for eyewear devices |
TWI761685B (zh) * | 2019-06-24 | 2022-04-21 | 緯創資通股份有限公司 | 穿戴式顯示裝置 |
WO2021114254A1 (zh) * | 2019-12-13 | 2021-06-17 | 京东方科技集团股份有限公司 | 增强现实眼镜 |
US11598979B1 (en) * | 2020-03-30 | 2023-03-07 | Snap Inc. | Dual port constrained acoustic volume |
CN112135216A (zh) * | 2020-10-16 | 2020-12-25 | 深圳市喜来喜科技有限公司 | 一种可适配不同头型的蓝牙耳机 |
US11678103B2 (en) * | 2021-09-14 | 2023-06-13 | Meta Platforms Technologies, Llc | Audio system with tissue transducer driven by air conduction transducer |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005534269A (ja) * | 2002-07-26 | 2005-11-10 | オークレイ・インコーポレイテッド | 無線対話式ヘッドセット |
JP4900138B2 (ja) * | 2007-08-24 | 2012-03-21 | ソニー株式会社 | イヤースピーカ装置 |
KR100865959B1 (ko) | 2007-06-18 | 2008-10-30 | 지디텍 주식회사 | 안경 부착용 이어폰장치 |
KR102036464B1 (ko) * | 2012-06-29 | 2019-10-24 | 파인웰 씨오., 엘티디 | 스테레오 이어폰 |
US10075785B2 (en) * | 2012-07-03 | 2018-09-11 | Microsoft Technology Licensing, Llc | Ear bud headset |
JP2015179945A (ja) * | 2014-03-19 | 2015-10-08 | ソニー株式会社 | 信号処理装置、信号処理方法及びコンピュータプログラム |
US11109137B2 (en) * | 2017-04-04 | 2021-08-31 | Sony Corporation | Headphone |
KR101853248B1 (ko) | 2017-06-19 | 2018-04-30 | (주)시선 | 사운드 입출력 기능을 갖는 안경 |
US10816812B2 (en) * | 2018-09-13 | 2020-10-27 | Apple Inc. | Display devices with multimodal audio |
CN109270710A (zh) | 2018-12-13 | 2019-01-25 | 张�浩 | 骨传导眼镜架 |
-
2019
- 2019-10-03 US US16/591,984 patent/US11082765B2/en active Active
-
2020
- 2020-09-01 WO PCT/US2020/048960 patent/WO2021066987A1/en unknown
- 2020-09-01 EP EP20772164.8A patent/EP4038899A1/en active Pending
- 2020-09-01 CN CN202080057180.0A patent/CN114223212A/zh active Pending
- 2020-09-01 JP JP2022500527A patent/JP2022550235A/ja active Pending
- 2020-09-01 KR KR1020227013444A patent/KR20220076479A/ko unknown
-
2021
- 2021-07-02 US US17/366,776 patent/US11671739B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2022550235A (ja) | 2022-12-01 |
WO2021066987A1 (en) | 2021-04-08 |
US20210337300A1 (en) | 2021-10-28 |
US20210105552A1 (en) | 2021-04-08 |
EP4038899A1 (en) | 2022-08-10 |
KR20220076479A (ko) | 2022-06-08 |
US11671739B2 (en) | 2023-06-06 |
US11082765B2 (en) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11671739B2 (en) | Adjustment mechanism for tissue transducer | |
CN113841425A (zh) | 用于个性化音频增强的音频简档 | |
US11523240B2 (en) | Selecting spatial locations for audio personalization | |
US12008700B1 (en) | Spatial audio and avatar control at headset using audio signals | |
CN114430818A (zh) | 用于在呈现音频内容时调整触觉内容的水平的方法和系统 | |
CN114026880A (zh) | 经由波束成形推断耳廓信息以产生个性化的空间音频 | |
US11445318B2 (en) | Head-related transfer function determination using cartilage conduction | |
US11012804B1 (en) | Controlling spatial signal enhancement filter length based on direct-to-reverberant ratio estimation | |
EP4034983A1 (en) | Methods and system for controlling tactile content | |
US11678103B2 (en) | Audio system with tissue transducer driven by air conduction transducer | |
US12003949B2 (en) | Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device | |
US11997454B1 (en) | Power efficient acoustic tracking of sound sources | |
US11758319B2 (en) | Microphone port architecture for mitigating wind noise | |
US20220180885A1 (en) | Audio system including for near field and far field enhancement that uses a contact transducer | |
US20240152817A1 (en) | Contextual awareness subsystem for augmented hearing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
CB02 | Change of applicant information |