CN115047465A - 用于深度感测的超声换能器的相控阵列 - Google Patents

用于深度感测的超声换能器的相控阵列 Download PDF

Info

Publication number
CN115047465A
CN115047465A CN202210225110.2A CN202210225110A CN115047465A CN 115047465 A CN115047465 A CN 115047465A CN 202210225110 A CN202210225110 A CN 202210225110A CN 115047465 A CN115047465 A CN 115047465A
Authority
CN
China
Prior art keywords
eye
ultrasound
user
transducer
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210225110.2A
Other languages
English (en)
Inventor
塞达特·帕拉
多鲁克·森卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115047465A publication Critical patent/CN115047465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开涉及用于深度感测的超声换能器的相控阵列。一种深度感测系统，其被配置成跟踪用户的一只或两只眼睛。所述深度感测系统包括换能器芯片，所述换能器芯片包括超声换能器的相控阵列，所述超声换能器在用户的眼睛处发射信号并检测来自眼睛的反射信号。控制器基于由相控阵列接收的反射信号估计眼睛的取向。所述深度感测系统可以是头戴式装置的一部分，所述头戴式装置包括被配置成向佩戴所述头戴式装置的用户显示内容的显示元件。

Description

用于深度感测的超声换能器的相控阵列
发明领域
本公开总体上涉及眼睛跟踪，并且具体涉及在人工现实应用中使用超声波进行眼睛跟踪。
背景
眼睛跟踪是指检测用户注视的方向的过程，它可以检测眼睛在三维(3D)空间中的角取向(angular orientation)。另外，眼睛跟踪可以检测眼睛的位置(例如，眼睛的中心)、眼睛的扭转(即，眼睛围绕瞳孔轴的转动)、眼睛的形状、眼睛的当前焦距、瞳孔的扩张(dilation)或眼睛状态的其他特征。用于眼睛跟踪的一种传统技术捕获用户的视频图像并使用机器视觉算法识别用户瞳孔的取向。在虚拟现实头戴式装置(headset)中捕获用户的视频图像以确定用户注视的方向具有额外的缺点。例如，用于捕获可以从中确定用户瞳孔的取向的图像的相机类型通常相对昂贵、大且功耗高。类似地，这样的技术会对相机与用户眼睛的接近度施加限制，这对用于眼睛跟踪的设备施加了限制。然而，当在人工现实环境中执行眼睛跟踪时，使用小的且相对靠近用户眼睛的检测元件进行眼睛跟踪可能是优选的。
概述
深度感测系统被配置成扫描头戴式装置的用户的一个或更多个面部特征。深度感测系统可以被配置成扫描用户的一只或两只眼睛、用户的一只或两只耳朵、用户的前额、用户的某个其他面部特征或其某种组合。深度感测系统包括换能器芯片，该换能器芯片包括超声换能器的相控阵列，所该超声换能器在用户的面部特征处发射信号并检测来自面部特征的反射信号。在一些实施例中，控制器基于由相控阵列接收的反射信号来估计眼睛的取向。深度感测系统可以是头戴式装置的一部分，该头戴式装置包括被配置成向佩戴该头戴式装置的用户显示内容的显示元件。深度感测系统可以包括用于用户的每只眼睛的超声换能器的相控阵列。
深度感测系统可以估计眼睛的瞳孔轴的方向，并且基于所估计的瞳孔轴的方向以及基于瞳孔轴和中央凹轴(foveal axis)之间的偏移来估计眼睛的中央凹轴的方向。控制器可以被配置成部分地基于眼睛的特征的检测到的位置来估计眼睛的取向。例如，该特征可以是角膜的曲率、角膜-巩膜交界面、角膜下的虹膜特征和/或角膜顶(the vertex ofthe cornea)。
控制器可以将由换能器芯片发射的超声波束转向到眼睛上的不同定位。控制器通过测量眼睛上不同定位处的距离来生成眼睛的扫描。控制器可以基于到眼睛上不同定位的估计的距离来将超声波束的焦点调整到不同的深度。
在一些实施例中，头戴式装置包括框架和耦合到框架的换能器芯片。换能器芯片包括相控阵列中的多个超声换能器，该多个超声换能器被配置成发射超声波束并接收反射的超声信号。控制器被配置成基于反射的超声信号来估计头戴式装置的用户的眼睛的取向。
在一些实施例中，换能器芯片包括基底和位于基底上的超声换能器的相控阵列。每个超声换能器包括压电微机械超声换能器(PMUT)。相控阵列被配置成将超声波束转向到眼睛的不同定位。相控阵列被配置成接收来自反射离开眼睛的超声波束的反射的超声信号。
在一些实施例中，一种方法包括通过包括多个超声换能器的换能器芯片朝向眼睛发射多个超声波束。换能器芯片接收来自眼睛的反射信号。控制器基于接收的信号计算距离测量值。控制器基于计算的距离测量值来生成扫描。控制器基于扫描来估计眼睛的注视方向。
附图简述
图1A是根据一个或更多个实施例的实现为眼部佩戴物(eyewear)设备的头戴式装置的透视图。
图1B是根据一个或更多个实施例的实现为头戴式显示器的头戴式装置的透视图。
图2是根据一个或更多个实施例的具有深度感测系统的头戴式装置。
图3是根据一个或更多个实施例的换能器芯片的平面图。
图4是根据一个或更多个实施例的超声换能器的平面图。
图5是示出根据一个或更多个实施例的用于眼睛跟踪的过程的流程图。
图6是根据一个或更多个实施例的包括头戴式装置的系统。
附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。
详细描述
人工现实头戴式装置包括深度感测系统，该深度感测系统被配置成扫描头戴式装置的用户的一个或更多个面部特征。深度感测系统包括换能器芯片，该换能器芯片包括超声换能器的相控阵列，所述换能器芯片在用户的面部特征处发射信号并检测来自面部特征的反射信号。控制器基于反射信号估计面部特征的距离和取向。控制器可以将由换能器芯片发射的超声波束转向到面部特征上的不同定位。控制器通过测量面部特征上不同定位处的距离来生成面部特征的扫描。控制器可以基于到面部特征上不同定位的估计的距离来将超声波束的焦点调整到不同深度。
深度感测系统可以被配置成扫描各种面部特征。在一些实施例中，深度感测系统被配置成扫描用户的一只或两只眼睛并估计眼睛的注视方向。在一些实施例中，深度感测系统可以被配置成扫描用户的一只或两只耳朵，并确定用户的头部相关传递函数(HRTF)。在一些实施例中，深度感测系统可以被配置成扫描用户的前额并确定用户是否佩戴着头戴式装置。在一些实施例中，深度感测系统可以被配置成扫描嘴、脸颊、眼睛或其某种组合，并确定用户的面部表情。
与利用一个或更多个相机的深度感测系统相比，本文公开的相对小尺寸的深度感测系统使用较少的功率，并且允许换能器芯片位于离用户眼睛较近的框架内且相对于用户眼睛居中。另外，与使用多个分立的发射器和接收器的深度感测系统相比，本文公开的深度感测系统可以用具有换能器的相控阵列的单个换能器芯片来实现，该换能器的相控阵列可以将超声波束转向和聚焦到面部特征的不同定位。
本发明的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于在人工现实中创建内容和/或在人工现实中以其他方式被使用。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的可穿戴设备(例如，头戴式装置)、独立的可穿戴设备(例如，头戴式装置)、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
图1A是根据一个或更多个实施例的实现为眼部佩戴物设备的头戴式装置100的透视图。在一些实施例中，眼部佩戴物设备是近眼显示器(NED)。通常，头戴式装置100可以戴在用户的脸上，使得使用显示组件和/或音频系统呈现内容(例如，媒体内容)。然而，也可以使用头戴式装置100，使得媒体内容以不同的方式呈现给用户。头戴式装置100呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。头戴式装置100包括框架，并且可以包括显示组件、面向外的深度相机组件(DCA)、音频系统和位置传感器190以及其他部件，该显示组件包括一个或更多个显示元件120。虽然图1A示出了在头戴式装置100上的示例定位的头戴式装置100的部件，但是这些部件可以位于头戴式装置100上的别处、位于与头戴式装置100配对的外围设备上或者这两种位置的某种组合。类似地，头戴式装置100上的部件可能比图1A中所示的更多或更少。
框架110保持头戴式装置100的其他部件。框架110包括保持一个或更多个显示元件120的前部和附接到用户头部的末端件(例如，镜腿(temple))。框架110的前部架在(bridge)用户鼻子的顶部。末端件的长度可以是可调节的(例如，可调节的镜腿长度)以适合不同的用户。末端件还可以包括在用户耳朵后面弯曲(curl)的部分(例如，镜腿套(temple tip)、挂耳件(ear piece))。
一个或更多个显示元件120向佩戴头戴式装置100的用户提供光。如图所示，头戴式装置包括用于用户的每只眼睛的显示元件120。在一些实施例中，显示元件120生成提供给头戴式装置100的视窗(eyebox)的图像光。视窗是用户佩戴头戴式装置100时眼睛所占据的空间定位。例如，显示元件120可以是波导显示器。波导显示器包括光源(例如，二维光源、一个或更多个线光源、一个或更多个点光源等)和一个或更多个波导。来自光源的光被向内耦合到一个或更多个波导中，该波导以使得在头戴式装置100的视窗中存在光瞳复制(pupil replication)的方式输出光。来自一个或更多个波导的光的向内耦合和/或向外耦合可以使用一个或更多个衍射光栅来完成。在一些实施例中，波导显示器包括扫描元件(例如，波导、反射镜等)，当来自光源的光被向内耦合到一个或更多个波导中时，该扫描元件扫描来自光源的光。须注意，在一些实施例中，显示元件120中的一个或两个是不透明的并且不透射来自头戴式装置100周围的局部区域的光。局部区域是头戴式装置100周围的区域。例如，局部区域可以是佩戴头戴式装置100的用户所在的房间，或者佩戴头戴式装置100的用户可以在外面，并且局部区域是外部区域。在这种上下文中，头戴式装置100生成VR内容。可替代地，在一些实施例中，显示元件120中的一个或两个至少部分透明，使得来自局部区域的光可以与来自一个或更多个显示元件的光组合以产生AR和/或MR内容。
在一些实施例中，显示元件120不生成图像光，而是透镜将光从局部区域传送到视窗。例如，显示元件120中的一个或两个可以是无矫正的透镜(非处方透镜)，或者是处方透镜(例如，单视力透镜、双焦和三焦透镜或渐进透镜)以帮助矫正用户视力的缺陷。在一些实施例中，显示元件120可以被偏振和/或着色以保护用户的眼睛免受阳光照射。
在一些实施例中，显示元件120可以包括附加的光学块(未示出)。光学块可以包括将光从显示元件120引导至视窗的一个或更多个光学元件(例如，透镜、菲涅尔透镜等)。光学块可以例如校正一些或所有图像内容中的像差、放大图像的一些或全部、或其某种组合。
面向外的DCA确定头戴式装置100周围的局部区域的一部分的深度信息。面向外的DCA包括一个或更多个成像设备130和DCA控制器(未在图1A中示出)，并且还可以包括照明器140。在一些实施例中，照明器140用光照射局部区域的一部分。该光可以是例如，红外(IR)中的结构光(例如，点图案、条形(bar)等)、用于飞行时间的IR闪光等。在一些实施例中，一个或更多个成像设备130捕获包括来自照明器140的光的局部区域的部分的图像。如图所示，图1A示出了单个照明器140和两个成像设备130。在替代实施例中，没有照明器140和至少两个成像设备130。
DCA控制器使用捕获的图像和一种或更多种深度确定技术来计算局部区域的部分的深度信息。深度确定技术可以是例如直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用通过来自照明器140的光而被添加到场景的纹理)、确定场景的深度的某种其他技术或者它们的某种组合。面向外的DCA可以包括确定眼睛跟踪信息的深度感测系统。眼睛跟踪信息可以包括关于一只或两只眼睛(在它们各自的视窗内)的位置和取向的信息。
头戴式装置100包括深度感测系统150，该深度感测系统150被配置成扫描头戴式装置的用户的面部特征。深度感测系统150可以确定用户眼睛的取向。在一些实施例中，深度感测系统150可以扫描用户的一只或两只耳朵、用户的前额、用户的某个其他面部特征或其某种组合。在一些实施例中，用户的耳朵形状的扫描可以用于确定用户的头部相关传递函数(HRTF)。在一些实施例中，可以使用用户的前额或用户的其他面部特征的扫描来确定用户是否佩戴着头戴式装置。
深度感测系统150包括一个或更多个超声换能器。深度感测系统基于一个或更多个超声换能器对一只或两只眼睛的超声测量来估计一只或两只眼睛的角取向。在一些实施例中，深度感测系统还可以包括用照明图案(例如，结构光、闪光等)照射一只或两只眼睛的一个或更多个照明器和捕获眼睛的图像的一个或更多个相机。头戴式装置100可以提示用户选择加入(opt in)以允许深度感测系统150的操作。例如，通过选择加入，头戴式装置100可以检测并存储用户眼睛的扫描或图像或用户的任何眼睛跟踪信息。
深度感测系统150可以包括用于每只眼睛的单个换能器芯片。换能器芯片可以包括布置在相控阵列中的多个超声换能器。换能器芯片可以将超声波束转向和聚焦到眼睛上的不同定位，以测量距离并创建眼睛的扫描。深度感测系统150可以使用所发射的和所接收的超声波束的TOF测量值来计算到眼睛的不同部分的距离并估计眼睛的取向。下面结合图2-图6进一步描述深度感测系统150。
音频系统提供音频内容。音频系统包括换能器阵列、传感器阵列和音频控制器。然而，在其他实施例中，音频系统可以包括不同的和/或附加的部件。类似地，在一些情况下，参考音频系统的部件描述的功能可以以不同于这里描述的方式分布在部件之间。例如，控制器的一些或所有功能可以由远程服务器执行。
换能器阵列向用户呈现声音。换能器阵列包括多个换能器。换能器可以是扬声器160或组织换能器(tissue transducer)170(例如，骨传导换能器或软骨传导换能器)。尽管扬声器160被示出在框架110的外部，但是扬声器160可以被封闭在框架110中。在一些实施例中，代替用于每只耳朵的单独的扬声器，头戴式装置100包括扬声器阵列，该扬声器阵列包括集成到框架110中的多个扬声器，以改善所呈现的音频内容的方向性。组织换能器170耦合到用户的头部并直接振动用户的组织(例如，骨骼或软骨)以生成声音。换能器的数量和/或定位可以与图1A所示的不同。
传感器阵列检测头戴式装置100的局部区域内的声音。传感器阵列包括多个声学传感器180。声学传感器180捕获从局部区域(例如，房间)中的一个或更多个声源发出的声音。每个声学传感器被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。声学传感器180可以是声波传感器、麦克风、声音换能器或适用于检测声音的类似传感器。
在一些实施例中，一个或更多个声学传感器180可以放置在每只耳朵的耳道中(例如，充当双耳麦克风)。在一些实施例中，声学传感器180可以放置在头戴式装置100的外表面上、放置在头戴式装置100的内表面上、与头戴式装置100分离(例如，作为某种其他设备的一部分)、或者它们的某种组合。声学传感器180的数量和/或定位可以与图1A所示的不同。例如，可以增加声学检测定位的数量以增加收集的音频信息的量以及信息的灵敏度和/或准确性。声学检测定位可以被定向成使得麦克风能够在佩戴头戴式装置100的用户周围的大范围方向上检测声音。
音频控制器处理来自传感器阵列的信息，该信息描述了传感器阵列检测到的声音。音频控制器可以包括处理器和计算机可读存储介质。音频控制器可以被配置成生成到达方向(DOA)估计、生成声学传递函数(例如，阵列传递函数和/或头部相关传递函数)、跟踪声源的定位、在声源的方向上形成波束、对声源进行分类、为扬声器160生成声音滤波器、或者它们的某种组合。
位置传感器190响应于头戴式装置100的运动而生成一个或更多个测量信号。位置传感器190可以位于头戴式装置100的框架110的一部分上。位置传感器190可以包括惯性测量单元(IMU)。位置传感器190的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器190可以位于IMU的外部、IMU的内部或者它们的某种组合。
在一些实施例中，头戴式装置100可以提供头戴式装置100的位置的即时定位与地图映射(SLAM)以及局部区域的模型的更新。例如，头戴式装置100可以包括生成彩色图像数据的无源相机组件(PCA)。PCA可以包括一个或更多个RGB相机，其用于捕获一些或全部局部区域的图像。在一些实施例中，面向外的DCA的一些或所有成像设备130也可以用作PCA。由PCA捕获的图像和由面向外的DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型或者它们的某种组合。此外，位置传感器190跟踪头戴式装置100在房间内的位置(例如，定位和姿态)。下面结合图6讨论关于头戴式装置100的部件的附加细节。
图1B是根据一个或更多个实施例的实现为HMD的头戴式装置105的透视图。在描述AR系统和/或MR系统的实施例中，HMD前侧的部分在可见光波段(约380nm至750nm)中至少部分透明，并且在HMD前侧和用户的眼睛之间的HMD的部分至少是部分透明的(例如，部分透明的电子显示器)。HMD包括前刚性主体115和带175。头戴式装置105包括许多与上文参考图1A描述的相同的部件，但这些部件经过修改以与HMD形状因子集成。例如，HMD包括显示组件、深度感测系统150、面向外的DCA、音频系统和位置传感器190。图1B示出了照明器140、多个扬声器160、多个成像设备130、多个声学传感器180和位置传感器190。扬声器160可以位于不同的定位，例如耦合到带175(如图所示)、耦合到前刚性主体115、或者可以被配置成插入用户的耳道内。
图2示出了头戴式装置200中的深度感测系统。图1A的头戴式装置100可以是图2的头戴式装置200的实施例。图1A和图1B的深度感测系统150可以是头戴式装置200的深度感测系统的实施例。参照图2的深度感测系统描述的类似部件可以耦合到图1B的前刚性主体115。深度感测系统被配置成通过重复地扫描用户的眼睛210来跟踪眼睛210的位置。深度感测系统包括换能器芯片220和控制器230。用于左眼的换能器芯片220被示出。类似地，第二换能器芯片可以监视用户的右眼。
换能器芯片220既发射又接收超声信号。发射和接收超声信号允许换能器芯片220扫描眼睛210。本文中，{x1(t),…,xN(t)}表示由换能器芯片220发射的N个信号的集合，并且{y1(t),…,yR(t)}表示由换能器芯片220接收的R个信号的集合。在图2描绘的实施例中、换能器芯片220发射和接收两个信号(即，N＝R＝2)。然而，换能器芯片220可以发射和接收任何合适数量的信号以扫描眼睛210。
换能器芯片220可以耦合到框架110或嵌入框架110内。在一些实施例中，换能器芯片220可以在显示元件120的左边缘222和右边缘224之间居中。在一些实施例中，换能器芯片220可以在显示元件120的顶部边缘226和底部边缘228之间居中。如本文所使用的，“居中”指的是在两个参考定位之间的中点的20％内的定位。显示元件120的中心可以被估计为眼睛210的视窗的中心。因此，换能器芯片220可以位于眼睛210的视窗的垂直维度或水平维度的中心处。对于眼睛跟踪以外的用途，换能器芯片220可以位于框架110上的不同位置。例如，为了扫描用户的耳朵，换能器芯片220可以位于框架110的靠近该用户的耳朵的镜腿中。
换能器芯片220可以在至少一个维度上偏离眼睛210的中心离轴(off-axis)定位。换能器芯片220可以利用波束转向以允许换能器芯片220扫描轻微离轴的对象。换能器芯片220可以利用来自多个换能器240的输出的相长干涉和相消干涉，将波束朝向眼睛210转向。增加换能器240的数量或优化换能器240之间的距离可以增大波束转向角。在一些实施例中，换能器芯片220可以包括换能器240的矩形网格，其增加一个维度中的视场。在一些实施例中，换能器芯片220可以朝向眼睛210成角度，使得垂直于换能器芯片220表面的向量指向眼睛210。在一些实施例中，可以存在多个换能器芯片220，这些换能器芯片220位于框架110上的不同位置，这可以增加换能器芯片220的总视场。
换能器芯片220包括多个超声换能器240。超声换能器240可以包括压电微机械超声换能器(PMUT)，其是基于MEMS的压电超声换能器。每个超声换能器240尺寸较小(例如，100微米-1000微米)，这允许许多超声换能器240位于单个换能器芯片220上。超声换能器240被配置成以大约100kHz-1000kHz发出超声波。在一些实施例中，超声换能器240发射具有单个频率或在超声辐射的窄带频谱内的信号。可替代地，超声换能器240发射多个窄带频率。本文参照图3和图4进一步描述超声换能器240的几何形状。
超声换能器240可以被配置成相控阵列。换能器芯片220可以相应地形成超声波束，并将波束转向和聚焦以扫描眼睛210上的不同位置。换能器芯片220可以将波束转向跨过视场θ，视场θ可以在垂直方向和水平方向上均大约为40°至50°，或者均在30°至80°之间。另外，换能器芯片220可以将超声波束聚焦到不同的深度。可以改变多个换能器240之间的时间延迟以聚焦超声波束和/或将超声波束转向。时间延迟可以在波束的发射期间实现。在一些实施例中，可以在接收反射的波束期间采用类似的技术，以定位波束从其反射的点的x-y-z位置。例如，单个换能器240可用于发射超声波，而多个换能器240可用于接收反射的信号并测量多个换能器240之间的到达延迟。基于到眼睛210上的点的测量的距离，换能器芯片220随后可以将发射的超声波束聚焦到该测量的距离，以用于在同一位置处的未来的测量。在一些实施例中，在一次扫描(其中在多个位置处进行测量)期间，换能器芯片220可以基于到每个位置的估计的或先前测量的距离，将超声波束聚焦在不同的距离处。超声波束的宽度可以是相控阵列中超声换能器240的数量的函数。增加超声换能器240的数量可以减小超声波束的宽度，这可以允许超声波束被引导到更离散的位置。
所示的眼睛210包括角膜250和巩膜260。眼睛还包括视网膜、中央凹和视盘(optical disk)。角膜250是覆盖眼睛210的虹膜和瞳孔的曲面。角膜250通常从巩膜260的曲面突出。巩膜是眼睛的不透明的外部部分，包括胶原和弹性纤维。在一些实施例中，换能器芯片220朝向眼睛210的角膜250和巩膜260两者发射信号。因为角膜250从近似椭圆形的巩膜260向外伸出，所以深度感测系统150可以通过检测角膜250的位置来估计眼睛210的角取向。在一些实施例中，可以使用信号或不同信号的传播特性来确定角膜250的位置。例如，如果角膜250和巩膜260对于频率为f1的超声具有不同的折射率，则可以使用由角膜250和巩膜260反射的声音的不同振幅来区分角膜250和巩膜260。类似地，如果角膜250或巩膜260在第一频率f1处和在第二频率f2处具有不同的折射率，则可以使用这两个频率之间的反射能量的变化来区分由角膜250和由巩膜260反射的信号。
视网膜是在眼睛210后部的内层，其对光敏感并且包括中央凹，中央凹是沿着眼睛210的轴线270定位的视网膜中的凹陷，并且包括向用户提供清晰中心视觉的紧密堆积的视锥(cone)。眼睛210的轴线270是随着眼睛210移动而改变的眼睛210的取向。在图2中，眼睛210被描绘在其居中位置(即，直视前方)，因此图2中的眼睛210的轴线270是眼睛的中心轴。
深度感测系统被配置成通过在眼睛210的多个点处进行距离测量来扫描眼睛210。深度感测系统可以测量到角膜250上的多个点和到巩膜260上的多个点的距离。基于多次测量，深度感测系统可以对眼睛210的表面建模。在一些实施例中，深度感测系统可以测量到眼睛210的表面之下的多个点(诸如到视网膜或眼睛内的其他特征)的距离。在一些实施例中，头戴式装置200可以指示用户看某一点(诸如在显示元件上显示的光)，以建立眼睛210的基线位置。
深度感测系统估计用户眼睛的角取向。眼睛的角取向对应于用户在头戴式装置200内的注视方向，并且在本文中被定义为中央凹轴的方向，中央凹轴是眼睛的中央凹(在眼睛的视网膜上的凹部)和眼睛的瞳孔的中心之间的轴。通常，当用户的眼睛固定在一点上时，用户眼睛的中央凹轴与该点相交。眼睛还包括瞳孔轴，瞳孔轴是穿过瞳孔的中心的轴，其垂直于角膜表面。一般来说，瞳孔轴不直接与中央凹轴对齐。瞳孔轴和中央凹轴两者在瞳孔的中心相交，但是中央凹轴的取向从瞳孔轴横向偏移大约-1°到8°且垂直偏移大约±4°。因为中央凹轴是相对于位于眼睛后部的中央凹来定义的，所以当使用眼睛跟踪的某些方法时，可能难以或不可能检测中央凹轴。因此，在一些实施例中，深度感测系统检测瞳孔轴的取向，并基于检测到的瞳孔轴来估计中央凹轴。可替代地，深度感测系统通过直接检测中央凹的定位或眼睛的视网膜的其他特征的定位来估计中央凹轴。
通常，眼睛的移动对应于眼睛的角旋转(angular rotation)，还对应于眼睛的平移、眼睛扭转的变化或眼睛形状的变化。深度感测系统还可以检测眼睛的平移，该平移是眼睛相对于眼窝的位置变化。在一些实施例中，不直接检测眼睛的平移，而是基于来自检测到的角取向的映射来近似眼睛的平移。也可以检测对应于眼睛相对于深度感测系统的一个或更多个部件的位置变化的眼睛的平移。当头戴式装置100在用户头上的位置移动时，可以发生眼睛相对于深度感测系统的一个或更多个部件的平移。深度感测系统还可以检测眼睛的扭转，该扭转是眼睛围绕瞳孔轴的旋转。深度感测系统可以使用检测到的眼睛的扭转以基于检测到的瞳孔轴来估计中央凹轴的取向。深度感测系统还可以跟踪眼睛形状的变化，该变化可以近似为倾斜(skew)、缩放线性变换或扭曲变形(例如，由于扭转变形)。基于瞳孔轴的角取向、眼睛的平移、眼睛的扭转和当前形状的组合，深度感测系统可以估计中央凹轴。
在一些实施例中，深度感测系统可被用于检测头戴式装置200相对于用户的眼睛和头部的平移和旋转。在一些实施例中，深度感测系统可以测量瞳孔间距离，瞳孔间距离指的是用户的瞳孔之间的距离。在一些实施例中，深度感测系统可以通过使用巩膜260或其他身体特征作为参考点来检测头戴式装置200中由于外部应力或加速度而导致的变形。
为了估计用户眼睛的取向，深度感测系统包括换能器芯片220上的多个换能器240，这些换能器240产生由眼睛反射的超声信号。反射信号由换能器240检测。反射信号指示眼睛的形状、移动和取向，并且处理反射信号使得能够确定眼睛的取向。本文中，生成朝向眼睛发射的一个或更多个信号并检测一个或更多个因此得到的反射信号被表示为“扫描”眼睛。深度感应系统处理反射信号以生成“扫描”集合，其可被用于估计用户眼睛的取向。与传统的深度感测系统不同，超声深度感测系统可以在眼睛闭合时(例如，当用户眨眼时)跟踪眼睛。
深度感测系统可以包括用于用户的左眼的换能器芯片220和用于用户的右眼的附加换能器芯片。在一些实施例中，换能器是发射超声波的PMUT换能器。由于可以确定用户的两只眼睛的取向，深度感测系统能够确定用户在看哪里。基于眼睛的取向，头戴式装置100可以：确定用户的瞳孔间距离(IPD)，引入深度提示(例如，在用户的主要视线之外的模糊图像)，至少部分基于用户的至少一只眼睛的取向来执行另一功能，或其某种组合。
在一些实施例中，控制器230在眼睛跟踪之前生成或训练模型M。例如，控制器230在眼睛跟踪之前执行的校准序列期间训练模型M。控制器230包括指令，当由一个或更多个处理器、专用硬件单元或其某种组合执行时，该指令使一个或更多个处理器或专用硬件单元执行下面进一步描述的功能。在一些实施例中，控制器230在校准序列期间用换能器芯片220重复地扫描眼睛。例如，用户被指示看着在头戴式装置200的显示元件上显示的某个虚拟对象或视觉指示器。当用户看着视觉指示器时，眼睛的一部分被扫描，从而允许深度感测系统在眼睛的已知取向上捕获眼睛的样本扫描。这些样本扫描可以被组合到模型M中。在控制器230生成模型M之后，深度感测系统150可以随后跟踪用户的眼睛。在一些实施例中，控制器230在眼睛跟踪期间更新模型M。
超声信号和眼睛的部分之间的相互作用根据眼睛的部分的表面的几何形状或根据眼睛的部分的内部几何形状和声学特性而产生回声。回声传播回超声换能器，换能器将回声转换成电信号。反射信号被用于确定眼睛的表面的形状和/或眼睛的内部几何形状。
在一些实施例中，控制器230控制由换能器芯片220发射的信号的频率或波形。此外，控制器230可以包括与换能器芯片220结合使用的一个或更多个移相器以实现相控阵列。移相器可以实现固定的相移(例如，利用无源移相器)或由控制器230控制的相移(例如，用于波束转向)。为了在相控阵列中实现波束转向，控制器230可以在控制子系统中包括一个或更多个数模转换器和数字信号处理系统，以生成具有适当相移的信号。控制器230还可以包括由控制器230的控制子系统控制的一个或更多个压控振荡器(VCO)。控制器230输出N个电信号的集合{x1(t),…,xN(t)}，该N个电信号驱动换能器芯片220的N个换能器240，以生成超声辐射。
控制器230从换能器芯片220接收电信号。在各种实施例中，控制器230接收由换能器芯片220响应于接收到的信号而生成的R个电信号{y1(t),…,yR(t)}。换能器芯片220接收的信号是来自发射信号的反射和随机噪声的组合。控制器230处理接收的电信号{y1(t),…,yR(t)}。例如，控制器230使用高通滤波器、低通滤波器、带通滤波器、移相器、其他模拟信号处理部件或其某种组合来处理接收的电信号。控制器230可以使用模数转换器、数字或模拟下变频器(down converter)、功率检测器、振幅检测器、相位检测器、频率检测器、相关器或其某种组合来检测经处理的信号的特性或将经处理的电信号转换为数字信号。
基于检测到的特性或数字信号，控制器230创建K个扫描的集合{S1,…,SK}。每个扫描，对于i∈{1,…,K}的Si，可以与时间范围对应地基于接收的信号{y1(t),…,yR(t)}中的每个信号的一部分或基于多个接收的信号(例如，完整集合{y1(t),…,yR(t)})。在换能器芯片220发射超声声音的脉冲的实施例中，发射多个脉冲的时间段可以被用于生成单个扫描。在一些实施例中，不同的扫描对应于眼睛不同部分的横截面。每个扫描的横截面平面都可以是平行的，并且平面可以间隔固定距离(例如2.4/K cm，其中K是扫描的数量)。在一些实施例中，控制器230产生1维(1D)扫描。
扫描的集合{S1,…,SK}可以被用于产生眼睛的取向的单个估计。如上所述，可以在某个时间范围内(例如，T1<t<T2)基于{y1(t),…,yR(t)}的值生成扫描的集合{S1,…,SK}，该时间范围在本文也被称为“帧”。在一些实施例中，所有帧具有固定的持续时间并以恒定的频率出现。在一些实施例中，帧在时间上不重叠，因此来自一个帧的扫描集合不包括来自另一帧的附加扫描集合。因此，从不同的、非重叠的时间段生成来自不同帧的扫描集合。在其他实施例中，帧在时间上重叠，其中帧的扫描基于来自一个或更多个先前帧的信号或扫描，而不是基于来自对应于后来时间的帧的信号或扫描。为了说明的目的，对于单个帧，本文参照单个扫描集合{S1,…,SK}讨论了扫描眼睛和估计眼睛的取向。然而，本文关于从单个帧估计眼睛的取向的描述可被应用于基于附加帧估计眼睛随时间的取向。
在一些实施例中，控制器230输出单个3D扫描，该3D扫描可以基于2D扫描的集合(例如，横截面)。单个3D扫描可以是嵌入在3D空间中的2D表面(例如，眼睛的表面或视网膜的表面)或眼睛的一部分的3D体积。眼睛的一部分的3D体积可以指示折射率、声衰减率(例如，以dB/cm为单位)、散射率、折射率的变化率(例如，折射率的函数的梯度的大小)、或者其某种组合。因此，3D体积可以是将三个空间维度映射到在各个点处的折射率的估计或映射到另一合适的量的估计的函数。
在一些实施例中，眼睛的特定特征由控制器230跟踪。例如，控制器230跟踪眼睛的表面特征，诸如：角膜、巩膜、角膜和巩膜的交界面、角膜顶、巩膜上的血管或某种其他偏差(deviation)、任何其他合适的外部特征以及它们的某种组合。在其他示例中，控制器230跟踪眼睛的一个或更多个内部特征，诸如：视网膜、晶状体、中央凹、视盘、一个或更多个血管、任何其他合适的内部特征及其某种组合。可以从眼睛的扫描确定被跟踪特征的定位，该定位可以被用于估计眼睛的取向。为了跟踪特征，可基于被跟踪特征在与比当前时间早的时间对应的帧中的位置或被跟踪特征的检测到的速度来确定被跟踪特征的预期位置。可以选择性地扫描眼睛的包括该预期位置的区域或体积以跟踪特征。然而，控制器230可以使用任何合适的方法来分别确定偏航和俯仰的值α和β，对此，模型M和扫描的集合{S1,…,SK}最接近地匹配。
在一些实施例中，控制器230被配置成测量到除眼睛之外的面部特征的距离。例如，控制器230可以被配置成测量换能器芯片220与用户的鼻梁或前额之间的距离，并且测量的距离可被利用以确定用户是否佩戴着头戴式装置200。在一些实施例中，控制器230被配置成扫描用户的耳朵以确定耳朵形状并确定用户的HRTF。在一些实施例中，控制器230可以被配置成跟踪面部特征(诸如用户的嘴或脸颊)，以确定面部表情。换能器芯片220可将超声波束引导到面部特征并检测来自面部特征的反射超声波以测量距离。例如，可以利用测量的距离来确定头戴式装置200在用户脸上的位置。头戴式装置200可以使用测量的距离来调整头戴式装置的显示、音频或其他方面。在一些实施例中，头戴式装置200可以利用到面部特征的测量的距离来确定用户是否佩戴着头戴式装置200。例如，响应于测量的距离为1cm-7cm之间，头戴式装置200可以确定用户佩戴着头戴式装置200，并且头戴式装置可以处于活动模式。相反，响应于测量的距离为大于7cm，或者响应于该距离是不可测量的(例如，如果没有检测到反射信号)，头戴式装置200可以确定头戴式装置200没有被用户佩戴，并且头戴式装置200的各种系统可以被停用以节省电池功率。在一些实施例中，当头戴式装置200处于睡眠模式时，控制器230可以指示换能器芯片220以规则间隔(诸如每10秒一次)发射超声脉冲，以确定是否检测到面部特征，检测到面部特征指示用户将头戴式装置200放置在用户头上并且头戴式装置200应该激活任何已停用的系统。
图3示出了根据实施例的换能器芯片300的平面图。换能器芯片300可以是图2的换能器芯片220的实施例。换能器芯片300包括位于基底320上的超声换能器310的阵列。每个超声换能器310可以耦合到基底320上的相应的键合焊盘(bond pad)。每个超声换能器310可以单独可控，使得超声换能器310的阵列可以用作相控阵列。如图所示，换能器芯片300包括布置成五行和五列超声换能器310的网格的25个超声换能器310。然而，在其他实施例中，可以利用不同数量和布置的超声换能器310。
基底320可以包括近似正方形的形状。基底320可以包括大约2mm或在1mm-10mm之间的宽度W1。每个超声换能器310可以包括大约100微米-1000微米的宽度W2。相邻超声换能器310的中心之间的距离D可以是大约200微米-800微米。在一些实施例中，相邻超声换能器310的中心之间的距离D可以是非周期性的。在一些实施例中，相邻超声换能器310的中心之间的距离D在水平方向(如图所示的从左到右)上与在垂直方向(如图所示的从上到下)上可以不同。距离D可能影响最大波束转向角以及旁瓣的大小和角度，除了主波束外，旁瓣还可能以各种角度产生次级波束。在一些实施例中，多个换能器芯片300可以制造在单个晶片(die)上，并且晶片可以被切割以分离各个换能器芯片300。
图4示出了根据实施例的超声换能器400的平面图。超声换能器400可以是图2的换能器240的实施例。超声换能器400被配置成以适合于测量头戴式装置和头戴式装置的用户的面部特征(诸如用户的眼睛)之间的距离的频率发射和检测超声波。头戴式装置与用户的面部特征之间的距离通常在1cm-7cm之间。为了测量这个范围内的距离，可以利用大约100kHz-1000kHz的超声波。
超声换能器400可以包括PMUT换能器。超声换能器400包括被配置成振动以发射或检测超声波的膜410。膜410被配置成在垂直于膜410的表面的方向上(即，进入页面和离开页面)振动。超声换能器400可以包括在膜410和基底之间的腔，超声换能器被安装在该基底上，膜410可以振动到该腔中。超声换能器400还包括位于膜410的每个拐角处的多个支撑结构420，该多个支撑结构420被配置成将膜410锚定到基底上。膜410可以包括具有大约200微米-600微米的长度L1的大体上正方形的形状。
对于小型超声换能器，诸如超声换能器400，发射的超声波的频率趋于相对高。较高频率的信号可能在短距离内衰减，这可能使高频(例如超过10000kHz)不适于测量1cm-7cm的期望范围内的距离。超声换能器400包括在膜410的一个或更多个侧部上的切口部分430(也称为间隙)。尽管移除切口部分430可能降低了由膜410发射的超声波的压力，但是切口部分430可以降低发射的超声波的频率，并导致超声波在100kHz-1000kHz之间的期望频率范围内被发射。如图所示，切口部分430包括大约1微米-10微米的切口宽度CW和大约200微米-400微米的切口长度CL。在一些实施例中，切口宽度CW可以在1微米-50微米之间。在一些实施例中，切口长度CL可以在100微米-500微米之间。在一些实施例中，超声换能器400的频率可以通过调节切口宽度CW和切口长度CL来调谐。在所示的实施例中，切口部分430导致膜410具有长度L2为大约200微米-400微米的中心部分450，以及位于膜410的每个拐角处并具有大约10微米-50微米的宽度W的锚定部分460。锚定部分460耦合到支撑结构420，并被配置成将膜410耦合至基底。锚定部分460的尺寸影响切口部分430的尺寸，切口部分430的尺寸转而影响声学特性，诸如损失多少声压以及换能器频率。在一些实施例中，锚定部分460可以包括诸如圆形形状的非正方形形状，这可以通过将应力分布在圆形形状上来提高冲击和跌落鲁棒性。中心部分450的长度L2小于跨锚定部分460测量的膜410的长度L1。在所示的实施例中，切口部分430是矩形的。然而，在其他实施例中，切口部分430可以包括弧形、三角形或任何其他合适的形状。切口部分430在不增加膜410的尺寸的情况下降低膜410的共振频率。切口部分430可以降低膜410的刚度，这转而降低膜410的共振频率。
图5是根据一个或更多个实施例的用于眼睛跟踪的方法的流程图500。图5所示的过程可以由深度感测系统(例如，深度感测系统150)的部件来执行。在其他实施例中，其他实体可以执行图5中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
一种头戴式装置包括具有换能器芯片的深度感测系统。换能器芯片朝向眼睛发射510多个超声波束。换能器芯片可以包括超声换能器的相控阵列。相控阵列中的每个换能器可以包括PMUT换能器。换能器芯片可以向眼睛上的多个定位中的每一个发射超声波束。这些定位中的一个或更多个可以在眼睛的巩膜上，并且这些定位中的一个或更多个可以在眼睛的角膜上。超声换能器的相控阵列可以被利用以将超声波束转向不同的位置。
换能器芯片接收520来自眼睛的反射信号。反射信号可以包括由换能器芯片生成并由眼睛反射的超声波。换能器芯片可以接收针对由换能器发射的每个超声波束的反射信号。换能器芯片将接收的信号转换成由控制器测量的电信号。
控制器基于接收的信号计算530距离测量值。距离测量值表示换能器芯片与超声波束被引导到的定位之间的距离。在一些实施例中，可以使用飞行时间计算来计算距离。可以使用接收的信号的包络检测、I/Q解调、基于阈值的检测或其某种组合来执行飞行时间计算。检测多个换能器之间的到达时间可以被用于获得除了深度信息之外的关于x-y位置的信息。控制器可以计算针对超声波束被引导到的每个定位的距离测量值。
控制器基于计算的距离生成540扫描。扫描可以包括在超声波束被引导到的每个定位处测量的距离。在一些实施例中，训练扫描可以比跟踪扫描包括更多个计算的距离。例如，训练扫描可以包括到眼睛上不同定位的8-20个距离测量值，以便生成眼睛的模型。眼睛的模型可以描述角膜和巩膜的定位。后续的跟踪扫描可以包括到眼睛的不同定位的5-10个距离测量值，以便确定眼睛的后续取向。一旦通过训练扫描建立了角膜的大体定位，控制器就可以为后续的跟踪扫描选择角膜上的一个或更多个定位和巩膜上的一个或更多个定位。与训练扫描相比，为跟踪扫描使用更少的定位可以允许深度感测系统以更快的帧速率并使用更少的功率来跟踪眼睛。
控制器基于扫描估计550眼睛的注视方向。控制器可以分析扫描以检测角膜的定位。基于角膜的定位，控制器可以估计眼睛的瞳孔轴的方向，并且基于所估计的瞳孔轴的方向以及基于瞳孔轴和中央凹轴之间的偏移来估计眼睛的中央凹轴的方向。注视方向可以由头戴式装置用于各种目的，诸如以显示内容、以修改在用户的主焦点之外的显示内容的分辨率、以校准深度感测系统、以基于注视方向提供音频内容或用于任何其他合适的目的。
图6是根据一个或更多个实施例的包括头戴式装置605的系统600。在一些实施例中，头戴式装置605可以是图1A的头戴式装置100或图1B的头戴式装置105。系统600可以在人工现实环境(例如，虚拟现实环境、增强现实环境、混合现实环境或其某种组合)中操作。图6所示的系统600包括头戴式装置605、耦合到控制台615的输入/输出(I/O)接口610和网络620。虽然图6示出了包括一个头戴式装置605和一个I/O接口610的示例系统600，但是在其他实施例中，系统600中可以包括任意数量的这些部件。例如，可以有多个头戴式装置，每个头戴式装置具有相关联的I/O接口610，每个头戴式装置和I/O接口610与控制台615通信。在替代配置中，系统600中可以包括不同的和/或附加的部件。此外，在一些实施例中，结合图6中所示的一个或更多个部件描述的功能可以以与结合图6描述的方式不同的方式分布在部件之间。例如，控制台615的一些或全部功能可以由头戴式装置605提供。
头戴式装置605包括深度感测系统625、显示组件630、光学块635、一个或更多个位置传感器640和面向外的DCA 645。头戴式装置605的一些实施例具有与结合图6描述的部件不同的部件。此外，在其他实施例中，由结合图6描述的各种部件提供的功能可以不同地分布在头戴式装置605的部件之间，或者被捕获在远离头戴式装置605的单独组件中。
深度感测系统625被配置成扫描头戴式装置的用户的面部特征。深度感测系统625可以确定用户眼睛的取向。在一些实施例中，深度感测系统625可以扫描用户的一只或两只耳朵、用户的前额、用户的某个其他面部特征或其某种组合。深度感测系统625包括一个或更多个超声换能器。深度感测系统基于一个或更多个超声换能器对一只或两只眼睛的超声测量来估计一只或两只眼睛的角取向。在一些实施例中，深度感测系统还可以包括用照明图案(例如，结构光、闪光等)照射一只或两只眼睛的一个或更多个照明器和捕获眼睛图像的一个或更多个相机。头戴式装置605可以提示用户选择加入以允许深度感测系统625的操作。例如，通过选择加入，头戴式装置605可以检测并存储用户眼睛的扫描或图像或用户的任何眼睛跟踪信息。
深度感测系统625可以包括用于每只眼睛的单个换能器芯片。换能器芯片可以包括布置在相控阵列中的多个超声换能器。换能器芯片可以将超声波束转向和聚焦到眼睛上的不同定位，以测量距离并创建眼睛的扫描。深度感测系统625可以使用所发射的和所接收的超声波束的TOF测量值来计算到眼睛的不同部分的距离并估计眼睛的取向。
深度感测系统625可以向头戴式装置605的其他部件和控制台615提供描述眼睛的取向和注视方向的信息。例如，显示组件630可以修改显示以在注视方向的区域中具有增加的分辨率。类似地，面向外的DCA 645可以增加在注视方向的区域中的深度计算的分辨率。音频系统650可以基于注视方向生成音频内容。
显示组件630根据从控制台615接收的数据向用户显示内容。显示组件630使用一个或更多个显示元件(例如，显示元件120)显示内容。显示元件可以是例如电子显示器。在各种实施例中，显示组件630包括单个显示元件或多个显示元件(例如，用于用户的每只眼睛的显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或其某种组合。须注意，在一些实施例中，显示元件120还可以包括光学块635的一些或全部功能。
光学块635可以放大从电子显示器接收到的图像光，校正与图像光相关联的光学误差，并且将校正后的图像光呈现给头戴式装置605的一个或两个视窗。在各种实施例中，光学块635包括一个或更多个光学元件。光学块635中包括的示例光学元件包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块635可以包括不同光学元件的组合。在一些实施例中，光学块635中的一个或更多个光学元件可以具有一个或更多个涂层，例如部分反射涂层或抗反射涂层。
光学块635对图像光的放大和聚焦允许电子显示器比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增大电子显示器所呈现的内容的视场。例如，显示的内容的视场使得显示的内容使用用户的几乎所有视场(例如，约110度对角线)来呈现，并且在某些情况下，使用用户的所有视场来呈现。此外在一些实施例中，可以通过添加或移除光学元件来调整放大量。
在一些实施例中，光学块635可以被设计成校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色差(chromatic aberrations)或由于透镜像场弯曲(lens fieldcurvature)、散光引起的误差或任何其他类型的光学误差。在一些实施例中，被提供给电子显示器用于显示的内容被预失真，并且当光学块635从电子显示器接收基于内容生成的图像光时，光学块635校正失真。
位置传感器640是生成指示头戴式装置605的位置的数据的电子设备。位置传感器640响应于头戴式装置605的运动而生成一个或更多个测量信号。位置传感器190是位置传感器640的实施例。位置传感器640的示例包括：一个或更多个IMU、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器或其某种组合。位置传感器640可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU对测量信号进行快速采样并根据所采样的数据计算头戴式装置605的所估计的位置。例如，IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量并且对速度矢量在时间上求积分以确定头戴式装置605上的参考点的估计位置。参考点是可以用来描述头戴式装置605的位置的点。虽然参考点通常可以定义为空间中的点，然而实际上参考点被定义为头戴式装置605内的点。
面向外的DCA 645为局部区域的一部分生成深度信息。面向外的DCA包括DCA控制器和一个或更多个成像设备。面向外的DCA 645还可以包括照明器。面向外的DCA 645的操作和结构在上面关于图1A进行了描述。
音频系统650向头戴式装置605的用户提供音频内容。音频系统650基本上与上述音频系统相同。音频系统650可以包括一个或更多个声学传感器、一个或更多个换能器和音频控制器。音频系统650可以向用户提供空间化的音频内容。在一些实施例中，音频系统650可以通过网络620从映射服务器请求声学参数。声学参数描述局部区域的一个或更多个声学特性(例如，房间脉冲响应、混响时间、混响水平等)。音频系统650可以提供来自例如面向外的DCA 645的描述局部区域的至少一部分的信息和/或来自位置传感器640的头戴式装置605的定位信息。音频系统650可以使用从映射服务器接收的一个或更多个声学参数生成一个或更多个声音滤波器，并使用声音滤波器向用户提供音频内容。
I/O接口610是允许用户发送动作请求并从控制台615接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束捕获图像或视频数据的指令，或者是在应用内执行特定动作的指令。I/O接口610可以包括一个或更多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台615的任何其他合适的设备。由I/O接口610接收的动作请求被传送到控制台615，控制台615执行对应于动作请求的动作。在一些实施例中，I/O接口610包括IMU，其捕获指示相对于I/O接口610的初始位置的I/O接口610的估计位置的校准数据。在一些实施例中，I/O接口610可以根据从控制台615接收的指令来向用户提供触觉反馈。例如，当动作请求被接收到时，或者当控制台615向I/O接口610传送使I/O接口610在控制台615执行动作时生成触觉反馈的指令时，触觉反馈被提供。
控制台615向头戴式装置605提供内容以根据从以下一项或更多项接收到的信息进行处理：面向外的DCA 645、头戴式装置605和I/O接口610。在图6所示的示例中，控制台615包括应用储存器655、跟踪模块660和引擎665。控制台615的一些实施例具有与结合图6描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图6描述的方式分布在控制台615的部件之间。在一些实施例中，本文关于控制台615讨论的功能可以在头戴式装置605或远程系统中实现。
应用储存器655存储用于由控制台615执行的一个或更多个应用。应用是一组指令，该组指令在由处理器执行时生成用于呈现给用户的内容。应用生成的内容可以响应于经由头戴式装置605或I/O接口610的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块660使用来自面向外的DCA 645、一个或更多个位置传感器640或其某种组合的信息来跟踪头戴式装置605或I/O接口610的移动。例如，跟踪模块660基于来自头戴式装置605的信息来确定在局部区域的映射中头戴式装置605的参考点的位置。跟踪模块660还可以确定对象或虚拟对象的位置。另外，在一些实施例中，跟踪模块660可以使用来自位置传感器640的指示头戴式装置605的位置的数据的部分以及来自面向外的DCA 645的局部区域的表示来预测头戴式装置605的未来定位。跟踪模块660向引擎665提供头戴式装置605或I/O接口610的估计的或预测的未来位置。
引擎665执行应用，并从跟踪模块660接收头戴式装置605的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息，引擎665确定提供给头戴式装置605以呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎665生成用于头戴式装置605的内容，该内容反映(mirror)用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。另外，引擎665响应于从I/O接口610接收的动作请求来执行在控制台615上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由头戴式装置605的视觉或听觉反馈或经由I/O接口610的触觉反馈。
网络620将头戴式装置605和/或控制台615耦合到外部系统。网络620可以包括使用无线和/或有线通信系统的局域网和/或广域网的任意组合。例如，网络620可以包括互联网以及移动电话网络。在一个实施例中，网络620使用标准通信技术和/或协议。因此，网络620可以包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、2G/3G/4G移动通信协议、数字用户线(DSL)、异步传输模式(ATM)、无限带宽、PCI Express高级交换等的技术的链路。类似地，网络620上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络620交换的数据可以使用包括二进制形式的图像数据(例如，便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、互联网协议安全(IPsec)等的传统加密技术对所有或一些链路进行加密。
系统600的一个或更多个部件可以包含隐私模块，其存储针对用户数据元素的一个或更多个隐私设置。用户数据元素描述用户或头戴式装置605。例如，用户数据元素可以描述用户的物理特征、用户执行的动作、头戴式装置605的用户的定位、头戴式装置605的定位、用户的HRTF等。针对用户数据元素的隐私设置(或“访问设置”)可以以任何合适的方式存储，诸如与用户数据元素相关联地存储、存储在授权服务器上的索引中、以另一种合适的方式存储、或其任何合适的组合。
针对用户数据元素的隐私设置指定可以如何访问、存储或以其他方式使用(例如，查看、共享、修改、复制、执行、表面化(surfaced)或识别)用户数据元素(或与用户数据元素相关联的特定信息)。在一些实施例中，针对用户数据元素的隐私设置可以指定不可访问与用户数据元素相关联的某些信息的实体的“黑名单(blocked list)”。与用户数据元素相关联的隐私设置可以指定准许访问或拒绝访问的任何合适的粒度。例如，一些实体可能具有看到特定用户数据元素存在的权限，一些实体可能具有查看特定用户数据元素的内容的权限，以及一些实体可能具有修改特定用户数据元素的权限。隐私设置可以允许用户允许其他实体在有限的时间段内访问或存储用户数据元素。
隐私设置可以允许用户指定可以访问用户数据元素的一个或更多个地理定位。对用户数据元素的访问或拒绝访问可能取决于试图访问用户数据元素的实体的地理定位。例如，用户可以允许对用户数据元素的访问，并且指定只有当用户在特定定位时，实体才可以访问用户数据元素。如果用户离开特定定位，则实体可能不再能够访问用户数据元素。作为另一个示例，用户可以指定用户数据元素仅对距用户阈值距离内的实体(例如与用户在同一局部区域内的头戴式装置的另一个用户)可访问。如果用户后续改变定位，对用户数据元素具有访问权的实体可能会失去访问权，而新的实体组可能会在它们进入用户的阈值距离内时获得访问权。
系统600可以包括一个或更多个授权/隐私服务器，用于实施隐私设置。来自实体的对特定用户数据元素的请求可以识别与该请求相关联的实体，并且只有当授权服务器基于与该用户数据元素相关联的隐私设置确定该实体被授权访问该用户数据元素时，该用户数据元素才可以被发送给该实体。如果请求实体未被授权访问用户数据元素，则授权服务器可以阻止所请求的用户数据元素被检索，或者可以阻止所请求的用户数据元素被发送给该实体。尽管本公开描述了以特定方式实施隐私设置，但是本公开设想了以任何合适的方式实施隐私设置。
附加的配置信息
为了说明提出了实施例的前述描述；它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域的技术人员可以理解，考虑到上述公开，许多修改和变化是可能的。
此描述的一些部分在对信息的操作的算法和符号表示方面描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为要由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置视为模块有时也被证明是方便的而不失一般性。所描述的操作及其相关模块可以体现在软件、固件、硬件或它们的任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括计算机可读介质的计算机程序产品来实现软件模块，该计算机可读介质包含计算机程序代码，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
实施例还可以涉及用于执行本文的操作的装置。该装置可以被特别构造用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非暂时性的、有形的计算机可读存储介质、或适于存储电子指令的任何类型的介质中，所述介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。
实施例还可以涉及通过本文描述的计算过程生产的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，说明书中使用的语言主要是出于可读性和指导性的目的而选择的，并且它可能不是为了描述或限制专利权利而选择的。因此旨在，专利权利的范围不受此详细描述的限制，而是受在基于此的申请上发布的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在所附权利要求中阐述的专利权利的范围。

Claims (20)

1.一种头戴式装置，包括：
框架；
耦合到所述框架的换能器芯片，所述换能器芯片包括相控阵列中的多个超声换能器，所述多个超声换能器被配置成发射超声波束并接收反射的超声信号；和
控制器，所述控制器被配置成基于所述反射的超声信号来估计所述头戴式装置的用户的眼睛的取向。
2.根据权利要求1所述的头戴式装置，其中，所述多个超声换能器包括多个压电微机械超声换能器(PMUT)或多个电容式微机械超声换能器(CMUT)。
3.根据权利要求1所述的头戴式装置，其中，所述控制器被配置成将由所述多个超声换能器发射的超声波束转向。
4.根据权利要求1所述的头戴式装置，其中，所述换能器芯片相对于所述头戴式装置的显示元件的垂直轴或水平轴居中。
5.根据权利要求1所述的头戴式装置，其中，所述多个超声换能器中的一个超声换能器包括在该超声换能器的膜的至少一侧上的切口部分。
6.根据权利要求1所述的头戴式装置，其中，所述控制器被配置成通过计算到用户的所述眼睛的多个定位的深度测量值来扫描所述眼睛。
7.根据权利要求1所述的头戴式装置，其中，所述控制器被配置成调整发射的超声波束的焦点并将所述发射的超声波束转向。
8.一种换能器芯片，包括：
基底；和
超声换能器的相控阵列，其被定位在所述基底上，
其中，所述超声换能器中的每个超声换能器包括压电微机械超声换能器(PMUT)，
其中，所述相控阵列被配置成将超声波束转向到眼睛的不同定位，并且
其中，所述相控阵列被配置成接收来自反射离开所述眼睛的超声波束的反射的超声信号。
9.根据权利要求8所述的换能器芯片，其中，所述超声换能器中的每个超声换能器是单独可控的。
10.根据权利要求8所述的换能器芯片，其中，所述超声换能器中的每个超声换能器的宽度在100微米-1000微米之间。
11.根据权利要求8所述的换能器芯片，其中，所述超声换能器中的每个超声换能器包括膜，所述膜在所述膜的至少一侧上具有切口部分，其中，所述切口部分降低所述膜的共振频率。
12.根据权利要求11所述的换能器芯片，其中，所述切口部分的宽度在1微米-10微米之间。
13.根据权利要求11所述的换能器芯片，其中，所述膜包括位于所述膜的每个拐角处的锚定部分。
14.根据权利要求8所述的换能器芯片，其中，所述超声换能器被配置成发射100kHz-1000kHz之间的超声波。
15.一种方法，包括：
由包括多个超声换能器的换能器芯片朝向眼睛发射多个超声波束；
由所述换能器芯片接收来自所述眼睛的反射信号；
由控制器基于接收的信号计算距离测量值；
由所述控制器基于计算的距离测量值生成扫描；
由所述控制器基于所述扫描估计所述眼睛的注视方向。
16.根据权利要求15所述的方法，还包括：
将所述多个超声波束中的第一超声波束转向到所述眼睛上的第一定位；以及
将所述多个超声波束中的第二超声波束转向到所述眼睛上的第二定位。
17.根据权利要求15所述的方法，还包括由所述换能器芯片将所述反射信号转换成由所述控制器测量的电信号。
18.根据权利要求15所述的方法，其中，所述扫描包括训练扫描，所述训练扫描包括在所述眼睛上的第一数量的定位处的距离测量值，并且所述方法还包括生成跟踪扫描，其中，所述跟踪扫描包括在所述眼睛上的第二数量的定位处的距离测量值，其中，所述第二数量小于所述第一数量。
19.根据权利要求15所述的方法，其中，估计所述注视方向包括：
估计所述眼睛的瞳孔轴的方向；以及
基于估计的所述瞳孔轴的方向以及基于所述瞳孔轴与所述眼睛的中央凹轴之间的偏移来估计所述中央凹轴的方向。
20.根据权利要求15所述的方法，其中，所述多个超声换能器中的每个超声换能器包括压电微机械超声换能器(PMUT)。
CN202210225110.2A 2021-03-09 2022-03-09 用于深度感测的超声换能器的相控阵列 Pending CN115047465A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/196,130 2021-03-09
US17/196,130 US11526018B2 (en) 2021-03-09 2021-03-09 Phased array of ultrasound transducers for depth sensing

Publications (1)

Publication Number Publication Date
CN115047465A true CN115047465A (zh) 2022-09-13

Family

ID=83157450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210225110.2A Pending CN115047465A (zh) 2021-03-09 2022-03-09 用于深度感测的超声换能器的相控阵列

Country Status (2)

Country Link
US (1) US11526018B2 (zh)
CN (1) CN115047465A (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346178B2 (en) * 2004-10-29 2008-03-18 Silicon Matrix Pte. Ltd. Backplateless silicon microphone
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US20140265720A1 (en) * 2013-03-14 2014-09-18 The Royal Institution For The Advancement Of Learning / Mcgill University Methods and devices relating to capacitive micromachined diaphragms and transducers
US10624613B2 (en) * 2016-01-15 2020-04-21 Butterfly Network, Inc. Ultrasound signal processing circuitry and related apparatus and methods
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
US11387804B2 (en) * 2019-05-06 2022-07-12 Ecole Technologie Superieure Electromechanically damped resonator devices and methods

Also Published As

Publication number Publication date
US11526018B2 (en) 2022-12-13
US20220291513A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US11743628B2 (en) Hybrid audio system for eyewear devices
US10908279B2 (en) Ultrasound/radar for eye tracking
US10638251B2 (en) Customizing head-related transfer functions based on monitored responses to audio content
US11234092B2 (en) Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset
KR102506095B1 (ko) 안경류 장치들을 위한 연골 전도 오디오 시스템
US11523240B2 (en) Selecting spatial locations for audio personalization
US11082794B2 (en) Compensating for effects of headset on head related transfer functions
US11605191B1 (en) Spatial audio and avatar control at headset using audio signals
CN114223212A (zh) 组织换能器的调节机构
CN114208208A (zh) 基于个性化声传递函数的穿戴者识别
US11234095B1 (en) Adjusting acoustic parameters based on headset position
US11526018B2 (en) Phased array of ultrasound transducers for depth sensing
TW202307823A (zh) 用於進行眼部測量的超音波裝置
US12008700B1 (en) Spatial audio and avatar control at headset using audio signals
US11564038B1 (en) Spherical harmonic decomposition of a sound field detected by an equatorial acoustic sensor array
EP3609199A1 (en) Customizing head-related transfer functions based on monitored responses to audio content
CN117377927A (zh) 带拇指压力感测的手持控制器
CN117795395A (zh) 用于预测注视距离的光学系统和方法
CN117882032A (zh) 用于执行眼动追踪的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination