CN114073101B - 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形 - Google Patents

用于提高使用头戴式设备采集的信号的信噪比的动态波束成形 Download PDF

Info

Publication number
CN114073101B
CN114073101B CN202080047279.2A CN202080047279A CN114073101B CN 114073101 B CN114073101 B CN 114073101B CN 202080047279 A CN202080047279 A CN 202080047279A CN 114073101 B CN114073101 B CN 114073101B
Authority
CN
China
Prior art keywords
signal
beamformer
microphone
noise
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080047279.2A
Other languages
English (en)
Other versions
CN114073101A (zh
Inventor
M·阿斯富
R·D·巴顿
P·T·M·西蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Priority to CN202310956908.9A priority Critical patent/CN116805998A/zh
Publication of CN114073101A publication Critical patent/CN114073101A/zh
Application granted granted Critical
Publication of CN114073101B publication Critical patent/CN114073101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/49—Reducing the effects of electromagnetic noise on the functioning of hearing aids, by, e.g. shielding, signal processing adaptation, selective (de)activation of electronic parts in hearing aid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/03—Reduction of intrinsic noise in microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Abstract

执行动态波束成形以降低头戴式设备采集的信号中的信噪比的方法始于麦克风生成声学信号。麦克风耦合到设备的第一镜腿和设备的第二镜腿。第一和第二波束形成器分别生成第一和第二波束形成器信号。噪声抑制器衰减来自第一波束形成器信号和第二波束形成器信号的噪声内容。来自第一波束形成器信号的噪声内容是未并置在第二波束形成器信号中的声学信号，而来自第二波束形成器信号的噪声内容是未并置在第一波束形成器信号中的声学信号。语音增强器生成包括来自第一噪声抑制信号和第二噪声抑制信号的语音内容的干净信号。语音内容是并置在第一波束形成器信号和第二波束形成器信号中的声学信号。

Description

用于提高使用头戴式设备采集的信号的信噪比的动态波束 成形
相关申请的交叉引用
这要求于2019年6月28日提交的序列号为62/868,715的美国临时专利申请的优先权，其内容通过引用整体并入本文。
背景技术
目前，许多消费电子设备适于经由麦克风端口或耳机接收语音。虽然典型的示例是便携式电信设备(移动电话)，但随着IP语音(VoIP)的出现，台式计算机、膝上型计算机、平板计算机和可穿戴设备也可用于执行语音通信。
当使用这些电子设备时，用户还可以具有使用扬声器模式或有线或无线耳机来接收他的语音的选项。然而，对这些免提操作模式的常见抱怨是麦克风端口或耳机采集的语音包括环境噪声，诸如风噪声、背景中的次级扬声器或其它背景噪声。该环境噪声通常会使用户的语音难以理解，并且从而降低话音通信的质量。
附图说明
在附图(其不是必须按比例绘制的)中，相同的数字可以在不同的图中描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。一些实施例以示例而非限制的方式在附图中示出，在附图中：
图1示出根据一个示例实施例的用于生成双耳音频的头戴式设备的透视图。
图2示出根据一个示例实施例的来自图1的头戴式设备的底视图。
图3示出根据一个示例实施例的执行动态波束成形以提高使用来自图1的头戴式设备采集的信号的信噪比的系统的框图。
图4是根据本公开的各个方面的用于提高使用来自图1的头戴式设备采集的信号的信噪比的动态波束形成的过程的示例性流程图。
图5是示出可以与本文描述的各种硬件架构结合使用的代表性软件架构的框图。
图6是示出根据一些示例性实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。
图7是经由各种网络通信地耦合移动设备和服务器系统的示例头戴式设备的高级功能框图。
具体实施方式
下面的描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。一般来说，公知的指令实例、协议、结构和技术不必详细示出。
为了提高当前电子移动设备采集的信号的信噪比，本公开的一些实施例涉及头戴式设备，其对波束形成器信号进行动态波束形成和音频处理以增强语音内容同时衰减噪声内容。具体地，头戴式设备可以是一副眼镜，该眼镜包括耦合到眼镜的框架两侧的左右镜腿(stem)。每个镜腿耦合到包括两个麦克风的麦克风壳体。每个镜腿上的麦克风形成麦克风阵列。波束形成器可以将框架每一侧的麦克风阵列朝向用户的面部或嘴巴转向。虽然指向用户嘴巴方向的定向波束形成器将采集来自用户嘴巴的声学信号，但其还采集以该同一方向经过用户嘴巴的声学内容。因此，一些实施例利用位于用户面部或嘴巴任一侧平面上的麦克风阵列来确定波束形成器信号中可能是语音内容的内容。例如，当两个麦克风阵列从相反方向指向用户的嘴巴时，可以认为在麦克风阵列之间或在麦克风阵列两者中并置(collocate)的内容是语音内容。
在一个实施例中，该系统还包括波束形成器控制器，该波束形成器控制器使波束形成器以不同方向转向。波束形成器控制器可以动态地改变波束形成器相对于彼此的方向。了解每个波束形成器的方向和配置后，系统可以执行音频处理以衰减预期不会接收到的声学内容。该系统还可以衰减不在波束形成器波束之间的声学内容或未并置的声学内容。
在一个实施例中，借助在头戴式设备的相对侧上的麦克风阵列，系统能够在各种波束成形配置(例如，动态波束成形)中循环，并采集作为实时音频处理的原始声学数据。这允许系统最大化噪声内容(例如，环境噪声、次级扬声器等)的衰减，增强语音内容，并且从而降低由此得到的干净信号中的信噪比。
图1示出根据一个示例实施例的用于执行动态波束成形以提高使用头戴式设备采集的信号的信噪比的头戴式设备100的透视图。图2示出根据示例实施例的来自图1的头戴式设备100的底视图。在图1和图2中，头戴式设备100是一副眼镜。在一些实施例中，头戴式设备100可以是太阳镜或护目镜。一些实施例可以包括一个或多个可穿戴设备，诸如具有集成相机的挂件，该集成相机与头戴式设备100或客户端装置集成、与头戴式设备100或客户端装置通信、或者耦合到头戴式设备100或客户端装置。任何所需的可穿戴设备都可以与本公开的实施例结合使用，诸如手表、耳机、腕带、耳塞、衣服(诸如带有集成电子设备的帽子或夹克)、夹式电子设备，或任何其它可穿戴设备。应当理解，虽然未示出，但是在头戴式设备中包括的系统的一个或多个部分可以被包括在可以与头戴式设备100结合使用的客户端装置(例如，图6中的机器800)中。例如，如图3中所示的一个或多个元件可以包括在头戴式设备100和/或客户端装置中。
如在此所使用的，术语“客户端装置”可以指与通信网络接口连接以从一个或多个服务器系统或其它客户端装置获得资源的任何机器。客户端装置可以是但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程的消费电子产品、游戏控制台、机顶盒或用户可用于访问网络的任何其它通信装置。
在图1和图2中，头戴式设备100是一副眼镜，该眼镜包括框架103，该框架103包括经由铰链和/端件分别耦合到两个镜腿(或眼镜腿)的眼线(eye wires)(或镜框)。框架103的眼线承载或保持一对镜片104_1、104_2。框架103包括耦合到第一镜腿的第一(例如，右)侧和耦合到第二镜腿的第二(例如，左)侧。框架103的第一侧与第二侧相对。
设备100进一步包括相机模块，该相机模块包括相机镜头102_1、102_2和至少一个图像传感器。相机镜头可以是透视相机镜头或非透视相机镜头。非透视相机镜头可以是例如鱼眼镜头、广角镜头、全向镜头等。图像传感器通过相机镜头采集数字视频。图像也可以是静止图像帧或包括多个静止图像帧的视频。相机模块可耦合到框架103。如图1和图2中所示，框架103耦合到相机镜头102_1、102_2，使得相机镜头面向前方。相机镜头102_1、102_2可以垂直于镜片104_1、104_2。相机模块可以包括由框架103的宽度或设备100的用户的头部的宽度分开的双前置相机。
在图1和图2中，两个镜腿(或眼镜腿)分别耦合到麦克风壳体101_1、101_2。第一镜腿和第二镜腿耦合到头戴式设备100的框架103的相对侧。第一镜腿耦合到第一麦克风壳体101_1并且第二镜腿耦合到第二麦克风壳体101_2。麦克风壳体101_1、101_2可以耦合到框架103的位置和眼镜腿尖端之间的镜腿。当用户佩戴设备100时，麦克风壳体101_1、101_2可以位于用户眼镜腿的任一侧。
如图2中所示，麦克风壳体101_1、101_2包入多个麦克风110_1至110_N(N>1)。麦克风110_1至110_N是将声音转换为电信号的空中接口拾音装置。更具体地，麦克风110_1至110_N是将声压转换为电信号(例如，声学信号)的换能器。麦克风110_1至110_N可以是数字或模拟微机电系统(MEMS)麦克风。由麦克风110_1至110_N生成的声学信号可以是脉冲密度调制(PDM)信号。
在图2中，第一麦克风壳体101_1包入麦克风110_3和110_4，而第二麦克风壳体101_2包入麦克风110_1和110_2。在第一麦克风壳体101_1中，第一前麦克风110_3和第一后麦克风110_4相隔预定距离d1并且可以形成一阶差分麦克风阵列。在第二麦克风壳体101_2中，第二前麦克风110_1和第二后麦克风110_2也相隔预定距离d2并且可以形成一阶差分麦克风阵列。预定距离d1与d2可以是相同距离或不同距离。预定距离d1和d2可以基于奈奎斯特(Nyquist)频率设定。波束形成器的奈奎斯特频率以上的内容是不可恢复的，特别是语音。奈奎斯特频率由以下等式确定：
在该方程中，c是声速，并且d是麦克风之间的间隔。使用该方程，在一个实施例中，可以将预定距离d1和d2设定为导致频率高于6kHz(这是宽带语音的截止频率)的任何d值。
在一个实施例中，第一前麦克风110_3和第一后麦克风110_4形成第一麦克风阵列，并且第二前麦克风110_1和第二后麦克风110_2形成第二麦克风阵列。
在一个实施例中，第一麦克风阵列和第二麦克风阵列二者是端射(endfire)阵列。端射阵列包括按照所需的声音传播方向排列的多个麦克风组成。如上所述，当阵列中的第一前麦克风(例如，声音在轴上传播到达的第一麦克风)与来自第一后麦克风的反相和延迟信号相加时，该配置称为差分阵列。可以使用波束形成器将第一和第二麦克风阵列转向，以创建心形或亚心形拾取模式。在该实施例中，麦克风阵列后部的声音被显著衰减。
在另一个实施例中，第一麦克风阵列和第二麦克风阵列二者是宽边(broadside)阵列。宽边麦克风阵列是其中一排麦克风垂直于声波的优选方向排列的阵列。宽边麦克风阵列衰减来自宽边麦克风阵列侧面的声音。在一个实施例中，第一麦克风阵列是宽边阵列并且第二麦克风阵列是端射阵列。可替代地，第一麦克风阵列是端射阵列，而第二麦克风阵列是宽边阵列。
虽然在图1中，系统100包括四个麦克风110_1至110_4，但麦克风的数量可以是变化的。在一些实施例中，麦克风壳体101_1、101_2可以包括至少两个麦克风并且可以形成麦克风阵列。麦克风壳体101_1、101_2中的每一个麦克风壳体还可以包括电池。
参考图2，麦克风壳体101_1、101_2中的每一个麦克风壳体包括前端口和后端口。第一麦克风壳体101_1的前端口耦合到麦克风110_3(例如第一前麦克风)并且第一麦克风壳体101_1的后端口耦合到麦克风110_4(例如第一后麦克风)。在一个实施例中，麦克风110_3(例如第一前麦克风)和麦克风110_4(例如第一后麦克风)位于同一平面(例如第一平面)上。第二麦克风壳体101_2的前端口耦合到麦克风110_1(例如第二前麦克风)并且第二麦克风壳体101_2的后端口耦合到麦克风110_2(例如第二后麦克风)。在一个实施例中，麦克风110_1(例如，第二前麦克风)和麦克风110_2(例如，第二后麦克风)位于同一平面(例如，第二平面)上。在一个实施例中，麦克风101_1至101_4可进一步朝向设备100的镜腿(例如，设备100的背面)上的镜腿尖端移动。
图3示出根据一个示例实施例的执行动态波束成形以提高使用来自图1的头戴式设备100采集的信号的信噪比的系统的框图。在一些实施例中，系统300的一个或多个部分可以被包括在头戴式设备100中或者可以被包括在可以与头戴式设备100结合使用的客户端装置(例如，图6中的机器800)中。
系统300包括麦克风110_1至110_N、波束形成器301_1和301_2、噪声抑制器302、语音增强器303和波束形成器控制器304。包入在第一麦克风壳体101_1中的第一前麦克风110_3和第一后麦克风110_4形成第一麦克风阵列。类似地，包入在第二麦克风壳体101_2中的第二前麦克风110_1和第二后麦克风110_2形成第二麦克风阵列。第一和第二麦克风阵列可以是一阶差分麦克风阵列。第一和第二麦克风阵列也可以相应地是宽边阵列、端射阵列或一个宽边阵列和一个端射阵列的组合。麦克风110_1至110_4可以是模拟或数字MEMS麦克风。由麦克风110_1至110_4生成的声学信号可以是脉冲密度调制(PDM)信号。
在一个实施例中，具有方向转向特性的第一波束形成器301_1和第二波束形成器301_2是允许除奈奎斯特频率之外的平坦频率响应的差分波束形成器。波束形成器301_1和301_2可以使用一阶差分麦克风阵列的传递函数。在一个实施例中，波束形成器301_1和301_2是包括亚心形或心形的固定波束模式的固定波束形成器。
如图3中所示，第一波束形成器301_1从第一前麦克风110_3和第一后麦克风110_4接收声学信号并基于接收的声学信号生成第一波束形成器信号。第二波束形成器301_2从第二前麦克风110_1和第二后麦克风110_2接收声学信号并基于接收的声学信号生成第二波束形成器信号。
在图3中，波束形成器控制器304使第一波束形成器301_1以第一方向被转向，并且使第二波束形成器301_2以第二方向被转向。当用户佩戴头戴式设备时，第一方向和第二方向可以处于用户嘴巴的方向中。由于第一波束形成器301_1和第二波束形成器301_2从用户头部的相对侧接收声学信号，因此在本实施例中第一方向和第二方向是从相对的方向指向用户的嘴巴。
波束形成器控制器304还可以动态地改变第一方向和第二方向。在一个实施例中，第一波束形成器301_1和第二波束形成器301_2可以以第一方向和第二方向(其是彼此相对的不同方向的)被转向。通过动态地改变方向，波束形成器控制器304可以在波束形成器301_1和301_2的多个不同配置之间循环。此外，通过了解波束形成器301_1和301_2的配置，可以预测语音内容的位置。例如，语音内容可以在麦克风阵列之间、在波束形成器信号之间或并置在波束形成器信号中。
噪声抑制器302衰减来自第一波束形成器信号和第二波束形成器信号的噪声内容。噪声抑制器302可以是双通道噪声抑制器，并生成第一噪声抑制信号和第二噪声抑制信号。在一个实施例中，噪声抑制器302可以实现噪声抑制算法。噪声内容可以是例如环境噪声、次级扬声器等。在一个实施例中，系统300利用第一波束形成器301_1和第二波束形成器301_2从用户头部的相对侧接收声学信号，使得(例如，第一波束形成器301_1的)第一方向和(例如，第二波束形成器301_2的)第二方向从相反方向指向用户的嘴巴。给定第一和第二方向是从相反的方向指向用户的，来自第一波束形成器信号的噪声内容是未并置在第二波束形成器信号中的声学信号，并且来自第二波束形成器信号的噪声内容是未并置在第一波束形成器信号中的声学信号。由于波束形成器301_1和301_2可以从相反侧指向用户嘴巴的方向，也可以以该方向经过用户的嘴巴，因此波束形成器波束之间的非重叠(或非并置区域)包含噪声内容。
此外，语音增强器303生成包括来自第一噪声抑制信号和第二噪声抑制信号的语音内容的干净信号。例如，当第一和第二波束形成器信号二者从用户头部的相对侧指向用户嘴巴的方向时，波束形成器波束之间的重叠(或并置区域)包含语音内容。在本实施例中，语音内容是并置在第一波束形成器信号和第二波束形成器信号中的声学信号。在一个实施例中，语音增强器303可以实现语音增强算法。
图4是根据本公开的各个方面的用于提高使用来自图1的头戴式设备采集的信号的信噪比的动态波束形成的过程的示例性流程图。
尽管流程图可以将操作描述为顺序过程，但是可以并行或并发地执行许多操作。此外，可以重新排列操作的顺序。进程在其操作完成时终止。过程可以对应方法、过程等。方法的步骤可以全部或部分地执行，可以与其它方法中的一些或全部步骤结合执行，以及可以由任何数量的不同系统(诸如图1和/或图6中描述的系统)执行。过程400还可以由包括在图1中的头戴式设备100中的处理器或由包括在图6的客户端装置800中的处理器来执行。
过程400开始于操作401，其中麦克风110_1至110_4生成声学信号。麦克风110_1至110_4可以是将声压转换为电信号(例如，声学信号)的MEMS麦克风。第一前麦克风110_3和第一后麦克风110_4包入在耦合在头戴式设备100的第一镜腿上的第一麦克风101_1壳体中。在一个实施例中，第一前麦克风110_3和第一后麦克风110_4形成第一麦克风阵列。第一麦克风阵列可以是一阶差分阵列。
第二前麦克风110_1和第二后麦克风110_2包入在耦合在头戴式设备100的第二镜腿上的第二麦克风壳体101_2中。在一个实施例中，第二前麦克风110_1和第二后麦克风110_2形成第二麦克风阵列。第二麦克风阵列可以是一阶差分麦克风阵列。第一镜腿和第二镜腿耦合到头戴式设备100的框架103的相对侧。
在操作402处，第一波束形成器301_1基于来自第一前麦克风110_3和第一后麦克风110_4的声学信号生成第一波束形成器信号。在操作403处，第二波束形成器301_2基于来自第二前麦克风110_1和第二后麦克风110_2的声学信号生成第二波束形成器信号。在一个实施例中，第一波束形成器301_1和第二波束形成器301_2是固定波束形成器。固定波束形成器可以包括亚心形或心形的固定波束模式。
在一个实施例中，波束形成器控制器304以第一方向转向第一波束形成器并且以第二方向转向第二波束形成器。当用户佩戴头戴式设备时，第一方向和第二方向可以处于用户的嘴巴方向。波束形成器控制器可以动态地改变第一方向和第二方向。
在操作404处，噪声抑制器302衰减来自第一波束形成器信号和第二波束形成器信号的噪声内容以生成第一噪声抑制信号和第二噪声抑制信号。来自第一波束形成器信号的噪声内容可以是未并置在第二波束形成器信号中的声学信号，并且来自第二波束形成器信号的噪声内容可以是未并置在第一波束形成器信号中的声学信号。
在操作405处，语音增强器303生成包括来自第一噪声抑制信号和第二噪声抑制信号的语音内容的干净信号。语音内容是并置在第一波束形成器信号和第二波束形成器信号中的声学信号。
图5是示出示例性软件架构706的框图，该软件架构可以与在此描述的各种硬件架构结合使用。图5是软件架构的非限制性示例，并且应当理解，可以实现许多其它架构以促进在此描述的功能。软件架构706可以在诸如图6的机器800的硬件上执行，该机器包括处理器804、存储器814和I/O组件818等。代表性硬件层752被示出并且可以表示例如图6的机器800。代表性硬件层752包括具有相关联可执行指令704的处理单元754。可执行指令704表示软件架构706的可执行指令，包括在此所述的方法、组件等的实现方式。硬件层752还包括存储器或存储模块存储器/存储设备756，其也具有可执行指令704。硬件层752还可以包括其它硬件758。
如在此所使用的，术语“组件”是指具有由功能或子例程调用、分支点、应用程序接口(API)或提供特定处理或控制功能的分区或模块化的其它技术定义的边界的装置、物理实体或逻辑。组件可以经由它们的接口与其它组件组合以执行机器过程。组件可以是封装的功能硬件单元，其被设计用于与其它组件和通常执行相关功能的特定功能的程序的一部分一起使用。
组件可以构成软件组件(例如，在机器可读介质上体现的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器)可以通过软件(例如，应用或应用部分)将其配置为进行操作以执行如在此所述的某些操作的硬件组件。硬件组件还可以机械地、电子地或其任何合适的组合来实现。例如，硬件组件可以包括永久配置为执行某些操作的专用电路或逻辑。
硬件组件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件组件可以包括由通用处理器或其它可编程处理器执行的软件。在由该软件配置后，硬件组件成为特定的机器(或机器的特定组件)，其被独特地定制以执行所配置的功能并且不再是通用处理器。应当理解，可以由成本和时间考虑来驱动在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件组件的决定。
处理器可以是或包括任何电路或虚拟电路(由在实际处理器上执行的逻辑模拟的物理电路)，其根据控制信号(例如，“命令”、“操作码”、“机器代码”等)操纵数据值，并产生应用于操作机器的对应的输出信号。例如，处理器可以是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器可以进一步是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。
因此，短语“硬件组件”(或“硬件实现的组件”)应该被理解为包含有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)的实体，以某种方式操作或执行在此所述的某些操作。考虑其中硬件组件被临时配置(例如，编程)的实施例，不需要在任何一个时刻配置或实例化硬件组件中的每个硬件组件。例如，在硬件组件包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为相应的不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置特定的一个或多个处理器，例如，在一个时刻构成特定的硬件组件，以及在不同的时刻构成不同的硬件组件。硬件组件可以向其它硬件组件提供信息并从其接收信息。因此，所描述的硬件组件可以被视为通信地耦接。在同时存在多个硬件组件的情况下，可以通过在两个硬件组件之间或更多个硬件组件之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，例如通过在对多个硬件组件可访问的存储器结构中的信息的存储和取得，可以实现该硬件组件之间的通信。
例如，一个硬件组件可以执行操作并将该操作的输出存储在与其通信耦接的存储设备中。然后，另一硬件组件可以稍后访问存储设备以取得和处理所存储的输出。硬件组件还可以启动与输入或输出设备的通信，并且可以在资源(例如，信息集合)上操作。在此描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，该处理器可以构成处理器实现的组件，其用于执行在此描述的一个或多个操作或功能。如在此所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，在此描述的方法可以至少部分地由处理器实现，其中特定的一个处理器或多个处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的组件来执行。
此外，一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可以经由网络(例如，因特网)并且经由一个或多个适当的接口(例如，应用程序接口(API))访问。操作中的某些操作的性能可以在处理器之间分配，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例性实施例中，处理器或处理器实现的组件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其它示例性实施例中，处理器或处理器实现的组件可以分布在多个地理位置上。
在图5的示例性架构中，软件架构706可以概念化为层的堆栈，其中每个层提供特定功能。例如，软件架构706可以包括诸如操作系统702、库720、应用716和呈现层714的层。在操作上，层内的应用716或其它组件可以通过软件堆栈调用应用程序接口(API)调用708，并响应于API调用708接收消息712。所示的层本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件718，而其它操作系统可提供此类层。其它软件架构可以包括附加层或不同层。
操作系统702可以管理硬件资源并提供公共服务。操作系统702可以包括例如内核722、服务724和驱动器726。内核722可以充当硬件和其它软件层之间的抽象层。例如，内核722可以负责存储器管理、处理器管理(例如，调度)、组件管理、网络、安全设置等。服务724可以为其它软件层提供其它公共服务。驱动器726负责控制底层硬件或与底层硬件接口连接。例如，取决于硬件配置，驱动器726包括显示驱动器、相机驱动器、驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电源管理驱动器等等。
库720提供由应用916或其它组件或层使用的公共基础结构。库720提供允许其它软件组件以比直接与底层操作系统702功能(例如，内核722、服务724和/或驱动器726)直接接口更容易的方式执行任务的功能。库720可以包括系统库744(例如，C标准库)，其可以提供诸如存储器分配功能、字符串操作功能、数学功能等的功能。另外，库720可以包括API库946，诸如媒体库(例如，用于支持各种媒体格式的呈现和操作的库，媒体格式诸如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG)、图形库(例如，可用于在显示器上的图形内容中呈现2D和3D的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、web库(例如，可提供web浏览功能的WebKit)等。库720还可以包括各种其它库748，以向应用716和其它软件组件/模块提供许多其它API。
框架/中间件718(有时也称为中间件)提供可由应用716或其它软件组件/模块使用的更高级别的公共基础结构。例如，框架/中间件718可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件718可以提供可以由应用716或其它软件组件/模块使用的广泛范围的其它API，其中的一些可以特定于特定操作系统702或平台。
应用716包括内置应用738或第三方应用940。代表性内置应用738的示例可包括但不限于联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用或游戏应用。第三方应用740可以包括由特定平台的供应商以外的实体使用软件开发工具包(SDK)开发的应用，并且可以是在移动操作系统上运行的移动软件。第三方应用740可以调用由移动操作系统(诸如操作系统702)提供的API调用708以促进在此描述的功能。
应用716可以使用内置操作系统功能(例如，内核722、服务724或驱动器726)、库720和框架/中间件718来创建用户界面以与系统的用户交互。可替代地或另外地，在一些系统中，与用户的交互可以通过呈现层(诸如呈现层714)发生。在这些系统中，应用/组件“逻辑”可以与和用户交互的应用/组件的方面分离。
图6是示出根据一些示例性实施例的机器800的组件(在此也称为“模块”)的框图，机器800能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一个或多个方法。具体地，图6示出采用计算机系统的示例形式的机器800的图形表示，在该机器800内可以执行用于使机器800执行在此所讨论的任何一种或多种方法的指令810(例如，软件、程序、应用、小应用程序、应用软件或其它可执行代码)。这样，指令810可以用于实现在此描述的模块或组件。指令810将通用的未编程的机器800转换成被编程为以所描述的方式执行所描述和示出的功能的特定机器800。在替代实施例中，机器800作为独立装置操作或者可以耦接(例如，联网)到其它机器。在联网部署中，机器800可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器800可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能手机、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其它智能设备、web装置、网络路由器、网络交换机、网络桥接器或能够顺序地或以其它方式执行指定机器800要采取的动作的指令810的任何机器。此外，尽管仅示出了单个机器800，但是术语“机器”还应被视为包括机器的集合，该机器的集合单独或联合执行指令1010以实施在此所讨论的任何一种或多种方法。
机器800可以包括可以被配置为诸如经由总线802彼此通信的处理器804、存储器/存储设备806和I/O组件818。存储器/存储设备806可以包括存储器814，诸如主存储器或其它存储器存储装置以及存储单元816，两者都可由处理器804诸如经由总线802访问。存储单元816和存储器814存储体现任何一种或多种方法的指令810或在此描述的功能。在机器800的其执行期间，指令810还可以完全或部分地驻留在存储器814内、存储单元816内、处理器804中的至少一个内(例如，在处理器的高速缓存内)或其任何合适的组合。因此，存储器814、存储单元816和处理器804的存储器是机器可读介质的示例。
如在此所使用的，术语“机器可读介质”、“计算机可读介质”等是指能够临时或永久地存储指令和数据的任何组件、装置或其它有形介质。此类介质的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁介质、高速缓冲存储器、其它类型的存储设备(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应被视为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括能够存储由机器执行的指令(例如，代码)的任何介质或多个介质的组合，使得指令在由机器的一个或多个处理器执行时使机器执行在此描述的任何一种或多种方法。因此，“机器可读介质”可以指单个存储设备或装置，以及包括多个存储设备或装置的“基于云的”存储系统或存储网络。术语“机器可读介质”排除信号本身。
I/O组件818可以包括各种各样的组件以提供用于接收输入的用户界面，提供输出，产生输出，发送信息，交换信息，采集测量等。在特定机器800的用户界面中包括的特定I/O组件818将取决于机器的类型。例如，诸如移动电话的便携式机器可能包括触摸输入装置或其它此类输入机构，而无头服务器机器可能不包括此类触摸输入装置。应当理解，I/O组件818可以包括图6中未示出的许多其它组件。仅仅是为了简化以下讨论，根据功能对I/O组件818进行分组，并且分组决不是限制性的。在各种示例性实施例中，I/O组件818可以包括输出组件826和输入组件828。输出组件826可以包括可视组件(例如显示器，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如，振动电动机、电阻机构)、其它信号发生器等。输入组件828可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触觉输入组件(例如，物理按钮，提供触摸或触摸手势的位置和/或力的触摸屏，或其它触感输入组件)、音频输入组件(例如，麦克风)等。输入组件828还可包括一个或多个图像采集装置，诸如用于生成数字图像或视频的数码相机。
在进一步的示例性实施例中，I/O组件818可以包括生物度量组件830、运动组件834、环境环境组件836或定位组件838，以及大量其它组件。一个或多个此类组件(或其部分)在此可以统称为“传感器组件”或“传感器”，用于收集与机器800、机器800的环境、机器800的用户或其组合有关的各种数据。
例如，生物度量组件830可以包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件834可包括加速度传感器组件(例如，加速度计)、重力传感器组件、速度传感器组件(例如速度计)、旋转传感器组件(例如陀螺仪)等。环境组件836可包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。定位组件838可包括定位传感器组件(例如，全球定位系统(GPS)接收器组件)、海拔传感器组件(例如，海拔计或气压计，其可以检测可以从哪个海拔度导出的空气压力)、取向传感器组件(例如，磁力计)等。例如，位置传感器组件可以提供与系统800相关联的位置信息，诸如系统800GPS坐标或关于系统1000当前所在位置的信息(例如，餐厅或其他企业的名称)。
可以使用各种技术来实现通信。I/O组件818可以包括通信组件840，其可操作以分别经由耦接器822和耦接器824将机器800耦接到网络832或装置820。例如，通信组件840可以包括网络接口组件或其它合适的设备以与网络832接口。在进一步的示例中，通信组件840可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如，/>低功耗)/>组件和其它通信组件，以经由其它模式提供通信。装置820可以是另一机器或各种外围设备中的任何一种(例如，经由通用串行总线(USB)耦接的外围设备)。
此外，通信组件840可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件840可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)代码、Aztec代码、Data Matrix、Dataglyph、MaxiCode、PDF417、超码、UCC RSS-2D条形码的多维条形码，和其它光学代码)，或声学检测组件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信组件840来导出各种信息，例如经由互联网协议(IP)地理位置的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
图7是经由各种网络通信耦合移动设备800和服务器系统998的示例头戴式设备100的高级功能框图。
设备100包括相机，诸如可见光相机950、红外发射器951和红外相机952中的至少一个。相机可以包括具有图1和图2中的镜片104_1、104_2的相机模块。
客户端装置800能够使用低功率无线连接925和高速无线连接937与设备100连接。客户端装置800连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。
设备100进一步包括光学组件980A-B的两个图像显示器。两个图像显示器980A-980B包括与设备100的左侧相关联的一个图像显示器和与设备100的右侧相关联的一个图像显示器。设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。光学组件980A-B的图像显示器用于向设备100的用户呈现图像和视频，其包括可以包括图形用户界面的图像。
图像显示驱动器942命令并控制光学组件980A-B的图像显示。图像显示驱动器942可以将图像数据直接传送到光学组件980A-B的图像显示器以供呈现，或者可能必须将图像数据转换成适合传送到图像显示装置的信号或数据格式。例如，图像数据可以是根据压缩格式格式化的视频数据，诸如H.264(MPEG-4Part 10)、HEVC、Theora、Dirac、RealVideoRV40、VP8、VP9等，并且静止图像数据可以根据诸如便携式网络组(PNG)、联合图像专家组(JPEG)、标记图像文件格式(TIFF)或可交换图像文件格式(Exif)等的压缩格式来格式化。
如上所述，设备100包括框架103和从框架103的横向侧延伸的镜腿(或眼镜腿)。设备100进一步包括用户输入装置991(例如，触摸传感器或按钮)，其包括在设备100上的输入表面。用户输入装置991(例如，触摸传感器或按钮)将从用户接收输入选择以操纵所呈现图像的图形用户界面。
图7中所示的用于设备100的组件位于镜框或镜腿中的一个或多个电路板上，例如PCB或柔性PCB。可替代地或另外地，所描绘的组件可以位于设备100的块、框架、铰链或桥中。左右可见光相机950可以包括数码相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜片104_1、104_2或可用于采集数据(包括具有未知对象的场景的图像)的任何其它相应的可见光或光采集元件。
设备100包括存储器934，该存储器934存储，以执行在此描述的用于生成双耳音频内容的功能的子集或全部。存储器934还可以包括存储装置604。图4中的流程图中所示的示例性过程可以在存储在存储器934中的指令中实现。
如图7中所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中，图像显示驱动器942耦合到高速电路930并且由高速处理器932操作以便驱动光学组件980A-B的左右图像显示器。高速处理器932可以是能够管理设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括管理高速无线连接937上的高速数据传输到使用高速无线电路936的无线局域网(WLAN)所需的处理资源。在某些示例中，高速处理器932执行操作系统，诸如LINUX操作系统或设备100的其它此类操作系统，并且操作系统存储在存储器934中以供执行。除了任何其他职责之外，执行设备100的软件架构的高速处理器932用于管理与高速无线电路936的数据传输。在某些示例中，高速无线电路936被配置为实现电气和电子工程师学会(IEEE)802.11通信标准，在此也称为Wi-Fi。在其它示例中，其它高速通信标准可以由高速无线电路936实现。
设备100的低功率无线电路924和高速无线电路936可以包括短距离收发器(BluetoothTM)和无线广域网、局域网或广域网收发器(例如，蜂窝或WiFi)。客户端装置800(包括经由低功率无线连接925和高速无线连接937进行通信的收发器)可以使用设备100的架构的细节来实现，网络995的其它元件也可以。
存储器934包括能够存储各种数据和应用的任何存储设备，其中包括由左右可见光相机950、红外相机952和图像处理器912生成的相机数据，以及由图像显示驱动器942生成以在光学组件980A-B的图像显示器上显示的图像。虽然存储器934被示为与高速电路930集成，但在其它示例中，存储器934可以是设备100的独立的单独元件。在某些此类示例中，电子布线可以通过包括高速处理器932的芯片提供从图像处理器912或低功率处理器922到存储器934的连接。在其它示例中，高速处理器932可以管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读或写操作的任何时候启动高速处理器932。
如图7中所示，设备100的处理器932可以耦合到相机(可见光相机950；红外发射器951，或红外相机952)、图像显示驱动器942、用户输入装置991(例如，触摸传感器或按钮)和存储器934。
设备100与主机计算机连接。例如，设备100经由高速无线连接937与客户端装置800配对或经由网络995连接到服务器系统998。服务器系统998可以是一个或多个计算装置，作为网络计算系统或服务的一部分，例如，其包括处理器、存储器和网络通信接口以通过网络995与客户端装置800和设备100通信。
客户端装置800包括处理器和耦合到处理器的网络通信接口。网络通信接口允许通过网络925或937进行通信。客户端装置800可以进一步在客户端装置800的存储器中存储用于生成双耳音频内容的指令的至少部分，以实现在此描述的功能。
设备100的输出组件包括视觉组件，诸如显示器，诸如液晶显示器(LCD)、等离子显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导。光学组件的图像显示器由图像显示驱动器942驱动。设备100的输出组件进一步包括声学组件(例如，扬声器)、触觉组件(例如，振动电机)、其它信号发生器等。设备100、客户端装置800和服务器系统998的输入组件(诸如用户输入装置991)可以包括字母数字输入组件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指点仪器)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏，或其它触觉输入组件)、音频输入组件(例如，麦克风)等。
设备100可以可选地包括附加的外围装置元件。此类外围装置元件可以包括与设备100集成的生物度量传感器、附加传感器或显示元件。例如，外围装置元件可以包括任何I/O组件，包括输出组件、运动组件、位置组件，或在此描述的任何其它此类元件。
例如，生物度量组件包括用于检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼动追踪)、测量生物信号(例如，血压、心率、体温、汗水、或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动组件包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。定位组件包括用于生成位置坐标的位置传感器组件(例如，全球定位系统(GPS)接收器组件)、用于生成定位系统坐标的WiFi或蓝牙TM收发器、高度传感器组件(例如，高度计或检测从其中可以导出高度的气压的气压计)、取向传感器组件(例如，磁力计)等。此类定位系统坐标也可以经由低功率无线电路924或高速无线电路936通过无线连接925和937从客户端装置800接收。
当使用类似于“A、B或C中的至少一个”、“A、B和C中的至少一个”、“一个或多个A、B或C”或“A、B和C中的一个或多个”的短语时，旨在将该短语解释为表示A可以单独存在于一个实施例中，B可以单独存在于一个实施例中，C可以单独存在于一个实施例中，或者元素A、B和C的任何组合可以存在于单个实施例中；例如，A和B、A和C、B和C，或A和B和C。
在不脱离本公开的范围的情况下，可以对所公开的实施例进行改变和修改。这些和其它变化或修改旨在包括在本公开的范围内，如以下权利要求中所表达的。

Claims (20)

1.一种头戴式设备，包括：
框架；
耦合到所述框架的第一侧的第一镜腿，第一前麦克风和第一后麦克风，所述第一前麦克风和所述第一后麦克风分别生成声学信号；
耦合到所述框架的第二侧的第二镜腿，第二前麦克风和第二后麦克风，所述第二前麦克风和所述第二后麦克风分别生成声学信号；
音频处理器，其包括
第一波束形成器，其基于来自所述第一前麦克风和所述第一后麦克风的所述声学信号生成第一波束形成器信号；
第二波束形成器，其基于来自所述第二前麦克风和所述第二后麦克风的所述声学信号生成第二波束形成器信号；
噪声抑制器，其衰减来自所述第一波束形成器信号的噪声内容和来自所述第二波束形成器信号的噪声内容，以分别生成第一噪声抑制信号和第二噪声抑制信号，其中，衰减来自所述第一波束形成器信号的所述噪声内容和来自所述第二波束形成器信号的所述噪声内容包括：
确定所述第一波束形成器信号中不包括在所述第二波束形成器信号中的声学信号，其中，来自所述第一波束形成器信号的所述噪声内容包括不包括在所述第二波束形成器信号中的所述声学信号，
确定所述第二波束形成器信号中不包括在所述第一波束形成器信号中的声学信号，其中，来自所述第二波束形成器信号的所述噪声内容包括不包括在所述第一波束形成器信号中的所述声学信号；以及
语音增强器，其生成包括来自所述第一噪声抑制信号和所述第二噪声抑制信号的语音内容的干净信号，其中，生成所述干净信号包括：
确定包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号，其中，所述语音内容包括被包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号。
2.根据权利要求1所述的头戴式设备，其中，所述第一波束形成器和所述第二波束形成器是固定波束形成器。
3.根据权利要求1所述的头戴式设备，进一步包括：
波束形成器控制器，其使所述第一波束形成器在第一方向中被转向，并且使所述第二波束形成器在第二方向中被转向。
4.根据权利要求3所述的头戴式设备，其中，当用户佩戴所述头戴式设备时，所述第一方向和所述第二方向为指向所述用户的嘴巴的方向。
5.根据权利要求3所述的头戴式设备，其中，所述波束形成器控制器动态地改变所述第一方向和所述第二方向。
6.根据权利要求1所述的头戴式设备，其中，所述第一前麦克风和所述第一后麦克风形成第一麦克风阵列，以及其中，所述第二前麦克风和所述第二后麦克风形成第二麦克风阵列。
7.根据权利要求6所述的头戴式设备，其中，所述第一麦克风阵列和所述第二麦克风阵列是宽边阵列、端射阵列或其任何组合。
8.根据权利要求6所述的头戴式设备，其中，所述第一前麦克风和所述第一后麦克风位于第一平面上，以及其中，所述第二前麦克风和所述第二后麦克风位于第二平面上。
9.一种用于提高使用头戴式设备采集的信号的信噪比的方法，包括：
分别由第一前麦克风、第一后麦克风、第二前麦克风和第二后麦克风生成声学信号，其中，所述第一前麦克风和所述第一后麦克风耦合到第一镜腿，所述第一镜腿耦合到头戴式设备的框架的第一侧，其中，所述第二前麦克风和所述第二后麦克风耦合到第二镜腿，所述第二镜腿耦合到所述头戴式设备的所述框架的第二侧；
由第一波束形成器基于来自所述第一前麦克风和所述第一后麦克风的声学信号生成第一波束形成器信号；
由第二波束形成器基于来自所述第二前麦克风和所述第二后麦克风的声学信号生成第二波束形成器信号；
由噪声抑制器衰减来自所述第一波束形成器信号的噪声内容和来自所述第二波束形成器信号的噪声内容以分别生成第一噪声抑制信号和第二噪声抑制信号，其中，衰减来自所述第一波束形成器信号的所述噪声内容和来自所述第二波束形成器信号的所述噪声内容包括：
确定所述第一波束形成器信号中不包括在所述第二波束形成器信号中的声学信号，其中，来自所述第一波束形成器信号的所述噪声内容包括不包括在所述第二波束形成器信号中的所述声学信号，
确定所述第二波束形成器信号中不包括在所述第一波束形成器信号中的声学信号，其中，来自所述第二波束形成器信号的所述噪声内容包括不包括在所述第一波束形成器信号中的所述声学信号；以及
由语音增强器生成包括来自所述第一噪声抑制信号和所述第二噪声抑制信号的语音内容的干净信号，其中，生成所述干净信号包括：
确定包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号，其中，所述语音内容包括被包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号。
10.根据权利要求9所述的方法，其中，所述第一波束形成器和所述第二波束形成器是固定波束形成器。
11.根据权利要求9所述的方法，进一步包括：
由波束形成器控制器，使所述第一波束形成器在第一方向中被转向，并且使所述第二波束形成器在第二方向中被转向。
12.根据权利要求11所述的方法，其中，当用户佩戴所述头戴式设备时，所述第一方向和所述第二方向为指向所述用户的嘴巴的方向。
13.根据权利要求11所述的方法，其中，所述波束形成器控制器动态地改变所述第一方向和所述第二方向。
14.根据权利要求9所述的方法，其中，所述第一前麦克风和所述第一后麦克风形成第一麦克风阵列，以及其中，所述第二前麦克风和所述第二后麦克风形成第二麦克风阵列。
15.根据权利要求14所述的方法，其中，所述第一麦克风阵列和所述第二麦克风阵列是宽边阵列、端射阵列或其任何组合。
16.根据权利要求14所述的方法，其中，所述第一前麦克风和所述第一后麦克风位于第一平面上，以及其中，所述第二前麦克风和所述第二后麦克风位于第二平面上。
17.一种非暂态计算机可读介质，其上存储有指令，所述指令在被处理器执行时使所述处理器执行包括以下操作的操作：
使用第一波束形成器基于来自第一前麦克风和第一后麦克风的声学信号生成第一波束形成器信号；
使用第二波束形成器基于来自第二前麦克风和第二后麦克风的声学信号生成第二波束形成器信号；
衰减来自所述第一波束形成器信号的噪声内容和来自所述第二波束形成器信号的噪声内容以分别生成第一噪声抑制信号和第二噪声抑制信号，其中，衰减来自所述第一波束形成器信号的所述噪声内容和来自所述第二波束形成器信号的所述噪声内容包括：
确定所述第一波束形成器信号中不包括在所述第二波束形成器信号中的声学信号，其中，来自所述第一波束形成器信号的所述噪声内容包括不包括在所述第二波束形成器信号中的所述声学信号，
确定所述第二波束形成器信号中不包括在所述第一波束形成器信号中的声学信号，其中，来自所述第二波束形成器信号的所述噪声内容包括不包括在所述第一波束形成器信号中的所述声学信号；以及
生成包括来自所述第一噪声抑制信号和所述第二噪声抑制信号的语音内容的干净信号，其中，生成所述干净信号包括：
确定包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号，其中，所述语音内容包括被包括在所述第一波束形成器信号和所述第二波束形成器信号两者中的声学信号。
18.根据权利要求17所述的非暂态计算机可读介质，其中，
所述第一前麦克风和所述第一后麦克风耦合到第一镜腿，所述第一镜腿耦合到头戴式设备的框架的第一侧，以及
所述第二前麦克风和所述第二后麦克风耦合到第二镜腿，所述第二镜腿耦合到所述头戴式设备的所述框架的第二侧。
19.根据权利要求18所述的非暂态计算机可读介质，其中，所述处理器执行进一步包括以下操作的操作：
使所述第一波束形成器在第一方向中被转向，并且使所述第二波束形成器在第二方向中被转向，当用户佩戴所述头戴式设备时，所述第一方向和所述第二方向为指向所述用户的嘴巴的方向。
20.根据权利要求18所述的非暂态计算机可读介质，其中，所述处理器执行进一步包括以下操作的操作：
使所述第一波束形成器在第一方向中被转向并且使所述第二波束形成器在第二方向中被转向，其中，动态地改变所述第一方向和所述第二方向。
CN202080047279.2A 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形 Active CN114073101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310956908.9A CN116805998A (zh) 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962868715P 2019-06-28 2019-06-28
US62/868,715 2019-06-28
PCT/US2020/039826 WO2020264299A1 (en) 2019-06-28 2020-06-26 Dynamic beamforming to improve signal-to-noise ratio of signals captured using a head-wearable apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310956908.9A Division CN116805998A (zh) 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形

Publications (2)

Publication Number Publication Date
CN114073101A CN114073101A (zh) 2022-02-18
CN114073101B true CN114073101B (zh) 2023-08-18

Family

ID=71728901

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310956908.9A Pending CN116805998A (zh) 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形
CN202080047279.2A Active CN114073101B (zh) 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310956908.9A Pending CN116805998A (zh) 2019-06-28 2020-06-26 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形

Country Status (5)

Country Link
US (2) US11361781B2 (zh)
EP (1) EP3991450A1 (zh)
KR (2) KR20230146666A (zh)
CN (2) CN116805998A (zh)
WO (1) WO2020264299A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567898B1 (en) * 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio
CN116805998A (zh) 2019-06-28 2023-09-26 斯纳普公司 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077607A (zh) * 2008-05-02 2011-05-25 Gn奈康有限公司 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风系统
CN102131136A (zh) * 2010-01-20 2011-07-20 微软公司 自适应环境声抑制和语音跟踪
CN102708874A (zh) * 2011-03-03 2012-10-03 微软公司 麦克风阵列的噪声自适应波束形成
CN104717587A (zh) * 2013-12-13 2015-06-17 Gn奈康有限公司 用于音频信号处理的耳机和方法
CN105229737A (zh) * 2013-03-13 2016-01-06 寇平公司 噪声消除麦克风装置
CN105532017A (zh) * 2013-03-12 2016-04-27 谷歌技术控股有限责任公司 用于波束形成以获得语音和噪声信号的装置和方法
CN108464015A (zh) * 2015-08-19 2018-08-28 数字信号处理器调节有限公司 麦克风阵列信号处理系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1021485C2 (nl) 2002-09-18 2004-03-22 Stichting Tech Wetenschapp Hoorbril-samenstel.
US20040175008A1 (en) * 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
US7813923B2 (en) * 2005-10-14 2010-10-12 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset
NL2000085C2 (nl) 2006-06-02 2007-12-04 Varibel B V Bril met gehoorondersteuningsmiddelen welke slechts één omnidirectionele microfoon per oorbeugel gebruikt.
US20110091057A1 (en) 2009-10-16 2011-04-21 Nxp B.V. Eyeglasses with a planar array of microphones for assisting hearing
US9025782B2 (en) * 2010-07-26 2015-05-05 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US9438985B2 (en) * 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9544692B2 (en) * 2012-11-19 2017-01-10 Bitwave Pte Ltd. System and apparatus for boomless-microphone construction for wireless helmet communicator with siren signal detection and classification capability
US10231065B2 (en) 2012-12-28 2019-03-12 Gn Hearing A/S Spectacle hearing device system
US10306389B2 (en) * 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US9363596B2 (en) 2013-03-15 2016-06-07 Apple Inc. System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
WO2015109002A2 (en) 2014-01-17 2015-07-23 Okappi, Inc. Hearing assistance system
KR20170067682A (ko) 2014-05-26 2017-06-16 블라디미르 셔먼 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
US9426584B2 (en) 2014-10-03 2016-08-23 Umm Al-Qura University Direction indicative hearing apparatus and method
US10231056B2 (en) 2014-12-27 2019-03-12 Intel Corporation Binaural recording for processing audio signals to enable alerts
US20160275961A1 (en) * 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
WO2016147020A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Microphone array speech enhancement
GB2562664A (en) 2016-02-03 2018-11-21 Univ Nanyang Tech Methods for detecting a sleep disorder and sleep disorder detection devices
US20170303052A1 (en) * 2016-04-18 2017-10-19 Olive Devices LLC Wearable auditory feedback device
US10567898B1 (en) * 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio
CN116805998A (zh) 2019-06-28 2023-09-26 斯纳普公司 用于提高使用头戴式设备采集的信号的信噪比的动态波束成形
US11857311B2 (en) 2020-03-17 2024-01-02 Prime Dragon Limited Multi-purpose video monitoring camera
WO2021198941A1 (en) 2020-03-31 2021-10-07 Resmed Sensor Technologies Limited System and method for mapping an airway obstruction
CN111696575B (zh) 2020-06-19 2023-01-03 杭州电子科技大学 基于混合神经网络模型的低通气和呼吸暂停检测识别系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077607A (zh) * 2008-05-02 2011-05-25 Gn奈康有限公司 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风系统
CN102131136A (zh) * 2010-01-20 2011-07-20 微软公司 自适应环境声抑制和语音跟踪
CN102708874A (zh) * 2011-03-03 2012-10-03 微软公司 麦克风阵列的噪声自适应波束形成
CN105532017A (zh) * 2013-03-12 2016-04-27 谷歌技术控股有限责任公司 用于波束形成以获得语音和噪声信号的装置和方法
CN105229737A (zh) * 2013-03-13 2016-01-06 寇平公司 噪声消除麦克风装置
CN104717587A (zh) * 2013-12-13 2015-06-17 Gn奈康有限公司 用于音频信号处理的耳机和方法
CN108464015A (zh) * 2015-08-19 2018-08-28 数字信号处理器调节有限公司 麦克风阵列信号处理系统

Also Published As

Publication number Publication date
EP3991450A1 (en) 2022-05-04
US20200411026A1 (en) 2020-12-31
KR20230146666A (ko) 2023-10-19
US11361781B2 (en) 2022-06-14
CN116805998A (zh) 2023-09-26
CN114073101A (zh) 2022-02-18
WO2020264299A1 (en) 2020-12-30
KR102586866B1 (ko) 2023-10-11
US20220366926A1 (en) 2022-11-17
KR20220030260A (ko) 2022-03-10

Similar Documents

Publication Publication Date Title
US11632640B2 (en) Head-wearable apparatus to generate binaural audio
KR102557774B1 (ko) 음향 주밍
US20220366926A1 (en) Dynamic beamforming to improve signal-to-noise ratio of signals captured using a head-wearable apparatus
US11893989B2 (en) Voice-controlled settings and navigation
US11567335B1 (en) Selector input device to target recipients of media content items
US20240135926A1 (en) Voice-controlled settings and navigation
US20230324711A1 (en) Intelligent actuated and adjustable glasses nose pad arms
US20230324710A1 (en) Intelligent actuated nose bridge
US20230230593A1 (en) Electronic device and method for processing speech by classifying speech target
WO2023200637A1 (en) Intelligent actuated temple tips
KR20240053491A (ko) 진동을 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2023200657A1 (en) Intelligent actuated temple attachments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant