CN107211206A - 用于测定声学信号起源的可安装的声音捕捉和重现装置 - Google Patents
用于测定声学信号起源的可安装的声音捕捉和重现装置 Download PDFInfo
- Publication number
- CN107211206A CN107211206A CN201680006484.8A CN201680006484A CN107211206A CN 107211206 A CN107211206 A CN 107211206A CN 201680006484 A CN201680006484 A CN 201680006484A CN 107211206 A CN107211206 A CN 107211206A
- Authority
- CN
- China
- Prior art keywords
- reproducer
- voice capture
- microphones
- processor
- acoustic signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 241000209140 Triticum Species 0.000 claims description 8
- 235000021307 Triticum Nutrition 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005314 correlation function Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000000883 ear external Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
- A61F11/06—Protective devices for the ears
- A61F11/14—Protective devices for the ears external, e.g. earcaps or earmuffs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/23—Direction finding using a sum-delay beam-former
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Vascular Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明描述了声音捕捉和重现装置，所述声音捕捉和重现装置可安装在听力保护耳机上，并且能够使用多个麦克风来相对于所述装置取向测定一个或多个声学信号的起源，还描述了从至少两个麦克风获取一个或多个声学信号的组合的起源的方法。
Description
技术领域
本说明书涉及可安装在听力保护耳机上的声音捕捉和重现装置，以及从两个麦克风获取一个或多个声学信号的组合的起源的方法。
背景技术
包括听力保护器(包括佩戴在用户耳朵上的保护耳罩)的听力保护装置是众所周知的，并且具有多种应用，包括工业应用和军事应用。听力保护装置、听力保护耳机和耳机在通篇中可互换使用。听力保护装置的一个常见缺点是：此类装置减弱了用户辨别声源起始位置的能力。这种概念可被理解为空间情境意识。外耳(即，耳廓)改善双耳听力的空间线索，并增强大脑处理这些线索以及定位声音的能力。当佩戴耳机时，外耳被覆盖，导致外耳功能失真。无论是在工业应用中还是军事应用中，对声源空间位置的这类测定对于用户的情境意识都很重要。对听力保护装置佩戴者而言，需要增强对声学信号的性质和位置的测定。
发明内容
在一个方面，本说明书涉及声音捕捉和重现装置。声音捕捉和重现装置包括定位于两个区域处的两个麦克风和处理器。处理器被配置成接收来自定位于两个区域处的两个麦克风的一个或多个声学信号，在两个麦克风之间比较所述一个或多个声学信号，并相对于装置取向定量地测定所述一个或多个声学信号的起源。处理器可被配置成同步接收来自两个麦克风的一个或多个信号。处理器还可被配置成对所述一个或多个声学信号进行分类。声音捕捉和重现装置还可包括能够提供输出以用于测定装置取向的方向传感器。处理器还可被配置成从方向传感器接收输出以测定装置取向。另外，装置可包括分别在三个或四个区域处的三个或可能四个麦克风。在另一个实施方案中，装置可包括多于四个麦克风。在一个实施方案中，装置将佩戴在用户的头上。
在另一方面，本说明书涉及从两个麦克风获取一个或多个声学信号的组合的起源的方法。该方法包括以下步骤：捕捉一个或多个声学信号，在两个麦克风之间比较一个或多个声学信号，以及相对于装置取向定量地测定所述一个或多个声学信号的起源。该方法还可包括对所述一个或多个声学信号进行分类和/或测定装置取向的步骤。
附图说明
图1为根据本说明书的声音捕捉和重现装置的透视图。
图2为根据本说明书的装置的框图。
图3A至图3C为根据本说明书的声音捕捉和重现装置的透视图。
图4为从两个麦克风获取一个或多个声学信号的组合的起源的方法的流程图。
图5示出了用于表征波矢量的坐标系。
图6为示出了获取声学信号的起源的方法的流程图。
图7为实现用于测定声学信号位置的广义互相关函数估计的子系统的框图。
图8为基于波达时间差的输入估计声学信号的来波方向角的互相关函数的框图。
图9为示出了不同麦克风组合的实际与估计的来波角的曲线图。
附图未必按照比例绘制。附图中使用的相似数字指示相似的部件。然而，应当理解，在给定附图中使用数字指示部件并非旨在限制另一附图中用相同数字标记的部件。
具体实施方式
在以下优选实施方案的具体描述中参考了附图，这些附图示出了可实践本发明的具体实施方案。示出的实施方案并非旨在囊括根据本发明的所有实施方案。应当理解，在不脱离本发明范围的情况下，可利用其他实施方案，并且可进行结构性或逻辑性的修改。因此不能认为以下的具体实施方式具有限制意义，并且本发明的范围由所附的权利要求限定。
除非另外指出，否则说明书和权利要求书中使用的表达特征尺寸、数量和物理特性的所有数字均应理解为在所有情况下均由术语“约”修饰。因此，除非有相反的说明，否则在前述说明书和所附权利要求书中列出的数值参数均为近似值，这些近似值可根据本领域的技术人员利用本文所公开的教导内容来寻求获得的期望性能而变化。
除非本文内容以其它方式明确指定，否则本说明书和所附权利要求中使用的单数形式“一个”、“一种”和“所述”涵盖具有多个指代物的实施方案。除非本文内容以其它方式明确指定，否则本说明书和所附权利要求书中使用的术语“或”一般以其包括“和/或”的意义使用。
若在本文使用空间相关的术语，包括但不限于“近侧”、“远侧”、“下部”、“上部”、“下方”、“下面”、“上面”、和“在顶部上”，则用于方便描述一个或多个元件相对于另一个元件的空间关系。除了图中示出的或本文所述的具体取向外，此类空间相关术语还涵盖装置在使用或操作时的不同取向。例如，如果图中所描绘的对象翻转或倒转，则先前描述为在其他元件下面或下方的部分就应当在这些其他元件上面或在其顶部上。
如本文所用，例如当元件、部件或层被描述为与另一元件、部件或层形成“一致界面”，或在“其上”、“连接到其”、“与其耦合”、“堆叠其上”或“与其接触”，则可为直接在其上、直接连接到其、直接与其耦合、直接堆叠其上或直接与其接触，或者例如居间的元件、部件或层可在特定元件、部件或层上，或连接到、耦合到或接触特定元件、部件或层。例如，当元件、部件或层例如被称为“直接位于”另一元件“上”、“直接连接到”另一元件、“直接与”另一元件“耦合”或“直接与”另一元件“接触”时，不存在居间的元件、部件或层。
如上所述，由于覆盖了外耳和其帮助大脑处理声音定位的空间线索的能力，目前使用的耳机存在减弱用户辨别声源起始位置的能力的常见缺点。因此，对听力保护装置的佩戴者而言，需要增强对声学信号测定和定位。本说明书提供对该需求的解决方案和增强听力保护装置用户的空间情境意识的装置。
图1提供根据本说明书的声音捕捉和重现装置100的透视图。如图1所示，在一个实施方案中，声音捕捉和重现装置可佩戴在用户的头上，例如，作为具有提供在用户耳朵上的保护耳罩的听力保护装置的一部分。如在本公开通篇中所用，重现可指声源位置信息(诸如，听觉、视觉和触觉反馈)的重现。声音捕捉和重现装置100包括至少两个麦克风。该装置包括定位在装置112的第一区域中的第一麦克风102。另外，该装置包括定位在装置114的第二区域中的第二麦克风104。第一麦克风102和第二麦克风104通常定位在两个区域(112,114)处，这两个区域对于精确地测定一个或多个声学信号的起源是最佳的。可用作第一麦克风102和第二麦克风104的示例性麦克风为来自加利福尼亚州圣何塞市的应美盛公司(Invensense of San Jose,CA)的INMP401MEMS麦克风。
声音捕捉和重现装置100还包括处理器106，该处理器可定位于保护耳罩内、装置的头环中或者另一适当位置中。处理器106被配置成使用从麦克风102,104获取的输入来执行多种功能。处理器被配置成接收来自两个麦克风(第一麦克风102和第二麦克风104)的一个或多个声学信号，并且在两个麦克风之间比较所述一个或多个声学信号。利用这种比较，处理器106能够相对于装置取向定量地测定关于所述一个或多个声学信号的起源的信息。对声学信号的这种定量测定(包括计算起源)可包括例如测量信号的方位角、仰角、距离或空间坐标。可通过参考图2中的框图获得对系统的更好理解。
处理器106可包括例如一个或多个通用微处理器、专门设计的处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑的集合和/或能够执行本文所述技术的任何类型的处理装置。在一些实施方案中，处理器106(或本文所述的任何其他处理器)可被描述为计算装置。在一些实施方案中，存储器108可被配置成存储程序指令(例如，软件指令)，所述程序指令也由处理器106执行，以实现本文所述的过程或方法。在其他实施方案中，本文所述的过程或方法可由处理器106的专门编程的电路执行。在一些实施方案中，处理器106因此可被配置成执行用于获取本文所述一个或多个声学信号的组合的起源的技术。处理器106(或本文所述的任何其他处理器)可包括一个或多个处理器。处理器还可包括存储器108。存储器108存储信息。在一些实施方案中，存储器108可存储用于执行本文所述的方法或过程的指令。在一些实施方案中，声音信号数据可预先存储在存储器108中。来自声音信号的一种或多种特性，例如类别、相位、幅度等，可存储为材料特性数据。
存储器108可包括任何易失性或非易失性存储元件。示例可包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)和闪存。示例还可包括硬盘、磁带、磁性或光学数据存储介质以及全息数据存储介质。
在一些实施方案中，处理器106可被配置成同步接收来自两个麦克风的一个或多个声学信号。采集同步的声学信号允许准确快速的分析，因为处理器106在测定声源起源之前使数据对齐或相关所需的时间和资源被最小化。同步化维护数据完整性、一致性和格式，从而允许进行可重复得采集、获得一致的比较结果以及进行精确的计算。所述一个或多个声学信号可在频率、幅度、相位或波长方面同步。在一些实施方案中，在处理器106同步接收声学信号的情况下，该处理器可同时接收这些信号，而在其他实施方案中，该处理器将依次接收信号。同时接收的优点在于，可在采集和传送到处理器106时立即开始用于测定声源起源的方法。
在至少一个实施方案中，处理器106还可被配置成对所接收的一个或多个声学信号进行分类。对声学信号或信号进行分类可包括辨别信号是否属于一种或多种类别，包括：背景噪声、语音和脉冲声音。在一个实施方案中，处理器可被配置成以成对方式基于分类在两个麦克风之间比较一个或多个声学信号，如图7中进一步所述。
本说明书的声音捕捉和重现装置100还可包括输入/输出装置112和用户界面114，以提供关于声源位置的视觉反馈、听觉反馈、触觉反馈或触感反馈。在反馈为听觉反馈的情况下，提供关于声源位置的视觉反馈、听觉反馈、触觉反馈或触感反馈的装置可为扬声器。在反馈为视觉的情况下，反馈可为例如位于用户视野中的闪烁的灯。
输入/输出装置112可包括被配置成从用户或其他装置输入信息或者输出信息到用户或其他装置的一个或多个装置。在一些实施方案中，输入/输出装置112可呈现用户界面114，其中用户可为声音捕捉和重现装置定义操作并设置类别。例如，用户界面114可包括用于向用户呈现视觉信息的显示屏幕。在一些实施方案中，显示屏幕包括触敏显示器。在一些实施方案中，用户界面114可包括用于向用户呈现信息的一种或多种不同类型的装置。用户界面114可包括例如任何数量的视觉(例如，显示装置、灯等)、听觉(例如，一个或多个扬声器)和/或触感(例如，键盘、触摸屏或鼠标)反馈装置。在一些实施方案中，输入/输出装置112可表示显示屏幕(例如，液晶显示器或发光二极管显示器)和/或打印机(例如，印刷装置或用于输出指令到印刷装置的部件)中的一者或多者。在一些实施方案中，输入/输出装置112可被配置成接受或接收程序指令(例如，软件指令)，所述程序指令由处理器106执行，以实现本文所述的实施方案。
声音捕捉和重现装置100还可包括其他部件以及所示部件(包括处理器106、存储器108)中任一者的功能，并且输入/输出装置112可跨多个部件和单独的装置(例如，计算机)分布。声音捕捉和重现装置100可连接为工作站、台式计算装置、笔记本计算机、平板计算机，移动计算装置或任何其他合适的计算装置或计算装置的集合。声音捕捉和重现装置100可在本地网络上操作或者托管在云计算环境中。
声音捕捉和重现装置可另外包括方向传感器110。方向传感器110能够提供输出，用于测定相对于操作装置所处的环境的装置取向。尽管方向传感器110可安装在保护耳罩上，但也可安装在声音捕捉和重现装置上的任何适当位置处(例如，在保护耳罩之间的头环上)，该位置使该方向传感器可正确地测定装置取向。在一个实施方案中，方向传感器110可包括加速度计。在另一个实施方案中，方向传感器110可包括陀螺仪。另选地，方向传感器110可包括指南针。在一些实施方案中，这些元件的组合或全部三个可构成取向。在一些实施方案中，方向传感器110将能够提供用于定位的参考点。方向传感器110的示例可包括来自加利福尼亚州圣何塞市的应美盛公司(Invensense of San Jose,CA)的ITG-3200三轴数字输出陀螺仪(ITG-3200 Triple-Axis Digital-Output Gyroscope)、来自马萨诸塞州诺伍德的亚德诺半导体公司(Analog Devices of Norwood,MA)的ADXL345三轴加速度计(ADXL345 Triple-axis Accelerometer)或者来自新泽西州莫里斯维尔的霍尼韦尔公司(Honeywell of Morrisville,NJ)的HMC5883L三轴数字式磁力计(HMC5883L Triple AxisDigital Magnetometer)。
通信接口116可为网络接口卡，诸如以太网卡、光收发器、射频收发器或者可发送和接收信息的任何其他类型的装置。此类通信接口的其他示例可包括移动计算装置中的蓝牙、3G、4G和WiFi无线电，以及USB。在一些示例中，声音捕捉和记录装置100利用通信接口116与外部装置诸如移动计算装置、移动电话、工作站、服务器或者其他联网的计算装置进行无线通信。如本文所述，通信接口116可被配置成接收如处理器106所指示的声音信号类别、更新和配置设定。
在本说明书的声音捕捉和重现装置100定位于具有保护耳罩的耳机上的情况下，麦克风102,104(以及，在适用情况下，可能的其他麦克风)可集成有声音控制能力。声音控制能力可包括对由麦克风102和104接收的声音进行滤波、放大、衰减的能力。另外，保护耳罩可具有至少一定的无源降噪或消音能力，以及从外部设置在听力保护装置上的麦克风、设置在保护耳罩中的扬声器和用于放大由麦克风接收的声学信号并将信号传递到扬声器上的放大器，诸如在共同拥有和转让的PCT公开No.WO 2006/058319中所述，该公开据此全文以引用方式并入本文中。在此类实施方案中，扬声器能够不传输由麦克风接收的高于一定分贝级或声压级或者对应于脉冲事件(例如，枪声或嘈杂的机械噪声)的信号。
声音捕捉和重现装置100可包括将信息馈送到处理器106的多于两个麦克风。例如，装置可包括位于第三区域118处的第三麦克风107，其中这三个区域112、114和118中的每一者得到了最佳定位，以最有效地测定声学信号定位。在此类情况下，处理器106将接收并在所有三个麦克风之间比较声学信号。另选地，装置可包括最佳定位在四个区域处的四个麦克风，其中处理器接收并在所有四个麦克风之间比较声学信号。事实上，该装置可包括任何其他合适数量的麦克风，例如五个、六个、七个、八个或更多个，因为更大数量的麦克风将有助于更准确地定位声音的位置。在一些实施方案中，本文所述的麦克风可包括全向性麦克风(即，从所有方向获取声音的麦克风)。然而，为了有助于声源定位和改善麦克风之间的信号差异，可使用定向麦克风，或者可在给定麦克风区域附近添加机械特征结构以集中或者扩散来自特定方向的声音。图3A至图3C表示一种实施方案，其具有在第一保护耳罩109上的第一麦克风102、第二麦克风104和第三麦克风107，在第二保护耳罩119上的第四麦克风122、第五麦克风124和第六麦克风127，以及在连接第一保护耳罩和第二保护耳罩的头环上的第七麦克风128。
在另一方面，本说明书涉及从两个麦克风获取一个或多个声学信号的组合的起源的方法。如图4中的流程图所示，该方法包括以下步骤：捕捉一个或多个声学信号(301)、比较来自两个麦克风的一个或多个声学信号(302)，以及相对于装置取向定量地测定所述一个或多个声学信号的起源(303)。在一些实施方案中，可使用处理器(诸如，上述处理器106)来执行比较信号和定量测定其起源的步骤。尽管在图4中未示出，但是该方法可包括对所述一个或多个声学信号进行分类的另一步骤，诸如以上述方式和参考图7。该方法还可包括使用例如方向传感器110来测定装置取向的步骤。
另外，该方法可为从三个、四个、五个或更多个麦克风获取一个或多个声学信号的组合的起源的方法，在这种情况下，由处理器比较来自麦克风中每一个的声音信号。
处理器凭其能够通过比较来自不同位置处的不同麦克风的声学信号或信号来定位声音的数学方法涉及使用处理器比较从两个或更多个麦克风接收的声学信号的相移。为了进一步详细地用数学方法描述系统的功能，我们可引入以下表1中定义的元素：
表1
| 符号 | 定义 |
| r | [x,y,z] |
| a(r,t) | 声波幅度 |
| k | 波矢量 |
| ri | [kx,ky,kz] |
| a(ri,t) | 位置ri处的声波幅度 |
| xi(t) | 麦克风i处的声波的时间序列 |
| τij | 麦克风i和麦克风j之间的波达时间差 |
| F | 傅里叶变换算符 |
| D | 麦克风位置差异 |
从位于球面坐标处的源以任意方向进入的波的公式由公式1给出，
公式1：a(r，t)＝A0e-i(kr+ωt)
其中k为波矢量，其为波数到在空间中以任意方向传播的波的延伸。让每个麦克风(以i标记)的位置由表示其笛卡尔坐标的矢量ri＝[xi，yi，zi]表示。图5中提供了此类坐标系的图示。然后，每个麦克风所测量的波由公式2给出，
公式2：
到达不同麦克风的声波相对于彼此延迟。两个麦克风(以i和j标记)之间的相位差由公式3给出，
公式3：τij＝kT(ri-rj)
如果我们有N麦克风阵列，就有N(N-1)/2个麦克风对。
公式4：r(τ)＝∫xi(t+τ)xi(t)dt
公式5：
公式6：τij＝argmaxτ|r(τ)|
公式7：
公式8：τ12＝kT(r1-r2)
公式9：τN(N-1)＝kT(rN-rN-1)
公式10：τ＝Dk
公式11：k＝(DTD)-1DTτ
公式12：
公式13：
公式14：
公式15：方位角：
公式16：仰角：
如果两个或更多个麦克风共线，则公式10简化为标量方程，其解为：
公式17：
声源的模糊角度将为：
公式18：
如果麦克风非共面，则观察到唯一k。三个麦克风总是共面。也可存在多于三个麦克风，但是它们都位于单个平面上。在此类情况下，该系统可解，但是将得到变量k的多个解。那么，该解将意味着声源位于由麦克风限定的平面的任一侧上的特定角度处。解将为：
公式19：k＝(DTD)-1DTτ
公式20：
公式21：
公式22：
公式23：方位角：
公式24：仰角：θ不确定。
由至少4个麦克风和至少一个与其他麦克风不在同一平面内的麦克风组成的系统将导致公式中存在三个变量。然而，任意三个麦克风限定一个平面。为了克服这个问题，需要来自第四非平面麦克风的信息，使得det(DTD)≠0，这就是说D为非奇异的。这样，在数学上，用于明确地鲁棒计算3D角度的优选模式将包括至少四个麦克风，如公式10至公式16所示。图6中示出了流程图，该流程图示出了如上所述获取声学信号的起源的方法。
实施例
实施例1：
申请人创造了作为听力保护装置的一部分的声音捕捉和重现装置，该听力保护装置包括两个保护耳罩和连接保护耳罩的头环。分别在两个保护耳罩上以三角形布置排列三个来自加利福尼亚州圣何塞市的应美盛公司(Invensense of San Jose,CA)的INMP401MEMS麦克风。另外，将两个来自加利福尼亚州圣何塞市的应美盛公司(Invensenseof San Jose,CA)的INMP401MEMS麦克风定位在头环上。每个麦克风的坐标和位置提供于表2中：
表2：麦克风坐标
其中：
LF＝左前，LT＝左上，LB＝左后，RF＝右前，RT＝右上，RB＝右后，TF＝顶前，TB＝顶后。
八麦克风阵列提供了执行测量子集和确定哪些麦克风配置具有良好定位性能的灵活性。将麦克风阵列耳机布置在来自丹麦霍特的G.R.A.S声音与振动公司(G.R.A.SSound and Vibration of Holte,Denmark)的45BB KEMAR头和躯干非装配人体模型(45BBKEMAR Head&Torso,non-configured manikin)上。将来自马萨诸塞州弗雷明汉的博士公司(of Framingham，MA)的Soundlink无线扬声器定位于距离约5m处以用作声源。保持45BB KEMAR头和躯干非装配人体模型(45BB KEMAR Head&Torso,non-configuredmanikin)和声源之间的仰角恒定在0度或者接近0度。在测试期间，45BB KEMAR头和躯干非装配人体模型(45BB KEMAR Head&Torso,non-configured manikin)的头沿着0至360度的方位角旋转。麦克风连接到来自德克萨斯州奥斯汀的美国国家仪器公司(NationalInstruments of Austin,TX)的NI USB-6366DAQ模块。使用八个不同的麦克风通道同时进行声音信号的采集，每个通道具有100kHz的采样率。
LabVIEW(来自德克萨斯州奥斯汀的美国国家仪器公司(National Instruments,Austin,TX))软件被用作用从通道采集和后处理声学信号的接口。在后处理期间，LabVIEW软件计算了成对的广义互相关函数(GCC)并确定了GCC的全局最大峰值，以确定波达时间差(TDOA)。然后，将TDOA传递到过程块中，该过程块实现了用于估计声波在麦克风阵列处的来波角的方法。
图6提供用于测定声学信号的起源的方法的更详细示例的框图。该示例的输入由记录在多个麦克风处的空气声波引起的声压变化组成。通过使用同步的模数转换器(ADC)将模拟信号转换成数字信号。ADC可集成到麦克风中或者在麦克风换能器系统外部。ADC均通过同步信号同步。来自这些多个通道的信号被多路复用以在嵌入式处理器、数字信号处理器或计算系统上进行处理。同步信号和多路复用信号被成对处理，以便例如计算角度广义互相关函数。图7中示出了广义互相关函数。将广义互相关函数(GCC)输入到发现GCC的全局最大峰值的子系统中以计算波达时间差。然后将信号的到达时差传递到处理器中，该处理器实现用于估计在麦克风阵列处的声波的来波角的方法，如图8中所示。最后阶段涉及实现听觉或视觉显示系统的处理器，用于提醒用户声源的方向。
图8示出了使用广义互相关函数的框图，该函数将波达时间差作为输入并估计来波方向角。将成对的波达时间差和麦克风坐标输入到使用诸如图8所示的算法计算声波的来波角的子系统中。基于N(N-1)/2个成对的波达时间差构建波达时间距离的矩阵，其中N为麦克风的数量。
实施例2：
按照实施例1和上文所公开的方法，申请人测试了多种不同的麦克风数量和位置组合。在图9中以曲线图示出了测试的结果，该曲线图绘出了使用不同麦克风组合的情况下实际来波角与估计来波角的关系。基于所示的结果，与八个麦克风的情况相比，在耳机的每一侧(LF-LT和RF-RB)上具有非对称布置的四麦克风配置提供了良好的结果。确定的是，用于方位定位的另一种良好布置包括在耳机的一侧上(例如，在一个保护耳罩上)布置三个麦克风并在耳机的头环顶部上或相对侧上布置一个麦克风。这种布置在最小化几何校准(即，麦克风之间的固定距离)方面提供了优势，因为大多数麦克风定位在一侧上。
虽然本文已举例说明并描述了具体实施方案，但本领域的普通技术人员应当理解，在不脱离本公开的范围的情况下，可用各种替代形式和/或等同形式的具体实施来代替所示出的和所描述的具体实施方案。本申请旨在涵盖本文所讨论的具体实施方案的任何改型或变型。因此，本公开旨在仅受权利要求及其等同形式的限制。
Claims (35)
1.一种声音捕捉和重现装置，包括：
定位于两个区域处的两个麦克风；以及
处理器，其中所述处理器被配置成：
接收来自定位于两个区域处的所述两个麦克风的一个或多个声学信号，
在所述两个麦克风之间比较所述一个或多个声学信号，并且
相对于装置取向定量地测定所述一个或多个声学信号的起源。
2.根据权利要求1所述的声音捕捉和重现装置，其中所述处理器被配置成同步接收来自所述两个麦克风的一个或多个信号。
3.根据权利要求2所述的声音捕捉和重现装置，其中所述处理器被配置成同时接收来自所述两个麦克风的一个或多个信号。
4.根据权利要求2所述的声音捕捉和重现装置，其中所述处理器被配置成依次接收来自所述两个麦克风的一个或多个信号。
5.根据权利要求1所述的声音捕捉和重现装置，其中所述两个麦克风定位在用于精确地测定所述一个或多个声学信号的起源的两个最佳区域处。
6.根据权利要求1所述的声音捕捉和重现装置，其中所述处理器被配置成以成对方式基于分类在所述两个麦克风之间比较所述一个或多个声学信号。
7.根据权利要求1所述的声音捕捉和重现装置，还包括方向传感器，所述方向传感器能够提供用于测定装置取向的输出。
8.根据权利要求7所述的声音捕捉和重现装置，其中所述方向传感器包括加速度计。
9.根据权利要求7所述的声音捕捉和重现装置，其中所述方向传感器包括陀螺仪。
10.根据权利要求7所述的声音捕捉和重现装置，其中所述方向传感器包括指南针。
11.根据权利要求7所述的声音捕捉和重现装置，其中所述方向传感器能够提供用于定位的参考点。
12.根据权利要求1所述的声音捕捉和重现装置，其中所述两个麦克风集成有声音控制能力。
13.根据权利要求1所述的声音捕捉和重现装置，其中对所述一个或多个声学信号的定量测定可包括测量方位角、仰角、距离或空间坐标。
14.根据权利要求1所述的声音捕捉和重现装置，其中所述处理器还被配置成对所述一个或多个声学信号进行分类。
15.根据权利要求14所述的声音捕捉和重现装置，其中对所述一个或多个声学信号进行分类包括辨别所述信号是否属于以下类别中的一种：背景噪声、语音和脉冲声音。
16.根据权利要求1所述的声音捕捉和重现装置，其中所述声音捕捉和重现装置佩戴在用户头上。
17.根据权利要求16所述的声音捕捉和重现装置，其中所述声音捕捉和重现装置定位在佩戴在用户头上的听力保护装置上，所述听力保护装置包括为用户的每个耳朵提供的保护耳罩。
18.根据权利要求17所述的声音捕捉和重现装置，其中所述保护耳罩具有至少一定的无源噪声阻尼，以及从外部设置在所述听力保护装置上的麦克风、设置在所述保护耳罩中的扬声器和用于放大由所述麦克风接收的声学信号并将所述信号传递到所述扬声器上的放大器。
19.根据权利要求18所述的声音捕捉和重现装置，其中所述扬声器不传输由所述麦克风接收的高于一定声压级或者对应于脉冲事件的信号。
20.根据权利要求1所述的声音捕捉和重现装置，包括最佳定位在三个区域处的三个麦克风，其中所述处理器接收并在所述三个麦克风之间比较声学信号。
21.根据权利要求1所述的声音捕捉和重现装置，包括最佳定位在四个区域处的四个麦克风，其中所述处理器接收并在所述四个麦克风之间比较声学信号。
22.根据权利要求1所述的声音捕捉和重现装置，还包括提供关于声源位置的视觉反馈、触觉反馈、听觉反馈或触感反馈的装置。
23.根据权利要求22所述的声音捕捉和重现装置，其中所述反馈为听觉反馈，并且所述提供关于声源位置的视觉反馈、触觉反馈、听觉反馈或触感反馈的装置为扬声器。
24.一种从两个麦克风获取一个或多个声学信号的组合的起源的方法，包括以下步骤：捕捉所述一个或多个声学信号，比较来自两个麦克风的所述一个或多个声学信号，以及相对于装置取向定量地测定所述一个或多个声学信号的起源。
25.根据权利要求24所述的方法，包括对所述一个或多个声学信号进行分类的另一步骤。
26.根据权利要求25所述的方法，其中对所述一个或多个声学信号进行分类包括辨别所述信号是否属于以下类别中的一种：背景噪声、语音和脉冲声音。
27.根据权利要求24所述的方法，包括测定装置取向的另一步骤。
28.根据权利要求27所述的方法，其中使用方向传感器来测定所述装置取向。
29.根据权利要求24所述的方法，其中使用处理器执行以下所述步骤：在所述两个麦克风之间比较所述一个或多个声学信号，以及相对于装置取向定量地测定所述一个或多个声学信号的起源。
30.根据权利要求29所述的方法，其中所述处理器被配置成以成对方式基于分类在所述两个或更多个麦克风之间比较所述一个或多个声学信号。
31.根据权利要求29所述的方法，其中所述处理器被配置成同步接收来自所述两个麦克风的一个或多个信号。
32.根据权利要求29所述的方法，其中所述处理器被配置成同时接收来自所述两个麦克风的一个或多个信号。
33.根据权利要求29所述的方法，其中所述处理器被配置成依次接收来自所述两个麦克风的一个或多个信号。
34.根据权利要求24所述的方法，其中从三个最佳定位的麦克风收集一个或多个声学信号。
35.根据权利要求34所述的方法，其中从四个最佳定位的麦克风收集一个或多个声学信号。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562105372P | 2015-01-20 | 2015-01-20 | |
| US62/105,372 | 2015-01-20 | ||
| PCT/US2016/013362 WO2016118398A1 (en) | 2015-01-20 | 2016-01-14 | Mountable sound capture and reproduction device for determining acoustic signal origin |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107211206A true CN107211206A (zh) | 2017-09-26 |
Family
ID=55299761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680006484.8A Pending CN107211206A (zh) | 2015-01-20 | 2016-01-14 | 用于测定声学信号起源的可安装的声音捕捉和重现装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20170374455A1 (zh) |
| EP (1) | EP3248387A1 (zh) |
| CN (1) | CN107211206A (zh) |
| WO (1) | WO2016118398A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671444A (zh) * | 2017-10-16 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种语音处理方法及装置 |
| CN113905302A (zh) * | 2021-10-11 | 2022-01-07 | Oppo广东移动通信有限公司 | 触发提示信息的方法、装置以及耳机 |
| CN114173252A (zh) * | 2021-12-14 | 2022-03-11 | Oppo广东移动通信有限公司 | 音频采集方向的控制方法、装置、耳机以及存储介质 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170303052A1 (en) * | 2016-04-18 | 2017-10-19 | Olive Devices LLC | Wearable auditory feedback device |
| US10334360B2 (en) * | 2017-06-12 | 2019-06-25 | Revolabs, Inc | Method for accurately calculating the direction of arrival of sound at a microphone array |
| GB201802850D0 (en) | 2018-02-22 | 2018-04-11 | Sintef Tto As | Positioning sound sources |
| US10976999B1 (en) * | 2018-06-15 | 2021-04-13 | Chosen Realities, LLC | Mixed reality sensor suite and interface for physical region enhancement |
| CN109599122B (zh) * | 2018-11-23 | 2022-03-15 | 雷欧尼斯（北京）信息技术有限公司 | 沉浸式音频性能评价系统及方法 |
| EP3840396A1 (en) * | 2019-12-20 | 2021-06-23 | GN Hearing A/S | Hearing protection apparatus and system with sound source localization, and related methods |
| WO2021250518A1 (en) | 2020-06-09 | 2021-12-16 | 3M Innovative Properties Company | Hearing protection device |
| EP4018983A1 (en) * | 2020-12-23 | 2022-06-29 | 3M Innovative Properties Company | Hearing protection device, collision warning system and method of retrofitting a hearing protection device with a detection unit |
| WO2023010011A1 (en) * | 2021-07-27 | 2023-02-02 | Qualcomm Incorporated | Processing of audio signals from multiple microphones |
| US11890168B2 (en) * | 2022-03-21 | 2024-02-06 | Li Creative Technologies Inc. | Hearing protection and situational awareness system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279714A1 (en) * | 2008-05-06 | 2009-11-12 | Samsung Electronics Co., Ltd. | Apparatus and method for localizing sound source in robot |
| CN103026733A (zh) * | 2010-07-26 | 2013-04-03 | 高通股份有限公司 | 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体 |
| US20130223660A1 (en) * | 2012-02-24 | 2013-08-29 | Sverrir Olafsson | Selective acoustic enhancement of ambient sound |
| CN103329568A (zh) * | 2011-01-13 | 2013-09-25 | 高通股份有限公司 | 用移动平台进行的可变波束成形 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE526944C2 (sv) * | 2003-11-27 | 2005-11-22 | Peltor Ab | Hörselskydd |
| US20050238181A1 (en) | 2003-11-27 | 2005-10-27 | Sigvard Nilsson | Hearing protector |
| US20060013409A1 (en) * | 2004-07-16 | 2006-01-19 | Sensimetrics Corporation | Microphone-array processing to generate directional cues in an audio signal |
| US8111583B2 (en) * | 2007-08-21 | 2012-02-07 | Schwartz Adam L | Method and apparatus for determining and indicating direction and type of sound |
| US20120177219A1 (en) * | 2008-10-06 | 2012-07-12 | Bbn Technologies Corp. | Wearable shooter localization system |
-
2016
- 2016-01-14 EP EP16702845.5A patent/EP3248387A1/en not_active Withdrawn
- 2016-01-14 WO PCT/US2016/013362 patent/WO2016118398A1/en active Application Filing
- 2016-01-14 CN CN201680006484.8A patent/CN107211206A/zh active Pending
- 2016-01-14 US US15/544,594 patent/US20170374455A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279714A1 (en) * | 2008-05-06 | 2009-11-12 | Samsung Electronics Co., Ltd. | Apparatus and method for localizing sound source in robot |
| CN103026733A (zh) * | 2010-07-26 | 2013-04-03 | 高通股份有限公司 | 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体 |
| CN103329568A (zh) * | 2011-01-13 | 2013-09-25 | 高通股份有限公司 | 用移动平台进行的可变波束成形 |
| US20130223660A1 (en) * | 2012-02-24 | 2013-08-29 | Sverrir Olafsson | Selective acoustic enhancement of ambient sound |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671444A (zh) * | 2017-10-16 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种语音处理方法及装置 |
| CN109671444B (zh) * | 2017-10-16 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 一种语音处理方法及装置 |
| CN113905302A (zh) * | 2021-10-11 | 2022-01-07 | Oppo广东移动通信有限公司 | 触发提示信息的方法、装置以及耳机 |
| CN114173252A (zh) * | 2021-12-14 | 2022-03-11 | Oppo广东移动通信有限公司 | 音频采集方向的控制方法、装置、耳机以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3248387A1 (en) | 2017-11-29 |
| US20170374455A1 (en) | 2017-12-28 |
| WO2016118398A1 (en) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107211206A (zh) | 用于测定声学信号起源的可安装的声音捕捉和重现装置 | |
| US11706582B2 (en) | Calibrating listening devices | |
| US10939225B2 (en) | Calibrating listening devices | |
| Alameda-Pineda et al. | A geometric approach to sound source localization from time-delay estimates | |
| CN106134223A (zh) | 重现双耳信号的音频信号处理设备和方法 | |
| US20170195793A1 (en) | Apparatus, Method and Computer Program for Rendering a Spatial Audio Output Signal | |
| Zhang et al. | Statistical method to identify key anthropometric parameters in HRTF individualization | |
| Yang et al. | Personalizing head related transfer functions for earables | |
| Hu et al. | Sound source localization using relative harmonic coefficients in modal domain | |
| CN111818441B (zh) | 音效实现方法、装置、存储介质及电子设备 | |
| US11678111B1 (en) | Deep-learning based beam forming synthesis for spatial audio | |
| Calamia et al. | A conformal, helmet-mounted microphone array for auditory situational awareness and hearing protection | |
| Branda et al. | Motion sensors in automatic steering of hearing aids | |
| KR100862663B1 (ko) | 입력되는 신호를 공간상의 위치로 음상 정위하는 방법 및장치 | |
| US10743128B1 (en) | System and method for generating head-related transfer function | |
| CN104935913A (zh) | 处理多个装置采集的音频或视频信号 | |
| Hu et al. | Analytical geometry calibration for acoustic transceiver arrays | |
| CN111142073B (zh) | 一种机载3d音频方向定位准确度的测试方法 | |
| Sakamoto et al. | SENZI and ASURA: New high-precision sound-space sensing systems based on symmetrically arranged numerous microphones | |
| Christensen et al. | Measuring directional characteristics of in-ear recording devices | |
| CN114710726B (zh) | 智能穿戴设备的中心定位方法、设备及存储介质 | |
| US20240073571A1 (en) | Generating microphone arrays from user devices | |
| Gillett | Head mounted microphone arrays | |
| JP6988321B2 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
| JP5346187B2 (ja) | 頭部音響伝達関数補間装置、そのプログラムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170926 |
|
| RJ01 | Rejection of invention patent application after publication |