CN113498005A - 适于提供用户自我话音的估计量的听力装置 - Google Patents

适于提供用户自我话音的估计量的听力装置 Download PDF

Info

Publication number
CN113498005A
CN113498005A CN202110304515.0A CN202110304515A CN113498005A CN 113498005 A CN113498005 A CN 113498005A CN 202110304515 A CN202110304515 A CN 202110304515A CN 113498005 A CN113498005 A CN 113498005A
Authority
CN
China
Prior art keywords
user
hearing device
input
sound
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110304515.0A
Other languages
English (en)
Inventor
J·M·德哈恩
M·阿德纳杰维奇
S·费尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oticon AS
Original Assignee
Oticon AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oticon AS filed Critical Oticon AS
Publication of CN113498005A publication Critical patent/CN113498005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/025—In the ear hearing aids [ITE] hearing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了适于提供用户自我话音的估计量的听力装置，其包括：输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；处理器，配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量；及其中所述听力装置配置成使得在由用户佩戴时第一和第二输入变换器位于用户的第一和第二位置，及其中第一和第二位置选择成使得第一和第二电输入信号对于来自用户嘴巴的声音及来自位于用户周围环境中的声源的声音展现实质上不同的方向响应。

Description

适于提供用户自我话音的估计量的听力装置
技术领域
本发明涉及听力装置，例如耳机、耳麦、助听器、耳朵保护装置或其组合，尤其涉及用户自我话音的拾取。
背景技术
听力装置包括位于用户耳朵处、耳朵中或耳朵附近的至少两个(第一和第二)输入变换器(如传声器和/或振动传感器)。至少两个如第一和/或第二输入变换器可位于用户的耳道处或耳道中。
发明内容
当听力装置安装在用户上时，第一和第二输入变换器在听力装置中的位置可选择成提供第一和第二电输入信号的不同声学特性。至少两个输入变换器可位于耳道处和/或耳道中。至少两个输入变换器中的至少一个可位于耳道外面。至少两个输入变换器可包括三个以上输入变换器。三个以上输入变换器中的两个以上可位于耳道中。
用户自我话音的估计量可被提供为来自至少两个输入变换器的电输入信号的线性组合，例如a)在时域，通过线性滤波及随后对经滤波的第一和第二电输入信号求和；或者b)在(例如DFT)滤波器组域，将复值(波束形成器) 权重应用于第一和第二电输入信号中的每一个及随后对加权的第一和第二电输入信号求和。线性滤波器(如FIR滤波器)及复值(波束形成器)权重可基于优化方法进行估计，例如包括最小方差无失真响应(MVDR)方法，提供MVDR波束形成器。“外部”(第二)输入变换器(第二位置/声环境处)可以是由MVDR波束形成器针对其提供“无失真响应”的参考传声器。
本申请聚焦于使用至少两个输入变换器(例如包括传声器和/或振动传感器) 估计听力装置用户的话音。然而，至少两个输入变换器中的至少一个也可用于其它目的。
听力装置
在第一方面，本申请提供一种听力装置。
提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括输入单元，其包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器。该听力装置还包括处理器，配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量。该听力装置配置成使得在由用户佩戴时第一和第二输入变换器位于用户的第一和第二位置，其中第一和第二位置选择(设置)成使得第一和第二电输入信号对于来自用户嘴巴的声音及来自位于用户周围环境中的声源的声音展现实质上不同的方向响应。
从而可提高自我话音估计量的质量。
术语“实质上不同的方向响应”例如可通过来自给定声源的、输入变换器 (如第二)如传声器的自由场响应及在声音从声源到给定输入变换器(如第一) 的声学传播通路被声源与输入变换器之间的一个或多个物体堵塞的情形下输入变换器的响应进行例示。“实质上不同的方向响应”可在第一和第二电输入信号的至少一频率范围中、在多个频率范围中或者在听力装置的所有工作频率范围中存在。
“实质上不同的方向响应”例如可针对远场声源进行观察，其通过测量第一和第二变换器中的每一个的方向响应并绘制每一传声器的极坐标图进行。这是标准的测量方法。可定义距离度量(例如使用递归分析和/或最小平方估计) 及对应的阈值以提供决定两个方向响应是否“实质上不同”的判据。该判据例如可包括距离度量大于阈值。
第一和第二位置可选择(设置)成使得第一和第二电信号对于来自环境的空气传播的声音展现实质上不同的方向响应。位于用户周围环境中的声源可相对于用户定位，使得用户相对于来自前述声源的声音位于声学远场中，例如距用户1m以上。
听力装置可包括连接到输入单元的处理器。该处理器可包括一个或多个波束形成器，每一波束形成器通过对第一和第二(或更多)电输入信号进行滤波和求和而提供空间滤波的信号，其中波束形成器之一为自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量。
听力装置可包括耳内(ITE)部分(如耳件)，其在第一和第二位置之间提供开放验配。ITE部分可配置成使空气和声音能在第一和第二位置之间传播。 ITE部分可包括引导件，其包括使空气和声音能通过的一个或多个开口。第一输入变换器可位于ITE部分中或者连接到ITE部分。第一输入变换器(或其入口)可朝向耳膜。第二输入变换器可位于ITE部分中或者连接到ITE部分。第二输入变换器(或其入口)可朝向环境。
在第二方面，本申请提供一种听力装置。
进一步提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括：
-输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
-处理器，配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量；
-其中，该听力装置配置成在由用户佩戴时使得第一和第二输入变换器位于用户的第一和第二位置；及
-其中，第一和第二位置通过相应的第一和第二电输入信号的特性不同而确定，因为它们展现大于SNR阈值THSNR的自我话音信号的信噪比差ΔSNROV＝SNROV,1-SNROV,2，其中SNROV,1>SNROV,2；及
-其中，噪声被取为与源自用户自我话音的信号不同的所有其它环境声学信号。
“与源自用户自我话音的信号不同的所有其它环境声学信号”包括身体噪声如咀嚼等。
不同的SNR环境可通过标准测量进行验证。对于每一输入变换器(如传声器)，测量对自我话音及远场弥散噪声的频率响应。这两个测量结果之间的差将提供相对SNR，及两个输入变换器(如传声器)的相对SNR之间的差将提供ΔSNROV。
SNR阈值THSNR可大于或等于5-10dB，如大于或等于20-30dB(例如在低频区，低于阈频)。SNR阈值THSNR可随频率而变，例如在相对低的频率比在相对高的频率大。SNR阈值判据可至少在部分频带满足，例如低于阈频，例如低于4kHz，如低于3kHz。SNR阈值判据例如可在低端时具有13-25dB的ΔSNROV(OV为主)及在中间频率范围具有20-30dB的ΔSNROV(被动阻尼为主)时满足，其中低和中间频率范围之间的阈频可为约1kHz。
第一和第二位置(还)可通过相应的第一和第二电输入信号的特性不同而确定，因为它们
-展现大于噪声阈值THN的噪声电平的差ΔLN＝LN,2–LN,1，其中LN,2>LN,1。
第一和第二位置可通过相应的第一和第二电输入信号的特性进一步不同而确定，因为它们展现声源信号S如自我话音信号的谱整形ΔS(f)的差ΔS(f)＝ΔS(f)1–ΔS(f)2如失真大于谱整形阈值THΔS，其中f为频率。各个谱整形度量ΔS(f)i,i＝1,2例如可确定为初始声源信号与所涉及输入变换器处提供的信号之间的差跨频率例如在预定的多个频率的和。谱整形的差ΔS(f)例如可确定为两个度量ΔS(f)i,i＝1,2之间的差，即ΔS(f)＝ΔS(f)1–ΔS(f)2。
听力装置可包括连接到输入单元的处理器。该处理器可包括一个或多个波束形成器，每一波束形成器通过对第一和第二(或更多)电输入信号进行滤波和求和而提供空间滤波的信号。波束形成器之一可以是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量。
听力装置可包括耳内(ITE)部分，其完全或部分(声学上)阻塞(堵塞) 第一和第二位置之间的耳道。ITE部分可包括配置成安放在用户耳道中的密封件，以至少部分(声学上)使第一位置与第二位置密封。SNR和/或电平和/或频谱特性的差可通过第一和第二位置(声环境)之间的部分或完全密封进行增强，尤其在低频时，例如低于4kHz或低于2.5kHz时。
在第三方面，本申请提供一种听力装置。
提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括：
-输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
-连接到输入单元的处理器，该处理器包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波和求和而提供空间滤波的信号，其中波束形成器之一是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量；
其中，第一输入变换器为振动传感器，及第二输入变换器为传声器。
在本说明书中，术语“传声器”(除非特别说明)意为声学到电学变换器，其将空气传播的振动转换为电信号。换言之，“传声器”不覆盖用于拾取实心物质中的振动(如骨传导)的表面声波的声学变换器的水下传声器(水听器)。
振动传感器可包括下述之一或多个或者由其构成：骨导传声器、加速计、应变式振动传感器。
听力装置可配置成使得第一输入变换器位于用户耳道中(当听力装置由用户佩戴时)。
听力装置可配置成使得第一输入变换器位于用户的颞骨的乳突部分处(当听力装置由用户佩戴时)。第一输入变换器可位于用户耳朵处，例如颞骨的乳突部分中。
听力装置可配置成使得第二输入变换器位于用户耳道处或耳道中(当听力装置由用户佩戴时)。
听力装置可配置成使得第二输入变换器位于用户的耳道与嘴巴之间(当听力装置由用户佩戴时)。
听力装置可包括两个以上输入变换器，如三个以上。两个以上输入变换器可包括一个或多个传声器和/或振动传感器。两个以上输入变换器中的任何输入变换器可位于耳道处或耳道中、或者用户的耳道与嘴巴之间、或者用户耳朵处的骨性部分上，例如颞骨的乳突部分中。
在第四方面，本申请提供一种听力装置。
该听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。该听力装置包括：
-输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
-其中，该听力装置配置成使得第一和第二输入变换器位于用户上，从而在用户佩戴听力装置时使得它们分别经受第一和第二声学上不同的声环境。
第一声环境可定义为自我话音信号(主要)源自骨头(颅骨)和皮肤/组织 (肉)的振动部分的环境。第二声环境可定义为自我话音信号(主要)源自用户嘴巴和鼻子并通过空气从嘴巴/鼻子传到第二输入变换器(如传声器)的环境。
如果第一输入变换器与振动物不(直接或间接)接触，从振动物(如骨/组织)到第一输入变换器的可能“气道”(如传输通道的空气传播部分)例如可在0到10mm之间。
术语“主要源自”在本说明书中意为50％以上，如70％以上，如90％以上源自。
听力装置可包括耳内(ITE)部分，其完全或部分(声学上)阻塞(堵塞) 第一和第二声环境之间的耳道。
术语“声学上彼此不同”在本说明书中指第一和第二声环境通过阻止或减少其间的声能交换的一个或多个物体分隔。
术语“声学上彼此不同”在本说明书中可指例如“彼此至少部分隔离”，例如两个声环境由一例如包括密封件的物体分隔，其用于衰减第一和第二声环境之间的声学传输。
术语“声学上彼此不同”在本说明书中可指第一和第二声环境之间的“过渡区域”，其通过耳道中第一和第二输入变换器之间的最小距离(如≥5mm或≥10mm或≥20mm，例如在5mm到20mm之间的范围中)实现，从而改变入射在过渡区域每一侧上的输入变换器上的声学信号的声学条件(如其方向特性、和/或其频谱特性、和/或其SNR)。过渡区域例如可通过完全或部分堵塞耳道的物体如ITE部分(如耳件)实现。该物体可包括密封件。
听力装置可包括连接到输入单元的处理器。
处理器可配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量。
处理器可包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波和求和而提供空间滤波的信号。波束形成器之一可以是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量。
听力装置可配置成在第一和第二声环境之间提供过渡区域。听力装置可包括在听力装置由用户佩戴时完全或部分堵塞耳道的物体(如ITE部分(例如耳件))。该物体例如可包括密封件。密封件可部分开放(即，例如包括一个或多个开口，使能一定程度上与环境交换空气和声音以减少用户的堵耳感觉)。
在第五方面，本申请提供一种听力装置。
提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括：
-输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
-连接到输入单元的处理器，该处理器包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波并对第一和第二经滤波的信号求和而提供空间滤波的信号，其中波束形成器之一是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量；
-包括壳体的耳件，其适于位于用户耳道处或耳道中并至少部分堵塞耳道以在耳件壳体与耳道的耳膜之间产生残余腔；
-其中，当用户佩戴听力装置时，第一输入变换器位于耳件的壳体中或壳体上并朝向耳膜；及
-其中，当用户佩戴听力装置时，第二输入变换器位于听力装置中并朝向用户的环境。
听力装置可配置成使得第二输入变换器主要拾取空气传播的声音。空气传播的声音可包括来自环境的声音，包括来自用户嘴巴的声音。
在本申请的第六方面，提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括：
-输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
-连接到输入单元的处理器，该处理器包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中波束形成器之一是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量；
-该听力装置可配置成在由用户佩戴时使得第一和第二输入变换器位于用户的第一和第二位置；及其中第一和第二位置选择(设置)成使得第一和第二电输入信号对于来自用户嘴巴的声音展现实质上不同的频谱响应。
第二电输入信号的频谱失真可小于第一电输入信号的频谱失真，至少在包括用户自我话音的频率范围如此。第一电输入信号与第二电信号之间的频谱响应的差例如可测量为第一和第二电输入信号在一个或多个频率的差，例如在与语音有关的一个或多个频率，例如在1kHz和/或2kHz，或者在100Hz、500 Hz、1kHz、2kHz和4kHz等(中的一个或多个如全部)(可能跨时间如1s或更长求平均)。如果第一和第二电输入信号之间在一个或多个如至少两个(与语音有关的)频率的差大于差阈值，第一和第二电输入信号被认为对于来自用户嘴巴的声音展现实质上不同的频谱响应，即，如果Δov(k1)＝MAG(IN1ov(k1))- MAG(IN2ov(k1))与Δov(k2)＝MAG(IN1ov(k2))-MAG(IN2ov(k2))之间的差大于阈值，例如大于3dB如大于6dB，其中k1和k2为跨一频率范围如100Hz到2.5kHz之间或者1kHz到2kHz之间的不同频率，及IN1ov,IN2ov为第一和第二电输入信号，当用户讲话时，及MAG为量值。
第一位置可选择成充分利用来自用户嘴巴的声音通过用户头部(颅骨)的传导。来自用户嘴巴的声音通过用户头部的传导例如可由骨传导构成或者包括骨传导(例如与皮肤和/或组织(肉)结合)。第一输入变换器可包括振动传感器如加速计或由其构成。
第二位置可选择成充分利用来自用户嘴巴的声音的空气传导。来自用户嘴巴的声音到第二位置的传导可由通过空气传播构成或者包括通过空气传播。第二输入变换器可包括传声器或由其构成。
在本上下文中，“传声器”意为特别配置成将空气中的声音振动转换为表示其的电信号的输入变换器。
听力装置可包括耳内(ITE)部分，其完全或部分(声学上)阻塞(堵塞) 第一和第二位置之间的耳道。
在第七方面，本申请提供一种听力装置。
提供一种适于由用户佩戴并适于拾取包含用户自我话音的声音的听力装置。该听力装置包括：
-输入单元，至少包括分别用于提供表示在用户附近拾取的声音的电输入信号的第一和第二输入变换器，其中
--第一输入变换器位于耳道内并设置在听力装置的向内端处(在工作时至少部分安装到用户耳道内时)；
--第二输入变换器位于自由场中或处于听力装置的向外端处(在工作时至少部分安装到用户耳道内时)；
-连接到输入单元的处理器，该处理器包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中波束形成器之一是自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量；
-用于接收用户自我话音的估计量或其处理后版本的应用。
所述应用可包括发射器，配置成将用户自我话音的估计量无线传输给外部装置或系统。
所述应用可包括话音控制接口，配置成基于用户自我话音的估计量控制听力装置的功能。所述应用例如可包括关键词检测器如唤醒词检测器和/或命令词检测器。
下面的特征可与根据上面提及的任一方面的听力装置组合。
听力装置可配置成使得第一输入变换器可位于用户耳道中并朝向耳膜，及第二输入变换器可位于用户耳道处或耳道中并朝向环境。第一和第二输入变换器可位于适于完全或部分位于用户耳道中的ITE部分中。
听力装置可包括输出单元，其包括输出变换器如扬声器或振动器，用于将表示声音的电信号转换为表示该声音的声学信号。
听力装置可配置成使得输出变换器向第一声环境播放声音。
听力装置可配置成使得输出变换器位于听力装置中且位于第一和第二输入变换器之间。
听力装置可包括适于位于用户的耳朵处或耳朵中(如耳道处或耳道中)的壳体，第一输入变换器和/或输出变换器被支撑在其上或其中或者位于其上或其中。
听力装置可包括耳件，其中该耳件(例如耳件的壳体)配置成贡献于第一和第二声环境和/或第一和第二位置之间的至少部分密封。
听力装置(如壳体或耳件)可包括密封件，配置成贡献于第一和第二声环境和/或第一和第二位置之间的至少部分密封。
听力装置可包括发射器如无线发射器，配置成将用户自我话音的估计量或其处理后版本传给另一装置或系统例如传给电话机或计算机。
听力装置可包括关键词检测器或自我话音检测器，配置成接收用户自我话音的估计量或其处理后版本。这可用于检测用于话音控制应用的关键词(如唤醒词)，以确保特定讲出的词源自听力装置的佩戴者。
听力装置可包括处理器，用于处理第一和第二电输入信号并提供处理后的信号。处理器可配置成应用一个或多个处理算法以处理第一和第二电输入信号或源自其的信号，例如自我话音信号或者表示来自环境的声音例如话音(例如来自讲话者，如通信伙伴)的波束形成信号。
用户自我话音的估计量可被提供为来自至少两个输入变换器的电输入信号的线性组合，例如a)在时域，通过线性滤波及随后对经滤波的第一和第二电输入信号求和；或者b)在(例如DFT)滤波器组域，将复值(波束形成器) 权重应用于第一和第二电输入信号中的每一个及随后对加权的第一和第二电输入信号求和。线性滤波器(如FIR滤波器)及复值(波束形成器)权重可基于优化方法进行估计，例如包括最小方差无失真响应(MVDR)方法。
处理器可包括波束形成器模块，配置成提供一个或多个波束形成器，每一波束形成器配置成对第一和第二电输入信号进行滤波及提供空间滤波的(波束形成)信号。一个或多个波束形成器可包括自我话音波束形成器，其包括预先确定的或自适应更新的自我话音滤波器权重，其中用户自我话音的估计量根据自我话音滤波器权重和第一和第二电输入信号提供。
至少两个输入变换器例如可用于提供多个不同的波束形成器(其可同时使用，或者在听力装置的不同运行模式下使用)。不同的波束形成器例如可以是目标保持波束形成器和目标消除波束形成器。不同的目标声源可具有它们单独的波束形成器，例如朝向环境中如用户前面的目标声音的波束形成器，如朝向用户嘴巴的波束形成器，如朝向听力装置自身的扬声器(以消除反馈)的波束形成器等。
目标方向自适应确定，如EP3413589A1中所述，其中最大可能性/似然方案用于选择与目标声音的特定到达方向相关联的最佳传递函数。最佳传递函数从声学传递函数及对应的目标方向的字典选择，例如在使用听力装置之前确定并存储在听力装置在使用期间可访问的数据库中。特定到达方向为其对应的声学传递函数使似然函数最大化的方向，给定电输入信号的当前值。
第一和第二输入变换器(或它们提供的电输入信号)中的至少一个可用于不同于波束形成的其它目的，例如用作话音控制接口的输入，例如包括自动语音识别(ASR)，例如关键词检测等。其它目的例如可以是话音活动检测 (VAD)、自我话音检测(OVD)或自动噪声消除(ANC)，以消除或衰减来自环境的、通过听力装置(或听力装置的耳件或ITE部分)周围的声学传播或者经听力装置到达耳膜的声音。
处理器可配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量。
听力装置可包括一个或多个另外的输入变换器，用于提供表示用户环境中的声音的一个或多个另外的电信号。听力装置可包括，一个或多个另外的输入变换器中的至少一个相较于第一和第二输入变换器离线定位。
第一和第二输入变换器可包括至少一传声器。第一和第二输入变换器可包括至少一振动传感器如加速计。
听力装置可包括主动噪声抵消器，配置成在听力装置由用户佩戴时消除或衰减来自环境的、通过听力装置周围的声学传播或者经听力装置到达耳膜的声音。第一和/或第二输入变换器可由主动噪声抵消器用于消除或衰减来自环境的声音。
听力装置可由助听器、耳机、耳麦、耳朵保护装置或其组合构成或者包括助听器、耳机、耳麦、耳朵保护装置或其组合。
听力装置可包括空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合。
听力装置或包括上面描述的、具体实施方式中详细描述的或权利要求中限定的听力装置的系统可包括第一和第二耳件，其适于分别位于第一和第二耳朵处或耳朵中。第一和第二耳件中的每一个可包括至少两个输入变换器如传声器。第一和第二耳件中的每一个可包括天线和收发器电路，配置成使能在其间交换数据，包括音频数据。
只要对于所涉及的应用适当，输入单元可包括相应的模数转换器和/或分析滤波器组。
输入变换器可包括传声器(用于感测空气传播的声音)或振动传感器(例如用于感测骨导振动)如加速计。第一和第二输入变换器可包括至少一传声器。第一和第二输入变换器可以是传声器。第二输入变换器例如可包括传声器。第一输入变换器例如可包括振动传感器(如加速计)。第一和/或第二输入变换器例如可位于耳道外面、耳廓中或耳廓处、或耳朵(耳廓)后面。第一和/或第二输入变换器例如可位于耳道处或耳道中。第二输入变换器例如可位于耳道开口与用户嘴巴之间。第一和第二输入变换器例如可位于水平面中(当用户佩戴听力装置并处于站立位置时)。第一和第二输入变换器例如可沿跟随用户耳道的线定位。
第一和第二输入变换器可包括朝向耳膜的输入变换器和朝向环境的输入变换器。第一输入变换器可位于用户耳道中并朝向耳膜，及第二输入变换器可位于用户的耳道处或耳道中并朝向环境。在本说明书中，术语“朝向环境的输入变换器”意为其主要接收声学传输的来自环境的声音(例如因为其具有朝向环境的入口(例如远离耳膜，例如朝向用户嘴巴))。同样，术语“朝向耳膜的输入变换器”意为其主要接收来自靠近耳膜的(残余)腔的声音，例如因为其具有朝向耳膜的入口。这样的位置将把第一输入变换器特别暴露于来自用户颅骨的、骨传导的声音(主要因用户自我话音引起)。所谓的残余腔可构成或形成第一声环境的一部分，或者表征第一输入变换器的第一位置。
听力装置可包括一个或多个另外的输入变换器，用于提供表示声音的一个或多个电信号。一个或多个另外的输入变换器可位于第一声环境中或第一位置处和/或第二声环境中或第二位置处。一个或多个另外的输入变换器可位于耳道处或耳道中或者耳廓中或耳廓外面。一个或多个另外的输入变换器例如可位于朝向用户嘴巴延伸的支撑结构(如吊杆)上。
一个或多个另外的输入变换器中的至少一个相较于第一和第二输入变换器可离线定位。第一和第二输入变换器在听力装置中的位置形成第一(传声器) 轴。第一(传声器)轴可与组合用户的第一和第二耳道(或耳膜)的第一轴实质上平行(或者与耳道的纵轴(例如从耳道开口朝向耳膜)实质上平行)。一个或多个另外的输入变换器中的至少一个可位于第一轴的方向。然而，一个或多个另外的输入变换器中的至少一个可位于从耳道开口朝向用户嘴巴的方向 (因而相对于第一和第二输入变换器(可能)离线)。第二输入变换器和一个或多个另外的输入变换器中的至少一个在听力装置中的位置可形成实质上在朝向用户嘴巴的方向的第二(传声器)轴。
听力装置可包括输出单元，其包括输出变换器如扬声器，用于将表示声音的电信号转换为表示该声音的声学信号。输出单元可包括数模转换器和/或合成滤波器组，只要对于所涉及的应用适当。输出变换器可包括扬声器、骨导听力装置的振动器和/或耳蜗植入型听力装置的多电极阵列。输出变换器可设置在听力装置中第一位置处，配置成向第一声环境播放声音。输出变换器可位于听力装置中第一和第二输入变换器之间。
听力装置可包括适于完全或部分插入到用户耳道中的ITE部分如耳件。ITE 部分/耳件例如可包括壳体，其适于位于用户耳朵处或耳朵中，第一输入变换器和/或输出变换器被支撑在其上或其中或者位于其上或其中。
ITE部分/耳件可配置成贡献于第一和第二声环境或者第一和第二位置之间的至少部分密封。耳件可配置成贡献于第一和第二声环境之间的至少部分密封。听力装置如ITE部分/耳件可包括密封件，配置成贡献于第一和第二声环境之间的至少部分密封。
听力装置可包括接收器如无线接收器，用于从另一装置或系统接收表示声音的信号。听力装置可包括发射器如无线发射器，配置成将第一和第二输入变换器拾取的信号或其处理后版本(如用户自我话音)传给另一装置或系统。听力装置可包括天线和收发器电路，配置成在听力装置与另一装置如电话机或计算机之间建立无线音频链路。无线音频链路可基于蓝牙如蓝牙低功率或类似技术。
听力装置可包括处理器，用于处理第一和第二电输入信号并提供处理后的信号。处理后的信号可适于补偿用户的听力受损。处理后的信号可经输出变换器呈现给用户。
处理器可包括配置成提供一个或多个波束形成器的波束形成器模块，每一波束形成器配置成对第一和第二电输入信号进行滤波并提供空间滤波的(波束形成)信号。一个或多个波束形成器可包括自我话音波束形成器，其包括预先确定的或自适应更新的自我话音滤波器权重，其中用户自我话音的估计量根据自我话音滤波器权重和第一和第二(或更多)电输入信号提供。一个或多个波束形成器包括MVDR波束形成器(MVDR＝最小方差无失真响应)。
听力装置或听力系统可包括第一和第二耳件，其适于分别位于第一和第二耳朵处或耳朵中。第一和第二听力装置中的每一个可包括至少两个输入变换器如传声器。第一和第二耳件可包括天线和收发器电路，配置成使能在其间交换数据，包括音频数据。
听力装置可包括助听器如例如适于位于耳朵处或者完全或部分位于耳道中的听力仪器、耳机、耳麦、耳朵保护装置或其组合。听力装置可包括空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合。听力装置(或双耳听力系统的听力装置)例如可包括或可结合适于佩戴在用户头上的托架如眼镜架实施。
听力装置如助听器可适于提供随频率而变的增益和/或随电平而变的压缩和 /或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。听力装置可包括信号处理器，其用于增强输入信号并提供处理后的输出信号，例如适于补偿用户如听力装置用户的听力受损。
听力装置如助听器或耳机等可包括输出单元，用于基于处理后的电信号提供由用户感知为声信号的刺激。输出单元可包括耳蜗植入件(用于CI型听力装置)的多个电极或者骨导听力装置的振动器。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)听力装置中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
听力装置包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器或振动传感器。
听力装置可包括定向传声器系统，其适于对来自环境的声音进行空间滤波从而例如增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源 (或者抑制来自一个或多个特定方向的信号)。定向系统适于检测(如自适应检测)传声器信号的特定部分(如噪声或目标部分)源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中，传声器阵列波束形成器通常用于空间上衰减背景噪声源和/或(可能同时)以提高的信号质量提供目标信号(例如来自通信伙伴或者用户自己)。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地，MVDR波束形成器保持来自目标方向(也称为视向)的信号不变，而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示，其相较原始形式的直接实施提供计算和数字表示优点。
听力装置可包括存储器。存储器可配置成存储一组或多组(例如预先确定的，或者在使用期间更新的)波束形成器权重，或者，对应地，线性滤波器如 FIR滤波器的滤波器系数，例如参见图5A、5B。存储的波束形成器权重或者线性滤波器的滤波器系数可与根据本发明的自我话音估计有关。
听力装置可包括用于从另一装置如从娱乐设备(例如电视机)、通信装置、无线传声器或另一听力装置如助听器接收直接电输入信号的天线和收发器电路 (如无线接收器)。直接电输入信号可表示或包括音频信号和/或控制信号和/ 或信息信号。
一般地，听力装置的天线及收发器电路建立的无线链路可以是任何类型。无线链路控制功率约束条件下使用，例如因为耳机或听力装置由便携式(通常电池驱动的)装置构成或者包括便携式(通常电池驱动的)装置。无线链路可以是基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。无线链路例如可配置成传输在无线电频率范围(3kHz到300GHz)的电磁信号。无线链路例如可配置成传输在光频率范围(例如红外光300GHz到430THz或者可见光如430THz到770THz)的电磁信号。基于远场、电磁辐射的无线链路例如可基于蓝牙技术(如蓝牙低功率技术)。
听力装置可具有0.15m级或小于0.15m的最大外尺寸(例如耳机)。听力装置可具有0.04m级或小于0.04m的最大外尺寸(例如听力仪器)。
听力装置可以是便携(即配置成可穿戴)装置或形成其一部分，如包括本机能源如电池例如可再充电电池的装置。听力装置可以是轻质、容易穿戴的装置，例如具有小于100g如小于20g的总重量。
听力装置如助听器可包括输入单元(如输入变换器，例如传声器或传声器系统和/或直接电输入(如无线接收器))和输出单元如输出变换器之间的正向或信号通路。信号处理器可位于该正向通路中。信号处理器可适于根据用户的特定需要提供随频率而变的增益。听力装置可包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。分析通路和/或信号通路的部分或所有信号处理可在频域进行。分析通路和/或信号通路的部分或所有信号处理可在时域进行。
听力装置可包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。听力装置可包括数模(DA) 转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
听力装置如输入单元和/或天线及收发器电路包括用于提供输入信号的时频表示的时频(TF)转换单元。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。TF转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。TF转换单元可包括用于将时变输入信号转换为(时 -)频域中的(时变)信号的傅里叶变换单元。听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围可包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。通常，采样率fs大于或等于最大频率fmax的两倍，即fs≥2fmax。听力装置的正向通路和/或分析通路的信号可拆分为NI个(例如均匀宽度的)频带，其中NI例如大于5，如大于10，如大于 50，如大于100，如大于500，至少其部分个别进行处理。听力装置可适于在 NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
听力装置如助听器可配置成在不同模式下运行，如正常模式及一个或多个特定模式，例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境进行优化。运行模式可包括低功率模式，其中听力装置的功能被减少 (例如以便节能)，例如禁用无线通信和/或禁用听力装置的特定特征。
听力装置可包括多个检测器，其配置成提供与听力装置的当前网络环境 (如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域)，例如在有限的多个频带中。
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成确定正向通路的信号的当前电平是否高于或低于给定(L-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号 ((时-)频域)。
听力装置可包括话音活动检测器(VAD)，用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选，话音活动检测器可适于从“话音”的检测排除用户自己的话音。
听力装置可包括自我话音检测器，用于估计特定输入声音(如话音，如语音)是否(或以何种概率)源自听力装置系统用户的话音。听力装置的传声器系统可适于能够进行用户自己的话音与另一人的话音及可能与无话音声音的区分。
多个检测器可包括运动检测器，例如振动传感器，例如加速度传感器。运动检测器可配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
听力装置可包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”由下面的一个或多个定义：
a)物理环境(如包括当前电磁环境，例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；
b)当前声学环境(输入电平、反馈、谱含量、调制等)；
c)用户的当前模式或状态(运动、温度、认知负荷等)；
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
分类单元可基于或者包括神经网络，例如经训练的神经网络。
听力装置还可包括用于所涉及应用的其它适宜功能，如压缩、反馈控制、降噪等。
听力装置可包括听力仪器，例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器。听力装置例如可包括耳机、耳麦、耳朵保护装置或其组合。耳机可适于由用户佩戴并包括输入变换器(如传声器)到(例如无线)发射器通路及(例如无线)接收器到输出变换器(如扬声器)通路。耳机可适于拾取用户自我话音并经发射器将其传给远程装置或系统。同样，耳机可适于从远程装置或系统接收声音信号并经输出变换器将其呈现给用户。
应用
一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。可提供在包括音频分布的系统中的应用。可提供在包括一个或多个听力装置(听力仪器)的系统、头戴式耳机、耳麦、主动耳朵保护系统等中的应用，例如在免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
一方面，本申请进一步提供一种听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-通过对第一和第二电输入信号进行滤波和求和而提供空间滤波的信号，其中空间滤波的信号包括用户自我话音的估计量；
-使得在由用户佩戴时第一和第二输入变换器位于用户的第一和第二位置。
所述方法还可包括选择第一和第二位置选择，使得第一和第二电输入信号对于来自用户嘴巴的声音及来自位于用户周围环境中的声源的声音展现实质上不同的方向响应。
在另一方面，提供听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中空间滤波的信号包括用户自我话音的估计量；
-在由用户佩戴时使得第一和第二输入变换器位于用户的第一和第二位置；及
-选择第一和第二位置，使得第一和第二电输入信号展现大于SNR阈值 THSNR的、自我话音信号的信噪比差ΔSNROV＝SNROV,1-SNROV,2，其中SNROV,1> SNROV,2；
-其中，噪声被取为与源自用户自我话音的信号不同的所有其它环境声学信号。
在另一方面，提供听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-使得第一和第二输入变换器位于用户上第一和第二位置处，从而在用户佩戴听力装置时使得它们分别经受第一和第二声学上不同的声环境；
其中第一声环境定义为自我话音信号(主要)源自骨头(颅骨)和皮肤/组织(肉)的振动部分的环境，及其中第二声环境定义为自我话音信号(主要) 源自用户嘴巴和鼻子并通过空气从嘴巴/鼻子传到第二输入变换器的环境。
在另一方面，提供听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中空间滤波的信号包括用户自我话音的估计量；
-在由用户佩戴时使得第一和第二输入变换器位于用户上第一和第二位置处；
-使得耳件在由用户佩戴时至少部分堵塞耳道以在耳件壳体与耳道的耳膜之间产生残余腔；
-，选择耳件的壳体中或壳体上在用户佩戴听力装置时朝向耳膜的第一位置；及
-选择听力装置中在用户佩戴听力装置时朝向用户的环境的第二位置。
在另一方面，提供听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中空间滤波的信号包括用户自我话音的估计量；
-在由用户佩戴时使得第一和第二输入变换器位于用户的第一和第二位置；及
-选择第一和第二位置，使得第一和第二电输入信号对于来自用户嘴巴的声音展现实质上不同的频谱响应。
在另一方面，提供听力装置的运行方法，所述听力装置适于由用户佩戴并适于拾取包含用户自我话音的声音。所述方法可包括：
-使用第一和第二输入变换器将声音分别转换为表示所述声音的第一和第二电输入信号；
-将第一输入变换器设置在听力装置的向内端处(在工作时至少部分安装到用户耳道内时)；
-将第二输入变换器设置在听力装置的向外端处(在工作时至少部分安装到用户耳道内时)；
-通过对第一和第二电输入信号进行滤波并求和而提供空间滤波的信号，其中空间滤波的信号包括用户自我话音的估计量；
-通过应用(如用于关键词检测或传输到另一装置或系统)接收用户自我话音的估计量或其处理后版本。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应装置一样的优点。
本发明方法例如可包括：
-在第一和第二位置之间提供开放验配。
本发明方法例如可包括：
-使得第一和第二位置之间的耳道完全或部分声学上封闭/堵塞。
听力系统
另一方面，听力系统包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置，此外还提供辅助装置。
听力系统适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号，可能音频信号)可进行交换或者从一装置转发给另一装置。
辅助装置可包括遥控器、智能电话、或者其它便携或可穿戴电子设备如智能手表等。
辅助装置可由遥控器构成或者包括遥控器，其用于控制听力装置的功能和运行。遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制听力装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
辅助装置可由音频网关设备构成或者包括音频网关设备，其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
辅助装置可由另一听力装置构成或者包括另一听力装置。听力系统可包括适于实施双耳听力系统如双耳助听器系统的两个听力装置如助听器。
辅助装置可包括喇叭扩音器(包括多个输入变换器和多个输出变换器，例如用在音频会议情形)，例如包括波束形成器滤波单元，例如提供多个波束形成能力。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1A示意性地示出了根据本发明一方面的第一和第二声环境及根据本发明实施例的听力装置的第一和第二输入变换器的第一示例性的第一和第二位置；
图1B示意性地示出了根据本发明实施例的听力装置的第一和第二输入变换器的第二示例性的第一和第二位置；
图1C示意性地示出了根据本发明实施例的听力装置的第一和第二输入变换器的第三示例性的第一和第二位置；
图1D示意性地示出了根据本发明实施例的听力装置的第一和第二输入变换器的第四示例性的第一和第二位置；
图1E示意性地示出了根据本发明实施例的听力装置的第一和第二输入变换器的第五示例性的第一和第二位置；
图2A示意性地示出了构成或形成根据本发明的听力装置如耳机或助听器的一部分的耳件的第一实施例，其配置成至少部分位于用户耳道处或耳道中；
图2B示意性地示出了构成或形成根据本发明的听力装置如耳机或助听器的一部分的耳件的第二实施例，其配置成至少部分位于用户耳道处或耳道中；
图3示意性地示出了根据本发明的听力装置如耳机或助听器的实施例，该听力装置包括适于佩戴在用户耳道中的耳件；
图4A示意性地示出了根据本发明的听力装置的第一实施例，该听力装置包括具有适于位于用户耳道中的第一和第二传声器的耳件；
图4B示意性地示出了根据本发明的听力装置的第二实施例，该听力装置包括具有适于位于用户耳道中的第一和第二传声器的耳件，耳件包括引导或密封件；
图4C示意性地示出了根据本发明的听力装置的第三实施例，该听力装置包括具有第一和第二传声器的耳件，耳件适于位于用户耳道中，及该听力装置还包括位于耳道外面(如外耳中)的(第三)传声器；
图4D示意性地示出了根据本发明的听力装置的第四实施例，该听力装置包括具有第一传声器的耳件，耳件适于位于用户耳道中，及该听力装置还包括位于耳道外面(如外耳中)的第二传声器；
图4E示意性地示出了根据本发明的听力装置的第五实施例，该听力装置包括具有第一传声器的耳件，耳件适于位于用户耳道中，及该听力装置还包括位于耳道外面(如外耳外面)例如在用户嘴巴方向延伸的吊杆上的第二传声器；
图5A示出了听力装置的从输入单元到发射器的传声器通路的第一实施例，传声器通路用于提供佩戴听力装置的用户的自我话音的估计量并将该估计量传给另一装置或系统；
图5B示出了听力装置的从输入单元到发射器的传声器通路的第二实施例，传声器通路用于提供佩戴听力装置的用户的自我话音的估计量并将该估计量传给另一装置或系统；
图6示出了包括自我话音估计的耳机或助听器的实施例及将自我话音估计量传给另一装置的选择，及从另一装置接收声音以经扬声器例如与来自用户环境的声音混合呈现给用户。
图7A示出了用于基于两个传声器输入提供波束形成信号的自适应波束形成器滤波单元的实施例；
图7B示出了自适应(自我话音)波束形成器配置，包括全向波束形成器和目标消除波束形成器，并基于其平滑版本，确定自适应因子β(k)；
图7C示出了包括后滤波器的自我话音波束形成器的实施例，例如用于图6 中所示的电话或耳机模式；
图8A示出了包括与眼镜架集成为一体的第一或第二听力装置的听力系统的实施例的俯视图；
图8B示出了图8A实施例的主视图；
图8C示出了图8A实施例的侧视图；
图9示出了根据本发明的听力装置的实施例；
图10示出了根据本发明的耳机的实施例。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等 (统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微机电系统(MEMS)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、印刷电路板(PCB)(如柔性PCB)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件，例如用于感测和/或记录环境、装置、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本发明涉及听力装置，例如耳机、耳麦、助听器、耳朵保护装置或其组合，尤其涉及用户自我话音的拾取。在本说明书中，“目标信号”(除非特别说明) 一般指用户自我话音。
在本申请中，提供自我话音捕获系统，其捕获用户话音并将其传给(例如位于听力装置中的)应用程序(或者外部装置或系统)。捕获使用至少两个输入变换器如传声器实现。至少两个传声器的传统使用是基于来自环境的外部声音使用空间滤波(如波束形成)或声源分离(如BSS)以将不想要的声学信号 (噪声)与想要的声学信号分开。在“正常模式的”助听器应用中，目标信号通常从正面方向到达(例如拾取通信伙伴的话音)。在耳机应用中(或在具有电话模式或话音接口的助听器中)，目标信号通常从朝向用户嘴巴的方向到达(拾取用户自我话音)。
通过将听力装置的输入变换器(如传声器)放在听力装置用户的耳道中或耳道处及例如相对于外面(部分)密封耳道，提供一些令人感兴趣的机会，例如用于自我话音估计。耳道内的输入变换器(如传声器)将拾取自我话音信号 OV。该信号OV的质量将主要取决于耳道的密封。本申请提供耳内输入变换器 (如传声器或振动传感器)与位于耳道的(可能)密封部分外面例如完全位于耳道外面(如耳廓处、耳廓中或耳廓后面，或者另外朝向用户嘴巴)的标准输入变换器(如传声器)的组合。双耳耳内传声器的使用也可提高信号质量。输入变换器的两种类型的位置提供高度相关的、想要的声学信号(自我话音)。在密封使用情形下，两种类型的输入变换器(如传声器或(外部)传声器和 (内部)振动传感器)还提供趋于不相关的噪声信号。
根据本发明，从位于不同声环境中的(例如分别依赖于骨传导和空气传导的)输入变换器产生的信号的线性组合提供用户自我话音的估计量。使用用户两只耳朵处的输入变换器的、可能对称(关于嘴巴的位置)的双耳检测可大大有助于自我话音估计的质量。环境噪声(不想要的噪声)将不具有这些对称性。因此，算法可通过调查位于两个不同声环境中例如位于用户耳道的外面和里面如耳道密封件的外面和里面的输入变换器经受的两个声源之间的相关而将想要的声学信号与不想要的声学信号区分开。本发明例如可依赖于标准波束形成方法如MVDR形式来确定从电输入信号提取用户话音的线性滤波器或波束形成器权重。
听力装置包括位于用户耳朵处、耳朵中或耳朵附近的至少两个(第一和第二)输入变换器(如传声器或振动传感器)。第一和/或第二输入变换器可位于用户的耳道处或耳道中，或者用户头上的别处。第一和第二输入变换器分别提供第一和第二电输入信号。图1A-1E分别示出了第一和第二输入变换器的多个示例性的第一和第二位置。当听力装置(在工作时)位于用户耳朵处时，第一和第二输入变换器的第一和第二位置通过适当调整听力装置实现(考虑人耳形状和尺寸，例如特别适应用户耳朵)。第一和第二位置可选择成(及听力装置特别适于)使得在听力装置安装在用户上时第一和第二输入变换器经受第一和第二不同的声环境。有利地，第一和第二电输入信号可结合用于提供用户自我话音的估计量(例如基于第一和第二电输入信号之间的相关，和/或滤波及随后求和)。
在图1A-1E的实施例中，从声学声音到表示该声音的电信号的变换器记为“输入变换器”。根据应用，输入变换器例如可体现为传声器或振动传感器，例如一个为传声器(如第二输入变换器)，另一个为振动传感器(如第一输入变换器)，或者第一和第二输入变换器均为传声器。传声器例如可以是全向传声器。然而，根据应用，也可使用定向传声器(例如，第二输入变换器可以是定向传声器，在听力装置由用户佩戴时，其具有朝向用户嘴巴的首选方向)。振动传感器例如可包括加速计。有利地，振动传感器定位成使得其与耳道(或用户头上的别处)的(软或骨性部分中的)皮肤直接或间接接触。
在图1A-1E的实施例中，仅示出了两个输入变换器。这是最小数量，但不意为(必然)限制输入变换器的数量为2。其它实施例可具有三个以上输入变换器。另外的(一个或多个)输入变换器可位于第一声环境中或第二声环境中。然而，一个或多个另外的输入变换器可位于两个声环境中(例如一个在第一声环境中及一个在第二声环境中，等等)。例如，在朝向用户嘴巴的方向包括多个另外的输入变换器(如传声器)(例如对于耳机应用)可能有利，例如作为位于耳件或单独的托架上的传声器线性阵列(例如以增加由前述输入变换器经受的(自我话音)SNR)。在耳道中包括多个另外的输入变换器(如传声器) 也可有利。耳道中的另外的传声器可用于估计耳道几何形状和/或检测声音从耳道的可能泄漏。此外，例如自我话音波束形成器的例如为提供个人化的线性滤波器或波束形成器权重而改善的波束形成器校准可得到位于耳道中的传声器的支持。
在图1A-1E的实施例中，第一和第二声环境之间的“过渡区域”通过实“线”标示。该过渡区域例如可通过在耳道中产生最小距离而实现(例如≥5 mm，或≥10mm，或≥20mm，例如在5mm到25mm之间，例如在10mm到 20mm之间)，从而改变入射在位于过渡区域每一侧的输入变换器上的声学信号的声学条件(例如其方向特性和/或其频谱特性和/或其SNR)。过渡区域例如可通过完全或部分阻塞耳道的物体实现，例如ITE部分(如耳件)。该物体例如可包括密封件。密封件可部分开放(即，例如包括一个或多个开口，从而使能与环境进行一定的空气和声音交换，例如进而减少用户的堵耳感觉)。
图A示意性地示出了佩戴听力装置的用户的耳道。听力装置未在图1A中示出(作为代替，参见图2A-2B)。为简单起见，耳道被示为耳廓中从环境到耳膜的直圆柱形开口。实际上，耳道具有非圆柱形延伸并具有变化的截面积 (及在开口与耳膜之间可具有弯曲延伸)。耳道的第一相对软的(肉质)部分 (最靠近耳道开口)的壁在图1A-1E(及2A、2B)中记为“皮肤/组织”，而耳道的相对硬的部分的壁在图1A-1E(及2A、2B)中记为“骨性部分”。外耳 (耳廓)的、在图1A-1E中记为“皮肤/组织/骨”的竖向部分形成耳道开口 (“孔”，例如通过(虚拟地)将靠近开口的竖向外壁的相对部分连接而直观看到)。外耳的靠近耳道开口(例如靠近耳屏)的骨性部分可用作配置成拾取骨导声音的输入变换器(如振动传感器)的位置。
耳道开口可用作听力装置的输入变换器(如传声器)的位置的参考点，例如第一输入变换器可位于耳道开口的内侧(和/或头部的骨性部分上)，在图1A中称为“第一声环境”。第一声环境(通过阴影填充标示)可以用户自我话音可在骨传导版本(其可能频谱失真，例如高于阈频，如2kHz-3kHz)中获得为特征，参见图1A中记为“朝向嘴巴方向(自我话音)”的虚线箭头旁边的“自我话音(骨传导)”的标示。第二输入变换器可位于耳道开口的外侧 (图1A)或内侧上(图1B)，但比第一输入变换器更朝向环境。第二声环境 (由二次阴影填充标示)可以用户自我话音可在空气传播版本(其(实质上) 未频谱失真，或者至少相较第一声环境更少频谱失真)中获得为特征，参见图 1A中记为“朝向嘴巴方向(自我话音)”的虚线箭头旁边的“自我话音(空气传播)”的标示。第二声环境可延伸到耳朵周围的空间，其中用户自我话音的空气传播版本可以高于阈电平的电平(或高于阈SNR的SNR)接收。在本说明书中，“内侧”意为朝向耳膜，“外侧”意为朝向环境，从耳道开口(例如从其上的参考点)看，参见图1A。第一和第二输入变换器均可位于耳道中(即耳道开口的内侧上)，例如参见图1B、图4A-4C。前述位置可受益于第一和第二声环境之间的良好密封。
在本说明书中，耳道开口由通常椭圆形截面(的例如中心点)确定，在其处耳道连接外耳(耳廓)，例如参见图1A-1E。
图1B示出了第一和第二变换器在用户耳道中或周围的位置的另一示例性配置。图1B的配置与图1A的配置类似，但第二变换器的位置被进一步移向耳膜以刚好位于耳道开口内。从而可实现完全位于耳道中的耳件(例如参见图3)，同时保持第一和第二声环境的优点。为提供最佳的根据本发明的自我话音估计，该位置的第二输入变换器可受益于第一和第二声环境之间的密封，例如使用耳件壳体周围的密封件，其与耳道壁紧密配合，例如参见图4B。
图1C示出了第一和第二变换器在用户耳道中或周围的位置的另一示例性配置。图1C的配置与图1A的配置类似，但第二变换器的位置移向用户嘴巴，使得第二输入变换器的位置(“第二位置”)在耳道外面、耳朵(耳廓)中，例如靠近对耳屏的耳屏。这具有第一和第二声环境可得以完全开发的优点。第二输入变换器(如传声器)位于更靠近用户嘴巴处并将暴露于提高的SNR从而用于用户自我话音的空气传播接收。作为备选，第二输入变换器也可位于耳廓中的别处(例如外耳的上部，或者耳廓，例如听力装置如助听器的BTE部分中)。
图1D示出了第一和第二变换器在用户耳道中或周围的位置的另一示例性配置。图1D的配置与图1C的配置类似，但第一输入变换器IT1的位置在耳道外面，位于耳廓处或耳廓后面(或别处)，与颅骨如乳突骨接触。第一输入变换器IT1优选可实施为振动传感器以完全开发骨传导(例如源自用户嘴巴并至少包括用户自我话音的频谱部分)的优点。
图1E示出了第一和第二变换器在佩戴听力装置的用户耳朵周围的第一和第二声环境中的另一示例性配置。图1E的配置与图1A的配置类似，但两个变换器均进一步移向环境。第一输入变换器IT1位于耳道中(“第一声环境”中、“第一位置”)，距耳道开口的距离为L(IT1)。第二输入变换器IT2位于耳道外面(“第二声环境”中、“第二位置”)，距耳道开口的距离为L(IT2)。距离L(IT1)和L(IT2)可以不同。距离L(IT1)可大于L(IT2)。然而，距离L(IT1)和 L(IT2)也可实质上相等，每一距离例如在5mm到15mm之间的范围中，例如在5mm到10mm之间。这种配置可具有下面的优点：第二输入变换器如传声器(刚好)位于耳道外面以完全提供空气传播的声音(包括来自用户嘴巴)的好处，同时得到耳朵(耳廓)的声学特性的好处。此外，位置刚好在耳道开口内的第一输入变换器(如传声器)避免耳件深入耳道(浅构造)延伸，同时仍然具有第一声环境的益处(提供具有良好SNR的自我话音信号)。
可提供图1A-1E的配置且具有位于耳道内或耳道外的其它有关位置的额外的输入变换器。只要适当，也可混合示例性的配置(例如，使得该配置包括位于乳突骨处的振动传感器及耳道的第一声环境中的传声器)。
图2A和2B分别示出了构成或形成根据本发明的听力装置如耳机或助听器的一部分的耳件的第一和第二实施例，其配置成至少部分位于用户耳道处或耳道中。
图2A和2B中所示的听力装置HD的实施例中的每一个包括第一和第二传声器(M1,M2)、扬声器SPK、无线收发器(包括接收器Rx和发射器Tx)及处理器PRO。处理器PRO可连接到第一和第二传声器、扬声器和收发器(Rx,Tx)。处理器PRO可配置成(至少在通信运行模式下)基于来自第一和第二传声器 (M1,M2)的第一和第二电输入信号产生用户自我话音的估计量(信号“传到”) 并将其馈给发射器Tx以传给另一装置或系统。处理器因而例如可包括降噪系统，其包括用于根据第一和第二(可能及更多)电输入信号估计用户自我话音的波束形成器(例如MVDR波束形成器)。处理器PRO还可配置成(至少在通信运行模式下)(可能处理及)将经接收器Rx从另一装置或应用接收的信号(参见“传自”)馈给扬声器SPK从而呈现给听力装置用户。
在图2A和2B的实施例中，第一传声器M1位于耳件或ITE部分(图2中记为HD)(构成或形成听力装置的一部分)中，其适于至少部分达到用户的耳道内。第一传声器在耳件中的位置(原理上)可(至少部分)对来自或朝向环境的声音传播开放。然而，在图2A和2B的实施例中，第一传声器M1在耳件中的位置(至少部分)封闭(例如密封)来自或朝向环境的声音传播(参见“环境声音”)。该耳件HD可包括密封件和引导件(图2A)。密封件用于使耳件壳体与耳道壁紧密配合(密封)。从而耳件与耳膜之间的腔(称为残余腔) 至少部分与环境(耳道外面)密封。该腔(在图2A、2B的实施例中)称为第一声环境(也可参见图1A-1E)。耳件的朝向耳膜的部分可包括通风通道 (“通风口”)，具有比密封件更靠近耳道开口的、位于耳件壳体中的开口 (“通风开口”)，从而使能在残余腔与环境之间进行有限的空气(和声音) 交换，进而减少用户的(令人烦恼的)堵耳感觉。密封件可定位成更靠近耳膜，如果使能与环境进行一些空气和声音交换(或者如果该结构的其它部分允许这样的交换)。
在图2A中，(非必需的)引导件可配置成引导耳件(例如与密封件协作)，使得其可以受控方式插入到耳道内，例如使得其沿耳道的中心轴居中。引导件可由柔性材料制成，从而使能一定程度上适应耳道截面的变化。引导件可包括一个或多个使空气(和声音)能通过的开口。引导件(及密封件)也可由相对硬的材料制成。
扬声器SPK位于耳件HD中以朝向残余腔内的耳膜播放声音(“耳道(残余腔)”)。扬声器出口(SPK出口)将声音引向耳膜。作为代替(或者除扬声器之外)，听力装置HD可包括用于传输作为颅骨振动的刺激的振动器或者用于听觉神经的电刺激的多电极阵列。
在图2A和2B的实施例中，第一传声器M1位于扬声器出口中并配置成拾取来自第一声环境(包括残余腔)的声音，例如作为骨导声音例如从用户嘴巴 (自我话音)提供到残余腔的声音。在图2A和2B的实施例中，扬声器位于第一和第二传声器之间。
第一传声器M1可由振动传感器替代，例如与第一传声器位于同样位置的振动传感器，或者与耳道的软或骨性部分的皮肤直接或间接接触(振动传感器，例如包括加速计，特别适于拾取骨导声音)。在另一实施例中，第一传声器 M1可由位于耳道外面、适合拾取来自用户嘴巴的骨导声音的位置处的振动传感器替代(或补充)，例如颞骨的乳突部分的用户耳朵处，或者例如靠近耳道的骨性部分，例如参见图1D。
在图2A的实施例，第二传声器M2位于耳件HD中靠近耳道开口(刚刚在耳道开口外面)，例如使得外耳(耳廓)的方向线索和滤波作用被实质上保持 (例如50％以上保持)，及使得用户自我话音被(主要)接收为空气传导的声音(及使得其频谱实质上不失真)。具有所提及的特性的位置记为“第二声环境”(不同于第一声环境)。在图2A的实施例中，第二传声器定位成使得其朝向耳道外面的环境，例如处于传声器入口(“M2入口”)中。在图2B的实施例中，图2A的第一和第二传声器(M1,M2)(及位于其间的扬声器SPK)按朝向环境的方向远离耳膜向外移动，同样结合图1E所示和所述。然而，在图 2B的实施例中，第二传声器M2(目标在于接收质量好的空气传播的自我话音信号)被移到耳件外部的底表面(及图2A中第二传声器的位置由另外的第三传声器M3占用)。
图2B中所示的听力装置实施例包括与图2A的实施例一样的元件。在图2B 中，耳件具有截面积比耳道(开口)大的外部。耳件仍然配置成部分插入到耳道内(但没有图2A的实施例那么深)。外部包括部分开放(“(开放)密封件”，由“斑马条纹”标示)，其适于接触耳道开口周围(及耳道开口中)的用户皮肤以针对用户耳朵形成舒适且部分开放的验配。在由用户佩戴时，耳件的适于延伸到耳道内的部分包括另一密封件(“密封件”，由黑色填充标示)，其适于形成紧密配合(并在耳道中引导耳件)。除第一和第二传声器(M1,M2) 之外，该耳件还包括位于耳件外表面附近并朝向环境的第三和第四传声器(M3, M4)。第三和第四传声器可用于从用户的(远场)声环境拾取声音(尤其对于助听器应用而言)。听力装置如处理器PRO可包括一个或多个波束形成器，每一波束形成器通过对第一、第二、第三和第四电输入信号中的至少两个进行滤波和求和而提供空间滤波的信号，其中波束形成器之一为自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量。另一波束形成器可目标在于环境中的目标或噪声信号(例如在特定运行模式下)，例如目标在于消除前述目标或噪声信号或者保持前述目标信号(例如来自环境中的通信伙伴)。通过具有传声器入口，传声器尽管固有地全向，但所得的传声器信号具有一定程度的方向性。具体地，配置成拾取用户自我话音的第二传声器M2具有被指向用户嘴巴的优点。
在实施例中，耳件仅具有两个传声器(M1,M2)，例如按图1E中图示的定位。
在另一实施例中，第二传声器M2可位于耳道中并在朝向耳膜的方向远离耳道开口，例如受限于耳道的软(非骨性)部分，例如距耳道开口小于10mm (例如参见图4A、4B、4C)。
一般地，第二传声器M2可位于远离第一传声器M1一距离处，例如与第一传声器处于听力装置(如耳件)的同一物理部分中(如图2A、2B和3中所示)，例如使得第一和第二传声器位于与“耳道的纵向方向”平行的线上(例如参见图1A、1B、1E、2A、2B)。然而，第二传声器M2可位于与耳件分开的ATE 部分中(ATE＝耳朵处)。ATE部分可适于位于耳道外面，例如外耳中(例如参见图1C、1D、4C、4D)，或者耳廓处或耳廓后面或者耳朵(耳廓)处或周围的别处，例如伸向用户嘴巴的吊杆上(例如图4E)，当听力装置安装在用户上(准备好正常运行)时。。
图2A、2B的听力装置可代表耳机及助听器。
第一和第二输入变换器如传声器之间的距离可在5mm到100mm之间的范围中，如10mm到50mm之间，或者10mm到30mm之间。
听力装置HD可包括三个以上输入变换器如传声器，例如一个或多个位于指向用户嘴巴的吊杆上(这样的传声器例如位于第二声环境中)。至少三个传声器中的两个可分别位于耳道开口周围及刚好外面，例如外面10-20mm(处于第二声环境中)。至少三个传声器中的两个例如可位于耳道中且相当靠近耳膜，例如处于第一或第二声环境中。
第一传声器可位于耳道处或耳道中。第一传声器可位于比第二传声器更靠近耳膜处。第二传声器可位于比第三传声器更靠近耳膜处，等等。
第一和第二传声器可位于用户的耳道处或耳道中，使得它们经受第一和第二声环境，其中，当用户佩戴听力装置如耳机时，第一和第二声环境至少部分声学上彼此隔离。在下表中，内部和外部可分别指第一和第二。
第一(“内部”)和第二(“外部”)输入变换器的特性(相对意义上)
谱形(“着色”) SNR 噪声
内部(1<sup>st</sup>)传声器 - + +(点状)
外部(2<sup>nd</sup>)传声器 + - -(发散)
第一(内部)输入变换器信号具有良好SNR的优点(来自环境的噪声的一部分已通过外耳和头部(可能及躯干)的方向特性滤掉)，噪声源(参见表中的“噪声”)将因此更本地化(点状)，这有助于其通过波束形成器在远离耳朵的方向(例如垂直于头侧，肯定不在嘴巴方向，这样，(声学上)衰减目标信号的机会最小)为零(或最小)而衰减。然而，取决于耳道的实际位置(速度)和第一输入变换器的密封程度，来自第一输入变换器的信号的谱形(着色)可能更差(例如受限于较低频率，例如小于2或3kHz)，因而如果听的话听起来不自然。来自第一(内部)输入变换器的第一电输入信号根据泄漏和残余腔可能经历放大。该放大因而很难“校准”。
第二(外部(或不太内部)的)输入变换器信号具有良好谱形的优点，这使得(远端听者)听起来更舒适，但具有被来自环境的噪声(其至少部分通过空间滤波(波束形成)和非必需的后滤波去除)“污染”的缺点。但相较于第一输入变换器，第二输入变换器可经历更发散的噪声分布。
听力装置优选可包括波束形成器如MVDR波束形成器，配置成基于应用于第一和第二电输入信号的波束形成器权重提供用户话音的估计量。MVDR波束形成器的特性在于其将总是提供具有大于或等于任何输入信号的SNR的波束形成信号(其不破坏SNR)。在本例子中，“外部”(第二)输入变换器优选可以是参考传声器，针对其由MVDR波束形成器提供“无失真响应”。
MVDR波束形成器的滤波器权重可自适应确定。通常，噪声场(例如由噪声协方差矩阵Cv表示)在用户的语音停顿(无自我话音)或者一般的语音停顿 (无话音)期间进行更新。从用户嘴巴到至少两个传声器中的每一个的传递函数dov,i(i＝1,…,M,M≥2)可在使用听力装置之前确定或者可在使用期间自适应确定(例如在听力装置通电时或者在使用期间反复确定)，当存在用户自我话音时(及优选地，当噪声电平低于阈值时)。从用户嘴巴到至少两个传声器中的每一个的传递函数dov,i(i＝1,…,M,M≥2)可由视向量dov＝(dov,1…,dov,M)T表示，其中上标T指转置。
在第一输入变换器与环境声学通信的情形下，MVDR波束形成器可依赖于预先确定的视向量(例如在听力装置使用之前确定)。在第一输入变换器被阻塞((声学上)实质上与环境密封)的情形下，MVDR波束形成器的视向量可自适应确定。
图3示出了根据本发明的听力装置如耳机或助听器的实施例。图3的听力装置HD包括耳件或者由耳件构成，其配置成插入到用户耳道内。该听力装置包括三个传声器(M1,M2,M3)、扬声器SPK、处理器PRO、和第一和第二波束形成器(OV-BF,ENV-BF)，例如分别提供用户话音的估计量及非必须地提供来自环境的声音信号如目标讲话者的估计量(例如在两种不同运行模式下启动)。该听力装置HD还可包括相应的发射器Tx和接收器Rx，分别用于将用户话音的估计量OVest传给另一装置及用于从另一装置接收表示声音的信号FEV。第一传声器M1位于耳件中朝向耳膜的表面处，适合拾取来自残余腔的声音。第二和第三传声器(M2,M3)位于耳件中朝向环境的表面处，适合拾取来自环境的声音。自我话音波束形成器OV-BF配置成例如基于来自三个传声器(M1,M2, M3)或者至少来自M1,M2的电输入信号提供用户自我话音的(空间滤波的)估计量。环境波束形成器ENV-BF例如配置成基于第二和第三传声器(M2,M3)提供来自环境的声音的估计量。图3的听力装置HD的耳件被示为跟随用户耳道的(示意性)形状(例如由于耳件的定制)。从而，可提供改善的用户自我话音的估计量。耳件可包括通风通道(例如可(电)控制的通风通道)。
图4A-4E示出了听力装置HD的实施例，如助听器或耳机，在自我话音估计的上下文中，或其ITE部分(耳件)。仅输入变换器在图4A-4E的听力装置的ITE部分中被示为聚焦于它们的数量和位置，而听力装置的其它元件隐去，例如位于听力装置的其它部分如BTE部分中的元件(例如参见图9)。由所示传声器提供的电输入信号假定用作用于提供用户自我话音的估计量的波束形成器(如MVDR波束形成器)的输入。这样的自我话音波束形成器的框图的例子在图7C中示出。双耳耳内传声器(即分别位于左和右耳处或左和右耳中的传声器)的可能对称性可提高自我话音估计量的质量。
图4A的听力装置包括第一和第二传声器(M1,M2)。第一传声器位于耳件中比第二传声器M2更靠近耳膜处。耳件部分堵塞耳道，从而在用于第一和第二传声器的第一和第二声环境之间产生分隔。从而，第一传声器M1主要暴露于用户自我话音的骨传导版本，而第二传声器M2主要暴露于用户自我话音的空气传播版本。
在图4B的实施例中，耳件还包括引导件或密封件，配置成至少部分使第一传声器M1所处的残余腔(第一声环境)与第二传声器M2所处的环境(第二声环境)密封。耳件/ITE部分还可针对用户的耳道定制，例如从而在壳体与耳道的壁(皮肤/组织)之间产生密封效果(即使泄漏最小化)。来自(例如处于用户的声学远场中的)外部声源的声音由SENV标示。来自用户嘴巴的声音由记为SOV的实线箭头标示。通过耳件的密封件及可能的定制，第一和第二环境的特性之间的差别将被增强，从而可提高自我话音估计量的质量。
与图4A或4B的实施例的第一和第二传声器相比，在图4C的实施例中，听力装置包括第三传声器M3。第三传声器位于朝向用户嘴巴的方向，因而处于第二声环境中，目标在于拾取空气传播的信号，包括来自用户嘴巴的信号。图4C不包括密封件，但听力装置的ITE部分的壳体之间的密封件将改善第一和第二环境之间的隔离(参见图4B中的“引导件/密封件”或者图2A中的“引导件”、“密封件”结构)。对于图4D的实施例同样如此。根据听力装置的密封效果，朝向耳膜的第一传声器M1相较于朝向环境的第二和第三传声器M2, M3具有明显更高的SNR。
图4D的实施例与图4C的实施例类似，但其仅包含两个传声器(M1,M2)。在图4D的实施例中，第二传声器M2位于朝向用户嘴巴的方向(处于图4C实施例中的另外的第三传声器的位置)。再次说明，第二传声器M2位于第二声环境中，其将主要接收空气传导的声音(包括空气传导的来自用户嘴巴的声音)。
图4E的实施例与图4D的实施例类似，但第二传声器M2位于外耳(耳廓) 外面，例如位于朝向用户嘴巴的吊杆上(从而增大该传声器接收的(自我话音) 信号的SNR，其它方面均一样)。再次说明，第二传声器M2位于第二声环境中，其将主要接收空气传导的声音(包括空气传导的来自用户嘴巴的声音)。
图5A和5B分别示意性地示出了听力装置的从输入单元到发射器的传声器通路的第一和第二实施例，传声器通路用于提供佩戴听力装置的用户的自我话音的估计量并将该估计量传给另一装置或系统。
现在参考图5A，其示出了根据本发明的、包括定向系统的听力装置的一部分的实施例。听力装置HD配置成位于用户耳朵处或耳朵中，例如完全或部分位于用户耳道中。听力装置包括输入单元IU，其包括多个(N个)输入变换器(M1,…,MN)(在此为传声器)，用于分别提供表示用户环境中的声音的电输入信号(IN1,IN2,…,INN)。听力装置还包括用于与外部装置AD如电话机或其他通信装置无线通信的发射器Tx。听力装置还包括连接到输入单元IU的空间滤波器或波束形成器(w1,w2,…,wN,CU)，其配置成基于多个电输入信号及可配置的波束形成器权重(w1p,w2p,…,wNp，其中p为波束形成器权重组指数) 提供空间滤波的输出信号YOV。空间滤波器包括加权单元(w1,w2,…,wN)例如相乘单元，每一加权单元适于将相应(来自第p组的波束形成器权重)的波束形成器权重(w1p,w2p,…,wNp)应用于相应的电输入信号(IN1,IN2,…,INN)并提供相应的加权输入信号(Y1,Y2,…,YN)。在实施例中，加权单元w1,w2,…,wN 例如可实施为时域的线性滤波器。空间滤波器还包括组合单元CU例如求和单元，用于将加权(或线性滤波)的输入信号组合为一个或多个空间滤波的信号，在此为一个包括用户自我话音的估计量的波束形成信号YOV，其被馈给发射器 Tx从而传给另一装置或系统(例如经无线链路WL传给网络设备AD的电话机)。在图5A的实施例中，波束形成信号YOV被馈给非必需的处理器PRO，其例如在处理后的信号OUT被转发给发射器Tx之前将一个或多个处理算法应用于来自空间滤波器/波束形成器的波束形成信号YOV，例如进一步降噪。
听力装置HD例如波束形成器还包括空间滤波器控制器SCU，其配置成将至少第一组(p＝1)波束形成器权重(w1p,w2p,…,wNp)(或线性滤波器，如FIR 滤波器)应用于多个电输入信号(IN1,IN2,…,INN)。应用第一组波束形成器权重(p＝1)(或线性滤波器)以提供(例如来自位于用户嘴巴处的声源的)外部声场的空间滤波，参见信号(Y1,Y2,…,YN)。听力装置还包括可从空间滤波器控制器SCU访问的存储器MEM。空间滤波器控制器SCU配置成在存储器中存储的两组以上(p＝1,2,…)波束形成器权重(或线性滤波器)(包括第一组波束形成器权重(或线性滤波器))之中自适应选择适当的一组波束形成器权重(信号 wip)(或线性滤波器)。在给定时间点，例如可从存储器中存储的多组不同的波束形成器权重(或线性滤波器系数)选择适当的一组波束形成器权重(或线性滤波器)，或者这样的适当的(更新的)波束形成器权重(或线性滤波器) 可自适应确定，例如根据声源位置的变化确定(例如在对用户自我话音不感兴趣的情形下)。波束形成器权重(或线性滤波器如FIR滤波器的滤波器系数) 可通过本领域已知的任何方法确定，例如使用MVDR方法确定。
图5A中所示的听力装置部分可实施一般耳机或者助听器在通信运行模式 (如电话模式)下从输入变换器到无线收发器的传声器通路。当然，听力装置可另外包括输出单元，其包括输出变换器如用于将可感知为声音的刺激呈现给听力装置用户的扬声器，或以经无线接收器接收的来自远程通信伙伴的话音的形式，和/或通过听力装置的输入变换器拾取的来自用户环境的声音的形式。对于图5B的实施例可同样如此。传声器通路可在时域或频域提供(在此称为“时频域”以指明频谱(通常)时变)。
图5B的实施例与图5A的实施例类似，但具有下述区别。图5B的听力装置的输入单元IU包括传声器形式的两个输入变换器(M1,M2)及用于将相应电输入信号(IN1,IN2)提供为按时频表示(k,m)的子频带信号X1,X2的两个分析滤波器组(FB-A1,FB-A2)，其中k和m分别为频率和时间指数。对应地，波束形成器在K个频带(k＝1,…,K)接收两个输入信号X1,X2并在K个频带提供波束形成器权重w1p(k),w2p(k)，其在滤波器单元(w1,w2)中被应用于相应的电输入信号X1, X2。经滤波的信号(Y1,Y2)在SUM单元“+”(在图5A中实施为组合单元CU)中加在一起。在图5B的实施例中，来自波束形成器的自我话音估计量YOV被直接馈给合成滤波器组FB-S，其将所得信号OUT提供为时域信号。包括自我话音估计量的输出信号OUT被馈给发射器并经无线链路WL和/或网络或云发送到外部装置或系统AD。频带的数量可以是任何大于2的数量，如8、24、64 等。
图6示出了包括自我话音估计的耳机或助听器的实施例及将自我话音估计量传给另一装置的选择，及从另一装置接收声音以经扬声器例如与来自用户环境的声音混合呈现给用户。图6示出了听力装置HD的实施例如助听器，其包括提供表示佩戴听力装置的用户环境中的声音的电输入信号(IN1,IN2)的两个传声器(M1,M2)。听力装置还包括空间滤波器DIR和自我话音DIR，每一空间滤波器基于电输入信号(IN1,IN2)提供空间滤波的信号(分别为ENV和OV)。空间滤波器DIR例如可实施目标保留、噪声消除波束形成器。空间滤波器自我话音DIR为根据本发明的空间滤波器。空间滤波器自我话音DIR实施指向用户嘴巴的自我话音波束形成器(其启动例如受控于自我话音存在控制信号和/或电话模式控制信号和/或远端讲话者存在控制信号和/或用户发起的控制信号)。在电话运行模式下，用户自我话音由传声器M1、M2拾取并由空间滤波器“自我话音DIR”的自我话音波束形成器进行空间滤波，从而提供信号OV，其非必须地经自我话音处理器OVP馈给发射器Tx并进行传输(通过线缆或无线链路传给另一装置或系统(如电话机，参见记为“传至电话机”的虚线箭头和电话机符号))。在电话运行模式下，信号PHIN可通过(有线或无线)接收器Rx 从另一装置或系统(如电话机，如电话机符号及记为“自电话机”的虚线箭头所示)接收。当远端讲话者活跃时，信号PHIN包含来自远端讲话者的语音，例如经电话线传输(例如完全或部分无线，但通常至少部分线缆传播)。“远端”电话信号PHIN可在组合单元(在此为选择器/混合器SEL-MIX)中进行选择或与来自空间滤波器DIR的环境信号ENV混合，所选或混合的信号PHENV 被馈给输出变换器SPK(如扬声器或者骨导听力装置的振动器)以作为声音呈现给用户。非必须地，如图6中所示，所选或混合的信号PHENV可馈给处理器PRO，从而将一个或多个处理算法应用于所选或混合的信号PHENV而提供处理后的信号OUT，该信号被馈给输出变换器SPK。图6的实施例可表示耳机，在该情形下，所接收的信号PHIN可被选择以呈现给用户，而不与环境信号混合。图6的实施例可表示助听器，在该情形下，所接收的信号PHIN在呈现给用户之前可与环境信号混合(以使用户能保留周围环境的感觉，当然，同样可适合耳机应用，根据使用情形)。此外，在助听器中，处理器PRO可配置成补偿听力装置(助听器)的用户的听力受损。
自我话音波束形成器的例子
自适应(自我话音)波束形成器可包括第一组波束形成器C1和C2，其中自适应波束形成器滤波器配置成提供合成定向信号(包括用户自我话音的估计量) YBF(k)＝C1(k)-β(k)C2(k)，其中β(k)为自适应更新的自适应因子。这在图7A 中示出。
波束形成器C1和C2可包括：
-波束形成器C1，配置成保留来自目标方向的信号不被改变；及
-直交的波束形成器C2，配置成抵消来自目标方向的信号。
在该情形下，目标方向为用户嘴巴的方向(目标声源等于用户自我话音)。
图7A示出了包括用于基于两个传声器输入提供波束形成信号的自适应波束形成器滤波单元BFU实施例的听力装置的一部分。该听力装置包括分别提供第一和第二电输入信号IN1和IN2的第一和第二传声器(M1,M2)及基于第一和第二电输入信号提供波束形成信号YBF(在此为YOV)的波束形成器。从目标信号到助听器的方向例如通过传声器轴确定并在图7A中由记为“目标声音”的箭头标示。目标方向可以是任何方向，例如，在此为用户嘴巴方向(拾取用户自我话音)。对于给定频带k，k为频带指数，自适应波束图(Y(Y(k)))例如通过线性组合该频带的全向延迟和求和波束形成器(C1(C1(k)))及延迟和求减波束形成器(C2(C2(k)))而获得。自适应波束图通过在将延迟和求减波束形成器(C2(k)) 从延迟和求和波束形成器(C1(k))减去之前对其通过(波束形成器BF产生的)复值、随频率而变的自适应换算因子β(k)进行换算而得到，即提供波束图Y：
Y(k)＝C1(k)-β(k)C2(k)
应注意，如果构成延迟和求减波束形成器C2的波束形成器权重的符号适当调整，β(k)前面的符号也可为“+”。波束形成信号YBF表示为YBF＝YOV＝ (wC1(k)-β(k)·wC2(k))H·IN(k)，其中粗体(x)指向量，例如IN(k)＝(IN1(k),IN2(k))，在两个电输入信号的情形下，如图7A中所示(在该情形下，β(k)为标量，但在一般情形下，具有更多输入信号，为矩阵)。波束形成器权重(wC1(k),wC2(k))可预先确定并存储在听力装置的存储器MEM中。波束形成器权重可在使用期间更新，例如通过某些事件(如通电)引发或者自适应更新。
波束形成器BFU例如可适于在存在附加噪声源时传声器信号由点噪声目标声源组成的情形下最佳地工作。给定该情形，换算因子β(k)(图7A中的β)适于在(至少在一频率)传自目标方向的声音不被实质上改变的约束条件下使噪声最小化。对于每一频带k，自适应因子β(k)可以不同的方式得出。
自适应因子β(k)可表达为：
Figure BDA0002987560910000431
其中，*指复共轭，及<·>指统计预期算子(可在实施中逼近为时间平均)， k为频率指数，及c为常数(如0)。预期算子<·>可使用例如一阶IIR滤波器实施，可能具有不同的上升和释放时间常数。作为备选，预期算子可使用FIR滤波器实施。
在另一实施例中，自适应波束形成器处理单元配置成从下面的表达式确定自适应参数βopt(k)：
Figure BDA0002987560910000432
其中wC1和wC2分别为延迟和求和波束形成器C1及延迟和求减波束形成器 C2的波束形成器权重，Cv为噪声协方差矩阵，及H指厄米转置。
如本领域已知的，自适应波束形成器BF例如可实施为广义旁瓣抵消器 (GSC)结构，例如最小方差无失真响应(MVDR)波束形成器。
图7B示出了自适应(自我话音)波束形成器配置，全向波束形成器和(自我话音)目标消除波束形成器分别进行平滑并在此基础上确定自适应因子β(k)。图7B实施确定下面自适应参数的实施例：
Figure BDA0002987560910000433
波束形成器C1(k)和C2(k)(由相应的一组复值波束形成器权重(w11(k),w12(k)) 和(w21(k),w22(k))确定)，如图7B中所示，分别定义全向波束形成器(C1(k))和目标(自我话音)消除波束形成器(C2(k))。LP为(可选的)低通滤波(平滑) 单元。单元Conj提供该单元的输入信号的复共轭。单元│·│2提供该单元的输入信号的量值平方。话音活动检测器VAD经控制信号N-VAD控制平滑单元LP 以使得β(k)在语音停顿(仅噪声)期间进行更新。
图7C示出了自我话音波束形成器的实施例，例如用于图6中所示的电话模式，使用包括两个传声器的配置实施。图7C示出了根据本发明的自我话音波束形成器，包括自我话音增强后滤波器OV-PF，其提供应用于波束成形信号YBF的后滤波器增益GOV,BF(k)。自我话音增益基于当前噪声估计量确定，其在此由自我话音消除波束形成器(C2(k)，由(随频率而变的，参见频率指数k)复值波束形成器权重(wov_cncl_1(k),wov_cncl_2(k))确定)和自我话音波束形成器的包含自我话音信号(通过自我话音波束形成器增强)的输出YBF的组合提供。在图7C的实施例中，自我话音波束形成器自适应，通过自适应更新的参数β(k)提供，例如参见图7B，使得YBF＝C1(k)-β(k)C2(k)。当听力装置安装好处于工作状态时，来自用户嘴巴的方向被示意性示出(参见图7C中记为“自我话音”的实线箭头)。所得的信号(GOV,BF(k)YBF(k))提供(增强的、噪声减少的)自我话音估计量YOV(k)。自我话音估计量可(例如在助听器的自我话音运行模式下，例如当到电话或其它远程装置的连接建立时(例如参见图6))经发射器(例如参见图6中的Tx)传给远程装置(例如传给电话的远端听者，参见图6)，或者用在关键词检测器中，例如用于听力装置的话音控制接口。在“自我话音模式”下，来自外部声源的噪声可通过该波束形成器降低。
可提供包括第一和第二如上所述的听力装置(如助听器，或者耳机的第一和第二耳件)的双耳听力系统。第一和第二听力装置可配置成使能与另一装置如电话或喇叭扩音器、计算机(如PC或平板电脑)交换数据如音频数据。自我话音估计可基于来自第一和第二听力装置中的传声器的信号提供。自我话音检测可在两听力装置中提供。最后的自我话音检测判断可基于来自两听力装置的自我话音检测值或者基于来自第一和第二听力装置中的传声器的信号进行。
图8A示出了听力系统的第一实施例的俯视图，其包括与眼镜架一体的第一和第二听力装置。图8B示出了图8A实施例的主视图，及图8C示出了图8A 实施例的侧视图。
根据本发明的听力系统HS包括第一和第二听力装置HD1,HD2(例如双耳助听器系统的第一和第二助听器，或者耳机的第一和第二耳件)，其配置成佩戴在包括头戴托架的用户头部上，在此实施在眼镜架中。
听力系统包括左和右听力装置及安装在眼镜架上的多个传声器和(可能) 振动传感器。眼镜的镜片或透镜LE安装在横梁CB和鼻子子梁(NSB1,NSB2)上。左和右听力装置(HD1,HD2)包括相应的BTE部分(BTE1,BTE2)，及还包括相应的 ITE部分(ITE1,ITE2)。听力系统还可包括多个输入变换器，在此示为传声器，及在此被配置在分别位于右、左侧杆和(正面)横梁上的三个分开的传声器阵列(MAR,MAL,MAF)中。每一传声器阵列(MAR,MAL,MAF)包括多个传声器(分别为MICR,MICL,MICF)，在此分别为4个、4个和8个。传声器可形成听力系统的一部分(例如分别与右和左听力装置HD1,HD2相关联)，及贡献于对来自用户周围环境的相应声源的声音定位和空间上滤波(可能用在用户自我话音的估计)。在实施例中，该系统的所有传声器均位于眼镜上和/或BTE部分上和/ 或ITE部分中。听力系统(如ITE部分)例如可包括用于从用户拾取身体信号的电极，其例如形成用于监测用户的生理功能如大脑活动、眼球运动活动或温度的传感器的一部分。
然而，如本发明教导的，对于自我话音估计，使第一输入变换器(如传声器或振动传感器)位于耳道(优选其部分阻塞的部分)中将有利。作为备选或另外，使第一输入变换器(如振动传感器)位于乳突骨上将有利，例如接触覆盖乳突骨的用户皮肤的振动传感器的形式，其可能形成BTE部分的一部分，或者位于眼镜架的特别调整的托架部分上。
其它传感器(未示出)也可位于眼镜架上(照相机、雷达等)。
听力装置的BTE部分和ITE部分电连接，或无线方式或有线方式，如图8C 中二者之间的虚线连接所示。ITE部分可包括在使用期间位于耳道中的一个或多个输入变换器(如传声器)和/或扬声器(例如参见图2、6中的SPK)。眼镜架上的一个或多个传声器(MICL,MICR,MICF)在本发明中可以是“第二输入变换器”，即位于很适合接收来自用户嘴巴的空气传播的声音并参与根据本发明的自我话音估计的“发送声环境”中。
代替眼镜架，托架可以是用于承载第一和第二听力装置并使第一和第二 (及可能另外的)输入变换器适当地位于用户头上(如相应耳朵处)的专用托架。
图9示出了根据本发明的听力装置的实施例如助听器。助听器在此被示为特定类型(有时称为耳内接收器式或RITE型)，包括适于位于用户耳朵(耳廓)处或后面的BTE部分(BTE)和适于位于用户耳道中或耳道处并包括扬声器 SPK的ITE部分(ITE)。BTE部分和ITE部分通过连接元件IC和ITE及BTE部分中的内部接线(例如参见BTE部分中接线Wx)进行连接(如电连接)。作为备选，连接元件可完全或部分由BTE部分与ITE部分之间的无线链路构成。
在图9的听力装置实施例中，BTE部分包括具有三个输入变换器(如传声器)(MBTE1,MBTE2,MBTE3)的输入单元，每一输入变换器用于提供表示输入声音信号(SBTE)(源自听力装置周围的声场S)的电输入音频信号。输入单元还包括两个无线接收器(WLR1,WLR2)，用于提供相应的直接接收的辅助音频和/或控制输入信号(和/或使能将音频和/或控制信号传给其它装置如遥控器或处理装置)。听力装置HD包括其上安装有多个电子元件的衬底SUB，包括存储器 MEM，其例如保存不同助听器程序(如限定前述程序的参数设置，或者算法的参数例如优化的神经网络参数、一个或多个(如自我话音)波束形成器的波束形成器权重)，和/或助听器配置如输入源组合(MBTE1,MBTE2,MBTE3,M1,M2,M3, WLR1,WLR2)，例如针对多个不同听音情形或运行模式进行优化。一种运行模式可以是通信模式，其中用户自我话音通过助听器的传声器(如M1,M2,M3) 拾取并经无线接口(WLR1,WLR2)之一传到另一装置或系统。衬底还包括可配置的信号处理器DSP(如数字信号处理器)，例如包括用于应用随频率和电平而变的增益的处理器(如图2A、2B中的PRO)，例如提供根据本发明的听力装置的波束形成、降噪、滤波器组功能及其它数字功能。可配置的信号处理器 DSP适于访问存储器MEM及基于当前选择(启动)的助听器程序/参数设置(例如自动选择，如基于一个或多个传感器，或者基于来自用户接口的输入进行选择)选择和处理一个或多个电输入音频信号和/或一个或多个直接接收的辅助音频输入信号。所提及的功能单元(及其它元件)可根据所涉及的应用按物理电路和元件进行划分(例如为了尺寸、功耗、模拟-数字处理等)，例如集成在一个或多个集成电路中，或者作为一个或多个集成电路与一个或多个单独的电子元件(如电感器、电容器等)的组合。可配置的信号处理器DSP提供处理后的音频信号，其计划呈现给用户。衬底还包括前端IC(FE)，用于使可配置的信号处理器DSP与输入和输出变换器等接口连接及通常包括模拟与数字信号之间的接口。输入和输出变换器可以是个别分开的元件，或者与其它电子电路集成(例如基于MEMS)。
听力系统(在此为听力装置HD)还可包括检测器单元，其包括一个或多个惯性测量单元(IMU)如3D陀螺仪、3D加速计和/或3D磁力计，在此记为 IMU1并位于BTE部分中。惯性测量单元(IMU)如加速计、陀螺仪、磁力计及其组合可以多种形式获得(例如多轴，如3D版)，例如由集成电路构成或形成集成电路的一部分，，因而适合集成，甚至集成在微型装置如听力装置例如助听器中。传感器IMU1因而可连同其它电子元件如MEM、FE、DSP一起位于衬底SUB上。作为备选或另外，一个或多个运动传感器(IMU)可位于ITE 部分之中或之上或者连接元件IC之中或之上，例如用于拾取来自用户嘴巴的声音(自我话音)。
该听力装置HD还包括输出单元(如输出变换器)，用于基于来自处理器的处理后的音频信号或源自其的信号提供可由用户感知为声音的刺激。在图9 的听力装置实施例中，ITE部分包括扬声器(有时也称为接收器)SPK形式的输出单元，用于将电信号转换为声学(空气传播)信号，其(在听力装置安装在用户耳朵处时)被导向耳膜从而在那里提供声音信号(SED)(可能包括来自用户嘴巴的骨导声音，及来自环境的、在ITE部分周围或经ITE部分泄漏到残余腔内的声音)。ITE部分还包括密封和引导件，用于引导并将ITE部分定位在用户耳道中及用于使残余腔(第一声环境)与环境(第二声环境)分开，例如参见图1A-1E、2A、2B。ITE部分(耳件)可包括壳体或者软、硬或半硬圆顶状结构。
(来自输入变换器MBTE1,MBTE2,MBTE3,M1,M2,M3,IMU1的)电输入信号可在时域或(时-)频域(或部分在时域及部分在频域，如果被认为对于所涉及应用有利)进行处理。
图9中例示的听力装置HD为便携装置，且还包括电池BAT如可再充电电池，其例如基于锂离子电池技术，例如用于对BTE部分可能及ITE部分的电子元件供电。在实施例中，听力装置如助听器适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频 (具有或没有频率压缩)，例如以补偿用户的听力受损。
图10示出了根据本发明的听力装置HD如耳机的实施例。图10的耳机包括扬声器信号通路SSP、传声器信号通路MSP和用于动态控制两个信号通路的信号处理的控制单元CONT。扬声器信号通路SSP包括用于从远程装置接收电信号In并将其提供为电接收的输入信号S-IN的接收器单元Rx、用于处理电接收的输入信号S-IN并提供处理后的输出信号S-OUT的SSP信号处理单元G1、及配置成将处理后的输出信号S-OUT转换为源自接收器单元IU接收的信号In 的声学声音信号OS的扬声器单元SPK。传声器信号通路MSP包括具有用于将声学输入声音IS(例如来自耳机的佩戴者)转换为相应电输入信号M-IN的至少第一和第二传声器的输入单元IU、用于处理电传声器输入信号M-IN并提供处理后的输出信号M-OUT的MSP信号处理单元G2、及配置成将源自由输入单元IU拾取的输入声音IS(例如包括用户自我话音)的处理后的信号M-OUT作为传输的信号On传到远端的发射器单元Tx。控制单元CONT配置成例如基于一个或多个控制输入信号(未示出)动态控制SSP和MSP信号处理单元(分别为G1和G2)的处理。
耳机HD的输入信号(S-IN,M-IN)可在(时-)频域呈现，或者通过适当的功能单元例如包括在耳机的接收器单元Rx和输入单元IU中的功能单元从时域转换到(时-)频域。根据本发明的耳机例如可包括多个时域到时频域转换单元(例如未按时频表示提供的每一输入信号各一个，例如图5B中的分析滤波器组单元A-FB)，以在多个频带k和多个时刻m提供每一输入信号((k,m)由指数k 和m的对应值确定，称为TF窗口或DFT窗口或TF单元)。
如本申请中公开的，耳机HD配置成提供用户自我话音的估计量。MSP信号处理单元G2例如可包括本发明中描述的自我话音波束形成器(例如参见图 7A-7C)。输入变换器例如可位于耳机上，如本申请中公开的，例如参见图1A- 1E、图2A-2B、图3、图4A-4E。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
因而，本发明的范围应依据权利要求进行判断。
参考文献
·EP3328097A1(Oticon A/S)30.05.2018；
·EP3413589A1(Oticon A/S)12.12.2018.

Claims (18)

1.一种听力装置，其适于由用户佩戴并适于拾取包含用户自我话音的声音，所述听力装置包括：
输入单元，包括用于将声音分别转换为表示所述声音的第一和第二电输入信号的第一和第二输入变换器；
处理器，配置成接收第一和第二电输入信号并提供作为第一和第二电输入信号的线性组合的组合信号，其中组合信号包括用户自我话音的估计量；及
其中所述听力装置配置成使得在由用户佩戴时第一和第二输入变换器位于用户的第一和第二位置，及其中第一和第二位置选择成使得第一和第二电输入信号对于来自用户嘴巴的声音及来自位于用户周围环境中的声源的声音展现实质上不同的方向响应。
2.根据权利要求1所述的听力装置，其中所述处理器包括一个或多个波束形成器，每一波束形成器通过对第一和第二电输入信号进行滤波和求和而提供空间滤波的信号，其中波束形成器之一为自我话音波束形成器，及其中空间滤波的信号包括用户自我话音的估计量。
3.根据权利要求1所述的听力装置，包括耳内(ITE)部分，其在第一和第二位置之间提供开放验配。
4.根据权利要求1所述的听力装置，其中第一输入变换器位于用户耳道中并朝向耳膜，第二输入变换器位于用户耳道中并朝向环境。
5.根据权利要求1所述的听力装置，包括输出单元，其包括输出变换器，用于将表示声音的电信号转换为表示该声音的声学信号。
6.根据权利要求5所述的听力装置，其中所述输出变换器位于听力装置中且位于第一和第二输入变换器之间。
7.根据权利要求1所述的听力装置，包括适于位于用户的耳朵处或耳朵中的耳件，第一输入变换器和/或输出变换器被支撑在其上或其中或者位于其上或其中。
8.根据权利要求7所述的听力装置，其中所述耳件配置成贡献第一和第二位置之间的至少部分密封。
9.根据权利要求8所述的听力装置，包括密封件，配置成贡献于第一和第二位置之间的至少部分密封。
10.根据权利要求1所述的听力装置，包括发射器，配置成将用户自我话音的估计量或其处理后版本传给另一装置或系统。
11.根据权利要求1所述的听力装置，包括关键词检测器，配置成接收用户自我话音的估计量或其处理后版本。
12.根据权利要求1所述的听力装置，其中所述处理器包括波束形成器模块，配置成提供一个或多个波束形成器，每一波束形成器配置成对第一和第二电输入信号进行滤波及提供空间滤波的信号，其中所述一个或多个波束形成器包括自我话音波束形成器，其包括预先确定的或自适应更新的自我话音滤波器权重，其中用户自我话音的估计量根据自我话音滤波器权重和第一和第二电输入信号提供。
13.根据权利要求1所述的听力装置，包括一个或多个另外的输入变换器，用于提供表示用户环境中的声音的一个或多个另外的电信号。
14.根据权利要求13所述的听力装置，其中所述一个或多个另外的输入变换器中的至少一个相较于第一和第二输入变换器离线定位。
15.根据权利要求1所述的听力装置，其中第一和第二输入变换器包括至少一传声器。
16.根据权利要求1所述的听力装置，其中第一和第二输入变换器包括至少一振动传感器。
17.根据权利要求1所述的听力装置，包括主动噪声抵消器，配置成在听力装置由用户佩戴时消除或衰减来自环境的、通过听力装置周围的声学传播或者经听力装置到达耳膜的声音。
18.根据权利要求1所述的听力装置，包括助听器、耳机、耳麦、耳朵保护装置或其组合。
CN202110304515.0A 2020-03-20 2021-03-22 适于提供用户自我话音的估计量的听力装置 Pending CN113498005A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/826,017 2020-03-20
US16/826,017 US11259127B2 (en) 2020-03-20 2020-03-20 Hearing device adapted to provide an estimate of a user's own voice

Publications (1)

Publication Number Publication Date
CN113498005A true CN113498005A (zh) 2021-10-12

Family

ID=74871179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110304515.0A Pending CN113498005A (zh) 2020-03-20 2021-03-22 适于提供用户自我话音的估计量的听力装置

Country Status (3)

Country Link
US (2) US11259127B2 (zh)
EP (1) EP3883266A1 (zh)
CN (1) CN113498005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027259A1 (zh) * 2022-07-30 2024-02-08 华为技术有限公司 信号处理方法及装置、设备控制方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11484250B2 (en) * 2020-01-27 2022-11-01 Meta Platforms Technologies, Llc Systems and methods for improving cartilage conduction technology via functionally graded materials
EP3866484B1 (en) * 2020-02-12 2024-04-03 Patent Holding i Nybro AB Throat headset system
CN113421583B (zh) * 2021-08-23 2021-11-05 深圳市中科蓝讯科技股份有限公司 降噪方法、存储介质、芯片及电子设备
EP4198975A1 (en) * 2021-12-16 2023-06-21 GN Hearing A/S Electronic device and method for obtaining a user's speech in a first sound signal
US11978468B2 (en) * 2022-04-06 2024-05-07 Analog Devices International Unlimited Company Audio signal processing method and system for noise mitigation of a voice signal measured by a bone conduction sensor, a feedback sensor and a feedforward sensor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156260B2 (ja) * 2007-04-27 2013-03-06 ニュアンス コミュニケーションズ，インコーポレイテッド 雑音を除去して目的音を抽出する方法、前処理部、音声認識システムおよびプログラム
US9271091B2 (en) * 2012-11-15 2016-02-23 Sonova Ag Own voice shaping in a hearing instrument
DK3328097T3 (da) 2016-11-24 2020-07-20 Oticon As Høreanordning, der omfatter en egenstemmedetektor
EP3413589B1 (en) 2017-06-09 2022-11-16 Oticon A/s A microphone system and a hearing device comprising a microphone system
DK3525488T3 (da) 2018-02-09 2020-11-30 Oticon As Høreanordning, der omfatter en stråleformerfiltreringsenhed til reduktion af feedback
EP3588982B1 (en) * 2018-06-25 2022-07-13 Oticon A/s A hearing device comprising a feedback reduction system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027259A1 (zh) * 2022-07-30 2024-02-08 华为技术有限公司 信号处理方法及装置、设备控制方法及装置

Also Published As

Publication number Publication date
US20220141598A1 (en) 2022-05-05
US11259127B2 (en) 2022-02-22
US20210297789A1 (en) 2021-09-23
EP3883266A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN110636424B (zh) 包括反馈降低系统的听力装置
EP3057337B1 (en) A hearing system comprising a separate microphone unit for picking up a users own voice
US11564043B2 (en) Hearing device and a hearing system comprising a multitude of adaptive two channel beamformers
EP3057340B1 (en) A partner microphone unit and a hearing system comprising a partner microphone unit
CN110139200B (zh) 包括用于降低反馈的波束形成器滤波单元的听力装置
US11510017B2 (en) Hearing device comprising a microphone adapted to be located at or in the ear canal of a user
US11259127B2 (en) Hearing device adapted to provide an estimate of a user&#39;s own voice
US11463820B2 (en) Hearing aid comprising a directional microphone system
CN113543003A (zh) 包括定向系统的便携装置
CN112087699B (zh) 包括频率转移的双耳听力系统
US11862138B2 (en) Hearing device comprising an active emission canceller
EP4297436A1 (en) A hearing aid comprising an active occlusion cancellation system and corresponding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination