CN109076294B - 多讲话者声学网络中的助听系统 - Google Patents

多讲话者声学网络中的助听系统 Download PDF

Info

Publication number
CN109076294B
CN109076294B CN201680083669.9A CN201680083669A CN109076294B CN 109076294 B CN109076294 B CN 109076294B CN 201680083669 A CN201680083669 A CN 201680083669A CN 109076294 B CN109076294 B CN 109076294B
Authority
CN
China
Prior art keywords
microphone
microphone unit
unit
units
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680083669.9A
Other languages
English (en)
Other versions
CN109076294A (zh
Inventor
T·约斯特
F·马奎斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonova Holding AG
Original Assignee
Sonova AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonova AG filed Critical Sonova AG
Publication of CN109076294A publication Critical patent/CN109076294A/zh
Application granted granted Critical
Publication of CN109076294B publication Critical patent/CN109076294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5072—Multiple active speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了一种用于向用户提供助听的多讲话者声学网络系统，包括：两个桌式麦克风单元，其用于从发言者的声音捕获音频信号，控制单元，其用于选择桌式麦克风单元中的一个桌式麦克风单元作为当前活动的麦克风单元，其中，控制单元被配置为在声音活动一次针对桌式麦克风单元中的多于一个桌式麦克风单元被检测到的情况下，至少在特定时间段内选择桌式麦克风单元中的、已经首先检测到声音活动作为当前活动的麦克风单元的该桌式麦克风单元作为当前活动的麦克风单元；以及助听设备，其包括用于接收由当前活动的麦克风单元捕获的音频信号的接收器单元以及输出换能器。

Description

多讲话者声学网络中的助听系统
技术领域
本发明涉及助听系统，其包括用于捕获音频信号的多个桌式麦克风单元和至少一个助听设备，该助听设备由用户佩戴并且包括用于从桌式麦克风单元接收音频信号的接收器单元和用于根据接收到的音频信号对用户的听力进行刺激的输出换能器。
背景技术
无线麦克风的使用允许听力受损人士改进远离听众和/或处于嘈杂环境中的其他人的语音的信噪比(SNR)。使用无线麦克风的一个示例是所谓的翻领式(lapel)用例，其中感兴趣的人佩戴无线麦克风(通常在胸部)；另一个示例是所谓的会议用例，其中无线麦克风放置在桌子上以便以全向方式捕获坐在桌子旁的人的声音。
多讲话者网络(MTN)是一组能够从多个人捕获语音的若干无线麦克风。典型地，可以同时发送其音频信号的麦克风的数量(即，活动麦克风的数量)是有限的。例如，在一些系统中，所有麦克风必须共享单个信道或网络，并且一次仅一个麦克风是活动的。
因此，在这种MTN系统中，选择当前活动的麦克风是必要的。特别方便的选择方法是使用基于声音活动检测的传输请求机制。在WO2008/074350A1中描述了这种系统的示例，其中MTN包括具有方向特性的多个身体佩戴式无线麦克风，其中一次仅允许麦克风中的一个麦克风经由MTN向耳级接收器单元发送其音频信号。通过声音活动检测来确定活动的麦克风，并且如果麦克风中的多于一个麦克风检测到声音活动，则根据先来原则优先化发送权，即，已经检测到声音活动的麦克风首先保持作为活动的麦克风，直到声音活动检测器(VAD)检测到发言者已经停止发言。
然而，这样的系统通常具有两个对抗性的约束，因为VAD必须非常快——以便不错过语音的开始，同时VAD必须非常鲁棒——以便避免误检测，以使得听众不会因为不期望的麦克风切换而错过句子的部分。典型地通过使用身体佩戴式定向麦克风(翻领式麦克风)来实现鲁棒性。
EP 2 701 405 A2涉及会议设备，其通过比较各种麦克风波束的能量来定位讲话者，以便将声学波束形成器指引向定位的讲话者方向。US 8,976,712 B2涉及音频和视频会议系统，其中改进的桥式架构用于控制会议端点的功能。US 6,469,732 B1和US 6,618,073B1涉及包括四个麦克风的视频会议系统，其中针对每个麦克风检测声音活动和相对于其他麦克风的到达时间。到达时间延迟的差异用于估计发言者的位置，使得可以相应地指引视频系统的摄像机。
US 7,783,063 B2涉及用于数字地链接多个麦克风并且管理麦克风信号的系统，其中仲裁麦克风信号以便使得分布式自动麦克风混音器能够表现为单个混音器。
US 2012/0294446 A1涉及通过应用盲式源分离来分离两个混合的声源的方法。
通常，翻领式麦克风或分发式麦克风的可用性在会议情况下受限，特别是如果一次仅允许翻领式麦克风中的一个翻领式麦克风发送其音频信号，因为这样会由于当两个讲话者重叠时剪掉句子而妨碍自然的对话。
发明内容
本发明的目的是提供一种包括至少两个无线麦克风单元的助听系统，其允许会议情况下的方便处理和高语音质量。本发明的另一目的是提供对应的助听方法。
根据本发明，这些目的通过根据本申请的系统和根据本申请的方法来实现。
本发明的益处在于，通过使用至少两个桌式麦克风单元(每个桌式麦克风单元包括具有全向特性的麦克风)并且通过控制麦克风单元使得一次仅麦克风单元中的一个麦克风单元可以是活动的(这取决于如由麦克风单元检测到的声音活动)实现了一种系统，该系统允许在会议情况下(其中桌式麦克风单元可以在会议桌上保持静止)方便地处理麦克风单元，并且该系统通过避免不必要地切换麦克风(首先检测到声音活动的麦克风单元可以保持作为活动的麦克风单元，只要其连续检测到声音活动)并通过避免增加的噪声和典型地由于混合两个全向麦克风的信号而产生的附加的混响效果来提供良好的语音质量。
在从属权利要求中限定了本发明的优选实施例。
附图说明
在下文中，将参考附图来说明本发明的示例，其中：
图1是根据本发明的助听系统的框图的示例；
图2是关于助听系统中当前活动的麦克风单元的决策的示例的流程图；
图3是关于当前活动的麦克风单元的决策的替代示例的流程图；以及
图4是图1的系统的典型用例的图示。
具体实施方式
在图1中，示出了根据本发明的助听系统的框图的示例，该助听系统包括至少两个桌式麦克风单元10、12和由用户佩戴的至少一个助听设备20。典型地，该系统还包括至少第二听力设备22。优选地，听力系统设备20、22是诸如助听器之类的耳级设备，其形成双耳布置以用于刺激用户的两只耳朵。
每个桌式麦克风单元10、12包括：具有全向特性以用于从发言者的声音捕获音频信号的麦克风30，用于检测相应的麦克风30当前是否从发言者的声音捕获音频信号的基于能量的声音活动检测器(VAD)32，用于控制相应的麦克风单元10、12的操作的控制单元34，以及用于经由无线音频链路40将所捕获的音频信号发送到助听设备20、22的发送器(典型地是收发器)36。此外，麦克风单元10、12还可以包括音频信号处理单元(图1中未示出)，其用于在经由无线音频链路40对音频信号进行传输之前对由麦克风30捕获的音频信号进行处理。在这种情况下，桌式麦克风单元可以包括不仅一个麦克风而是包括多个麦克风，其中由麦克风捕获的音频信号被提供给音频信号处理单元，该音频信号处理单元以使得音频信号处理单元的输出音频信号具有全向特性的方式来处理音频信号。
每个助听设备20、22包括用于经由无线音频链路40接收音频信号的接收器单元42，以及用于根据接收到的音频信号来刺激用户的听力的、诸如扬声器之类的输出换能器44。接收器单元42可以集成在听力系统设备20、22内，或者接收器单元42可以作为单独的部件提供，其经由合适的接口机械地且电气地连接到包括输出换能器22的听力仪器。助听设备20、22可以是用于对听力的声学刺激的设备，例如，助听器；或者，助听设备20、22可以是用于神经刺激的听觉假体，例如，耳蜗植入物。
无线音频链路40典型地是数字链路，例如，具有2.4GHz ISM频带中的载波频率；链路40典型地使用跳频。根据一个示例，无线链路40可以包括TDMA帧结构，用于对音频信号数据分组的单向广播传输，而无需单独地寻址接收器单元42。
以这样的方式来控制麦克风单元10、12：使得一次选择麦克风单元10、12中的一个麦克风单元作为当前活动的麦克风单元，其中仅当前活动的麦克风单元(即，当前具有“活动的”状态的麦克风单元)被允许经由无线音频链路40发送其音频信号，以便由听力系统设备20、22接收，使得仅由当前活动的麦克风单元10、12捕获的音频信号可以提供给听力系统设备20、22的输出换能器44，同时防止“非活动的”麦克风单元经由无线音频链路40发送其音频信号。
在麦克风单元10、12中的仅一个麦克风单元检测到声音活动的情况下，麦克风单元10、12中的该麦克风单元将被选择作为当前活动的麦克风单元并且被允许经由无线链路40发送其音频信号。在麦克风单元10、12中的多于一个麦克风单元检测到声音活动的情况下，可以应用“先来”原则，这意味着麦克风单元10、12中的已经检测到声音活动的该麦克风单元首先保持作为当前活动的麦克风单元，只要其仍检测到声音活动，至少除非在一段时间后发现满足推翻标准。换言之，在特定例外状况下，基本的“先来”原则可能会在特定时间段后暂时中止。
例如，麦克风单元10、12的VAD 32可以被配置为估计由相应的麦克风30捕获的音频信号的SNR，其中推翻标准是由麦克风单元10、12中的当前活动的麦克风单元捕获的音频信号的SNR比麦克风单元10、12中的声音活动针对其当前被检测到的另一个麦克风单元捕获的音频信号的SNR低特定程度。为此，可以周期性地比较所估计的由声音活动针对其被检测到的麦克风单元10、12捕获的音频信号的SNR，以便周期性地确定是否满足推翻标准。在其中活动的麦克风单元10、12由于人们在彼此“顶上”发言引起的对VAD 32的连续触发而保持“锁定”的情况下，对“先来”原则的这种推翻是有益的。
为了避免麦克风单元之间的“错误”切换，VAD 32可以以足够的释放时间(或拖延时间)来起作用，典型地为100ms至500ms。根据一个示例，释放时间可以是可调节的，使得当前活动的麦克风单元的VAD 32可以应用增加的释放时间(或拖延时间)，典型地为额外的50ms至150ms，该增加的释放时间优选地根据使用该系统的房间的声学参数来确定；例如，房间的混响越大，则释放时间应该越长。
根据一个示例，VAD 32可以被配置为通过频率加权的能量测量来获得由相应的麦克风30捕获的音频信号的能量水平，其中将所获得的能量水平与能量阈值进行比较以便检测声音活动。
优选地，VAD 32被配置为使用自适应能量阈值，自适应能量阈值根据如由VAD 32估计的周围噪声水平而可变，其中能量阈值随着估计的周围噪声水平增加而增加，并且其中一旦由VAD测量的能量水平高于能量阈值则声音活动被检测到。因此，可以减少或防止由于噪声引起的VAD的误触发。
根据一个实施例，VAD 32可以被配置作为“扩展VAD”(“EVAD”)，其包含具有不同参数化的多个VAD实例(虽然VAD优选地是基于能量的，但是除了能量阈值之外的参数也可以用于声音活动检测，例如，估计的音调高、能量的概率分布、SNR等)，其中VAD实例的输出的总和表示声音活动检测的置信度值，置信度值越高则总和越高，并且其中在选择活动的麦克风时将置信度值纳入考虑；例如，这样的EVAD可以包含三个VAD实例。虽然简单的VAD提供二进制输出(“1”：“声音开启”/“0”：“声音关闭”)，但EVAD允许关于声音活动做出更精细的决策。例如，值“0”代表“声音关闭”，输出值“1”可以代表“声音开启，低置信度”，值“2”可以代表“声音开启，中置信度”，并且值“3”可以代表“声音开启，高置信度”。例如，这种EVAD可以与不同的阈值结合地用于不同的VAD决策，如将在下文中结合图3讨论的。类似地，如上面提及的VAD进行的SNR估计可以与不同的阈值结合地用于不同的VAD决策。
图2是用于选择当前活动的麦克风单元10、12的决策过程的示例的流程图。典型地，每次麦克风单元接收到新的音频帧(步骤100)时对决策进行更新，这典型地可能每几毫秒发生。在步骤102中，检查当前活动的麦克风单元的VAD 32是否检测到声音活动，即，是否发现音频信号中的能量高于VAD 32的能量阈值。如果答案为“是”，则当前活动的麦克风单元保持作为当前活动的麦克风单元，使得不会对系统施加任何改变。然而，如果答案为“否”，即，如果当前活动的麦克风单元的VAD 32不再检测到声音活动，则在步骤104中检查另一个麦克风单元的VAD 32当前是否检测到声音活动。如果答案为“否”，则当前活动的麦克风单元保持作为当前活动的麦克风单元，直到在步骤100中接收到新的音频帧时再次开始决策过程。然而，如果答案为“是”，则在步骤106中，麦克风单元中的该麦克风单元成为新的活动的麦克风单元，即，相应地更新当前活动的麦克风单元的ID，并且当在步骤100中接收到下一个音频帧时再次开始决策过程。
在图2的示例中，将相同的能量阈值应用于关于当前活动的麦克风单元的声音活动的决策102和关于其他(多个)麦克风单元的声音活动的决策104两者。相比之下，图3涉及其中在步骤102a和104a的决策中应用不同的阈值的替代示例。在图3的示例中，在步骤104a中的第二决策中应用的阈值“Thr2”高于在步骤102a中的第一决策中应用的阈值“Thr1”；即，“新的”麦克风单元成为当前活动的麦克风单元的“障碍”高于当前活动的麦克风单元保持作为当前活动的麦克风单元的“障碍”。这意味着例如当使用EVAD时，对于“新的”麦克风单元而言，确定存在声音活动所要求的置信度值比对于当前活动的麦克风单元而言高。这可以类似地应用于包括SNR估计的VAD，即，在步骤104a中的第二决策中，关于SNR的要求可能比步骤102a中的第一决策严格(即，需要更高的SNR)。
根据一个示例，即使系统没有对当前活动的麦克风单元的明确认知，图3的决策过程也可以用于实现对于当前活动的麦克风单元的VAD而言增加的释放时间/拖延时间。在这种情况下，当使用EVAD时，可以以这样的方式将拖延添加到EVAD：使得EVAD信号可以维持特定时间段(例如，100ms)，以指示EVAD找到高于Thr1但低于或等于Thr2的值，尽管事实上EVAD值小于Thr1。因此，由于步骤102a中的决策仅应用于当前活动的麦克风单元，同样这种增加的释放/拖延时间仅应用于当前活动的麦克风单元(将“假”EVAD限制到低于或等于Thr2的值也确保步骤104a中的决策是否定的，即，增加的释放/拖延时间不应用于其他麦克风单元)。
根据一个实施例，通过选择当前活动的麦克风单元来对麦克风单元10、12进行传输控制可以由麦克风单元10、12中的充当主单元的指定的一个麦克风单元来实现(在图1的图示中，麦克风单元12充当主单元，而麦克风单元10充当从单元)。在这种主-从架构中，麦克风单元10、12经由无线控制链路50交换表示相应VAD 32的输出和当前活动的麦克风单元的ID的信号。无线控制链路50可以使用与该无线音频链路40相同的(多个)信道(相同的载波频率、相同的协议)，或者其可以与无线音频链路40分开。主单元12基于从其他麦克风单元接收的VAD信号和其自身的VAD输出信号来定期/周期性地决定当前活动的麦克风单元，并且经由无线控制链路50将指示当前活动的麦克风单元的信号发送到其他(多个)麦克风单元。仅在主单元12通知麦克风单元10、12其是当前活动的麦克风单元的情况下，才允许麦克风单元10、12经由音频链路40发送其音频信号。
作为主单元的角色可以是固定的，即，始终是相同的麦克风单元可以是主单元，或者该角色可以在使用期间动态地改变，即，不同的麦克风单元可以充当主单元。
根据替代实施例，关于活动的麦克风单元的决策的一部分可以分布在若干麦克风单元10、12上。例如，为了减少网络流量，每个麦克风单元可以被配置为仅在相应的麦克风单元发现当前活动的麦克风单元没有检测到声音活动(由于经由控制链路50从当前活动的麦克风单元接收的相应的VAD信号，每个麦克风单元10、12知道当前活动的麦克风单元的VAD状态)的情况下才发送其VAD信号。
根据另一替代实施例，通过将每个麦克风单元配置为使得通过收发器36感测麦克风单元中的另一个麦克风单元当前是否经由链路40发送音频信号，关于当前活动的麦克风单元的决策可以完全分布在所有麦克风单元10、12上，其中每个麦克风单元可以在检测到其自己的麦克风30的声音活动时发起经由无线音频链路40对其音频信号的传输，只要没有发现其他麦克风单元中的任何麦克风单元当前经由无线音频链路40发送音频信号。
除了桌式麦克风单元10、12之外，助听系统还可以包括其他(非桌式)无线麦克风单元(在图1中，这种附加的麦克风单元在14处指示)，其可以包括具有方向特性的麦克风布置130、基于能量的VAD 32、控制单元34以及收发器36，收发器36允许经由无线控制链路50与其他麦克风单元10、12通信并且经由无线音频链路40将由麦克风布置130捕获的音频信号发送到听力系统设备20、22。典型地，这种附加麦克风单元14可以是个人麦克风单元，其被佩戴在用户的身体处或者由用户手持以便经由麦克风布置130从用户的声音捕获音频信号。
根据一个实施例，关于这种附加(非桌式)麦克风单元14发送其音频信号的权利，可以以与桌式麦克风单元10、12相同的方式(即，基于“先来”原则)来对待附加(非桌式)麦克风单元14，如果附加麦克风单元14是唯一检测到声音活动的麦克风单元，则将选择附加麦克风单元作为当前活动的麦克风单元，并且如果麦克风单元中的多于一个麦克风单元检测到声音活动，则首先检测到声音活动的麦克风单元保持作为当前活动的麦克风单元。
根据另一实施例，可以给予附加麦克风单元14高于桌式麦克风单元10、12的优先级，使得仅在没有附加麦克风单元14中的任何附加麦克风单元14检测到声音活动时，桌式麦克风单元10、12中的一个附加麦克风单元可以成为当前活动的麦克风单元。
根据该实施例的变型，仅可以给予附加麦克风单元14中的特定的一个附加麦克风单元高于桌式麦克风单元的优先级，使得仅在针对附加麦克风单元14中的该特定的一个附加麦克风单元没有检测到声音活动时，桌式麦克风单元10、12中的一个附加麦克风单元可以成为活动的麦克风单元。
在图4中示出了根据本发明的助听系统的典型用例，其中两个桌式麦克风单元10、12放置在桌子60上，一组发言者62(例如，教室里的学生)围绕桌子60就坐，而佩戴个人麦克风单元14的另一个发言者64(例如，教师)可以坐在桌子60旁与人员62交谈。桌子旁的人员62中的一些或所有人员可以使用听力系统设备20、22。选择麦克风单元10、12和14中的一个麦克风单元作为当前活动的麦克风单元，该当前活动的麦克风单元被允许经由无线音频链路40将其音频信号发送到听力系统设备20、22。

Claims (23)

1.一种用于向用户提供助听的多讲话者声学网络系统，包括：
两个桌式麦克风单元，其中，所述两个桌式麦克风单元被配置为捕获音频信号，所述两个桌式麦克风单元中的每个桌式麦克风单元包括具有全向特性的麦克风布置、用于检测所述麦克风布置的声音活动的声音活动检测器(VAD)以及用于经由无线音频链路发送所捕获的音频信号的发送器；
控制单元，其用于选择所述桌式麦克风单元中的一个桌式麦克风单元作为活动的麦克风单元，其中，所述控制单元被配置为在声音活动一次仅针对所述桌式麦克风单元中的一个桌式麦克风单元被检测到的情况下，选择所述桌式麦克风单元中的该桌式麦克风单元作为所述活动的麦克风单元，并且在声音活动一次针对所述桌式麦克风单元中的多于一个桌式麦克风单元被检测到的情况下，至少在一段时间内选择所述桌式麦克风单元中的、已经首先检测到所述声音活动作为所述活动的麦克风单元的该桌式麦克风单元作为所述活动的麦克风单元；以及
助听设备，其包括用于接收由所述活动的麦克风单元捕获的音频信号的接收器单元和输出换能器。
2.根据权利要求1所述的系统，其中，所述控制单元被配置为仅允许由所述活动的麦克风单元捕获的音频信号经由所述无线音频链路被发送到所述助听设备。
3.根据权利要求2所述的系统，其中，所述控制单元被配置为周期性地在第一决策中检查所述活动的麦克风单元是否仍然检测到声音活动，并且如果仍然检测到声音活动，则维持所述活动的麦克风单元，并且如果不是仍然检测到声音活动，则在第二决策中检查所述桌式麦克风单元中的另一个桌式麦克风单元是否检测到声音活动，并且其中，如果在所述第二决策中所述桌式麦克风单元中的另一个桌式麦克风单元被发现检测到声音活动，则该桌式麦克风被选择为所述活动的麦克风单元。
4.根据权利要求3所述的系统，其中，在所述第一决策中并且在所述第二决策中，能量阈值被应用于检测声音活动。
5.根据权利要求3所述的系统，其中，在所述第一决策中，第一能量阈值被应用于检测声音活动，其中，在所述第二决策中，第二能量阈值被应用于检测声音活动，并且其中，所述第二能量阈值高于所述第一能量阈值。
6.根据权利要求5所述的系统，其中，所述控制单元被配置为：每次所捕获的音频信号的新的帧被接收到时，重复所述第一决策和所述第二决策。
7.根据权利要求6所述的系统，其中，所述控制单元被配置为：只要声音活动针对所选择的麦克风单元被连续地检测到，则维持对所述活动的麦克风单元的所述选择。
8.根据权利要求7所述的系统，其中，所述系统被配置为估计由所述桌式麦克风单元捕获的音频信号的信噪比(SNR)，并且其中，推翻标准是：由所述麦克风单元中的所述活动的麦克风单元捕获的音频信号的SNR比由所述桌式麦克风单元中的、声音活动针对其被检测到的一个桌式麦克风单元捕获的音频信号的SNR低一定程度。
9.根据权利要求8所述的系统，其中，所述控制单元被配置为周期性地比较所估计的由声音活动针对其被检测到的所述桌式麦克风单元捕获的音频信号的SNR，以周期性地确定所述推翻标准是否被满足。
10.根据权利要求9所述的系统，其中，所述VAD被配置为通过频率加权的能量测量来获得由所述麦克风捕获的音频信号的能量水平，并且其中，所获得的能量水平被与能量阈值进行比较以检测声音活动。
11.根据权利要求10所述的系统，其中，所述VAD被配置为使用自适应能量阈值，所述自适应能量阈值根据由所述VAD估计的周围噪声水平而可变，其中，所述能量阈值随着所估计的周围噪声水平增加而增加，并且其中，一旦由所述VAD测量的所述能量水平高于所述能量阈值，则声音活动被检测到。
12.根据权利要求11所述的系统，其中，所述VAD被配置为包含具有不同参数化的多个VAD实例，其中，所述VAD实例的输出的总和表示声音活动检测的置信度值，所述置信度值越高则所述总和越高，并且其中，当选择所述麦克风单元中的一个麦克风单元作为所述活动的麦克风单元时，在所述控制单元中所述置信度值被纳入考虑。
13.根据权利要求1所述的系统，其中，每个VAD被配置为：在所述VAD不再被检测到之后的一段时间内维持正VAD输出信号以实现释放时间。
14.一种用于利用至少两个麦克风单元向用户提供助听的方法，所述方法包括：
由声音检测单元检测来自所述至少两个麦克风单元中的一个麦克风单元的声音活动，所述麦克风单元中的每个麦克风单元包括具有全向特性的麦克风布置；
经由控制单元基于检测到的声音活动选择所述至少两个麦克风单元中的一个麦克风单元作为活动的麦克风单元，
其中，当所述至少两个麦克风单元中的一个麦克风单元检测到声音活动时，所述至少两个麦克风单元中的该麦克风单元被选择作为所述活动的麦克风单元，并且
其中，当所述至少两个麦克风单元中的多于一个麦克风单元检测到声音活动时，首先检测到所述声音活动的麦克风单元被选择作为所述活动的麦克风单元，其中，对所述活动的麦克风单元的所述选择以释放时间被维持，
经由无线音频链路将由所述活动的麦克风单元捕获的音频信号发送到助听设备，所述助听设备包括用于接收由所述活动的麦克风单元捕获的音频信号的接收器单元和输出换能器；以及
基于接收到的音频信号，经由所述输出换能器来提供音频，
其中，所述至少两个麦克风单元中的、非活动的一个麦克风单元的音频信号被防止提供给所述输出换能器。
15.根据权利要求14所述的方法，其中，所述至少两个麦克风单元各自具有被配置为检测声音的声音检测单元(VAD)。
16.根据权利要求15所述的方法，其中，所述VAD被配置为通过频率加权的能量测量来确定由麦克风捕获的音频信号的能量水平。
17.根据权利要求14所述的方法，其中，选择还是基于所述声音活动的信噪比(SNR)的。
18.根据权利要求14所述的方法，其中，所述方法还包括：
基于声学参数调整释放时间。
19.一种存储指令的非暂时性计算机可读介质，所述指令当由处理器执行时使得系统执行以下操作，所述操作包括：
检测第一麦克风单元处的声音活动；
检测第二麦克风单元处的所述声音活动；
确定是所述第一麦克风单元还是所述第二麦克风单元首先检测到所述声音活动；
基于确定是所述第一麦克风单元还是所述第二麦克风单元首先检测到所述声音活动，选择所述第一麦克风单元或所述第二麦克风单元作为活动的麦克风单元；
仅由所述活动的麦克风单元将接收到的音频发送到听力设备；
确定所述活动的麦克风单元在一段时间内不再检测到所述声音活动；以及
基于确定所述活动的麦克风单元在一段时间内不再检测到所述声音活动并且非活动的麦克风单元正检测到所述声音活动或新的声音活动，将所述活动的麦克风单元从所述第一麦克风单元切换到所述第二麦克风单元或从所述第二麦克风单元切换到所述第一麦克风单元，其中，所述非活动的麦克风单元是所述第一麦克风单元或所述第二麦克风单元，所述麦克风单元中的每个麦克风单元包括具有全向特性的麦克风布置。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，检测声音活动是基于在所述第一麦克风单元或所述第二麦克风单元处捕获的音频信号的能量水平的。
21.根据权利要求19所述的非暂时性计算机可读介质，其中，所述操作还包括：
基于在所述第一麦克风单元和所述第二麦克风单元处接收到的音频信号的信噪比，将推翻功能应用于所述活动的麦克风单元，其中，所述推翻功能使得所述系统使用另一个麦克风单元向听力设备提供音频。
22.根据权利要求19所述的非暂时性计算机可读介质，所述操作还包括：
在维持对所述活动的麦克风单元的所述选择的释放时间已经到期之后，将经处理的音频发送到所述听力设备。
23.根据权利要求19所述的非暂时性计算机可读介质，所述操作还包括：
基于声学参数调整释放时间，其中，所述释放时间与从所述第一麦克风单元切换到所述第二麦克风单元或从所述第二麦克风单元切换到所述第一麦克风单元之间的时间相关联。
CN201680083669.9A 2016-03-17 2016-03-17 多讲话者声学网络中的助听系统 Active CN109076294B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/055763 WO2017157443A1 (en) 2016-03-17 2016-03-17 Hearing assistance system in a multi-talker acoustic network

Publications (2)

Publication Number Publication Date
CN109076294A CN109076294A (zh) 2018-12-21
CN109076294B true CN109076294B (zh) 2021-10-29

Family

ID=55538247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083669.9A Active CN109076294B (zh) 2016-03-17 2016-03-17 多讲话者声学网络中的助听系统

Country Status (5)

Country Link
US (1) US10425727B2 (zh)
EP (1) EP3430821B1 (zh)
CN (1) CN109076294B (zh)
DK (1) DK3430821T3 (zh)
WO (1) WO2017157443A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3711306B1 (en) * 2017-11-15 2024-05-29 Starkey Laboratories, Inc. Interactive system for hearing devices
US10924848B2 (en) 2018-07-23 2021-02-16 PeeQ Technologies, LLC Throwable microphone lighting with light indication
EP3609169B1 (en) * 2018-08-06 2021-05-19 Sonova AG Multi-talker audio transmission system and method
CN117319912A (zh) * 2018-09-13 2023-12-29 科利耳有限公司 使用正常事物的听力性能和康复和/或复原增强
US11558693B2 (en) * 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
EP3723354B1 (en) * 2019-04-09 2021-12-22 Sonova AG Prioritization and muting of speakers in a hearing device system
JP7289514B2 (ja) * 2019-07-08 2023-06-12 株式会社オーディオテクニカ 制御装置、プログラム及びマイクロホンシステム
CN110675887B (zh) * 2019-09-12 2021-12-21 厦门亿联网络技术股份有限公司 一种用于会议系统的多麦克风切换方法和系统
DE102019217400A1 (de) * 2019-11-11 2021-05-12 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Netzwerks sowie Hörgerät
US11523236B2 (en) * 2021-03-18 2022-12-06 Lenovo (Singapore) Pte. Ltd. Techniques for active microphone use
EP4287601A1 (de) * 2022-06-03 2023-12-06 Deutsche Telekom AG Audiooptimiertes betriebsverfahren für ein konferenzsystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655646A (zh) * 2004-02-13 2005-08-17 索尼株式会社 拾音设备和方法
CN101278337A (zh) * 2005-07-22 2008-10-01 索福特迈克斯有限公司 噪声环境中语音信号的健壮分离
CN101675623A (zh) * 2007-04-30 2010-03-17 思科技术公司 多点会议中的媒体检测和分组分发
CN102474549A (zh) * 2009-07-22 2012-05-23 罗伯特·博世有限公司 会议系统的代表单元、会议系统、操作代表单元的方法和计算机程序
EP2874410A1 (en) * 2013-11-19 2015-05-20 Oticon A/s Communication system
US9154730B2 (en) * 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5459814A (en) 1993-03-26 1995-10-17 Hughes Aircraft Company Voice activity detector for speech signals in variable background noise
FI100840B (fi) * 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
US6469732B1 (en) 1998-11-06 2002-10-22 Vtel Corporation Acoustic source location using a microphone array
US6618073B1 (en) 1998-11-06 2003-09-09 Vtel Corporation Apparatus and method for avoiding invalid camera positioning in a video conference
US6549630B1 (en) * 2000-02-04 2003-04-15 Plantronics, Inc. Signal expander with discrimination between close and distant acoustic source
US7346176B1 (en) * 2000-05-11 2008-03-18 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
US7561700B1 (en) * 2000-05-11 2009-07-14 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
FR2810484B1 (fr) 2000-06-19 2002-09-06 Cit Alcatel Procede de gestion et agencement de conference pour systeme de communication comportant des terminaux d'usager communiquant sous protocole ip
US8976712B2 (en) 2001-05-10 2015-03-10 Polycom, Inc. Speakerphone and conference bridge which request and perform polling operations
US20030059061A1 (en) * 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
US7783063B2 (en) 2002-01-18 2010-08-24 Polycom, Inc. Digital linking of multiple microphone systems
US7020257B2 (en) 2002-04-17 2006-03-28 Texas Instruments Incorporated Voice activity identiftication for speaker tracking in a packet based conferencing system with distributed processing
US8687820B2 (en) 2004-06-30 2014-04-01 Polycom, Inc. Stereo microphone processing for teleconferencing
EP2103175A1 (en) 2006-12-20 2009-09-23 Phonak AG Wireless communication system
WO2008138365A1 (en) * 2007-05-10 2008-11-20 Phonak Ag Method and system for providing hearing assistance to a user
GB0710878D0 (en) * 2007-06-06 2007-07-18 Skype Ltd Method of transmitting data in a communication system
JP4458128B2 (ja) * 2007-07-31 2010-04-28 ソニー株式会社 方向検出装置、方向検出方法および方向検出プログラム、ならびに、方向制御装置、方向制御方法および方向制御プログラム
US8380253B2 (en) * 2008-02-15 2013-02-19 Microsoft Corporation Voice switching for voice communication on computers
US8503653B2 (en) * 2008-03-03 2013-08-06 Alcatel Lucent Method and apparatus for active speaker selection using microphone arrays and speaker recognition
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
US8041054B2 (en) * 2008-10-31 2011-10-18 Continental Automotive Systems, Inc. Systems and methods for selectively switching between multiple microphones
US8910230B2 (en) 2010-01-22 2014-12-09 Gainspeed, Inc. Method of transforming HFC CATV analog fiber transmission to digital fiber transmission
US9226069B2 (en) * 2010-10-29 2015-12-29 Qualcomm Incorporated Transitioning multiple microphones from a first mode to a second mode
US8929564B2 (en) * 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays
US20120294446A1 (en) 2011-05-16 2012-11-22 Qualcomm Incorporated Blind source separation based spatial filtering
US9313453B2 (en) 2012-08-20 2016-04-12 Mitel Networks Corporation Localization algorithm for conferencing
US9232185B2 (en) * 2012-11-20 2016-01-05 Clearone Communications, Inc. Audio conferencing system for all-in-one displays
WO2014107367A1 (en) * 2013-01-03 2014-07-10 East Carolina University Methods, systems, and devices for multi-user treatment for improvement of reading comprehension using frequency altered feedback
US8666090B1 (en) * 2013-02-26 2014-03-04 Full Code Audio LLC Microphone modeling system and method
EP2984855B1 (en) * 2013-04-09 2020-09-30 Sonova AG Method and system for providing hearing assistance to a user
US10372407B2 (en) * 2013-08-19 2019-08-06 Avaya Inc. Pairwise audio capture device selection
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
US10623854B2 (en) * 2015-03-25 2020-04-14 Dolby Laboratories Licensing Corporation Sub-band mixing of multiple microphones

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655646A (zh) * 2004-02-13 2005-08-17 索尼株式会社 拾音设备和方法
CN101278337A (zh) * 2005-07-22 2008-10-01 索福特迈克斯有限公司 噪声环境中语音信号的健壮分离
CN101675623A (zh) * 2007-04-30 2010-03-17 思科技术公司 多点会议中的媒体检测和分组分发
CN102474549A (zh) * 2009-07-22 2012-05-23 罗伯特·博世有限公司 会议系统的代表单元、会议系统、操作代表单元的方法和计算机程序
US9154730B2 (en) * 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference
EP2874410A1 (en) * 2013-11-19 2015-05-20 Oticon A/s Communication system

Also Published As

Publication number Publication date
EP3430821A1 (en) 2019-01-23
CN109076294A (zh) 2018-12-21
DK3430821T3 (da) 2022-04-04
US20190090055A1 (en) 2019-03-21
US10425727B2 (en) 2019-09-24
EP3430821B1 (en) 2022-02-09
WO2017157443A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN109076294B (zh) 多讲话者声学网络中的助听系统
US8532307B2 (en) Method and system for providing binaural hearing assistance
EP2984855B1 (en) Method and system for providing hearing assistance to a user
US9307332B2 (en) Method for dynamic suppression of surrounding acoustic noise when listening to electrical inputs
EP3057337B1 (en) A hearing system comprising a separate microphone unit for picking up a users own voice
US11006200B2 (en) Context dependent tapping for hearing devices
US8238593B2 (en) Hearing instrument with adaptive directional signal processing
US8494193B2 (en) Environment detection and adaptation in hearing assistance devices
US9124990B2 (en) Method and apparatus for hearing assistance in multiple-talker settings
US20060067550A1 (en) Signal transmission between hearing aids
CN112544089B (zh) 提供具有空间背景的音频的麦克风设备
EP3248393A1 (en) Hearing assistance system
US20100150387A1 (en) System and method for providing hearing assistance to a user
EP2617127B2 (en) Method and system for providing hearing assistance to a user
US20220295191A1 (en) Hearing aid determining talkers of interest
CN113228710B (zh) 听力装置中的声源分离及相关方法
EP4250765A1 (en) A hearing system comprising a hearing aid and an external processing device
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
EP4422211A1 (en) Method of optimizing audio processing in a hearing device
EP4187926A1 (en) Method and system for providing hearing assistance
WO2024194762A1 (en) Speech perception for a hearing device in an environment with a plurality of sound sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant