CN113615209A - 语音输出装置、语音输出方法和语音输出程序 - Google Patents

语音输出装置、语音输出方法和语音输出程序 Download PDF

Info

Publication number
CN113615209A
CN113615209A CN202080023577.8A CN202080023577A CN113615209A CN 113615209 A CN113615209 A CN 113615209A CN 202080023577 A CN202080023577 A CN 202080023577A CN 113615209 A CN113615209 A CN 113615209A
Authority
CN
China
Prior art keywords
voice
output
signal
external noise
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080023577.8A
Other languages
English (en)
Inventor
大杉孝司
宫原良次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
NEC Corp
Original Assignee
NEC Platforms Ltd
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd, NEC Corp filed Critical NEC Platforms Ltd
Publication of CN113615209A publication Critical patent/CN113615209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3039—Nonlinear, e.g. clipping, numerical truncation, thresholding or variable input and output gain
    • G10K2210/30391—Resetting of the filter parameters or changing the algorithm according to prevailing conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

提供一种用于向用户的耳膜提供高质量声音的音频输出设备，该音频输出设备包括：第一音频输出单元，其基于输出音频信号将音频输出到用户外部听觉耳道；第一噪声获取单元，其被布置成面向用户的身体外部并捕获包括从用户的外部到达的第一外部噪声的混合音频并且输出混合音频信号；回声消除单元，其消除由于从第一音频输出单元输出的并泄漏到用户的外部的声音泄漏音频对第一外部噪声的影响；以及噪声消除单元，产生与第一外部噪声对应的第一外部噪声信号，并使用第一外部噪声信号处理从外部输入的输入音频信号并且产生输出音频信号。

Description

语音输出装置、语音输出方法和语音输出程序
技术领域
本发明涉及一种语音输出装置、一种语音输出方法和一种语音输出程序。
背景技术
在以上技术领域中，专利文献1公开了一种通过并入于以环形设置在用户的颞区中的耳套中的麦克风来检测外部声音信号和再现声音信号、通过使所检测外部声音信号和所检测再现声音信号的相位倒置来产生消除信号以及再现所产生消除信号作为来自第二驱动器单元的消除声音的技术。
引用列表
专利文献
专利文献1：日本专利特开第2015-2450号
发明内容
技术问题
然而，以上文献中描述的技术假设存在与用户的颞区接触的环形耳套，且可因此仅适用于一些耳机。
本发明提供一种解决上述问题的技术。
解决方案
为了实现以上目标，根据本发明，提供一种语音输出装置，包括：
第一语音输出单元，其基于输出语音信号将语音输出到用户的耳道；
第一噪声获取器，其被布置成从用户的身体面向外部并捕获包括从用户的外部到达的第一外部噪声的混合语音以输出混合语音信号；
回声消除器，其消除从第一语音输出单元输出的并泄漏到用户的外部的泄漏语音对第一外部噪声的影响；以及
噪声消除器，其产生与第一外部噪声对应的第一外部噪声信号，并使用第一外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
为了实现以上目标，根据本发明，提供一种语音输出方法，包括：
基于输出语音信号将语音输出到用户的耳道；
捕获包括从用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在输出中输出的并泄漏到用户的外部的泄漏语音对外部噪声的影响；以及
产生与外部噪声对应的外部噪声信号，并使用外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
为了实现以上目标，根据本发明，提供一种用于使计算机执行方法的语音输出程序，包括：
基于输出语音信号将语音输出到用户的耳道；
捕获包括从用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在输出中输出的并泄漏到用户的外部的泄漏语音对外部噪声的影响；以及
产生与外部噪声对应的外部噪声信号，并使用外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
发明的有利效果
根据本发明，各种形式的语音输出装置可向用户的耳膜提供高质量声音。
附图说明
图1为示出了根据本发明的第一示例实施例的语音输出装置的布置的视图；
图2A为示出了根据本发明的第二示例实施例的语音输出装置的布置的视图；
图2B为示出了根据本发明的第二示例实施例的语音输出装置的语音处理器的详细布置的视图；
图3A为示出了根据本发明的第三示例实施例的语音输出装置的语音处理器的详细布置的视图；
图3B为用于解释根据本发明的第三示例实施例的语音输出装置的控制器的系数处理的曲线图；
图3C为用于解释根据本发明的第三示例实施例的语音输出装置的控制器的系数处理的曲线图；
图4A为示出了在通过信号处理程序形成第三示例实施例时执行信号处理程序的计算机的布置的框图；
图4B为说明由CPU 420执行的处理的过程的流程图；
图4C为说明由CPU 420执行的处理的过程的流程图；
图5A为示出了根据本发明的第四示例实施例的语音输出装置的布置的视图；
图5B为示出了根据本发明的第五示例实施例的语音输出装置的布置的视图；以及
图6为示出了根据本发明的第六示例实施例的语音输出装置的布置的视图。
具体实施方式
现将详细参考图式描述本发明的示例实施例。应注意，这些示例实施例中阐述的组件的相对布置、数值表达式和数值不限制本发明的范围，除非另有特别说明。此外，在以下图式中，单向箭头仅指示给定信号的流向，且不排除双向。应注意，以下描述中的术语“语音信号”是指根据语音或另一声音产生且用于传输语音或另一声音的直接电变化，因此不限于语音。
[第一示例实施例]
将参考图1描述根据本发明的第一示例实施例的语音输出装置100。如图1中所示，语音输出装置100包括语音输出单元101、噪声获取器102、回声消除器103和噪声消除器104。语音输出单元101基于输出语音信号111将语音112输出到用户130的耳道140。第一噪声获取器102被布置成从用户130的身体面向外部并捕获包括从用户130的外部到达的外部噪声121的混合语音以输出混合语音信号122。回声消除器103消除从语音输出单元101输出的并泄漏到用户130的外部的泄漏语音对外部噪声121的影响。噪声消除器104产生与外部噪声121对应的第一外部噪声信号，并使用第一外部噪声信号来处理从外部输入的输入语音信号以产生输出语音信号111。
根据此示例实施例，各种形式的语音输出装置可在进行噪声消除时向用户的耳膜提供制造商预期的声音。
[第二示例实施例]
接下来将参考图2A和图2B描述根据本发明的第二示例实施例的语音输出装置。图2A为示出了根据此示例实施例的语音输出装置的布置的视图。语音输出装置200包括作为语音输出单元的扬声器201、作为噪声获取器的外部麦克风202、语音处理器210和接收器220。语音处理器210包括回声消除器203和噪声消除器204。语音输出装置200可为内部耳式耳机、耳道耳机、双耳式耳机、单耳式耳机或单声道耳机，但不发明不限于此。语音输出装置200不限于耳机，且可为耳塞或耳麦。
接收器220经由无线或有线通信从诸如智能电话的语音再现装置接收发送信号250。由接收器220接收的发送信号250经历在语音处理器210中待转换为输出语音信号211的处理，且输出语音信号211被输入到扬声器201中。扬声器201接收输出语音信号211的输入，并将输出语音212输出到用户230的耳道240。
外部麦克风202被布置成从用户230的身体面向外部，并捕获从用户230的外部到达的外部噪声221。然而，当扬声器201输出语音时，外部麦克风202可捕获输出语音212作为声漏。在这种情况下，外部麦克风202捕获混合外部噪声221和输出语音212的混合语音，并输出混合语音信号222。
回声消除器203使用输出语音信号211来处理混合语音信号222以产生伪外部噪声信号。
噪声消除器204使用伪外部噪声信号来处理发送信号250以产生输出语音信号211。
图2B为示出了根据此示例实施例的语音输出装置200的语音处理器210的详细布置的视图。由外部麦克风202产生的混合语音信号222被输入到回声消除器203。回声消除器203使用输出语音信号211对混合语音信号222施加回声消除处理。回声消除器203包括自适应滤波器231和加法器232。自适应滤波器231使用输出语音信号211来产生伪输出语音信号233。加法器232从混合语音信号222中减去伪输出语音信号233以产生伪外部噪声信号234。从加法器232输出的伪外部噪声信号234用于更新自适应滤波器231的系数。
噪声消除器204包括固定滤波器241和加法器242。伪外部噪声信号234被输入到噪声消除器204。噪声消除器204使用输入的伪外部噪声信号234来处理基于发送信号250产生的输入语音信号251。噪声消除器204驱动固定滤波器241来产生混合语音信号222中包括的语音信号的伪外部噪声信号243。加法器242从输入语音信号251减去伪外部噪声信号243。
上述内容将通过例如将输入语音信号251表示为[Δ□Δ□]和将外部噪声221表示为[○×○]来解释。回声消除器203处理外部噪声221[○×○]以产生作为伪外部噪声信号234的信号[○○]。噪声消除器204使用伪外部噪声信号234[○○]来产生伪外部噪声信号243[□□]，并从输入语音信号251[Δ□Δ□]中减去伪外部噪声信号243[□□]以获得输出语音信号211，且因此扬声器201输出输出语音[ΔΔ]。此外，外部噪声221[○×○]在经由用户230的头部到达耳道240之前变形为[□□]。然后，通过从扬声器201输出的[ΔΔ]和变形的外部噪声[□□]的组合获得的与输入语音信号251相同的信号[Δ□Δ□]到达用户230的耳膜270。
根据此示例实施例，有可能消除从扬声器输出的声漏混合在外部麦克风中的影响，从而向用户的耳膜提供高质量声音。
[第三示例实施例]
接下来将参考图3A和图3B描述根据本发明的第三示例实施例的语音输出装置。图3A为示出了根据此示例实施例的语音输出装置的语音处理器的详细布置的视图。根据此示例实施例的语音输出装置与根据上述第二示例实施例的语音输出装置的不同之处在于，提供了内部麦克风301和控制器360，且固定滤波器241被替换为自适应滤波器341。剩余组件和操作类似于第二示例实施例中的组件和操作。因此，相同附图标号表示类似组件和操作，且将省略其详细描述。
内部麦克风301为被布置成面向用户230的耳道240的内部麦克风。内部麦克风301捕获在外部噪声221的部分在空间上穿过语音输出装置并传输到耳道240时获得的外部噪声313。由内部麦克风301捕获的外部噪声313用作误差信号312以更新自适应滤波器341的系数。噪声消除器204使用输入的伪外部噪声信号234来处理输入语音信号251。
控制器360控制自适应滤波器341和自适应滤波器231的系数的更新定时。
图3B为用于解释根据此示例实施例的语音输出装置的控制器的系数处理的曲线图。如上文所描述，回声消除器203和噪声消除器204分别使用自适应滤波器231和自适应滤波器341来进行回声消除处理和噪声消除处理。在图3B中，纵坐标表示更新量(学习量)，且横坐标表示信噪比(S/N)。曲线图320指示噪声消除器204的自适应滤波器341的系数的更新量。曲线图330指示回声消除器203的自适应滤波器231的系数的更新量。如曲线图320和曲线图330所指示，控制器360在通过S/N比改变更新量时同时进行自适应滤波器231和自适应滤波器341的滤波器更新。此外，如图3C中的曲线图340和曲线图350所指示，控制器360可通过基于S/N比和更新曲线停止更新量较小的自适应滤波器的滤波器更新来加速滤波器收敛。打开/关闭自适应滤波器231和自适应滤波器341中的每个滤波器的更新(学习)，而非打开/关闭回声消除器203和噪声消除器204，从而交替地更新自适应滤波器231和自适应滤波器341。在一定程度上更新自适应滤波器231和自适应滤波器341之后，每个滤波器系数几乎不发生变化。在这种状态下，控制器360原则上不会再更新自适应滤波器231和自适应滤波器341，但如果在电源打开时拆卸设备或将设备传递到另一用户，那么控制器360进行滤波器更新以采用到另一用户的设备。
控制器360更新自适应滤波器341的定时为内部麦克风301不捕获输出语音212的定时。此外，控制器360更新自适应滤波器231的定时为扬声器201输出输出语音212的定时。
此外，内部麦克风301可捕获除外部噪声313之外通过耳道从用户230的声带传输的用户230的主语音311，从而产生主语音信号。在捕获主语音311且扬声器201输出输出语音的定时，不更新自适应滤波器231。
根据此示例实施例，有可能消除从扬声器输出的声漏在混合外部麦克风中的影响，且在进行噪声消除时向用户的耳膜提供制造商预期的声音。由于更新了自适应滤波器，因此有可能处理外部噪声的变化和从扬声器输出的语音的变化。
[第四示例实施例]
接下来将参考图5A描述根据本发明的第四示例实施例的语音输出装置。图5A为示出了根据此示例实施例的语音输出装置的语音处理器的详细布置的视图。根据此示例实施例的语音输出装置与根据上述第三示例实施例的语音输出装置的不同之处在于，还提供了扬声器502。剩余组件和操作类似于第二示例实施例中的组件和操作。因此，相同附图标号表示类似组件和操作，且将省略其详细描述。
语音输出装置500包括扬声器502。也就是说，语音输出装置500具有在用户230的耳道240中包括两个麦克风和两个扬声器的结构。外部麦克风202和扬声器502从用户230面向外部。
扬声器502为从用户230面向外部的扬声器。通过输出具有与来自扬声器502的声漏“X”的相位相反的相位的相反相位语音信号521(“-X”)，在用户230的外部空间中提前控制声漏“X”(有源噪声控制)。然后，通过控制声漏“X”，外部麦克风202捕获声漏几乎不影响的高质量外部噪声221。
内部麦克风301捕获从扬声器201输出的输出语音212的部分，且自适应滤波器531产生与由内部麦克风301捕获的输出语音212的部分对应的相反相位语音信号521。扬声器502基于相反相位语音信号521来输出相反相位语音。
当伪外部噪声信号234与输出语音212之间的差足够小时，自适应滤波器341的更新量大。也就是说，伪外部噪声信号234与输出语音212之间的差表示环境变化的详细信息，且为信噪比(S/N比)。考虑当差接近0(lim→0)时，S/N比接近无穷(lim→∞)。当由内部麦克风301捕获的输出语音212足够大时，自适应滤波器531的更新量大。也就是说，这是因为在自适应滤波器531中，考虑当由内部麦克风301捕获的输出语音212足够大时，S/N比接近无穷(lim→∞)。由内部麦克风301捕获的输出语音212大的情况对应于接收发送信号250且用户发出声音的情况。
根据此示例实施例，由于有可能提取高质量伪外部噪声信号，因此有可能提高到达用户的耳膜的声音的质量。此外，由于相反相位声音是从扬声器输出，因此有可能减少向周围的声漏。也就是说，在此示例实施例中，用户230的耳道240被视为一维声管，且外部麦克风202和扬声器502被布置为在耳道240的末端，从而使得有可能防止声漏。当管道例示为一维声管时，声音径向地传播但是在管道中声音笔直地行进而非径向地传播。即使捕获径向传播的声音的一个点且输出具有反相位的声音，空间中的声音仍不能被消除。然而，由于声压被均等地施加到一维声管中的横截面，因此捕获横截面的一个点以使得具有反相位的声音冲突，从而消除空间中的声音。例如，汽车等的消声器可通过此方案进行消声。
[第五示例实施例]
接下来将参考图5B描述根据本发明的第五示例实施例的语音输出装置。图5B为示出了根据此示例实施例的语音输出装置的布置的视图。根据此示例实施例的语音输出装置与根据上述第四示例实施例的语音输出装置的不同之处在于，输入到扬声器201的输出语音信号用于自适应滤波器531的滤波器更新。剩余组件和操作类似于第四示例实施例中的组件和操作。因此，相同附图标号表示类似组件和操作，且将省略其详细描述。
由内部麦克风301捕获且从扬声器201输出的输出语音212用于更新自适应滤波器341的滤波器系数。自适应滤波器531使用输入到扬声器201的输出语音信号511来产生相反相位语音信号521。扬声器502基于相反相位语音信号521来输出相反相位声音。
当伪外部噪声信号243与输出语音212之间的差足够小时，自适应滤波器341的更新量大。当从扬声器201输出的输出语音212足够大时，自适应滤波器231的更新量大。从扬声器201输出的输出语音212足够大的情况对应于接收发送信号250的情况。
除上述第四示例实施例外，根据此示例实施例，自适应滤波器531的收敛快且自适应滤波器531也为稳定的。
[第六示例实施例]
接下来将参考图6描述根据本发明的第六示例实施例的语音输出装置。图6为示出了根据此示例实施例的语音输出装置的布置的视图。根据此示例实施例的语音输出装置与根据上述第五示例实施例的语音输出装置的不同之处在于，没有提供内部麦克风301。剩余组件和操作类似于第二示例实施例中的组件和操作。因此，相同附图标号表示类似组件和操作，且将省略其详细描述。
输入到扬声器201的输出语音信号511用于更新固定滤波器641的滤波器系数。此外，自适应滤波器531产生输出语音信号511的相反相位语音信号521。扬声器502基于相反相位语音信号521来输出相反相位声音(“-X”)。
根据此示例实施例，由于内部麦克风为不必要的，因此与第四示例实施例和第五示例实施例相比，有可能通过简单布置来提高到达用户的耳膜的声音的质量。另外，由于使用了固定滤波器641，因此不需要系数收敛时间，从而实现稳定声音质量。
[其他示例实施例]
虽然已参考本发明的示例实施例具体示出和描述了本发明，但不发明不限于这些示例实施例。本领域普通技术人员将理解，可在不脱离如权利要求书限定的本发明的精神和范围的情况下在本文中进行形式和细节的各种改变。包括相应示例实施例中包括的单独特征的任何组合的系统和装置可并入本发明的范围中。
本发明可适用于包括多个设备或单个装置的系统。即使在用于实现示例实施例的功能的信息处理程序直接或从远程站点供应到系统或装置时，本发明也适用。因此，本发明还并入安装在计算机中的程序以通过计算机、存储程序的介质和使用户下载程序的万维网(WWW)服务器实现本发明的功能。特别是，本发明并入存储使计算机执行上述示例实施例中包括的处理步骤的程序的至少非暂时性计算机可读介质。
图4A为示出了在通过信号处理程序形成第三示例实施例时执行信号处理程序的计算机400的布置的框图。计算机400包括输入单元410、中央处理单元(CPU)420、输出单元430和存储器440。
CPU 420通过载入存储器440中存储的信号处理程序来控制计算机400的操作。也就是说，在执行信号处理程序之后，CPU 420在步骤S401中输出来自输出单元430的输出语音212。在步骤S403中，CPU420捕获混合来自输入单元410的外部噪声221和来自扬声器201的输出语音212的混合语音，并输出混合语音信号222。在步骤S407中，CPU 420使用输入到扬声器201的输出语音信号211来进行混合语音信号222的回声消除处理，产生伪外部噪声信号234，并将其输出。在步骤S409中，CPU 420使用伪外部噪声信号234来进行输入语音信号251的噪声消除处理。
图4B为说明由CPU 420执行的处理的过程的流程图。在步骤S421中，CPU 420判断内部麦克风301是否捕获主语音311。如果判断获取主语音311(步骤S421中的是)，那么CPU420结束处理。如果判断未获取主语音311(步骤S421中的否)，那么CPU 420进行到步骤S423。在步骤S423中，CPU 420判断扬声器201是否输出输出语音212。如果判断输出语音212被输出(步骤S423中的是)，那么CPU 420结束处理。如果判断不输出输出语音212(步骤S423中的否)，那么CPU420进行到步骤S425。在步骤S425中，CPU 420更新噪声消除器204的自适应滤波器341。
图4C为说明由CPU 420执行的处理的过程的流程图。在步骤S431中，CPU 420判断扬声器201是否输出输出语音212。如果判断不输出输出语音212(步骤S431中的否)，那么CPU 420结束处理。如果判断输出输出语音212(步骤S431中的是)，那么CPU 420进行到步骤S433。在步骤S433中，CPU 420判断是否捕获主语音311。如果判断捕获主语音311(步骤S433中的是)，那么CPU 420结束处理。如果判断不捕获主语音311(步骤S433中的否)，那么CPU420进行到步骤S435。在步骤S435中，CPU 420更新回声消除器203的自适应滤波器231。
[示例实施例的其他表述]
上述示例实施例中的一些或全部还可描述为在以下补充说明中但不限于以下：
(补充说明1)
提供一种语音输出装置，包括：
第一语音输出单元，其基于输出语音信号将语音输出到用户的耳道；
第一噪声获取器，其被布置成从用户的身体面向外部并且捕获包括从用户的外部到达的第一外部噪声的混合语音以输出混合语音信号；
回声消除器，其消除从第一语音输出单元输出的并且泄漏到用户的外部的泄漏语音对第一外部噪声的影响；以及
噪声消除器，其产生与第一外部噪声对应的第一外部噪声信号，并且使用第一外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
(补充说明2)
提供根据补充说明1所述的语音输出装置，其中，
回声消除器使用输出语音信号处理混合语音信号以产生伪外部噪声信号，并且
噪声消除器使用伪外部噪声信号处理输入语音信号。
(补充说明3)
提供根据补充说明1或补充说明2所述的语音输出装置，还包括第二外部噪声获取器，该第二外部噪声获取器捕获传输到耳道的第一外部噪声的部分作为第二外部噪声，
其中，噪声消除器另外使用第二外部噪声处理输入语音信号。
(补充说明4)
提供根据补充说明3所述的语音输出装置，其中，第二外部噪声获取器还捕获通过耳道从用户的声带传输的用户的主语音以产生主语音信号。
(补充说明5)
提供根据补充说明2或补充说明3所述的语音输出装置，其中，噪声消除器使用第一自适应滤波器进行噪声消除处理，并且使用与捕获的第二外部噪声对应的第二外部噪声信号更新第一自适应滤波器。
(补充说明6)
提供根据补充说明1至补充说明5中的任一项所述的语音输出装置，其中，噪声消除器使用第一自适应滤波器进行噪声消除处理，回声消除器使用第二自适应滤波器进行回声消除处理，该第二自适应滤波器在更新第一自适应滤波器时不被更新，并且该第一自适应滤波器在更新第二自适应滤波器时不被更新。
(补充说明7)
提供根据补充说明3所述的语音输出装置，其中，噪声消除器使用第一自适应滤波器进行噪声消除处理，并且在第二外部噪声获取器不获取第二外部噪声并且语音输出单元不输出输出语音时的定时更新第一自适应滤波器。
(补充说明8)
提供根据补充说明6所述的语音输出装置，其中，回声消除器在语音输出单元输出输出语音时的定时更新第二自适应滤波器。
(补充说明9)
提供根据补充说明6或补充说明7所述的语音输出装置，其中，噪声消除器和回声消除器在第二外部噪声获取器获取主语音时的定时不更新第一自适应滤波器和第二自适应滤波器。
(补充说明10)
提供根据补充说明1至补充说明9中的任一项所述的语音输出装置，其中，回声消除器包括：
语音信号产生器，其产生具有与从语音输出单元输出的语音的相位相反的相位的相反相位语音的语音信号，以及
第二语音输出单元，其基于相反相位语音的语音信号将用于消除泄漏语音的相反相位语音输出到用户的外部。
(补充说明11)
提供根据补充说明10所述的语音输出装置，其中，第二外部噪声获取器捕获从第二语音输出单元输出到耳道的语音。
(补充说明12)
提供根据补充说明11所述的语音输出装置，其中，语音信号产生器还包括自适应滤波器，该自适应滤波器使用从第二外部噪声获取器输出的耳道内语音信号产生相反相位语音的语音信号。
(补充说明13)
提供根据补充说明10至补充说明12中的任一项所述的语音输出装置，其中，
噪声消除器使用第一自适应滤波器进行噪声消除处理，并且
第一自适应滤波器基于耳道内语音信号更新系数。
(补充说明14)
提供一种语音输出方法，包括：
基于输出语音信号将语音输出到用户的耳道；
捕获包括从用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在输出中输出的并且泄漏到用户的外部的泄漏语音对外部噪声的影响；以及
产生与外部噪声对应的外部噪声信号，并且使用外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
(补充说明15)
提供一种用于使计算机执行方法的语音输出程序，包括：
基于输出语音信号将语音输出到用户的耳道；
布置成从用户的身体面向外部并且捕获包括从用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在输出中输出的并且泄漏到用户的外部的泄漏语音对外部噪声的影响；以及
产生与外部噪声对应的外部噪声信号，并使用外部噪声信号处理从外部输入的输入语音信号以产生输出语音信号。
本申请是基于2019年3月27日申请的日本专利申请第2019-61289号并要求其优先权权益，该申请以全文引用的方式并入本文中。

Claims (15)

1.一种语音输出装置，包括：
第一语音输出单元，所述第一语音输出单元基于输出语音信号，将语音输出到用户的耳道；
第一噪声获取器，所述第一噪声获取器被布置成从所述用户的身体面向外部，并且捕获包括从所述用户的外部到达的第一外部噪声的混合语音以输出混合语音信号；
回声消除器，所述回声消除器消除从所述第一语音输出单元输出的并且泄漏到所述用户的外部的泄漏语音对所述第一外部噪声的影响；以及
噪声消除器，所述噪声消除器产生与所述第一外部噪声对应的第一外部噪声信号，并且使用所述第一外部噪声信号处理从外部输入的输入语音信号以产生所述输出语音信号。
2.根据权利要求1所述的语音输出装置，其中，所述噪声消除器使用第一自适应滤波器进行噪声消除处理，所述回声消除器使用第二自适应滤波器进行回声消除处理，所述第二自适应滤波器在更新所述第一自适应滤波器时不被更新，并且所述第一自适应滤波器在更新所述第二自适应滤波器时不被更新。
3.根据权利要求2所述的语音输出装置，其中，所述回声消除器在所述语音输出单元输出输出语音时的定时更新所述第二自适应滤波器。
4.根据权利要求1、2或3所述的语音输出装置，其中，
所述回声消除器使用所述输出语音信号处理所述混合语音信号以产生伪外部噪声信号，并且
所述噪声消除器使用所述伪外部噪声信号处理所述输入语音信号。
5.根据权利要求1、2或3所述的语音输出装置，还包括第二外部噪声获取器，所述第二外部噪声获取器捕获传输到所述耳道的所述第一外部噪声的一部分作为第二外部噪声，
其中，所述噪声消除器另外使用所述第二外部噪声处理所述输入语音信号。
6.根据权利要求5所述的语音输出装置，其中，所述第二外部噪声获取器还捕获通过所述耳道从所述用户的声带传输的所述用户的主语音以产生主语音信号。
7.根据权利要求5或6所述的语音输出装置，其中，所述噪声消除器使用所述第一自适应滤波器进行噪声消除处理，并且使用与由所述第二外部噪声获取器捕获的所述第二外部噪声对应的第二外部噪声信号更新所述第一自适应滤波器。
8.根据权利要求5、6或7所述的语音输出装置，其中，所述噪声消除器使用所述第一自适应滤波器进行噪声消除处理，并且在所述第二外部噪声获取器没有获取第二外部噪声并且所述语音输出单元没有输出输出语音时的定时更新所述第一自适应滤波器。
9.根据权利要求5至8中的任一项所述的语音输出装置，其中，所述噪声消除器和所述回声消除器在所述第二外部噪声获取器获取所述主语音时的定时不更新所述第一自适应滤波器和所述第二自适应滤波器。
10.根据权利要求1至9中的任一项所述的语音输出装置，其中，所述回声消除器包括：
语音信号产生器，所述语音信号产生器产生相反相位语音的语音信号，所述相反相位语音具有与从所述语音输出单元输出的语音的相位相反的相位，以及
第二语音输出单元，所述第二语音输出单元基于所述相反相位语音的所述语音信号，将用于消除所述泄漏语音的所述相反相位语音输出到所述用户的外部。
11.根据权利要求10所述的语音输出装置，其中，所述第二外部噪声获取器捕获从所述第二语音输出单元输出到所述耳道的所述语音，并且输出耳道内语音信号。
12.根据权利要求11所述的语音输出装置，其中，所述语音信号产生器还包括自适应滤波器，所述自适应滤波器使用从所述第二外部噪声获取器输出的所述耳道内语音信号，产生所述相反相位语音的所述语音信号。
13.根据权利要求10至12中的任一项所述的语音输出装置，其中，
所述噪声消除器使用所述第一自适应滤波器进行噪声消除处理，并且
所述第一自适应滤波器基于所述耳道内语音信号更新系数。
14.一种语音输出方法，包括：
基于输出语音信号，将语音输出到用户的耳道；
捕获包括从所述用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在所述输出中输出的并且泄漏到所述用户的外部的泄漏语音对所述外部噪声的影响；以及
产生与所述外部噪声对应的外部噪声信号，并且使用所述外部噪声信号处理从外部输入的输入语音信号以产生所述输出语音信号。
15.一种用于使计算机执行方法的语音输出程序，包括：
基于输出语音信号，将语音输出到用户的耳道；
捕获包括从所述用户的外部到达的外部噪声的混合语音以输出混合语音信号；
消除在所述输出中输出的并且泄漏到所述用户的外部的泄漏语音对所述外部噪声的影响；以及
产生与所述外部噪声对应的外部噪声信号，并且使用所述外部噪声信号处理从外部输入的输入语音信号以产生所述输出语音信号。
CN202080023577.8A 2019-03-27 2020-03-26 语音输出装置、语音输出方法和语音输出程序 Pending CN113615209A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019061289A JP6822693B2 (ja) 2019-03-27 2019-03-27 音声出力装置、音声出力方法および音声出力プログラム
JP2019-061289 2019-03-27
PCT/JP2020/013850 WO2020196796A1 (ja) 2019-03-27 2020-03-26 音声出力装置、音声出力方法および音声出力プログラム

Publications (1)

Publication Number Publication Date
CN113615209A true CN113615209A (zh) 2021-11-05

Family

ID=72611507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023577.8A Pending CN113615209A (zh) 2019-03-27 2020-03-26 语音输出装置、语音输出方法和语音输出程序

Country Status (5)

Country Link
US (1) US11972750B2 (zh)
EP (1) EP3952329A4 (zh)
JP (1) JP6822693B2 (zh)
CN (1) CN113615209A (zh)
WO (1) WO2020196796A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405660B2 (ja) * 2020-03-19 2023-12-26 Ｌｉｎｅヤフー株式会社 出力装置、出力方法及び出力プログラム
US11955133B2 (en) * 2022-06-15 2024-04-09 Analog Devices International Unlimited Company Audio signal processing method and system for noise mitigation of a voice signal measured by an audio sensor in an ear canal of a user

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293103A1 (en) * 2010-06-01 2011-12-01 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614101A (ja) 1992-06-26 1994-01-21 Oki Electric Ind Co Ltd ハンズフリー電話機
JP3141674B2 (ja) 1994-02-25 2001-03-05 ソニー株式会社 騒音低減ヘッドホン装置
JP3153113B2 (ja) 1995-09-28 2001-04-03 富士通テン株式会社 ヘッドホン装置
JP2955855B1 (ja) * 1998-04-24 1999-10-04 ティーオーエー株式会社 能動型雑音除去装置
US7545926B2 (en) * 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US8934620B2 (en) * 2011-04-01 2015-01-13 Cogent Signals, Inc. Acoustic echo cancellation for high noise and excessive double talk
JP6069829B2 (ja) * 2011-12-08 2017-02-01 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
JP6194705B2 (ja) * 2013-03-04 2017-09-13 日本電気株式会社 イヤホン及びイヤホンの製造方法
US8791440B1 (en) 2013-03-14 2014-07-29 Asml Netherlands B.V. Target for extreme ultraviolet light source
JP6115947B2 (ja) 2013-06-17 2017-04-19 株式会社オーディオテクニカ ヘッドホン
EP2827608B1 (en) 2013-07-18 2016-05-25 GN Netcom A/S Earphone with noise reduction
US9402132B2 (en) * 2013-10-14 2016-07-26 Qualcomm Incorporated Limiting active noise cancellation output
EP4236362A3 (en) 2015-12-30 2023-09-27 GN Hearing A/S A head-wearable hearing device
GB201713946D0 (en) * 2017-06-16 2017-10-18 Cirrus Logic Int Semiconductor Ltd Earbud speech estimation
CN107889007B (zh) * 2017-10-27 2020-02-18 恒玄科技(上海)股份有限公司 消除降噪通路对播放声音影响的主动降噪方法及系统
US10410654B2 (en) * 2017-10-27 2019-09-10 Bestechnic (Shanghai) Co., Ltd. Active noise control headphones
CN108429950A (zh) * 2018-03-22 2018-08-21 恒玄科技（上海）有限公司 低功耗的高效降噪耳机及降噪系统
JP6807134B2 (ja) * 2018-12-28 2021-01-06 日本電気株式会社 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム
EP3712883B1 (en) * 2019-03-22 2024-04-24 ams AG Audio system and signal processing method for an ear mountable playback device
US10839786B1 (en) * 2019-06-17 2020-11-17 Bose Corporation Systems and methods for canceling road noise in a microphone signal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293103A1 (en) * 2010-06-01 2011-12-01 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization

Also Published As

Publication number Publication date
JP2020162046A (ja) 2020-10-01
JP6822693B2 (ja) 2021-01-27
US20220189448A1 (en) 2022-06-16
EP3952329A4 (en) 2022-08-31
US11972750B2 (en) 2024-04-30
WO2020196796A1 (ja) 2020-10-01
EP3952329A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US8218779B2 (en) Portable communication device and a method of processing signals therein
EP3081009B1 (en) Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
KR102196012B1 (ko) 트랜스듀서 상태의 검출에 기초하여 오디오 트랜스듀서의 성능을 향상시키는 방법들 및 시스템들
JP6251399B2 (ja) 会話の支援
US11743662B2 (en) Voice input/output apparatus, hearing aid, voice input/output method, and voice input/output program
JP2018137735A (ja) 補聴装置との間のストリーミング通信のための方法および装置
CN114521333A (zh) 主动降噪音频装置和系统
US11026041B2 (en) Compensation of own voice occlusion
EP2086250A1 (en) A listening system with an feedback cancellation system, a method and use
US9392364B1 (en) Virtual microphone for adaptive noise cancellation in personal audio devices
JP2008507207A (ja) 通信ユニットを聴力強化装置と選択的に結合する方法およびシステム
US11972750B2 (en) Voice output apparatus, voice output method, and voice output program
KR20180093363A (ko) 인이어 마이크와 아웃이어 마이크 수음특성을 이용한 소음 제거 이어셋 및 소음 제거 방법
CN111656436B (zh) 噪声消除滤波器结构、噪声消除系统及信号处理方法
JP2023040244A (ja) イヤホン、音声処理方法および音声処理プログラム
JP7211658B2 (ja) 音声出力装置、音声出力方法および音声出力プログラム
US11996074B2 (en) Signal processing device and signal processing device, and sound device
US20220351711A1 (en) Signal processing device and signal processing device, computer program, and sound device
US11670318B2 (en) Apparatus and method for acoustic echo cancellation with occluded voice sensor
CN114827813A (zh) 一种降噪方法、耳机设备及存储介质
KR20170018554A (ko) 소리 필터링 시스템
CN113347527A (zh) 声学路径的确定方法、装置、可读存储介质及电子设备
CN116647789A (zh) 用于减少听力设备中的回声的方法
CN118055350A (zh) 耳机自适应主动降噪的方法、装置、存储介质和耳机
JP2005347957A (ja) 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination