JP2019146129A - 残響抑制装置及び補聴器 - Google Patents

残響抑制装置及び補聴器 Download PDF

Info

Publication number
JP2019146129A
JP2019146129A JP2018031211A JP2018031211A JP2019146129A JP 2019146129 A JP2019146129 A JP 2019146129A JP 2018031211 A JP2018031211 A JP 2018031211A JP 2018031211 A JP2018031211 A JP 2018031211A JP 2019146129 A JP2019146129 A JP 2019146129A
Authority
JP
Japan
Prior art keywords
gain
input
reverberation
instantaneous value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018031211A
Other languages
English (en)
Other versions
JP7264594B2 (ja
JP2019146129A5 (ja
Inventor
正俊 大澤
Masatoshi Osawa
正俊 大澤
政浩 春原
Masahiro Haruhara
政浩 春原
洋一 藤坂
Yoichi Fujisaka
洋一 藤坂
葉子 藤嶋
Yoko Fujishima
葉子 藤嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rion Co Ltd
Original Assignee
Rion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rion Co Ltd filed Critical Rion Co Ltd
Priority to JP2018031211A priority Critical patent/JP7264594B2/ja
Priority to US16/279,486 priority patent/US10482894B2/en
Priority to EP19158599.1A priority patent/EP3531719B1/en
Priority to SG10201901516UA priority patent/SG10201901516UA/en
Priority to DK19158599.1T priority patent/DK3531719T3/da
Publication of JP2019146129A publication Critical patent/JP2019146129A/ja
Publication of JP2019146129A5 publication Critical patent/JP2019146129A5/ja
Application granted granted Critical
Publication of JP7264594B2 publication Critical patent/JP7264594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Abstract

【課題】残響成分を十分に抑制しつつ、ゲイン変動や定常的な環境騒音に伴う違和感を防止可能な残響抑制装置等を提供する。【解決手段】残響抑制装置は、入力信号に基づいて入力瞬時値を算出する入力瞬時値算出部(12)と、入力瞬時値の移動平均を残響成分として推定する残響推定部(13)と、入力瞬時値と残響成分とを用いて入力信号に対する第1ゲイン(Ga(j、k))を算出するゲイン算出部(14)と、入力瞬時値と残響成分との比に応じて所定の下限値及び上限値の範囲内で変化する第2ゲイン(Gs(j、k))を算出し、第1ゲインと第2ゲインとの大きい方を第3ゲイン(Gb(j、k))として出力するゲイン抑制制御部(15)と、入力信号に対して第3ゲインを乗じるゲイン処理部(11)とを備えている。【選択図】図1

Description

本発明は、音声信号に含まれる残響成分を抑制する残響抑制装置及びそれを具備する補聴器に関する。
例えば、補聴器を使用する際、音が響きやすい建物の中では周囲の壁等から反射された残響音が会話に重なり、聴き取り難くなることがあるため、残響音を抑えて聞き取りやすくするための機能が求められている。従来から、信号処理により音声信号に含まれる残響成分を抑制する種々の技術が提案されている。例えば、特許文献1には、入力信号の瞬時値と、その瞬時値に基づく残響成分とを求め、瞬時値が残響成分より小さい期間にはゲインの値を所定のゲイン下限値に設定することで、残響成分を抑制する技術が開示されている。また例えば、特許文献2には、音声信号の時間変化に追従する第1指標値と、この第1指標値に比べて低い追従性で音声信号の時間変化に追従する第2指標値との相違に応じて残響成分を調整することで、残響成分を抑制する技術が開示されている。
特開2016−054421号公報 特開2013−130857号公報
上記特許文献1の技術を適用する場合、十分に残響成分を抑制するにはゲイン下限値を低い値に設定する必要がある。しかし、ゲイン下限値を低い値に設定すると、ゲインの変化幅が大きくなり音声が断続的に入力される状況に追随できない恐れがある。例えば、一定時間だけ音声が入力された後、その残響が生じる状況では、ゲインが高い状態から減少していくことになるが、その直後に再び音声が入力される場合は音声の出だしのゲインが抑制されてしまう。また、音声が入力されずに定常的な環境騒音(交通騒音や雑踏など)が存在する場合、不必要にゲインを抑制し過ぎることで違和感を生じさせる要因となる。また、上記特許文献2の技術を適用したとしても同様の問題が生じ、ゲインの変動や定常的な環境騒音下での違和感は避けられない。一方、特許文献1、2の各技術の適用に際し、ゲイン変動による違和感への対策としてスムージング処理の時定数を大きく設定したとしても、連続した会話等における音声の出だしのゲインを抑制する問題は改善できないし、逆に残響成分に対するゲインの抑制が不十分となる事態も想定される。
本発明はこれらの問題を解決するためになされたものであり、音声に対する適度なゲインを確保しつつ残響成分を十分に抑制し、ゲイン変動や定常的な環境騒音に伴う違和感を低減する残響抑制装置及び補聴器を提供することを目的とする。
上記課題を解決するために、本発明の残響抑制装置は、入力信号(X(j、k))に基づいて入力瞬時値(Xa(j、k))を算出する入力瞬時値算出部(12)と、前記入力瞬時値の移動平均を残響成分(Za(j、k))として算出する残響推定部(13)と、前記入力瞬時値と前記残響成分とを用いて、前記入力信号に対する基本的なゲインである第1ゲイン(Ga(j、k))を算出するゲイン算出部(14)と、前記入力瞬時値と前記残響成分との比に応じて、所定の下限値(ηlow(k))及び上限値(ηup(k))の範囲内で変化する第2ゲイン(Gs(j、k))を算出し、前記第1ゲインと前記第2ゲインとの大きい方を第3ゲイン(Gb(j、k))として出力するゲイン抑制制御部(15)と、前記入力信号に対し、前記第3ゲインを乗じるゲイン処理部(11)を備えて構成される。
本発明の残響抑制装置によれば、入力瞬時値と残響成分とにより算出された第1ゲインは変動が大きいため、第2ゲインによって抑制することでゲインが低下し過ぎることを防止できる点は従来の構成と同様であるが、抑制されたゲインである第2ゲイン自体は固定ではなく、所定の下限値及び上限値の範囲内で変化させる点が特徴的である。これにより、スムージング処理の時定数を大きくすることなくゲイン変動を小さくでき、振幅の大きい音声が入力された後の後期残響音の時間帯にてゲインが下がり過ぎず、かつ後続の音声の出だしに抑制後のゲインが十分に戻るため、音声の自然さを保ったまま残響成分を十分に抑制することができる。また、定常雑音のみが存在する環境下でも不必要にゲインを抑制することを防止することができる。
本発明において、入力瞬時値は、例えば、入力信号の絶対値又は2乗に相関がある値のエンベロープに基づいて算出することができ、残響成分は、例えば、入力瞬時値の指数移動平均により算出することができる。また、本発明のゲイン抑制制御部は、入力瞬時値が残響成分より小さい場合には、第2ゲインを下限値に向かって徐々に減少させ((3)式参照)、それ以外の場合には、第2ゲインを上限値に向かって増加させる((4)式参照)ように制御することが望ましい。これにより、入力瞬時値と残響成分との大小関係に応じて、2通りの算出方法を切り替えるのみで容易に第2ゲインの増減が可能となる。この場合の算出方法は多様であるが、具体例としては、後述の(3)式に従って第2ゲインを減少させ、後述の(4)式に従って第2ゲインを増加させることができる。
本発明において、第3ゲインに対してスムージング処理を施して平滑化するスムージング処理部(16)を更に設けてもよい。これにより、第2ゲインによる抑制後の第3ゲインに対し、更にスムージング処理を介して変動を抑制することができる。ただし、第3ゲインの変動が十分に小さい場合、スムージング処理を設けなくてもよい。
本発明において、外部入力信号を複数の周波数帯域の成分である複数の入力信号に分割する分析フィルタバンク(10)と、ゲイン処理部から出力される複数の周波数帯域の成分を合成して出力信号を生成する合成フィルタバンク(17)とを更に設けるとともに、複数の周波数帯域に対応する複数の入力瞬時値算出部、複数の残響推定部、複数のゲイン算出部、複数のゲイン抑制制御部をそれぞれ設けてもよい。この場合、前述の下限値及び上限値は、複数の周波数帯域の各々に対して個別に設定することが望ましい。これにより、複数の周波数帯域の各々異なる特性を反映しつつ個別にゲインを抑制でき、自由度が高く適切なゲインの制御を行うことができる。
また、上記課題を解決するために、本発明の補聴器は、音を電気信号に変換するマイクロホン(20)と、電気信号を音に変換するレシーバ(22)と、前記マイクロホンの出力信号から抽出される入力信号に基づいて入力瞬時値を算出する入力瞬時値算出部と、前記入力瞬時値の移動平均を残響成分として算出する残響推定部と、前記入力瞬時値と前記残響成分とを用いて、前記入力信号に対する基本的なゲインである第1ゲインを算出するゲイン算出部と、前記入力瞬時値と前記残響成分との比に応じて、所定の下限値及び上限値の範囲内で変化する第2ゲインを算出し、前記第1ゲインと前記第2ゲインとの大きい方を第3ゲインとして出力するゲイン抑制制御部と、前記入力信号に対して使用者に応じた補聴処理を施し、前記入力信号に対して前記第3ゲインを乗じるゲイン処理部を含む補聴処理部と(21)とを備えて構成される。
以上説明したように、本発明によれば、音声等に対する適度なゲインを維持しながら残響成分を効果的に抑制でき、ゲイン変動や定常的な環境騒音等では必要以上にゲインを低減することがなくなるので、残響抑制に起因する違和感を有効に低減することが可能となる。
本発明の一実施形態に係る残響抑制装置の構成を示すブロック図である。 ゲイン抑制制御部における具体的な処理例を示すフローチャートである。 本発明に係る残響抑制装置に関してシミュレーションにより検証した特性のうち、残響が多い環境で音声信号が断続して入力される場合の特性を従来の構成と対比しつつ示す図である。 本発明に係る残響抑制装置に関してシミュレーションにより検証した特性のうち、周囲の定常雑音のみが存在する環境における特性を従来の構成と対比しつつ示す図である。 定常雑音としてピンクノイズが存在する環境を想定し、本発明に係る残響抑制装置と従来の構成とを対比しつつ入力波形及び出力波形の特性を検証した結果を示す図である。 定常雑音として掃除機の音が存在する環境を想定し、本発明に係る残響抑制装置と従来の構成とを対比しつつ入力波形及び出力波形の特性を検証した結果を示す図である。 本発明に係る残響抑制装置を補聴器に適用した場合の構成を示すブロック図である。
以下、本発明を適用した実施形態について添付図面を参照しながら説明する。本実施形態では、残響抑制装置及びそれを備えた補聴器に対して本発明を適用する例について説明する。
図1は、本発明の一実施形態に係る残響抑制装置の構成を示すブロック図である。図1に示す残響抑制装置は、分析フィルタバンク10と、ゲイン処理部11と、入力瞬時値算出部12と、残響推定部13と、ゲイン算出部14と、ゲイン抑制制御部15と、スムージング処理部16と、合成フィルタバンク17とを備えて構成される。図1の構成に含まれる各要素は、例えば、ディジタル信号処理を実行可能なDSP(Digital Signal Processor)による信号処理によって実現することができる。
残響抑制装置において、音声信号等を含む外部入力信号が分析フィルタバンク10に入力される。分析フィルタバンク10は、処理対象である外部入力信号を所定の時間間隔であるフレーム毎にディジタル化し、それを複数の周波数帯域の成分である複数の入力信号に分割する。例えば、分析フィルタバンク10は、M個(Mは2以上の整数)の周波数帯域にそれぞれ対応する窓関数及びFFT(Fast Fourier Transform)を用いて構成することができる。この場合、分析フィルタバンク10から出力されるM個の入力信号は、時間軸上のj番目のフレーム及びk番目(k:1〜Mの整数)の周波数帯域に関し、X(j、k)と表記される。以下では、他の信号についても原則として同様に表記するものとする。
ゲイン処理部11は、分析フィルタバンク10により分割されたM個の入力信号X(j、k)に対し、それぞれに対応するゲインを乗じた信号を生成する。この場合、ゲイン処理部11において必要なゲインは、入力瞬時値算出部12と、残響推定部13と、ゲイン算出部14と、ゲイン抑制制御部15と、スムージング処理部16とを含む構成部分の後述の処理により得られる。この構成部分については、M個の入力信号X(j、k)に対応して並列に同一の構成で配置される(図1では1系統のみを示す)。
入力瞬時値算出部12は、入力信号X(j、k)のパワーのエンベロープ(時間包絡)の値を推定することにより入力瞬時値Xa(j、k)を算出する。この場合の入力瞬時値Xa(j、k)は、入力信号X(j、k)の2乗に相関がある入力パワーの推定値に相当する。ただし、入力瞬時値Xa(j、k)として、入力パワーの推定値に代え、振幅のエンベロープの値を推定し、入力信号X(j、k)の絶対値に相関がある入力振幅の推定値を用いてもよい。
残響推定部13は、入力瞬時値算出部12で得られた入力瞬時値Xa(j、k)の指数移動平均の値を算出し、その値を残響成分Za(j、k)と推定して出力する。例えば、残響成分Za(j、k)は、所定の時間範囲内の複数の入力瞬時値を保持しつつ、それぞれの入力瞬時値を保持する時間に応じて指数的に減少する重み付けを付与し、その時点の指数移動平均を順次算出することで求めることができる。なお、残響推定部13では、指数移動平均には限らず、他の加重移動平均を用いた処理を採用してもよい。
ゲイン算出部14は、入力瞬時値算出部12及び残響推定部13で得られた入力瞬時値Xa(j、k)及び残響成分Za(j、k)を用いて、入力信号X(j、k)に対する基本的なゲインである第1ゲインGa(j、k)を算出する。この第1ゲインGa(j、k)を算出する際には多様な算出式を適用可能である。一例として、次の(1)式に基づいて、第1ゲインGa(j、k)を算出することができる。
Figure 2019146129
ただし、a、bは、入力瞬時値Xa(j、k)の算出方法に応じて適宜に設定される値である。
なお、第1ゲインGa(j、k)の他の算出方法としては、スペクトルサブトラクション法、ウィーナーフィルタリング法、MMSE−STSA(minimum mean-square-error short-time spectral amplitude)法などを挙げることができる。
ゲイン抑制制御部15は、前述の入力瞬時値Xa(j、k)及び残響成分Za(j、k)を用いて、抑制された第2ゲインGs(j、k)を設定し、設定された第2ゲインGs(j、k)に基づき前述の第1ゲインGa(j、k)との対比結果から選択した第3ゲインGb(j、k)を出力する。以下、ゲイン抑制制御部15における具体的な処理例について、図2のフローチャート及び(2)、(3)、(4)式を参照しつつ説明する。
まず、図2に示すように、入力瞬時値算出部12で得られた入力瞬時値Xa(j、k)と、残響推定部13で得られた残響成分Za(j、k)とを取得し、両者の比P(j、k)を次の(2)式により算出する(ステップS1)。
Figure 2019146129
次いで、ステップS1で算出した比P(j、k)が、P(j、k)<1を満たすか否かを判定する(ステップS2)。ステップS2の判定の結果、P(j、k)<1を満たす場合には(ステップS2:YES)、ゲイン抑制制御部15において、次の(3)式により第2ゲインGs(j、k)を算出する(ステップS3)。
Figure 2019146129
ただし、ηlow(k)=周波数帯域毎に設定された第2ゲインの下限値
α1、β:(3)式の特性に応じて設定される係数
max():要素の最大値を返す関数
一方、ステップS2の判定の結果、P(j、k)<1を満たさない場合には(ステップS2:NO)、ゲイン抑制制御部15において、次の(4)により第2ゲインGs(j、k)を算出する(ステップS4)。
Figure 2019146129
ただし、ηup(k)=周波数帯域毎に設定された第2ゲインの上限値
α2:(4)式の特性に応じて設定される係数
なお、(3)式及び(4)式では、1フレーム前の第2ゲインGs(j−1、k)が用いられており、第2ゲインGs(j、k)が時間経過とともに順次変化していく。また、(3)式及び(4)式におけるα1、α2は、第2ゲインGs(j、k)の変化の速度を定める役割があり、α1、α2を大きく値にするほど第2ゲインGs(j、k)が急速に変化する。また、(3)式におけるβは、比P(j、k)に応じた第2ゲインGs(j、k)の値を調整する役割がある。
次いで、ステップS3、S4により算出された第2ゲインGs(j、k)に基づき、第3ゲインGb(j、k)を導出する。すなわち、第1ゲインGa(j、k)が第2ゲインGs(j、k)より小さい場合には(ステップS5:YES)、第2ゲインGs(j、k)の値を第3ゲインGb(j、k)として設定し(ステップS6)、第1ゲインGa(j、k)が第2ゲインGs(j、k)を下回らない場合には(ステップS5:NO)、第1ゲインGa(j、k)をそのまま第3ゲインGb(j、k)として設定する(ステップS7)。これにより、ゲイン抑制制御部15から抑制後の第3ゲインGb(j、k)が出力される。
本実施形態では、上述の(3)、(4)式の計算により、第2ゲインGs(j、k)は、入力瞬時値Xa(j、k)と残響成分Za(j、k)との大小関係に応じて、2通りで変化する。すなわち、外部からの音声等により入力瞬時値Xa(j、k)が現れて残響成分Za(j、k)よりも大きくなる状況では、(4)式に従って、第2ゲインGs(j、k)が上限値ηup(k)を超えない範囲内で増加する。これに対し、入力瞬時値Xa(j、k)が減少して残響成分Za(j、k)より小さくなる状況では、(3)式に従って、第2ゲインGs(j、k)が下限値ηlow(k)を下回らない範囲内で減少していく。このように本実施形態では、第2ゲインGs(j、k)を、上限値ηup(k)と下限値ηlow(k)との範囲内で制限することが特徴的であるが、かかる制限により得られる作用効果については後述する。
次に図1に戻って、スムージング処理部16は、ゲイン抑制制御部15から出力される第3ゲインGb(j、k)に対して時間軸に沿ってスムージング処理を施し、時間的な変動が平滑化されたゲインGc(j、k)を出力する。スムージング処理部16におけるスムージング処理としては、例えば、入力された第3ゲインGb(j、k)の指数移動平均を順次算出することで、平滑化されたゲインGc(j、k)を得ることができる。ただし、第3ゲインGb(j、k)が時間的に十分滑らかに変化するときは、スムージング処理部16を省略してもよい。
スムージング処理部16から出力されたゲインGc(j、k)は、前述のゲイン処理部11を介して、対応する周波数帯域の入力信号X(j、k)に乗じられる。そして、後段の合成フィルタバンク17は、フレーム毎にゲイン処理部11から出力されるM個の周波数帯域の成分を合成し、残響抑制装置の出力信号を生成する。例えば、合成フィルタバンク17は、M個の周波数帯域にそれぞれ対応するIFFT(Inverse Fast Fourier Transform)及び窓関数を用いて構成することができる。なお、本発明に係る残響抑制装置では、周波数帯域に分割して各々を処理する場合を説明するが、分析フィルタバンク10及び合成フィルタバンク17を用いずに、全体の周波数成分に対して本発明に係る処理を適用してもよい。
次に、本発明に係る残響抑制装置に基づく具体的な作用効果について説明する。図3及び図4は、本発明に係る残響抑制装置に関し、シミュレーションにより検証した特性について従来の手法と対比しつつ説明する図である。それぞれ、図3は、残響が多い環境で音声信号が断続して入力される場合の特性を示すとともに、図4は、周囲の定常雑音のみが存在する環境における特性を示している。
まず、図3(A)に示すように、比較的大きな音声が時間t1、t2にて断続的に入力された場合、入力瞬時値Xa(j、k)は、タイミングt1、t2で急峻にパワーが立ち上がった後に立ち下がり、残響が多い影響により、入力瞬時値Xa(j、k)の立ち下がる波形に追随して残響が緩やかに立ち下がる波形(パルス直後の黒い部分)を想定する。そして、残響成分Za(j、k)は、入力瞬時値Xa(j、k)から遅れて緩やかに変化していく。そのため、図3(B)に示すように、入力瞬時値Xa(j、k)と残響成分Za(j、k)との比P(j、k)は、タイミングt1、t2において1の付近から急増するが、その後のいわゆる後期残響音の時間帯では、比P(j、k)が1を下回る。なお、後期残響音は、入力瞬時値Xa(k、j)が減少して残響成分Za(k、j)を下回り、P(j、k)<1となる時間帯における残響音に相当する。
次いで、図3(C)に示すように、(1)式に基づいて算出される基本的な第1ゲインGa(j、k)は、前述の比P(z、k)が1を下回る期間において減少しつつ、最小値になる。一方、(3)式及び(4)式で算出される第2ゲインGs(j、k)は、上限値ηup(k)及び下限値ηlow(k)の範囲内でのみ変化する。よって、第1ゲインGa(j、k)と第2ゲインGs(j、k)の大きい方である第3ゲインGb(j、k)は、前述の第1ゲインGa(j、k)が最小値付近の領域においても、最小値の半分程度の第3ゲインGb(j、k)の値を保持して、その後に第1ゲインGa(j、k)に準じて1に戻ることがわかる。
これに対し、図3(D)では、従来の構成(例えば、特許文献1参照)に基づく残響抑制装置に関して、スムージング処理を行わない場合のゲインG1とスムージング処理を行う場合のゲインG2との波形を示している。この場合、スムージング処理を行わない場合のゲインG1は、概ね図3(C)の第1ゲインGa(j、k)と同様に変化しているが、スムージング処理を行う場合のゲインG2は、ゲインG1に比べて全般的に緩やかに変化することがわかる。
ここで、図3(C)の第1ゲインGa(j、k)と、図3(D)のスムージング処理を行わない場合のゲインG1はゲイン変動が大きく、前述の後期残響音に対するゲインが必要以上に小さくなることから、残響音や定常雑音への違和感の要因となる。そのための対策として、図3(C)の第3ゲインGb(j、k)は最初の後期残響音で値が低下しても第2ゲインGs(j、k)の最小値までであり、その後に第1ゲインGa(j、k)に応じて戻るので、タイミングt2の入力音に対して十分なゲインの値を確保できる。これに対し、図3(D)のゲインG2はスムージング処理により適度に低下するが、戻りが遅いために、タイミングt2の入力音に対するゲインの値を抑制してしまう。
次に、周囲に定常雑音のみが存在する環境においては、図4(A)に示すように、入力瞬時値Xa(j、k)がそれほど変化しないため、残響成分Za(j、k)も同様に変化が小さい。この場合においても、入力瞬時値Xa(j、k)と残響成分Za(j、k)の大小関係は前述の規則に準じて算出され、図4(B)に示すように、両者の比P(j、k)は、1の近傍の狭い範囲を緩やかに変化する。この状況で、前述の第1ゲインGa(j、k)は、図4(C)に示すように、図3(C)の第1ゲインGa(j、k)に比べて、その変動は小さくなり、第3ゲインGb(j、k)は、前述と同様、第1ゲインGa(j、k)の最小値より低くなり過ぎず、かつ短時間で戻るため、定常雑音に対して安定的なゲインを確保できる。一方、従来の構成の場合、図4には示されないが、図3(D)のスムージング処理を行わない場合のゲインG1に対し、スムージング処理を行ったとしても、図3と同様、ゲインの戻りが遅いため、全般的に定常雑音に対するゲイン変動は避けられない。
次に、図5及び図6は、実際に定常雑音が存在する環境を想定し、入力波形及び出力波形の特性を検証した結果を、本発明に係る残響抑制装置と従来の構成とを対比しつつ示している。定常雑音としては、図5ではピンクノイズを想定し、図6では掃除機の音を想定している。図5(A)及び図6(A)は、従来の構成でゲイン下限値を−5〜−15dB(周波数帯域に依存)の範囲内に設定した場合の特性を、図5(B)及び図6(B)は、従来の構成でゲイン下限値を−15dB(固定)に設定した場合の特性を、図5(C)及び図6(C)は、本発明に係る残響抑制装置で得られた特性をそれぞれ示している。
図5及び図6に示すように、ピンクノイズと掃除機のいずれを定常雑音とする場合であっても、従来の構成によれば、入力波形(グレーの部分)に比べて出力波形(黒い部分)が小さくなっており、ゲインの値が不十分であることがわかる。これに対し、本発明によれば、図5(C)及び図6(C)から入力波形と出力波形が同程度の大きさであり、ゲインの値が下がり過ぎることなく、適度なゲインが確保されていることがわかる。このように、定常雑音に対しても、本発明の適用によりゲイン変動に起因する違和感を防止することができる。
本発明に係る残響抑制装置には多様な用途に適用することができる。図7は、本発明に係る残響抑制装置を補聴器に適用した場合の構成例を示している。図7に示す補聴器において、分析フィルタバンク10、入力瞬時値算出部12、残響推定部13、ゲイン算出部14、ゲイン抑制制御部15、スムージング処理部16、合成フィルタバンク17については、図1と同様であるが、入力側のマイクロホン20と、ゲイン処理部11を含む補聴処理部21と、出力側のレシーバ22とが設けられる。
マイクロホン20は、外部から入力される音を電気信号に変換し、分析フィルタバンク10への入力信号として出力する。補聴処理部21は、分析フィルバンク10から出力された複数の周波数帯域毎の入力信号X(j、k)に対し、各々の使用者の聴力に応じたゲイン調整や使用環境に応じたノイズキャンセルなどの補聴処理を施す機能を有し、図1のゲイン処理部11と同様の機能を実現する構成要素を含んでいる。レシーバ22は、例えば、使用者の外耳道内に設置され、補聴処理部21からの出力信号を音に変換して外耳道内の空間に出力する。図7の示す補聴器においても、本実施形態で説明した残響抑制装置と同様の作用効果を得ることができ、使用者の違和感を低減して快適な補聴器を実現することが可能となる。
また、本発明に係る残響抑制装置は、補聴器以外の多様な機器に適用することができる。すなわち、図1や図7の各構成を具備し、本発明の機能を実現可能であれば、単独で、あるいは他の機器に組み込んで本発明を適用することができる。このような用途において、各構成要素は多様な形態の処理を採用して実現可能であり、その構成や各種設定などについても多様な選択が可能である。
10…分析フィルタバンク
11…ゲイン処理部
12…入力瞬時値算出部
13…残響推定部
14…ゲイン算出部
15…ゲイン抑制制御部
16…スムージング処理部
17…合成フィルタバンク
20…マイクロホン
21…補聴処理部
22…レシーバ

Claims (7)

  1. 入力信号に基づいて入力瞬時値を算出する入力瞬時値算出部と、
    前記入力瞬時値の移動平均を残響成分として算出する残響推定部と、
    前記入力瞬時値と前記残響成分とを用いて、前記入力信号に対する基本的なゲインである第1ゲインを算出するゲイン算出部と、
    前記入力瞬時値と前記残響成分との比に応じて、所定の下限値及び上限値の範囲内で変化する第2ゲインを算出し、前記第1ゲインと前記第2ゲインとの大きい方を第3ゲインとして出力するゲイン抑制制御部と、
    前記入力信号に対し、前記第3ゲインを乗じるゲイン処理部と、
    を備えることを特徴とする残響抑制装置。
  2. 前記入力瞬時値は、前記入力信号の絶対値又は2乗に相関がある値のエンベロープに基づいて算出され、
    前記残響成分は、前記入力瞬時値の指数移動平均により算出される、
    ことを特徴とする請求項1に記載の残響抑制装置。
  3. 前記入力瞬時値が前記残響成分より小さい場合には、前記第2ゲインを前記下限値に向かって徐々に減少させ、
    前記入力瞬時値が前記残響成分より小さい場合以外には、前記第2ゲインを前記上限値に向かって増加させる、
    ことを特徴とする請求項1又は2に記載の残響抑制装置。
  4. 前記第3ゲインに対してスムージング処理を施して平滑化するスムージング処理部を更に備えることを特徴とする請求項1から3のいずれか1項に記載の残響抑制装置。
  5. 外部入力信号を複数の周波数帯域の成分である複数の前記入力信号に分割する分析フィルタバンクと、
    前記ゲイン処理部から出力される前記複数の周波数帯域の成分を合成して出力信号を生成する合成フィルタバンクと、
    を更に備え、
    前記複数の周波数帯域に対応する複数の前記入力瞬時値算出部、複数の前記残響推定部、複数の前記ゲイン算出部、複数の前記ゲイン抑制制御部がそれぞれ設けられることを特徴とする請求項1から4のいずれか1項に記載の残響抑制装置。
  6. 前記下限値及び前記上限値は、前記複数の周波数帯域の各々に対して個別に設定されていることを特徴とする請求項5に記載の残響抑制装置。
  7. 音を電気信号に変換するマイクロホンと、
    電気信号を音に変換するレシーバと、
    前記マイクロホンの出力信号から抽出される入力信号に基づいて入力瞬時値を算出する入力瞬時値算出部と、
    前記入力瞬時値の移動平均を残響成分として算出する残響推定部と、
    前記入力瞬時値と前記残響成分とを用いて、前記入力信号に対する基本的なゲインである第1ゲインを算出するゲイン算出部と、
    前記入力瞬時値と前記残響成分との比に応じて、所定の下限値及び上限値の範囲内で変化する第2ゲインを算出し、前記第1ゲインと前記第2ゲインとの大きい方を第3ゲインとして出力するゲイン抑制制御部と、
    前記入力信号に対して使用者に応じた補聴処理を施し、前記入力信号に対して前記第3ゲインを乗じるゲイン処理部を含む補聴処理部と、
    を備えることを特徴とする補聴器。
JP2018031211A 2018-02-23 2018-02-23 残響抑制装置及び補聴器 Active JP7264594B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018031211A JP7264594B2 (ja) 2018-02-23 2018-02-23 残響抑制装置及び補聴器
US16/279,486 US10482894B2 (en) 2018-02-23 2019-02-19 Dereverberation device and hearing aid
EP19158599.1A EP3531719B1 (en) 2018-02-23 2019-02-21 Dereverberation device and hearing aid
SG10201901516UA SG10201901516UA (en) 2018-02-23 2019-02-21 Dereverberation Device And Hearing Aid
DK19158599.1T DK3531719T3 (da) 2018-02-23 2019-02-21 Efterklangsundertrykkelsesanordning og høreapparat

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018031211A JP7264594B2 (ja) 2018-02-23 2018-02-23 残響抑制装置及び補聴器

Publications (3)

Publication Number Publication Date
JP2019146129A true JP2019146129A (ja) 2019-08-29
JP2019146129A5 JP2019146129A5 (ja) 2021-02-25
JP7264594B2 JP7264594B2 (ja) 2023-04-25

Family

ID=65529462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018031211A Active JP7264594B2 (ja) 2018-02-23 2018-02-23 残響抑制装置及び補聴器

Country Status (5)

Country Link
US (1) US10482894B2 (ja)
EP (1) EP3531719B1 (ja)
JP (1) JP7264594B2 (ja)
DK (1) DK3531719T3 (ja)
SG (1) SG10201901516UA (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005094A (ja) * 2006-06-21 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP2015169901A (ja) * 2014-03-10 2015-09-28 ヤマハ株式会社 音響処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319770B2 (en) * 2004-04-30 2008-01-15 Phonak Ag Method of processing an acoustic signal, and a hearing instrument
JP5751110B2 (ja) 2011-09-22 2015-07-22 富士通株式会社 残響抑制装置および残響抑制方法並びに残響抑制プログラム
JP6019969B2 (ja) 2011-11-22 2016-11-02 ヤマハ株式会社 音響処理装置
JP6379839B2 (ja) * 2014-08-11 2018-08-29 沖電気工業株式会社 雑音抑圧装置、方法及びプログラム
JP6371167B2 (ja) 2014-09-03 2018-08-08 リオン株式会社 残響抑制装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005094A (ja) * 2006-06-21 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP2015169901A (ja) * 2014-03-10 2015-09-28 ヤマハ株式会社 音響処理装置

Also Published As

Publication number Publication date
EP3531719A1 (en) 2019-08-28
EP3531719B1 (en) 2020-11-25
US20190267021A1 (en) 2019-08-29
SG10201901516UA (en) 2019-09-27
DK3531719T3 (da) 2021-03-01
JP7264594B2 (ja) 2023-04-25
US10482894B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
EP2238592B1 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
JP6312826B2 (ja) 補聴器システムの動作方法および補聴器システム
JP6250147B2 (ja) 補聴器システムの信号処理方法および補聴器システム
CN106507258B (zh) 一种听力装置及其运行方法
KR20190085927A (ko) 적응성 빔포밍
EP2463856B1 (en) Method to reduce artifacts in algorithms with fast-varying gain
EP1252796A1 (en) System and method for dual microphone signal noise reduction using spectral subtraction
JP2014232331A (ja) アダプティブ・インテリジェント・ノイズ抑制システム及び方法
JP2010271411A (ja) 雑音抑圧装置およびプログラム
EP2015604A1 (en) Generation of probe noise in a feedback cancellation system
JP6371167B2 (ja) 残響抑制装置
CN106911993A (zh) 具有声音脉冲抑制的听力装置
JP7083724B2 (ja) 残響抑制装置及び補聴器
GB2527126A (en) Noise cancellation with dynamic range compression
JP2016515342A (ja) ノイズ低減法、およびシステム
WO2020035158A1 (en) Method of operating a hearing aid system and a hearing aid system
US20210084407A1 (en) Enhancement of audio from remote audio sources
JP7195344B2 (ja) パーベイシブ・リステニングのための強制ギャップ挿入
JP2019146129A (ja) 残響抑制装置及び補聴器
EP3837861B1 (en) Method of operating a hearing aid system and a hearing aid system
JP5316127B2 (ja) 音処理装置およびプログラム
JP2021150959A (ja) 聴覚装置および聴覚装置に関連する方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221101

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20221122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230111

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R150 Certificate of patent or registration of utility model

Ref document number: 7264594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150