JP2019004466A - 収音装置、放収音装置、信号処理方法、及びプログラム - Google Patents
収音装置、放収音装置、信号処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2019004466A JP2019004466A JP2018111926A JP2018111926A JP2019004466A JP 2019004466 A JP2019004466 A JP 2019004466A JP 2018111926 A JP2018111926 A JP 2018111926A JP 2018111926 A JP2018111926 A JP 2018111926A JP 2019004466 A JP2019004466 A JP 2019004466A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal processing
- collection device
- processing method
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000005236 sound signal Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 29
- 238000001228 spectrum Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims 1
- 239000012634 fragment Substances 0.000 abstract description 2
- 230000007261 regionalization Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Telephone Function (AREA)
Abstract
【課題】従来の収音装置では、人の声だけでなく雑音に対してもビームフォーミングのフォーカス方向を調整する。このため、不要な雑音を収音し、人の声を断片的にしか収音できない可能性がある。【解決手段】収音装置は、複数のマイクと、前記複数のマイクの収音信号を処理して指向性を形成する指向性形成部と、前記指向性形成部の前段に配置された第１エコーキャンセラと、前記指向性形成部の後段に配置された第２エコーキャンセラと、を備えている。【選択図】図３
Description
この発明に係るいくつかの実施形態は、入力された信号を分析して人の話す声を収音する収音装置、放収音装置、信号処理方法、及びプログラムに関する。
マイクから離れた人の声を収音する場合、通常は収音したくない雑音や残響成分が人の声に対して相対的に大きくなる。したがって、収音したい声の音質は、著しく低下する。このため、雑音や残響成分を抑圧し、声のみを明瞭に収音することが求められる。
従来の収音装置においては、マイクで取得した音に対して音の到来方向を検出し、ビームフォーミングのフォーカス方向を調整することで人の声の収音を行なっている。
しかし、従来の収音装置では、人の声だけでなく雑音に対してもビームフォーミングのフォーカス方向を調整する。このため、不要な雑音を収音し、人の声を断片的にしか収音できない可能性がある。
この発明に係るいくつかの実施形態は、入力された信号を分析して人の話す声のみを収音する収音装置、放収音装置、信号処理方法、及びプログラムを提供することを目的とする。
収音装置は、複数のマイクと、前記複数のマイクの収音信号を処理して指向性を形成する指向性形成部と、前記指向性形成部の前段に配置された第１エコーキャンセラと、前記指向性形成部の後段に配置された第２エコーキャンセラと、を備えている。
図１は、放収音装置１０を模式的に示した斜視図である。図１においては、放音及び収音に係る主構成を記載して、その他の構成は記載していない。
放収音装置１０は、直方体形状の筐体１、マイク１１、マイク１２、マイク１３、スピーカ７０Ｌ、及びスピーカ７０Ｒを備えている。複数のマイク１１、マイク１２、及びマイク１３は、筐体１の一側面に一列に並んで配置されている。スピーカ７０Ｌ及びスピーカ７０Ｒは対としてマイク１１、マイク１２、及びマイク１３を挟んでマイク１１、マイク１２、及びマイク１３の外側に配置されている。
この例においては、マイクの数は３個であるが、放収音装置１０は、少なくとも２個以上のマイクが設置されていれば動作可能である。また、スピーカの数も２個に限るものではなく、放収音装置１０は、少なくとも１個以上のスピーカが設置されていれば動作可能である。また、スピーカ７０Ｌ又はスピーカ７０Ｒは、筐体１と別の構成として設けられていてもよい。
図２は、放収音装置１０のブロック図である。図２に示すように、放収音装置１０は、マイク１１、マイク１２、マイク１３、スピーカ７０Ｌ、スピーカ７０Ｒ、信号処理部１５、メモリ１５０、及びインタフェース（Ｉ／Ｆ）１９を備えている。
マイク１１、マイク１２、及びマイク１３で取得された音声である収音信号は、信号処理部１５で信号処理され、Ｉ／Ｆ１９に入力される。Ｉ／Ｆ１９は、例えば通信Ｉ／Ｆであり、該収音信号を、外部の装置（遠隔地）に送信する。あるいは、Ｉ／Ｆ１９は、外部の装置から放音信号を受信する。メモリ１５０は、マイク１１、マイク１２、及びマイク１３で取得された収音信号を録音データとして記録する。
信号処理部１５は、マイク１１、マイク１２、及びマイク１３で取得された音声を以下に詳細に説明するように信号処理する。また、信号処理部１５は、Ｉ／Ｆ１９から入力した放音信号を処理する。スピーカ７０Ｌ又はスピーカ７０Ｒは、信号処理部１５で信号処理された信号を放音する。
なお、信号処理部１５の機能は、パーソナルコンピュータ等の一般的な情報処理装置で実現することも可能である。この場合、情報処理装置は、メモリ１５０に記憶されたプログラム１５１、又はフラッシュメモリ等の記憶媒体に記憶されたプログラムを読み出して実行することにより、信号処理部１５の機能を実現する。
図３は、放収音装置１０の機能ブロック図である。図３に示すように、放収音装置１０は、マイク１１、マイク１２、マイク１３、スピーカ７０Ｌ、スピーカ７０Ｒ、信号処理部１５、及びインタフェース（Ｉ／Ｆ）１９を備えている。信号処理部１５は、第１エコーキャンセラ３１、第１エコーキャンセラ３２、第１エコーキャンセラ３３、指向性形成部（ＢＦ：Beam Forming）２０、第２エコーキャンセラ４０、音声判定部（ＶＡＤ：Voice Activity Detection）５０、及び到来方向検出部（ＤＯＡ：Direction Of Arrival）６０を備えている。
第１エコーキャンセラ３１はマイク１１の後段に、第１エコーキャンセラ３２はマイク１２の後段に、第１エコーキャンセラ３３はマイク１３の後段に、それぞれ設置されている。第１エコーキャンセラ３１、第１エコーキャンセラ３２、第１エコーキャンセラ３３は、前段のマイクの収音信号のそれぞれに対して、エコーキャンセルを行う。これにより、第１エコーキャンセラ３１、第１エコーキャンセラ３２、及び第１エコーキャンセラ３３は、スピーカ７０Ｌ又はスピーカ７０Ｒから各マイクに至るエコーを除去する。
第１エコーキャンセラ３１、第１エコーキャンセラ３２、第１エコーキャンセラ３３が行うエコーキャンセルは、ＦＩＲフィルタ処理と減算処理からなる。第１エコーキャンセラ３１、第１エコーキャンセラ３２、及び第１エコーキャンセラ３３エコーキャンセルは、インタフェース（Ｉ／Ｆ）１９から信号処理部１５へ入力されたスピーカ７０Ｌ又はスピーカ７０Ｒで放音する信号（放音信号）を入力し、ＦＩＲフィルタでエコー成分を推定し、第１エコーキャンセラ３１、第１エコーキャンセラ３２、及び第１エコーキャンセラ３３へ入力された収音信号から、それぞれ推定したエコー成分を減算する処理である。
ＶＡＤ５０は、第１エコーキャンセラ３２の後段に設置されている。すなわち、ＶＡＤ５０は、中央に位置するマイク１２で収音した収音信号に対して音声であるか否かの判定を行う。ＶＡＤ５０で人の声が有ると判定された場合、音声フラグがＤＯＡ６０に入力される。ＶＡＤ５０については後に詳細に述べる。なお、ＶＡＤ５０は、第１エコーキャンセラ３２の後段に限られず、第１エコーキャンセラ３２、又は第１エコーキャンセラ３３の後段に設置されていてもよい。
ＤＯＡ６０は、第１エコーキャンセラ３１及び第１エコーキャンセラ３３の後段に設置されている。ＤＯＡ６０は、音声の到来方向を検出する。ＤＯＡ６０は、音声フラグが入力されると、マイク１１及びマイク１３で収音した収音信号に対して到来方向（θ）の検出を行う。到来方向（θ）については後で詳細に説明する。ＤＯＡ６０は、音声フラグが入力されたときのみ検出を行うため、人の声以外の雑音が発生したとしても、到来方向（θ）の値は変更しない。ＤＯＡ６０で検出された到来方向（θ）は、ＢＦ２０へ入力される。ＤＯＡ６０については後に詳細に述べる。
ＢＦ２０は、入力された到来方向（θ）を基に、ビームフォーミング処理を行う。ビームフォーミング処理により、到来方向（θ）の音にフォーカスすることができる。これにより、到来方向（θ）以外の方向から到来する雑音を最小化することができるため、到来方向（θ）の声音を選択的に収音することができる。ＢＦ２０については後に詳細に述べる。
第２エコーキャンセラ４０は、ＢＦ２０でビームフォーミング処理を施された信号に対して、周波数スペクトル振幅乗算処理を行う。これにより、第２エコーキャンセラ４０は、減算処理のみで除去できなかった残留エコー成分を除去することができる。周波数スペクトル振幅乗算処理は、どの様な処理であってもよいが、例えば、周波数領域におけるスペクトラルゲイン、スペクトラルサブトラクション、エコーサプレッサの少なくともいずれか１つ、又は全てを用いる。残留エコー成分は、例えば部屋の暗騒音のために、第１エコーキャンセラ３１等で生じたエコー成分の推定誤差に起因する誤差成分や、スピーカ７０Ｌ又はスピーカ７０Ｒの放音レベルがある程度のレベルに達した場合に生じる筐体の振動音等である。第２エコーキャンセラ４０は、第１エコーキャンセラにおける減算処理で推定したエコー成分のスペクトルと、入力信号のスペクトルと、に基づいて、残留エコー成分のスペクトルを推定し、スペクトルの振幅を乗算にて減衰させることで推定した残留エコー成分のスペクトルを入力信号から除外する。
以上の様に、本実施形態の信号処理部１５は、減算処理により除去しきれない残留エコー成分も除去する。ただし、仮に前段で周波数スペクトル振幅乗算処理を行なうと、収音信号レベルのゲインの情報が失われるため、ＢＦ２０における指向性形成の処理が困難となる。また、仮に前段で周波数スペクトル振幅乗算処理を行なうと、後述の倍音パワースペクトル、パワースペクトル変化率、パワースペクトル平坦率、フォルマント強度、倍音強度、パワー、パワーの一階差分、パワーの二階差分、ケプストラム係数、ケプストラム係数の一階差分、又はケプストラム係数の二階差分の情報が失われるため、ＶＡＤ５０において音声判定が困難となる。そこで、本実施形態の信号処理部１５は、まず減算処理によりエコー成分を除去して、ＢＦ２０による指向性形成処理、ＶＡＤ５０による音声音判定、及びＤＯＡ６０における到来方向の検出処理を行い、指向性形成された後の信号に対して、周波数スペクトル振幅乗算処理を行なう。
次に、図４を用いてＶＡＤ５０の機能について詳細に説明する。
ＶＡＤ５０は、音声信号の各種音声特徴量についてニューラルネットワーク５７を用いて解析を行う。ＶＡＤ５０は、解析の結果、人の声が有ると判定した場合、音声フラグを出力する。
各種音声特徴量としては、例えば、ゼロクロス率４１、倍音パワースペクトル４２、パワースペクトル変化率４３、パワースペクトル平坦率４４、フォルマント強度４５、倍音強度４６、パワー４７、パワーの一階差分４８、パワーの二階差分４９、ケプストラム係数５１、ケプストラム係数の一階差分５２、又はケプストラム係数の二階差分５３が挙げられる。
ゼロクロス率４１は、音声信号の時間領域においてゼロクロスとなる点の出現頻度を算出したものである。ゼロクロスは、音声の基本周波数であるピッチに対応する。倍音パワースペクトル４２は、音声信号に含まれる倍音のそれぞれの周波数成分がどの位のパワーを有するかを表わしたものである。パワースペクトル変化率４３は音声信号の周波数成分に対するパワーの変化率を表わしたものである。パワースペクトル平坦率４４は、音声信号の周波数成分のうねりの度合いを表わしたものである。フォルマント強度４５は、音声信号に含まれるフォルマント成分の強度を表わしたものである。倍音強度４６は、音声信号に含まれる倍音のそれぞれの周波数成分の強度を表わしたものである。パワー４７は、音声信号のパワーである。パワーの一階差分４８は、パワー４７の前回との差である。パワーの二階差分４９は、パワーの一階差分４８の前回との差である。ケプストラム係数５１は、音声信号の離散コサイン変換の振幅の対数である。ケプストラム係数の一階差分５２は、ケプストラム係数５１の前回との差である。ケプストラム係数の二階差分５３は、ケプストラム係数の一階差分５２の前回との差である。
なお、ケプストラム係数５１を求めるときの音声信号は、プリエンファシスフィルタを用いて高域を強調したものを用いてもよいし、音声信号の離散コサイン変換の振幅は、メルフィルタバンクを用いて圧縮をしたものを使用してもよい。
なお、音声特徴量としては、上述のパラメータには限定されず、人の声とその他の音を判別することができる指標となるものであれば使用できる。
ニューラルネットワーク５７は、人間の判断事例から結果を導き出す手法であり、入力値に対し、人間が導き出した判断結果に近づくように各ノードの係数が決定されているものである。
ニューラルネットワーク５７は、各ニューロンにおいて、各種音声特徴量（ゼロクロス率４１、倍音パワースペクトル４２、パワースペクトル変化率４３、パワースペクトル平坦率４４、フォルマント強度４５、倍音強度４６、パワー４７、パワーの一階差分４８、パワーの二階差分４９、ケプストラム係数５１、ケプストラム係数の一階差分５２、又はケプストラム係数の二階差分５３）についての値を入力することによって、この入力された値を基に所定の値を出力する。ニューラルネットワーク５７は、再後段の２つのニューロンにおいて、それぞれ人の声であるという第１指標値と、人の声ではないという第２指標値とを出力する。最終的に、ニューラルネットワーク５７は、第１指標値と第２指標値との差分が、所定の閾値を超える場合に、人の声であると判定する。これにより、ニューラルネットワーク５７は、人間の判断事例を基に、音声信号が人の声であるか否かを判定することができる。
次に、図５及び図６を用いてＤＯＡ６０の機能について詳細に説明する。図５は、到来方向とマイクによる音のズレとの関係を示す図である。図６は、ＤＯＡ６０の構成を示すブロック図である。図５において、一方向の矢印は、音源からの音声の到来する方向を示している。
ＤＯＡ６０は、図５及び図６に示すように、所定の距離（Ｌ１）を隔てて存在するマイク１１及びマイク１３を用いる。ＤＯＡ６０に音声フラグが入力されると、マイク１１及びマイク１３で収音した収音信号の相互相関関数が算出６１される。ここで、音声の到来方向（θ）は、マイク１１及びマイク１３の並ぶ面に対して垂直な方向からのズレとして表すことができる。このため、マイク１１に対してマイク１３への入力信号は、到来方向（θ）分の音のズレ（Ｌ２）が生じる。
ＤＯＡ６０は、相互相関関数のピーク位置に基づいて、マイク１１及びマイク１３それぞれの入力信号の時間差を検出する。入力信号の時間差と音速の積により音のズレ（Ｌ２）が算出される。ここで、Ｌ２＝Ｌ１×ｓｉｎθである。Ｌ１は固定の数値であるため、Ｌ２から三角関数の演算により到来方向（θ）を検出６３することができる。
なお、ＶＡＤ５０が解析の結果、人の声では無いと判定した場合、ＤＯＡ６０は音声の到来方向（θ）の検出を行わず、到来方向（θ）は、直前の到来方向（θ）に維持される。
次に、図７を用いてＢＦ２０の機能について詳細に説明する。図７は、ＢＦ２０の構成を示すブロック図である。
ＢＦ２０は、複数の適応型フィルタを内蔵しており、入力された音声信号をフィルタリングすることにより、ビームフォーミング処理を行う。適応型フィルタとしては、例えば、ＦＩＲフィルタにより構成される。図７においては、マイク毎にＦＩＲフィルタ２１、ＦＩＲフィルタ２２、及びＦＩＲフィルタ２３の３つのＦＩＲフィルタを示しているが、さらに多くのＦＩＲフィルタを備えていてもよい。
ＤＯＡ６０から音声の到来方向（θ）が入力されると、ビーム係数更新部２５はＦＩＲフィルタの係数を更新する。例えば、ビーム係数更新部２５は、更新された到来方向（θ）に基づくフォーカス角度での利得が１．０となる拘束条件のもと、出力信号が最小となるように、入力された音声信号に基づいて、適応アルゴリズムを用いてＦＩＲフィルタの係数を更新する。これにより、到来方向（θ）以外の方向から到来する雑音を最小化することができるため、到来方向（θ）の声音を選択的に収音することができる。
ＢＦ２０は、上述の様な処理を繰り返し、到来方向（θ）に対応した音声信号を出力する。これにより、信号処理部１５は、常に人の声がある方向を到来方向（θ）として高感度で収音することができる。このように、信号処理部１５は、人の声を追尾することができるため、雑音により人の声の音質が劣化することを抑制することができる。
以下、図８を用いて、放収音装置１０の動作を説明する。図８は、放収音装置１０の動作を示すフローチャートである。
まず、放収音装置１０は、マイク１１、マイク１２、及びマイク１３で収音を行なう（Ｓ１１）。マイク１１、マイク１２、及びマイク１３で収音された音声は、音声信号として、信号処理部１５に入力される。
次に、第１エコーキャンセラ３１、第１エコーキャンセラ３２、第１エコーキャンセラ３３は、第１エコーキャンセル処理を行う（Ｓ１２）。第１エコーキャンセル処理は、上述のように、減算処理であり、第１エコーキャンセラ３１、第１エコーキャンセラ３２、及び第１エコーキャンセラ３３へ入力された収音信号から、エコー成分を除去する処理である。
第１エコーキャンセル処理の後、ＶＡＤ５０は、音声信号を各種音声特徴量についてニューラルネットワーク５７を用いて解析を行う（Ｓ１３）。ＶＡＤ５０は、解析の結果、収音信号が音声であると判定した場合（Ｓ１３：Ｙｅｓ）。ＶＡＤ５０は、音声フラグをＤＯＡ６０へ出力する。ＶＡＤ５０は、人の声が無いと判定した場合（Ｓ１３：Ｎｏ）。ＶＡＤ５０は、音声フラグをＤＯＡ６０へ出力しない。そのため、到来方向（θ）は、直前の到来方向（θ）に維持される（Ｓ１０４）。これにより、音声フラグの入力が無い場合は、ＤＯＡ６０での到来方向（θ）の検出が省略されるため、無駄な処理を省略することができ、人の声以外の音源に対して感度が向けられることもない。
次に、音声フラグがＤＯＡ６０へ出力されると、ＤＯＡ６０は到来方向（θ）を検出する（Ｓ１４）。検出された到来方向（θ）は、ＢＦ２０へ入力される。
ＢＦ２０は、指向性を形成する（Ｓ１５）。ＢＦ２０は、入力された音声信号を到来方向（θ）に基づいてフィルタ係数を調整する。ＢＦ２０は、調整されたフィルタを用いて、ビームフォーミング処理を行う。これにより、ＢＦ２０は、到来方向（θ）に対応した音声信号を出力することにより、到来方向（θ）の声音を選択的に収音することができる。
次に、第２エコーキャンセラ４０は、第２エコーキャンセル処理を行う（Ｓ１６）。第２エコーキャンセラ４０は、ＢＦ２０でビームフォーミング処理を施された信号に対して、周波数スペクトル振幅乗算処理を行う。これにより、第２エコーキャンセラ４０は、第１エコーキャンセル処理で除去できなかった残留エコー成分を除去することができる。エコー成分が除去された音声信号は、第２エコーキャンセラ４０からインタフェース（Ｉ／Ｆ）１９を介して信号処理部１５へ入力される。
スピーカ７０Ｌ又はスピーカ７０Ｒは、信号処理部１５で信号処理され、インタフェース（Ｉ／Ｆ）１９を介して信号処理部１５へ入力された音声信号に基づいて放音する（Ｓ１７）。
なお、本実施形態では、放収音装置１０として、放音及び収音の機能を有する放収音装置１０を例示したが、この例に限らない。例えば、収音の機能を有する収音装置であってもよい。
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
１０…放収音装置
１１，１２，１３…マイク
１５…信号処理部
１９…Ｉ／Ｆ
２０…ＢＦ
２１，２２，２３…ＦＩＲフィルタ
２５…ビーム係数更新部
３１，３２，３３…第１エコーキャンセラ
４０…第２エコーキャンセラ
４１…ゼロクロス率
４２…倍音パワースペクトル
４３…パワースペクトル変化率
４４…パワースペクトル平坦率
４５…フォルマント強度
４６…倍音強度
４７…パワー
４８…一階差分
４９…二階差分
５０…ＶＡＤ
５１…ケプストラム係数
５２…一階差分
５３…二階差分
５７…ニューラルネットワーク
６０…ＤＯＡ
６１…算出
６３…検出
７０Ｌ…スピーカ
７０Ｒ…スピーカ
１５０…メモリ
１５１…プログラム
１１，１２，１３…マイク
１５…信号処理部
１９…Ｉ／Ｆ
２０…ＢＦ
２１，２２，２３…ＦＩＲフィルタ
２５…ビーム係数更新部
３１，３２，３３…第１エコーキャンセラ
４０…第２エコーキャンセラ
４１…ゼロクロス率
４２…倍音パワースペクトル
４３…パワースペクトル変化率
４４…パワースペクトル平坦率
４５…フォルマント強度
４６…倍音強度
４７…パワー
４８…一階差分
４９…二階差分
５０…ＶＡＤ
５１…ケプストラム係数
５２…一階差分
５３…二階差分
５７…ニューラルネットワーク
６０…ＤＯＡ
６１…算出
６３…検出
７０Ｌ…スピーカ
７０Ｒ…スピーカ
１５０…メモリ
１５１…プログラム
Claims (20)
- 複数のマイクと、
前記複数のマイクの収音信号を処理して指向性を形成する指向性形成部と、
前記指向性形成部の前段に配置された第１エコーキャンセラと、
前記指向性形成部の後段に配置された第２エコーキャンセラと、
を備えた収音装置。 - 請求項１に記載の収音装置において、
前記第１エコーキャンセラは、減算処理を行う、
収音装置。 - 請求項１または請求項２に記載の収音装置において、
前記第２エコーキャンセラは、周波数スペクトル振幅乗算処理を行う、
収音装置。 - 請求項１乃至請求項３のいずれかに記載の収音装置において、
前記第１エコーキャンセラは、前記複数のマイクの収音信号のそれぞれに対して、エコーキャンセルを行う、
収音装置。 - 請求項１乃至請求項４のいずれかに記載の収音装置において、
前記第１エコーキャンセラの後段に、音源の到来方向を検出する到来方向検出部を備えた、
収音装置。 - 請求項５に記載の収音装置において、
前記指向性形成部は、前記到来方向検出部で検出された到来方向に基づいて、指向性を形成する、
収音装置。 - 請求項１乃至請求項６のいずれかに記載の収音装置において、
前記第１エコーキャンセラの後段に、音声の判定を行う音声判定部を備えた、
収音装置。 - 請求項５または請求項６に記載の収音装置において、
前記第１エコーキャンセラの後段に、音声の判定を行う音声判定部を備え、
前記到来方向検出部は、
前記音声判定部において前記音声が有ると判定した場合に、前記到来方向を検出する処理を行い、
前記音声判定部において前記音声が無いと判定された場合に、直前に検出した前記到来方向の値を保持する、
収音装置。 - 請求項７または請求項８に記載の収音装置において、
前記音声判定部は、ニューラルネットワークを用いて前記音声の判定を行う
収音装置。 - 請求項１乃至請求項９のいずれかに記載の収音装置と、
スピーカと、を備え、
前記第１エコーキャンセラは、前記スピーカに入力する信号に基づいてエコーキャンセル処理を行う、
放収音装置。 - 複数のマイクの収音信号の少なくともいずれか１つに第１エコーキャンセル処理を行い、
前記第１エコーキャンセル処理後の前記収音信号を用いて指向性を形成し、
前記指向性を形成した後に、第２エコーキャンセル処理を行う、
信号処理方法。 - 請求項１１に記載の信号処理方法において、
前記第１エコーキャンセル処理は、推定されたエコー成分を減算する処理である、
信号処理方法。 - 請求項１１または請求項１２に記載の信号処理方法において、
前記第２エコーキャンセル処理は、周波数スペクトル振幅乗算処理である、
信号処理方法。 - 請求項１１乃至請求項１３のいずれかに記載の信号処理方法において、
前記第１エコーキャンセル処理は、前記複数のマイクの収音信号のそれぞれに対して、エコーキャンセルを行う、
信号処理方法。 - 請求項１１乃至請求項１４のいずれかに記載の信号処理方法において、
前記第１エコーキャンセル処理の後に、音源の到来方向を検出する、
信号処理方法。 - 請求項１５に記載の信号処理方法において、
検出された前記到来方向に基づいて、指向性を形成する、
信号処理方法。 - 請求項１１乃至請求項１６のいずれかに記載の信号処理方法において、
前記第１エコーキャンセル処理の後に、音声であるか否かの判定を行う、
信号処理方法。 - 請求項１５または請求項１６に記載の信号処理方法において、
前記第１エコーキャンセル処理の後に、音声であるか否かの判定を行い、
前記音声の判定において前記音声が有ると判定した場合に、前記到来方向を検出する処理を行い、
前記音声の判定において前記音声が無いと判定された場合に、直前に検出した前記到来方向の値を保持する、
信号処理方法。 - 請求項１７または請求項１８に記載の信号処理方法において、
前記音声の判定において、ニューラルネットワークを用いて前記音声の判定を行う、
信号処理方法。 - 複数のマイクの収音信号の少なくともいずれか１つに第１エコーキャンセル処理を行い、
前記第１エコーキャンセル処理後の前記収音信号を用いて指向性を形成し、
前記指向性を形成した後に、第２エコーキャンセル処理を行う、
処理を収音装置に実行させるプログラム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762518315P | 2017-06-12 | 2017-06-12 | |
| US62/518,315 | 2017-06-12 | ||
| US15/906,123 | 2018-02-27 | ||
| US15/906,123 US20180358032A1 (en) | 2017-06-12 | 2018-02-27 | System for collecting and processing audio signals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019004466A true JP2019004466A (ja) | 2019-01-10 |
| JP7334399B2 JP7334399B2 (ja) | 2023-08-29 |
Family
ID=64334298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018111926A Active JP7334399B2 (ja) | 2017-06-12 | 2018-06-12 | 収音装置、放収音装置、信号処理方法、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20180358032A1 (ja) |
| JP (1) | JP7334399B2 (ja) |
| CN (1) | CN109036450A (ja) |
| DE (1) | DE102018109246A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021133097A1 (ko) * | 2019-12-27 | 2021-07-01 | 삼성전자 주식회사 | 전자 장치 및 신경망 기반의 잔여 에코 제거 방법 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105280195B (zh) * | 2015-11-04 | 2018-12-28 | 腾讯科技（深圳）有限公司 | 语音信号的处理方法及装置 |
| KR102580418B1 (ko) * | 2017-02-07 | 2023-09-20 | 삼성에스디에스 주식회사 | 어쿠스틱 에코 제거 장치 및 방법 |
| US11277685B1 (en) * | 2018-11-05 | 2022-03-15 | Amazon Technologies, Inc. | Cascaded adaptive interference cancellation algorithms |
| EP3667662B1 (en) * | 2018-12-12 | 2022-08-10 | Panasonic Intellectual Property Corporation of America | Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program |
| CN109949820B (zh) * | 2019-03-07 | 2020-05-08 | 出门问问信息科技有限公司 | 一种语音信号处理方法、装置及系统 |
| CN110310625A (zh) * | 2019-07-05 | 2019-10-08 | 四川长虹电器股份有限公司 | 语音断句方法及系统 |
| CN110517703B (zh) | 2019-08-15 | 2021-12-07 | 北京小米移动软件有限公司 | 一种声音采集方法、装置及介质 |
| CN110954886B (zh) * | 2019-11-26 | 2023-03-24 | 南昌大学 | 一种以二阶谱强度为参考的高频地波雷达一阶回波谱区域检测方法 |
| CN110660407B (zh) * | 2019-11-29 | 2020-03-17 | 恒玄科技(北京)有限公司 | 一种音频处理方法及装置 |
| CN111161751A (zh) * | 2019-12-25 | 2020-05-15 | 声耕智能科技(西安)研究院有限公司 | 复杂场景下的分布式麦克风拾音系统及方法 |
| CN113645546B (zh) * | 2020-05-11 | 2023-02-28 | 阿里巴巴集团控股有限公司 | 语音信号处理方法和系统及音视频通信设备 |
| CN114023307B (zh) * | 2022-01-05 | 2022-06-14 | 阿里巴巴达摩院(杭州)科技有限公司 | 声音信号处理方法、语音识别方法、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004537233A (ja) * | 2001-07-20 | 2004-12-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | エコー抑圧回路及びラウドスピーカ・ビームフォーマを有する音響補強システム |
| JP2010028653A (ja) * | 2008-07-23 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | エコー消去装置、エコー消去方法、そのプログラム、記録媒体 |
| US20140056435A1 (en) * | 2012-08-24 | 2014-02-27 | Retune DSP ApS | Noise estimation for use with noise reduction and echo cancellation in personal communication |
| JP2015037239A (ja) * | 2013-08-13 | 2015-02-23 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
| WO2017052739A1 (en) * | 2015-09-24 | 2017-03-30 | Google Inc. | Voice activity detection |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5012387B2 (ja) * | 2007-10-05 | 2012-08-29 | ヤマハ株式会社 | 音声処理システム |
| JP5293305B2 (ja) * | 2008-03-27 | 2013-09-18 | ヤマハ株式会社 | 音声処理装置 |
| JP5386936B2 (ja) * | 2008-11-05 | 2014-01-15 | ヤマハ株式会社 | 放収音装置 |
| CN104519212B (zh) * | 2013-09-27 | 2017-06-20 | 华为技术有限公司 | 一种消除回声的方法及装置 |
| JP6195073B2 (ja) * | 2014-07-14 | 2017-09-13 | パナソニックＩｐマネジメント株式会社 | 収音制御装置及び収音システム |
| GB2545263B (en) * | 2015-12-11 | 2019-05-15 | Acano Uk Ltd | Joint acoustic echo control and adaptive array processing |
| US10433076B2 (en) * | 2016-05-30 | 2019-10-01 | Oticon A/S | Audio processing device and a method for estimating a signal-to-noise-ratio of a sound signal |
| WO2018006856A1 (zh) * | 2016-07-07 | 2018-01-11 | 腾讯科技（深圳）有限公司 | 一种回声消除的方法及终端、计算机存储介质 |
| US10979805B2 (en) * | 2018-01-04 | 2021-04-13 | Stmicroelectronics, Inc. | Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors |
-
2018
- 2018-02-27 US US15/906,123 patent/US20180358032A1/en not_active Abandoned
- 2018-04-18 DE DE102018109246.6A patent/DE102018109246A1/de not_active Withdrawn
- 2018-06-12 CN CN201810598155.8A patent/CN109036450A/zh active Pending
- 2018-06-12 JP JP2018111926A patent/JP7334399B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004537233A (ja) * | 2001-07-20 | 2004-12-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | エコー抑圧回路及びラウドスピーカ・ビームフォーマを有する音響補強システム |
| JP2010028653A (ja) * | 2008-07-23 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | エコー消去装置、エコー消去方法、そのプログラム、記録媒体 |
| US20140056435A1 (en) * | 2012-08-24 | 2014-02-27 | Retune DSP ApS | Noise estimation for use with noise reduction and echo cancellation in personal communication |
| JP2015037239A (ja) * | 2013-08-13 | 2015-02-23 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
| WO2017052739A1 (en) * | 2015-09-24 | 2017-03-30 | Google Inc. | Voice activity detection |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021133097A1 (ko) * | 2019-12-27 | 2021-07-01 | 삼성전자 주식회사 | 전자 장치 및 신경망 기반의 잔여 에코 제거 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109036450A (zh) | 2018-12-18 |
| DE102018109246A1 (de) | 2018-12-13 |
| JP7334399B2 (ja) | 2023-08-29 |
| US20180358032A1 (en) | 2018-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7334399B2 (ja) | 収音装置、放収音装置、信号処理方法、及びプログラム | |
| JP7214379B2 (ja) | 収音装置、収音方法及びプログラム | |
| DK3253075T3 (en) | A HEARING EQUIPMENT INCLUDING A RADIO FORM FILTER UNIT CONTAINING AN EXCHANGE UNIT | |
| Araki et al. | Exploring multi-channel features for denoising-autoencoder-based speech enhancement | |
| KR101449433B1 (ko) | 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 | |
| JP5444472B2 (ja) | 音源分離装置、音源分離方法、及び、プログラム | |
| US8462969B2 (en) | Systems and methods for own voice recognition with adaptations for noise robustness | |
| EP2701145A1 (en) | Noise estimation for use with noise reduction and echo cancellation in personal communication | |
| WO2012061145A1 (en) | Systems, methods, and apparatus for voice activity detection | |
| WO2013140399A1 (en) | System and method for robust estimation and tracking the fundamental frequency of pseudo periodic signals in the presence of noise | |
| WO2005125272A1 (ja) | ハウリング抑圧装置、プログラム、集積回路、およびハウリング抑圧方法 | |
| US20120148056A1 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
| CN110495184B (zh) | 拾音装置及拾音方法 | |
| CN111078185A (zh) | 录制声音的方法及设备 | |
| WO2020074771A1 (en) | Processing audio signals | |
| CN106797517B (zh) | 用于净化音频信号的多耳mmse分析技术 | |
| CN110199528B (zh) | 远场声音捕获 | |
| Tashev et al. | Microphone array post-processor using instantaneous direction of arrival | |
| Taseska et al. | Minimum Bayes risk signal detection for speech enhancement based on a narrowband DOA model | |
| CN113838472A (zh) | 一种语音降噪方法及装置 | |
| US20200243105A1 (en) | Methods and apparatus for an adaptive blocking matrix | |
| Jan et al. | Joint blind dereverberation and separation of speech mixtures | |
| US11495241B2 (en) | Echo delay time estimation method and system thereof | |
| JP6361360B2 (ja) | 残響判定装置及びプログラム | |
| KR101537653B1 (ko) | 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230316 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7334399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |