JP3940662B2 - 音響信号処理方法及び音響信号処理装置及び音声認識装置 - Google Patents
音響信号処理方法及び音響信号処理装置及び音声認識装置 Download PDFInfo
- Publication number
- JP3940662B2 JP3940662B2 JP2002333118A JP2002333118A JP3940662B2 JP 3940662 B2 JP3940662 B2 JP 3940662B2 JP 2002333118 A JP2002333118 A JP 2002333118A JP 2002333118 A JP2002333118 A JP 2002333118A JP 3940662 B2 JP3940662 B2 JP 3940662B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic signal
- acoustic
- target
- microphones
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 20
- 230000005236 sound signal Effects 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識等で用いられるマイクロフォンアレー技術に関するもので、特に入力音響信号から目的とする音声信号を強調し、かつ非目的音響信号を抑制する音響信号処理方法、音響信号処理装置および音声認識装置に関する。
【０００２】
【従来の技術】
家電製品や自動車の運転時等、特殊な環境下で利用される電子装置では、それに設けられたボタンやスイッチを直接手で操作することが必ずしも適切でない場合がある。このため電子装置自身に人間の発する音声を認識させることで、音声のみによっても装置の操作が行なえるようにした製品が作られるようになってきた。
【０００３】
しかしながら人語に含まれる音響成分は多岐に渡っており、音声を認識する際は緻密な判断処理を要求されることが多い。よって実環境下で音声認識を行なう場合、周囲の雑音などが紛れ込むことによって音声の認識率に大きな違いが現れてしまうことが多い。たとえば車中であれば、自動車のエンジン音や風切り音、対向車線をすれ違う自動車の発するさまざまな音や、自車内で使用するカーオーディオの音などがすべて雑音となり得る。これらの雑音は発声者の声と混ざり合って音声認識装置へ入力され、音声認識率を低下させる。
【０００４】
このような雑音の抑制を目的として、マイクロフォンアレー技術が用いられる。マイクロフォンアレーでは複数のマイクロフォンから入力された音声に対して信号処理を施し、これによって雑音を抑圧し、かつ目的とする音声信号成分を強調する。この強調された信号を認識装置の入力とすることで、音声認識率の向上がはかれるのである。
【０００５】
マイクロフォンアレーは大別して遅延和アレーと適応型アレーに分類される。前者の遅延和アレーではN本のマイクロフォンで得られた信号Sn(t) (n=1,…,N)を、目的音声の到来方向とマイクロフォンの配置間隔によって決まる時間シフト量τだけ遅延して加算する。つまり強調された音声信号Se(t)は次式によって表される。
【０００６】
ただしマイクロフォンは等間隔で添え字ｎの順序で配置されているものとする。
遅延和アレーの仕組みは相の重畳の原理を利用している。目的信号は同相になるように重ね合わされることで強調され、一方、目的信号とは異なる方向から到来する雑音信号は位相のずれを生じ結果的に弱め合う。遅延和アレーは構造が簡単で計算量も比較的少なくて済むが、雑音除去性能は低い。
【０００７】
後者の適応型アレーは入力される音響信号に対して適応的に指向特性を変化できるマイクロフォンアレーである。よく用いられるものとして、Griffiths-Jim型アレー(GJGSC)がある。GJGSCでは遅延和アレー同様目的音声を強調し主信号として出力するが、これとは別に目的音声を取り除いた副信号を生成する。このときの主信号には未だ完全には消去されていない雑音成分が多く含まれている。副信号はこの主信号に含まれる雑音成分と相関関係をもつ信号である。GJGSCではこの副信号と適応フィルタを用いて、主信号に残留した雑音成分を取り除く方法を取っている。適応型アレーは雑音除去能力が高いものの、遅延和アレーに比べ一般的に計算量が増加する傾向がある。
【０００８】
マイクロフォンアレーを用いる場合に問題となるのは、遅延型アレー、適応型アレーのいずれでも、ある条件下ではこの位相差ができることによって生じる雑音抑制効果が働かないことである。この現象はエリアシングと呼ばれている。エリアシングの原理を、図９を用いて説明する。
【０００９】
図９は２つのマイクロフォン１０１と遅延和アレー４０１を用いた一例を示している。示されている２つのマイクロフォン１０１は、距離dの間隔を置いて配置されている。
【００１０】
発声者１０６が発した強調されるべき目的音声が２つのマイクロフォン１０１の正面からもたらされ、同時にθ方向にある雑音源から除去すべき雑音が到来しているとする。目的音声はそれぞれのマイクロフォン１０１に到達する時に時間差を生じないため、時間差0、つまり時間シフト量τは0の状態で足し合わされ振幅が２倍に高められる。一方、雑音信号はθだけ到来方向がずれているために、それぞれのマイクロフォン１０１までの距離に差を生ずる。この距離差は次式で表される。
【００１１】
ｌ=d sin(θ) （数２）
この距離差は音響信号の時間差となってそれぞれのマイクロフォン１０１に捕らえられる。こうして得られた音響信号は時間差に相当するだけの位相差を伴っている。前述したように時間シフト量τ=0で目的信号が足し合わされるため、これに含まれる雑音信号は先の位相差がある状態のまま足し合わされる。目的信号とは異なり、位相差を伴う信号同士を足し合わせても２倍になることはないので、結果的に目的信号の方を際立たせることができる。これが遅延型アレーにおける雑音除去原理である。
【００１２】
しかし例外としてｌ＝ｎλが成立する場合を見てみると、この雑音除去原理が成り立たないことが分かる。この数式は、雑音がそれぞれのマイクロフォン１０１に到達する時の距離差が、その雑音信号が持つ波長の整数倍に等しいことを示している。つまり上記の関係が成り立つ雑音成分については、単純に足し合わせを行なうと、目的信号処理のときと同様な効果的作用が働き強調されてしまう。
【００１３】
この信号を用いて音声認識を行なうと、エリアシングを起こした雑音成分が多く紛れ込んでいるために音声認識率が大きく低下してしまう。これは音声認識率において致命的な問題となりうる。
【００１４】
従来ではエリアシングを低減する意味で、マイクロフォンアレーの各々のマイクロフォン間隔を狭く取るなどの対策をとってきた。設置間隔が狭まればエリアシングを起こす雑音の波長も短くなる。このエリアシングが発生する条件を、音声認識に使用する周波数帯域よりも高い周波数に相当するマイクロフォン間隔とすれば、エリアシングによる影響を排除することができるからである。
【００１５】
しかしながら、マイクロフォン間隔を狭めると雑音信号がマイクロフォンに到達する際の距離差が生まれにくくなり、結果的に雑音除去能力が低下してしまうという問題が生じる。
【００１６】
【非特許文献１】
音響システムとディジタル処理 第７章、電子情報通信学会 １９９５
【非特許文献２】
L.J. Griffiths and C.W. Jim, “An Alternative Approach to Linearly Constrained Adaptive Beamforming” IEEE Trans. Antennas & Propagation, Vol. AP-30, No. 1, Jan., 1982
【００１７】
【発明が解決しようとする課題】
本発明は、上記エリアシングの影響を除いた音響信号信号処理方法、音響信号処理装置および音声認識装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明によれば、間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、該算出された周波数を含む帯域成分を、前記強調された音響信号から削除することを特徴とする音響信号処理方法が提供される。
このように雑音信号の到来方向によって決まるエリアシングを起こす周波数成分を除去することで、音声認識などの認識率の向上に資することができる。
また、間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間することを特徴とする音響信号処理方法が提供される。
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号 のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
また、複数のマイクロフォンからなるマイクロフォン列と、該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、該算出された周波数を含む帯域成分を、前記強調された音響信号から削除する帯域除去手段と、を具備することを特徴とする音響信号処理装置が提供される。
また、複数のマイクロフォンからなるマイクロフォン列と、該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間する帯域補間手段と、を具備することを特徴とする音響信号処理装置が提供される。
さらに、
上記の音響信号処理装置と、前記音響信号処理装置で得られた音響信号を用いて音声認識する音声認識部と、を具備することを特徴とする音声認識装置が提供される。
【００１９】
【発明の実施の形態】
図１に本発明の第１の実施形態にあたる音響処理装置のブロック構成を示す。
発声者１０６の音声はマイクロフォン１０１に捕らえられる。マイクロフォン１０１は複数個が列状に配置されており、それらはマイクロフォン列を構成している。各マイクロフォン１０１から得られた音声信号はビームフォーマー１０３内の遅延装置１０９や加算器１１０によって遅延処理や強調処理などを受け、発声者１０６からの目的信号が強調された音響信号１０５となって出力される。この音響信号１０５は帯域選択部１０４へ入力される。帯域選択部１０４は雑音到来方向に関する情報１０２を与えられるようになっている。帯域選択部１０４は、この与えられた雑音到来方向情報１０２を元にエリアシングを起こす周波数を決定し、入力音響信号１０５からそのエリアシングを起こす周波数の周波数帯域を削除した音響信号を後段の音声認識部１０８に出力する。
【００２０】
次に本実施形態の処理手順についてより詳細に説明する。
マイクロフォン１０１には目的音声と雑音が入り混じった音響信号が入力される。ここでは簡単のため、マイクロフォン１０１は間隔ｄを隔てながら等間隔で直線状に配置されているものとする。そして目的音声は等間隔に並んだマイクロフォン列に対して正面から到来しており、雑音はある角度を持って一方向から到来していると仮定する。このとき目的音声の到来方向と雑音の到来方向とが成す角度をθと置く。マイクロフォン１０１に入力された音声は、前述したマイクロフォンアレー技術によりビームフォーマー１０３で雑音信号が取り除かれるとともに、目的音声信号の強調処理が行なわれる。ビームフォーマー１０３が取り得る構成にはさまざまなものが考えられるが、ここでは遅延和アレーによって構成した場合の例を説明する。
【００２１】
各マイクロフォン１０１に入力された信号をSn(t) (n=1,…,N)としたとき、遅延和アレーの出力Se(t)は前述した（数１）によって表される。仮定したように目的音声が正面から到来している場合は、各マイクロフォン１０１の出力を加算する際に用いられる時間シフト量τは0である。このとき角度θを成す方向から入力されている雑音は、それぞれのマイクロフォンとの距離が異なるために捕らえられる雑音信号に位相差が生じる。位相差があるものを足し合わせてもお互いに強め合うことはほとんど期待できない。これに対し、τ=0で位相のそろっている目的音声の信号はお互いに強め合うように効果的に作用する。すると実質的に雑音信号と目的信号とのレベル差が広がり、これによって雑音抑制と目的音声の強調が行なわれる。
【００２２】
しかし既述したように、（数２）の値ｌが波長λの整数倍を取るときは上に示した効果が得られない。このときに成り立つ数式を次に示す。
ｎλ=ｄ sin(θ) （数３）
ｎは任意の整数値を表す。（数３）が成立する波長λを持つ音波は、図２に示すように位相のずれがちょうどｎ倍周期に一致し、目的信号が強め合うのと同じ原理で該音波は強調されてしまう。この現象をエリアシングと呼んでいる。
【００２３】
帯域選択部１０４は雑音到来方向情報入力１０２から与えられた雑音の到来方向情報、たとえばマイクロフォン列方向に対する入射角などから、図３（ａ）の斜線部に示したようにビームフォーマー１０３から帯域選択部に入力した音響信号のエリアシングを引き起こす周波数を算出している。更に、帯域選択部１０４は除去周波数が変えられる帯域フィルタ回路等を用いて、ビームフォーマー１０３より入力された音響信号から図３（ｂ）に示したように算出した当該周波数を含む帯域を削除している。
【００２４】
雑音到来方向情報１０２として到来方向を明に入力する他に、例えばマイクで受音した信号のクロススペクトルなどエリアシングの影響を算出できる情報を入力し、帯域選択部でその情報に基づいて削除する帯域を決定する場合もある。
【００２５】
次にエリアシングを引き起こす周波数の算出方法の一例を説明する。
たとえば間隔ｄ=10cm、角度θ=30°の場合、（数３）よりｎλ=5(cm)が得られる。波長λについて考えると、λ=5/ｎ(cm)となる。音速cを340m/sと設定すると、周波数fは6.8n(ｋHz)と表される。さらにビームフォーマー１０３が音声信号のサンプリングをサンプリング周波数16kHzで行なっているならば、サンプリング値として意味を持つのは8ｋHzまでの周波数帯域である。このとき整数値ｎを1とすると、エリアシングを引き起こす周波数fは6.8(kHz)と計算される。以上がエリアシングを起こす周波数の算出方法の一例である。ここで得られた6.8(kHz)という周波数は、サンプリングによって得られる上限周波数8(kHz)の範囲内にある。
【００２６】
つまりこの例においては6.8(kHz)の周波数成分をもつ雑音は抑制されること無く、目的信号と共にビームフォーマー１０３から出力される。抑制されること無く出力信号に紛れ込んだ6.8(kHz)という周波数成分は後段の音声認識処理などに悪影響をもたらしてしまう。そこで帯域選択部１０４は当該周波数またはこの周波数を含む帯域を削除する。どの程度の帯域幅で削除するかは、構成するフィルタ回路の性能に大きく依存する。エリアシングの性質上その周波数は雑音の到来方向に対し一意に決まるので、他の有効成分を温存する意味からも削除範囲は後段の音声認識部に悪影響を与えないように必要最小限にすることが望ましい。
【００２７】
このような特定の周波数帯域が削除された音声信号は、人間が聞くと不自然に聞こえる場合もあると思われる。現在行なわれている音声認識方法では、与えられた音響信号の波形やそれに含まれる周波数成分の特徴を分析することで行なわれる。あるいは非一様に帯域分割した各帯域の代表値をもって音声認識が行なわれることもある。これらの方法では、聴覚上問題があるように思えても雑音が十分低減できている周波数帯域のみを用いて分析した方が、雑音を含んだままの音響信号を用いたときよりも認識率が高くなる。
【００２８】
つぎに発声者１０６がマイクロフォン列の正面以外の場所にいるときの動作を説明する。ビームフォーマー１０３は発声者１０６が発する目的音声が、それぞれのマイクロフォン１０１に届くときの時間差が無くなるように、それぞれの音響信号の遅延時間を調整する。ここでいう調整とはマイクロフォン１０１で得られた音響信号に含まれる目的音声信号の位相が一致するように、各マイクロフォン１０１から得られた音響信号のそれぞれについて遅延処理を行なうことである。
【００２９】
この様子を図４に示す。発声者１０６が発した音声信号がマイクロフォン１０１に捕らえられるとき、発声者からそれぞれのマイクロフォンまでの距離に違いがあることから、その得られた音声信号には遅れ時間τが生じる。これを遅延装置２０１および２０２を用いて二つの目的信号の間に遅れが無い（τ=0）状態に調整する。そしてこれらを加算器２０３で合成することで強調された目的信号を含む音響信号が得られる。
【００３０】
この操作を加えることで、マイクロフォン列の正面以外にいる発声者についても、既述したマイクロフォン列正面から目的音声が得られるときと同様な音声信号処理を行なうことができる。この方法によれば発声者の位置が正面以外であっても本発明を適用することが可能である。
【００３１】
続いて、本発明の第２の実施形態を説明する。図５にこの構成例を示す。
本実施形態は雑音の到来方向を到来方向推定部３０１で推定し、帯域選択部１０４に入力している点以外は第１の実施形態で説明したものと同様である。
エリアシングを引き起こす周波数を特定するためには、雑音の到来方向を特定する何らかの手段が必要である。本発明では到来方向推定部３０１を設けることによってこの特定を行なっている。
【００３２】
適応型アレーの代表であるGriffiths Jim型マイクロフォンアレー(GJGSC)を用いると、この雑音の到来方向を比較的簡単に推定することができる。一般に適応型アレーの応答特性は、雑音の到来方向で急激に低下する性質がある。この現象をディップが生じるという。到来方向推定部３０１は、このディップが生じる方向を雑音の到来方向として推定する。ディップが生じる方向を調べるにはたとえばマイクロフォンアレーの適応動作が収束した状態で、マイクロフォンごとにその入力からビームフォーマーの出力までの伝達関数のインパルス応答を求める方法がある。求めたインパルス応答からこれらのマイクロフォン間の相関関数を計算し、その相関関数が最小値を与える時間差を算出する。さらに、得られた時間差からこれに対応する角度を求める。この角度がすなわち雑音の到来方向と推定できる。
【００３３】
このようにして推定された雑音の到来方向情報１０２は、帯域選択部１０４に入力される。帯域選択部１０４は、その角度に対応したエリアシングを引き起こす周波数帯域を既述の方法で算出し、ビームフォーマー３０３から与えられる音響情報から当該算出した周波数帯域の成分を、除去周波数が変えられる帯域フィルタ回路等に通じて削除する。このようにすれば雑音の到来方向が未知の場合であってもエリアシングの影響を排除した音響信号を得ることができる。
【００３４】
場合によっては雑音が複数存在し、それらが別の方向から到来している環境も考えられる。このときは雑音の到来方向それぞれに対応するエリアシングを引き起こす周波数を算出し、それぞれの周波数について既に述べた方法を適用すればよい。
【００３５】
続いて、本発明の第３の実施形態を説明する。図６にこの構成例を示す。本実施形態は第１の実施形態における帯域選択部１０４の代りに、帯域補間部１１１を用いている点以外は第１の実施形態で説明したものと同様である。
【００３６】
これまでの実施形態ではエリアシングの起きた周波数帯域を削除したが、実際に音を聞くには違和感を与える可能性がある。また、後段の音声認識部が、特定の帯域が削除されていることを前提としていない場合、削除された帯域でのミスマッチが認識率を大きく低下させる要因となりうる。本実施形態ではこのような場合はエリアシングの起きた帯域を削除するのではなく、エリアシングの起きた帯域を補間するという方法を用いることで、このような問題を解決する。補間の方法としては例えば周辺の帯域成分の重み付き線形和を用いるなどの方法等が適用できる。
【００３７】
ここで、音響信号からエリアシングの起きた周波数帯域を補間する状態について図７を用いて説明する。図７（ａ）はビームフォーマー１０３から帯域補間部１１１に入力される音響信号を示している。斜線部で示した帯域がエリアシングの起きた帯域である。この周波数帯域を帯域補間部１１１により上記補間方法等を用いて、図７（ｂ）に示したようにこの周波数帯域を補間している。
【００３８】
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号
のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
続いて、本発明の第４の実施形態を説明する。図８にこの構成例を示す。本実施形態は第２の実施形態における帯域選択部１０４の代りに、帯域補間部１１１を用いている点以外は第２の実施形態で説明したものと同様である。
【００３９】
上記第３の実施形態と同様に、本実施形態ではこのような場合はエリアシングの起きた帯域を削除するのではなく、エリアシングの起きた帯域を補間するという方法を用いることで、このような問題を解決している。補間の方法としては例えば周辺の帯域成分の重み付き線形和を用いるなどの方法等が適用できる。
【００４０】
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号
のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
【００４１】
【発明の効果】
マイクロフォンアレーから得られた音響信号から、雑音の到来方向によって決まるエリアシングを引き起こす周波数またはその周波数を含む周波数帯域を削除することによって、音声認識などの用に供する音声信号として好適な音響信号を得ることができる。
【００４２】
また、マイクロフォンアレーから得られた音響信号から、雑音の到来方向によって決まるエリアシングを引き起こす周波数またはその周波数を含む周波数帯域を補間することによって、音響信号のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態を示す図。
【図２】 位相を合わせる状態を表す図。
【図３】 音響信号から雑音信号の周波数帯域を削除する状態を表す図。
【図４】 本発明の、発声者が斜め方向にいる場合の処理を説明する図。
【図５】 本発明の第２の実施形態を示す図。
【図６】 本発明の第３の実施形態を示す図。
【図７】 本発明の第４の実施形態を示す図。
【図８】 音響信号から雑音信号の周波数帯域を補間する状態を表す図。
【図９】 エリアシング発生の原理を説明する図。
【符号の説明】
１０１ マイクロフォン
１０２ 雑音到来方向情報
１０３ ビームフォーマー
１０４ 帯域選択部
１０５ 音響信号
１０６ 発声者
１０７ 雑音源
１０９ 遅延装置
１１０ 加算器
１１１ 帯域補間部
２０１ 遅延装置（遅れ側）
２０２ 遅延装置（進み側）
２０３ 加算器
３０１ 到来方向推定部
３０３ ビームフォーマー（雑音到来方向出力付き）
４０１ 遅延和アレー
【発明の属する技術分野】
本発明は、音声認識等で用いられるマイクロフォンアレー技術に関するもので、特に入力音響信号から目的とする音声信号を強調し、かつ非目的音響信号を抑制する音響信号処理方法、音響信号処理装置および音声認識装置に関する。
【０００２】
【従来の技術】
家電製品や自動車の運転時等、特殊な環境下で利用される電子装置では、それに設けられたボタンやスイッチを直接手で操作することが必ずしも適切でない場合がある。このため電子装置自身に人間の発する音声を認識させることで、音声のみによっても装置の操作が行なえるようにした製品が作られるようになってきた。
【０００３】
しかしながら人語に含まれる音響成分は多岐に渡っており、音声を認識する際は緻密な判断処理を要求されることが多い。よって実環境下で音声認識を行なう場合、周囲の雑音などが紛れ込むことによって音声の認識率に大きな違いが現れてしまうことが多い。たとえば車中であれば、自動車のエンジン音や風切り音、対向車線をすれ違う自動車の発するさまざまな音や、自車内で使用するカーオーディオの音などがすべて雑音となり得る。これらの雑音は発声者の声と混ざり合って音声認識装置へ入力され、音声認識率を低下させる。
【０００４】
このような雑音の抑制を目的として、マイクロフォンアレー技術が用いられる。マイクロフォンアレーでは複数のマイクロフォンから入力された音声に対して信号処理を施し、これによって雑音を抑圧し、かつ目的とする音声信号成分を強調する。この強調された信号を認識装置の入力とすることで、音声認識率の向上がはかれるのである。
【０００５】
マイクロフォンアレーは大別して遅延和アレーと適応型アレーに分類される。前者の遅延和アレーではN本のマイクロフォンで得られた信号Sn(t) (n=1,…,N)を、目的音声の到来方向とマイクロフォンの配置間隔によって決まる時間シフト量τだけ遅延して加算する。つまり強調された音声信号Se(t)は次式によって表される。
【０００６】
遅延和アレーの仕組みは相の重畳の原理を利用している。目的信号は同相になるように重ね合わされることで強調され、一方、目的信号とは異なる方向から到来する雑音信号は位相のずれを生じ結果的に弱め合う。遅延和アレーは構造が簡単で計算量も比較的少なくて済むが、雑音除去性能は低い。
【０００７】
後者の適応型アレーは入力される音響信号に対して適応的に指向特性を変化できるマイクロフォンアレーである。よく用いられるものとして、Griffiths-Jim型アレー(GJGSC)がある。GJGSCでは遅延和アレー同様目的音声を強調し主信号として出力するが、これとは別に目的音声を取り除いた副信号を生成する。このときの主信号には未だ完全には消去されていない雑音成分が多く含まれている。副信号はこの主信号に含まれる雑音成分と相関関係をもつ信号である。GJGSCではこの副信号と適応フィルタを用いて、主信号に残留した雑音成分を取り除く方法を取っている。適応型アレーは雑音除去能力が高いものの、遅延和アレーに比べ一般的に計算量が増加する傾向がある。
【０００８】
マイクロフォンアレーを用いる場合に問題となるのは、遅延型アレー、適応型アレーのいずれでも、ある条件下ではこの位相差ができることによって生じる雑音抑制効果が働かないことである。この現象はエリアシングと呼ばれている。エリアシングの原理を、図９を用いて説明する。
【０００９】
図９は２つのマイクロフォン１０１と遅延和アレー４０１を用いた一例を示している。示されている２つのマイクロフォン１０１は、距離dの間隔を置いて配置されている。
【００１０】
発声者１０６が発した強調されるべき目的音声が２つのマイクロフォン１０１の正面からもたらされ、同時にθ方向にある雑音源から除去すべき雑音が到来しているとする。目的音声はそれぞれのマイクロフォン１０１に到達する時に時間差を生じないため、時間差0、つまり時間シフト量τは0の状態で足し合わされ振幅が２倍に高められる。一方、雑音信号はθだけ到来方向がずれているために、それぞれのマイクロフォン１０１までの距離に差を生ずる。この距離差は次式で表される。
【００１１】
ｌ=d sin(θ) （数２）
この距離差は音響信号の時間差となってそれぞれのマイクロフォン１０１に捕らえられる。こうして得られた音響信号は時間差に相当するだけの位相差を伴っている。前述したように時間シフト量τ=0で目的信号が足し合わされるため、これに含まれる雑音信号は先の位相差がある状態のまま足し合わされる。目的信号とは異なり、位相差を伴う信号同士を足し合わせても２倍になることはないので、結果的に目的信号の方を際立たせることができる。これが遅延型アレーにおける雑音除去原理である。
【００１２】
しかし例外としてｌ＝ｎλが成立する場合を見てみると、この雑音除去原理が成り立たないことが分かる。この数式は、雑音がそれぞれのマイクロフォン１０１に到達する時の距離差が、その雑音信号が持つ波長の整数倍に等しいことを示している。つまり上記の関係が成り立つ雑音成分については、単純に足し合わせを行なうと、目的信号処理のときと同様な効果的作用が働き強調されてしまう。
【００１３】
この信号を用いて音声認識を行なうと、エリアシングを起こした雑音成分が多く紛れ込んでいるために音声認識率が大きく低下してしまう。これは音声認識率において致命的な問題となりうる。
【００１４】
従来ではエリアシングを低減する意味で、マイクロフォンアレーの各々のマイクロフォン間隔を狭く取るなどの対策をとってきた。設置間隔が狭まればエリアシングを起こす雑音の波長も短くなる。このエリアシングが発生する条件を、音声認識に使用する周波数帯域よりも高い周波数に相当するマイクロフォン間隔とすれば、エリアシングによる影響を排除することができるからである。
【００１５】
しかしながら、マイクロフォン間隔を狭めると雑音信号がマイクロフォンに到達する際の距離差が生まれにくくなり、結果的に雑音除去能力が低下してしまうという問題が生じる。
【００１６】
【非特許文献１】
音響システムとディジタル処理 第７章、電子情報通信学会 １９９５
【非特許文献２】
L.J. Griffiths and C.W. Jim, “An Alternative Approach to Linearly Constrained Adaptive Beamforming” IEEE Trans. Antennas & Propagation, Vol. AP-30, No. 1, Jan., 1982
【００１７】
【発明が解決しようとする課題】
本発明は、上記エリアシングの影響を除いた音響信号信号処理方法、音響信号処理装置および音声認識装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明によれば、間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、該算出された周波数を含む帯域成分を、前記強調された音響信号から削除することを特徴とする音響信号処理方法が提供される。
このように雑音信号の到来方向によって決まるエリアシングを起こす周波数成分を除去することで、音声認識などの認識率の向上に資することができる。
また、間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間することを特徴とする音響信号処理方法が提供される。
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号 のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
また、複数のマイクロフォンからなるマイクロフォン列と、該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、該算出された周波数を含む帯域成分を、前記強調された音響信号から削除する帯域除去手段と、を具備することを特徴とする音響信号処理装置が提供される。
また、複数のマイクロフォンからなるマイクロフォン列と、該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間する帯域補間手段と、を具備することを特徴とする音響信号処理装置が提供される。
さらに、
上記の音響信号処理装置と、前記音響信号処理装置で得られた音響信号を用いて音声認識する音声認識部と、を具備することを特徴とする音声認識装置が提供される。
【００１９】
【発明の実施の形態】
図１に本発明の第１の実施形態にあたる音響処理装置のブロック構成を示す。
発声者１０６の音声はマイクロフォン１０１に捕らえられる。マイクロフォン１０１は複数個が列状に配置されており、それらはマイクロフォン列を構成している。各マイクロフォン１０１から得られた音声信号はビームフォーマー１０３内の遅延装置１０９や加算器１１０によって遅延処理や強調処理などを受け、発声者１０６からの目的信号が強調された音響信号１０５となって出力される。この音響信号１０５は帯域選択部１０４へ入力される。帯域選択部１０４は雑音到来方向に関する情報１０２を与えられるようになっている。帯域選択部１０４は、この与えられた雑音到来方向情報１０２を元にエリアシングを起こす周波数を決定し、入力音響信号１０５からそのエリアシングを起こす周波数の周波数帯域を削除した音響信号を後段の音声認識部１０８に出力する。
【００２０】
次に本実施形態の処理手順についてより詳細に説明する。
マイクロフォン１０１には目的音声と雑音が入り混じった音響信号が入力される。ここでは簡単のため、マイクロフォン１０１は間隔ｄを隔てながら等間隔で直線状に配置されているものとする。そして目的音声は等間隔に並んだマイクロフォン列に対して正面から到来しており、雑音はある角度を持って一方向から到来していると仮定する。このとき目的音声の到来方向と雑音の到来方向とが成す角度をθと置く。マイクロフォン１０１に入力された音声は、前述したマイクロフォンアレー技術によりビームフォーマー１０３で雑音信号が取り除かれるとともに、目的音声信号の強調処理が行なわれる。ビームフォーマー１０３が取り得る構成にはさまざまなものが考えられるが、ここでは遅延和アレーによって構成した場合の例を説明する。
【００２１】
各マイクロフォン１０１に入力された信号をSn(t) (n=1,…,N)としたとき、遅延和アレーの出力Se(t)は前述した（数１）によって表される。仮定したように目的音声が正面から到来している場合は、各マイクロフォン１０１の出力を加算する際に用いられる時間シフト量τは0である。このとき角度θを成す方向から入力されている雑音は、それぞれのマイクロフォンとの距離が異なるために捕らえられる雑音信号に位相差が生じる。位相差があるものを足し合わせてもお互いに強め合うことはほとんど期待できない。これに対し、τ=0で位相のそろっている目的音声の信号はお互いに強め合うように効果的に作用する。すると実質的に雑音信号と目的信号とのレベル差が広がり、これによって雑音抑制と目的音声の強調が行なわれる。
【００２２】
しかし既述したように、（数２）の値ｌが波長λの整数倍を取るときは上に示した効果が得られない。このときに成り立つ数式を次に示す。
ｎλ=ｄ sin(θ) （数３）
ｎは任意の整数値を表す。（数３）が成立する波長λを持つ音波は、図２に示すように位相のずれがちょうどｎ倍周期に一致し、目的信号が強め合うのと同じ原理で該音波は強調されてしまう。この現象をエリアシングと呼んでいる。
【００２３】
帯域選択部１０４は雑音到来方向情報入力１０２から与えられた雑音の到来方向情報、たとえばマイクロフォン列方向に対する入射角などから、図３（ａ）の斜線部に示したようにビームフォーマー１０３から帯域選択部に入力した音響信号のエリアシングを引き起こす周波数を算出している。更に、帯域選択部１０４は除去周波数が変えられる帯域フィルタ回路等を用いて、ビームフォーマー１０３より入力された音響信号から図３（ｂ）に示したように算出した当該周波数を含む帯域を削除している。
【００２４】
雑音到来方向情報１０２として到来方向を明に入力する他に、例えばマイクで受音した信号のクロススペクトルなどエリアシングの影響を算出できる情報を入力し、帯域選択部でその情報に基づいて削除する帯域を決定する場合もある。
【００２５】
次にエリアシングを引き起こす周波数の算出方法の一例を説明する。
たとえば間隔ｄ=10cm、角度θ=30°の場合、（数３）よりｎλ=5(cm)が得られる。波長λについて考えると、λ=5/ｎ(cm)となる。音速cを340m/sと設定すると、周波数fは6.8n(ｋHz)と表される。さらにビームフォーマー１０３が音声信号のサンプリングをサンプリング周波数16kHzで行なっているならば、サンプリング値として意味を持つのは8ｋHzまでの周波数帯域である。このとき整数値ｎを1とすると、エリアシングを引き起こす周波数fは6.8(kHz)と計算される。以上がエリアシングを起こす周波数の算出方法の一例である。ここで得られた6.8(kHz)という周波数は、サンプリングによって得られる上限周波数8(kHz)の範囲内にある。
【００２６】
つまりこの例においては6.8(kHz)の周波数成分をもつ雑音は抑制されること無く、目的信号と共にビームフォーマー１０３から出力される。抑制されること無く出力信号に紛れ込んだ6.8(kHz)という周波数成分は後段の音声認識処理などに悪影響をもたらしてしまう。そこで帯域選択部１０４は当該周波数またはこの周波数を含む帯域を削除する。どの程度の帯域幅で削除するかは、構成するフィルタ回路の性能に大きく依存する。エリアシングの性質上その周波数は雑音の到来方向に対し一意に決まるので、他の有効成分を温存する意味からも削除範囲は後段の音声認識部に悪影響を与えないように必要最小限にすることが望ましい。
【００２７】
このような特定の周波数帯域が削除された音声信号は、人間が聞くと不自然に聞こえる場合もあると思われる。現在行なわれている音声認識方法では、与えられた音響信号の波形やそれに含まれる周波数成分の特徴を分析することで行なわれる。あるいは非一様に帯域分割した各帯域の代表値をもって音声認識が行なわれることもある。これらの方法では、聴覚上問題があるように思えても雑音が十分低減できている周波数帯域のみを用いて分析した方が、雑音を含んだままの音響信号を用いたときよりも認識率が高くなる。
【００２８】
つぎに発声者１０６がマイクロフォン列の正面以外の場所にいるときの動作を説明する。ビームフォーマー１０３は発声者１０６が発する目的音声が、それぞれのマイクロフォン１０１に届くときの時間差が無くなるように、それぞれの音響信号の遅延時間を調整する。ここでいう調整とはマイクロフォン１０１で得られた音響信号に含まれる目的音声信号の位相が一致するように、各マイクロフォン１０１から得られた音響信号のそれぞれについて遅延処理を行なうことである。
【００２９】
この様子を図４に示す。発声者１０６が発した音声信号がマイクロフォン１０１に捕らえられるとき、発声者からそれぞれのマイクロフォンまでの距離に違いがあることから、その得られた音声信号には遅れ時間τが生じる。これを遅延装置２０１および２０２を用いて二つの目的信号の間に遅れが無い（τ=0）状態に調整する。そしてこれらを加算器２０３で合成することで強調された目的信号を含む音響信号が得られる。
【００３０】
この操作を加えることで、マイクロフォン列の正面以外にいる発声者についても、既述したマイクロフォン列正面から目的音声が得られるときと同様な音声信号処理を行なうことができる。この方法によれば発声者の位置が正面以外であっても本発明を適用することが可能である。
【００３１】
続いて、本発明の第２の実施形態を説明する。図５にこの構成例を示す。
本実施形態は雑音の到来方向を到来方向推定部３０１で推定し、帯域選択部１０４に入力している点以外は第１の実施形態で説明したものと同様である。
エリアシングを引き起こす周波数を特定するためには、雑音の到来方向を特定する何らかの手段が必要である。本発明では到来方向推定部３０１を設けることによってこの特定を行なっている。
【００３２】
適応型アレーの代表であるGriffiths Jim型マイクロフォンアレー(GJGSC)を用いると、この雑音の到来方向を比較的簡単に推定することができる。一般に適応型アレーの応答特性は、雑音の到来方向で急激に低下する性質がある。この現象をディップが生じるという。到来方向推定部３０１は、このディップが生じる方向を雑音の到来方向として推定する。ディップが生じる方向を調べるにはたとえばマイクロフォンアレーの適応動作が収束した状態で、マイクロフォンごとにその入力からビームフォーマーの出力までの伝達関数のインパルス応答を求める方法がある。求めたインパルス応答からこれらのマイクロフォン間の相関関数を計算し、その相関関数が最小値を与える時間差を算出する。さらに、得られた時間差からこれに対応する角度を求める。この角度がすなわち雑音の到来方向と推定できる。
【００３３】
このようにして推定された雑音の到来方向情報１０２は、帯域選択部１０４に入力される。帯域選択部１０４は、その角度に対応したエリアシングを引き起こす周波数帯域を既述の方法で算出し、ビームフォーマー３０３から与えられる音響情報から当該算出した周波数帯域の成分を、除去周波数が変えられる帯域フィルタ回路等に通じて削除する。このようにすれば雑音の到来方向が未知の場合であってもエリアシングの影響を排除した音響信号を得ることができる。
【００３４】
場合によっては雑音が複数存在し、それらが別の方向から到来している環境も考えられる。このときは雑音の到来方向それぞれに対応するエリアシングを引き起こす周波数を算出し、それぞれの周波数について既に述べた方法を適用すればよい。
【００３５】
続いて、本発明の第３の実施形態を説明する。図６にこの構成例を示す。本実施形態は第１の実施形態における帯域選択部１０４の代りに、帯域補間部１１１を用いている点以外は第１の実施形態で説明したものと同様である。
【００３６】
これまでの実施形態ではエリアシングの起きた周波数帯域を削除したが、実際に音を聞くには違和感を与える可能性がある。また、後段の音声認識部が、特定の帯域が削除されていることを前提としていない場合、削除された帯域でのミスマッチが認識率を大きく低下させる要因となりうる。本実施形態ではこのような場合はエリアシングの起きた帯域を削除するのではなく、エリアシングの起きた帯域を補間するという方法を用いることで、このような問題を解決する。補間の方法としては例えば周辺の帯域成分の重み付き線形和を用いるなどの方法等が適用できる。
【００３７】
ここで、音響信号からエリアシングの起きた周波数帯域を補間する状態について図７を用いて説明する。図７（ａ）はビームフォーマー１０３から帯域補間部１１１に入力される音響信号を示している。斜線部で示した帯域がエリアシングの起きた帯域である。この周波数帯域を帯域補間部１１１により上記補間方法等を用いて、図７（ｂ）に示したようにこの周波数帯域を補間している。
【００３８】
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号
のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
続いて、本発明の第４の実施形態を説明する。図８にこの構成例を示す。本実施形態は第２の実施形態における帯域選択部１０４の代りに、帯域補間部１１１を用いている点以外は第２の実施形態で説明したものと同様である。
【００３９】
上記第３の実施形態と同様に、本実施形態ではこのような場合はエリアシングの起きた帯域を削除するのではなく、エリアシングの起きた帯域を補間するという方法を用いることで、このような問題を解決している。補間の方法としては例えば周辺の帯域成分の重み付き線形和を用いるなどの方法等が適用できる。
【００４０】
このように補間処理を行うことで、帯域補間部１１１から出力される音響信号
のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
【００４１】
【発明の効果】
マイクロフォンアレーから得られた音響信号から、雑音の到来方向によって決まるエリアシングを引き起こす周波数またはその周波数を含む周波数帯域を削除することによって、音声認識などの用に供する音声信号として好適な音響信号を得ることができる。
【００４２】
また、マイクロフォンアレーから得られた音響信号から、雑音の到来方向によって決まるエリアシングを引き起こす周波数またはその周波数を含む周波数帯域を補間することによって、音響信号のスペクトルは連続的になり、聴覚的にも良好な信号を得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態を示す図。
【図２】 位相を合わせる状態を表す図。
【図３】 音響信号から雑音信号の周波数帯域を削除する状態を表す図。
【図４】 本発明の、発声者が斜め方向にいる場合の処理を説明する図。
【図５】 本発明の第２の実施形態を示す図。
【図６】 本発明の第３の実施形態を示す図。
【図７】 本発明の第４の実施形態を示す図。
【図８】 音響信号から雑音信号の周波数帯域を補間する状態を表す図。
【図９】 エリアシング発生の原理を説明する図。
【符号の説明】
１０１ マイクロフォン
１０２ 雑音到来方向情報
１０３ ビームフォーマー
１０４ 帯域選択部
１０５ 音響信号
１０６ 発声者
１０７ 雑音源
１０９ 遅延装置
１１０ 加算器
１１１ 帯域補間部
２０１ 遅延装置（遅れ側）
２０２ 遅延装置（進み側）
２０３ 加算器
３０１ 到来方向推定部
３０３ ビームフォーマー（雑音到来方向出力付き）
４０１ 遅延和アレー
Claims (9)
- 間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、
目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、
該算出された周波数を含む帯域成分を、前記強調された音響信号から削除することを特徴とする音響信号処理方法。 - 間隔を置いて配置された複数のマイクロフォンを用いて得られた音響信号の到来時間差に基づいて、目的とする音響信号を強調する音響信号処理方法であって、
目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出し、
前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間することを特徴とする音響信号処理方法。 - 前記複数のマイクロフォンを用いて得られた音響信号それぞれについて、該音響信号に含まれる前記目的とする音響信号同士の時間差が無くなるように遅延時間の調整をする遅延処理を行なうことを特徴とする、請求項１または請求項２のいずれかに記載の音響信号処理方法。
- 前記複数のマイクロフォンから得られる音響信号から、前記目的とする音響信号とは異なる方向から到来する音響信号の到来方向を求め、
該求めた音響信号の到来方向を前記目的外の音響信号の到来方向とすることを特徴とする請求項１または請求項２のいずれかに記載の音響信号処理方法。 - 複数のマイクロフォンからなるマイクロフォン列と、
該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、
目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、
該算出された周波数を含む帯域成分を、前記強調された音響信号から削除する帯域除去手段と、
を具備することを特徴とする音響信号処理装置。 - 複数のマイクロフォンからなるマイクロフォン列と、
該それぞれのマイクロフォンから得られた音響信号の到来時間差に基づいて目的とする音響信号を強調する手段と、
目的の音響信号の到来方向と目的外の音響信号の到来方向が成す角度と前記マイクロフォンの配置間隔から強調される目的外音響信号の周波数を算出する周波数算出手段と、
前記強調された音響信号のうち該算出された周波数を含む帯域成分の区間を該区間周辺の帯域成分を用いて補間する帯域補間手段と、
を具備することを特徴とする音響信号処理装置。 - 前記複数のマイクロフォンを用いて得られた音響信号に対して、該音響信号に含まれる目的とする音響信号同士の時間差が無くなるようにそれぞれの音響信号の遅延時間を調整する遅延処理を行なう遅延手段をさらに備えた、請求項５または請求項６のいずれかに記載の音響信号処理装置。
- 前記複数のマイクロフォンから得られる音響信号から、目的とする音響信号とは異なる方向から到来する音響信号の到来方向を求める到来方向特定手段をさらに具備することを特徴とする請求項５または請求項６のいずれかに記載の音響信号処理装置。
- 請求項５乃至請求項８のいずれか１つに記載の音響信号処理装置と、
前記音響信号処理装置で得られた音響信号を用いて音声認識する音声認識部と、
を具備することを特徴とする音声認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002333118A JP3940662B2 (ja) | 2001-11-22 | 2002-11-18 | 音響信号処理方法及び音響信号処理装置及び音声認識装置 |
| US10/301,663 US20030097257A1 (en) | 2001-11-22 | 2002-11-22 | Sound signal process method, sound signal processing apparatus and speech recognizer |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001356880 | 2001-11-22 | ||
| JP2001-356880 | 2001-11-22 | ||
| JP2002333118A JP3940662B2 (ja) | 2001-11-22 | 2002-11-18 | 音響信号処理方法及び音響信号処理装置及び音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003223198A JP2003223198A (ja) | 2003-08-08 |
| JP3940662B2 true JP3940662B2 (ja) | 2007-07-04 |
Family
ID=26624643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002333118A Expired - Fee Related JP3940662B2 (ja) | 2001-11-22 | 2002-11-18 | 音響信号処理方法及び音響信号処理装置及び音声認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030097257A1 (ja) |
| JP (1) | JP3940662B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7114162B2 (en) * | 2000-12-06 | 2006-09-26 | Microsoft Corporation | System and methods for generating and managing filter strings in a filter graph |
| JP4195267B2 (ja) | 2002-03-14 | 2008-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声認識装置、その音声認識方法及びプログラム |
| JP4655572B2 (ja) * | 2004-03-25 | 2011-03-23 | 日本電気株式会社 | 信号処理方法および信号処理装置、ならびに、ロボット |
| US8170879B2 (en) * | 2004-10-26 | 2012-05-01 | Qnx Software Systems Limited | Periodic signal enhancement system |
| US7949520B2 (en) | 2004-10-26 | 2011-05-24 | QNX Software Sytems Co. | Adaptive filter pitch extraction |
| US8543390B2 (en) * | 2004-10-26 | 2013-09-24 | Qnx Software Systems Limited | Multi-channel periodic signal enhancement system |
| US7680652B2 (en) * | 2004-10-26 | 2010-03-16 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
| US8306821B2 (en) * | 2004-10-26 | 2012-11-06 | Qnx Software Systems Limited | Sub-band periodic signal enhancement system |
| US7813923B2 (en) * | 2005-10-14 | 2010-10-12 | Microsoft Corporation | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset |
| JP2007150737A (ja) * | 2005-11-28 | 2007-06-14 | Sony Corp | 音声信号ノイズ低減装置及び方法 |
| DE102006010212A1 (de) | 2006-03-06 | 2007-09-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Simulation von WFS-Systemen und Kompensation von klangbeeinflussenden WFS-Eigenschaften |
| US20080231557A1 (en) * | 2007-03-20 | 2008-09-25 | Leadis Technology, Inc. | Emission control in aged active matrix oled display using voltage ratio or current ratio |
| US8850154B2 (en) | 2007-09-11 | 2014-09-30 | 2236008 Ontario Inc. | Processing system having memory partitioning |
| US8904400B2 (en) * | 2007-09-11 | 2014-12-02 | 2236008 Ontario Inc. | Processing system having a partitioning component for resource partitioning |
| US8694310B2 (en) | 2007-09-17 | 2014-04-08 | Qnx Software Systems Limited | Remote control server protocol system |
| US8209514B2 (en) * | 2008-02-04 | 2012-06-26 | Qnx Software Systems Limited | Media processing system having resource partitioning |
| JP4643698B2 (ja) | 2008-09-16 | 2011-03-02 | レノボ・シンガポール・プライベート・リミテッド | マイクロフォンを備えるタブレット・コンピュータおよび制御方法 |
| JP2010245657A (ja) * | 2009-04-02 | 2010-10-28 | Sony Corp | 信号処理装置及び方法、並びにプログラム |
| JP5622744B2 (ja) * | 2009-11-06 | 2014-11-12 | 株式会社東芝 | 音声認識装置 |
| JP5017441B2 (ja) * | 2010-10-28 | 2012-09-05 | 株式会社東芝 | 携帯型電子機器 |
| CN102595281B (zh) * | 2011-01-14 | 2016-04-13 | 通用汽车环球科技运作有限责任公司 | 统一标准的麦克风预处理系统和方法 |
| US9171551B2 (en) * | 2011-01-14 | 2015-10-27 | GM Global Technology Operations LLC | Unified microphone pre-processing system and method |
| JP6020258B2 (ja) | 2013-02-28 | 2016-11-02 | 富士通株式会社 | マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置 |
| JP6593643B2 (ja) * | 2013-10-04 | 2019-10-23 | 日本電気株式会社 | 信号処理装置、メディア装置、信号処理方法および信号処理プログラム |
| JP6210458B2 (ja) * | 2014-07-30 | 2017-10-11 | パナソニックＩｐマネジメント株式会社 | 故障検知システム及び故障検知方法 |
| US9747920B2 (en) * | 2015-12-17 | 2017-08-29 | Amazon Technologies, Inc. | Adaptive beamforming to create reference channels |
| US9875747B1 (en) | 2016-07-15 | 2018-01-23 | Google Llc | Device specific multi-channel data compression |
| CN110603587A (zh) * | 2017-05-08 | 2019-12-20 | 索尼公司 | 信息处理设备 |
| KR102579909B1 (ko) * | 2017-12-29 | 2023-09-18 | 하만인터내셔날인더스트리스인코포레이티드 | 원단 원격통신을 위한 승객실 내 음향 잡음 소거 시스템 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3719924A (en) * | 1971-09-03 | 1973-03-06 | Chevron Res | Anti-aliasing of spatial frequencies by geophone and source placement |
| US4653102A (en) * | 1985-11-05 | 1987-03-24 | Position Orientation Systems | Directional microphone system |
| JPH01118900A (ja) * | 1987-11-01 | 1989-05-11 | Ricoh Co Ltd | 雑音抑圧装置 |
| FR2687496B1 (fr) * | 1992-02-18 | 1994-04-01 | Alcatel Radiotelephone | Procede de reduction de bruit acoustique dans un signal de parole. |
| US6084973A (en) * | 1997-12-22 | 2000-07-04 | Audio Technica U.S., Inc. | Digital and analog directional microphone |
| GB2339078B (en) * | 1998-07-02 | 2003-07-02 | Secr Defence | Adaptive sensor array apparatus |
| JP4163294B2 (ja) * | 1998-07-31 | 2008-10-08 | 株式会社東芝 | 雑音抑圧処理装置および雑音抑圧処理方法 |
| US6701141B2 (en) * | 1999-05-18 | 2004-03-02 | Lockheed Martin Corporation | Mixed signal true time delay digital beamformer |
| JP2001166025A (ja) * | 1999-12-14 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 音源の方向推定方法および収音方法およびその装置 |
| US6668062B1 (en) * | 2000-05-09 | 2003-12-23 | Gn Resound As | FFT-based technique for adaptive directionality of dual microphones |
-
2002
- 2002-11-18 JP JP2002333118A patent/JP3940662B2/ja not_active Expired - Fee Related
- 2002-11-22 US US10/301,663 patent/US20030097257A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003223198A (ja) | 2003-08-08 |
| US20030097257A1 (en) | 2003-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3940662B2 (ja) | 音響信号処理方法及び音響信号処理装置及び音声認識装置 | |
| JP6196320B2 (ja) | 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 | |
| KR101449433B1 (ko) | 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 | |
| KR101456866B1 (ko) | 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치 | |
| US10123113B2 (en) | Selective audio source enhancement | |
| JP4286637B2 (ja) | マイクロホン装置および再生装置 | |
| KR101555416B1 (ko) | 음향 삼각 측량에 의한 공간 선택적 사운드 취득 장치 및 방법 | |
| JP4986248B2 (ja) | 音源分離装置、方法及びプログラム | |
| RU2760097C2 (ru) | Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности | |
| KR100856246B1 (ko) | 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법 | |
| CN106710601A (zh) | 一种语音信号降噪拾音处理方法和装置及冰箱 | |
| JP5530741B2 (ja) | 残響抑圧装置及び残響抑圧方法 | |
| JP5091948B2 (ja) | ブラインド信号抽出 | |
| Thiergart et al. | An informed LCMV filter based on multiple instantaneous direction-of-arrival estimates | |
| JP5738488B2 (ja) | ビームフォーミング装置 | |
| JP4724054B2 (ja) | 特定方向収音装置、特定方向収音プログラム、記録媒体 | |
| JP2001309483A (ja) | 収音方法および収音装置 | |
| JP2020515106A (ja) | ビームフォーミングを使用するオーディオキャプチャ | |
| CN111078185A (zh) | 录制声音的方法及设备 | |
| JP5105336B2 (ja) | 音源分離装置、プログラム及び方法 | |
| JP5635024B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
| JP6481397B2 (ja) | マイクロホン間隔制御装置及びプログラム | |
| JP2001313992A (ja) | 収音装置および収音方法 | |
| US10249286B1 (en) | Adaptive beamforming using Kepstrum-based filters | |
| JP6263890B2 (ja) | 音声信号処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061102 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070214 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |