JP2001356157A - 相関性演算処理装置及び音源方向判定演算処理装置 - Google Patents

相関性演算処理装置及び音源方向判定演算処理装置

Info

Publication number
JP2001356157A
JP2001356157A JP2000179003A JP2000179003A JP2001356157A JP 2001356157 A JP2001356157 A JP 2001356157A JP 2000179003 A JP2000179003 A JP 2000179003A JP 2000179003 A JP2000179003 A JP 2000179003A JP 2001356157 A JP2001356157 A JP 2001356157A
Authority
JP
Japan
Prior art keywords
correlation coefficient
circuit
sound source
signal
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000179003A
Other languages
English (en)
Inventor
Kazuhiko Ozawa
一彦 小沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000179003A priority Critical patent/JP2001356157A/ja
Publication of JP2001356157A publication Critical patent/JP2001356157A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 少ないサンプル数で相関性を判別し、わずか
な時間遅延差の音源の方向を容易に判定できるようにす
る。 【解決手段】 2つのマイクロフォン101R,101
Lを介して入力された2信号について、位相操作回路1
10により遅延し相互に減算し、相関係数演算処理回路
120により相関係数演算処理を行うとともに、レベル
比較回路130によりレベル比較し、上記相関係数演算
処理回路120による相関係数演算処理結果と上記レベ
ル比較回路130によるレベル比較結果に基づいて、方
向判定演算回路140により上記2つのマイクロフォン
へ入力する音源方向を判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号や音声信
号のデジタル信号処理において、ある2信号間の波形の
相関性を判断するための相関性演算処理装置及びこの相
関性演算処理装置を用いた音源方向判定演算処理装置に
関する。
【0002】
【従来の技術】従来より、映像信号や音声信号のデジタ
ル信号処理において、ある2信号間の波形の近似性を評
価する場合に相関係数が利用されている。
【0003】例えば図11に示す音源方向判定装置で
は、2本のマイクロホン201R,201Lに入力する
音声信号から相関係数を利用してその音源の入力方向を
判別する。
【0004】図11に示す音源方向判定装置において、
マイクロホン201R,201Lは、ある任意の間隔d
を離しておかれた無指向性マイクを想定しており、さら
に間隔dより十分に長い距離を離した場所に音源を置く
ものとし、右方向から入力する音源をRs、センター方
向から入力する音源をCs、左方向から入力する音源を
Lsとする。また、音源はRsとLsの間を移動する
が、図12に示すように音源Asから入射角θで入射し
た場合を考えると、先に述べたように間隔dと比較して
音源Asが十分に遠ければ、マイクロホン201R及び
マイクロホン201Lに到達する音はほぼ平行と考えら
れ、マイクロホン201R及びマイクロホン201Lに
は距離差Sで音が到達することになる。したがって距離
差Sは、間隔dとθの関数になり、逆に距離差Sが求め
られるとθが算出でき、音源方向が判定できる。
【0005】この音源方向判定装置において、マイクロ
ホン201R及びマイクロホン201Lからの音声出力
信号R,Lは相関係数演算処理回路210に入力され
る。ここで、音声信号のように振幅の平均値がゼロとお
ける信号に対しては以下の演算式にしたがって相関係数
ρが算出できる。
【0006】
【数1】
【0007】上記演算式により算出される相関係数ρの
演算量は、一般的に演算総サンプル数Nに対して乗算及
び加算回数がN2 に比例して増加することが知られてい
る。
【0008】ここで図11における信号L,Rの信号波
形例を図13に示す。
【0009】図13の(A)は音源Csから音声が入力
した場合の信号波形を示しており、この時の信号R及び
信号Lはマイクロホン1及びマイクロホン2が音源Cs
から等距離にあるため同位相になる。
【0010】また、図13の(B)は音源Rsがら音声
が入力した場合の信号波形を示しており、信号Lが信号
Rより距離dの音速の時間遅延分φだけ位相が遅れて発
生している。
【0011】さらに、図13の(C)は、音源Lsから
音声が入力した場合の信号波形を示しており、逆に信号
Rが信号Lより距離dの音速の時間遅延分φだけ位相が
遅れて発生している。
【0012】また、これ以外の音源方向でも図12にお
ける距離差Sに応じて、時間遅延分φを最大とする時間
遅延が生ずる。
【0013】したがって、このような信号R,Lについ
て図11における相関係数演算処理回路210により相
関係数ρを算出すると、係数値が大きいところでは音源
Cs方向から入力しており、比較的係数値が小さいとこ
ろでは音源Rs若しくは音源Ls方向から入力している
と判断できる。
【0014】ここで距離dが小さい場合を考えてみる
と、dに相当する遅延分φが小さくなり、信号Rと信号
Lの位相差がなくなるため、相関係数ρが1に近づいて
しまい、結果的に従来においては位相差の判別ができな
くなってしまい、さらにこの現象は入力する音声信号の
周波数が低いほど波長に対するdの影響が小さくなるた
め顕著になるという欠点になっていた。
【0015】また音源Rsから入力しているか、音源L
sから入力しているかの方向判別は相関係数値が同じに
なるため、信号R,Lの時間差から判断する必要がある
が音声が時間的に連続して入力する場合や周辺ノイズが
多い場合には有効な判断ができなかった。
【0016】
【発明が解決しようとする課題】一般的に、上記演算式
により算出される相関係数ρは、−1≦ρ≦1の範囲の
値をとり、1に近いほど相関性が高く、ゼロで無相関、
−1に近いほど負(逆相)の相関性が高いという性質を
持つ。しかしその2信号の波形のずれ(時間遅延τによ
るずれ)が比較的に僅差である場合には相関係数の係数
感度が低くなり、数値に明確な差が現れにくいため、相
関性の判定が難しかった。
【0017】また時間遅延τを可変して、波形の一致を
観察する場合においては、やはりそのτが僅差である場
合には可変ステップを細かくしてピークを検出する必要
があり演算量の増大につながっていた。
【0018】さらに、例えば長時間観察すると相関性を
もつような信号でも演算処理に入力する総サンプル数が
少なく比較的短時間になると、相関係数の数値に誤差を
多く含むため、相関性の判断ができなかった。
【0019】そこで、本発明の目的は、上述の如き従来
の問題点に鑑み、2信号の波形差がわずかである場合に
おいても相関性を判別することができるようにした相関
性演算処理装置を提供することにある。
【0020】また、本発明の他の目的は、少ないサンプ
ル数で相関性を判別することができるようにした相関性
演算処理装置を提供することにある。
【0021】また、本発明は、わずかな時間遅延差の音
源の方向を容易に判定することができる音源方向判定演
算処理装置を提供することにある。
【0022】さらに、本発明は、小型化を可能にした音
源方向判定演算処理装置を提供することにある。
【0023】
【課題を解決するための手段】本発明に係る相関性演算
処理装置は、2信号の相関係数演算処理を行う相関係数
演算処理手段と、上記相関係数演算処理手段による相関
係数演算処理の前処理として2信号を遅延し、相互に減
算する位相操作手段とを有することを特徴とする。
【0024】本発明に係る音源方向判定演算処理装置
は、2つのマイクロフォンと、上記2つのマイクロフォ
ンを介して入力された2信号を遅延し、相互に減算する
位相操作手段と、上記位相操作手段を介して入力された
2信号について相関係数演算処理を行う相関係数演算処
理手段と、上記位相操作手段を介して入力された2信号
についてレベル比較を行うレベル比較手段と、上記相関
係数演算処理手段による相関係数演算処理結果と上記レ
ベル比較手段によるレベル比較結果に基づいて、上記2
つのマイクロフォンへ入力する音源方向を判定する方向
判定演算手段とを有することを特徴とする。
【0025】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。
【0026】本発明に係る相関性演算処理装置は、例え
ば図1に示すように構成される。この図1に示した相関
性演算処理装置50は、2本のマイクロホン1R,1L
に入力する音声信号から相関係数を利用してその音源の
入力方向を判別するために、相関係数を演算するもので
あって、上記マイクロホン1R,1Lを介して音声信号
R,Lが入力される位相操作回路10と、この位相操作
回路10に接続された相関係数演算処理回路20からな
る。
【0027】上記位相操作回路10は、図2に示すよう
に、第1及び第2の加算器11R,11Lと第1及び第
2の時間遅延回路12R,12Lを備え、音声信号Rが
第1の加算器11Rの加算入力端子に直接供給されると
ともに音声信号Lが第2の時間遅延回路12Lを介して
上記第1の加算器11Rの減算入力端子に入力され、音
声信号Lが第2の加算器11Lの加算入力端子に直接供
給されるとともに音声信号Rが第1の時間遅延回路12
Rを介して上記第2の加算器11Lの減算入力端子に入
力されるようになっている。
【0028】上記第1及び第2の時間遅延回路12R,
12Lは、上記各マイクロホン1R,1Lの間隔dに相
当する音速の時間遅延分の時間遅延量φを有する。
【0029】この位相操作回路10は、入力された音声
信号R,Lに第1及び第2の時間遅延回路12R,12
Lにより所定の時間遅延φを与え、この所定の時間遅延
φが与えられた音声信号R’,L’を第1及び第2の加
算器11R,11Lにより上記入力された音声信号R,
Lから減算し、音声信号Rp及び音声信号Lpとして出
力する。
【0030】また、上記相関係数演算処理回路20は、
図3に示すように、音声信号Rp及び音声信号Lpがバ
ンドパスフィルタ(BPF)21R,21Lを介して入
力される相関係数算出部22を備え、この相関係数算出
部22による相関係数ρの算出結果を検波部23及び時
定数付加部24を介して出力するようになっている。
【0031】すなわち、上記相関係数演算処理回路20
では、音声信号Rp,Lpの必要な音声帯域周波数を抽
出するためにBPF21L,21Rを介して相関係数算
出部22に入力信号Rp,Lpが入力される。なお、B
PF21L,21Rは、方向判定する音源の周波数帯域
を抽出するために用いられものであって、音声以外の帯
域でもよい。
【0032】ここで、一般的にある信号の中に似たよう
な信号がどのくらいあるか、言い換えればある信号の中
にどのぐらい周期性があるかを調べる場合に相関関数を
利用する場合が多い。相関関数の一般的な定義は次式で
表される。
【0033】R[τ]=Σ(x[n]x[n−τ]) 若しくは R[τ]=Σ(x[n]y[n‐τ]) この式でx[n]とx[n−τ]若しくはx[n]とy
[n−τ]の2信号の時間遅延τを可変して、それぞれ
のΣである積和演算を必要なサンプル数N分について行
うと波形が最も似ているτで値がピークを示し、その時
のτが求める周期となる。しかしこの式においては、総
数Nが増えるとR[τ]も無限に増えるため評価値とし
て扱いにくい。これに対して相関係数は上式のとり得る
最大値で割り、正規化し無単位化した次式で表される。
【0034】P[τ]=Σ(x[n]x[n−τ])/
√(Σx[n]2Σx[n−τ]2) 若しくは P[τ]=Σ(x[n]y[n−τ])/√(Σx
[n]2Σy[n−τ]2) この式でP[τ]は−1から1に収まるため扱いやす
い。そこで、本発明においては、入力された音声信号
R,Lの信号波形の相関を評価するために相関係数を利
用している。
【0035】上記相関係数算出部22は、次の演算式に
したがって両者の相関係数ρを計算する。
【0036】
【数2】
【0037】この相関係数演算処理回路20では、係数
値を整えるために上記相関係数算出部22から検波部2
3及び時定数付加部24を介して出力している。上記検
波部23は、相関係数算出部22からの−1≦ρ≦1の
範囲の係数値を0≦ρ≦1の範囲の値にするために、−
1≦ρ≦0の値をとる時はすべてρ=0にすげ替える処
理を行う。この意味は、−1≦ρ0の範囲の係数は、後
述する高域限界処理周波数を超える信号によるものと考
えられ、ρ=0にして無相関化している。また、時定数
付加部24は信号入力の急激な変動に対するための処理
を行うもので、相関係数ρをアタック/リカバリ時定数
を持たせて自然に変化するようにしている。これは、例
えばカットオフ周波数を低く設定したローパスフィルタ
やup側とdown側のカウント値を変えたup/do
wnカウンタなどで構成される。
【0038】ここで、上記位相操作回路10から出力さ
れる音声信号Rp及び音声信号Lpの波形例を図4の
(A),(B),(C)に示す。
【0039】図4の(A)は、センター方向音源Csか
ら上記マイクロホン1R,1Lを介して音声信号R,L
が上記位相操作回路10に入力された場合の波形例を示
している。この場合には、入力音声信号R,Lから互い
に等量の時間遅延φが与えられた音声信号R’,L’を
減算するため、出力音声信号Rp,Lpはどちらも同じ
波形になる。
【0040】次に図4の(B)は、右方向音源Rsから
上記マイクロホン1R,1Lを介して音声信号R,Lが
上記位相操作回路10に入力された場合の波形例を示し
ている。この場合には、出力音声信号Rpは、間隔dの
空間分と第2の時間遅延回路12Lによる時間遅延φに
より結果的に2φの時間遅延が与えられた音声信号L’
が第1の加算器11Rで入力音声信号Rから減算された
出力となる。また、出力音声信号Lpは、間隔dの空間
分の時間遅延が与えられた音声信号Lから第1の時間遅
延回路12Rによる時間遅延φが与えられた音声信号
R’が同相の状態で第2の加算器11Lにより減算され
るので、ほぼゼロ(微小振幅信号)の出力となる。
【0041】さらに図4の(C)は、左方向音源Lsか
ら上記マイクロホン1R,1Lを介して音声信号R,L
が上記位相操作回路10に入力された場合の波形例を示
している。この場合には、出力音声信号Rpは、間隔d
の空間分の時間遅延が与えられた音声信号Rから第2の
時間遅延回路12Lによる時間遅延φが与えられた音声
信号L’が同相の状態で第1の加算器11Rにより減算
されるので、ほぼゼロ(微小振幅信号)の出力となる。
また、出力音声信号Lpは、間隔dの空間分と第1の時
間遅延12Rによる時間遅延φにより結果的に2φの時
間遅延が与えられた音声信号R’が入力音声信号Lから
減算された出力となる。
【0042】したがって、上記位相操作回路10から出
力される音声信号Rp及び音声信号Lpについて、上記
相関係数演算処理回路20により相関係数ρを算出する
と、音源Csからの入力した場合の係数値は1で相関性
が最大になり、音源Rs若しくは音源Lsから入力した
場合には係数値ゼロで無相関性を示すことになり、その
中間方向から入力した場合の係数値は「0」と「1」の
間で、その方向に応じた係数値を示すことになる。
【0043】このように本発明においては、相関係数演
算処理回路20の前処理として位相操作回路10を通す
ことにより、任意の時間遅延差点で無相関化することが
でき、相関係数の感度を上げることができる。
【0044】ここで、上記相関性演算処理装置50にお
ける音源の高域処理限界周波数は、音声信号R,Lが入
力される上記マイクロホン1R,1Lのマイク間距離に
依存しており、以下の式で表される。
【0045】高域限界処理周波数[Hz]=34000
0[mm/s]/2d[mm] 上記dはマイク間距離であり、340[m/s]は常温
における音速である。
【0046】例えば高域限界周波数を音声帯域の8kH
zまで処理するとすれば、マイク間距離dは21[m
m]以下にすればよい。この高域処理限界周波数以上で
はマイクロホン1R,1L自身の音響的な影や周辺ノイ
ズの影響を受けやすくなる。また低域には特に限界周波
数はないが、dが小さいと低域になるほど位相操作演算
処理回路の出力におけるLR位相差感度が小さくなり本
発明の効果が薄れるため、結果としてdは先の高域限界
周波数付近にとることになる。
【0047】また、図3に示した相関係数演算処理回路
20におけるBPF21R,21Lは、上記相関係数算
出部22に入力する音声信号Rp及び音声信号Lpの処
理周波数帯域を決定しており、この帯域を目標音源を含
む狭帯域にすればより一層、周辺ノイズの影響が少なく
なり、音源方向判定の確度を上げることができる。ま
た、上記BPF21R,21Lは目標音のみを通し、そ
れ以外の音を遮断することで方向判定の確度を上げるた
めに設けられているものであるが、低いと波形がなだら
かになり過ぎて音源方向判定の確度が下がるため、目的
の音が、音声か楽器の音ならば、例えば3kHz付近の
数オクターブ幅にすればよい。高域のピーク成分の影響
は、検波方式とアタック/リカバリ時定数の選び方で十
分に除くことができる。
【0048】本発明の場合、ある一方向からの音源に対
しては、含まれる周波数に関係なく図4の波形の関係が
成り立つので上記BPF21R,21Lの帯域が広くて
も目標音源のパワーがノイズ(環境音)より大きければ
判定できる。また相関係数演算処理は殆どの場合デジタ
ル処理になるので、BPFもデジタルフィルタで構成さ
れ、そのサンプリング周波数もその目標音源帯域を含め
ば特に制約はない。また、上記BPF21R,21L
は、位相操作回路10の前段に入れても良い。
【0049】次に、本発明に係る音源方向判定演算処理
装置は、例えば図5に示すように構成される。この図5
に示した音源方向判定演算処理装置100は、2本のマ
イクロホン101R,101Lに入力する音声信号から
相関係数を利用してその音源の入力方向を判別するため
のものであって、上記マイクロホン101R,101L
から増幅器102R,102Lを介して音声信号R,L
が入力されるA/D変換器103R,103Lと、A/
D変換器103R,103Lによりデジタル化された音
声信号DR,DLが入力される位相操作回路110と、
この位相操作回路110の出力信号が供給される相関係
数演算処理回路120及びレベル比較回路130と、こ
の相関係数演算処理回路120及びレベル比較回路13
0の各出力信号が供給される方向判定演算回路140か
らなる。
【0050】この音源方向判定演算処理装置100にお
いて、各マイクロホン101R,101Lは、ある間隔
dを置いて設置されており、その出力として得られる音
声信号R,Lを増幅器102R,102Lに供給する。
上記増幅器102R,102Lは、各マイクロホン10
1R,101Lにより得られた音声信号R,Lを増幅し
てA/D変換器103R,103Lに入力する。上記A
/D変換器103R,103Lは、入力された音声信号
R,Lをデジタル音声信号DR,DLに変換して位相操
作回路110に入力する。
【0051】この音源方向判定演算処理装置100にお
ける位相操作回路110は、上述の相関性演算処理装置
50における位相操作回路10と同様の位相操作をデジ
タル処理により行い、位相操作済みのデジタル音声信号
DRp及びデジタル音声信号DLpを相関係数演算処理
回路120及びレベル比較回路130に供給する。
【0052】また、この音源方向判定演算処理装置10
0における相関係数演算処理回路120は、上記位相操
作回路110から供給される位相操作済みのデジタル音
声信号DRp及びデジタル音声信号DLpについて、上
述の相関性演算処理装置50における位相操作回路10
と同様の相関係数演算処理をデジタル処理により行い、
相関係数ρを示す信号Sρを方向判定演算回路140に
供給する。ここで、上記演算式により算出される相関係
数ρの演算量は、一般的に演算総サンプル数Nに対して
乗算及び加算回数がN2 に比例して増加することが知ら
れている。この音源方向判定演算処理装置100におけ
る相関係数演算処理回路120では、演算量を削減する
ため、ニュートン法、チェビシェフ近似法を組み合わ
せ、さらにNワード分のRAMを利用することでNに関
係なく1サンプル期間に乗算15回、加算13回で演算
を行っている。なお、ニュートン法の演算精度を落とす
ことで更に演算量削減も可能となる。
【0053】その演算方法について説明する。
【0054】まず上記相関係数演算式において、分子項
Σのn−1サンプル時の累積加算値をALR[n−1]
とすれば、ALR[n]は以下のよう表される。
【0055】ALR[n]=ALR[n−1]+L
[n]R[n]−L[n−N]R[n−N] 同様に分母項のΣのn−1サンプル時の累積加算値をそ
れぞれAL[n−1],AR[n−1]とすれば、AL
[n],AR[n]は、以下のように表される。
【0056】 AL[n]=AL[n−1]+L[n]−L[n−N] AR[n]=AR[n−1]+R[n]−L[n−N] これはそれぞれの累積加算値は、演算総サンプル数Nに
対して最新サンプルのデータを加算するとともに、Nサ
ンプル前の最旧データを減算していくことで、演算量を
削減しながら、積和演算を実現している。この音源方向
判定演算処理装置100における相関係数演算処理回路
120の具体的な構成例を図6のブロック図に示す。
【0057】この相関係数演算処理回路120は、入力
信号L[n]が供給される乗算器121A、この乗算器
121Aによる乗算出力L[n]2 が供給される1/N
ビットシフト回路122A、この1/Nビットシフト回
路122Aの出力(1/N)L[n]2 が供給されるR
AM123A及び加算器124A、この加算器124A
の出力AL[n]が供給されるアキュムレータ125A
及び加算器126Aを備え、上記加算器124Aにより
1/Nビットシフト回路122Aの出力(1/N)L
[n]2 と上記アキュムレータ125Aの出力AL[n
−1]を加算し、加算器126Aにより上記加算器12
4Aの出力AL[n]からRAM123Aの出力(1/
N)L[n−N]2 を減算するようになっている。ここ
で、総演算サンプル数NをN=2m の関係に設定する
と、1/Nビットシフト回路122Aは、m回のLSB
側へのビットシフト演算で容易に実現できる。
【0058】また、この相関係数演算処理回路120
は、入力信号R[n]が供給される乗算器121B、こ
の乗算器121Bによる乗算出力R[n]2 が供給され
る1/Nビットシフト回路122B、この1/Nビット
シフト回路122Bの出力(1/N)R[n]2 が供給
されるRAM123B及び加算器124B、この加算器
124Bの出力AR[n]が供給されるアキュムレータ
125B及び加算器126Bを備え、上記加算器124
Bにより1/Nビットシフト回路122Bの出力(1/
N)R[n]2 と上記アキュムレータ125Bの出力A
R[n−1]を加算し、加算器126Bにより上記加算
器124Bの出力AR[n]からRAM123Bの出力
(1/N)R[n−N]2 を減算するようになってい
る。
【0059】また、この相関係数演算処理回路120
は、入力信号L[n]及び入力信号R[n]が供給され
る乗算器121C、この乗算器121Cによる乗算出力
L[n]R[n]が供給される1/Nビットシフト回路
122C、この1/Nビットシフト回路122Cの出力
(1/N)L[n]R[n]が供給されるRAM123
C及び加算器124C、この加算器124Cの出力AL
R[n]が供給されるアキュムレータ125C及び加算
器126Cを備え、上記加算器124Cにより1/Nビ
ットシフト回路122Cの出力(1/N)L[n]R
[n]と上記アキュムレータ125Cの出力ALR[n
−1]を加算し、加算器126Cにより上記加算器12
4Cの出力ALR[n]からRAM123Cの出力(1
/N)L[n−N]R[n−N]を減算するようになっ
ている。
【0060】さらに、この相関係数演算処理回路120
は、各加算器126A,126B,126Cの各出力l
[n],r[n],lr[n]が供給される相関係数演
算回路127を備え、この相関係数演算回路127によ
り相関係数ρを計算するようになっている。
【0061】このような構成の相関係数演算処理回路1
20では、図7のフローチャートに示す手順に従って相
関係数ρの演算を行う。すなわち、nサンプル時のL
[n]、R[n]が入力される(ステップS1)。
【0062】次に、初段の乗算器121A,121B,
121CでL[n]2 ,R[n]2,L[n]R[n]
をそれぞれ計算する(ステップS2)。
【0063】次に、1/Nビットシフト回路122A,
122B,122Cで1/N処理する(ステップS
3)。ここで1/Nは、演算時のオーバーフローを防止
するための係数で、N=2expXにとれば1/NはX
回のビットシフト演算で容易に計算することができる。
【0064】次に、n−1サンプルまでのアキュムレー
タ内累積加算値(AL[n−1],AR[n−1],A
LR[n−1])を加算器124A,124B,124
Cによりそれぞれに加算し、新たな累積加算値(AL
[n],AR[n],ALR[n])としてアキュムレ
ータ125A,125B,125Cに入力する(ステッ
プS4)。AL,AR,ALRはアキュムレータ125
A,125B,125C内のデータを示す。
【0065】次に、RAM123A,123B,123
Cから読み出されたNサンプル前のデータML[n−
N],MR[n−N],MLR[n−N]を加算器12
6A,126B,126Cで減算する(ステップS
5)。なお、ML,MR,MLRはRAM123A,1
23B,123C内のデータを示す。
【0066】次に、ステップS3で1/Nビットシフト
回路122A,122B,122Cにより1/N処理さ
れた値(1/N)L[n]2 ,(1/N)R[n]2
(1/N)L[n]R[n]をRAM123A,123
B,123Cに書き込む(ステップS6)。
【0067】そして、相関係数演算回路127におい
て、ステップS5で得られる各加算器126A,126
B,126Cの各出力l[n],r[n],lr[n]
に基づいて、基本演算1/√をニュートン法及びチェビ
シェフ多項式による近似計算により行い、相関係数ρ
[n]を演算する。
【0068】 ρ[n]=lr[n]/√(l[n]r[n]) なお、相関係数演算回路127における演算の詳細につ
いては、数学的に周知の解法であるため、説明は省略す
る。
【0069】以上で相関係数が算出され、この方法であ
れば演算量はさほど増えないため、この相関係数演算処
理回路120は、DSP及びLSIで容易に実現するこ
とができる。
【0070】また、この音源方向判定演算処理装置10
0におけるレベル比較回路130は、上記位相操作回路
110から供給される位相操作済みのデジタル音声信号
DRp及びデジタル音声信号DLpについてレベル比較
を行う。このレベル比較回路130では、例えばそれぞ
れの信号を絶対値化したあとピーク検波し、差分値の符
号を判断することでレベル比較を行う。このレベル比較
回路130は、レベル比較出力信号Scを方向判定演算
回路140に供給する。
【0071】ここで、上記レベル比較回路130は、例
えば図8に示すように、上記位相操作回路110から供
給される位相操作済みのデジタル音声信号DRp及びデ
ジタル音声信号DLpがバンドパスフィルタ(BPF)
131L,131Rを介して供給される絶対値化処理回
路132L,132Rと、絶対値化処理回路132L,
132Rの出力が検波処理回路133L,133Rを介
して供給される加算器134と、加算器134の出力が
供給されるレベル比較判定回路135と、レベル比較判
定回路135の出力が供給される時定数付加回路136
等からなる。
【0072】このレベル比較回路130では、上記位相
操作回路110から供給される位相操作済みのデジタル
音声信号DRp及びデジタル音声信号DLpについてB
PF131R,131Lにより目的とする音声周波数帯
域の信号成分を抽出し、上記BPF131R,131L
により抽出された目的の音声周波数帯域の信号成分につ
いて正負にまたがる信号の符号を絶対値化処理回路13
2L,132Rにより統一する。検波処理回路133
L,133Rでは、上記絶対値化処理回路132L,1
32Rにより符号が統一された目的の音声周波数帯域の
各信号について、例えばピーク検波や平均値検波等の検
波処理を行い、信号レベルを示す検波出力信号DRde
t,DLdetを得る。
【0073】上記絶対値化処理回路132L,132R
及び検波処理回路133L,133Rでは、例えば図9
の左側に示すように上記BPF131R,131Lによ
り抽出された目的の音声周波数帯域の信号成分の信号A
及び信号Bとすれば、上記絶対値化処理回路132L,
132Rにより各信号A,Bを絶対値化することで図9
の左側に示す実線のようになり、さらに検波処理回路1
33L,133Rで、例えばピーク検波処理を施すこと
で、破線のようにレベル検出が行われる。
【0074】加算器134では、上記検波処理回路13
3L,133Rによる検波出力信号DRdet,DLdetに
ついて、差分値(DEF=DRdet−DLdet)を演算す
る。レベル比較判定回路135では、上記加算器134
により得られた差分値DEFの符号、つまり正、負、ゼ
ロから、目的の音声周波数帯域の各信号についてレベル
の大小関係を判断する。このレベル比較判定回路135
では、例えばオーディオサンプリング周波数(32kH
z、44.1kHz、48kHz)の周期毎にレベルが
判定される。そして、上記レベル比較判定回路135に
よる判定出力は、ノイズ等による誤判定をさけるために
時定数付加回路136において例えばローパスフィルタ
LPFを通すことで変化を滑らかにされ、高域周波数成
分を除去されたレベル比較出力信号Scとして出力され
る。
【0075】この音源方向判定演算処理装置100にお
ける方向判定演算回路140では、相関係数演算処理回
路120から供給される相関係数Sρがマイクロホン1
01Rとマイクロホン101Lの入射角に対する距離差
Sの関数、つまりS/dに想到することから音源方向と
の成す入射角θが計算できる。また信号レベル比較出力
信号Scから、当該レベル比較出力信号Scが正符号の
場合は音源Rs側、つまり右方向から入力していると判
断でき、負符号の場合は音源Ls側、つまり左方向から
入力していると判断することができるため、結果的に音
源の入力方向が判定でき、方向判定信号Sdとして出力
する。
【0076】ここで、上述の図12においてS=d・c
osθなる式で方向判定するためにはθを求めることが
必要であるが、本発明ではSを直接求めずにcosθ=
S/dの関係からまずS/dを求め、その後θ=cos
−1(S/d)の逆三角関数演算を行いθを求める。す
なわち、cosθ=S/d式からcosθ、つまりS/
dを求めれば逆三角関数演算θ=cos−1(S/d)
から目的とするθが求められる。
【0077】この音源方向判定演算処理装置100で
は、位相操作回路110のΦはマイク間距離dから一義
的に決定され変化はさせない。S/dは、相関係数ρか
ら求める。
【0078】まず、この位相操作回路110を伴った相
関係数ρ出力は、左右方向音源Rs及びLsからの信号
では、非相関が強調されるためゼロに近づき、センター
方向音源Csからの信号では、相関が強いため1に近づ
きピークを持つ。
【0079】cosθの変化範囲は−1≦cosθ≦1
であり、θが−90°から90°の範囲では、 cosθ=1のときθ=0° cosθ=0のときθ=90°若しくは−90° となる。これは、センター方向を0°とした時の相関係
数ρとθの関係に一致するため、θ=0°及び90°で
は相関係数ρ=cosθという式がほぼ成り立つ。
【0080】ここでcosθは、まずθが0≦θ≦90
°の範囲を考えると、0≦cosθ≦1の値をとり、相
関係数演算処理回路120の出力信号の変化範囲と一致
する。
【0081】つまり、相関係数演算処理回路120の出
力信号信号が「1」のときはLチャンネルとRチャンネ
ルの相関が大きい場合であり音源方向はセンタ−方向、
つまりθ=0°(cosθ=1)と判断できる。また、
相関係数演算処理回路120の出力信号が「0」のとき
はLチャンネルとRチャンネルの相関が小さい場合であ
り音源方向はサイド方向、つまりθ=90゜(cosθ
=0)と判断できる。次にθが−90°≦θ≦0の範
囲、つまり逆サイド側の方向を考えると、同様に0≦c
osθ≦1の値をとるためサイド側と同様に方向判定が
可能である。またサイド側θ=90°と逆サイド側θ=
−90°の判別は、レベル比較回路130の出力信号で
行い、レベル比較回路130の出力信号の符号が正であ
ればサイド側方向、例えば図1における右方向音源Rs
側、逆に符号が負であれば逆サイド側方向、例えば左方
向音源Ls側、ゼロであればセンター方向、つまり音源
Rs方向と判断可能である。
【0082】ところで図5においてθが−90°<θ<
90°の範囲で常にcosθと相関係数演算処理回路1
20の出力信号(相関係数ρ)の変化曲線が等しいとは
限らない。それは以下の理由による。
【0083】すなわち、相関係数演算処理回路120に
おいて、BPF21R,21Lで抽出した帯域は、複数
の周波数を含むマルチトーン信号であるため、θが変化
したときに相関係数ρがcosθの曲線で必ずしも変化
しない。
【0084】また、相関係数ρを演算式により求めると
きに、分母がゼロとなる場合を処理するための特異点処
理のためや、またデジタル演算の有限語長による丸め誤
差のため、特に相関係数ρがゼロ付近、つまりθ=90
°及びθ=−90°付近で不惑帯が発生する。言い換え
れば小信号レベルに閾値を設けて、閾値以下の小信号を
回路的にゼロにして相関係数ρを算出する必要があり、
したがってこの付近では不連続となる。
【0085】そこで、θ=0°〜90°の範囲すべてに
おいては 相関係数ρ×補正係数C=cosθ とし、補正係数Cを用いてS/dに近似させる。この場
合の補正係数Cは上記BPFの帯域及び小信号閾値の設
定により変わるため、あらかじめθと補正係数Cの関係
を実験等により求めておき、cosθを算出するときに
補正係数CをROMテーブル等から適時読み出して演算
に使用するようにする。またθ=0°〜−90°に関し
ては左右対称であるため、負号だけをレベル比較回路1
30にて判定し、相関係数ρに付加する。
【0086】すなわち、音源方向判定演算処理装置10
0において、相関係数演算処理回路120の出力は相関
係数ρに相当し、レベル比較回路130の出力は正負号
信号に相当し、方向判定演算回路140では上記補正係
数Cからcosθを算出して方向判定信号をさらに求め
る処理を行う。
【0087】このように本発明においては、2つのマイ
クロホン101R,101Lにより得られた音声信号
R,Lを位相操作回路110を通しレベル比較回路13
0でレベル比較することにより、容易に音源方向判定処
理を行うことができる。
【0088】なお、この音源方向判定演算処理装置10
0では、LchとRchの相関係数を音源方向判定のた
めの評価値として利用しているが、図10に示す音源方
向判定演算処理装置100’のようにLR間の差分値
(L−R)を評価値としても、上述の位相操作処理の利
点がある。つまり位相操作回路110からの出力波形に
おいて加算器120’で差分をとると、その位相差に応
じて差分信号にレベル差が表れるため、位相差感度が大
きいほどレベル比較回路110からの信号とともに方向
判定演算回路140にて音源方向の判定が容易にできる
ことになる。
【0089】しかし実際の音においては、目標の音源に
対して環境ノイズ音が必ず混入することが考えられる。
このような場合の差分値と相関係数による評価値を比較
すると、差分値はノイズも含めてすべての音の振幅差と
位相差の総和が出力されるが、相関係数は比較的に振幅
(パワ−)の大きい音の、しかも位相差のみを評価値の
ターゲットにするためノイズの影響が少なくてすむ。音
源がセンター方向にある場合を考えると、目標音源の振
幅の大小に関係なく差分値はLRの信号がキャンセルさ
れ評価値はゼロを出力する。したがってこの時にノイズ
があるとそのノイズの影響をもろに受けるが、相関係数
では目標信号がキャンセルされるようなことはない。こ
のように相関係数の方が実使用環境における騒音や反射
音等による影響が少なくなるといえ、本発明において相
関係数を評価値に採用した理由もここにある。ただし差
分値による演算回路規模は相関係数を算出する場合と比
較して格段に少なく済むため回路規模、コストを重視す
る場合には利用も考えられる。
【0090】
【発明の効果】本発明によれば、2信号の波形差がわず
かである場合においても、その任意の時間遅延差点にお
いて2信号を無相関化して係数感度を上げられるため、
従来と比較してわずかな波形の差でも相関性を判別する
ことができる。したがって、映像信号や音声信号におい
て、2信号間の波形の相関性を求める場合に、位相操作
回路により、任意の波形ずれ(時間遅延)において無相
関化することができるため、あらかじめ発生する時間遅
延が判明しているようなアプリケーションにおいては、
その感度を最大化することができ、容易に相関性の検出
が可能になる。
【0091】また、任意の位相差点において感度が上が
ることで、外乱に強くなるため、総サンプル数が多く必
要な波形の相関性判定においても、相関係数感度を上げ
ることで少ない総サンプル数(N)でも判断することが
でき、演算処理の回路規模が小さくて済み、機器の小型
化、低消費電力化、ローコスト化ができ、さらにLSI
化する場合においても、チップ面積が少なくて済むた
め、小型化、低消費電力化、ローコスト化ができる。
【0092】また、本発明によれば、総サンプル数が多
く必要な波形の相関性判定においても、相関係数感度を
上げることで少ない総サンプル数でも判断することがで
き、演算量を少なくすることができるため、相関性演算
処理装置の回路規模を小さくすることができる。
【0093】さらに、本発明によれば、2つのマイクロ
ホンに入力する音源方向を相関係数演算処理により判定
する場合において、従来は判定できなかったわずかな時
間遅延差の音源の方向を、容易に判定することが可能に
なるとともに、その2つのマイクロホン間隔が小さくて
も判定ができるため、装置の小型化が可能になる。
【図面の簡単な説明】
【図1】本発明に係る相関性演算処理装置の構成例を示
すブロック図である。
【図2】上記相関性演算処理装置における位相操作回路
の構成例を示すブロック図である。
【図3】上記相関性演算処理装置における相関係数演算
処理回路の構成例を示すブロック図である。
【図4】上記位相操作回路から出力される音声信号の波
形例を示す図である。
【図5】本発明に係る音源方向判定演算処理装置の構成
例を示すブロック図である。
【図6】上記音源方向判定演算処理装置における相関係
数演算処理回路の具体的な構成例を示すブロック図であ
る。
【図7】上記相関係数演算処理回路による相関係数の演
算処理手順を示すフローチャートである。
【図8】上記音源方向判定演算処理装置におけるレベル
比較回路の具体的な構成例を示すブロック図である。
【図9】上記レベル比較回路における絶対値化処理回路
及び検波処理回路の動作を説明するための信号波形図で
ある。
【図10】上記音源方向判定演算処理装置の変形例を示
すブロック図である。
【図11】従来の音源方向判定装置を説明するための図
である。
【図12】音源方向の判定の原理を説明するための図で
ある。
【図13】従来の音源方向判定装置における信号L,R
の信号波形例を示す図である。
【符号の説明】
1R,1L,101R,101L マイクロフォン、1
0,110 位相操作回路、11R,11L 加算器、
12R,12L 時間遅延回路、20,120相関係数
演算処理回路、21R,21L BPF、22 相関係
数算出部、23 検波部、24 時定数付加部、50
相関性演算処理装置、130 レベル比較回路、140
方向判定演算回路

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 2信号の相関係数演算処理を行う相関係
    数演算処理手段と、 上記相関係数演算処理手段による相関係数演算処理の前
    処理として2信号を遅延し、相互に減算する位相操作手
    段とを有することを特徴とする相関性演算処理装置。
  2. 【請求項2】 2つのマイクロフォンと、 上記2つマイクロフォンを介して入力された2信号を遅
    延し、相互に減算する位相操作手段と、 上記位相操作手段を介して入力された2信号について相
    関係数演算処理を行う相関係数演算処理手段と、 上記位相操作手段を介して入力された2信号についてレ
    ベル比較を行うレベル比較手段と、 上記相関係数演算処理手段による相関係数演算処理結果
    と上記レベル比較手段によるレベル比較結果に基づい
    て、上記2つのマイクロフォンへ入力する音源方向を判
    定する方向判定演算手段とを有することを特徴とする音
    源方向判定演算処理装置。
JP2000179003A 2000-06-14 2000-06-14 相関性演算処理装置及び音源方向判定演算処理装置 Withdrawn JP2001356157A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000179003A JP2001356157A (ja) 2000-06-14 2000-06-14 相関性演算処理装置及び音源方向判定演算処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000179003A JP2001356157A (ja) 2000-06-14 2000-06-14 相関性演算処理装置及び音源方向判定演算処理装置

Publications (1)

Publication Number Publication Date
JP2001356157A true JP2001356157A (ja) 2001-12-26

Family

ID=18680338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000179003A Withdrawn JP2001356157A (ja) 2000-06-14 2000-06-14 相関性演算処理装置及び音源方向判定演算処理装置

Country Status (1)

Country Link
JP (1) JP2001356157A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271196A (ja) * 2002-03-18 2003-09-25 Sony Corp ロボット装置及びその制御方法
WO2006123852A1 (en) * 2005-05-16 2006-11-23 Sidong Lee Directional sound receiving device
KR101046683B1 (ko) * 2009-07-24 2011-07-05 한국과학기술원 음원의 크기를 추정하는 장치 및 방법
JP2012108045A (ja) * 2010-11-18 2012-06-07 Honda Motor Co Ltd 距離測定方法
US8213263B2 (en) 2008-10-30 2012-07-03 Samsung Electronics Co., Ltd. Apparatus and method of detecting target sound
JP2013148791A (ja) * 2012-01-20 2013-08-01 Fuji Xerox Co Ltd 音解析装置、音解析システムおよびプログラム
CN107886964A (zh) * 2017-09-25 2018-04-06 惠州市德赛西威汽车电子股份有限公司 一种音频处理方法及其系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271196A (ja) * 2002-03-18 2003-09-25 Sony Corp ロボット装置及びその制御方法
WO2006123852A1 (en) * 2005-05-16 2006-11-23 Sidong Lee Directional sound receiving device
US8213263B2 (en) 2008-10-30 2012-07-03 Samsung Electronics Co., Ltd. Apparatus and method of detecting target sound
KR101046683B1 (ko) * 2009-07-24 2011-07-05 한국과학기술원 음원의 크기를 추정하는 장치 및 방법
JP2012108045A (ja) * 2010-11-18 2012-06-07 Honda Motor Co Ltd 距離測定方法
JP2013148791A (ja) * 2012-01-20 2013-08-01 Fuji Xerox Co Ltd 音解析装置、音解析システムおよびプログラム
CN107886964A (zh) * 2017-09-25 2018-04-06 惠州市德赛西威汽车电子股份有限公司 一种音频处理方法及其系统

Similar Documents

Publication Publication Date Title
US9363596B2 (en) System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
EP3392668B1 (en) Method and apparatus for voice activity determination
EP0720811B1 (en) Noise reduction system for binaural hearing aid
JP5375400B2 (ja) 音声処理装置、音声処理方法およびプログラム
CN109785854A (zh) 一种经验模态分解和小波阈值去噪相结合的语音增强方法
JP2010112996A (ja) 音声処理装置、音声処理方法およびプログラム
US20040008850A1 (en) Electronic devices, methods of operating the same, and computer program products for detecting noise in a signal based on a combination of spatial correlation and time correlation
JPH11234790A (ja) マイクロホンアレイ装置
WO2008041730A1 (en) Method and system for detecting wind noise
US20080154592A1 (en) Signal Removal Method, Signal Removal System, and Signal Removal Program
JP4816711B2 (ja) 通話音声処理装置および通話音声処理方法
JP2001356157A (ja) 相関性演算処理装置及び音源方向判定演算処理装置
CN103268766A (zh) 双麦克风语音增强方法及装置
Bushuev et al. Choosing an optimal sampling rate to improve the performance of signal analysis by Prony's method
JP2003259480A (ja) ハウリング検出装置
CA2224680A1 (en) A power spectral density estimation method and apparatus
KR20140123220A (ko) 모바일 장치 및 이의 구동 방법
EP1575034A1 (en) Input sound processor
KR101547344B1 (ko) 음성복원장치 및 그 방법
CN113316075B (zh) 一种啸叫检测方法、装置及电子设备
US9445195B2 (en) Directivity control method and device
Chang et al. A low power hearing aid computing platform using lightweight processing elements
JP6640703B2 (ja) 電子装置、方法及びプログラム
CN112530450A (zh) 频域中的样本精度延迟识别
CN109429167B (zh) 音频强化装置及方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070904