JP2017201747A - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents
信号処理装置、信号処理方法及び信号処理プログラム Download PDFInfo
- Publication number
- JP2017201747A JP2017201747A JP2016092777A JP2016092777A JP2017201747A JP 2017201747 A JP2017201747 A JP 2017201747A JP 2016092777 A JP2016092777 A JP 2016092777A JP 2016092777 A JP2016092777 A JP 2016092777A JP 2017201747 A JP2017201747 A JP 2017201747A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- unit
- mixed
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】音源の方向を推定することができる信号処理装置、信号処理方法及び信号処理プログラムを提供する。【解決手段】音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を複数の位置毎に出力する収音部と、アナログ信号を伝送する信号線同士を接続することにより複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する混合デジタル信号と、収音部に対応する、収音部の姿勢と音の位置との相対的な方向毎の信号フィルタとに基づいて、方向毎に強調された強調信号をそれぞれ生成する強調信号生成部と、強調信号生成部が生成する強調信号がそれぞれ示すエネルギー量同士を比較することにより収音部のある姿勢に対する音の音源の相対的な方向を推定する方向推定部とを備える信号処理装置である。【選択図】図1
Description
本発明は、信号処理装置、信号処理方法及び信号処理プログラムに関する。
従来、1つのマイクロフォンに対して1つのアナログデジタル変換器を備えた構成のマイクロフォンアレー信号処理装置が知られている(例えば、特許文献1)。
そのため、マイクロフォンアレー信号処理を行うためには、信号処理側に複数のマイクロフォンと対応する数の複数のアナログデジタル変換器を備えている必要があった。しかし、汎用パーソナルコンピュータや、スマートフォンなどの携帯端末には、アナログ信号を入力可能な端子の数に限りがあり、マイクロフォンアレー信号処理を行えないという課題があった。
本発明の課題は、マイクロフォンアレーに用いられるマイクロフォンの数よりも少ないアナログデジタル変換器を備えた機器において、マイクロフォンアレー信号処理を実現し、音源の方向を推定することができる信号処理装置、信号処理方法及び信号処理プログラムを提供することにある。
本発明の課題は、マイクロフォンアレーに用いられるマイクロフォンの数よりも少ないアナログデジタル変換器を備えた機器において、マイクロフォンアレー信号処理を実現し、音源の方向を推定することができる信号処理装置、信号処理方法及び信号処理プログラムを提供することにある。
本発明の一態様は、音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得部と、前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成部と、前記強調信号生成部が生成する前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定部とを備える信号処理装置である。
また、本発明の他の態様は、前記収音部が収音する前記互いに異なる位置とは、互いに不等間隔の位置であって、前記強調信号生成部は、前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記不等間隔の位置において収音する前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する信号処理装置である。
また、本発明の他の態様は、前記装置が備える前記収音部は、前記複数の位置の数に対応する数のマイクロフォンを備え、前記装置が備える前記デジタル変換部が備えるアナログデジタル変換器の数は、前記前記マイクロフォンの数よりも少ない信号処理装置である。
また、本発明の他の態様は、前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記方向のうち所定の方向に対応する前記信号フィルタとに基づいて、前記所定の方向に対応する前記強調信号を出力する所定方向強調信号出力部を備える信号処理装置である。
また、本発明の他の態様は、前記装置は、前記信号フィルタを記憶する記憶部を備え、
前記強調信号生成部は、前記記憶部から前記信号フィルタを取得する信号処理装置である。
前記強調信号生成部は、前記記憶部から前記信号フィルタを取得する信号処理装置である。
また、本発明の他の態様は、音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得ステップと、前記混合デジタル信号取得ステップから取得される前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成ステップと、前記強調信号生成ステップから生成される前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定ステップとを有する信号処理方法である。
また、本発明の他の態様は、コンピュータに、音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得ステップと、前記混合デジタル信号取得ステップから取得される前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成手段と、前記強調信号生成手段から生成される前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定ステップとを実行させるための信号処理プログラムである。
本発明によれば、音源の方向を推定することができる信号処理装置、信号処理方法及び信号処理プログラムを提供することができる。
[実施形態1に係る信号処理システム1の構成の一例]
以下、実施形態1の信号処理システム1について、図面を参照して説明する。
図1は、実施形態1に係る信号処理システム1の外観構成の一例を示す図である。
信号処理システム1は、音源SS1から出力される音W1を収音し、信号処理を行う。信号処理システム1は、マイクロフォンアレー装置20と、スマートフォンSPとを備える。以下の説明においては、マイクロフォンアレー装置20の姿勢は、スマートフォンSPと物理的に接続されることにより固定されている。スマートフォンSPは、固定されたマイクロフォンアレー装置20の姿勢を基準姿勢とする。なお、スマートフォンSPは、ユーザーの操作によってマイクロフォンアレー装置20の基準姿勢を決定してもよい。基準姿勢とは、マイクロフォンアレー装置20に対する音源SS1の相対的な方向を推定する基準となる姿勢のことである。
マイクロフォンアレー装置20は、複数の位置の数に対応する数のマイクロフォンM(以下、マイクMと記載する)を備える。マイクMは、マイクロフォンを備える。具体的には、マイクMには、マイクM1からマイクMnまでが含まれる。ここで、マイクMnのnとは、2以上の整数である。マイクMは、互いに異なる位置において音源SS1から出力される音W1をそれぞれ収音する。マイクロフォンアレー装置20は、マイクMが収音した音を示すアナログ信号にそれぞれ変換する。マイクロフォンアレー装置20は、変換した複数のアナログ信号を混合し、スマートフォンSPに出力する。
スマートフォンSPは、信号処理部10と、表示部11と、音出力部12と、デジタル変換部23とを備える。スマートフォンSPは、マイクロフォンアレー装置20が出力したアナログ信号を取得する。スマートフォンSPは、取得したアナログ信号を信号処理する。スマートフォンSPは信号処理した結果を、表示部11に表示させる。音出力部12は、入力される音信号を音として出力する。
以下、実施形態1の信号処理システム1について、図面を参照して説明する。
図1は、実施形態1に係る信号処理システム1の外観構成の一例を示す図である。
信号処理システム1は、音源SS1から出力される音W1を収音し、信号処理を行う。信号処理システム1は、マイクロフォンアレー装置20と、スマートフォンSPとを備える。以下の説明においては、マイクロフォンアレー装置20の姿勢は、スマートフォンSPと物理的に接続されることにより固定されている。スマートフォンSPは、固定されたマイクロフォンアレー装置20の姿勢を基準姿勢とする。なお、スマートフォンSPは、ユーザーの操作によってマイクロフォンアレー装置20の基準姿勢を決定してもよい。基準姿勢とは、マイクロフォンアレー装置20に対する音源SS1の相対的な方向を推定する基準となる姿勢のことである。
マイクロフォンアレー装置20は、複数の位置の数に対応する数のマイクロフォンM(以下、マイクMと記載する)を備える。マイクMは、マイクロフォンを備える。具体的には、マイクMには、マイクM1からマイクMnまでが含まれる。ここで、マイクMnのnとは、2以上の整数である。マイクMは、互いに異なる位置において音源SS1から出力される音W1をそれぞれ収音する。マイクロフォンアレー装置20は、マイクMが収音した音を示すアナログ信号にそれぞれ変換する。マイクロフォンアレー装置20は、変換した複数のアナログ信号を混合し、スマートフォンSPに出力する。
スマートフォンSPは、信号処理部10と、表示部11と、音出力部12と、デジタル変換部23とを備える。スマートフォンSPは、マイクロフォンアレー装置20が出力したアナログ信号を取得する。スマートフォンSPは、取得したアナログ信号を信号処理する。スマートフォンSPは信号処理した結果を、表示部11に表示させる。音出力部12は、入力される音信号を音として出力する。
次に、図2を参照して、マイクロフォンアレー装置20及びスマートフォンSPの機能構成について説明する。
図2は、実施形態1に係るマイクロフォンアレー装置20と、スマートフォンSPとの機能構成の一例を示す図である。
マイクロフォンアレー装置20は、収音部21と、混合部22とを備える。
収音部21は、マイクMを備える。マイクMは収音した音を、それぞれ音W1を示すアナログ信号ASへ変換し、複数の位置毎に出力する。アナログ信号ASには、アナログ信号AS1からアナログ信号ASnまでが含まれる。具体的には、マイクM1は、音W1をアナログ信号AS1に変換する。マイクM2は、音W1をアナログ信号AS2に変換する。マイクMnは、音W1をアナログ信号ASnに変換する。収音部21は、変換したアナログ信号ASを、それぞれ混合部22に出力する。
図2は、実施形態1に係るマイクロフォンアレー装置20と、スマートフォンSPとの機能構成の一例を示す図である。
マイクロフォンアレー装置20は、収音部21と、混合部22とを備える。
収音部21は、マイクMを備える。マイクMは収音した音を、それぞれ音W1を示すアナログ信号ASへ変換し、複数の位置毎に出力する。アナログ信号ASには、アナログ信号AS1からアナログ信号ASnまでが含まれる。具体的には、マイクM1は、音W1をアナログ信号AS1に変換する。マイクM2は、音W1をアナログ信号AS2に変換する。マイクMnは、音W1をアナログ信号ASnに変換する。収音部21は、変換したアナログ信号ASを、それぞれ混合部22に出力する。
混合部22は、収音部21が出力するアナログ信号ASを、それぞれ取得する。混合部22は、取得したアナログ信号ASを混合し、混合アナログ信号MA1を生成する。混合部22は、生成した混合アナログ信号MA1を出力する。また、マイクMには、混合部22からの混合アナログ信号MA1が逆流しないように、それぞれ、マイクアンプAMPを備える。マイクアンプAMPには、マイクアンプAMP1からマイクアンプAMPnまでが含まれる。具体的には、マイクM1は、マイクアンプAMP1を備える。マイクM2は、マイクアンプAMP2を備える。マイクMnは、マイクアンプAMPnを備える。なお、マイクアンプAMPはアンプ装置に限られず、マイクMへの混合アナログ信号MA1の逆流を抑える部材であればよい。
図3を参照して、収音部21が備えるマイクMの配置間隔について説明する。
図3は、マイクMの配置間隔の一例を示す図である。
マイクM1とマイクM2との間隔は、間隔L1である。マイクM2とマイクM3との間隔は、間隔L2である。マイクM3とマイクM4との間隔は、間隔L3である。マイクM4とマイクM5との間隔は、間隔L4である。マイクM5とマイクM6との間隔は、間隔L5である。マイクMn−1とマイクMnとの間隔は、間隔Ln−1である。間隔L1から間隔Ln−1までを区別しない場合には、間隔Lと記載する。ここで、実施形態1に係る間隔Lは、それぞれ同じ長さである。つまり、マイクMは等間隔に配置される。なお、それぞれのマイクMの指向特性及び周波数特性は同一でなくてもよい。
図3は、マイクMの配置間隔の一例を示す図である。
マイクM1とマイクM2との間隔は、間隔L1である。マイクM2とマイクM3との間隔は、間隔L2である。マイクM3とマイクM4との間隔は、間隔L3である。マイクM4とマイクM5との間隔は、間隔L4である。マイクM5とマイクM6との間隔は、間隔L5である。マイクMn−1とマイクMnとの間隔は、間隔Ln−1である。間隔L1から間隔Ln−1までを区別しない場合には、間隔Lと記載する。ここで、実施形態1に係る間隔Lは、それぞれ同じ長さである。つまり、マイクMは等間隔に配置される。なお、それぞれのマイクMの指向特性及び周波数特性は同一でなくてもよい。
図2に戻り、デジタル変換部23は、収音部21が備えるマイクロフォンの数よりも少ないアナログデジタル変換器を備える。実施形態1に係るデジタル変換部23は、1つのアナログデジタル変換器を備える。デジタル変換部23は、混合部22が出力する混合アナログ信号MA1を取得する。デジタル変換部23は、取得した混合アナログ信号MA1を混合デジタル信号MD1に変換する。デジタル変換部23は、変換した混合デジタル信号MD1を出力する。なお、デジタル変換部23は、マイクロフォンアレー装置20に備えられていてもよい。また、デジタル変換部23が複数のアナログデジタル変換器を備える場合には、デジタル変換部23は、複数のアナログデジタル変換器が出力する混合デジタル信号が示す音波形をそれぞれ重ね合わせることにより、1つの混合デジタル信号MD1を出力する。
信号処理部10は、混合デジタル信号取得部200と、記憶部100と、強調信号生成部201と、方向推定部202と、所定方向強調信号出力部203とを備える。
混合デジタル信号取得部200は、デジタル変換部23が出力する混合デジタル信号MD1を取得し、強調信号生成部201に対して出力する。
記憶部100には、特性情報(信号フィルタ)FIRが記憶される。特性情報FIRとは、収音部21に対応する収音部21の姿勢と音W1の位置との相対的な方向毎の信号フィルタである。特性情報FIRには、特性情報FIR1から特性情報FIRjまでが含まれる。ここで、特性情報FIRjのjとは、1以上の整数である。
混合デジタル信号取得部200は、デジタル変換部23が出力する混合デジタル信号MD1を取得し、強調信号生成部201に対して出力する。
記憶部100には、特性情報(信号フィルタ)FIRが記憶される。特性情報FIRとは、収音部21に対応する収音部21の姿勢と音W1の位置との相対的な方向毎の信号フィルタである。特性情報FIRには、特性情報FIR1から特性情報FIRjまでが含まれる。ここで、特性情報FIRjのjとは、1以上の整数である。
図4を参照して、特性情報FIRの生成する方法の一例について説明する。
図4は、特性情報FIRを生成する場面の一例を示す図である。
無響室に、マイクロフォンアレー装置20と、スピーカーSPKとが1.5mの間隔を隔てて配置される。なお、マイクロフォンアレー装置20と、スピーカーSPKとの配置間隔1.5mは、一例であって、マイクロフォンアレー装置20の特性に合わせて変えてもよい。マイクロフォンアレー装置20の基準姿勢を基準として、マイクロフォンアレー装置20と、スピーカーSPKとを結ぶ線を基準線CLとする。ここで、基準線CL上にあるマイクロフォンアレー装置20の基準姿勢を、角度θ=0度の姿勢とする。
スピーカーSPKは、デジタル・アナログ変換器を介してパーソナルコンピュータ(PC)と電気的に接続される。マイクロフォンアレー装置20は、アナログデジタル変換器を介して、パーソナルコンピュータと電気的に接続される。
スピーカーSPKは、パーソナルコンピュータから出力される、0kHzから48kHzまでの、時間と共に周波数が増加する音を出力する。なお、スピーカーSPKが出力する音の周波数は一例であって、どのような音であってもよい。マイクロフォンアレー装置20は、スピーカーSPKから出力される音を収音する。マイクロフォンアレー装置20は、収音する音をパーソナルコンピュータに出力する。パーソナルコンピュータは、マイクロフォンアレー装置20が収音する音h(t,θ)を、フーリエ変換する。パーソナルコンピュータは、収音した音をフーリエ変換した結果として得られた特性情報FIRを、パーソナルコンピュータが備える記憶部(不図示)に記憶させる。
図4は、特性情報FIRを生成する場面の一例を示す図である。
無響室に、マイクロフォンアレー装置20と、スピーカーSPKとが1.5mの間隔を隔てて配置される。なお、マイクロフォンアレー装置20と、スピーカーSPKとの配置間隔1.5mは、一例であって、マイクロフォンアレー装置20の特性に合わせて変えてもよい。マイクロフォンアレー装置20の基準姿勢を基準として、マイクロフォンアレー装置20と、スピーカーSPKとを結ぶ線を基準線CLとする。ここで、基準線CL上にあるマイクロフォンアレー装置20の基準姿勢を、角度θ=0度の姿勢とする。
スピーカーSPKは、デジタル・アナログ変換器を介してパーソナルコンピュータ(PC)と電気的に接続される。マイクロフォンアレー装置20は、アナログデジタル変換器を介して、パーソナルコンピュータと電気的に接続される。
スピーカーSPKは、パーソナルコンピュータから出力される、0kHzから48kHzまでの、時間と共に周波数が増加する音を出力する。なお、スピーカーSPKが出力する音の周波数は一例であって、どのような音であってもよい。マイクロフォンアレー装置20は、スピーカーSPKから出力される音を収音する。マイクロフォンアレー装置20は、収音する音をパーソナルコンピュータに出力する。パーソナルコンピュータは、マイクロフォンアレー装置20が収音する音h(t,θ)を、フーリエ変換する。パーソナルコンピュータは、収音した音をフーリエ変換した結果として得られた特性情報FIRを、パーソナルコンピュータが備える記憶部(不図示)に記憶させる。
上述した、スピーカーからの音を特性情報FIRとして収音する処理を、マイクロフォンアレー装置20を、基準線CLの端点CLPを中心に、角度θを1度ずつ回転させて実行する。具体的には、角度θ=0度の姿勢のときに収音される特性情報FIRを、特性情報FIR1とする。角度θ=1度の姿勢のときに収音される特性情報FIRを、特性情報FIR2とする。この処理を、角度θ=359度まで繰り返すことにより、特性情報FIR1から特性情報FIR360までを生成する。なお、上述した特性情報FIRを生成する方法は一例であって、これに限られない。マイクロフォンアレー装置20の姿勢を変える角度θは、1度刻みよりも大きくしても、小さくしてもよい。具体的には、マイクロフォンアレー装置20の姿勢を変える角度θを、72度刻みに変えて特性情報FIRを生成する場合には、特性情報FIRは5個生成される。マイクロフォンアレー装置20の姿勢を変える角度θを、0.5度刻みに変えて特性情報FIRを生成する場合には、特性情報FIRは720個生成される。また、音源の高さ方向を推定する特性情報FIRを生成してもよい。この場合には、スピーカーSPKの高さを変えることにより、特性情報FIRを生成する。また、特性情報FIRは、マイクロフォンアレー装置20のマイクMの配置と、スピーカーSPKから出力される音の特性とが判明しているため、コンピュータシミュレーションを用いて演算することによって生成されてもよい。
図2に戻り、強調信号生成部201は、特性情報FIRを記憶部100から取得する。強調信号生成部201は、混合デジタル信号MD1を混合デジタル信号取得部200から取得する。強調信号生成部201は、混合デジタル信号MD1と、特性情報FIRとに基づいて、強調信号ESを生成する。強調信号ESとは、混合デジタル信号MD1を、特性情報FIRと対応付けられた方向毎に強調した信号である。強調信号ESには、特性情報FIRそれぞれと対応する強調信号ESが含まれる。具体的には、強調信号生成部201は、特性情報FIR1と対応する強調信号ES1を生成する。強調信号生成部201は、特性情報FIR2と対応する強調信号ES2を生成する。強調信号生成部201は、特性情報FIRjと対応する強調信号ESjを生成する。強調信号生成部201は、生成した強調信号ESを方向推定部202に出力する。
方向推定部202は、強調信号生成部201から強調信号ESを取得する。方向推定部202は、取得した強調信号ES同士のエネルギー量をそれぞれ比較する。方向推定部202は、強調信号ESのうち、強い信号が生成された方向に音源が存在すると推定する。方向推定部202は、強い信号が生成された方向を示す音源方向情報DIを、表示部11に対して表示させる。
表示部11は、音源方向情報DIを表示する。
方向推定部202は、強調信号生成部201から強調信号ESを取得する。方向推定部202は、取得した強調信号ES同士のエネルギー量をそれぞれ比較する。方向推定部202は、強調信号ESのうち、強い信号が生成された方向に音源が存在すると推定する。方向推定部202は、強い信号が生成された方向を示す音源方向情報DIを、表示部11に対して表示させる。
表示部11は、音源方向情報DIを表示する。
所定方向強調信号出力部203は、混合デジタル信号取得部200が取得する混合デジタル信号MD1と、方向のうち所定の方向に対応する特性情報FIRとに基づいて、所定の方向に対応する強調信号ESDを出力し、音出力部12に対して出力する。音出力部12は、取得する強調信号ESDを、音として出力する。
[実施形態1に係る信号処理システム1の動作の概要]
次に、図5を参照して、実施形態1に係る信号処理システム1の動作の一例について説明する。
図5は、信号処理システム1の動作の一例を示した流れ図である。
収音部21が備えるマイクMは、音源SS1が出力する音W1を収音し、アナログ信号ASをそれぞれ出力する。(ステップS10)。混合部22は、マイクMがそれぞれ出力したアナログ信号ASを混合する。混合部22は、混合したアナログ信号を、混合アナログ信号MA1として出力する(ステップS20)。デジタル変換部23は、混合部22が出力した混合アナログ信号MA1を取得する。デジタル変換部23は、取得した混合アナログ信号MA1をデジタル変換する。デジタル変換部23は、変換した混合アナログ信号MA1を、混合デジタル信号MD1に変換する。デジタル変換部23は、混合デジタル信号MD1を出力する(ステップS30)。混合デジタル信号取得部200は、混合デジタル信号MD1を取得する。強調信号生成部201に対して混合デジタル信号MD1を出力する。強調信号生成部201は、混合デジタル信号取得部200から混合デジタル信号MD1を取得する。強調信号生成部201は、取得した混合デジタル信号MD1から、特性情報FIRに基づいて、方向毎に強調された強調信号ESをそれぞれ生成する(ステップS40)。強調信号生成部201は、生成した強調信号ESを、方向推定部202に出力する。方向推定部202は、方向推定部202から強調信号ESを取得する。方向推定部202は、強調信号ESがそれぞれ示すエネルギー量同士を比較する。方向推定部202は、比較した結果、大きなエネルギー量を示す方向を、収音部21のある姿勢に対する音W1を出力した音源SS1の相対的な方向として推定する(ステップS50)。方向推定部202は、推定した方向を、音源方向情報DIとして、表示部11に表示させる。
次に、図5を参照して、実施形態1に係る信号処理システム1の動作の一例について説明する。
図5は、信号処理システム1の動作の一例を示した流れ図である。
収音部21が備えるマイクMは、音源SS1が出力する音W1を収音し、アナログ信号ASをそれぞれ出力する。(ステップS10)。混合部22は、マイクMがそれぞれ出力したアナログ信号ASを混合する。混合部22は、混合したアナログ信号を、混合アナログ信号MA1として出力する(ステップS20)。デジタル変換部23は、混合部22が出力した混合アナログ信号MA1を取得する。デジタル変換部23は、取得した混合アナログ信号MA1をデジタル変換する。デジタル変換部23は、変換した混合アナログ信号MA1を、混合デジタル信号MD1に変換する。デジタル変換部23は、混合デジタル信号MD1を出力する(ステップS30)。混合デジタル信号取得部200は、混合デジタル信号MD1を取得する。強調信号生成部201に対して混合デジタル信号MD1を出力する。強調信号生成部201は、混合デジタル信号取得部200から混合デジタル信号MD1を取得する。強調信号生成部201は、取得した混合デジタル信号MD1から、特性情報FIRに基づいて、方向毎に強調された強調信号ESをそれぞれ生成する(ステップS40)。強調信号生成部201は、生成した強調信号ESを、方向推定部202に出力する。方向推定部202は、方向推定部202から強調信号ESを取得する。方向推定部202は、強調信号ESがそれぞれ示すエネルギー量同士を比較する。方向推定部202は、比較した結果、大きなエネルギー量を示す方向を、収音部21のある姿勢に対する音W1を出力した音源SS1の相対的な方向として推定する(ステップS50)。方向推定部202は、推定した方向を、音源方向情報DIとして、表示部11に表示させる。
[実施形態1に係る信号処理システム1の動作の具体例]
次に、図6から図8を参照して、実施形態1に係る信号処理システム1の具体例について説明する。
図6は、音源SS1と、マイクロフォンアレー装置20との位置の一例を示す図である。
音源SS1は、マイクロフォンアレー装置20の正面から角度θ=60度の位置に配置される。音源SS1は、音W1に示す波形を持つ音W1を出力する。マイクロフォンアレー装置20は、音源SS1から出力される音W1を取得する。収音部21が備えるマイクMは、取得した音W1をそれぞれアナログ信号ASへ変換し、混合部22に対して出力する。混合部22は、アナログ信号ASをそれぞれ取得し、混合する。混合部22は、混合アナログ信号MA1+60を、デジタル変換部23に対して出力する。以降、混合アナログ信号MA1+60を、s0(t)とも記載する。
次に、図6から図8を参照して、実施形態1に係る信号処理システム1の具体例について説明する。
図6は、音源SS1と、マイクロフォンアレー装置20との位置の一例を示す図である。
音源SS1は、マイクロフォンアレー装置20の正面から角度θ=60度の位置に配置される。音源SS1は、音W1に示す波形を持つ音W1を出力する。マイクロフォンアレー装置20は、音源SS1から出力される音W1を取得する。収音部21が備えるマイクMは、取得した音W1をそれぞれアナログ信号ASへ変換し、混合部22に対して出力する。混合部22は、アナログ信号ASをそれぞれ取得し、混合する。混合部22は、混合アナログ信号MA1+60を、デジタル変換部23に対して出力する。以降、混合アナログ信号MA1+60を、s0(t)とも記載する。
デジタル変換部23は、ある時間tに混合部22が出力した混合アナログ信号MA1+60を取得する。デジタル変換部23は、混合アナログ信号MA1+60を混合デジタル信号MD1+60に変換する。具体的には、デジタル変換部23は、混合アナログ信号MA1+60をフーリエ変換することによって、混合デジタル信号MD1+60に変換する。以降、混合デジタル信号MD1+60を、S0(ω)とも記載する。デジタル変換部23は、混合デジタル信号MD1+60を、混合デジタル信号取得部200に対して出力する。
混合デジタル信号取得部200は、混合デジタル信号MD1+60を取得し、強調信号生成部201に対して出力する。
強調信号生成部201は混合デジタル信号MD1+60を取得する。以降、混合デジタル信号MD1+60をと記載する。強調信号生成部201は、記憶部100から特性情報FIRを取得する。以降、特性情報FIRを、H(ω,θ)とも記載する。
強調信号生成部201は、特性情報FIRが示す方向毎に、強調した強調信号ESを生成する。具体的には、強調信号生成部201は、式(1)によって、特性情報FIRが示す角度θと対応する、信号sSCMA(t)を、それぞれ生成する。なお、以下の説明において、式(1)、式(4)、式(6)、式(7)及び式(9)中の花文字F−1は、逆フーリエ変換を示している。また、式(2)、数(3)、数(5)及び数(8)中の花文字Fは、フーリエ変換を示している。
混合デジタル信号取得部200は、混合デジタル信号MD1+60を取得し、強調信号生成部201に対して出力する。
強調信号生成部201は混合デジタル信号MD1+60を取得する。以降、混合デジタル信号MD1+60をと記載する。強調信号生成部201は、記憶部100から特性情報FIRを取得する。以降、特性情報FIRを、H(ω,θ)とも記載する。
強調信号生成部201は、特性情報FIRが示す方向毎に、強調した強調信号ESを生成する。具体的には、強調信号生成部201は、式(1)によって、特性情報FIRが示す角度θと対応する、信号sSCMA(t)を、それぞれ生成する。なお、以下の説明において、式(1)、式(4)、式(6)、式(7)及び式(9)中の花文字F−1は、逆フーリエ変換を示している。また、式(2)、数(3)、数(5)及び数(8)中の花文字Fは、フーリエ変換を示している。
ここで、式(1)中のS0(ω)は、式(2)によって表せる。
つまり、S0(ω)とは、混合アナログ信号MA1+60をフーリエ変換した結果である。
また、式(1)中のH(ω,θ)は、式(3)によって表せる。
また、式(1)中のH(ω,θ)は、式(3)によって表せる。
ここで、式(1)で表せるsSCMA(t)とは、複数のアナログデジタル変換器を備えるマイクロフォンアレー信号処理装置が取得する遅延の無い遅延和信号と同等な信号である。
強調信号生成部201は、信号sSCMA(t)と、特性情報FIRとに基づいて、式(4)によって、強調信号ES(sSCMA;θ(t))を生成する。
強調信号生成部201は、信号sSCMA(t)と、特性情報FIRとに基づいて、式(4)によって、強調信号ES(sSCMA;θ(t))を生成する。
ここで、式(4)中のSscma(ω)は、式(5)によって表せる。
つまり、Sscma(ω)とは、sSCMA(t)をフーリエ変換した結果である。
もしも、音源SS1とは別の角度φにある、望ましくない音源(不図示)からの信号n(t)を同時に取得していることが判っている場合には、式(1)は、式(6)によって表せる。
もしも、音源SS1とは別の角度φにある、望ましくない音源(不図示)からの信号n(t)を同時に取得していることが判っている場合には、式(1)は、式(6)によって表せる。
また、式(4)は、式(7)によって表せる。
ここで、式(7)中のN(ω)は、式(8)によって表せる。
つまり、N(ω)とは、信号n(t)をフーリエ変換した結果である。
また、一般的に、強調信号生成部201は、式(7)中の式(9)で表せる値が十分に小さいと、よりよい指向性を示す強調信号ESを生成できる。
また、一般的に、強調信号生成部201は、式(7)中の式(9)で表せる値が十分に小さいと、よりよい指向性を示す強調信号ESを生成できる。
強調信号生成部201は、生成した強調信号ESを方向推定部202に対して出力する。方向推定部202は、強調信号生成部201から強調信号ESを取得する。方向推定部202は、取得した強調信号ESのうち、大きなエネルギー量を持つ信号と対応する方向に音源SS1が存在すると推定する。具体的には、方向推定部202は、式(10)によって、強調信号ESが示すエネルギー量を算出し、比較することにより、音源SS1の方向を推定する。
つまり、式(10)では、時間tに取得した強調信号ES全てについて、正側の振幅と負側の振幅とを加算し、エネルギー量をそれぞれ算出し、角度θ毎に最も大きなエネルギー量を持つ強調信号ESが示す角度θestを算出する。強調信号生成部201は、式(10)によって算出された角度θestを、音源SS1の方向として推定する。
図7は、強調信号生成部201が生成した強調信号ESが示す角度と、相対的なエネルギー量との関係を示す一例を示す図である。
図7では、最も大きなエネルギー量が観測されたのは、マイクロフォンアレー装置20に対して、角度θ=0度の方向である。
図7に示すグラフBeamPattern,φは、角度θ=60度に対応する特性情報FIRに基づいて生成した強調信号ESの一例である。グラフBeamPattern,φは、縦軸に角度φをもち、横軸に信号の相対的なエネルギー量をもつ。グラフBeamPattern,φの右に示す図は、特性情報FIRが示す角度θを横軸にもち、相対的なエネルギー量を縦軸に持つ図である。Main lobe(AR2)とは、Target Angleに対応する強調信号ESのなかで、強いエネルギーが観測された角度を示している。グラフBeamPattern,φを、極座標を用いて表現したものが、Polar Plotである。図7に示す範囲AR1−θは、それぞれ対応している。
この場合、方向推定部202は、マイクロフォンアレー装置20の姿勢に対して、角度θest=0度方向に音源SS1があると推定する。方向推定部202は、音源方向情報DIとして、角度θest=0を出力する。表示部11は、音源方向情報DIを表示する。
図7では、最も大きなエネルギー量が観測されたのは、マイクロフォンアレー装置20に対して、角度θ=0度の方向である。
図7に示すグラフBeamPattern,φは、角度θ=60度に対応する特性情報FIRに基づいて生成した強調信号ESの一例である。グラフBeamPattern,φは、縦軸に角度φをもち、横軸に信号の相対的なエネルギー量をもつ。グラフBeamPattern,φの右に示す図は、特性情報FIRが示す角度θを横軸にもち、相対的なエネルギー量を縦軸に持つ図である。Main lobe(AR2)とは、Target Angleに対応する強調信号ESのなかで、強いエネルギーが観測された角度を示している。グラフBeamPattern,φを、極座標を用いて表現したものが、Polar Plotである。図7に示す範囲AR1−θは、それぞれ対応している。
この場合、方向推定部202は、マイクロフォンアレー装置20の姿勢に対して、角度θest=0度方向に音源SS1があると推定する。方向推定部202は、音源方向情報DIとして、角度θest=0を出力する。表示部11は、音源方向情報DIを表示する。
図8は、強調信号生成部201が生成した強調信号ESの一例を示す図である。
図8では、音源SS1が、マイクロフォンアレー装置20に対して角度θ=60度の位置に配置される。音源SS1が出力する音W1を取得した信号処理システム1は、特性情報FIR毎に強調信号ESを生成する。
この場合、強調信号ESのうち、最も大きなエネルギー量を持つ振幅が観測されたのは、強調信号ES61である。強調信号ES60と対応する特性情報FIR61が示す角度は、角度θ=60度である。方向推定部202は、マイクロフォンアレー装置20の姿勢に対して角度θ=60度に音源SS1が存在すると推定する。方向推定部202は、音源方向情報DIとして、角度θest=60を出力する。表示部11は、音源方向情報DIを表示する。
図8では、音源SS1が、マイクロフォンアレー装置20に対して角度θ=60度の位置に配置される。音源SS1が出力する音W1を取得した信号処理システム1は、特性情報FIR毎に強調信号ESを生成する。
この場合、強調信号ESのうち、最も大きなエネルギー量を持つ振幅が観測されたのは、強調信号ES61である。強調信号ES60と対応する特性情報FIR61が示す角度は、角度θ=60度である。方向推定部202は、マイクロフォンアレー装置20の姿勢に対して角度θ=60度に音源SS1が存在すると推定する。方向推定部202は、音源方向情報DIとして、角度θest=60を出力する。表示部11は、音源方向情報DIを表示する。
所定方向強調信号出力部203は、強調信号生成部201が生成する強調信号ESのうち、所定の方向と対応する強調信号ESDを出力する。所定の方向とは、方向推定部202が推定する音源方向情報DIが示す方向であってもよい。所定方向強調信号出力部203は、ユーザーの指示に基づく方向と対応する強調信号ESを、強調信号ESDとして出力してもよい。なお、所定方向強調信号出力部203は、混合デジタル信号MD1と、所定の方向と対応する特性情報FIRとに基づいて強調信号ESDを生成し、出力してもよい。この場合、所定方向強調信号出力部203は、上述した式(4)又は式(7)によって、強調信号ESDを生成する。スマートフォンSPは、所定方向強調信号出力部203から出力された強調信号ESDを音出力部12によって、音として出力する。また、スマートフォンSPは、強調信号ESDを、音信号を示すファイルとして記憶部100などに記憶させてもよい。
以上説明したように、信号処理システム1は、マイクロフォンアレー装置20を備える。マイクロフォンアレー装置20は、音W1を複数の互いに異なる位置においてそれぞれ収音し、収音された音W1を示すアナログ信号ASを複数の位置毎に出力する収音部21と、アナログ信号ASを伝送する信号線同士を接続することにより複数のアナログ信号が混合された混合アナログ信号MA1を出力する混合部22とを備える。スマートフォンSPは、混合アナログ信号MA1がデジタル変換された混合デジタル信号MD1を出力するデジタル変換部23と、デジタル変換部23が生成する混合デジタル信号MD1を取得する混合デジタル信号取得部200と、信号処理部10とを備える。信号処理部10が備える強調信号生成部201は、混合デジタル信号取得部200が取得する混合デジタル信号MD1と、収音部21に対応する、収音部21の姿勢の音源SS1の位置との相対的な方向毎の特性情報FIRとに基づいて、方向毎に強調された強調信号ESをそれぞれ生成する。信号処理部10が備える、方向推定部202は、強調信号生成部201が生成する強調信号ESがそれぞれ示すエネルギー量同士を比較することにより収音部21のある姿勢に対する音W1の音源SS1の相対的な方向を推定する。
このように構成することにより、信号処理システム1は、互いに異なる位置においてそれぞれ収音した複数のアナログ信号を、1つのアナログ信号に混合することができ、1つのアナログデジタル変換器しか備えていないスマートフォンや、パーソナルコンピュータにおいても、マイクロフォンアレー信号処理を実現することができる。また、信号処理システム1は、マイクロフォンアレー装置20と対応する特性情報FIRに基づいて信号処理を行うことにより、音源SS1の方向を推定することができる。信号処理システム1は、推定した音源SS1の方向に基づいて、音源SS1からの音W1を、強調した信号のみを生成することもできる。所定方向強調信号出力部203は、指定された方向に対応する強調した信号を生成することにより、例えば、ピンマイクなどにマイクロフォンアレー装置20を応用して、ピンマイクを装着する話者の声の方向を推定し、推定した方向の音を強調した強調信号ESDを生成することができる。つまり、任意の方向の雑音音を除いた声の音を強調することができる。また、自律移動型ロボットなどにマイクロフォンアレー装置20を搭載し、特定の音の方向に移動することもできる。また、ウェアラブルデバイスに、マイクロフォンアレー装置20を搭載し、話かけられた場合の音声を強調した強調信号を生成することにより、強調した音声に基づいて音声認識して、誤認識されにくいテキストデータへの変換を行うこともできる。さらに、信号処理システム1は、音源SS1のマイクロフォンアレー装置20との相対角度を推定できるため、超音波などの音波を使用した屋内測位などにも用いることができる。
[実施形態2]
ここまでは、収音部21が備えるマイクMが互いに等しい距離を隔てて配置される場合について説明した。次に、図9を参照して、マイクMが不等間隔に配置される場合について説明する。
図9は、実施形態2に係るマイクロフォンアレー装置20aの一例を示す図である。
なお、実施形態1及び実施形態2と同一の構成及び動作については同一の符号を付してその説明を省略する。
ここまでは、収音部21が備えるマイクMが互いに等しい距離を隔てて配置される場合について説明した。次に、図9を参照して、マイクMが不等間隔に配置される場合について説明する。
図9は、実施形態2に係るマイクロフォンアレー装置20aの一例を示す図である。
なお、実施形態1及び実施形態2と同一の構成及び動作については同一の符号を付してその説明を省略する。
信号処理システム1aは、マイクロフォンアレー装置20aと、マイクロフォンアレー装置20aとを備える。
スマートフォンSPaは、信号処理部10aを備える。
信号処理部10aは、記憶部100aと、強調信号生成部201aと、を備える。
マイクロフォンアレー装置20aは、収音部21aと、混合部22aと、特性情報記憶部24とを備える。
収音部21aは、マイクMaを備える。マイクMaには、マイクMa1からマイクMamまでが含まれる。ここで、マイクMamのmとは2以上の整数である。マイクMaは、音源SS1から出力される音W1を収音する。マイクMaは、収音した音W1をそれぞれアナログ信号ASaに変換し、複数の位置毎に出力する。アナログ信号ASaには、アナログ信号ASa1からアナログ信号ASamまでが含まれる。
スマートフォンSPaは、信号処理部10aを備える。
信号処理部10aは、記憶部100aと、強調信号生成部201aと、を備える。
マイクロフォンアレー装置20aは、収音部21aと、混合部22aと、特性情報記憶部24とを備える。
収音部21aは、マイクMaを備える。マイクMaには、マイクMa1からマイクMamまでが含まれる。ここで、マイクMamのmとは2以上の整数である。マイクMaは、音源SS1から出力される音W1を収音する。マイクMaは、収音した音W1をそれぞれアナログ信号ASaに変換し、複数の位置毎に出力する。アナログ信号ASaには、アナログ信号ASa1からアナログ信号ASamまでが含まれる。
マイクMaは、不等間隔に配置される。ここで、マイクMa同士の間隔を、間隔Laと記載する。間隔Laには、間隔La1から間隔La(m−1)までが含まれる。具体的には、マイクMa1とマイクMa2との間隔は、間隔La1である。マイクMa2とマイクMa3との間隔は、間隔La2である。マイクMa3とマイクMa4との間隔は、間隔La3である。マイクMa4とマイクMa5との間隔は、間隔La4である。マイクMa5とマイクMa6との間隔は、間隔La5である。マイクMa6とマイクMa7との間隔は、間隔La6である。マイクMamと隣のマイク(不図示)との間隔は、間隔La(m−1)である。不等間隔とは、これら間隔La同士が、互いに整数倍の間隔にならない間隔のことである。より具体的な一例として、間隔La1とは、5.5mmである。間隔La2とは、8.9mmである。間隔La3とは、14.4mmである。間隔La4とは、23.3mmである。間隔La5とは、37.7mmである。間隔La6とは、60.2mmである。間隔La1を整数倍しても、間隔La2から間隔La(m−1)までの間隔と一致しない。間隔La2を整数倍しても、間隔La1及び間隔La3から間隔La(m−1)までの間隔と一致しない。他の間隔Laについても同様に、整数倍しても間隔が一致する間隔Laは無い。
混合部22aは、収音部21aが出力するアナログ信号ASaを、それぞれ取得する。混合部22aは、取得したアナログ信号ASaを混合し、混合アナログ信号MA2を生成する。混合部22aは、混合アナログ信号MA2を出力する。
特性情報記憶部24は、マイクロフォンアレー装置20aと対応する特性情報FIRaが記憶される。特性情報FIRaとは、収音部21aに対応する収音部21aの姿勢と音W1の位置との相対的な方向毎の信号フィルタである。特性情報FIRaには、特性情報FIRa1から特性情報FIRakまでが含まれる。ここで、特性情報FIRakのkとは、1以上の整数である。なお、特性情報FIRaは、信号処理部10aが備える記憶部100aに記憶されていてもよい。なお、特性情報記憶部24には、マイクロフォンアレー装置20aと対応付けられるマイクロフォンアレー装置20aを示す情報が記憶されていてもよい。
デジタル変換部23は、混合部22が出力する混合アナログ信号MA2を取得する。デジタル変換部23は、取得した混合アナログ信号MA2を混合デジタル信号MD2に変換する。デジタル変換部23は、変換した混合デジタル信号MD2を出力する。
混合デジタル信号取得部200は、混合デジタル信号MD2を取得し、強調信号生成部201aに対して出力する。
混合デジタル信号取得部200は、混合デジタル信号MD2を取得し、強調信号生成部201aに対して出力する。
強調信号生成部201aは、混合デジタル信号取得部200が出力する混合デジタル信号MD2を取得する。強調信号生成部201aは、マイクロフォンアレー装置20aが備える特性情報記憶部24から、特性情報FIRaを取得する。強調信号生成部201aは、マイクロフォンアレー装置20aと対応付けられる情報に基づいて、特性情報FIRaを記憶部100aから取得してもよい。強調信号生成部201は、マイクロフォンアレー装置20aと対応付けられるマイクロフォンアレー装置20aを示す情報に基づいて、ネットワークを介してサーバー(不図示)などから、マイクロフォンアレー装置20aと対応する特性情報FIRaを取得してもよい。
強調信号生成部201aは、混合デジタル信号MD2を混合デジタル信号取得部200から取得する。強調信号生成部201aは、混合デジタル信号MD2と、特性情報FIRaとに基づいて、強調信号ESaを生成する。強調信号ESaには、特性情報FIRaそれぞれと対応する強調信号ESaが含まれる。ここで、強調信号ESaとは、混合デジタル信号MD2を、特性情報FIRaと対応付けられた方向毎に強調した信号である。具体的には、強調信号生成部201aは、特性情報FIRa1と対応する強調信号ESa1を生成する。強調信号生成部201aは、特性情報FIRa2と対応する強調信号ESa2を生成する。強調信号生成部201aは、特性情報FIRakと対応する強調信号ESakを生成する。強調信号生成部201aは、生成した強調信号ESaを方向推定部202に出力する。
強調信号生成部201aは、混合デジタル信号MD2を混合デジタル信号取得部200から取得する。強調信号生成部201aは、混合デジタル信号MD2と、特性情報FIRaとに基づいて、強調信号ESaを生成する。強調信号ESaには、特性情報FIRaそれぞれと対応する強調信号ESaが含まれる。ここで、強調信号ESaとは、混合デジタル信号MD2を、特性情報FIRaと対応付けられた方向毎に強調した信号である。具体的には、強調信号生成部201aは、特性情報FIRa1と対応する強調信号ESa1を生成する。強調信号生成部201aは、特性情報FIRa2と対応する強調信号ESa2を生成する。強調信号生成部201aは、特性情報FIRakと対応する強調信号ESakを生成する。強調信号生成部201aは、生成した強調信号ESaを方向推定部202に出力する。
方向推定部202は、強調信号生成部201aから強調信号ESaを取得する。方向推定部202は、強調信号ESaが示すエネルギー量をそれぞれ算出する。方向推定部202は、取得した強調信号ESa同士のエネルギー量をそれぞれ比較する。方向推定部202は、強調信号ESaのうち、強い信号が生成された方向に音源が存在すると推定する。方向推定部202aは、強い信号が生成された方向を示す情報音源方向情報DIを、表示部11に対して表示させる。
[マイク間隔の違いによる指向特性の一例]
次に、図10を参照して、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの指向特性の違いについて説明する。マイクロフォンアレー装置20が備えるマイクMは同じ間隔に配置される。マイクロフォンアレー装置20aが備えるマイクMaは、不等間隔に配置される。
図10は、マイク配置の違いによる、指向特性を測定した結果の一例を示す図である。
図10に示す(a)Beam Pattern of Evenly−spaced array及び(c)Average Beam Pattern of Evenly−spaced arrayは、マイクロフォンアレー装置20の指向特性を示している。(b)Beam Pattern of Unevenly−spaced array及び(c)Average Beam Pattern of Unevenly−spaced arrayは、マイクロフォンアレー装置20aの指向特性を示している。
図10の指向特性を測定する際の、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの位置及び姿勢は同一である。また、音源SS1は、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aに対して角度θ=0度の位置から音Wを出力する。
次に、図10を参照して、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの指向特性の違いについて説明する。マイクロフォンアレー装置20が備えるマイクMは同じ間隔に配置される。マイクロフォンアレー装置20aが備えるマイクMaは、不等間隔に配置される。
図10は、マイク配置の違いによる、指向特性を測定した結果の一例を示す図である。
図10に示す(a)Beam Pattern of Evenly−spaced array及び(c)Average Beam Pattern of Evenly−spaced arrayは、マイクロフォンアレー装置20の指向特性を示している。(b)Beam Pattern of Unevenly−spaced array及び(c)Average Beam Pattern of Unevenly−spaced arrayは、マイクロフォンアレー装置20aの指向特性を示している。
図10の指向特性を測定する際の、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの位置及び姿勢は同一である。また、音源SS1は、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aに対して角度θ=0度の位置から音Wを出力する。
マイクロフォンアレー装置20によって取得された信号と、マイクロフォンアレー装置20aによって取得された信号とを比較すると、マイクロフォンアレー装置20aによって取得された信号の方が、ピーク(Main lobe)がより強調され、雑音(Side Lobe)の音圧が小さい。これは、マイクロフォンアレー装置20は、マイクMの間隔Lが等長であり、アナログ信号AS同士にも周期性が発生したために、ピークが減衰された混合アナログ信号MA1を生成するためだと考えられる。
このことから、強調信号生成部201aは、マイクロフォンアレー装置20よりも、マイクロフォンアレー装置20aを用いると、特定の方向の音W1をより強調した、雑音が少ない強調信号ESaを生成することができる。方向推定部202は、強調信号ESaと、特性情報FIRaとに基づいて、より正確な音源SS1の方向を推定することができる。
このことから、強調信号生成部201aは、マイクロフォンアレー装置20よりも、マイクロフォンアレー装置20aを用いると、特定の方向の音W1をより強調した、雑音が少ない強調信号ESaを生成することができる。方向推定部202は、強調信号ESaと、特性情報FIRaとに基づいて、より正確な音源SS1の方向を推定することができる。
[マイク個数の違いによる指向特性の一例]
次に、図11及び図12を参照して、マイクM及びマイクMaの個数の差異による指向特性の違いについて説明する。以下の説明において、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aは、それぞれ7個のマイクM及びマイクMaを備えている。図11及び図12の指向特性を測定する際の、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの位置及び姿勢は同一である。また、音源SS1は、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aに対して角度θ=0度の位置から音Wを出力する。
図11は、等長に配置されるマイクMの個数を変化させた場合の、マイクロフォンアレー装置20の指向特性の一例を示す図である。
図12は、不等間隔に配置されるマイクMaの個数を変化させた場合の、マイクロフォンアレー装置20aの指向特性の一例を示す図である。
マイクロフォンアレー装置20及びマイクロフォンアレー装置20a共に、単一のマイクのみによって音源SS1からの音W1を収音する場合、音源SS1の方向を推定することは困難である。収音に用いるマイクの数が増えると、どちらもピークがより強調される。不等間隔に配置されるマイクMaを備えるマイクロフォンアレー装置20aの指向特性は、マイクの数が5個を超えると、より雑音を抑えられる。
次に、図11及び図12を参照して、マイクM及びマイクMaの個数の差異による指向特性の違いについて説明する。以下の説明において、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aは、それぞれ7個のマイクM及びマイクMaを備えている。図11及び図12の指向特性を測定する際の、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aの位置及び姿勢は同一である。また、音源SS1は、マイクロフォンアレー装置20及びマイクロフォンアレー装置20aに対して角度θ=0度の位置から音Wを出力する。
図11は、等長に配置されるマイクMの個数を変化させた場合の、マイクロフォンアレー装置20の指向特性の一例を示す図である。
図12は、不等間隔に配置されるマイクMaの個数を変化させた場合の、マイクロフォンアレー装置20aの指向特性の一例を示す図である。
マイクロフォンアレー装置20及びマイクロフォンアレー装置20a共に、単一のマイクのみによって音源SS1からの音W1を収音する場合、音源SS1の方向を推定することは困難である。収音に用いるマイクの数が増えると、どちらもピークがより強調される。不等間隔に配置されるマイクMaを備えるマイクロフォンアレー装置20aの指向特性は、マイクの数が5個を超えると、より雑音を抑えられる。
以上、説明したように、信号処理システム1は、マイクロフォンアレー装置20aを備える。マイクロフォンアレー装置20aは、不等間隔に配置されるマイクMaを備える。マイクロフォンアレー装置20aは、混合アナログ信号MA2を生成する。マイクロフォンアレー装置20aは、生成した混合アナログ信号MA2を出力する。デジタル変換部23aは、マイクロフォンアレー装置20aが出力する混合アナログ信号MA2を取得する。デジタル変換部23aは、取得した混合アナログ信号MA2を、混合デジタル信号MD2に変換する。デジタル変換部23aは変換した混合デジタル信号MD2を出力する。混合デジタル信号取得部200は、混合デジタル信号MD2を取得し、強調信号生成部201に対して出力する。強調信号生成部201は、混合デジタル信号MD2を取得する。さらに、強調信号生成部201は、マイクロフォンアレー装置20aと対応する特性情報FIRaを、マイクロフォンアレー装置20aが備える特性情報記憶部24から取得する。このように構成することにより、スマートフォンSPaは、接続されるマイクロフォンアレー装置20aの情報を、マイクロフォンアレー装置20aから取得することができる。ユーザーは、マイクロフォンアレー装置20aをスマートフォンSPaに接続する操作によって、マイクロフォンアレー装置20aと対応付けられた特性情報FIRaを、強調信号生成部201に設定することができる。つまり、ユーザーは、マイクロフォンアレー装置毎に異なる特性情報を、容易に指定することができる。
強調信号生成部201aは、混合デジタル信号MD2と、特性情報FIRaとに基づいて、角度θ毎に強調した信号である強調信号ESaを生成する。方向推定部202は、強調信号ESa同士のエネルギー量を比較し、大きなエネルギー量を示す角度θの方向に、音源SS1が存在すると推定する。このように構成することにより、マイクロフォンアレー装置20aは、アナログ信号AS信号同士の干渉の影響が少ない混合アナログ信号MA2を生成することができる。強調信号生成部201aは、混合デジタル信号MD2と、特性情報FIRaとに基づいて、角度θ毎に雑音成分の少ない強調信号ESaを生成する。方向推定部202は、強調信号ESa同士のエネルギー量を比較することにより、より正確な音源方向情報DIを推定できる。つまり、信号処理システム1は、より正確な音源SS1の方向を推定することができる。なお、実施形態2では、マイクの高さ方向の位置は同一であり、マイク間の間隔を不等間隔にしたマイクロフォンアレー装置20aについて説明したが、マイク間の互いの高さ方向の間隔を不等間隔にしてもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、以上に説明した信号処理システム1、信号処理システム1aにおける任意の構成部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体(記憶媒体)に記録(記憶)し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、オペレーティングシステム(OS:Operating System)あるいは周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disc)−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリー(RAM:Random Access Memory)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)あるいは電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1,1a…信号処理システム、SS1…音源、10…信号処理部、11…表示部、12…音出力部、20,20a…マイクロフォンアレー装置、21,21a…収音部、22…混合部、23…デジタル変換部、100,100a…記憶部、200…混合デジタル信号取得部、201,201a…強調信号生成部、202,202a…方向推定部、203…所定方向強調信号出力部、M1〜Mn,Ma1〜Mam…マイク
Claims (7)
- 音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得部と、
前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成部と、
前記強調信号生成部が生成する前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定部と
を備える信号処理装置。 - 前記収音部が収音する前記互いに異なる位置とは、互いに不等間隔の位置であって、
前記強調信号生成部は、前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記不等間隔の位置において収音する前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する
請求項1に記載の信号処理装置。 - 前記装置が備える前記収音部は、前記複数の位置の数に対応する数のマイクロフォンを備え、
前記装置が備える前記デジタル変換部が備えるアナログデジタル変換器の数は、前記前記マイクロフォンの数よりも少ない
請求項1又は請求項2に記載の信号処理装置。 - 前記混合デジタル信号取得部が取得する前記混合デジタル信号と、前記方向のうち所定の方向に対応する前記信号フィルタとに基づいて、前記所定の方向に対応する前記強調信号を出力する所定方向強調信号出力部を備える
請求項1から請求項3のいずれか一項に記載の信号処理装置。 - 前記装置は、前記信号フィルタを記憶する記憶部を備え、
前記強調信号生成部は、前記記憶部から前記信号フィルタを取得する
請求項1から請求項4のいずれか一項に記載の信号処理装置。 - 音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得ステップと、
前記混合デジタル信号取得ステップから取得される前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成ステップと、
前記強調信号生成ステップから生成される前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定ステップと
を有する信号処理方法。 - コンピュータに、
音を複数の互いに異なる位置においてそれぞれ収音し、収音された音を示すアナログ信号を前記複数の位置毎に出力する収音部と、前記アナログ信号を伝送する信号線同士を接続することにより前記複数のアナログ信号が混合された混合アナログ信号を出力する混合部と、前記混合アナログ信号がデジタル変換された混合デジタル信号を出力するデジタル変換部とを備える装置が生成する前記混合デジタル信号を取得する混合デジタル信号取得ステップと、
前記混合デジタル信号取得ステップから取得される前記混合デジタル信号と、前記収音部に対応する、前記収音部の姿勢と前記音の位置との相対的な方向毎の信号フィルタとに基づいて、前記方向毎に強調された強調信号をそれぞれ生成する強調信号生成手段と、
前記強調信号生成手段から生成される前記強調信号がそれぞれ示すエネルギー量同士を比較することにより前記収音部のある姿勢に対する前記音の音源の相対的な方向を推定する方向推定ステップと
を実行させるための信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092777A JP2017201747A (ja) | 2016-05-02 | 2016-05-02 | 信号処理装置、信号処理方法及び信号処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016092777A JP2017201747A (ja) | 2016-05-02 | 2016-05-02 | 信号処理装置、信号処理方法及び信号処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017201747A true JP2017201747A (ja) | 2017-11-09 |
Family
ID=60265077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016092777A Pending JP2017201747A (ja) | 2016-05-02 | 2016-05-02 | 信号処理装置、信号処理方法及び信号処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017201747A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110010147A (zh) * | 2019-03-15 | 2019-07-12 | 厦门大学 | 一种麦克风阵列语音增强的方法和系统 |
WO2023143041A1 (zh) * | 2022-01-25 | 2023-08-03 | 华为技术有限公司 | 信号处理方法、装置、设备及存储介质 |
-
2016
- 2016-05-02 JP JP2016092777A patent/JP2017201747A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110010147A (zh) * | 2019-03-15 | 2019-07-12 | 厦门大学 | 一种麦克风阵列语音增强的方法和系统 |
CN110010147B (zh) * | 2019-03-15 | 2021-07-27 | 厦门大学 | 一种麦克风阵列语音增强的方法和系统 |
WO2023143041A1 (zh) * | 2022-01-25 | 2023-08-03 | 华为技术有限公司 | 信号处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223680B (zh) | 语音处理方法、识别方法及其装置、系统、电子设备 | |
JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
JP6903611B2 (ja) | 信号生成装置、信号生成システム、信号生成方法およびプログラム | |
EP2868117B1 (en) | Systems and methods for surround sound echo reduction | |
US20140270231A1 (en) | System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device | |
JP2007523514A (ja) | 適応ビームフォーマ、サイドローブキャンセラー、方法、装置、及びコンピュータープログラム | |
JP2006237952A (ja) | マイクロフォン装置 | |
CN112735461B (zh) | 拾音方法以及相关装置、设备 | |
JP2020141232A (ja) | マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム | |
JP2017201747A (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
Beit-On et al. | Focusing and frequency smoothing for arbitrary arrays with application to speaker localization | |
CN111819862A (zh) | 音频编码设备和方法 | |
Hosseini et al. | Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function | |
CN108736982B (zh) | 声波通信处理方法、装置、电子设备及存储介质 | |
JP5635024B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
JP6517124B2 (ja) | 雑音抑圧装置、雑音抑圧方法、およびプログラム | |
JP5235725B2 (ja) | 発話向き推定装置、方法及びプログラム | |
US11640830B2 (en) | Multi-microphone signal enhancement | |
JP2018056902A (ja) | 収音装置、プログラム及び方法 | |
JP6933303B2 (ja) | 波源方向推定装置、波源方向推定方法、およびプログラム | |
JP6772890B2 (ja) | 信号処理装置、プログラム及び方法 | |
US11120814B2 (en) | Multi-microphone signal enhancement | |
JP2010206393A (ja) | 発話向き推定装置、方法及びプログラム | |
JP2010206392A (ja) | 発話向き推定装置、方法及びプログラム | |
CN114023307B (zh) | 声音信号处理方法、语音识别方法、电子设备和存储介质 |