JP2015154207A - 音響処理装置、及び音響処理方法 - Google Patents

音響処理装置、及び音響処理方法 Download PDF

Info

Publication number
JP2015154207A
JP2015154207A JP2014025757A JP2014025757A JP2015154207A JP 2015154207 A JP2015154207 A JP 2015154207A JP 2014025757 A JP2014025757 A JP 2014025757A JP 2014025757 A JP2014025757 A JP 2014025757A JP 2015154207 A JP2015154207 A JP 2015154207A
Authority
JP
Japan
Prior art keywords
sound source
sound
transfer function
calculation unit
source direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014025757A
Other languages
English (en)
Other versions
JP6311197B2 (ja
Inventor
圭佑 中村
Keisuke Nakamura
圭佑 中村
一博 中臺
Kazuhiro Nakadai
一博 中臺
スルヤ・アンブロス
Ambrose Surya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014025757A priority Critical patent/JP6311197B2/ja
Priority to US14/604,038 priority patent/US10139470B2/en
Publication of JP2015154207A publication Critical patent/JP2015154207A/ja
Application granted granted Critical
Publication of JP6311197B2 publication Critical patent/JP6311197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20Position of source determined by a plurality of spaced direction-finders

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】測定用の音源を用いずに室内環境に応じた所望の音源方向に係る伝達関数を算出することができる音響処理装置及び音響処理方法を提供する。
【解決手段】収音位置算出部は複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出し、音源方向算出部は前記複数のチャネルの音響信号に基づいて音源方向を算出し、第1伝達関数算出部は前記複数のチャネルの音響信号に基づいて前記音源方向に対応する第1伝達関数を算出し、第2伝達関数算出部複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する。
【選択図】図1

Description

本発明は、音響処理装置、及び音響処理方法に関する。
音源で発生した音が収音部に伝搬する際の伝達特性を表す伝達関数は、収音した音響信号を処理するために用いられることがある。伝達関数は、例えば、音質の補正(イコライジング等)、残響抑圧、雑音抑圧、音源方向や音源位置の推定などの目的で用いられる。そこで、従来から様々な伝達関数の算出方法が提案されてきた。
例えば、特許文献1に記載の音響システムは、周波数帯域の異なる予め定めた複数の帯域ノイズ信号を順次スピーカより出力し、スピーカの音場に設けられたマイクロホンによって検出される検出ノイズ信号を予め設定した複数の帯域フィルタにより濾波し、複数周波数帯域ごとに分析する。また、当該音響システムは、帯域ノイズ信号と検出ノイズ信号とを伝達関数算出部に入力しスピーカよりマイクロホンまでの伝達関数を算出し、さらに帯域フィルタの通過特性に応じ算出した伝達関数を補正する。
特許文献1に記載の音響システムでは、マイクロホンと音源との位置関係が既知であり、受聴目的の音源とは別個に、上述の検出ノイズ信号のような測定用の音源を用いる必要があった。そこで、測定用の音源を用いずに収音した音響信号を用いてマイクロホンと音源との位置関係を推定する方法が提案されてきた。
例えば、特許文献2に記載の音源位置推定方法は、チャネル間の音声信号の時間差を算出し、音源位置とマイクロホン位置とからなる音源状態情報である過去の音源状態情報から現在の音源状態情報を予測し、算出したチャネル間の音声信号の時間差と音源状態情報に基づく時間差との誤差を減少させるように音源状態情報を推定する。
特許第4482247号公報 特開2012−161071号公報
特許文献2に記載の音源位置推定方法で推定したマイクロホンと音源との位置関係から幾何的なモデルを用いて伝達関数を推定することが可能であるが、個々に異なる室内環境下で伝達関数を推定することはできなかった。室内環境の一例として、室内の残響は、室の大きさ、壁面の反射係数、設置された物体の有無や種類等によって異なる。また、伝達関数は、マイクロホンと音源の位置関係に依存するため、所望の音源方向の伝達関数を取得できなかった。
本発明は上記の点に鑑みてなされたものであり、測定用の音源を用いずに室内環境に応じた所望の音源方向に係る伝達関数を算出することができる音響処理装置及び音響処理方法を提供する。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出する収音位置算出部と、前記複数のチャネルの音響信号に基づいて音源方向を算出する音源方向算出部と、前記複数のチャネルの音響信号に基づいて前記音源方向に対応する第1伝達関数を算出する第1伝達関数算出部と、複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する第2伝達関数算出部と、を備える音響処理装置である。
(2)本発明の他の態様は、上述した音響処理装置であって、チャネル間の音響信号の時間差を算出する時間差算出部とを備え、前記収音位置算出部は、収音位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する第1状態予測部と、前記時間差算出部が算出した時間差と前記現在の音源状態情報に基づく時間差との差が減少するように前記現在の音源状態情報を更新する第1状態更新部と、を備える。
(3)本発明の他の態様は、上述した音響処理装置であって、前記時間差算出部は、収音位置間の配置が所定範囲内であるチャネル間の音響信号の時間差を算出する。
(4)本発明の他の態様は、上述した音響処理装置であって、前記音源方向算出部には、前記収音位置算出部に入力された時間差情報よりも少なくとも所定の遅延時間だけ遅れた時刻の時間差情報が入力され前記第1伝達関数算出部には、前記収音位置算出部に入力された時間差情報に係る音響信号よりも少なくとも前記遅延時間だけ遅れた時刻の時間差情報が入力される。
(5)本発明の他の態様は、上述した音響処理装置であって、前記音源方向算出部は、音源位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する第2状態予測部と、前記時間差算出部が算出した時間差と前記現在の音源状態情報に基づく時間差との差が減少するように前記現在の音源状態情報を更新する第2状態更新部と、を備える。
(6)本発明の他の態様は、上述した音響処理装置であって、前記第2伝達関数算出部は、前記第1伝達関数算出部が算出した第1伝達関数を、前記第2状態更新部が更新した音源状態情報の更新量に基づく重みづけにより補間する。
(7)本発明の他の態様は、上述した音響処理装置であって、前記第2伝達関数算出部が算出した第2伝達関数と前記複数のチャネルの音響信号に基づいて音源方向を算出する第2音源方向算出部とを備え、前記第2状態更新部は、前記第2音源方向算出部が算出した音源方向と前記現在の音源状態情報に基づく音源方向との差が減少するように前記現在の音源状態情報を更新する。
(8)本発明の他の態様は、上述した音響処理装置であって、前記音源方向算出部は、前記収音位置算出部が算出した収音位置への伝搬による位相変化を示す第3伝達関数を音源方向毎に算出する第3伝達関数算出部と、前記第3伝達関数算出部が算出した第3伝達関数と前記複数のチャネルの音響信号に基づいて音源方向を定める第1音源方向決定部と、を備える。
(9)本発明の他の態様は、音響処理装置における音響処理方法であって、複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出する収音位置算出ステップと、前記複数のチャネルの音響信号に基づいて音源方向を算出する音源方向算出ステップと、前記複数のチャネルの音響信号に基づいて前記音源方向に対応する第1伝達関数を算出する第1伝達関数算出ステップと、複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する第2伝達関数算出ステップと、を有する音響処理方法である。
上述した(1)又は(9)の構成によれば収音された音響信号に基づいて音源方向と第1伝達関数との組が得られ、得られた音源方向に係る第1伝達関数を参照して所望の音源方向に係る第2伝達関数が算出される。そのため、測定用の音源を用いずに室内環境に応じた所望の方向に係る伝達関数を算出することができる。
上述した(2)の構成によれば、収音された音響信号に基づいて収音位置を逐次に算出することができるので、その他の計測手段を用いなくてもその時点の収音位置を得ることができる。
上述した(3)の構成によれば、近接した収音位置間の時間差が算出されるので、算出された時間差の変動が抑制される。そのため、収音位置算出部は、算出された時間差に基づいて行われる音源状態情報を安定して推定することができるので、収音位置を高い精度で算出することができる。
上述した(4)の構成によれば、収音位置算出部が行う処理と、音源方向算出部ならびに第1伝達関数算出部が行う処理を並列することができる。そのため、収音位置算出部において音源状態情報の推定誤差が収束するまでの遅延が音源方向算出部ならびに第1伝達関数算出部には及ばないので、音源方向と第1伝達関数をより迅速に得ることができる。
上述した(5)の構成によれば、収音された音響信号に基づいて音源方向を逐次に算出することができるので、その他の計測手段を用いなくてもその時点の音源方向を得ることができる。
上述した(6)の構成によれば、音源方向の算出に用いられた音源状態情報の更新量に基づく重みで、その音源方向に係る第1伝達関数が補間された第2伝達関数が算出される。音源方向算出部が算出した音源方向の信頼性は音源状態情報の更新量に依存するので、算出される第2伝達関数の信頼性が向上する。
上述した(7)の構成によれば、音源状態情報は、時間差とは異なる情報である音源方向に基づいて更新されるので、時間差と音源方向のいずれかのみを用いる場合よりも局所解に陥るおそれを低減することができる。そのため、音源状態情報に基づいて収音位置をより高い精度で算出することができる。
上述した(8)の構成によれば、第3伝達関数を簡素な処理で算出することができ、算出された第3伝達関数が示す各収音位置での音源方向毎の位相変化に基づいて音源方向を定めることができる。そのため、音源方向の推定精度を損なわずに処理量を低減することができる。
本発明の第1の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 音源と収音部の一配置例を示す平面図である。 近接チャネル対の設定例を示す図である。 各チャネルでそれぞれ観測される音の観測時刻を表す図である。 本発明の第1の実施形態に係る音源状態推定処理を示すフローチャートである。 本発明の第1の実施形態に係る第1伝達関数算出処理を表すフローチャートである。 本発明の第1の実施形態に係る第1伝達関数データの例を示す図である。 本発明の第1の実施形態に係る補間処理を示すフローチャートである。 目標音源方向と参照音源方向の一例を示す図である。 本発明の第1の実施形態に係る音響処理を示すフローチャートである。 本発明の第2の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 本発明の第2の実施形態に係る音響処理を示すフローチャートである。 本発明の第3の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 本発明の第3の実施形態に係る第1伝達関数データの例を示す図である。 本発明の第3の実施形態に係る音響処理を示すフローチャートである。 本発明の第4の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 本発明の第4の実施形態に係る音響処理を示すフローチャートである。 本発明の第5の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 本発明の第5の実施形態に係る音響処理を示すフローチャートである。 本発明の第6の実施形態に係る音響処理システムの構成を示す概略ブロック図である。 本発明の第6の実施形態に係る音響処理を示すフローチャートである。 音源と収音部の他の配置例を示す平面図である。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る音響処理システム1の構成を示す概略ブロック図である。
音響処理システム1は、音響処理装置10とN+1(Nは、1よりも大きい整数)個の収音部11−0〜11−Nとを含んで構成される。以下の説明では、N+1個の収音部11−0〜11−Nのそれぞれ、又は全体を単に収音部11と総称することがある。収音部11−n(nは、0からNまでの整数)のそれぞれは、マイクロホンである。収音部11−nは、収録した音響信号を音響処理装置10に出力する。従って、収音部11は、全体として到達した音に基づくN+1チャネルの音響信号を音響処理装置10に出力する。
音響処理装置10は、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105、音源方向算出部106、第1伝達関数算出部107、伝達関数記憶部108、及び第2伝達関数算出部109を含んで構成される。
信号入力部102は、各収音部11−nから音響信号が入力される。以下の説明では、収音部11−nから入力された音響信号を、それぞれチャネルnの音響信号と呼ぶことがある。各チャネルの音響信号は、それぞれ複数のサンプルの信号値で形成されるディジタル信号である。
信号入力部102は、入力されたN+1チャネルの音響信号をピーク検出部103に出力する。信号入力部102は、例えば、データ入力インタフェースである。
ピーク検出部103には、信号入力部102からN+1チャネルの音響信号が入力される。ピーク検出部103は、いずれかのチャネル(例えば、チャネル0)の音響信号が示す信号値のピーク(極大値)を検出し、ピークが検出されたサンプル時刻を中心とする予め定めた時間(例えば、30ms)内の各チャネルの音響信号を抽出する。抽出される区間はチャネル間で同一であって、その区間の長さは、少なくとも周波数分析が可能な長さと同等以上であればよい。ピークの周辺の音響信号を抽出することで、人間が発話した音声や楽音などの目的音が含まれる部分が抽出され、主にノイズが含まれる部分が排除される。
ピーク検出部103は、音響信号のピークを検出する際、音響信号を形成するサンプル毎に、予め長さの平均区間で信号値の移動平均をとることで信号値を平滑化する。平滑化により音響信号に混入されるノイズや、突発的に信号値が変化するパルス等、の影響を排除することができる。ピーク検出部103は、平滑化した信号値についてサンプル間で微分し、得られた微分値が0よりも大きい正値から0よりも小さい負値に変化したサンプルをピークと判定する。
ピーク検出部103は、抽出したN+1チャネルの音響信号を時間差算出部104及び第1伝達関数算出部107に出力する。
時間差算出部104は、ピーク検出部103から入力されたN+1チャネルの音響信号について2チャネルの組(チャネル対)毎に時間差を算出する。算出される時間差は、音源から2チャネルのそれぞれに対応する収音部11に音波が到達した時刻の差を示す。時間差算出部104は、チャネル対毎の時間差を示す時間差情報を収音位置算出部105及び音源方向算出部106に出力する。なお、時間差の算出処理については、後述する。
収音位置算出部105は、時間差算出部104から入力された時間差情報に基づいて収音位置を逐次に算出する。収音位置算出部105は、SLAM(Simultaneous Localization And Mapping)法を用いて収音位置を算出する。
収音位置算出部105は、過去(例えば、前時刻k−1)の音源状態情報ξk−1からその時点(現時刻k)の音源状態情報ξk|k−1を予測し、時間差算出部104から入力された時間差情報に基づいて現在の音源状態情報ξに更新する。各時刻kの音源状態情報ξは、例えば、音源位置(x,y)、各収音部11−nの位置(収音位置)(mn,x,mn,y)及び観測時刻誤差mn,τを示す情報を含む。収音位置算出部105は、音源状態情報を推定する際、時間差情報が表す時間差と予測した音源状態情報に基づく時間差との間の誤差を減少させるように音源状態情報を更新する。収音位置は、更新した音源状態情報により与えられる。
収音位置算出部105は、音源状態情報の予測及び更新において、例えば、拡張カルマンフィルタ(Extended Kalman Filter;EKF)法を用いる。収音位置算出部105における音源状態情報の予測及び更新については後述する。
収音位置算出部105は、更新した音源状態情報を音源方向算出部106に出力する。出力される音源状態情報には、推定された収音位置を示す情報が含まれる。
なお、収音位置算出部105の構成については、後述する。
音源方向算出部106は、時間差算出部104から入力された時間差情報と、収音位置算出部105から入力された音源状態情報に基づいて音源方向dを算出する。音源方向算出部106は、音源方向dを算出する際、収音位置算出部105と同様の方式を用いて音源状態情報を予測及び更新する。音源方向算出部106は、収音位置算出部105から入力された音源状態情報を音源状態情報の初期値として用い、入力された音源状態情報のうち各収音部11−nの位置(mn,x,mn,y)とチャネルnの観測時刻誤差mn,τと、を一定値として扱う。言い換えれば、音源方向算出部106は、音源位置(x,y)を可変値として予測及び更新する。
SLAM法では、音源位置よりも収音位置の方が高精度に算出されることがある。このため、音源方向算出部106では収音位置算出部105で算出された収音位置を一定値とすることで自由度を低くして、音源状態情報の予測及び更新の処理を繰り返すことで音源位置の推定精度を向上させることができる。音源方向算出部106は、算出した音源位置と収音位置算出部105で算出された収音位置に基づいて音源方向を算出する。音源方向は、例えば、N+1個の収音部11−0〜11−Nの重心点を基準とした音源の方向であってもよいし、各収音部が配置された円周の中心を基準とした音源の方向であってもよい。
音源方向算出部106は、算出した音源方向を示す音源方向情報を第1伝達関数算出部107に出力する。なお、音源方向算出部106の構成については、後述する。
第1伝達関数算出部107には、N+1チャネルの音響信号がピーク検出部103から入力される。入力されたN+1チャネルの音響信号のうち所定の1つの音響信号を代表チャネルと呼び、その他の各チャネルを対象チャネルと呼ぶ。以下の説明では、代表チャネルがチャネル0、対象チャネルがチャネル1〜Nである場合を例にとる。第1伝達関数算出部107は、各対象チャネルnの音響信号と代表チャネル0の音響信号に基づいて、その対象チャネルの伝達関数A[d][n]を算出する。算出された伝達関数A[d][n]を第1伝達関数A[d][n]と呼ぶ。第1伝達関数算出部107は、音源方向算出部106から入力された音源方向情報と、算出した第1伝達関数A[d][n]を示す第1伝達関数情報とを対応付けて伝達関数記憶部108に記憶する。なお、第1伝達関数の算出処理については、後述する。
伝達関数記憶部108には、第1伝達関数算出部107により、それぞれの音源方向情報と第1伝達関数情報とが対応付けて記憶される。対応付けて記憶された音源方向情報と第1伝達関数情報との組が順次に累積されることにより、第1伝達関数データが伝達関数記憶部108に形成される。第1伝達関数データの例については、後述する。
第2伝達関数算出部109は、伝達関数記憶部108に記憶された第1伝達関数データを参照し、音源方向情報が示す音源方向と目標の音源方向(目標音源方向)とに基づいて、その音源方向情報にそれぞれ対応する第1伝達関数を補間する。補間により目標音源方向に対応する第2伝達関数が算出される。第2伝達関数算出部109は、第1伝達関数を補間する際、例えば、FTDLI(Frequency− Time−Domain Linear Interpolation、周波数時間領域線形補間)法を用いる。
第2伝達関数算出部109には、予め複数の目標音源方向が設定され、それぞれの目標音源方向に対応する第2伝達関数を算出してもよい。なお、第2伝達関数算出部109による第2伝達関数の算出については後述する。
(音源、収音部の配置例)
次に、音源と収音部11−nの一配置例について説明する。
図2は、音源Sと収音部11−nの一配置例を示す平面図である。
図2では、X方向を図面に対して右方に示す。図2に示す例では、部屋Rm内に音源Sと8(N+1)個の収音部11−0〜11−7が配置されていることを示す。収音部11−0〜11−7は、それぞれロボット(移動物体)Roの頭部に中心Cから所定の半径ρの円周上に等間隔で固定されている。従って、ロボットRoの移動、その姿勢の変化に応じて、各収音部11−nの位置が変化する。また、収音部11−0〜11−7は、それぞれ異なる位置に配置され、互いに位置関係が固定されていることによりマイクロホンアレイが形成される。
音源Sは、音を発生する実体(例えば、人、楽器、音響機器、等の物体)である。音源方向dは、8個の収音部11−0〜11−7の位置の中心Cからの、X軸方向を基準とした音源Sの方向である。
[d][0]〜A[d][7]は、音源方向dに対する収音部11−0〜11−7の伝達関数、つまり、音源方向dに配置された音源Sから収音部11−0〜11−7のそれぞれまでの伝達関数を示す。以下の説明では、主に二次元平面内の音源方向dに対する収音部11−0〜11−7の伝達関数A[d][0]〜A[d][7]を扱う場合を例にとる。
なお、以下の説明では、各収音部11−n(nは、0からNまでの整数)の位置を収音位置、又はチャネルnの収音位置と呼ぶことがある。N+1個の収音部11−0〜11−Nで形成されるマイクロホンアレイの代表点(例えば、重心点)の位置を「収音部11の位置」と呼ぶことがある。また、後述するように伝達関数A[d][0]〜A[d][7]は、周波数ω毎に得られるが、図面や以下の説明では周波数ωの表記を省略することがある。
(時間差の算出処理)
次に、時間差算出部104(図1)による時間差の算出処理について説明する。
時間差算出部104は、ピーク検出部103から入力されたN+1チャネルの音響信号についてチャネル対毎に時間差を算出する。時間差算出部104は、N・(N−1)/2個のチャネル対のうち、収音位置が幾何的に互いに近接した2つの収音部11−n、11−m(mは、0からNまでの整数、m≠n)のそれぞれに対応したチャネルn、mからなるチャネル対について時間差を算出する。N・(N−1)/2は、N+1個の収音部11−0〜11−Nが周回的に配置されている場合のチャネル対の総数である。
時間差算出部104には、時間差を算出すべきチャネル対として、一方の収音部11−nから予め定めた範囲内の他方の収音部11−mのそれぞれに対応するチャネル対を予め設定しておく。このチャネルn、mからなるチャネル対を、近接チャネル対と呼ぶ。
図3は、近接チャネル対の設定例を示す図である。
図3に示す例では、一方のチャネルが収音部11−0に対応するチャネル0である近接チャネル対は、チャネル0と収音部11−1に対応するチャネル1との組からなる近接チャネル対chp01と、チャネル0と収音部11−7に対応するチャネル7との組からなる近接チャネル対chp07である。一方のチャネルが収音部11−5に対応するチャネル5である近接チャネル対は、チャネル5と収音部11−4に対応するチャネル4との組からなる近接チャネル対chp45、チャネル5と収音部11−6に対応するチャネル6との組からなる近接チャネル対chp56である。一方のチャネルが、その他のチャネルである場合についても同様にして近接チャネル対を定めることができる。
時間差算出部104に設定される全ての近接チャネル対には、各1個の近接チャネル対を形成する一方のチャネルに、チャネル0〜Nがそれぞれ含まれていればよい。例えば、互いに隣接する収音部を形成するチャネル対、つまり、チャネル0とチャネル1との組からなる近接チャネル対chp01、chp12、chp23、ch34、chp45、chp56、chp67、chp07が含まれていればよい。
次に、近接チャネル対chpmnについて算出されるチャネルm、n間の時間差Δtmn,kについて説明する。
図4は、チャネルm、nでそれぞれ観測される音の観測時刻tm,k、tn,kを表す図である。横軸は、時刻を示す。
時間差Δtmn,kは、観測時刻tn,kと観測時刻tm,kとの間の時間tn,k−tm,kである。各チャネルの観測時間には、音源Sからの音波の伝搬時間に観測時刻誤差が付加される。
観測時刻tm,kは、音源Sが時刻Tで音を発したときに収音部11−mで音波が観測される時刻である。観測時刻tm,kは、時刻Tにチャネルmでの観測時刻誤差mm,τに音源Sから収音部11−mへの音波の伝搬時間Dm,k/cが加わった時刻である。ここで、Dm,kは、音源Sから収音部11−mまでの距離を示す。cは、音速を示す。観測時刻tn,kは、時刻Tにチャネルnでの観測時刻誤差mn,τに音源Sから収音部11−nへの音波の伝搬時間Dn,k/cが加わった時刻である。Dn,kは、音源Sから収音部11−nまでの距離を示す。従って、時間差Δtmn,kは、式(1)で表わされる。
Figure 2015154207
式(1)において、伝搬時間Dn,kは、式(2)に示すように、音源位置(x,y)及びチャネルnの収音位置(mn,x,mn,y)の関数となる。
Figure 2015154207
伝搬時間Dm,kは、式(2)においてチャネルnの収音位置(mn,x,mn,y)にチャネルmの収音位置(mm,x,mm,y)を代入して与えられる。
従って、時間差Δtn,kは、チャネルm、nの観測時刻誤差mm,τ、mn,τ、音源位置(x,y)、及びチャネルm、nの収音位置(mm,x,mm,y)、(mn,x,mn,y)、即ち、前述の音源状態情報の関数となる。
時間差算出部104は、算出したチャネル対毎の時間差を要素とする時刻kの観測値ベクトルζを生成し、生成した観測値ベクトルζを時間差情報として収音位置算出部105に出力する。
(収音位置算出部の構成)
図1に戻り、収音位置算出部105の構成について説明する。
収音位置算出部105は、時間差算出部104から入力された時間差情報に基づいて、EKFに基づくSLAM法を用いて収音位置を算出する。収音位置を算出する際、収音位置算出部105は、現時刻kの観測値ベクトルζと、前時刻k−1から予測された現時刻kの音源状態情報ξk|k−1に基づいて算出される観測値ベクトルζk|k−1との誤差が減少するように、現時刻kの音源状態情報ξを更新する。更新された音源状態情報ξ、予測された音源状態情報ξk|k−1は、それぞれ時刻kにおけるチャネルnの収音位置(mn,x,mn,y)を含む情報である。音源状態情報ξk|k−1を算出する処理については、後述する。
収音位置算出部105は、状態更新部1051、状態予測部1052、カルマンゲイン算出部1054、及び収束判定部1055を含んで構成される。
状態更新部1051は、時間差算出部104から入力された時間差情報が示す現時刻kの観測値ベクトルζに観測誤差ベクトルδを加算し、加算により得られた加算値に観測値ベクトルζを更新する。観測誤差ベクトルδは、平均値が0であり予め定めた共分散で分布しているガウス分布に従う乱数ベクトルである。この共分散を各行各列の要素として含む行列を共分散行列Qと表す。
状態更新部1051は、入力された時間差情報が示す現時刻kの観測値ベクトルζに基づいて、例えば、式(3)を用いて現時刻kの音源状態情報ξを更新する。
Figure 2015154207
式(3)において、現時刻kの音源状態情報ξk|k−1は、前時刻kの音源状態情報から予測された現時刻kの音源状態情報を示す。Kは、現時刻kのカルマンゲインを示す。観測値ベクトルζk|k−1は、前時刻k−1から予測された現時刻kの観測値ベクトルを示す。即ち、式(3)は、前時刻k−1の音源状態情報から予測された現時刻kの音源状態情報ξk|k−1に、現時刻kの観測値ベクトルの予測残差(ζ−ζk|k−1)にカルマンゲインKを乗じて得られた乗算値ベクトルK(ζ−ζk|k−1)を加算して、現時刻kの音源状態情報ξを算出することを示す。乗算値ベクトルK(ζ−ζk|k−1)は、音源状態情報ξk|k−1の更新量に相当する。なお、音源状態情報ξk|k−1、観測値ベクトルζk|k−1は、状態予測部1052からそれぞれ入力され、カルマンゲインKは、カルマンゲイン算出部1054から入力される。
状態更新部1051は、カルマンゲインK、行列H、及び前時刻k−1の共分散行列Pk−1から予測された現時刻kの共分散行列Pk|k−1に基づき、例えば式(4)を用いて現時刻kの共分散行列Pを算出する。
Figure 2015154207
式(4)において、Iは単位行列を表す。即ち、式(4)は、共分散行列Pk|k−1に単位行列IからカルマンゲインKと行列Hとの積を減じて得られた行列を乗じて、現時刻kの共分散行列Pを算出することを示す。共分散行列Pは、音源状態情報ξの誤差の大きさを示すところ、式(4)は、音源状態情報ξの誤差の大きさを低減するように共分散行列Pk|k−1をPに更新することを示す。なお、行列Hは、カルマンゲイン算出部1054から入力される。
状態更新部1051は、算出した現時刻kの共分散行列P、音源状態情報ξを状態予測部1052に出力する。また、状態更新部1051は、音源状態情報ξを収束判定部1055に出力する。
状態予測部1052には、状態更新部1051から前時刻k−1の音源状態情報ξk−1、共分散行列Pk−1が入力される。状態予測部1052は、前時刻k−1の音源状態情報ξk−1から現時刻kの音源状態情報ξk|k−1を予測し、前時刻k−1の共分散行列Pk−1から現時刻kの共分散行列Pk|k−1を予測する。
ここで、状態予測部1052は、前時刻k−1の音源状態情報ξk−1が示す音源位置(xk−1,yk−1)に、現時刻kでの間に所定の移動量(Δx’,Δy’)に移動量の誤差を示す誤差ベクトルεを加えた移動量(Δx,Δy)に加算することにより、現時刻kの音源状態情報ξk|k−1を算出する。(…)は、ベクトル又は行列の転置を示す。誤差ベクトルεは、平均値が0であり、その分布がガウス分布に従う乱数ベクトルである。このガウス分布の特性を表す共分散を各行各列の要素として含む行列を共分散行列Rと表す。具体的には、状態予測部1052は、式(5)を用いて現時刻kの音源状態情報ξk|k−1を算出する。
Figure 2015154207
式(5)において、行列Fηは、式(6)で表される行列(2行3N+5列)である。
Figure 2015154207
なお、移動量(Δx’,Δy’)は、予め仮定した音源の移動モデルに応じて与えられる。移動モデルは、例えば、ランダムウォークモデルである。具体的には、ランダムウォークモデルでは、平均値が0であり、その分布が所定の分散値を有するガウス分布に従う乱数ベクトルを移動量(Δx,Δy)として用いる。
他方、状態予測部1052は、前時刻k−1の共分散行列Pk−1から現時刻kの共分散行列Pk|k−1を、例えば、式(7)を用いて算出する。
Figure 2015154207
式(7)は、前時刻k−1の共分散行列Pk−1に、移動量の誤差分布を表す共分散行列Rを加算して現時刻kの共分散行列Pk|k−1を予測することを表す。
また、状態予測部1052は、算出した現時刻kの音源状態情報ξk|k−1に基づいて式(1)、(2)で与えられるチャネル対毎の時間差を算出し、算出した時間差を要素とする時刻kの観測値ベクトルζk|k−1を生成する。
状態予測部1052は、算出した時刻kの音源状態情報ξk|k−1、共分散行列Pk|k−1、観測値ベクトルζk|k−1を状態更新部1051とカルマンゲイン算出部1054に出力する。
カルマンゲイン算出部1054は、前述の共分散行列Qと、状態予測部1052から入力された時刻kの音源状態情報ξk|k−1、共分散行列Pk|k−1に基づいて、例えば式(8)を用いてカルマンゲインKを算出する。
Figure 2015154207
式(8)において、(…)−1は、行列…の逆行列を示す。行列Hは、式(9)で表されるように観測関数ベクトルh(ξk|k−1)の各要素を、音源状態情報ξk|k−1の各要素で偏微分して得られるヤコビアンである。
Figure 2015154207
式(9)において観測関数ベクトルh(ξ)は、音源状態情報ξに基づいて算出される観測値ベクトルζを示す。即ち、行列Hは、状態更新部1051から入力された観測値ベクトルζk|k−1の各要素(式(1)参照)を偏微分して算出される。
カルマンゲイン算出部1054は、算出したカルマンゲインKと行列Hを状態更新部1051に出力する。
収束判定部1055は、状態更新部1051から入力された音源状態情報ξの推定誤差が収束したか否かを判定する。収束判定部1055は、収束したと判定した場合、音源状態情報ξを音源方向算出部106に出力する。
収束判定部1055は、例えば、前時刻k−1の音源状態情報ξk−1が示す収音位置(mn,x,mn,y)と現時刻kの音源状態情報ξが示す収音位置(mn,x,mn,y)の間の平均距離Δξを算出する。収束判定部1055は、算出した平均距離Δξが予め設定された閾値よりも小さくなったとき収束したと判定し、それ以外の場合には収束していないと判定する。
(音源状態推定処理)
次に、収音位置算出部105が収音位置を算出する際に行う音源状態推定処理について説明する。
図5は、本実施形態に係る音源状態推定処理を示すフローチャートである。
(ステップS101)状態予測部1052は、音源状態情報ξk−1、共分散行列Pk−1の初期値を設定する。その後、ステップS102に進む。
(ステップS102)状態予測部1052は、前時刻k−1の音源状態情報ξk−1が示す音源位置(xk−1,yk−1)に、誤差ベクトルεが付加された移動量(Δx,Δy)に加算して現時刻kの音源状態情報ξk|k−1を予測する(式(5))。
状態予測部1052は、前時刻k−1の共分散行列Pk−1に、移動量の誤差分布を表す共分散行列Rを加算して現時刻kの共分散行列Pk|k−1を予測する(式(7))。その後、ステップS103に進む。
(ステップS103)カルマンゲイン算出部1054は、観測誤差の分布を示す共分散行列Qと、予測された現時刻kの音源状態情報ξk|k−1、共分散行列Pk|k−1に基づいて、カルマンゲインKを算出する(式(8))。その後、ステップS104に進む。
(ステップS104)状態更新部1051は、予測された現時刻kの音源状態情報ξk|k−1’に、現時刻kの観測値ベクトルの予測残差(ζ−ζk|k−1)にカルマンゲインKを乗じて得られた乗算値ベクトルを加算して現時刻kの音源状態情報ξを算出する(式(3))。
状態更新部1051は、共分散行列Pk|k−1に単位行列IからカルマンゲインKと行列Hとの積を減じて得られた行列を乗じて、現時刻kの共分散行列Pを算出する(式(4))。その後、ステップS105に進む。
(ステップS105)収束判定部1055は、音源状態情報ξの推定誤差が収束したか否か判定する。収束判定部1055は、収束したと判定した場合(ステップS105 YES)、音源状態情報ξを音源方向算出部106に出力し、図5に示す処理を終了する。収束判定部1055は、収束していないと判定した場合(ステップS105 NO)、現時刻kを前時刻k−1に更新し、ステップS102に進む。
(音源方向算出部の構成)
図1に戻り、音源方向算出部106の構成について、主に収音位置算出部105と対比して説明する。
音源方向算出部106は、収音位置算出部105と同様に、時間差算出部104から入力された時間差情報に基づいて、EKFに基づくSLAM法を用いて収音位置を算出する。
即ち、図5の音源状態推定処理と同様の処理を行う。この処理により、音源方向算出部106は、現時刻kの観測値ベクトルζと、前時刻k−1から予測された現時刻kの音源状態情報ξk|k−1に基づいて算出される観測値ベクトルζk|k−1との誤差が減少するように、現時刻kの音源状態情報ξを更新する。更新された音源状態情報ξ、又は予測した音源状態情報ξk|k−1は、時刻kにおけるチャネルnの音源位置(x,y)を含む情報である。
音源方向算出部106は、状態更新部1061、状態予測部1062、カルマンゲイン算出部1064、及び収束判定部1065を含んで構成される。状態更新部1061、状態予測部1062、カルマンゲイン算出部1064、及び収束判定部1065は、それぞれ収音位置算出部105の状態更新部1051、状態予測部1052、カルマンゲイン算出部1054、及び収束判定部1055と同様な処理を行う。
但し、状態予測部1062は、収音位置算出部105から入力された音源状態情報ξを初期値として音源状態情報ξk|k−1を算出する処理を開始する。また、状態更新部1061、状態予測部1062は、それぞれ音源状態情報ξk|k−1、ξに含まれる各チャネルnの収音位置(mn,x,mn,y)、観測時刻誤差mn,τを一定値とし、その他の要素、音源位置(x,y)を可変値として音源状態情報ξk|k−1、ξを算出する処理を行う。これに応じて、状態更新部1061、状態予測部1062、及びカルマンゲイン算出部1064は、共分散行列Pk|k−1、P、カルマンゲインK、行列H、その他の行列の計算において、音源位置(x,y)に係る行列要素のみについて処理を行う。
収束判定部1065は、状態更新部1061から入力された音源状態情報ξの推定誤差が収束したか否か判定する。収束判定部1065は、収束したと判定した場合、音源状態情報ξが示す音源位置(x,y)に基づいて音源方向dを算出する。収束判定部1065は、算出した音源方向dを示す音源方向情報を第1伝達関数算出部107に出力する。
収束判定部1065は、例えば、前時刻k−1の音源状態情報ξk−1が示す音源位置(xk−1,yk−1)と現時刻kの音源状態情報ξが示す音源位置(x,y)の間の平均距離Δξを算出する。収束判定部1065は、算出した平均距離Δξが予め設定された閾値よりも小さくなったとき収束したと判定し、それ以外の場合には収束していないと判定する。
(第1伝達関数の算出処理)
第1伝達関数算出部107は、上述したように対象チャネルnの音響信号と代表チャネル0の音響信号から、リグレッションモデル(regression model)に基づいてその対象チャネルの伝達関数A[d][n]を算出する。リグレッションモデルでは、代表チャネル0、対象チャネルnの音響信号に基づいて形成される観測値が、代表チャネル0の音響信号に基づいて形成されるリグレッサと基底パラメータとして伝達関数との畳み込みにより与えられ、かつ、所定の観測時間内で伝達関数が一定である、と仮定されている。そして、リグレッションモデルでは、観測値からリグレッサによる寄与を除することによって伝達関数が算出される。これにより、第1伝達関数算出部107は、測定用の音源信号を用いずに収音部11−0〜11−Nで収録された音響信号に基づいて各対象チャネルnの伝達関数を算出することができる。
次に、第1伝達関数算出部107が第1伝達関数を算出する処理(第1伝達関数算出処理)について説明する。
図6は、本実施形態に係る第1伝達関数算出処理を示すフローチャートである。
(ステップS201)第1伝達関数算出部107は、各対象チャネルnの音響信号をそれぞれ予め定めた遅延時間Tだけ遅延させる。遅延時間Tは、音源と各収音部11との位置関係によらず、各対象チャネルnの音響信号が代表チャネル0の音響信号よりも遅らせることを目的とする。例えば、N+1個の収音部11−0〜11−Nが共通の円周上に配置されている場合には(図2)、遅延時間Tは、少なくともその円周の直径に相当する距離を音波が進行する時間よりも長ければよい。その後、ステップS202に進む。
(ステップS202)第1伝達関数算出部107は、代表チャネルの音響信号x、各対象チャネルの音響信号xを所定のサンプル数Lからなるフレーム毎に周波数領域に変換して変換係数X(ω),X(ω)を算出する。ここで、ωは、周波数を示す。そして、第1伝達関数算出部107は、フレーム毎に算出した変換係数X(ω),X(ω)を、予め定めたFフレーム分集約する。ここで、Fは、予め定めたフレーム数、例えば、8である。以下の説明では、フレームfで算出された変換係数を、それぞれX0,f(ω),Xn,f(ω)と表す。その後、ステップS203に進む。
(ステップS203)第1伝達関数算出部107は、Fフレーム分の代表チャネルの変換係数X0,f(ω)を要素とするリグレッサ(ベクトル)Φを生成する。リグレッサΦは、[X0,1(ω),X0,2(ω),…,X0,F(ω)]である。
第1伝達関数算出部107は、Fフレーム分のN+1チャネルの変換係数を要素とする観測値(行列)Xを生成する。観測値Xは、N+1チャネル分の変換係数ベクトルX,X,…,XN+1を要素とする行列である。具体的には、観測値Xは、[X(ω),X(ω),…,X(ω)]である。各チャネルnの変換係数ベクトルX(ω)は、[Xn,1(ω),Xn,2(ω),…,Xn,F(ω)]である。その後、ステップS204に進む。
(ステップS204)第1伝達関数算出部107は、構成した観測値XとリグレッサΦから、式(10)を用いてチャネル毎の伝達関数A[d][0],A[d][1],…A[d][N]を算出する。
Figure 2015154207
式(10)において、A(ω)は、チャネル毎の伝達関数A[d][n]を要素とする伝達関数ベクトルを示す。つまり、A(ω)は、[A[d][0],A[d][1],…,A[d][N]]である。また、(ΦΦ−1Φは、リグレッサΦ(1列の行列)の疑似逆行列に相当する。即ち、式(10)は、観測値XをリグレッサΦで近似的に除算して伝達関数ベクトルA(ω)を算出することを示す。その後、ステップS205に進む。
(ステップS205)第1伝達関数算出部107は、算出した伝達関数ベクトルA(ω)から対象チャネルに係る伝達関数A[d][1](ω),…,A[d][N](ω)を第1伝達関数として抽出する。但し、第1伝達関数算出部107は、代表チャネルに係る伝達関数A[d][0](ω)を無視してもよい。代表チャネルに係る音響信号はリグレッサΦとして用いられるので、伝達関数A[d][0](ω)は有意な値をとらないためである。
第1伝達関数算出部107は、音源方向算出部106から入力された音源方向dを示す音源方向情報と、算出した第1伝達関数A[d][n](ω)を示す第1伝達関数情報とを対応付けて伝達関数記憶部108に記憶する。その後、図6に示す処理を終了する。
(第1伝達関数データの例)
次に、伝達関数記憶部108に記憶される第1伝達関数データの例について説明する。
図7は、本実施形態に係る第1伝達関数データの例を示す図である。
図7に示す例では、音源方向情報が示す音源方向dと、第1伝達関数情報が示すチャネル1〜7の伝達関数A[d][1](ω),A[d][2](ω),…A[d][7](ω)が対応付けられている。例えば、図7の第2行に示すように、音源方向13°には、チャネル1の伝達関数0.24+0.35j(jは、虚数単位)、チャネル2の伝達関数0.44−0.08j、チャネル3の伝達関数0.40+0.29j、チャネル4の伝達関数0.18+0.51j、チャネル5の伝達関数−0.37+0.32j、チャネル6の伝達関数−0.14+0.48j、及びチャネル7の伝達関数0.15+0.29jが対応付けられている。
なお、各チャネルの音響信号に対する周波数領域への変換は、所定のサンプル数Lからなるフレーム毎に行われるので、実際には各チャネルの伝達関数は、各音源方向dについてL/2個の周波数ωのそれぞれについて与えられる。但し、簡単のため、図7には、L/2個のうち各1個のみが図示されている。
第1伝達関数に対応する音源方向は、各行間で不規則に配列されることがある。例えば、図7の第1列第1、2、3行に示す音源方向は、それぞれ13°、29°、35°である。この不規則な配列は、第1伝達関数算出部107が、算出した音源方向を示す音源方向情報を伝達関数記憶部108にその都度記憶することによって生じる。
そこで、第1伝達関数算出部107は、音源方向情報が示す音源方向が昇順又は降順に配列されるように、音源方向情報と第1伝達関数情報との組を並び替えてもよい。これにより、第2伝達関数算出部109は参照すべき音源方向情報を効率的に探索することができる。
また、伝達関数記憶部108に記憶された音源方向情報が示す音源方向に、音源方向算出部106で新たに算出された音源方向dと等しい音源方向、又はその音源方向から予め定めた範囲内の音源方向が含まれる場合には、第1伝達関数算出部107は、その音源方向情報に対応付けて記憶された第1伝達関数情報を、新たに生成した第1伝達関数情報に置き換えてもよい。
(第2伝達関数の算出処理)
第2伝達関数算出部109は、目標音源方向に基づいて伝達関数記憶部108に記憶された第1伝達関数データから参照すべき音源方向情報を特定する。以下の説明では、参照すべき音源方向を参照音源方向、参照音源方向を示す情報を参照音源方向情報と呼ぶ。第2伝達関数算出部109は、特定した参照音源方向にそれぞれ対応する第1伝達関数を、FTDLI法を用いて補間することにより目標音源方向に対応する第2伝達関数を算出する。FTDLI法は、各参照方向の第1伝達関数の位相、振幅を目標音源方向に基づいてそれぞれ補間し、それぞれ補間により得られた位相、振幅により第2伝達関数を構成する方法である。
具体的には、第2伝達関数算出部109は、次に説明する補間処理を実行する。
図8は、本実施形態に係る補間処理を示すフローチャートである。
(ステップS301)第2伝達関数算出部109は、目標音源方向dをその間に挟む2つの音源方向であって、互いに隣接する音源方向d、dをそれぞれ示す音源方向情報を参照音源方向情報として特定する(図9参照)。図9において、音源方向d、dは、それぞれ音源S1、S2の方向を示す。その後、ステップS302に進む。
(ステップS302)第2伝達関数算出部109は、特定した参照音源方向情報にそれぞれ対応した第1伝達関数情報を伝達関数記憶部108から読み出す。その後、ステップS303に進む。
(ステップS303)第2伝達関数算出部109は、読み出した第1伝達関数情報が示す第1伝達関数A[d1][n](ω),A[d2][n](ω)を周波数領域線形補間(FDLI:Frequency Domain Linear Interpolation)法を用いて、伝達関数Am[F](ω)を算出(補間)する。伝達関数Am[F](ω)を算出する際、第2伝達関数算出部109は、式(11)を用いる。
Figure 2015154207
式(11)において、δ,δは、それぞれ補間係数を示す。補間係数δ,δは、参照音源方向d,dにそれぞれ対応する第1伝達関数A[d1][n](ω),A[d2][n](ω)の寄与の度合いを示す係数である。
補間係数δは、参照音源方向間の角度(d−d)の参照音源方向dと目標音源方向dとの間の角度(d−d)に対する比|(d−d)/(d−d)|、補間係数δは、参照音源方向間の角度(d−d)の参照音源方向dと目標音源方向dとの間の角度(d−d)に対する比|(d−d)/(d−d)|である。つまり、伝達関数Am[F]は、2つの参照音源方向d,dにそれぞれ対応する第1伝達関数A[d1][n](ω),A[d2][n](ω)の目標音源方向dによる内分比の逆数をそれぞれの重み係数とした相加平均である。参照音源方向が目標音源方向dから離れるほど、その寄与の度合いが小さくなるように補間係数が与えられる。その後、ステップS304に進む。
(ステップS304)第2伝達関数算出部109は、読み出した第1伝達関数情報が示す第1伝達関数A[d1][n](ω),A[d2][n](ω)を時間領域線形補間(TDLI:Time Domain Linear Interpolation)法を用いて、伝達関数Am[T](ω)を算出(補間)する。伝達関数Am[T](ω)を算出する際、第2伝達関数算出部109は、式(12)を用いる。
Figure 2015154207
つまり、伝達関数Am[T]は、2つの参照音源方向d,dにそれぞれ対応する第1伝達関数A[d1][n](ω),A[d2][n](ω)の目標音源方向dによる内分比を重み係数とした相乗平均である。その後、ステップS305に進む。
(ステップS305)第2伝達関数算出部109は、算出した伝達関数Am[F](ω)を絶対値λm[F]と位相tm[F]に分解し、伝達関数Am[T](ω)を振幅(絶対値)λm[T]と位相tm[T]に分解する。伝達関数Am[F](ω)と、振幅λm[F]ならびに位相tm[F]は、式(13)に示す関係を有する。
Figure 2015154207
伝達関数Am[T](ω)と、振幅λm[T]ならびに位相tm[T]は、式(14)に示す関係を有する。
Figure 2015154207
その後、ステップS306に進む。
(ステップS306)第2伝達関数算出部109は、式(15)に示すように、TDLI法による振幅λm[T]にFDLI法による位相tm[F]を乗算して、目標音源方向dに対応する第2伝達関数A[d][n](ω)を算出する。
Figure 2015154207
その後、図8に示す処理を終了する。TDLI法による目標音源方向の振幅の大きさは2つの参照音源方向のそれぞれの振幅の大きさの間になる。これに対し、TDLI法による目標音源方向の位相の値は、2つの参照音源方向のそれぞれの位相の値の間になるとは限らない。他方、FDLI法による目標音源方向の振幅の大きさは2つの参照音源方向のそれぞれの振幅の大きさの間になるとは限らない。これに対し、FDLI法による目標音源方向の位相値は2つの参照音源方向のそれぞれの位相の値の中間になる。FTDLI法では、TDLI法による振幅とFDLI法による位相とから第2伝達関数を構成する。構成した第2伝達関数の振幅の大きさ、位相値は、ともに2つの参照音源方向の間になる。そのため、FTDLI法を用いることにより補間特性を向上させることができる。
なお、上述したように伝達関数記憶部108に記憶される音源方向は不規則であるため、その音源方向の分布が狭い範囲内に偏ることがある。そこで、第2伝達関数算出部109は、1周分の角度(360°)を所定の分割数Mで等分割された360/M°の分割領域のそれぞれについて少なくとも1個の音源方向に係る音源方向情報と第1伝達関数情報とが記憶されている場合に限り、第2伝達関数の補間処理を実行するようにしてもよい。分割数Mは、少なくとも3以上であり、望ましくは6以上であればよい。これにより、第2伝達関数算出部109は、参照音源方向の候補として伝達関数記憶部108に記憶される音源方向が全方向に均等に分布していることを判定することができる。第2伝達関数算出部は、その判定を行った後で第2伝達関数の補間処理を行うので、算出した第2伝達関数の精度を確保することができる。
なお、上述したステップS301において、目標音源方向dよりも値が大きい参照音源方向dを発見できなかった場合には、第2伝達関数算出部109は、伝達関数記憶部108を参照して得られる音源方向に1周分の角度(360°)を加算した音源方向から参照音源方向dを特定する処理を実行してもよい。また、目標音源方向dよりも値が小さい参照音源方向dを発見できなかった場合には、第2伝達関数算出部109は、伝達関数記憶部108を参照して得られる音源方向に1周分の角度(360°)を減算した音源方向から参照音源方向dを特定する処理を実行してもよい。
そして、ステップS303では、第2伝達関数算出部109は、その特定した参照音源方向d又は参照音源方向dに基づいて補間係数δ,δを算出する。
これにより、目標音源方向dを挟む2つの参照音源方向が0°(360°の位相の変化がある)を跨ぐ場合でも、適切な参照音源方向を定めることができる。
(音響処理)
次に、本実施形態に係る音響処理について説明する。
図10は、本実施形態に係る音響処理を示すフローチャートである。
(ステップS401)ピーク検出部103は、信号入力部から入力されたいずれかのチャネルの音響信号が示す信号値のピークを検出し、ピークが検出されたサンプル時刻から予め定めた時間内の音響信号を各チャネルについて抽出する。その後、ステップS402に進む。
(ステップS402)時間差算出部104は、抽出されたN+1チャネルの音響信号についてチャネル対毎に時間差を算出し、算出したチャネル対毎の時間差を示す時間差情報を生成する。その後、ステップS403に進む。
(ステップS403)収音位置算出部105は、時間差情報に基づいて収音位置を算出する。その後、ステップS404に進む。
(ステップS404)音源方向算出部106は、時間差情報と収音位置算出部105で収音位置を算出する過程で得られた音源状態情報が示す収音位置に基づいて音源方向を算出する。その後、ステップS405に進む。
(ステップS405)第1伝達関数算出部107は、各対象チャネルの音響信号と代表チャネルの音響信号に基づいて、対象チャネル毎の第1伝達関数A[d][n]を算出し、音源方向を示す音源方向情報と、算出した第1伝達関数A[d][n]を示す第1伝達関数情報とを対応付けて伝達関数記憶部108に記憶する。その後、ステップS406に進む。
(ステップS406)第2伝達関数算出部109は、目標音源方向を挟む2つの参照音源方向を特定し、特定した2つの参照音源方向にそれぞれ対応する第1伝達関数情報を伝達関数記憶部108から読み出す。第2伝達関数算出部109は、読み出した第1伝達関数情報が示す第1伝達関数を、それぞれの参照音源方向間の間隔を目標音源方向で内分する内分比の逆数で補間して第2伝達関数を算出する。
第2伝達関数算出部109は、伝達関数記憶部108に記憶された第1伝達関数データを参照し、音源方向情報が示す音源方向と目標の音源方向(目標音源方向)とに基づいて、その音源方向情報にそれぞれ対応する第1伝達関数を補間する。補間により目標音源方向に対応する第2伝達関数が算出される。その後、図10に示す処理を終了する。
以上に説明したように、本実施形態に係る音響処理装置10は、複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出する収音位置算出部105と、複数のチャネルの音響信号に基づいて音源方向を算出する音源方向算出部106とを備える。また、音響処理装置10は、複数のチャネルの音響信号に基づいて音源方向に対応する第1伝達関数を算出する第1伝達関数算出部107と、複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する第2伝達関数算出部109と、を備える。
この構成により、収音された音響信号に基づいて音源方向と第1伝達関数との組が得られ、得られた音源方向に係る第1伝達関数を参照して所望の音源方向に係る第2伝達関数が算出される。そのため、測定用の音源を用いずに室内環境に応じた所望の方向に係る伝達関数を算出することができる。
また、本実施形態に係る音響処理装置10は、チャネル間の音響信号の時間差を算出する時間差算出部104を備える。また、音響処理装置10において、収音位置算出部105は、収音位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する状態予測部1052と、時間差算出部104が算出した時間差と現在の音源状態情報に基づく時間差との差が減少するように現在の音源状態情報を更新する状態更新部1051とを備える。
この構成により、収音された音響信号に基づいて収音位置を逐次に算出することができるので、その他の計測手段を用いなくてもその時点の収音位置を得ることができる。
また、本実施形態に係る音響処理装置10において、時間差算出部104は、収音位置間の配置が所定範囲内であるチャネル間の音響信号の時間差を算出する。
この構成により、近接した収音位置間の時間差が算出されるので、算出された時間差の変動が抑制される。そのため、収音位置算出部は、算出された時間差に基づいて行われる音源状態情報を安定して推定することができるので、収音位置を高い精度で算出することができる。
また、本実施形態に係る音響処理装置10において、音源方向算出部106は、音源位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する状態予測部1062と、時間差算出部104が算出した時間差と現在の音源状態情報に基づく時間差との差が減少するように現在の音源状態情報を更新する状態更新部1061と、を備える。
この構成により、収音された音響信号に基づいて音源方向を逐次に算出することができるので、その他の計測手段を用いなくてもその時点の音源方向を得ることができる。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について説明する。上述した実施形態と同一の構成については同一の符号を付して、上述した説明を援用する。
図11は、本実施形態に係る音響処理システム1Aの構成を示す概略ブロック図である。
音響処理システム1Aは、収音部11と音響処理装置10Aを含んで構成される。
音響処理装置10Aは、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105、音源方向算出部106A、第1伝達関数算出部107A、伝達関数記憶部108、及び第2伝達関数算出部109を含んで構成される。
即ち、音響処理装置10Aは、音響処理装置10(図1)において、音源方向算出部106(図1)、第1伝達関数算出部107(図1)に代えて、音源方向算出部106A、第1伝達関数算出部107Aを備える。
音源方向算出部106Aは、音源方向算出部106と同様な構成を備え、同様な処理を行う。但し、音源方向算出部106Aには、収音位置算出部105に入力された時間差情報よりも少なくとも遅延時間Tだけ遅れた時刻の音響信号に係る時間差情報が入力される。遅延時間Tは、収音位置算出部105で算出される音源状態情報ξの推定誤差の収束時間よりも長い予め定めた時間である。「少なくとも遅延時間Tだけ遅れた時刻」とは、ある時刻から遅延時間T後か、それよりも遅い時刻であることを意味する。ピーク検出部103は、1つのピークを検出した時刻から遅延時間T後に次のピークを検出するとは限らないためである。音源方向算出部106Aは、この時間差情報を、収音位置算出部105に入力された時間差情報と同一の時間差情報に代えて用いることにより音源方向dを算出する。音源方向算出部106Aは、算出した音源方向dを示す音源方向情報を第1伝達関数算出部107Aに出力する。
第1伝達関数算出部107Aは、第1伝達関数算出部107と同様な構成を備え、同様な処理を行う。但し、第1伝達関数算出部107Aに入力された音響信号は、音源方向算出部106Aに入力された時間差情報に係るN+1チャネルの音響信号であり、収音位置算出部105に入力された時間差情報に係る音響信号よりも少なくとも遅延時間Tだけ遅れた時刻の音響信号である。第1伝達関数算出部107Aは、入力された音響信号に基づいて、その対象チャネル毎の第1伝達関数A[d][n]を算出する。
第1伝達関数算出部107Aは、音源方向算出部106Aから入力された音源方向情報と、算出した第1伝達関数A[d][n]を示す第1伝達関数情報とを対応付けて伝達関数記憶部108に記憶する。
(音響処理)
次に、本実施形態に係る音響処理について説明する。
図12は、本実施形態に係る音響処理を示すフローチャートである。
図12に示す音響処理は、ステップS401〜S403、S404A、S405A、S406を有する。そこで、音響処理装置10Aは、ステップS401〜S403を実行した後、ステップS404Aに進む。
(ステップ404A)音源方向算出部106Aには、収音位置算出部105に入力された時間差情報に係る音響信号よりも少なくとも遅延時間Tだけ遅れた時刻の音響信号に係る時間差情報が入力される。音源方向算出部106Aは、その時間差情報と収音位置算出部105で収音位置を算出する過程で得られた音源状態情報が示す収音位置に基づいて音源方向を算出する。その後、ステップS405Aに進む。
(ステップ405A)第1伝達関数算出部107Aには、収音位置算出部105に入力された時間差情報に係る音響信号よりも少なくとも遅延時間Tだけ遅れた時刻の音響信号が入力される。第1伝達関数算出部107Aは、対象チャネル毎の第1伝達関数A[d][n]を算出し、音源方向を示す音源方向情報と、算出した第1伝達関数A[d][n]を示す第1伝達関数情報とを対応付けて伝達関数記憶部108に記憶する。その後、ステップS406に進む。
以上に説明したように、本実施形態に係る音響処理装置10Aにおいて、音源方向算出部106Aには、収音位置算出部105に入力された時間差情報よりも少なくとも所定の遅延時間(例えば、T)だけ遅れた時刻の時間差情報が入力され、第1伝達関数算出部107Aには、収音位置算出部105に入力された時間差情報に係る音響信号よりも少なくともその遅延時間だけ遅れた時刻の時間差情報が入力される。
この構成により、収音位置算出部105が行う処理と、音源方向算出部106Aならびに第1伝達関数算出部107Aが行う処理を並列させることができる。そのため、収音位置算出部105において音源状態情報の推定誤差が収束するまでの遅延時間が音源方向算出部106Aならびに第1伝達関数算出部107Aには及ばないので、音源方向と第1伝達関数をより迅速に得ることができる。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態について説明する。上述した実施形態と同一の構成については同一の符号を付して、上述した説明を援用する。
図13は、本実施形態に係る音響処理システム1Bの構成を示す概略ブロック図である。
音響処理システム1Bは、収音部11と音響処理装置10Bを含んで構成される。
音響処理装置10Bは、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105、音源方向算出部106B、第1伝達関数算出部107、伝達関数記憶部108、及び第2伝達関数算出部109Bを含んで構成される。
即ち、音響処理装置10Bは、音響処理装置10(図1)において、音源方向算出部106(図1)、第2伝達関数算出部109(図1)、に代えて音源方向算出部106B、第2伝達関数算出部109Bを備える。
音源方向算出部106Bは、音源方向算出部106において、さらに信頼度判定部1066Bを備える。
信頼度判定部1066Bは、収束判定部1065から音源方向情報が入力されたとき、状態更新部1061から現時刻kの観測値ベクトルの予測残差(ζ−ζk|k−1)が入力され、入力された予測残差の絶対値|ζ−ζk|k−1|を信頼度wと定める。定めた信頼度wは、その値が大きいほど音源方向算出部106Bが算出した音源方向dの信頼度が低く、その値が小さいほど音源方向dの信頼度が高いことを示す。
信頼度判定部1066Bは、信頼度wが予め定めた信頼度の閾値wthよりも小さいとき、入力された音源方向情報と信頼度wを示す信頼度情報とを対応付けて第1伝達関数算出部107に出力する。信頼度判定部1066Bは、信頼度wが予め定めた信頼度の閾値wthと等しいか、より大きいとき、入力された音源方向情報と信頼度wを示す信頼度情報を出力せずに棄却する。これにより、伝達関数記憶部108には、音源方向情報、信頼度情報及び第1伝達関数情報が対応付けて記憶され、第1伝達関数データが形成される。
なお、信頼度判定部1066Bは、現時刻kの音源状態情報ξの更新量、つまりK(ζ−ζk|k−1)が入力され、入力された更新量の絶対値を信頼度wと定めてもよい。
(第1伝達関数データの例)
次に、伝達関数記憶部108に記憶される第1伝達関数データの例について説明する。
図14は、本実施形態に係る第1伝達関数データの例を示す図である。
図14に示す例では、音源方向情報が示す音源方向dと、信頼度情報が示す信頼度wと、第1伝達関数情報が示すチャネル1〜7の伝達関数A[d][1](ω),A[d][2](ω),…A[d][7](ω)が対応付けられている。
例えば、図14の第2行に示す音源方向13°には、信頼度0.186、チャネル1の伝達関数0.24+0.35j、チャネル2の伝達関数0.44−0.08j、チャネル3の伝達関数0.40+0.29j、チャネル4の伝達関数0.18+0.51j、チャネル5の伝達関数−0.37+0.32j、チャネル6の伝達関数−0.14+0.48j、及びチャネル7の伝達関数0.15+0.29jが対応付けられている。
なお、実際には各チャネルの伝達関数は、各音源方向dについてL/2個の周波数ωのそれぞれについて与えられが、図14には、L/2個のうち各1個のみが図示されている。
図13に戻り、第2伝達関数算出部109Bは、2つの参照音源方向情報のそれぞれに対応する信頼度に基づく重み係数を定め、定めた重み係数を、2つの参照音源方向間を目標音源方向で内分する内分比の逆数に乗じて補間係数を定める。第2伝達関数算出部109Bは、定めた補間係数に基づいて2つの参照音源方向情報のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する。
具体的には、第2伝達関数算出部109Bは、目標音源方向dに基づいて参照音源方向を特定した後(図8、ステップS301)、特定した参照音源方向情報にそれぞれ対応した第1伝達関数情報と信頼度情報を伝達関数記憶部108から読み出す。第2伝達関数算出部109Bは、読み出した2つの信頼度情報がそれぞれ示す信頼度w,wに基づいて、重み係数v,vを定める。信頼度w,wは、それぞれ参照音源方向d,dにそれぞれ対応する信頼度である。重み係数v,vは、信頼度w,wの絶対値が大きくなるほど小さくなり、信頼度w,wの絶対値が小さくなるほど大きくなる正の実数であればよい。重み係数v,vは、例えば、式(16)に示すように定めることができる。
Figure 2015154207
式(16)において、εは、ゼロ除算を防止するための予め定めた正の実数である。
第2伝達関数算出部109Bは、式(17)に示すように定めた重み係数v,vに、2つの参照音源方向間の目標音源方向dによる内分比の逆数|(d−d)/(d−d)|,|(d−d)/(d−d)|をそれぞれ乗じて乗算値D,Dを算出する。
Figure 2015154207
第2伝達関数算出部109Bは、式(18)に示すように、それぞれの乗算値D,Dを、その総和D+Dで除算することにより正規化して補間係数δ,δを定める。
Figure 2015154207
即ち、補間係数δ,δは、補間係数δ,δは、それぞれの参照音源方向d,dの信頼度wが小さいほど、大きい値をとる。また、補間係数δ,δは、それぞれの参照音源方向d,dの目標音源方向dに接近するほど大きい値をとる。
第2伝達関数算出部109Bは、定めた補間係数δ,δを用いて、参照音源方向d,dにそれぞれ対応する第1伝達関数A[d1][n](ω),A[d2][n](ω)を補間して第2伝達関数A[d][n](ω)を算出する。第2伝達関数A[d][n](ω)を算出する際、第2伝達関数算出部109Bは、ステップS303〜S306(図8)に示す処理を行う。
(音響処理)
次に、本実施形態に係る音響処理について説明する。
図15は、本実施形態に係る音響処理を示すフローチャートである。
図15に示す音響処理は、ステップS401〜S404、S407B、S405、及びS406Bを有する。音響処理装置10Bは、ステップS401〜S404を実行した後、ステップS407Bに進む。
(ステップS407B)信頼度判定部1066Bは、予測残差(ζ−ζk|k−1)に基づいて信頼度wを定め、定めた信頼度wが予め定めた信頼度の閾値wthよりも小さいか否かを判定する。信頼度判定部1066Bは、定めた信頼度wが閾値wthよりも小さい(音源方向dに対する信頼度が高い)とき、入力された音源方向情報と信頼度wを示す信頼度情報とを対応付けて、第1伝達関数算出部107に出力する。その後、ステップS405に進む。音響処理装置10Bは、ステップS405が終了した後、ステップS406Bに進む。
(ステップS406B)第2伝達関数算出部109Bは、目標音源方向を挟む2つの参照音源方向を特定し、特定した2つの参照音源方向にそれぞれ対応する第1伝達関数情報と信頼度情報を伝達関数記憶部108から読み出す。第2伝達関数算出部109Bは、2つの参照音源方向情報のそれぞれに対応する信頼度に基づく重み係数v,vを定め、定めた重み係数を2つの参照音源方向間を目標音源方向で内分する内分比の逆数に乗じて得られた乗算値D,Dを正規化して補間係数δ,δを定める。第2伝達関数算出部109Bは、読み出した第1伝達関数情報が示す第1伝達関数を、それぞれの補間係数で補間して第2伝達関数を算出する。その後、図15に示す処理を終了する。
以上に説明したように、本実施形態に係る音響処理装置10Bにおいて、第2伝達関数算出部109Bは、第1伝達関数算出部107が算出した第1伝達関数を、状態更新部1061が更新した音源状態情報の更新量に基づく重みづけにより補間する。
この構成により、音源方向の算出に用いられた音源状態情報の更新量に基づく重みで、その音源方向に係る第1伝達関数が補間された第2伝達関数が算出される。音源方向算出部106Bが算出した音源方向の信頼性は音源状態情報の更新量に依存するので、算出される第2伝達関数の信頼性が向上する。
(第4の実施形態)
以下、図面を参照しながら本発明の第4の実施形態について説明する。上述した実施形態と同一の構成については同一の符号を付して、上述した説明を援用する。
図16は、本実施形態に係る音響処理システム1Cの構成を示す概略ブロック図である。
音響処理システム1Cは、収音部11と音響処理装置10Cを含んで構成される。
音響処理装置10Cは、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105C、音源方向算出部106B、第1伝達関数算出部107、伝達関数記憶部108、第2伝達関数算出部109B及び第2音源方向算出部110Cを含んで構成される。
即ち、音響処理装置10Cは、音響処理装置10B(図13)において、収音位置算出部105に代えて収音位置算出部105Cを備え、さらに第2音源方向算出部110Cを備える。なお、以下の説明では、音源方向算出部106Bを第1音源方向算出部と呼んで、第2音源方向算出部110Cと区別することがある。
第2音源方向算出部110Cは、第2伝達関数算出部109Bから入力された第2伝達関数情報と、ピーク検出部103から入力されたN+1チャネルの音響信号に基づいて第2音源方向d’を算出する。
第2音源方向算出部110Cは、例えば、MUSIC(Multiple Signal Classification)法を用いて第2音源方向d’を算出する。具体的には、第2音源方向算出部110Cは、所定の間隔(例えば、1°)に分布した音源方向d毎の第2伝達関数をチャネル毎に入力し、各チャネルnの第2伝達関数A[d][n](ω)を要素とする伝達関数ベクトルD(d)を音源方向d毎に生成する。
ここで、第2音源方向算出部110Cは、各チャネルnの音響信号xを所定のサンプル数からなるフレーム毎に周波数領域に変換して変換係数X(ω)を算出し、算出した変換係数から式(19)に示すように入力相関行列Rxxを算出する。
Figure 2015154207
式(19)において、E[…]は、…の期待値を示す。[X]は、各チャネルの変換係数を要素とするN+1次元のベクトルである。[…]は、行列又はベクトルの共役を示す。
次に、第2音源方向算出部110Cは、入力相関行列Rxxの固有値δと固有ベクトルeを、算出する。入力相関行列Rxx、固有値δ、及び固有ベクトルeは、式(20)に示す関係を有する。
Figure 2015154207
式(20)において、iは、1以上N+1以下の整数である。インデックスiの順序は、固有値δの降順である。
第2音源方向算出部110Cは、伝達関数ベクトルD(d)と算出した固有ベクトルeに基づいて、式(21)に示す空間スペクトルPsp(d)を算出する。
Figure 2015154207
式(21)において、Kは、検出可能な音源の個数(例えば、1)であり、Nよりも小さい予め定めた自然数である。
第2音源方向算出部110Cは、S/N比が予め定めた閾値(例えば、20dB)よりも大きい周波数帯域における空間スペクトルPsp(d)の総和を拡張空間スペクトルPext(d)として算出する。第2音源方向算出部110Cは、算出した拡張空間スペクトルPext(d)の極大値をとる方向dを、第2音源方向d’と定める。第2音源方向d’は、N+1チャネルの音響信号に基づいて算出された音源方向である。第2音源方向算出部110Cは、定めた第2音源方向d’を示す第2音源方向情報を収音位置算出部105Cに出力する。
収音位置算出部105Cは、収音位置算出部105と同様に状態更新部1051、状態予測部1052、カルマンゲイン算出部1054、及び収束判定部1055を含んで構成される。
収音位置算出部105Cは、ある時刻において、収音位置算出部105と同様に、時間差算出部104から入力された時間差情報に基づいて音源状態情報ξk|k−1の予測及び音源状態情報ξの更新を行う。但し、収音位置算出部105Cは、他の時刻において、第2音源方向算出部110Cから入力された第2音源方向情報に基づいて音源状態情報ξk|k−1の予測及び音源状態情報ξの更新を行う。換言すると、収音位置算出部105Cは、第2音源方向d’を観測値ζ’として、観測値ζ’k|k−1の推定誤差が減少するように音源状態情報ξk|k−1,ξを算出する。
第2音源方向d’は、音源位置(x,y)、収音位置の重心点(mc,x,mc,y)との間で、式(22)に示す関係を有する。
Figure 2015154207
式(22)において、重心点(mc,x,mc,y)は、各チャネルの収音位置(mn,x,mn,y)のチャネル間の平均値であるから、前時刻k−1から予測された現時刻kの観測値ζk|k−1’、つまり第2音源方向d’の予測値は、音源状態情報ζk|k−1から算出される。従って、収音位置算出部105Cの状態更新部1051、状態予測部1052、及びカルマンゲイン算出部1054は、他の時刻において、上述した観測値ベクトルζk|k−1,ζを、それぞれ観測値ζ’k|k−1,ζ’に代えて処理を行うことによって、観測値ζ’k|k−1の推定誤差が減少するように音源状態情報ξk|k−1,ξを算出することができる。
具体的には、他の時刻において、状態予測部1052は、現時刻kの音源状態情報ξk|k−1に基づいて式(22)で与えられる第2音源方向d’を観測値ζ’k|k−1として算出する。
カルマンゲイン算出部1054は、観測値ζ’k|k−1を音源状態情報ξk|k−1の各要素で偏微分して行列Hの各要素を算出する(式(9))。
状態更新部1051は、観測値ζ’に観測誤差δ’を加算して、加算により得られた加算値にその観測値ζ’を更新する。また、状態更新部1051は、予測された現時刻kの音源状態情報ξk|k−1に、現時刻kの観測値の予測残差(ζ’−ζ’k|k−1)にカルマンゲインKを乗じて得られた乗算値ベクトルを加算して現時刻kの音源状態情報ξを算出する(式(3))。
収音位置算出部105Cは、収音位置算出部105と同様に観測値ベクトルζに基づいて音源状態情報ξk|k−1,ξを算出する処理(以下、観測値ベクトルζに係る処理と呼ぶ)と、上述したように観測値ζ’に基づいて音源状態情報ξk|k−1,ξを算出する処理(以下、観測値ζ’に係る処理と呼ぶ)と、を交互に繰り返してもよい。但し、収音位置算出部105Cは、観測値ベクトルζに係る処理と、観測値ζ’に係る処理を、それぞれ異なる時刻に行えば、これには限られない。収音位置算出部105Cは、観測値ベクトルζに係る処理をN’回行った後、所定の回数観測値ζ’に係る処理をN’’回行う、という周期を繰り返してもよい。ここで、N’、N’’は、それぞれ1以上の予め定めた整数である。N’とN’’は等しくてもよいし、異なってもよい。
次に、本実施形態に係る音響処理について説明する。
図17は、本実施形態に係る音響処理を示すフローチャートである。
図17に示す音響処理は、ステップS401、S402、S403C、S404、S407B、S405、S406B、及びS408Cを有する。
音響処理装置10Cは、ステップS401、S402を実行した後、ステップS403Cに進む。
(ステップS403C)収音位置算出部105Cは、ある時刻(例えば、奇数のサンプル時刻)において、時間差情報を観測値情報として音源状態情報ξk|k−1の予測及び音源状態情報ξの更新を行う。収音位置算出部105Cは、他の時刻(例えば、偶数のサンプル時刻)において、第2音源方向情報を観測値情報として音源状態情報ξk|k−1の予測及び音源状態情報ξの更新を行う。これらの処理を繰り返すことにより、収音位置算出部105Cは収音位置を算出する。その後、音響処理装置10Cは、ステップS404、S407B、S405、及びS406Bを実行する。その後、ステップS408Cに進む。
(ステップS408C)第2音源方向算出部110Cは、第2伝達関数算出部109Bから入力された第2伝達関数情報と、ピーク検出部103から入力されたN+1チャネルの音響信号に基づいて第2音源方向d’を算出し、第2音源方向情報を生成する。その後、図17に示す処理を終了する。
以上に説明したように、本実施形態に係る音響処理装置10Cは、第2伝達関数算出部109Bが算出した第2伝達関数と複数のチャネルの音響信号に基づいて音源方向を算出する第2音源方向算出部110Cと、を備える。また、状態更新部1061は、第2音源方向算出部110Cが算出した音源方向と現在の音源状態情報に基づく音源方向との差が減少するように現在の音源状態情報を更新する。
この構成により、音源状態情報は、時間差とは異なる情報である音源方向に基づいて更新されるので、時間差と音源方向のいずれかのみを用いる場合よりも局所解に陥るおそれを低減することができる。第2音源方向算出部110Cが算出した音源方向と現在の音源状態情報に基づく音源方向との間の差の大きさを評価するための指標値(例えば、二乗誤差)は、一般に複数の極小値を有するが、異なる情報に基づいて音源状態情報を更新することにより、音源状態情報が特定の極小値に収束することが回避されるためである。従って、音源状態情報が示す収音位置をより高い精度で算出することができる。
(第5の実施形態)
以下、図面を参照しながら本発明の第5の実施形態について説明する。上述した実施形態と同一の構成については同一の符号を付して、上述した説明を援用する。
図18は、本実施形態に係る音響処理システム1Dの構成を示す概略ブロック図である。
音響処理システム1Dは、収音部11と音響処理装置10Dを含んで構成される。
音響処理装置10Dは、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105、音源方向算出部106D、第1伝達関数算出部107、伝達関数記憶部108、及び第2伝達関数算出部109を含んで構成される。
即ち、音響処理システム1Dは、音響処理装置10(図1)において、音源方向算出部106に代えて音源方向算出部106Dを備える。
音源方向算出部106Dは、第3伝達関数算出部1068D及び第1音源方向決定部1069Dを含んで構成される。
第3伝達関数算出部1068Dには、収音位置算出部105から音源状態情報が入力される。第3伝達関数算出部1068Dは、音源から収音位置への伝搬特性を与える伝搬モデルに基づいて、所定の間隔で分布した音源方向dのそれぞれについて、各チャネルnの第3伝達関数A[d][n](ω)を算出する。各チャネルの収音位置(mn,x,mn,y)は、入力された音源状態情報で与えられる。また、音源から収音位置の重心点までの距離が予め定められてもよい。
伝搬モデルは、音源方向と収音位置に依存した伝搬特性を表す伝達関数を与えるモデルであればよい。伝搬モデルは、例えば、平面波モデルである。平面波モデルによる伝達関数A(r,d)は、音源から距離rだけ離れた収音位置までの間への伝搬による遅延に応じた位相の変化を示し、振幅が一定であることが仮定されている。平面波モデルによる伝達関数A(r,d)は、式(23)で与えられる。
Figure 2015154207
式(23)において、kは波数であり、ω/cに等しい。なお、第3伝達関数算出部1068Dは、距離rとして予め定めた値を用いる。
第3伝達関数算出部1068Dは、音源方向d毎に算出した各チャネルnの第3伝達関数A[d][n](ω)を示す第3伝達関数情報を第1方向決定部1062Dに出力する。
なお、第3伝達関数算出部1068Dは、球面波モデルを用いて第3伝達関数A[d][n](ω)を算出してもよい。球面波モデルによる伝達関数A(r,d)は、音源から距離rだけ離れた収音位置までの間の伝搬による遅延に応じた位相の変化と、振幅が距離rに応じて反比例して減衰することを表す。球面波モデルによる伝達関数A(r,d)は、式(24)で与えられる。
Figure 2015154207
式(24)において、rは、予め定めた正の実数である。rは、例えば、音を発生する物体(つまり、音源)の半径である。
第1音源方向決定部1069Dは、第3伝達関数算出部1068Dから入力された第3伝達関数情報と、ピーク検出部103から入力されたN+1チャネルの音響信号に基づいて音源方向dを算出する。
第1音源方向決定部1069Dは、上述したMUSIC法を用いて音源方向dを算出し、算出した音源方向dを示す音源方向情報を第1伝達関数算出部107に出力する。
次に、本実施形態に係る音響処理について説明する。
図19は、本実施形態に係る音響処理を示すフローチャートである。
図19に示す音響処理は、ステップS401〜S403、S409D、S404D、S405、及びS406を有する。
音響処理装置10Dは、ステップS401〜S403を実行した後、ステップS409Dに進む。
(ステップS409D)第3伝達関数算出部1068Dは、収音位置算出部105から入力された音源状態情報が示す各チャネルの収音位置への伝搬による位相変化を示す第3伝達関数A[d][n](ω)を音源方向毎に算出する。その後、ステップS404Dに進む。
(ステップS404D)第1音源方向決定部1069Dは、第3伝達関数算出部1068Dから入力された第3伝達関数情報と、ピーク検出部103から入力されたN+1チャネルの音響信号に基づいて音源方向dを算出する。その後、音響処理装置10Dは、ステップS405とステップS406を実行する。
以上に説明したように、本実施形態に係る音響処理装置10Dにおいて、音源方向算出部106Dは、収音位置算出部105が算出した収音位置への伝搬による位相変化を示す第3伝達関数を音源方向毎に算出する第3伝達関数算出部1068Dと、第3伝達関数算出部1068Dが算出した第3伝達関数と複数のチャネルの音響信号に基づいて音源方向を定める第1音源方向決定部1069Dと、を備える。
この構成により第3伝達関数を簡素な処理で算出することができ、算出された第3伝達関数が示す各収音位置での音源方向毎の位相変化に基づいて音源方向を定めることができる。そのため、音源方向の推定精度を損なわずに処理量を低減することができる。
(第6の実施形態)
以下、図面を参照しながら本発明の第6の実施形態について説明する。上述した実施形態と同一の構成については同一の符号を付して、上述した説明を援用する。
図20は、本実施形態に係る音響処理システム1Eの構成を示す概略ブロック図である。
音響処理システム1Eは、収音部11と音響処理装置10Eを含んで構成される。
音響処理装置10Eは、信号入力部102、ピーク検出部103、時間差算出部104、収音位置算出部105、及び第3伝達関数算出部1068Dを含んで構成される。
音響処理装置10Eは、この構成により図21に示す音響処理を実行する。
図21は、本実施形態に係る音響処理を示すフローチャートである。
図21に示す音響処理は、ステップS401〜S403、及びステップS409Dを有する。音響処理装置10Eは、ステップS401〜S403を実行した後、ステップS409Dを実行し、その後、図21に示す処理を終了する。
以上に説明したように、本実施形態に係る音響処理装置10Eは、複数のチャネルの音響信号に基づいて複数のチャネルの各々に対応する収音位置を算出する。また、音響処理装置10Eにおいて、第3伝達関数算出部1068Dは、少なくとも収音位置算出部105が算出した音源状態情報が示す各収音位置への伝搬による音源方向毎の位相変化を示す第3伝達関数を算出する。
この構成により収音位置が逐次に推定され、推定された各収音位置への伝搬による音源方向毎の第3伝達関数を簡素な処理によって算出することができる。
(変形例)
上述ではこの発明の一実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、音源方向算出部106B(図13)もしくは音源方向算出部106D(図18)と、第1伝達関数算出部107(図13、図18)には、音響処理装置10A(図11)と同様に、収音位置算出部105に入力された時間差情報に係る音響信号よりも少なくとも所定の遅延時間Tだけ遅れた時刻の音響信号に係る時間差情報がそれぞれ入力されるようにしてもよい。また、音響処理装置10C(図16)の音源方向算出部106Bと第1伝達関数算出部107(図16)には、収音位置算出部105C(図16)に入力された時間差情報に係る音響信号よりも少なくとも所定の遅延時間Tだけ遅れた時刻の音響信号に係る時間差情報が入力されるようにしてもよい。
音響処理装置10B(図13)、10C(図16)は、音源方向算出部106Bに代えて音源方向算出部106D(図18)を備えてもよい。
また、音響処理装置10B(図13)、10C(図16)において、収音位置算出部105、105Cは、信頼度判定部1066Bを備え、その代りに音源方向算出部106B(図13、図16)において信頼度判定部1066Bが省略されてもよい。収音位置算出部105、105Cに備えられた信頼度判定部1066Bは、状態更新部1051から入力された予測残差の絶対値|ζ−ζk|k−1|又は音源状態情報ξの更新量の絶対値|K(ζ−ζk|k−1)|を信頼度wと定める。
そして、当該信頼度判定部1066Bは、予め定めた信頼度の閾値wthよりも小さい場合、信頼度wを示す信頼度情報を対応付けて第1伝達関数算出部107に出力する。また、当該信頼度判定部1066Bが信頼度情報を出力したときに、音源方向算出部106B(これに代えて音源方向算出部106Dを備える場合には、音源方向算出部106D)は、音源方向情報を第1伝達関数算出部107に音源方向情報を出力し、音源方向情報と信頼度情報と対応付けてもよい。
また、音響処理装置10B(図13)、10C(図16)の音源方向算出部106Bは、収音位置算出部105C(図16)と同様に第2音源方向算出部110Cで算出した第2音源方向d’を観測値ζ’として、観測値ζ’k|k−1の推定誤差が減少するように音源状態情報ξk|k−1及び音源状態情報ξを算出してもよい。
また、音響処理装置10D(図18)は、収音位置算出部105に代えて、収音位置算出部105C(図16)を備え、さらに第2音源方向算出部110C(図16)を備えてもよい。その場合、第2音源方向算出部110Cは、第2伝達関数算出部109で算出された第2伝達関数を用いて第2音源方向d’を算出して、収音位置算出部105Cに出力する。
収音位置算出部105(図1、図11、図13、図18、図20)、105C(図16)、音源方向算出部106(図1)、106A(図11)、106B(図13、図16)は、観測値ベクトルζk|k−1、又は観測値ζ’k|k−1の推定誤差が減少するように、音源状態情報ξk|k−1,ξを算出する際、拡張カルマンフィルタ法に代えて、最小二乗平均誤差(Minimum Mean Squred Error:MMSE)法、その他の係数算出法、システム同定法を用いてもよい。
第2音源方向算出部110C(図16)、音源方向算出部106D(図18)は、それぞれMUSIC法に代えて、一般化固有値分解(GEVD:Generalized Eigenvalue)−MUSIC法、一般化特異値分解(Generalized Singular Value Decomposition;GSVD−)MUSIC法、重み付き遅延和ビームフォーミング法(WDS−BF:Weighted Delay and Sum Beam Forming)法、その他の音源方向算出法を用いてもよい。
第2伝達関数算出部109(図1、図11、図18、図20)、109B(図13、図16)は、他の機器(例えば、ロボット)や他の構成(例えば、入出力インタフェース)から伝達関数の算出を要求する伝達関数要求情報が入力されたことに応じて、伝達関数要求情報が示す目標音源方向に対応する第2伝達関数を算出してもよい。その場合には、第2伝達関数算出部109、109Bが算出した第2伝達関数を、伝達関数要求情報の出力元の機器、構成に出力してもよい。
第2伝達関数算出部109、109Bは、3つ以上の参照音源方向にそれぞれ対応した第1伝達関数を補間して目標音源方向に対応する第2伝達関数を算出してもよい。
上述では、第2伝達関数算出部109、109Bは、第1伝達関数を補間する際、TDLI法による振幅λm[T]とFDLI法による位相tm[T]とから、第2伝達関数A[d][n](ω)を構成する場合を例にとったが、これには限られない。第2伝達関数算出部109、109Bは、積に基づく固有値スケーリング補間法(M−EVSI:Multiplication−based Eigenvalue Scaling Interpolation)法による振幅λm[M]と、FDLI法による位相tm[T]とから、第2伝達関数A[d][n](ω)を構成してもよい。また、第2伝達関数算出部109、109Bは、第1伝達関数を補間する際、その他の補間法を用いてもよい。
上述した例では、N+1個の収音部11−0〜11−Nが、ロボットRoに固定して配置されている場合を例にとったが、ロボット以外の移動物、例えば、車両、台車、等に設置されてもよい。また、N+1個の収音部11−0〜11−Nは、人体に装着可能であってもよい。N+1の収音部11−0〜11−Nの各々が、他の物体から着脱可能であってもよいし、個々に移動可能であってもよい。
また、N+1の収音部11−0〜11−Nの全て又は一部の配置は、共通の音源から到達した音を収音することができれば任意である。N+1の収音部11−0〜11−Nの全て又は一部は、1つの直線上に配置されてもよいし、平面又は曲面上に配置されてもよい。
また、N+1個の収音部11−0〜11−Nの全ては、予め定めた範囲内に配置されていなくていなくてもよく、少なくともその一部が、その範囲外に配置されてもよい。
例えば、図22に示すように、代表チャネルに係る収音部11−0は、音源から予め定めた距離(例えば、5cm)内に近接して配置されてもよい。
図22は、音源Sと収音部11−nの他の配置例を示す平面図である。
図22に示すように、収音部11−0は、音源Sに近接して配置され、残りの7個の収音部11−1〜11−7が、それぞれロボットRoの頭部中心Cから半径ρの円周上に等間隔で配置されてもよい。このように、収音部11−0を、他の収音部11−1〜11−7よりも音源Sに近接して配置することで、第1伝達関数算出部107は、対象チャネル1〜7の伝達関数A[d][1]〜A[d][7]として、音源Sから収音部11−1〜11−7までの伝達関数を第1伝達関数としてそれぞれ算出することができる。ひいては、第2伝達関数算出部109、109Bは、算出された第1伝達関数に基づいて目標音源方向に所在する音源Sから収音部11−1〜11−7までの伝達関数を第2伝達関数として算出することができる。
上述した実施形態、変形例に係る音響処理装置10〜10Eは、音源の位置や方向等の空間情報として音源方向を算出し、音源から収音部までの距離を無視する場合を例にとったが、これには限られない。音響処理装置10〜10Eは、収音部から音源までの距離をさらに考慮し、2次元平面内の音源位置に係る第1伝達関数、第2伝達関数を算出してもよい。また、音響処理装置10〜10Eは、音源の所定の平面からの高さ、又は仰角をさらに考慮し、3次元空間内の音源位置に係る第1伝達関数、第2伝達関数を算出してもよい。
なお、上述した実施形態及び変形例における音響処理装置10〜10Eの一部、例えば、ピーク検出部103、時間差算出部104、収音位置算出部105、105C、音源方向算出部106、106A、106B、106D、第3伝達関数算出部1068D、第1伝達関数算出部107、107A、第2伝達関数算出部109、109B、及び第2音源方向算出部110Cをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置10〜10Eに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態及び変形例における音響処理装置10〜10Eの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。音響処理装置10〜10Eの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1〜1E…音響処理システム、11(11−0〜11−N)…収音部、
10〜10E…音響処理装置、
102…信号入力部、103…ピーク検出部、104…時間差算出部、
105、105C…収音位置算出部、1051…状態更新部、1052…状態予測部、
1054…カルマンゲイン算出部、1055…収束判定部、
106、106A、106B、106D…音源方向算出部、
1061…状態更新部、1062…状態予測部、1064…カルマンゲイン算出部、
1065…収束判定部、1066B…信頼度判定部、1068D…第3伝達関数算出部、1069D…第1音源方向決定部、
107、107A…第1伝達関数算出部、108…伝達関数記憶部、
109、109B…第2伝達関数算出部、110C…第2音源方向算出部

Claims (9)

  1. 複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出する収音位置算出部と、
    前記複数のチャネルの音響信号に基づいて音源方向を算出する音源方向算出部と、
    前記複数のチャネルの音響信号に基づいて前記音源方向に対応する第1伝達関数を算出する第1伝達関数算出部と、
    複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する第2伝達関数算出部と、
    を備える音響処理装置。
  2. チャネル間の音響信号の時間差を算出する時間差算出部と、を備え、
    前記収音位置算出部は、
    収音位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する第1状態予測部と、
    前記時間差算出部が算出した時間差と前記現在の音源状態情報に基づく時間差との差が減少するように前記現在の音源状態情報を更新する第1状態更新部と、
    を備える請求項1に記載の音響処理装置。
  3. 前記時間差算出部は、収音位置間の配置が所定範囲内であるチャネル間の音響信号の時間差を算出する請求項2に記載の音響処理装置。
  4. 前記音源方向算出部には、前記収音位置算出部に入力された時間差情報よりも少なくとも所定の遅延時間だけ遅れた時刻の時間差情報が入力され
    前記第1伝達関数算出部には、前記収音位置算出部に入力された時間差情報に係る音響信号よりも少なくとも前記遅延時間だけ遅れた時刻の時間差情報が入力される
    請求項2又は請求項3に記載の音響処理装置。
  5. 前記音源方向算出部は、
    音源位置を含む音源状態情報であって過去の音源状態情報から現在の音源状態情報を予測する第2状態予測部と、
    前記時間差算出部が算出した時間差と前記現在の音源状態情報に基づく時間差との差が減少するように前記現在の音源状態情報を更新する第2状態更新部と、
    を備える請求項2から請求項4のいずれかに記載の音響処理装置。
  6. 前記第2伝達関数算出部は、前記第1伝達関数算出部が算出した第1伝達関数を、前記第2状態更新部が更新した音源状態情報の更新量に基づく重みづけにより補間する請求項5に記載の音響処理装置。
  7. 前記第2伝達関数算出部が算出した第2伝達関数と前記複数のチャネルの音響信号に基づいて音源方向を算出する第2音源方向算出部と、を備え
    前記第2状態更新部は、前記第2音源方向算出部が算出した音源方向と前記現在の音源状態情報に基づく音源方向との差が減少するように前記現在の音源状態情報を更新する請求項5又は請求項6に記載の音響処理装置。
  8. 前記音源方向算出部は、
    前記収音位置算出部が算出した収音位置への伝搬による位相変化を示す第3伝達関数を音源方向毎に算出する第3伝達関数算出部と、
    前記第3伝達関数算出部が算出した第3伝達関数と前記複数のチャネルの音響信号に基づいて音源方向を定める第1音源方向決定部と、
    を備える請求項1から請求項4のいずれか記載の音響処理装置。
  9. 音響処理装置における音響処理方法であって、
    複数のチャネルの音響信号に基づいて前記音響信号の収音位置を算出する収音位置算出ステップと、
    前記複数のチャネルの音響信号に基づいて音源方向を算出する音源方向算出ステップと、
    前記複数のチャネルの音響信号に基づいて前記音源方向に対応する第1伝達関数を算出する第1伝達関数算出ステップと、
    複数の音源方向のそれぞれに対応する第1伝達関数を補間して第2伝達関数を算出する第2伝達関数算出ステップと、
    を有する音響処理方法。
JP2014025757A 2014-02-13 2014-02-13 音響処理装置、及び音響処理方法 Active JP6311197B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014025757A JP6311197B2 (ja) 2014-02-13 2014-02-13 音響処理装置、及び音響処理方法
US14/604,038 US10139470B2 (en) 2014-02-13 2015-01-23 Sound processing apparatus and sound processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014025757A JP6311197B2 (ja) 2014-02-13 2014-02-13 音響処理装置、及び音響処理方法

Publications (2)

Publication Number Publication Date
JP2015154207A true JP2015154207A (ja) 2015-08-24
JP6311197B2 JP6311197B2 (ja) 2018-04-18

Family

ID=53774761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014025757A Active JP6311197B2 (ja) 2014-02-13 2014-02-13 音響処理装置、及び音響処理方法

Country Status (2)

Country Link
US (1) US10139470B2 (ja)
JP (1) JP6311197B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936320B2 (en) 2016-03-29 2018-04-03 Honda Motor Co., Ltd. Test device and test method for microphone arrays
JP2019004465A (ja) * 2017-06-12 2019-01-10 ヤマハ・ユニファイド・コミュニケーションズ 収音装置、及び収音方法
JP2020043456A (ja) * 2018-09-10 2020-03-19 本田技研工業株式会社 音響処理装置、音響処理方法およびプログラム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US9945946B2 (en) * 2014-09-11 2018-04-17 Microsoft Technology Licensing, Llc Ultrasonic depth imaging
ES2908299T3 (es) 2015-02-20 2022-04-28 Ultrahaptics Ip Ltd Mejoras del algoritmo en un sistema háptico
MX2017010254A (es) 2015-02-20 2018-03-07 Ultrahaptics Ip Ltd Percepciones en un sistema haptico.
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10531212B2 (en) 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10755538B2 (en) 2016-08-09 2020-08-25 Ultrahaptics ilP LTD Metamaterials and acoustic lenses in haptic systems
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10497358B2 (en) 2016-12-23 2019-12-03 Ultrahaptics Ip Ltd Transducer driver
CN110603587A (zh) * 2017-05-08 2019-12-20 索尼公司 信息处理设备
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
WO2019122912A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Tracking in haptic systems
WO2019122916A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Minimizing unwanted responses in haptic systems
US10911861B2 (en) 2018-05-02 2021-02-02 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
CN110876100B (zh) * 2018-08-29 2022-12-09 嘉楠明芯(北京)科技有限公司 一种音源定向方法与系统
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US11574628B1 (en) * 2018-09-27 2023-02-07 Amazon Technologies, Inc. Deep multi-channel acoustic modeling using multiple microphone array geometries
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
WO2020141330A2 (en) 2019-01-04 2020-07-09 Ultrahaptics Ip Ltd Mid-air haptic textures
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11209831B2 (en) * 2019-05-03 2021-12-28 Ford Global Technologies, Llc Object sound detection
WO2021074604A1 (en) 2019-10-13 2021-04-22 Ultraleap Limited Dynamic capping with virtual microphones
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728492A (ja) * 1993-07-09 1995-01-31 Sony Corp 音源信号推定装置
JP2003333697A (ja) * 2002-05-10 2003-11-21 Tama Tlo Kk 信号補間装置及びその補間方法
JP2004064697A (ja) * 2002-07-31 2004-02-26 Nippon Telegr & Teleph Corp <Ntt> 音源受音位置推定方法、装置、およびプログラム
JP2004279845A (ja) * 2003-03-17 2004-10-07 Univ Waseda 信号分離方法およびその装置
WO2008126343A1 (ja) * 2007-03-29 2008-10-23 Dimagic Co., Ltd. 収音方法および装置
US20120195436A1 (en) * 2011-01-28 2012-08-02 Honda Motor Co., Ltd. Sound Source Position Estimation Apparatus, Sound Source Position Estimation Method, And Sound Source Position Estimation Program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482247B2 (ja) 2001-04-26 2010-06-16 パナソニック株式会社 自動音質音量調整音響システムおよびその音質音量調整方法
JP5663201B2 (ja) * 2009-06-04 2015-02-04 本田技研工業株式会社 音源方向推定装置及び音源方向推定方法
JP5702685B2 (ja) * 2010-08-17 2015-04-15 本田技研工業株式会社 音源方向推定装置及び音源方向推定方法
JP5685177B2 (ja) * 2011-12-12 2015-03-18 本田技研工業株式会社 情報伝達システム
JP5952692B2 (ja) * 2012-09-13 2016-07-13 本田技研工業株式会社 音源方向推定装置、音響処理システム、音源方向推定方法、及び音源方向推定プログラム
CN105210389B (zh) * 2013-03-19 2017-07-25 皇家飞利浦有限公司 用于确定麦克风的位置的方法和装置
JP6221158B2 (ja) * 2014-08-27 2017-11-01 本田技研工業株式会社 自律行動ロボット、及び自律行動ロボットの制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728492A (ja) * 1993-07-09 1995-01-31 Sony Corp 音源信号推定装置
JP2003333697A (ja) * 2002-05-10 2003-11-21 Tama Tlo Kk 信号補間装置及びその補間方法
JP2004064697A (ja) * 2002-07-31 2004-02-26 Nippon Telegr & Teleph Corp <Ntt> 音源受音位置推定方法、装置、およびプログラム
JP2004279845A (ja) * 2003-03-17 2004-10-07 Univ Waseda 信号分離方法およびその装置
WO2008126343A1 (ja) * 2007-03-29 2008-10-23 Dimagic Co., Ltd. 収音方法および装置
US20120195436A1 (en) * 2011-01-28 2012-08-02 Honda Motor Co., Ltd. Sound Source Position Estimation Apparatus, Sound Source Position Estimation Method, And Sound Source Position Estimation Program
JP2012161071A (ja) * 2011-01-28 2012-08-23 Honda Motor Co Ltd 音源位置推定装置、音源位置推定方法、及び音源位置推定プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936320B2 (en) 2016-03-29 2018-04-03 Honda Motor Co., Ltd. Test device and test method for microphone arrays
JP2019004465A (ja) * 2017-06-12 2019-01-10 ヤマハ・ユニファイド・コミュニケーションズ 収音装置、及び収音方法
JP7214379B2 (ja) 2017-06-12 2023-01-30 ヤマハ・ユニファイド・コミュニケーションズ 収音装置、収音方法及びプログラム
JP2020043456A (ja) * 2018-09-10 2020-03-19 本田技研工業株式会社 音響処理装置、音響処理方法およびプログラム

Also Published As

Publication number Publication date
US10139470B2 (en) 2018-11-27
JP6311197B2 (ja) 2018-04-18
US20150226831A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
JP6311197B2 (ja) 音響処理装置、及び音響処理方法
JP6335985B2 (ja) マルチセンサ音源定位
US8577055B2 (en) Sound source signal filtering apparatus based on calculated distance between microphone and sound source
JP6074263B2 (ja) 雑音抑圧装置及びその制御方法
JP4247037B2 (ja) 音声信号処理方法と装置及びプログラム
US20210219053A1 (en) Multiple-source tracking and voice activity detections for planar microphone arrays
JP6594222B2 (ja) 音源情報推定装置、音源情報推定方法、およびプログラム
JP5654980B2 (ja) 音源位置推定装置、音源位置推定方法、及び音源位置推定プログラム
JP5079761B2 (ja) 直間比推定装置、音源距離測定装置、雑音除去装置、各装置の方法と、装置プログラム
JP2017503388A5 (ja)
WO2007123052A1 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
JP2012042465A (ja) 音源方向推定装置及び音源方向推定方法
JP2018063200A (ja) 音源位置推定装置、音源位置推定方法、及びプログラム
CN111798869B (zh) 一种基于双麦克风阵列的声源定位方法
Zhao et al. Design of robust differential microphone arrays with the Jacobi–Anger expansion
JP7235534B2 (ja) マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム
JP2019004465A (ja) 収音装置、及び収音方法
Hosseini et al. Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function
JP4738284B2 (ja) ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体
Lim et al. Time delay estimation based on log-sum and lp-norm penalized minor component analysis
Lim et al. Time delay estimation method based on canonical correlation analysis
JP2013178110A (ja) 音源距離推定装置、直間比推定装置、雑音除去装置、それらの方法、及びプログラム
JP2022132839A (ja) 音響処理装置、音響処理システム、音響処理方法およびプログラム
JP2020043456A (ja) 音響処理装置、音響処理方法およびプログラム
JP5713933B2 (ja) 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180302

R150 Certificate of patent or registration of utility model

Ref document number: 6311197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150