JP2017173456A - インパルス応答推定装置及びプログラム - Google Patents

Abstract

【課題】音響信号のみから、インパルス応答を精度良く推定する。【解決手段】インパルス応答推定装置１は、音響信号を直接音と間接音とに分離する残響分離部１１と、直接音及び間接音を複数のフレームに分割して、分割直接音及び分割間接音を生成する分割部１２，１３と、分割直接音及び分割間接音から、音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部１６と、を備える。【選択図】図１

Description

本発明は、インパルス応答を推定するインパルス応答推定装置及びプログラムに関する。

番組音声の制作において、別々の時刻・場所で収録した複数音声をミクシングして一つの番組を制作することが行われる。しかし、例えば響きの豊かな場所で収録した音声信号に対して、響きのほとんどない場所で収録した音声信号をミクシングした場合など、聴感上なじまない不自然なコンテンツとなってしまうことがある。こうした問題を回避するため、残響のほとんどない音声信号に対して残響を付加することで、聴感上なじむ自然な番組制作が可能となる。

また、モノラルや２ｃｈステレオなどの比較的少ないチャンネル数の音声信号を、５．１ｃｈサラウンドや２２．２ｃｈサラウンドのような多チャンネルの音響フォーマットへチャンネル数変換を行う場合、リスニングポイントに対して横や背面に設置されるチャンネルに、壁面の反射などによる間接音を模擬した残響を付加した信号を割り当てることで、空間的に広がり感のあるチャンネル数変換を行うことができる。

音声信号のミクシングやチャンネル数変換における残響付加において、実際にどのような残響を付加するかは、番組制作者の経験と勘に頼るところが大きい。例えば、残響の短い空間で収録した音声信号に対して、極端に長い残響を付加した音声信号をミクシングしたとしても、聴感的に不自然なコンテンツとなってしまう。

通常、ある空間（原音場）で収録された音響信号は、リスニングポイントに直接到来する直接音と、壁などに反射してから到来する間接音（残響音）で構成される。この間接音は、直接音に音源とリスニングポイント間のインパルス応答を畳み込んだ信号である。したがって、直接音とインパルス応答が判れば、直接音にインパルス応答を畳み込み演算することにより、残響音を生成することができる。そこで、残響を含んだ音声信号（原音）からインパルス応答を推定し、残響を含まない別の音声信号（直接音）に、このインパルス応答を畳み込むことで、原音場の残響音に近い残響音を付加することができる。この手法によれば、別々の時刻・場所で収録した複数音声をミクシングする場合でも、不自然さのない残響付加を行うことができる。

一般に、ある空間で収録された原音について、それに含まれる間接音と、直接音が共に既知の場合には、適応フィルター法を用いて、その空間の残響成分であるインパルス応答を推定することができる。適応フィルター法では、原音に含まれる間接音信号と、直接音にインパルス応答を畳み込んで生成した間接音信号の二乗誤差の平均値が最小となるよう、サンプルごとにある程度の期間学習させることでインパルス応答を推定するが、２つの信号間で線形な関係が成り立つ場合に限り、有効な推定が可能となることが知られている(例えば、非特許文献１参照)。

しかし、通常の収録においては、直接音と間接音は別々に収録されず、それらの混合音のみを収録することが多い。そのような場合に、インパルス応答の推定は困難となる。そこで、既存の残響分離手法を用いて、収録された混合音から直接音と間接音を分離し、その直接音と間接音からインパルス応答を推定する技術が望まれている。残響分離手法として、例えば非特許文献２に記載の技術や、Zynaptiq社のソフトウェア「ＵＮＶＥＩＬ」などが知られている。

John Usher, "Acoustic impulse response measurement using speech and music signals", AES 128th convention, 2010 Ｋ. Kinoshita et al, "Blind Upmix Of Stereo Music Signals Using Multi-Step Linear Prediction Based Reverberation Extraction", ICASSP, pp.49-52, 2010.

しかし、残響分離手法が非線形処理または時変処理によって実現されていた場合においては、入力信号である混合音に依存して、出力される直接音及び間接音の関係が刻々と変化してしまうため、推定インパルス応答は一定の値に収束しない。そのため、学習時間を長くすることで不自然なインパルス応答を推定してしまうことがあり、できるだけ短い信号区間においてインパルス応答を推定する必要がある。一方、楽音信号など周波数成分に時間的な偏りのある音響信号を用いた場合は、より多くの周波数成分を含むインパルス応答を推定するために、上記とは逆に学習時間を長く設定する必要があり、相反する条件が要求されるという問題があった。

かかる事情に鑑みてなされた本発明の目的は、残響のある原音場で収録された混合音である音響信号のみから、インパルス応答を精度良く推定することが可能なインパルス応答推定装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るインパルス応答推定装置は、音響信号を直接音と間接音とに分離する残響分離部と、前記直接音及び前記間接音を複数のフレームに分割して、分割直接音及び分割間接音を生成する分割部と、前記分割直接音及び分割間接音から、音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、を備えることを特徴とする。

さらに、本発明に係るインパルス応答推定装置において、前記分割直接音及び分割間接音を平均化した平均直接音及び平均間接音を生成するフレーム平均化部を更に備え、前記インパルス応答推定部は、平均直接音及び平均間接音を用いて前記インパルス応答を推定することを特徴とする。

さらに、本発明に係るインパルス応答推定装置において、前記分割直接音及び前記分割間接音の周波数特性の差分が最も大きいフレームを選択するフレーム選択部を更に備え、前記インパルス応答推定部は、前記フレーム選択部により選択されたフレームの分割直接音及び分割間接音から、前記インパルス応答を推定することを特徴とする。

さらに、本発明に係るインパルス応答推定装置において、前記フレーム選択部は、スペクトル歪み、又は全オクターブに対して均等に重み付けしたスペクトル歪みが最も大きいフレームを選択することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記インパルス応答推定装置として機能させることを特徴とする。

本発明によれば、残響のある原音場で収録された音響信号のみから、インパルス応答を精度良く推定することができる。また、非線形処理または時変処理による残響分離手法を用いた場合でも、妥当なインパルス応答を推定することができる。さらに、入力信号が時間的に周波数成分の偏った音響信号の場合でも、短い学習時間でインパルス応答を推定することができる。

本発明の第１の実施形態に係るインパルス応答推定装置の構成例を示すブロック図である。 本発明の第２の実施形態に係るインパルス応答推定装置の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係るインパルス応答推定装置について、以下に説明する。図１に、本発明の第１の実施形態に係るインパルス応答推定装置の構成例を示す。図１に示すインパルス応答推定装置１は、残響分離部１１と、直接音分割部１２と、間接音分割部１３と、直接音フレーム平均化部１４と、間接音フレーム平均化部１５と、インパルス応答推定部１６とを備える。

インパルス応答推定装置１は、ある空間で収録された音響信号ｘ（ｋ）を入力する。音響信号ｘ（ｋ）は、直接音ｄ（ｋ）と間接音ｒ（ｋ）の混合音であり、式（１）のように表される。本明細書において、「音響信号」とは、音声や楽器などのあらゆる音を含みうるものとする。

残響分離部１１は、残響分離処理を行い、音響信号ｘ（ｋ）を直接音ｄ（ｋ）と間接音ｒ（ｋ）とに分離し、直接音を直接音分割部１２に出力し、間接音を間接音分割部１３に出力する。ここで、残響分離処理として既知の任意のものを用いることができる。

直接音分割部１２は、残響分離部１１から入力された直接音ｄ（ｋ）を所定の長さＴのフレームに分割して複数の分割直接音ｄ_ｎ（ｋ）（ｎ＝１，２，・・・，Ｎ）を生成し、直接音フレーム平均化部１４に出力する。ここで、ｋ＝１，２，・・・，Ｔである。

間接音分割部１３は、残響分離部１１から入力された間接音ｒ（ｋ）を所定の長さＴのフレームに分割して複数の分割間接音ｒ_ｎ（ｋ）（ｎ＝１，２，・・・，Ｎ）を生成し、間接音フレーム平均化部１５に出力する。ここで、ｋ＝１，２，・・・，Ｔである。

直接音ｄ（ｋ）及び間接音ｒ（ｋ）の分割は、Ｔをフレーム長として、式（２）のように重なり無く分割してもよいし、式（３）のように重なりを持って分割してもよい。

ここで、フレーム長Ｔの長さはユーザが任意に決定することができるが、抽出するインパルス応答の長さと同じかそれ以上の長さがよい。また、あらかじめ決定しておいたフレーム長Ｔで直接音ｄ（ｋ）及び間接音ｒ（ｋ）をきれいに分割できない場合には、直接音ｄ（ｋ）と間接音ｒ（ｋ）の信号末尾にゼロ詰めを行ってもよい。

直接音フレーム平均化部１４は、直接音分割部１２により生成された分割直接音ｄ_ｎ（ｋ）から、直接音ｄ（ｋ）を平均化した平均直接音／ｄ（ｋ）を生成する。なお、本明細書では、「／」は平均の記号であるバーを意味するものとする。平均直接音／ｄ（ｋ）は直接音のフレーム数（分割数）をＮとして、式（４）で表される。

間接音フレーム平均化部１５は、間接音分割部１３により生成された分割間接音ｒ_ｎ（ｋ）から、間接音ｒ（ｋ）を平均化した平均間接音／ｒ（ｋ）を生成する。平均間接音／ｒ（ｋ）は間接音の分割数（フレーム数）をＮとして、式（５）で表される。

また、間接音ｒ（ｋ）はインパルス応答ｈ（ｋ）を用いて式（６）のように表すことができる。ここで、＊は畳み込み演算を表す。

同様に、分割間接音ｒ_ｎ（ｋ）は、分割されたフレームごとのインパルス応答ｈ_ｎ（ｋ）を用いて式（７）のように表すことができる。

ここで、e_ｎ（ｋ）は前フレームの残響の影響である。なお、フレームごとのインパルス応答ｈ_ｎ（ｋ）は不変であると仮定すると、平均直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）の関係は式（８）のように表すことができる。また、／e（ｋ）は平均化されたそれぞれのフレームにおける前フレームの残響の影響である。

ここで、／ｈ（ｋ）は平均化されたインパルス応答を示し、式（９）で表すことができる。

インパルス応答推定部１６は、平均化直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）に対し、適応フィルター法や最少二乗法などの既知の任意の手法を用いて、平均化されたインパルス応答／ｈ（ｋ）を求め、これを音響信号を収録した原音場のインパルス応答として外部に出力する。ここで、／e（ｋ）が平均直接音／ｄ（ｋ）と無相関であると仮定すると、適応フィルター法や最少二乗法を用いることにより、／e（ｋ）の影響を除去することができる。なお、適応フィルター法における適応アルゴリズムは、ＬＭＳアルゴリズムやＮ−ＬＭＳアルゴリズム・射影アルゴリズムなど多くの手法が提案されているので、音質を保って分離できるアルゴリズムを用いればよい。

インパルス応答推定部１６において、平均化直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）に対してインパルス応答を推定することにより、残響分離部１１において非線形処理または時変処理を行って入出力間関係の変化する直接音及び間接音に分離した場合でも、全信号区間において平均化されて周波数成分を多く含むインパルス応答／ｈ（ｋ）を得ることができる。

（第２の実施形態）
つぎに、本発明の第２の実施形態に係るインパルス応答推定装置について、以下に説明する。図２に、本発明の第２の実施形態に係るインパルス応答推定装置の構成例を示す。図２に示すインパルス応答推定装置２は、残響分離部１１と、直接音分割部１２と、間接音分割部１３と、フレーム選択部１７と、インパルス応答推定部１６とを備える。残響分離部１１、直接音分割部１２、及び間接音分割部１３は第１の実施形態と同じなので、説明を省略する。

フレーム選択部１７は、直接音分割部１２から分割直接音ｄ_ｎ（ｋ）を入力し、間接音分割部１３から分割間接音ｒ_ｎ（ｋ）を入力する。直接音及び間接音の周波数領域が広いほど、インパルス応答の推定精度が高くなる。そこで、フレーム選択部１７は、分割直接音ｄ_ｎ（ｋ）及び分割間接音ｒ_ｎ（ｋ）の周波数特性の差分の最も大きなフレームを選択する。すなわち、フレームごとに周波数特性の差分を求め、例えば、ｎ＝３のフレームについて周波数特性の差分が最大の場合には、分割直接音ｄ_３（ｋ）及び分割間接音ｒ_３（ｋ）をインパルス応答推定部１６に出力する。

以下に、フレーム選択部１７におけるフレーム選択処理の具体例を示す。分割直接音ｄ_ｎ（ｋ）及び分割間接音ｒ_ｎ（ｋ）の関係は、上述したように分割されたフレームごとのインパルス応答ｈ_ｎ（ｋ）を用いて式（７）で表される。

さらに、分割間接音ｒ_ｎ（ｋ）を離散フーリエ変換（ＤＦＴ；discrete Fourier transform）することによって、式（１０）の関係式を導くことができる。

ここで、Ｒ_ｎ（ω_ｍ），Ｄ_ｎ（ω_ｍ）はそれぞれ分割間接音ｒ_ｎ（ｋ），分割直接音ｄ_ｎ（ｋ）の周波数領域表現を表し、Ｈ_ｎ（ω_ｍ）は伝達関数を表す。また、ω_ｍは角周波数であり、ｍはＤＦＴ処理によって生じる周波数離散化におけるインデックスである。式（１０）より、伝達関数は直接音と間接音の相対関係を表している。

直接音と間接音の周波数特性の差分を表す指標として、スペクトル歪みＳＤ（Spectral Distortion）を式（１１）に示す。このスペクトル歪みＳＤが大きいフレームほど、直接音と間接音の周波数軸上での振幅特性の差の積分値が大きく、残響成分を多く含んでいると考えられる。そこで、フレーム選択部１７は、あらかじめ各フレームにおいてスペクトル歪みＳＤを計算し、最もスペクトル歪みＳＤの大きなフレームの分割直接音ｄ_ｎ（ｋ）及び分割間接音ｒ_ｎ（ｋ）をインパルス応答推定部１６に出力するようにしてもよい。ここで、ＭはＤＦＴ点数である。

また、直接音と間接音の周波数特性の差分を表す別の指標として、全オクターブに対して均等に重み付けしたスペクトル歪みβを式（１２）に示す。この評価関数βが大きいフレームほど、人の聴覚特性に合わせ、全オクターブ対して均等に重み付けした平均化誤差で評価した際に、直接音と間接音の周波数軸上での振幅特性の差の積分値が大きく、残響成分を多く含んでいると考えられる。そこで、あらかじめ各フレームにおいて評価関数βを計算し、最も評価関数βの大きなフレームの分割直接音ｄ_ｎ（ｋ）及び分割間接音ｒ_ｎ（ｋ）をインパルス応答推定部１６に出力するようにしてもよい。

なお、上述したインパルス応答推定装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、インパルス応答推定装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、本発明に係るインパルス応答推定装置１，２、又はそのプログラムは、複数のフレームに分割された直接音及び間接音を用いてインパルス応答を推定する。そのため、残響分離部１１において非線形処理または時変処理により入出力間関係の変化する直接音及び間接音に分離した場合でも、妥当なインパルス応答を得ることができる。また、楽音信号などの周波数成分に時間的な偏りのある音響信号を用いた場合でも、短い学習時間で音響信号に含まれる全ての周波数を考慮したインパルス応答の推定が可能となる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

本発明は、例えば番組制作における音声編集作業などに利用することができる。

１，２ インパルス応答推定装置
１１ 残響分離部
１２ 直接音分割部
１３ 間接音分割部
１４ 直接音フレーム平均化部
１５ 間接音フレーム平均化部
１６ インパルス応答推定部
１７ フレーム選択部

Claims (5)

1. 音響信号を直接音と間接音とに分離する残響分離部と、
   前記直接音及び前記間接音を複数のフレームに分割して、分割直接音及び分割間接音を生成する分割部と、
   前記分割直接音及び分割間接音から、音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、
   を備えることを特徴とするインパルス応答推定装置。
2. 前記分割直接音及び分割間接音を平均化した平均直接音及び平均間接音を生成するフレーム平均化部を更に備え、
   前記インパルス応答推定部は、平均直接音及び平均間接音を用いて前記インパルス応答を推定することを特徴とする、請求項１に記載のインパルス応答推定装置。
3. 前記分割直接音及び前記分割間接音の周波数特性の差分が最も大きいフレームを選択するフレーム選択部を更に備え、
   前記インパルス応答推定部は、前記フレーム選択部により選択されたフレームの分割直接音及び分割間接音から、前記インパルス応答を推定することを特徴とする、請求項１に記載のインパルス応答推定装置。
4. 前記フレーム選択部は、スペクトル歪み、又は全オクターブに対して均等に重み付けしたスペクトル歪みが最も大きいフレームを選択することを特徴とする、請求項３に記載のインパルス応答推定装置。
5. コンピュータを、請求項１から４のいずれか一項に記載のインパルス応答推定装置として機能させるためのプログラム。

Images