JP2004274234A - 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】複数個以上のセンサを必要とせず、かつ予め音源からセンサに至る逆伝達関数の測定を必要としない、単一のセンサで測定された観測信号をもとに残響除去を行う。
【解決手段】音声信号が持つ性質の一つである調波構造を利用して、単一のセンサで測定された残響を含んだ観測信号から、調波構造フィルタを用いて調波成分の直接音を近似し、この近似音と観測信号をもとに音源から残響を含んだ観測信号の入力に至る逆伝達関数を推定し、残響を含んだ観測信号に適用することにより残響除去信号を得る。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は残響を伴った音響信号から、残響を取り除いた音響信号を抽出する残響除去の方法、装置、及び残響除去プログラム、そのプログラムを記録した記録媒体に関する。
音声信号は、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難になるとともに、音声自体の明瞭度が低下する。これに対し、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出しやすくするとともに、音声の明瞭度を回復することができる。これは他のさまざまな音響信号処理システムの要素技術として用いることで、そのシステム全体の性質向上につながる技術である。残響除去処理が要素技術として性能向上に寄与できるような音響信号処理システムには、例えば、以下のようなものが列挙できる。
１．残響除去を前処理として用いる音声認識システム
２．残響除去により音声の明瞭度を向上させるＴＶ会議システムなどの通信システム
３．講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生システム
４．残響を除去することで聞き取りやすさを向上させる補聴器
５．人が歌ったり、楽器で演奏したり、またはスピーカで再生した演奏された音楽の残響を除去して、楽曲を検索したり、採譜したりする音楽情報処理システム
６．人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との対話装置
【０００２】
【従来の技術】
従来例１の残響除去方法（非特許文献１）を図８を参照して説明する。
従来例１では、目的音源位置推定部と残響反射位置推定部と死角型指向性形成部とを備え、複数のセンサで測定された観測信号１〜ｎを入力として用いるディジタル信号処理により、目的音源位置と残響反射位置を推定し、本来の音源の方向から来る音は通過させつつ、本来の音源から出た音が壁などに反射する方向から来る音には死角を向けるような指向特性を形成することで残響の除去を行う。
従来例２の残響除去方法（非特許文献２）を図９を参照して説明する。
従来例２では、あらかじめ音源からセンサまでの伝達関数を測定しておいて逆伝達関数データを保持し、観測信号に対して、その逆関数を乗算することで残響除去を行う。
【０００３】
【非特許文献１】
Ｓｃｈｍｉｄｔ，Ｒ．Ｏ．，“Ｍｕｌｔｉｐｌｅ ｅｍｉｔｔｅｒ ｌｏｃａｔｉｏｎ ａｎｄ ｓｉｇｎａｌ ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．ＡＰ，３４（３），ｐｐ．２７６−２８０，１９８６
【非特許文献２】
Ｍｉｙｏｓｈｉ，Ｍ．， ａｎｄ Ｋａｎｅｄａ， Ｙ．，“Ｉｎｖｅｒｓｅ ｆｉｌｔｅｒｉｎｇ ｏｆ ｒｏｏｍ ａｃｏｕｓｔｉｃｓ，”ＩＥＥＥ Ｔｒａｎｓ．ＡＳＳＰ，３６（２），ｐｐ１４５−１５２，１９８８
【０００４】
【発明が解決しようとする課題】
上述した従来例１の残響除去方法では、ディジタル信号処理により形成する死角の数をｎとすると、原理的にｎ個以上のセンサが必要となる。したがって、観測信号のセンサが１つしかない場合は適用できない方法である。また、残響が周囲のいたるところから到来するような環境においては、非常に多数のセンサによる観測信号が必要になる。さらに、目的音と同じ方向から来る残響についてはこの方法では除去できない。
上述した従来例２の残響除去法では、少数のセンサによる観測音でいたるところから到来する残響を除去することができるが、あらかじめ伝達関数を測定しておく必要がある。また、あらかじめ想定していなかった伝達関数を近似的に求める方法も提案されているが、その場合は複数のセンサからの観測音が必要であった。
このように、従来用いられてきた残響除去法では、観測信号のセンサが一つで、かつ音源からセンサへの伝達関数が既知でない場合には、残響を除去することはできなかった。
【０００５】
【課題を解決するための手段】
上記従来法の解決するために、本発明では、音声信号が持つ性質の一つである調波構造を利用する。この方法では、単一のセンサで測定された残響を含む観測信号から、調波構造フィルタを用いて調波成分の直接音を近似し、この近似音と観測信号から、逆伝達関数を推定する方法を与える。以下では、まず、音声の性質について説明した後、この残響除去の原理を説明する。
【０００６】
音声のモデル
実環境では、音源信号Ｘ（ω）は残響を伴ってマイクに収音される。この残響を含む観測信号Ｙは、Ｘと伝達関数Ｈの積で表現することができ（式（１））、Ｈはさらに直接音成分Ｄと残響成分Ｒの二つの関数に分けることができる（式（２））。前者はＸから直接音ＤＸへ、後者は残響音ＲＸへの伝達関数である。

以下、本明細書の記述では、周波数領域信号Ｙ（ω）やＸ（ω）などの周波数を表す表現（ω）をしばしば略記して、ＹやＸなどと表記する。
本発明では直接音Ｘ’（＝ＤＸ）を残響除去の目的信号とする。直接音Ｘ’は、観測信号Ｙから残響音ＲＸを削除するか、もしくは、伝達関数Ｈ’（＝Ｈ／Ｄ）を推定することができれば、観測信号Ｙに逆伝達関数１／Ｈ’を乗ずることで求めることができる（式（４））。
音声の場合、音源信号Ｘは調波成分Ｘ_ｈと雑音成分Ｘ_ｎとからなると仮定できる（式（５））。この信号は伝達関数Ｈを乗じた信号として観測される（式（６））。また、この観測信号Ｙは、調波成分の直接音ＤＸ_ｈとその他の成分の和とも解釈できる（式（７））。

このうち、直接音ＤＸ_ｈは、観測信号Ｙから、その基本周波数Ｆ_０の整数倍に位置する各高調波の位相と強度を抽出することで近似的に求めることができる。基本周波数Ｆ_０は時々刻々変動するのに対し、残響には変動以前のＦ_０に起因する成分も多く含まれている。このためＦ_０とともに変動する調波成分を抽出する操作（すなわち、調波構造フィルタ）により残響を低減することができる。調波構造フィルタによる直接音ＤＸ_ｈの近似音Ｘ’＾_ｈには、各高調波と同じ周波数に重畳している調波成分の残響の一部Ｒ＾Ｘ_ｈとその他の雑音成分の一部Ｎ＾が残存するのみである。（単純化のためＲ＾は一定の変数として表現している。厳密には、Ｘ’＾_ｈに含まれる残響成分はＸ’の時間構造に依存して変動する。）
これは以下のようにモデル化できる。
Ｘ’＾_ｈ＝ＤＸ_ｈ＋（Ｒ＾Ｘ_ｈ＋Ｎ＾） （８）
ここで、Ｘ’＾_ｈの近似誤差はすべてＲ＾Ｘ_ｈ＋Ｎ＾に含まれているとみなしている。
【０００７】
（残響除去の原理１）
調波構造に基づく本残響除去では、Ｏ（Ｒ＾）＝（Ｄ＋Ｒ＾）／Ｈを“残響除去オペレータ”と定義する。観測信号ＹにＯ（Ｒ＾）を乗ずることで得られる信号ＤＸ＋Ｒ＾Ｘが、残響が抑制された信号となるからである。
Ｏ（Ｒ＾）Ｙ＝ＤＸ＋Ｒ＾Ｘ （９）
すなわち、Ｏ（Ｒ＾）Ｙは直接音ＤＸと一部の残響Ｒ＾Ｘから構成される信号となる。式（２）に含まれている残りの残響（Ｒ−Ｒ＾）Ｘは、残響除去オペレータによって取り除かれることになる。
この残響除去オペレータ Ｏ（Ｒ＾）を求めるために、調波構造フィルタによる直接音の近似信号Ｘ’＾_ｈを利用する。まず、複数の観測信号Ｙに対して個別にＸ’＾_ｈを求める。次に、Ｘ’＾_ｈとＹの各組に対してＨ’の逆伝達関数の初期推定値１／Ｈ’＾（＝Ｘ’＾_ｈ／Ｙ）を計算する。最後に、この初期推定値の平均Ｅ（１／Ｈ’＾）を計算することで、Ｏ（Ｒ＾）を近似的に求める。
Ｅ（１／Ｈ’＾）がＯ（Ｒ＾）の良い近似となることは、Ｅ（Ｘ’＾_ｈ／Ｙ）に式（６）、（８）を代入することで、以下のように示すことができる。
【数１】

ここで、複素関数ｆ（ｚ）＝１／（１＋ｚ）は、ｚの偏角が一様分布で、ｚの偏角と｜ｚ｜が独立であり、かつｚ≠−１と仮定すると、留数定理を用いてＥ（ｆ（ｚ））＝Ｐ（｜ｚ｜＜１）を示すことができる（Ｐ（・）は確率、証明略）。また、式（１０）中のＮ＾は調波構造フィルタが抽出する調波成分に重畳した雑音成分であるため、十分に長い分析フレームを用いれば、その大きさはＹ−Ｎ＾と比べて小さな値になると考えられる。これらの性質を用いると上式は以下のように近似できる。
【数２】

つまり、逆伝達関数の平均値は、残響除去オペレータに対して、音声の調波成分が雑音成分よりも大きくなる確率（０〜１の間の実数）を乗じた値となる。
【０００８】
音声では、通常、高域ほど雑音成分の影響が強くなる。このため、Ｐ（｜Ｘ_ｎ（ω）｜＜｜Ｘ_ｈ（ω）｜）はωが大きくなるほど小さくなり、それに応じて逆伝達関数の平均値も減衰する。この減衰特性は、音声に関するＰ（｜Ｘ_ｎ（ω）｜＜｜Ｘ_ｈ（ω）｜）の平均的な特性を用いれば補正することは可能である。以下、本発明ではこうして求められる逆伝達関数の平均値を残響除去オペレータの推定値として扱う。
以上のようにして求められる残響除去オペレータＯ（Ｒ＾）を、観測信号Ｙに適用することで、残響を抑制した信号Ｘ’を得ることができる（式（１２））。
Ｘ’＾＝Ｏ（Ｒ＾（ω））Ｙ （１２）
なお、式（１０）は１／Ｈ’に関して平均をとることで逆伝達関数を近似しているが、この式の代わりに、Ｈ’＾の平均Ｅ（Ｈ’＾）を計算した後、この逆数１／Ｅ（Ｈ’＾）で逆伝達関数を近似するという方法を用いることもできる。この逆伝達関数の近似を用いても同様に残響除去を行うことができる。
【０００９】
（残響除去の原理２）
残響除去の原理１では、逆伝達関数の初期推定値Ｘ’＾_ｈ／Ｙの平均値を求めることで、逆伝達関数を求めたのに対し、残響除去の原理２では、観測信号Ｙと直接音の近似信号Ｘ’＾_ｈから伝達関数Ｈ’＾を２乗誤差最小の原理で推定する。つまり次の評価関数Ｓ（Ｈ）を最小にするＨを求めることで、伝達関数を推定する。
Ｓ（Ｈ）＝Ｅ（｜Ｙ−ＨＸ’＾_ｈ｜^２） （１３）
【数３】

上式を満たすＨ’＾は、以下の値になることは解析的に示すことができる（証明略）。
【数４】

ここで、［ ^＊ ］は共役複素数を意味している。この式を展開するために、調波構造フィルタが抽出する直接音の近似音Ｘ’＾_ｈは、式（８）を書き換えて以下のように表現することもできる。（ここでは、残響成分Ｒ＾に加えて雑音成分伝達関数Ｈ＾_ｎも一定の変換として表現している。厳密には、Ｒ＾と同様にＸ’＾_ｈに含まれる雑音成分はＸ’の時間構造に依存して変動する。）
Ｘ’＾_ｈ＝ＤＸ_ｈ＋（Ｒ＾Ｘ_ｈ＋Ｈ＾_ｎＸ_ｎ） （１６）
これと式（８）を式（１５）に代入して１／Ｈ’＾について整理すると以下の関係式が得られる。
【数５】

ただし、Ｅ（Ｘ_ｈＮ＾^＊）＝Ｅ（Ｘ_ｈＸ＾_ｎ ^＊）＝０を仮定し、
【数６】

とした。複素関数ｆ（ｚ）＝１／（１＋ｚ），ｇ（ｚ）＝ｚ／（１＋ｚ）は｜ｚ｜＜１で正則関数であることと、Ｈ＾_ｎ ^＊Ｅ（｜Ｘ_ｎ｜^２）は（Ｄ＋Ｒ＾）^＊Ｅ（｜Ｘ_ｈ｜^２）に比べて小さな値をとると期待されることから、式（１７）は正則関数となると考えられる。したがって、Ｚに関してテイラー展開して、Ｚの２次以上の項を無視すると、以下が得られる。
【数７】

このうち、第２項に含まれているＨ＾_ｎ ^＊は調波構造抽出時に重畳して抽出される雑音成分への関数であるため、実際には、ＨやＤ＋Ｒ＾と比べると十分に小さなゲインになると予想される。したがって、１／Ｈ’＾は、近似的に残響除去オペレータに一致するといえる。以上の考察より、最小２乗原理に従って求められる逆伝達関数１／Ｈ’＾も、原理１の場合と同様に、近似的に残響除去オペレータに一致すると期待される。
このようにして近似される残響除去オペレータを観測信号Ｙに乗ずることで、残響を除去して信号ＤＸ＋Ｒ＾Ｘを得ることができる。
【００１０】
【発明の実施の形態】
残響除去フロー１
残響の原理１に基づく残響除去法の実施例１を図１を用いて説明する。
（基本周波数推定部）
残響を含む信号ｙ（ｔ）が入力されると、まず、基本周波数推定処理は、入力信号を分析窓と呼ばれる短時間の信号区間（フレーム）に分割するとともに、各フレームの基本周波数、および調波構造が含まれたフレーム（調波構造区間）を推定する。基本周波数の推定、および調波構造区間の推定にはケプストラム法や特願２００２−６２５１３「占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体」、特願２００２−２７４５２５「調波構造区間推定方法及び装置、調波構造区間推定プログラム及びそのプログラムを記録した記録媒体、長波構造区間推定の閾値決定方法及び装置、調波構造区間推定の閾値決定プログラム及びそのプログラムを記録した記録媒体」に示されている方法などをはじめ多くの方法を用いることができる。
【００１１】
一例として、図３に示す入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する。この方法は、雑音下でも頑健に推定が行えることが特長である。
・パワー抽出部
まず、入力信号に短時間分析窓をかけて各フレームごと（ｍで示す）の信号ｘ_ｍ（ｔ）に分割した後、各周波数ごとのパワーＳ_ｍ（ω_ｋ）を計算する。これには、例えば、短時間離散フーリエ変換ＤＦＴ（・）を用いて以下のように計算できる。
Ｘ_ｍ（ω_ｋ）＝ＤＦＴ（ｘ_ｍ（ｔ）） （２０）
Ｓ_ｍ（ω_ｋ）＝｜Ｘ_ｍ（ω_ｋ）｜^２ （２１）
・包絡成分除去部
次に、この信号に対し高域通過フィルタを適用してスペクトルの包絡を削除した信号Ｒ_ｍ（ω_ｋ）を計算する。例えば、Ｓ_ｍ（ω_ｋ）にＤＦＴ（・）を適用した信号に対し低域周波数を０と置き換えた後、短時間離散フーリエ逆変換ＩＤＦＴ（・）を適用することで、Ｒ_ｍ（ω_ｋ）を得ることができる。
Ｃ_ｍ（ｔ_ｋ）＝ＤＦＴ（Ｓ_ｍ（ω_ｋ）） ｔ_ｋ ＞Ｔ （２２）
Ｃ_ｍ（ｔ_ｋ）＝０ ｏｔｈｅｗｉｓｅ （２３）
Ｒ_ｍ（ω_ｋ）＝ＩＤＦＴ（Ｃ_ｍ（ｔ_ｋ）） （２４）
・調波構造パワー抽出部、最大値抽出部
最後に、５０〜５００Ｈｚ相当の値をとりうるωを基本周波数と仮定した時の調波構造に関するＲ_ｍ（ω_ｋ）の値の総和Ｈ_ｍ（ω）を求めた後、Ｈ_ｍ（ω）の最大値を与えるωを基本周波数として抽出する。
【数８】

ここで、ｋ’は基本周波数の整数倍を表し、ω_ＭＡＸには、例えば、１５００Ｈｚ相当の値などが適している。
なお、上記で説明した基本周波数推定法には、さらに、後述する残響に頑健な基本周波数推定法などを適用することで、より信頼性の高い推定を実現できる。
【００１２】
（調波構造抽出部）
次に、こうして求められたＦ_０（ｍ）を用いて調波構造区間の推定法の実施例について説明する。
・平均・分散抽出部
まず、上記で求めたＨ_ｍ（ω）の平均Ａ_ｍと分散σ_ｍを計算する。
・調波構造らしさ抽出部
次に、以下の式にしたがって調波構造区間らしさを表す尺度Ｖ（ｍ）を計算する。
【数９】

Ｖ（ｍ）＝ｍｅｄｉａｎ _ｊ（Ｖ_０（ｍ）） （２９）
ここで、ｍｅｄｉａｎ _ｊ（Ｖ_０（ｍ））は、フレームｍを含んで前後ｊフレーム（合計２ｊ＋１フレーム）のＶ_０（・）の値の中央値を返すフィルタである。ｊには音声の場合、例えばフレーム周期が１ｍｓであれば、３０フレーム（つまり２ｊ＋１に対しては６１フレーム）などが適した範囲である。
・閾値処理部
最後に、こうして求めた値を閾値処理することで調波構造区間か否かを判定することができる。つまり、Ｖ（ｍ）＞θのときのみ、当該フレームを調波構造区間と判定する。
【００１３】
（逆伝達関数推定部）
このようにして求められた基本周波数と調波構造区間をもとに、次に、調波構造成分抽出処理が調波成分を抽出する（このため、複数の観測信号ｙ_ｉ（ｔ）が得られているとする。ここで、ｉは、複数の観測信号の中の各信号を示すためのインデックスを表す。）。まず、ｉ番目の観測信号ｙ_ｉ（ｔ）に関して、短時間分析窓をかけて各フレームｍごとに切り出した信号ｙ_ｉ，ｍ（ｔ）に対して、短時間離散フーリエ変換を施して信号Ｙ_ｉ，ｍ（ω）を求める。次に、調波構造区間と判定されたすべてのフレームｍに対する基本周波数ω_ｉ，０（ｍ）の整数倍ｋ’に位置する周波数信号Ｙ_ｉ，ｍ（ｋ’，ω_ｉ，０（ｍ））の絶対値と位相から、該当する周波数成分の振幅ａ_ｉ，ｋ’（ｍ）と位相φ_ｉ，ｋ’（ｍ）を抽出する。次に、この値をもとに以下の式に基づいて当該調波成分に相当する直接音の近似音ｘ’＾_ｉ，ｈ（ｔ）を合成する。
【数１０】

ここで、ｗ（ｔ−τ_ｍ）は窓関数をあらわし、τ_ｍはフレームｍに相当する時刻である。τ_ｍとτ_ｍ＋１の差はフレーム周期であり、隣り合う２フレーム間で時間区間が重複するような間隔で、式（３０）は連続した音声信号として合成される。
【００１４】
次に、逆伝達関数推定処理では、各ｙ_ｉ（ｔ）とｘ’＾_ｉ，ｈ（ｔ）の各組から、逆伝達関数の初期推定値１／Ｈ＾_ｉ（ω）を以下の式により計算する。
Ｙ_ｉ（ω）＝ＤＦＴ（ｙ_ｉ（ｔ）） （３１）
Ｘ’＾_ｉ，ｈ（ω）＝ＤＦＴ（ｘ’＾_ｉ，ｈ（ｔ）） （３２）
【数１１】

ここで、ＤＦＴ（・）は離散フーリエ変換を表す。次に、こうして求められた逆伝達関数の初期推定値の平均を求めることで、残響除去オペレータを計算する。
【数１２】

Ｎ’はＨ＾のサンプル数を表す。
【００１５】
（逆伝達関数適用部）
こうして求めた残響除去オペレータを観測信号Ｙ_ｉ（ω）に乗じ、離散フーリエ逆変換（ＩＤＦＴ（・））を施して、残響除去後の信号ｘ’＾_ｉ（ｔ）を得る。
【数１３】

なお、式（３４）の計算において、単純に平均値を求めるかわりに、振幅スペクトル｜Ｘ’＾_ｉ，ｈ（ω）｜の重みを付けて計算することで、より精確な逆伝達関数の近似ができる。
【数１４】

雑音成分の影響を抑制しつつ占有的な調波成分の影響を強調することができるからである。振幅スペクトルのかわりにパワースペクトル｜Ｘ’＾_ｉ，ｈ（ω）｜^２などを重みに使っても同様の効果を得ることができる。
【００１６】
さらに、残響除去方法は、図４に示すように、ほぼ同じ処理を２段（またはそれ以上）で構成することで、より精確に逆伝達関数を求めることができるようになる。
１．ＳＴＥＰ１では、まず、観測信号ＹからＦ_０を求めたのち、調波構造フィルタを用いてＹに含まれる調波成分Ｘ’＾_ｈ，１を抽出する。次に、複数の観測信号Ｙに対するＸ’＾_ｈ，１／Ｙの平均から残響除去フィルタＯ（Ｒ＾_１）を推定する。最後に、ＹにＯ（Ｒ＾_１）を乗じて残響除去した信号を得る。
２．ＳＴＥＰ２は、ＳＴＥＰ１で残響除去した信号Ｏ（Ｒ＾_１）Ｙを入力として用いる以外はＳＴＥＰ１と同じ処理を行う。Ｏ（Ｒ＾_１）Ｙを用いることで、式（８）に含まれる残響成分Ｒ＾_２Ｘ_ｈ，２が抑制されると期待されるので、さらなる残響除去効果が達成される。
【００１７】
残響除去フロー２
残響除去の原理２に基づく残響除去法の実施例２を、実施例１と同じ図１を用いて説明する。
実施例２は、実施例１において、逆伝達関数の推定値を求める計算方法を除いて、全く実施例１と同じように構成することができる。すなわち、式（３３），（３４）のかわりに以下を計算することになる。
【数１５】

この場合には式（３５）のＥ（１／Ｈ＾_ｉ（ω））も１／Ｈ＾_ｉ（ω）と読みかえることが必要である。
また、式（３６）のような重み付け平均の操作も同様に行うことができる。こうするためには、式（３７）のかわりに以下の計算式を用いればよい。
【数１６】

【００１８】
残響に頑健な Ｆ _０ 推定法
提案法を用いて効果的な残響除去を行うためには正確なＦ_０推定が重要である。しかし、残響の長い環境では、変動前の基本周波数Ｆ_０に起因する残響成分が変動後のＦ_０の推定精度を劣化させる。この影響を低減するために、図２に示すように継続音を抑制する単純なフィルタ（継続音抑制部）を設計し、ＳＴＥＰ１のＦ_０推定の前処理として用いることが効果的である。
【数１７】

なお、残響除去オペレータ自身も、基本周波数Ｆ_０推定の前処理として有効に機能する。この処理はＳＴＥＰ２でＦ_０推定をＯ（Ｒ＾_１）Ｙに対して適用するという形で実施される。この結果、ＳＴＥＰ２では、ＳＴＥＰ１よりもさらに正確にＦ_０推定ができるようになる。
【００１９】
本発明の音響信号の残響除去装置は、ＣＰＵやメモリ等を有するコンピュータと、利用者端末と、ＣＤ−ＲＯＭ，磁気ディスク装置，半導体メモリ等の機械読み取り可能な記録媒体とから構成することができる。
記録媒体に記録された音響信号の残響除去プログラム、あるいは回線を介して伝送された音響信号の残響除去プログラムは、コンピュータに読み取られ、コンピュータ上に前述した各構成要素、各処理を実現する。
【００２０】
【発明の効果】
提案法の性能を残響曲線で評価した。ＡＴＲ単語ＤＢから男女一名（ＭＡＵとＦＫＭ、１２ｋＨｚ標本化）の各５２４０単語を音源信号Ｘとし、可変残響室で測定した４種類のインパルス応答（残響時間が０．１，０．２，０．５，１．０秒）を畳み込んで観測信号Ｙを合成した。
図５は、残響除去処理を行う前後の残響曲線を示している。女性話者の場合、残響時間（ＲＴ）が０．１秒より長い時には効果的に残響を抑制できている。しかし、ＲＴ＝０．１の時は残響の抑制効果は認められず、この実験で除去できる残響時間の最小限界を示していると思われる。一方、男性話者の場合もＲＴ＞０．１の時はインパルス直後の残響は効果的に抑制できている。これは目的音の明瞭度が改善することを意味する。例えばＲＴ＝０．２の時、Ｔｉｍｅ＞０．１の残響は増えているが、よりパワーの強いＴｉｍｅ＜０．１の残響が抑制されているので、全体として明瞭度は向上する。これらの効果は、実際に音を耳で聞けば明らかである。
図６、７は、本発明を適用した場合の残響時間が１秒の時に残響を含む音声と残響除去処理後の音声のスペクトルグラムを示している。図より残響が効果的に抑制されていることがわかる。さらに、音声のフォルマント構造が回復していることも見てとれる。
【図面の簡単な説明】
【図１】本発明の音響信号の残響除去装置の構成例を示す図。
【図２】本発明の基本周波数推定の前処理として継続音抑制部を有する音響信号の残響除去装置の構成例を示す図。
【図３】入力信号のパワーを用いる基本周波数推定、並びに調波構造区間推定法を説明する図。
【図４】本発明の２段構成とした音響信号の残響除去装置の構成例を示す図。
【図５】残響曲線：残響時間（ＲＴ）の異なるインパルス応答、および残響除去後の各インパルス応答を示す図。
【図６】男性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図７】女性話者の残響を含まない音声、残響を含む音声と残響除去後の音声のスペクトログラム。
【図８】従来例１の残響除去方法を説明する図。
【図９】従来例２の残響除去方法を説明する図。

Claims (8)

1. 入力された残響を含んだ音響信号に対し、基本周波数を推定する処理と調波成分を抽出する処理と、前記音響信号と推定した基本周波数と抽出した調波成分をもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、前記音響信号に対し逆伝達関数を適用する処理と、から構成される音響信号の残響除去方法。
2. 請求項１に記載の音響信号の残響除去方法において、
   前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制処理と、基本周波数を推定する処理からなる基本周波数推定法を用いることを特徴とする音響信号の残響除去方法。
3. 入力された残響を含んだ音響信号に対し、基本周波数を推定する基本周波数推定部と調波成分の抽出を行う調波構造抽出部と、前記音響信号と推定した基本周波数と抽出した調波成分をもとに音源から前記音響信号の入力に至る逆伝達関数を推定する逆伝達関数推定部と、前記音響信号に対し逆伝達関数を適用する逆伝達関数適用部と、から構成される音響信号の残響除去装置。
4. 請求項３に記載の音響信号の残響除去装置において、
   基本周波数推定部は、前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制部を有することを特徴とする残響除去装置。
5. 入力された残響を含んだ音響信号に対し、基本周波数を推定する処理と調波成分を抽出する処理と、前記音響信号と推定した基本周波数と抽出した調波成分をもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、前記音響信号に対し逆伝達関数を適用する処理と、をコンピュータに実行させる音響信号の残響除去プログラム。
6. 請求項５に記載の音響信号の残響除去プログラムにおいて、
   基本周波数を推定する処理は、前記音響信号入力に対し、周波数ごとに継続音を抑制する継続音抑制処理を含む音響信号の残響除去プログラム。
7. 入力された残響を含んだ音響信号に対し、基本周波数を推定する処理と調波成分を抽出する処理と、前記音響信号と推定した基本周波数と抽出した調波成分をもとに音源から前記音響信号の入力に至る逆伝達関数を推定する処理と、前記音響信号入力に対し逆伝達関数を適用する処理と、をコンピュータに実行させる音響信号の残響除去プログラムを記録した記録媒体。
8. 請求項７に記載の音響信号の残響除去プログラムを記録した記録媒体において、
   基本周波数を推定する処理は、前記音響信号に対し、周波数ごとに継続音を抑制する継続音抑制処理を含む音響信号の残響除去プログラムを記録した記録媒体。

Images