JP2009116245A

JP2009116245A - 音声強調装置

Info

Publication number: JP2009116245A
Application number: JP2007291943A
Authority: JP
Inventors: Naoki Nitta; 直樹仁田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-11-09
Filing date: 2007-11-09
Publication date: 2009-05-28

Abstract

【課題】動作サンプリングレートを高くする場合に構造や処理を簡略化することができる音声強調装置を提供する。
【解決手段】入力された音響信号ｘ（ｎ）を帯域フィルタ１１〜１５によって複数の帯域に分割し、複数の帯域の音響信号に基づいて帯域ごとにゲインを算出し、そのゲインによって複数の帯域の音響信号をそれぞれ制御し、制御された各帯域の音響信号を加算して出力する音声強調装置において、音声帯域部分より高域の拡張帯域についてはその帯域の音響信号ｘ_k（ｎ）に基づくゲイン算出をせず、音声帯域部分にある１又は複数の帯域のゲインに基づいてその帯域のゲインＧ_k（ｎ）を制御する。
【選択図】図１

Description

本発明は、雑音が重畳した音声信号を入力して音声が強調された信号を出力するための音声強調装置に関する。

雑音が重畳した音声信号を入力して、それを複数の帯域に分割し、各帯域のゲインをそれぞれ制御することで音声が強調された信号を出力する装置がある（特許文献１など）。特許文献１に記載されている装置では、音声信号を含む区間と、雑音信号のみの区間とを判別し、雑音信号のみの区間のレベルを基準として各帯域のゲインを制御することで、音声信号が強調された信号を出力するようになっている。

また、非特許文献１には、音声信号と雑音信号との判別を行わずに、各帯域のゲインを制御するための構成が示されている。非特許文献１に記載されている音声強調装置では、分割された各帯域のゲインを、音声に追従する各帯域の振幅の短時間平均と、雑音信号に追従する各帯域の振幅の長時間平均との比に応じて制御することで、音声信号が強調された信号を出力するようになっている。なお、非特許文献１には、動作サンプリングレートが8kHzの場合の実験について記述があるものの、複数の帯域フィルタ（バンドパスフィルタ）からなるフィルタバンクの帯域について詳細な記述はない。

また、非特許文献２には、非特許文献１と同様に音声信号と雑音信号との判別を行わずに、各帯域のゲインを制御する音声強調装置をアナログ回路によって実現するための構成が記載されている。非特許文献２に記載されている音声強調装置では、分割された各帯域のゲインが、各帯域の振幅の包絡線のピーク値と平滑された値とに応じて制御されるようになっている。

特開平９−５６０００号公報 Nils Westerlund, Mattias Dahl, and Ingvar Claesson、「Speech Enhancement using an Adaptive Gain Equalizer with Frequency Dependent Parameter Settings」、IEEE 60th Vehicular Technoiogy Conference、VTC2004秋、論文集第5巻、pp. 3718〜3722、ロサンジェルス、2004年（http://www.bth.se/fou/forskinfo.nsf/alfs/56776d52cb82af82c1256ef6002dd441） Heejong Yoo, Rich Eliis, David V. Anderson, Paul Hasler, David W.Graham, Mat Hans、「A Continuous-time Speech Enhancement Front-end for Micrphone Inputs」、ヒューレットパッカード研究所2002年技術報告、HPL-2002-311、2002年11月（http://www.hpl.hp.com/techreports/2002/HPL-2002-311.html）

ところで、非特許文献１に記載されているような音声強調装置において、動作サンプリングレートを高くしたい場合（例えば48kHzにするような場合）、高域側に分割帯域を増やして同じ原理を適用するのが妥当な考え方だが、この場合、処理量（あるいは回路規模）が増大することになる。

また、各帯域のゲインを振幅の短時間平均と長時間平均との比に応じて制御する場合、非定常的な振幅変化があるときには、例えそれが音声でなくても強調されてしまうことになる。この問題は動作サンプリングレートを高くしない場合にも言えるが、動作サンプリングレートを高くしたい場合により問題となる。例えば動作サンプリングレートを48kHzにしたい場合、信号帯域は24kHzまでである。しかし人間の声の（重要な）成分のほとんどは、約7kHzまでの帯域に含まれると言われている。参考までに、たとえば次世代携帯電話の音声コーデックは動作サンプリングレートが16kHzであり、信号帯域は7kHzである。

すなわちそれ以上の帯域については、声の成分はほとんど含まれていないと言える。つまり、音声強調装置の構成を単純に高域側に拡張してしまうと、それによって強調される音は目的音声でない、別の発音体からの音（＝雑音）である可能性のほうが高い。

本発明は、上記の事情に鑑みてなされたものであり、雑音の重畳した音声信号において音声のみを強調する音声強調装置の改良を図ることを目的とするものであって、より具体的には、入力信号の帯域が広いときにすなわち動作サンプリングレートを高くするときに、構造や処理を簡略化することができ、また、音声でない成分を強調する可能性を抑えることができる音声強調装置を提供することを目的とする。

上記課題を解決するため、本願発明は、入力された音響信号を複数の帯域に分割し、各帯域の音響信号に基づいて帯域ごとにゲインを算出し、該ゲインにより各帯域の音響信号をそれぞれ制御し、制御された各帯域の音響信号を加算して出力する音声強調装置において、所定の帯域については該帯域の音響信号に基づくゲイン算出をせず、該帯域と異なる１又は複数の帯域のゲインに基づいて該帯域の音響信号を制御することを特徴とする。また、他の本願発明は、前記音響信号に基づくゲイン算出をしない所定帯域に隣接する帯域のゲインに基づいて該所定帯域の音響信号を制御することを特徴とする。また、他の本願発明は、前記隣接する帯域のゲインに重み係数を与えて前記所定帯域のゲインとすることを特徴とする。また、他の本願発明は、入力された音響信号を複数の帯域に分割し、各帯域の音響信号に基づいて帯域ごとにゲインを算出し、該ゲインにより各帯域の音響信号をそれぞれ制御し、制御された各帯域の音響信号を加算して出力する音声強調装置において、所定の帯域については該帯域の音響信号に基づくゲイン算出をせず、所定のゲインを用いることを特徴とする。また、他の本願発明は、前記所定の帯域は、音声が含まれる帯域より高域側に拡張された帯域であることを特徴とする。また、他の本願発明は、前記音響信号に基づいて算出されるゲインが、前記各帯域の音響信号の振幅の短時間平均と長時間平均の比に応じて算出されることを特徴とする。

本願発明によれば、所定の帯域についてはその帯域の音響信号に基づくゲイン算出をしないので、入力信号の帯域を広くしてもすなわち動作サンプリングレートを高くしても、増加する帯域のゲイン算出を省略することで、構造を複雑化させたり処理量を増加させたりしないで済む。なお、所定の帯域以外の音響信号に基づいて算出されるゲインは各帯域の音響信号の振幅の短時間平均と長時間平均の比に応じて算出することができる。また、所定の帯域のゲインは所定の帯域と異なる１又は複数の帯域のゲインや所定帯域に隣接する帯域のゲインに基づいて制御したり、所定の固定ゲインを用いて制御したりすることができる。

また、所定の帯域が音声が含まれる帯域より高域側に拡張された帯域である場合には、所定の帯域と異なる１又は複数の帯域のゲインや、所定帯域に隣接する帯域のゲインに基づいてその帯域のゲインを制御することで、音声（の主要な成分）に連動して拡張帯域の動的ゲインが得られる。すなわち拡張帯域の信号は、音声帯域で音声区間と判定された箇所だけ強調され、それ以外の区間は強調されなくなる。つまり、音声でない成分を強調する可能性を抑えることができる。なお、隣接する帯域のゲインに重み係数を与えて所定帯域のゲインとすることで、所定の帯域のゲインを簡単に算出することができる。

また、所定の帯域については該帯域の音響信号に基づくゲイン算出をせず、所定のゲインを用いることで、拡張された帯域のゲインを時不変にして、拡張帯域の信号を強調しないようにすることができる。たとえば音声帯域より高域側の成分を保持することで、「空気感」を保っておくことなどができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の音声強調装置の実施の形態を示すブロック図である。図１の音声強調装置は、雑音が重畳した音声信号を所定のサンプリング周期でサンプリングした音響信号数列ｘ（ｎ）を入力として、音声信号が強調された音響信号数列ｙ（ｎ）を出力するものである。ここで、ｎはサンプリング時刻に対応する添え字であり時間とともに０、１、２、…と増加する。

また、図１の音声強調装置は、たとえば、コンピュータとソフトウェアプログラムあるいはファームウェアプログラムとによって、あるいは集積化されたハードウェア論理回路として、単体あるいは他の装置に組み込まれる形で構成することができる。

図１の音声強調装置は、入力された音響信号ｘ（ｎ）を（ｋ＋１）個の周波数帯域に分割する（ｋ＋１）個の帯域フィルタ１１、１２、…、１４、１５（ｋは２以上の整数）と、各帯域フィルタ１１、１２、…、１４、１５の出力に帯域毎に異なるゲインを乗じる乗算器２１、２２、…、２４、２５と、各帯域フィルタ１１、１２、…、１４、１５の出力から各帯域の音響信号のゲインを算出し、それぞれ算出したゲインに基づき、各乗算器２１、２２、…、２４、２５が用いるゲインをそれぞれ制御するゲインコントロール部３１、３２、…、３４および重み付け回路４１（所定の定数を乗じる乗算器）と、各乗算器２１、２２、…、２４、２５の出力を合計するｋ個の加算器５１、…、５３、５４とから構成されている。また、破線１で囲まれた各構成が音声帯域を処理するものであり、鎖線２で囲まれた各構成が音声帯域を高域に拡張した帯域を処理するものである。

帯域フィルタ１１、１２、…、１４、１５は、音声帯域（周波数7kHz程度以下の帯域）中に順次異なる通過帯域が設定されたｋ個の帯域フィルタ１１、１２、…、１４と、音声帯域よりも高域側に拡張された１帯域に通過帯域が設定された１個の帯域フィルタ１５とに分類することができる。図１中の帯域フィルタ１１、１２、…、１４、１５内の数式Ｈ_i（ｚ）（ｉ＝０、１、…、ｋ）は各帯域フィルタの伝達関数を示している。各帯域フィルタ１１、１２、…、１４、１５の出力音響信号ｘ_i（ｎ）（ｉ＝０、１、…、ｋ）は、入力ｘ（ｎ）と各帯域フィルタ１１、１２、…、１４、１５のインパルス応答ｈ_i（ｎ）（ｉ＝０、１、…、ｋ）とのたたみ込み演算（式（１））で求めることができる。ただし、式（１）中で記号「＊」はたたみ込み演算子である。また、変数ｉは各帯域に対応する添え字である。

各帯域フィルタ１１、１２、…、１４、１５の特性は、入力ｘ（ｎ）と各帯域フィルタ１１、１２、…、１４、１５の出力ｘ_i（ｎ）とが次式（２）の関係を満たすように設定されているものとする。

帯域フィルタ１１、１２、…、１４、１５の出力ｘ_i（ｎ）（ｉ＝０、１、…、ｋ）には、（ｋ＋１）個の乗算器２１、２２、…、２４、２５によってゲインＧ_i（ｎ）（ｉ＝０、１、…、ｋ）がそれぞれ乗じられ、乗算器２１、２２、…、２４、２５の出力ｙ_i（ｎ）（ｉ＝０、１、…、ｋ）が求められる。乗算器２１、２２、…、２４、２５の出力ｙ_i（ｎ）は、ｋ個の加算器５１、…、５３、５４で互いに加算され、音声信号が強調された出力音響信号ｙ（ｎ）が算出される。式（３）に出力ｙ（ｎ）の算出式を示す。

音声帯域部分１内の乗算器２１、２２、…、２４が帯域フィルタ１１、１２、…、１４の出力ｘ_i（ｎ）（ｉ＝０、１、…、ｋ−１）に乗じるゲインＧ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の値は、ｋ個のゲインコントロール部３１、３２、…、３４によって各帯域の音響信号ｘ_i（ｎ）に基づいて帯域ごとに算出される。この実施の形態では、各ゲインＧ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の値が、各帯域の音響信号ｘ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の振幅の短時間平均と長時間平均の比に応じて算出される。

たとえば非特許文献１に記載されているように、入力信号を複数の帯域フィルタで分割した各帯域の音響信号の振幅の短時間平均は音声信号の振幅の推定量として、そして長時間平均は雑音信号の振幅の推定量として用いることができる。また、音声信号の振幅と雑音信号の振幅の比、すなわちＳＮ比が大きい場合に各帯域の信号に乗じられるゲインを大きくし、小さい場合に小さくすることで、音声信号区間が強調された信号を得ることができる（この技術はアダプティブ・ゲイン・イコライザと称されている。）。したがって、各帯域の信号の振幅の短時間平均と長時間平均の比が大きいほど、各帯域の信号に乗じるゲインを大きくすることで、音声信号を強調した信号を得ることができる。

この実施の形態では、周波数分割された帯域の音響信号ｘ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の振幅の短時間平均と長時間平均の比に、所定の定数（ａ_i）（ｉ＝０、１、…、ｋ−１）を乗じることで、ゲインＧ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の値を求めている（式（４）のｉ＝０、１、…、ｋ−１の場合の算出式参照）。

式（４）で、定数ａ_iを「１」とした場合、短時間平均と長時間平均の比が「１」のときは、ゲインＧ_i（ｎ）が「１」となる。なお、式（４）には示していないが、たとえば音声信号が無い雑音信号のみの雑音区間における出力ｙ（ｎ）の変動を抑えるため、ゲインコントロール部３１、３２、…、３４によって、ゲインＧ_i（ｎ）は最低値が「１」となるように調整されているものとする。すなわち、常に短時間平均≧長時間平均となるような調整がなされているものとする。以上のようにゲインを制御した後、最終的に全ての帯域の信号が加算された結果は、音声区間が強調された信号となる。

一方、高域拡張部分２内の乗算器２５が帯域フィルタ１５の出力ｘ_i（ｎ）（ｉ＝ｋ）に乗じるゲインＧ_i（ｎ）（ｉ＝ｋ）の値は、ゲインコントロール部３４によって算出された隣接する帯域のゲインＧ_i（ｎ）（ｉ＝ｋ−１）に基づいて動的に制御される。この実施の形態では、乗算器２５が用いるゲインＧ_k（ｎ）が、ゲインコントロール部３４によって算出された隣接する帯域のゲインＧ_k-1（ｎ）に重み付け回路４１で係数ｗを与えることで算出される（式（４）のｉ＝ｋの場合の算出式参照）。この係数ｗは、音質調整用の重み係数となるものであり、この装置の設計者またはユーザーが与える定数とすることができる。ここで、通常ｗは１以下の非負実数とする。

なお、各帯域の音響信号ｘ_i（ｎ）（ｉ＝０、１、…、ｋ−１）の振幅の短時間平均と長時間平均は、たとえば式（５）、式（６）などによって算出することができる。

式（５）は、現在の信号ｘ_i（ｎ）からサンプリングのＮ₁個前の信号ｘ_i（ｎ−Ｎ₁）までの値の平均値を短時間平均とし、現在の信号ｘ（ｎ）からＮ₂個前までの信号ｘ（ｎ−Ｎ₂）までの値の平均値を長時間平均とする場合の算出式である。（Ｎ₁＋１）および（Ｎ₂＋１）は、平均値算出の対象となるサンプルの数を示し、Ｎ₂＞Ｎ₁とすることで平均値の算出対象となる期間（＝サンプル数）を短時間と長時間の２種類に設定することができる。定数ｂ_jは、信号ｘ_i（ｎ−ｊ）（ｊ＝０、１、…、Ｎ₁）の絶対値に乗じられる係数であり、添え字ｊはサンプリング時刻に対応している。定数ｂ_jを１／（Ｎ₁＋１）で一定とした場合には短時間平均として単純平均値を求めることができ、定数ｂ_jをサンプリング時刻ｊに応じ変更した場合には加重平均値を求めることができる。長時間平均に係る定数ｃ_jは定数ｂ_jと同様な係数である。

式（６）は、信号ｘ_i（ｎ）の振幅の短時間平均をＡＳ_i（ｎ）として、長時間平均をＡＬ_i（ｎ）として示すものである。ＡＳ_i（ｎ−１）は短時間平均ＡＳ_i（ｎ）の１サンプル前の値であり、ＡＬ_i（ｎ−１）は長時間平均ＡＬ_i（ｎ）の１サンプル前の値である。定数α_iは、平滑率を決定するもので、ｉ帯域の入力信号ｘ_i（ｎ）の変化に対してどの程度の感度をもたせるのかを設定するための正の定数であり、この値が大きいほどＡＳ_i（ｎ）が速く変化することになる。定数β_iは、定数α_iと同様に平滑率を決定するもので、ｉ帯域の入力信号ｘ_i（ｎ）における騒音レベルの推定値の変化の速度を制御する正の定数である。この値が小さいほどＡＬ_i（ｎ）がゆっくり変化することになる。ＡＳ_i（ｎ）が短時間平均、ＡＬ_i（ｎ）が長時間平均となるよう、定数α_i＞定数β_iに設定される。

本実施の形態によれば、拡張された帯域の動的ゲインを、一つ下の帯域（音声帯域の上限）の動的ゲインから算出する。これによって、音声（の主要な成分）に連動して拡張帯域の動的ゲインが得られる。すなわち拡張帯域の信号は、音声帯域で音声区間と判定された箇所だけ強調され、それ以外の区間は強調されなくなる。

次に、図２を参照して、図１に示す実施の形態の変形例について説明する。図１に示す構成と同一のものには同一の参照符号を用いて説明を省略する。図２に示す音声強調装置は、高域側に拡張された帯域のゲインを時不変の定数とするものである。なお、高域側に拡張された帯域のゲインは、たとえば、好みの音質が得られるよう、設計者またはユーザーが与えることができるようにする。

図２の音声強調装置では、図１の重み付け回路４１を省略するとともに、図１の乗算器２５に対応する乗算器２５ａが用いるゲインＧ_k（ｎ）を時不変の定数Ｌとしている。式（７）に各ゲインＧ_i（ｎ）（ｉ＝０、１、…、ｋ）の算出式を示した。定数Ｌは、通常１以下の非負実数とする。

図２に示す実施の形態によれば、拡張された帯域のゲインを時不変にすることで、拡張帯域の信号は強調されなくなる。しかし音声帯域より高域側の成分を保持することで、「空気感」を保っておくことができる。

なお、図１および図２を参照して説明した実施の形態では、高域拡張部分は１帯域としたが、複数であってもよい。また、図１を参照して説明した実施の形態では、高域拡張部分の動的ゲイン算出のために、すぐ下の帯域の動的ゲインを利用したが、となり合わない帯域、あるいは複数の帯域の動的ゲインでも構わない。
さらに、本実施の形態では高域拡張部の帯域に対して本発明を適用したが、この帯域に限らず全帯域のうちどの帯域にも本発明を適用することが可能である。

なお、本発明の実施の形態は、たとえばコンピュータとコンピュータで実行されるプログラムとから実現することができ、そのプログラムの一部あるいは全部は、単体であるいは他のプログラムに含まれる形でコンピュータ読み取り可能な記録媒体あるいは通信回線を介して頒布することが可能である。

本発明の音声強調装置の実施の形態を示すブロック図。本発明の音声強調装置の他の実施の形態を示すブロック図。

符号の説明

１１、１２、１３、１５…帯域フィルタ、２１、２２、２３、２５、２５ａ…乗算器、３１、３２、３４…ゲインコントロール部、４１…重み付け回路、５１、５３、５４…加算器

Claims

入力された音響信号を複数の帯域に分割し、
各帯域の音響信号に基づいて帯域ごとにゲインを算出し、該ゲインにより各帯域の音響信号をそれぞれ制御し、
制御された各帯域の音響信号を加算して出力する音声強調装置において、
所定の帯域については該帯域の音響信号に基づくゲイン算出をせず、該帯域と異なる１又は複数の帯域のゲインに基づいて該帯域の音響信号を制御する
ことを特徴とする音声強調装置。
前記音響信号に基づくゲイン算出をしない所定帯域に隣接する帯域のゲインに基づいて該所定帯域の音響信号を制御する
ことを特徴とする請求項１に記載の音声強調装置。
前記隣接する帯域のゲインに重み係数を与えて前記所定帯域のゲインとする
ことを特徴とする請求項２に記載の音声強調装置。
入力された音響信号を複数の帯域に分割し、
各帯域の音響信号に基づいて帯域ごとにゲインを算出し、該ゲインにより各帯域の音響信号をそれぞれ制御し、
制御された各帯域の音響信号を加算して出力する音声強調装置において、
所定の帯域については該帯域の音響信号に基づくゲイン算出をせず、所定のゲインを用いる
ことを特徴とする音声強調装置。
前記所定の帯域は、音声が含まれる帯域より高域側に拡張された帯域である
ことを特徴とする請求項１〜４のいずれか１項に記載の音声強調装置。
前記音響信号に基づいて算出されるゲインが、前記各帯域の音響信号の振幅の短時間平均と長時間平均の比に応じて算出される
ことを特徴とする請求項１〜５のいずれか１項に記載の音声強調装置。