JP2007243709A - 利得調整方法及び利得調整装置 - Google Patents

Abstract

【課題】本発明は、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制する利得調整方法及び利得調整装置を提供することを目的とする。
【解決手段】入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整方法において、信号処理が加えられた音声信号のマスキング特性を算出し、信号処理が加えられた音声信号のうちマスキング特性でマスキングされる周波数について、マスキング特性でマスキングされる周波数以外の周波数における信号処理が加えられた音声信号と入力音声信号との差を打ち消すように周波数毎に利得の調整を行う。
【選択図】図４

Description

本発明は、利得調整方法及び利得調整装置に関し、入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整方法及び利得調整装置に関する。

音声やオーディオ等の音声信号は、蓄積系メディアへの記録、または、インターネットや携帯電話を用いた音楽配信サービスなどに対し、限られた記録容量、伝送速度に対応するために、情報量圧縮符号化を行う。

また、ＩＰネットワークを用いたＩＰ電話端末や、携帯電話端末では、利用者に音声がより聞き取りやすくなるように、音声強調方式やノイズキャンセラ方式、エコーキャンセラ方式などの信号処理が加えられる。これらの信号処理では、出力音声信号のパワーが入力音声信号より増加することがあるので、出力音声信号の利得を一定に保つための利得調整処理を備えている。

図１は、従来の利得調整装置の一例のブロック図を示す。同図中、入力音声信号は信号処理部１にて音声強調方式、ノイズキャンセラ方式、エコーキャンセラ方式などの信号処理が加えられて利得制御部２に供給される。利得制御部２では信号処理が加えられた音声信号を入力音声信号と比較して、信号処理が加えられた音声信号に対する利得を調整し、出力音声信号の利得を一定に保っている。

なお、特許文献１には、オーディオ信号を音声に変換して発音し、その音声をモニタした信号とオーディオ信号からノイズを抽出し、このノイズの周波数スペクトラムからマスキング効果を考慮してオーディオ信号のゲインを決め、オーディオ信号の周波数特性を補正することが記載されている。
特開平８−７０２２８号公報

図１の信号処理部１において、図２（Ａ）に示すように、音声信号の周波数スペクトルのうち、スペクトルの山であるホルマント部分のパワーを増加させる音声強調処理の場合を考える。パワーを増加させたスペクトルを時間領域に変換すると、図２（Ｂ）に示すように、振幅増大により振幅の最大値を超え、出力音声信号の振幅がクリップされて異音が発生することがある。

これを防止するために、図１の利得制御部２で利得調整が行われる。このとき、従来回路では、スペクトル全体のパワーを対象に利得調整するため、図３（Ｂ）に示すように振幅増大による異音の発生は抑制できるが、図３（Ａ）に示すように音声強調の効果が弱まるという問題があった。

本発明は、上記の点に鑑みなされたものであり、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制する利得調整方法及び利得調整装置を提供することを目的とする。

本発明の利得調整方法は、
入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整方法において、
前記信号処理が加えられた音声信号のマスキング特性を算出し、
前記信号処理が加えられた音声信号のうち前記マスキング特性でマスキングされる周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得の調整を行うことにより、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制することができる。

前記利得調整方法において、
前記入力音声信号及び前記信号処理が加えられた音声信号は、周波数領域の信号であることができる。

前記利得調整方法において、
前記利得の調整は、周波数帯域単位で利得を調整することができる。

前記利得調整方法において、
前記利得の調整は、周波数スペクトル単位で利得を調整することができる。

本発明の利得調整装置は、
入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整装置において、
前記信号処理が加えられた音声信号のマスキング特性を算出するマスキング特性算出手段と、
前記信号処理が加えられた音声信号のうち前記マスキング特性でマスキングされる周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得の調整を行う調整手段を有することにより、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制することができる。

前記利得調整装置において、
前記入力音声信号及び前記信号処理が加えられた音声信号は、周波数領域の信号であることができる。

前記利得調整装置において、
前記調整手段は、周波数帯域単位で利得を調整することができる。

前記利得調整装置において、
前記調整手段は、周波数スペクトル単位で利得を調整することができる。

本発明の利得調整装置は、
時間領域の入力音声信号を周波数領域の入力音声信号に直交変換する第１の直交変換手段と、
前記時間領域の入力音声信号に対し信号処理を加えた音声信号を周波数領域の音声信号に直交変換する第２の直交変換手段と、
前記信号処理が加えられた周波数領域の音声信号のマスキング特性を算出するマスキング特性算出手段と、
前記信号処理が加えられた周波数領域の音声信号のうち前記マスキング特性でマスキングされる周波数を選択する周波数選択手段と、
前記周波数選択手段で選択された周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得を決定する利得決定手段と、
前記周波数選択手段で選択された周波数について、前記利得決定手段で決定された利得で調整を行う利得調整手段と、
前記利得調整手段の出力する周波数領域の音声信号を時間領域の音声信号に直交変換して出力する第３の直交変換手段を有することにより、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制することができる。

本発明によれば、出力音声信号の振幅がクリップされることを防止でき、信号処理の効果が弱まることを抑制することができる。

以下、図面に基づいて本発明の実施形態について説明する。

<本発明の原理>
図４は、本発明の利得調整装置の第１実施形態の原理図を示す。本発明では、音声信号を直交変換し周波数スペクトルを算出する直交変換部２２，２４と、聴覚的に聴こえない音のパワーを算出する聴覚分析部２６と、マスキングパワーを考慮して利得を調整する利得制御部２８を備える。

聴覚分析部２６にて、パワー調整対象となる音声信号を基に、聴覚的に聴こえない音のパワーであるマスキングパワーを算出し、利得制御部２８ではマスキングパワーを考慮して出力音声信号のパワーが入力音声信号のパワーとほぼ同一となるように、聴覚的に聞こえない周波数帯域の音声信号の利得を低下または増加させて調節する。

<第１実施形態>
図５は、本発明の利得調整装置の第１実施形態の構成図を示す。同図中、時間領域の入力音声信号Ｘ（ｔ）は信号処理部１０に供給されて、例えば音声信号の周波数スペクトルのうち、スペクトルの山であるホルマント部分のパワーを増加させる音声強調処理が行われ、信号処理された音声信号Ｙ（ｔ）は利得調整処理部２０に供給される。

音声信号Ｙ（ｔ）は、直交変換部２２内のＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）２２ａにて周波数領域のスペクトルパワーＹ（ｆ）に変換され、入力音声信号Ｘ（ｔ）は、直交変換部２４内のＦＦＴ２４ａにて周波数領域のスペクトルパワーＸ（ｆ）に変換される。

スペクトルパワーＹ（ｆ）は帯域分割部２２ｂにおいて微少帯域幅のＮ個の帯域に分割され帯域毎にスペクトルパワーの和であるスペクトルエネルギーＰｙ（ｆ）＝｛Ｐｙ（１），Ｐｙ（２），…，Ｐｙ（Ｎ）｝が求められ、スペクトルパワーＸ（ｆ）は帯域分割部２４ｂにおいて微少帯域幅の複数帯域に分割され帯域毎にスペクトルパワーの和であるスペクトルエネルギーＰｘｆ＝｛Ｐｘ（１），Ｐｘ（２），…，Ｐｘ（Ｎ）｝が求められる。

聴覚分析部２６は、スペクトルエネルギーＰｙ（ｆ）を基にマスキングパワーＭｙ（ｆ）＝｛Ｍｙ（１），Ｍｙ（２），…，Ｍｙ（Ｎ）｝を算出して利得制御部２８に供給する。上記マスキングパワーＭｙ（ｆ）の算出には、例えば公知文献（ＩＳＯ／ＩＥＣ １３８１８−７：２００３， Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）に記載された心理聴覚モデルを使用する。

利得制御部２８内のスペクトル選択部２８ａは、スペクトルエネルギーＰｙ（ｆ）とマスキングパワーＭｙ（ｆ）を比較し、スペクトルエネルギーＰｙ（ｆ）がマスキングパワーＭｙ（ｆ）以下でマスキングされる帯域を選択する。選択した帯域が調整対象の帯域となる。

利得制御部２８内の調整率決定部２８ｂでは、各帯域について、利得に相当する調整率α（ｆ）＝｛α（１），α（２），…，α（Ｎ）｝を決定する。

入力音声信号全体のスペクトルエネルギーと音声信号全体のスペクトルエネルギーが、それぞれΣＰｘ（ｆ）＝Ｐｘ（１）＋Ｐｘ（２）＋…＋Ｐｘ（Ｎ）、ΣＰｙ（ｆ）＝Ｐｙ（１）＋Ｐｙ（２）＋…＋Ｐｙ（Ｎ）で表されるとき、音声信号と入力音声信号のエネルギーの差分Ｅは（１）式のように表すことができる。

Ｅ＝ΣＰｙ（ｆ）− ΣＰｘ（ｆ） …（１）
また、音声信号のスペクトルエネルギーＰｙ（ｆ）について、利得に相当する調整率α（ｆ）を用いて（２）式のような関係になる。

α（ｆ）＝｛α（１），α（２），…，α（Ｎ）｝は、（４）式のように入力音声信号のスペクトルエネルギーＰｘ（ｆ）と音声信号とのスペクトルエネルギーα（ｆ）Ｐｙ（ｆ）の差分Ｅが０になるように決定される。

利得制御部２８内の調整部２８ｃでは、調整率決定部２８ｂで決定した調整率α（ｆ）に応じて各帯域のスペクトルエネルギーＰｙ（ｆ）を（５）式により補正してスペクトルエネルギーＰｚ（ｆ）＝｛Ｐｚ（１），Ｐｚ（２），…，Ｐｚ（Ｎ）｝を得る。

Ｐｚ（ｆ）＝Ｐｙ（ｆ）×α（ｆ） …（５）
スペクトルエネルギーＰｚ（ｆ）は直交変換部３０内のスペクトル分割部３０aでスペクトルパワーＺ（ｆ）に変換され、直交変換部３０内のＩＦＦＴ（Ｉｎｖｅｒｓｅ ＦＦＴ）３０ｂで時間領域の音声信号Ｚ（ｔ）に変換され出力される。

<Ｙ（ｔ）がＸ（ｔ）より大きい場合>
まず、入力音声信号Ｘ（ｔ）が信号処理されて得られた出力Ｙ（ｔ）のパワーが、Ｘ（ｔ）のパワーより大きい場合に、Ｙ（ｔ）に対する利得を調整して出力Ｙ（ｔ）のパワーをＸ（ｔ）のパワーと同じレベルに減少させる場合について説明する。

図６（Ａ）に示すスペクトルエネルギーＰｙ（ｆ）からグレーで示すマスキングパワーＭｙ（ｆ）が求められ、図６（Ａ）に示すように、Ｐｙ（ｆ）>Ｍｙ（ｆ）の領域では、利得調整の対象外とするためα（ｆ）に１が設定され、Ｐｙ（ｆ）<Ｍｙ（ｆ）の領域では（４）式を満足するよう調整率α（ｆ）が１未満の値に調整される。これによって、調整後の出力のスペクトルエネルギーＰｚ（ｆ）は図７（Ａ）に示すようになる。この結果、時間領域の出力音声信号Ｚ（ｔ）は図７（Ｂ）に示すように、振幅の最大値を超えることがなく、出力音声信号の振幅がクリップされることはない。

<Ｙ（ｔ）がＸ（ｔ）より小さい場合>
次に、入力信号Ｘ（ｔ）が信号処理されて得られた出力Ｙ（ｔ）のパワーが、Ｘ（ｔ）のパワーより小さい場合に、Ｙ（ｔ）に対する利得を調整して出力Ｙ（ｔ）のパワーをＸ（ｔ）のパワーと同じレベルに増加させる場合について説明する。

図８（Ａ）に示すスペクトルエネルギーＰｙ（ｆ）からグレーで示すマスキングパワーＭｙ（ｆ）が求められ、Ｐｙ（ｆ）>Ｍｙ（ｆ）の領域では、利得調整の対象外とするためα（ｆ）に１が設定され、Ｐｙ（ｆ）<Ｍｙ（ｆ）の領域では（４）式を満足し、かつ、α（ｆ）Ｐｙ（ｆ）<Ｍｙ（ｆ）を満足するよう調整率α（ｆ）が１を超える値に調整される。これによって、調整後の出力のスペクトルエネルギーＰｚ（ｆ）は図８（Ｂ）に示すようになる。この結果、時間領域の出力音声信号Ｚ（ｔ）は図８（Ｃ）に示すように、振幅の最大値を超えることがなく、出力音声信号の振幅がクリップされることはない。

このように、人間の聴覚特性を利用して聴覚的に聞こえにくい部分のパワーを補正することで、信号処理の効果を維持し、かつ、音質を劣化することなく利得を調整することが可能である。

なお、上記実施形態では、時間領域の音声信号をＦＦＴにより周波数領域の音声信号に変換しているが、ＦＦＴの代りにＭＤＣＴ（Ｍｏｄｅｆｉｅｄ Ｄｅｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：修正離散コサイン変換）を用いても良い。

<第２実施形態>
図９は、本発明の利得調整装置の第２実施形態の構成図を示す。この実施形態では、周波数領域の入力音声信号のスペクトルパワーＸ（ｆ）＝｛Ｘ（１），Ｘ（２），…，Ｘ（Ｎ）｝が与えられ、周波数領域の音声信号のスペクトルパワーＺ（ｆ）＝｛Ｚ（１），Ｚ（２），…，Ｚ（Ｎ）｝を出力する。同図中、信号処理部３５は、例えば音声信号の周波数スペクトルのうち、スペクトルの山であるホルマント部分のパワーを増加させる音声強調処理を行う。信号処理部３５の出力する音声信号のスペクトルパワーＹ（ｆ）＝｛Ｙ（１），Ｙ（２），…，Ｙ（Ｎ）｝は、利得調整処理部４０に供給される。

利得調整処理部４０内の聴覚分析部４６は、スペクトルパワーＹ（ｆ）を基に、スペクトル単位にマスキングパワーＭｙ（ｆ）＝｛Ｍｙ（１），Ｍｙ（２），…，Ｍｙ（Ｎ）｝を算出して利得制御部４８に供給する。上記マスキングパワーＭｙ（ｆ）の算出には、例えば公知文献（ＩＳＯ／ＩＥＣ １３８１８−７：２００３， Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）に記載された心理聴覚モデルを使用する。

利得制御部４８内のスペクトル選択部４８ａは、スペクトルパワーＹ（ｆ）とマスキングパワーＭｙ（ｆ）をスペクトル単位に比較し、スペクトルパワーＹ（ｆ）がマスキングパワーＭｙ（ｆ）以下でマスキングされるスペクトルを選択する。選択したスペクトルが調整対象のスペクトルとなる。

利得制御部４８内の調整率決定部４８ｂでは、利得に相当する調整率α（ｆ）＝｛α（１），α（２），…，α（Ｎ）｝を決定する。

入力音声信号全体のエネルギーと音声信号全体のエネルギーは、それぞれΣＸ（ｆ）＝Ｘ（１）＋Ｘ（２）＋…＋Ｘ（Ｎ）、ΣＹ（ｆ）＝Ｙ（１）＋Ｙ（２）＋…＋Ｙ（Ｎ）のとき、音声信号と入力音声信号のエネルギーの差分Ｅを用いて（６）式のように表すことができる。

Ｅ＝ΣＹ（ｆ）− ΣＸ（ｆ） …（６）
また、音声信号のエネルギーＸ（ｆ）について、利得に相当する調整率α（ｆ）を用いて（７）式のような関係になる。

α（ｆ）＝｛α（１），α（２），…，α（Ｎ）｝は、（９）式のように音声信号と入力音声信号のエネルギーの差分Ｅが０になるように決定される。

利得制御部４８内の調整部４８ｃでは、調整率決定部４８ｂで決定した調整率α（ｆ）に応じてスペクトルパワーＹ（ｆ）のスペクトル単位の利得を（１０）式により補正してスペクトルパワーＺ（ｆ）を得て出力する。

Ｚ（ｆ）＝Ｙ（ｆ）×α（ｆ） …（１０）
なお、聴覚分析部２６，４６が請求項記載のマスキング特性算出手段に相当し、利得制御部２８，４８が調整手段に相当し、直交変換部２２が第１の直交変換手段に相当し、直交変換部２４が第２の直交変換手段に相当し、スペクトル選択部２８ａ，４８ａが周波数選択手段に相当し、調整率決定部２８ｂ，４８ｂが利得決定手段に相当し、調整部２８ｃ，４８ｃが利得調整手段に相当し、直交変換部３０が第３の直交変換手段に相当する。

従来の利得調整装置の一例のブロック図である。 従来例を説明するための波形図である。 従来例を説明するための波形図である。 本発明の利得調整装置の第１実施形態の原理図である。 本発明の利得調整装置の第１実施形態の構成図である。 本発明を説明するための波形図である。 本発明を説明するための波形図である。 本発明を説明するための波形図である。 本発明の利得調整装置の第２実施形態の構成図である。

符号の説明

１０，３５ 信号処理部
２０，４０ 利得調整処理部
２２，２４，３０ 直交変換部
２２ａ，２４ａ ＦＦＴ
２２ｂ，２４ｂ 帯域分割部
２６，４６ 聴覚分析部
２８，４８ 利得制御部
２８ａ，４８ａ スペクトル選択部
２８ｂ，４８ｂ 調整率決定部
２８ｃ，４８ｃ 調整部
３０ａ スペクトル分割部
３０ｂ ＩＦＦＴ

Claims (9)

1. 入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整方法において、
   前記信号処理が加えられた音声信号のマスキング特性を算出し、
   前記信号処理が加えられた音声信号のうち前記マスキング特性でマスキングされる周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得の調整を行うことを特徴とする利得調整方法。
2. 請求項１記載の利得調整方法において、
   前記入力音声信号及び前記信号処理が加えられた音声信号は、周波数領域の信号であることを特徴とする利得調整方法。
3. 請求項２記載の利得調整方法において、
   前記利得の調整は、周波数帯域単位で利得を調整することを特徴とする利得調整方法。
4. 請求項２記載の利得調整方法において、
   前記利得の調整は、周波数スペクトル単位で利得を調整することを特徴とする利得調整方法。
5. 入力音声信号に対し信号処理を加えた音声信号の利得を調整して出力する利得調整装置において、
   前記信号処理が加えられた音声信号のマスキング特性を算出するマスキング特性算出手段と、
   前記信号処理が加えられた音声信号のうち前記マスキング特性でマスキングされる周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得の調整を行う調整手段を
   有することを特徴とする利得調整装置。
6. 請求項５記載の利得調整装置において、
   前記入力音声信号及び前記信号処理が加えられた音声信号は、周波数領域の信号であることを特徴とする利得調整装置。
7. 請求項６記載の利得調整装置において、
   前記調整手段は、周波数帯域単位で利得を調整することを特徴とする利得調整装置。
8. 請求項６記載の利得調整装置において、
   前記調整手段は、周波数スペクトル単位で利得を調整することを特徴とする利得調整装置。
9. 時間領域の入力音声信号を周波数領域の入力音声信号に直交変換する第１の直交変換手段と、
   前記時間領域の入力音声信号に対し信号処理を加えた音声信号を周波数領域の音声信号に直交変換する第２の直交変換手段と、
   前記信号処理が加えられた周波数領域の音声信号のマスキング特性を算出するマスキング特性算出手段と、
   前記信号処理が加えられた周波数領域の音声信号のうち前記マスキング特性でマスキングされる周波数を選択する周波数選択手段と、
   前記周波数選択手段で選択された周波数について、前記マスキング特性でマスキングされる周波数以外の周波数における前記信号処理が加えられた音声信号と前記入力音声信号との差を打ち消すように周波数毎に利得を決定する利得決定手段と、
   前記周波数選択手段で選択された周波数について、前記利得決定手段で決定された利得で調整を行う利得調整手段と、
   前記利得調整手段の出力する周波数領域の音声信号を時間領域の音声信号に直交変換して出力する第３の直交変換手段を
   有することを特徴とする利得調整装置。

Images