JP2009109791A

JP2009109791A - 音声信号処理装置

Info

Publication number: JP2009109791A
Application number: JP2007282694A
Authority: JP
Inventors: Kiyotaka Nagai; 清隆永井
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2007-10-31
Filing date: 2007-10-31
Publication date: 2009-05-21

Abstract

【課題】音声信号の周波数スペクトルの時間変化が大きく重要な情報を伝える時間区間で、前後の時間区間と比較して信号レベルが小さく聞き取りにくい区間を聞き取り易くする。
【解決手段】音声信号の周波数スペクトルの時間変化量が大きい時間区間を検出する非定常周波数区間検出部１３０と、検出された非定常周波数区間の前後の時間区間の信号が前記非定常周波数区間の信号に及ぼす継時マスキングレベルを算出する継時マスキングレベル算出部１６０と、前記継時マスキングレベルと前記非定常周波数区間の信号レベルとに応じて前記非定常周波数区間のゲインを算出するゲイン算出部１４０とを備える。周波数スペクトルの時間変化が大きく重要な情報を伝える時間区間で、マスキングされて聞き取りにくい区間のゲインを上げることにより、聞き取り易い信号にすることができる。
【選択図】図１

Description

本発明は、周囲雑音を参照することなく、入力された音声信号の重要で聞き取りにくい部分を聞き取り易くした音声信号を出力する音声信号処理装置に関するものである。

音声信号の聞き取り易さを向上する従来の音声信号処理装置としては、信号レベルが小さく周囲雑音に埋もれてしまう音声信号の高い周波数の成分を圧縮増幅により強調する装置が提案されている（例えば、特許文献１参照）。図４は、前記特許文献１に記載された従来の音声信号処理装置の構成を示すブロック図である。

図４において、４００はフィルタ部、４１０は周波数分析部、４２０は目標スペクトル算出部、４３０はゲイン算出部、４４０は内部テーブル、４５０は時定数制御部、４６０はフィルタ設計部である。以下その動作について説明する。

周波数分析部４１０は、入力音声信号を周波数分析し、各周波数帯域の信号レベル（音声スペクトル）を算出して出力する。

目標スペクトル算出部４２０は、内部テーブル４４０から供給される固定の圧縮率に従って前記音声スペクトルを圧縮増幅して目標スペクトルを算出し、ゲイン算出部４３０に出力する。前記圧縮率は、周波数帯域毎に異なる値が設定されている。一般に音声は、低い周波数では信号レベルが大きく、高い周波数では信号レベルが小さくなるので、低い周波数についてはレベル圧縮をあまり行わず、高い周波数では周囲雑音に埋もれてしまわないようにより大きなレベル圧縮を行うように設定されている。

ゲイン算出部４３０は、周波数分析部４１０からの音声スペクトルと目標スペクトル算出部４２０からの目標スペクトルとを比較して、音声スペクトルを目標スペクトルまで増幅するのに必要な周波数帯域毎のゲインを算出する。

時定数制御部４５０は、内部テーブル４４０から供給される固定の時定数を用いて、ゲイン算出部４３０から出力される周波数帯域毎のゲインの時間的な変化が急峻にならず滑らかに変化するように時定数制御処理を行う。

フィルタ設計部４６０は、時定数制御部４５０からの周波数帯域毎のゲインに対応するフィルタ処理のフィルタ係数を算出する。

フィルタ部４００は、フィルタ設計部４６０から前記フィルタ係数を設定され、入力音声信号に対するフィルタ処理を行う。

図４の装置では、前もって設定された周波数帯域毎の圧縮増幅率に基づいて周波数帯域毎に異なる比率で音声信号の圧縮増幅を行うことにより、信号レベルが小さく高い周波数の成分を強調することができる。

また、音声の周波数スペクトル等の音響的特徴量の単位時間あたりの時間変化量を算出し、この時間変化量を変更して強調する装置も提案されている（例えば、特許文献２参照）。一般に音楽や音声では、定常的な部分よりも、むしろ時間的変化そのものによって情報が伝えられていると考えられる（非特許文献１参照）。従って、特許文献２記載の装置では、重要な情報を伝える時間的変化を強調することができる。
特開２００４−６１６１７号公報特開平８−１１０７９６号公報Ｂ．Ｃ．Ｊ．ムーア著、大串健吾監訳、「聴覚心理学概論」、誠信書房、１９９４年４月、第４章、ｐ．１４９

しかしながら、前記特許文献１に記載された従来の装置では、周波数帯域毎のゲインを変化させるので、音声信号の周波数スペクトルの形状が変化し、原音声とかなり違う音声になることがあるという問題点を有していた。また、周波数帯域毎のゲインは、設定された固定の圧縮率に基づくもので、重要な情報を伝える時間変化の部分が、必ずしも聞き取り易いように強調されないという問題点を有していた。

前記特許文献２に記載された従来の装置では、算出した音響的特徴量の時間的変化量に適当な係数を乗じて変更するので、原音声とかなり違う音声になることがあるという問題点を有していた。また、音響的特徴量の時間的変更量の算出に際して、音響的特徴量の聴覚に及ぼす効果を考慮していないので、聞き取り易さの向上が限られているという問題点を有していた。

本発明は、上記従来の問題点を解決するもので、原音声の特徴を表す周波数スペクトルの形状をできるだけ保存して、音声の周波数スペクトルの時間変化が大きく重要な情報を伝える区間で、前後の時間区間と比較して信号レベルが小さく、聞き取りにくい区間のゲインを上げることにより、聞き取り易い信号にする音声信号処理装置を提供することを目的とする。

この課題を解決するために、本発明の音声信号処理装置は、入力音声信号の時間区間毎に各周波数帯域の信号レベルを周波数スペクトルとして算出する周波数分析部と、前記周波数スペクトルの時間変化量が所定の閾値より大きい時間区間を非定常周波数区間として検出する非定常周波数区間検出部と、前記検出された非定常周波数区間の前後の時間区間の信号が前記非定常周波数区間の信号に及ぼす継時マスキングレベルを算出する継時マスキングレベル算出部と、前記継時マスキングレベルと前記非定常周波数区間の信号レベルとに応じて前記非定常周波数区間のゲインを算出するゲイン算出部と、前記入力音声信号に前記ゲインを乗算し、出力する乗算部と、を備えたものであり、音声の周波数スペクトルの時間変化が大きい非定常周波数スペクトル区間で、前後の時間区間と比較して、信号レベルが小さく、前後の区間の信号によってマスキングされて聞き取りにくい区間のゲインを時間的に滑らかに上げることにより、原音声の周波数スペクトルの形状をできるだけ保存して、聞き取り易い信号にする。

また、さらに、前記ゲインの時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部を備え、前記乗算部は、前記入力音声信号に前記平滑化されたゲインを乗算することを特徴とするものである。

また、さらに、前記継時マスキングレベル算出部および／またはゲイン平滑化部における処理の遅延を補償するため、前記入力音声信号に遅延を施す遅延部を備え、前記乗算部は、前記遅延部で遅延を施された入力音声信号に前記平滑化されたゲインを乗算することを特徴とするものである。

また、前記非定常周波数区間検出部は、全周波数帯域の信号レベルもしくは前記周波数スペクトルの最大値が所定の閾値より小さい時間区間では、非定常周波数区間を検出しないことを特徴とするものである。

また、前記非定常周波数区間検出部は、全周波数帯域の信号レベルもしくは前記周波数スペクトルの最大値で前記周波数スペクトルを正規化し、前記正規化された周波数スペクトルの時間変化量が所定の閾値より大きい場合に、非定常周波数区間として検出することを特徴とするものである。

また、前記ゲイン算出部は、算出されるゲインが上限値を超えないように設定されていることを特徴とするものである。

また、前記ゲイン平滑化部は、ゲインが増加する場合と減少する場合とで異なった時定数の平滑化を行うことを特徴とするものである。

本発明によれば、音声信号の周波数スペクトルの時間変化が大きく重要な情報を伝える時間区間で、前後の時間区間と比較して信号レベルが小さく、マスキングされて聞き取りにくい区間のゲインを上げることにより、原音声の周波数スペクトルの形状をできるだけ保存して、聞き取り易い信号にすることができる。

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における音声信号処理装置の構成を示すブロック図である。図１において、１００は入力音声信号を遅延する遅延部、１２０は入力音声信号の周波数分析を行う周波数分析部、１３０は周波数分析部１２０の出力から非定常周波数区間を検出する非定常周波数区間検出部、１６０は周波数分析部１２０の出力から継時マスキングレベルを算出する継時マスキングレベル算出部、１４０は周波数分析部１２０の出力と非定常周波数区間検出部１３０の出力と継時マスキングレベル算出部１６０の出力とからゲインを算出するゲイン算出部、１５０はゲイン算出部１４０の出力を平滑するゲイン平滑化部、１１０は遅延部１００の出力とゲイン平滑化部１５０の出力とを乗算する乗算部である。以下、その動作について説明する。

周波数分析部１２０は、入力音声信号を時間区間毎に区切り、前記時間区間毎に各波数帯域の信号レベル（周波数スペクトル）を算出する。

すなわち、最初に、入力音声信号ｘ（ｎ）に対して（数１）の短時間離散的フーリエ変換を行い、フーリエ変換係数Ｘ（ｋ，ｔ）を算出する。ここで、ｎはサンプル番号、ｋは係数番号、ｔは時間区間番号を表す。

（数１）で、ｗ（ｎ）は窓関数であり、例えば、ハニング窓を用いる。Ｎは時間区間のサンプル数で、時間区間が、１ｍｓ〜１００ｍｓ程度になるように、例えば、サンプリング周波数が４８ｋＨｚの場合には、Ｎは６４から４０９６の値に設定される。短時間離散的フーリエ変換は、高速フーリエ変換を使用して効率的に実行することができる。

次に、（数２）に従って、周波数帯域毎に前記フーリエ変換係数をグループ化し、各周波数帯域の信号レベルＰ（ｍ，ｔ）（周波数スペクトル）を算出する。ここで、ｍは周波数帯域番号、Ｍは周波数帯域の数を表す。グループ化は、例えば、多くの聴覚心理現象と関係の深い臨界帯域に基づいて行う。

（数２）で、ｋ１（ｍ）とｋ２（ｍ）は、それぞれ周波数帯域ｍの開始係数番号と終了係数番号を表す。なお、短時間離散的フーリエ変換の代わりに帯域分割フィルタバンクを使用して各周波数帯域の信号レベルを算出してもよい。

非定常周波数区間検出部１３０は、周波数分析部１２０からの各周波数帯域の信号レベルの時間変化量が所定の閾値より大きい時間区間を非定常周波数区間として検出し、結果を非定常周波数区間フラグとして出力する。

図２は非定常周波数区間検出部１３０の構成を示すブロック図である。

全帯域信号レベル算出部２３０は、各周波数帯域の信号レベルから（数３）に従って全周波数帯域の信号レベルＰａ（ｔ）を算出する。これは、時間区間ｔにおける入力音声信号ｘ（ｎ）に窓関数ｗ（ｎ）を掛けた信号のエネルギーの総和に相当する。

正規化信号レベル算出部２００は、（数４）に示すように、各周波数帯域の信号レベルＰ（ｍ，ｔ）を全周波数帯域の信号レベルＰａ（ｔ）で正規化し、各周波数帯域の正規化された信号レベルＰｎ（ｍ，ｔ）を算出する。

次に、信号レベル時間変化量算出部２１０は、（数５）に示すように、各周波数帯域の正規化信号レベルの隣り合う時間区間の差分の絶対値の和を信号レベル時間変化量ｄｐ（ｔ）として算出する。

判定部２２０は、当該時間区間が非定常周波数区間であるか否かの判定を行い、結果を非定常周波数区間であるか否かを表す非定常周波数区間フラグとして出力する。判定部２２０は、最初に、全帯域信号レベル算出部２３０で算出された全周波数帯域の信号レベルＰａ（ｔ）が所定の閾値より小さい場合には、重要な情報が含まれていないと判断し、非定常周波数区間検出を行わず、定常周波数区間と判定する。そうでない場合には、前記信号レベル時間変化量ｄｐ（ｔ）と所定の閾値とを比較し、前記信号レベル時間変化量が所定の閾値より大きい時間区間を非定常周波数区間と判定する。判定結果が非定常周波数区間である場合には、前記非定常周波数区間フラグをオンにして、そうでない場合にはフラグをオフにして出力する。

図１に戻って、継時マスキングレベル算出部１６０は、非定常周波数区間の前後の時間区間の信号が前記非定常周波数区間の信号に及ぼす継時マスキングレベルを算出する。

図３は継時（非同時）マスキングを説明するための模式図で、実線は信号波形、破線は信号レベルの高い同時マスキング区間の信号によるマスキングレベルを表す。継時マスキングとは、マスキングする音（マスカー）とマスキングされる音（マスキー）が同時に加えられていない場合に発生するマスキングであり、図３においては、信号レベルの高い同時マスキングの区間の信号が前後の時間の信号レベルが低い信号に及ぼすマスキングレベルを模式的に表す。同図に示すように、継時マスキングは、先行する音が後続する音をマスキングする前向性（フォワード）マスキングと後続する音が先行する音をマスキングする後向性（バックワード）マスキングの２種類に分類される。

実施の形態１の継時マスキングレベル算出部１６０は、（数６）に従って周波数帯域番号ｍ、時間区間ｔの継時マスキングレベルＭｔ（ｍ，ｔ）を算出する。

（数６）で、ｔ’はマスカーの時間区間番号、Ｃｆ（ｔ）は時間区間ｔ先行する信号による前向性マスキングレベルを算出するための係数、Ｃｂ（ｔ）は時間区間ｔ後続する信号による後向性マスキングレベルを算出するための係数である。Ｃｆ（ｔ）とＣｂ（ｔ）はｔの単調減少関数である。また、Ｔｆは前向性マスキングの継続時間、Ｔｂは後向性マスキングの継続時間である。前向性マスキングの方が後向性マスキングよりマスキング効果の及ぶ時間（継続時間）が長いことが知られている。（数６）で右辺の第１項が前向性マスキングによるマスキングレベルを表し、第２項が後向性マスキングによるマスキングレベルを表す。

ゲイン算出部１４０は、継時マスキングレベル算出部１６０からの継時マスキングレベルと周波数分析部１２０からの信号レベルとに応じて非定常周波数区間検出部１３０で検出された非定常周波数区間のゲインを算出する。なお、非定常周波数区間以外の区間のゲインは１に設定する。

非定常周波数区間のゲインＧ（ｔ）は、（数７）に示すように、各周波数帯域の信号レベルに対する継時マスキングレベルの比Ｍｔ（ｍ，ｔ）／Ｐ（ｍ，ｔ）の平均として算出する。Ｍｔ（ｍ，ｔ）／Ｐ（ｍ，ｔ）の値が上限値ａを超える場合には、上限値ａに設定する。また、前記算出され平均が１より小さい場合には、ゲインＧ（ｔ）を１に設定する。（数７）で、関数ｍａｘ（ｘ，ｙ）とｍｉｎ（ｘ，ｙ）は、引数ｘとｙの、それぞれ最大値と最小値を表す関数である。

ゲイン平滑化部１５０では、ゲイン算出部１４０からのゲインを時間的に滑らかに変化させるために時間平滑化を行い、平滑化されたゲインを算出して出力する。すなわち、（数８）を使用して、時間区間毎のゲインＧ（ｔ）を時間サンプル毎のゲインＧ’（ｎ）に平滑化する。（数８）で、ｂは零以上で１以下の時間平滑化の定数であり、ｂの値が小さいほど大きい時定数で時間的に滑らかに平滑化される。

遅延部１００は、前記平滑化されたゲインを算出するのに必要な処理遅延や、継時マスキングレベルＭｔ（ｍ，ｔ）の特に後向性マスキングレベルの算出に必要な処理遅延を補償するため、入力音声信号に遅延を施し、乗算部１１０に出力する。

乗算部１１０は、遅延部１００からの遅延を施された入力音声信号にゲイン平滑化部１５０からの平滑化されたゲインを乗算し、ゲイン制御をされた音声信号を出力する。

以上のように実施の形態１の音声信号処理装置では、音声信号の周波数スペクトルの時間変化量が大きい時間区間を検出する非定常周波数区間検出部１３０と、検出された非定常周波数区間の前後の時間区間の信号が前記非定常周波数区間の信号に及ぼす継時マスキングレベルを算出する継時マスキングレベル算出部１６０と、前記継時マスキングレベルと前記非定常周波数区間の信号レベルとに応じて前記非定常周波数区間のゲインを算出するゲイン算出部１４０とを備えることにより、周波数スペクトルの時間変化が大きく重要な情報を伝える時間区間で、マスキングされて聞き取りにくい区間のゲインを上げることにより、聞き取り易い信号にすることができる。

なお、実施の形態１の音声信号処理装置の周波数分析部１２０では、短時間離散的フーリエ変換を行う時間区間は隣接する時間区間とオーバーラップしない（数１）を使用したが、時間区間が隣接する時間区間と５０％オーバーラップする（数９）を使用してもよい。

また、実施の形態１の音声信号処理装置の非定常周波数区間検出部１３０では、全周波数帯域の信号レベルが所定の閾値より小さい時間区間では、非定常周波数区間を検出しないとしたが、前記全周波数帯域の信号レベルの代わりに各周波数帯域の信号レベルの最大値を使用してもよい。

同様に、実施の形態１の非定常周波数区間検出部１３０では、全周波数帯域の信号レベルで各周波数帯域の信号レベルを正規化したが、これを各周波数帯域の信号レベルの最大値で正規化するようにしてもよい。

また、実施の形態１の非定常周波数区間検出部１３０では、正規化した各周波数帯域の信号レベルから非定常周波数区間を検出したが、これを正規化していない各周波数帯域の信号レベルから検出するようにしてもよい。さらに、正規化する場合と正規化しない場合の検出結果を組み合わせるようにしてもよい。

実施の形態１のゲイン平滑化部１５０では、平滑化の時定数を一定としたが、ゲインＧ（ｔ）が増加する（Ｇ（ｔ）＞Ｇ（ｔ−１））場合と、減少する（Ｇ（ｔ）≦Ｇ（ｔ−１））場合とで異なった平滑化の時定数を使用してもよい。

また、ゲイン平滑化部１５０では、ゲインに窓関数を掛けることにより平滑してもよい。

また、非定常周波数区間検出部１３０の閾値、ゲイン算出部１４０の上限値、あるいはゲイン平滑化部１５０の平滑化の時定数を外部から設定できるようにしてもよい。

以上のように、本発明にかかる音声信号処理装置は、音声信号の重要で聞き取りにくい部分を聞き取り易くすることができるので、テレビ、ラジオ、ＤＶＤプレーヤ、ミニコン、携帯電話等の音声信号処理装置等として有用である。

本発明の実施の形態１における音声信号処理装置の構成を示すブロック図本発明の実施の形態１における非定常周波数区間検出部１３０の構成を示すブロック図継時（非同時）マスキングを説明するための模式図特許文献１に記載された従来の音声信号処理装置の構成を示すブロック図

符号の説明

１００遅延部
１１０乗算部
１２０周波数分析部
１３０非定常周波数区間検出部
１４０ゲイン算出部
１５０ゲイン平滑化部
１６０継時マスキングレベル算出部
２００正規化信号レベル算出部
２１０信号レベル時間変化量算出部
２２０判定部
２３０全帯域信号レベル算出部

Claims

入力音声信号の時間区間毎に各周波数帯域の信号レベルを周波数スペクトルとして算出する周波数分析部と、
前記周波数スペクトルの時間変化量が所定の閾値より大きい時間区間を非定常周波数区間として検出する非定常周波数区間検出部と、
前記検出された非定常周波数区間の前後の時間区間の信号が前記非定常周波数区間の信号に及ぼす継時マスキングレベルを算出する継時マスキングレベル算出部と、
前記継時マスキングレベルと前記非定常周波数区間の信号レベルとに応じて前記非定常周波数区間のゲインを算出するゲイン算出部と、
前記入力音声信号に前記ゲインを乗算し、出力する乗算部と、を備えた音声信号処理装置。
さらに、前記ゲインの時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部を備え、
前記乗算部は、前記入力音声信号に前記平滑化されたゲインを乗算することを特徴とする請求項１に記載の音声信号処理装置。
さらに、前記継時マスキングレベル算出部および／またはゲイン平滑化部における処理の遅延を補償するため、前記入力音声信号に遅延を施す遅延部を備え、
前記乗算部は、前記遅延部で遅延を施された入力音声信号に前記平滑化されたゲインを乗算することを特徴とする請求項２に記載の音声信号処理装置。
前記非定常周波数区間検出部は、全周波数帯域の信号レベルもしくは前記周波数スペクトルの最大値が所定の閾値より小さい時間区間では、非定常周波数区間を検出しないことを特徴とする請求項１に記載の音声信号処理装置。
前記非定常周波数区間検出部は、全周波数帯域の信号レベルもしくは前記周波数スペクトルの最大値で前記周波数スペクトルを正規化し、前記正規化された周波数スペクトルの時間変化量が所定の閾値より大きい場合に、非定常周波数区間として検出することを特徴とする請求項１に記載の音声信号処理装置。
前記ゲイン算出部は、算出されるゲインが上限値を超えないように設定されていることを特徴とする請求項１に記載の音声信号処理装置。
前記ゲイン平滑化部は、ゲインが増加する場合と減少する場合とで異なった時定数の平滑化を行うことを特徴とする請求項２に記載の音声信号処理装置。