JP2013537321A - 知覚スペクトルアンバランス改善のための音声信号動的補正 - Google Patents

Abstract

【解決手段】 入力音声信号は、所期の聴取音圧レベル、特定の再生デバイスの出力性能、及びリスナ固有の聴力特性に基づいて出力音声信号を形成するように等化される。最初に、所期の聴取レベルは、音声信号及びマスタリング音圧レベルの各特性に基づき決定される。所期の聴取レベルは、特定の再生デバイスに対する最適な音圧レベルを再生デバイスの性能及び任意のマスタ音声利得に基づいて決定するために利用される。この２つのレベルは、人間の聴覚に関して標準化されたデータ又は直接計測されたデータに基づいて、周波数毎にどの程度音量を大きくするかを決定するために使用される。更に、音声信号は、任意選択的に帯域が拡張された後、聴力損失に関して標準化されたデータ又は直接計測されたデータに基づいて補正される。最後に、補正された音声信号は、再生のために再生デバイスに送られる。
【選択図】 図１

Description

（関連出願の相互参照）
本出願は、２０１０年９月１０日出願の米国特許仮出願第６１／３８１，８３１号の優先権を主張するものであり、この開示内容全体は引用により本明細書に組み込まれている。
（技術分野）

本発明は、適応フィルタを利用した再生音声信号の等化に関する。

音声信号は、音声信号のスペクトルバランス又は周波数応答により説明することができる。音声信号は、再生デバイス上での再生時、関連する音圧レベル又は「ＳＰＬ」を有する。音声信号のこの２つの特性は、論理的に独立しており、線形時不変再生システムを仮定すると、音声信号の音圧レベルの変化は、音声信号のスペクトルバランスの客観的な計測に何ら影響しないであろう。

しかしながら、主観的な心理音響学の観点から、音圧レベルの変化は、音声信号の知覚スペクトルバランスに有意な変化を与えることが観察される。これは、音圧レベルの差異に対する人間の耳の感度が周波数の関数として変化するからである。例えば、音声信号の音圧レベルを下げる場合、低周波数帯域の知覚ラウドネスは、中周波数帯域の知覚ラウドネスよりかなり高い割合で下がる。

この現象は、等ラウドネス曲線により説明することができる。図１にＩＳＯ標準２２６（２００３年）で定義される等ラウドネス曲線を示す。ラウドネスは、フォンを単位にして測定され、１フォンは、１０００Ｈｚ（１ｋＨｚ）の周波数において、１デシベル（ｄＢ）の音圧レベル（ＳＰＬ）で定義される。図１の各曲線は、周波数の変化に対して等しいラウドネスレベルを与えるのに必要とされるＳＰＬを表しており、平均的な人に知覚されるものである。図１は、人間に聞こえる最少可聴値から２０フォンずつ増加し、１００フォンまでの知覚ラウドネスレベルをモデル化した、前記のような６つの曲線を示している。フォンの定義によれば、２０フォンのラウドネスは、１ｋＨｚで２０ｄＢのＳＰＬを必要とし、４０フォンのラウドネスは、１ｋＨｚで４０ｄＢのＳＰＬを必要とすること等に留意されたい。

ラウドネス知覚は、老人性難聴としても知られている年令に関係した聴力損失のように、環境的な属性及び身体的な属性に起因して人によって変化することもある。ＩＳＯ標準７０２９（２０００年）に含まれているデータから適応された、平均的な人の年令と共に増加する減衰を図２に示す。減衰の基準線は、平均的な２０歳の人の聴力であり、減衰０ｄＢで直線により表されている。図２を見るとわかるように、平均的な３０歳の人の聴力は、約１８００Ｈｚを超えてから、平均的な２０歳の人の聴力よりわずかに悪い聴力を有するようになる。対照的に、平均的な６０歳の人は、１０００Ｈｚを超える周波数帯域で、顕著に聴力が減衰（２０ｄＢを超える聴力損失）する。従って、老人性難聴は、より高い可聴周波数帯域において特に問題になり、かつ大いに年令に依存する。

リスナは、等化機能（「ＥＱ」）を音声出力に適用することにより、高周波数帯域及び低周波数帯域のバランスにおいて知覚される損失を軽減しようとする場合がある。過去において、このＥＱ機能は、低周波数帯域及び高周波数帯域の音量を増加し、オクターブ帯域に離間した各スライダでスマイル形の曲線を形作るグラフィックイコライザを使用して適用されていた。「スマイルフェース（ｓｍｉｌｅｙ−ｆａｃｅ）」ＥＱは、低い聴取レベルにおける知覚スペクトルを拡張するのに適しており、概して音圧レベルに関係なく適用される。従って、より高い音圧レベルにおいて、結果として得られる等化サウンドトラックは、低周波数帯域が非常に重い低音で、高周波数帯域が非常に甲高く知覚される場合がある。

最後に、低ビットレート（例えば、ｍｐ３）の知覚符号化技術を利用して積極的に圧縮された音声信号は、符号化プロセスの結果、音があまり鮮明でない又は鈍いように知覚されることがある。これは、高周波数帯域が、帯域幅を保存するために、フィルタを通して除去されるためである。音声信号は、より高い周波数帯域では全く存在していないので、高周波数ＥＱを適用してもこの状況の助けとはならないであろう。

低いレベルで再生される音声信号の知覚スペクトルバランスに関する上記の問題は、次のように要約することができる。

音圧レベルにおける差異に対する人間の耳の感度は、周波数の関数として変化し、より低い聴取レベルにおいて知覚スペクトルのアンバランスを生じる

年令に関係した聴力損失は、高周波数の内容に、より静寂な知覚を与える。

「笑顔」ＥＱカーブを適用すると、より低い聴取レベルにおいて知覚スペクトルバランスを補正するのに役立つことがあるが、より高い聴取レベルにおいては、（あまり補正の必要がない場合に）過剰に補正することもある。

低いビットレートの音声知覚符号化技術を適用すると、音が鈍く知覚されることがある。

どのような種類の高周波数ＥＱを適用しても、低いビットレートで符号化された内容を鮮明にすることができないかもしれない。

米国特許仮出願第６１／３８１，８３１号（２０１０年９月１０日出願）

Ｈｏｌｍａｎ他著 「Ｌｏｕｄｎｅｓｓ Ｃｏｍｐｅｎｓａｔｉｏｎ： Ｕｓｅ ａｎｄ Ａｂｕｓｅ」 Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ ｖｏｌ．２６ ５２６−５３６頁 １９７８年７月−８月 Ｌａｒｓｅｎ他著 「Ｅｆｆｉｃｉｅｎｔ Ｈｉｇｈ−Ｆｒｅｑｕｅｎｃｙ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ ｏｆ Ｍｕｓｉｃ ａｎｄ Ｓｐｅｅｃｈ」 第１１２回ＡＥＳコンベンション ２００２年５月 Ｄｉｅｔｚ他著 「Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ， ａ Ｎｏｖｅｌ Ａｐｐｒｏａｃｈ ｉｎ Ａｕｄｉｏ Ｃｏｄｉｎｇ」 第１１２回ＡＥＳコンベンション ２００２年５月 Ｌａｒｓｅｎ他著 「Ａｕｄｉｏ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ： Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｐｓｖｃｈｏａｃｏｕｓｔｉｃｓ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｌｏｕｄｓｐｅａｋｅｒ Ｄｅｓｉｇｎ」 Ｗｉｌｅｙ ２００４年

本発明の様々な実施形態は、ＳＰＬ依存適応ＥＱ、任意選択のスペクトル帯域拡張、及びＳＰＬ非依存（リスナ依存）ＥＱの組合せを利用し、再生する音声コンテンツを知覚スペクトルアンバランスに対して動的に補正することにより、従来技術における前記欠点に対処する。連続的な再生レベル及び信号帯域解析の結果として、再生音声は、好都合に必要な時にのみ処理される。

前記のように、低周波数帯域（１０００Ｈｚ未満）に対する人間の耳の知覚は、より高い周波数帯域に対する知覚とは異なっており、出力利得を低減すると、低音部の知覚レベルがかなり下がることになり、かなり低いレベルでの再生時、しばしば低音部の周波数帯域が全く聞こえない程度になる場合がある。ＳＰＬ等化は、再生の知覚スペクトルバランスがなんらかの理想的な監視レベルで知覚スペクトルバランスに関して維持されるように、入力音声信号のスペクトルを再生信号として出力に連続的に適応させて動作する。これは、所期の聴取レベル及び実際の聴取レベルに対して生成される等ラウドネス曲線における相対的な差異を計算することにより実行される。所期の再生レベルと実際の再生レベルとの差異が大きくなればなるほど、低音部の知覚レベルは低くなり、低音部の知覚損失のバランスを保つために低周波数帯域ＥＱが必要とされる。ＳＰＬ等化の基礎は、本技術分野において公知であり、例えば、Ｈｏｌｍａｎ他著 「Ｌｏｕｄｎｅｓｓ Ｃｏｍｐｅｎｓａｔｉｏｎ： Ｕｓｅ ａｎｄ Ａｂｕｓｅ」 Ｊ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ ｖｏｌ．２６ ５２６−５３６頁 １９７８年７月−８月に記述されている。本発明の様々な実施形態は、以下により詳細に説明するように基礎技術を変更するものである。

高周波数での聴力損失は、図２に示すように、周波数の増加と共に、高周波数での聴力の減少をもたらすことがある。様々な程度の難聴を補正するために、図２に示す傾向の逆特性に基づくが、音声信号の各サンプルに直接基づいていないリスナ依存ＥＱを実装する。従って、高周波数帯域をより大きい量だけ増加させ、所望の補正量が増大するとより低い遮断周波数から開始する。また、適用される高周波数ＥＱの全体的な利得は、高周波数であまりに高い音圧レベルに増大することを避けるために想定される実際の再生レベルにも依存するが、さもなければうるさく又は甲高く知覚される場合がある。

リスナ依存等化が適用されても、高周波数コンテンツが制限されているために可聴効果があまりない場合、帯域拡張技術を利用することができる。概して、一般的な音声帯域拡張アルゴリズムは、Ｌａｒｓｅｎ他著 「Ｅｆｆｉｃｉｅｎｔ Ｈｉｇｈ−Ｆｒｅｑｕｅｎｃｙ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ ｏｆ Ｍｕｓｉｃ ａｎｄ Ｓｐｅｅｃｈ」 第１１２回ＡＥＳコンベンション ２００２年５月、に記載されている非線形歪み、及びＤｉｅｔｚ他著 「Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ， ａ Ｎｏｖｅｌ Ａｐｐｒｏａｃｈ ｉｎ Ａｕｄｉｏ Ｃｏｄｉｎｇ」 第１１２回ＡＥＳコンベンション ２００２年５月、に記載されているスペクトル帯域複製のような技術を利用して、既存の低周波数帯域の音声コンテンツから、付加される高周波数帯域の音声コンテンツを導出する。帯域拡張及びラウドネス等化の組合せから十分な恩恵を得るために、本発明のいくつかの実施形態において、高周波数帯域等化の前に帯域拡張が適用される。帯域拡張が必要な場合のみ適用されるように、入力信号内の高周波数コンテンツの量を検出する任意選択の帯域幅検出アルゴリズムを利用することができる。

従って、本発明の第１の実施形態において、処理デバイスで音声信号を等化する方法が提供される。本方法は、最初の段階において、一部の音声信号の周波数係数を複数のサブバンドに分割する段階を含み、各サブバンドは１つ又はそれ以上の周波数係数を含む。本方法においては、複数のサブバンドの１つ又はそれ以上に対して一連の処理を実行する処理デバイスを使用する段階を含む。最初に、処理デバイスは、（i）所定のマスタリング音圧レベル、及び（ii）１つ又はそれ以上のサブバンドの周波数係数に部分的に基づいて少なくとも１つのマスタリング信号の大きさを決定する。次に、処理デバイスは、再生デバイスのマスタ音量レベルに部分的に基づいて少なくとも１つの再生信号の大きさを決定する。次に、処理デバイスは、マスタリング信号の大きさに基づいて第１の等ラウドネス曲線データを生成する。次に、処理デバイスは、再生信号の大きさに基づいて第２の等ラウドネス曲線データを生成する。音声信号の特定の部分に対して曲線が生成されるとすぐに、本方法は、１つ又はそれ以上のサブバンドの範囲の第１及び第２の等ラウドネス曲線データに基づいて補正データを生成する段階と、補正データを使用して音声信号の一部の周波数係数を補正する段階とを継続する。

関連する方法において、各サブバンドの補正された周波数係数を変換して等化された音声信号を生成する段階を更に含み、等化された音声信号は、再生デバイスに出力することができる。音声信号は、複数の部分から構成され、少なくとも１つのマスタリング信号の大きさを決定する段階と、少なくとも１つの再生信号の大きさを決定する段階と、第１の等ラウドネス曲線データを生成する段階と、第２の等ラウドネス曲線データを生成する段階と、補正データを生成する段階と、該当部分の周波数係数を補正する段階とを繰り返すことができる。第１の等ラウドネス曲線データ（理想的な聴取設定に関係）を生成する段階は、マスタリング信号の大きさに対してＩＳＯ２２６に従って等ラウドネス曲線データを生成する段階と、１ｋＨｚで０ｄＢの利得を有するように生成された等ラウドネス曲線を正規化する段階とを含むことができる。同様に、第２の等ラウドネス曲線データ（実際の聴取設定に関係）を生成する段階は、再生信号の大きさに対してＩＳＯ２２６に従って等ラウドネス曲線データを生成する段階と、１ｋＨｚで０ｄＢの利得を有するように生成された等ラウドネス曲線を正規化する段階とを含むことができる。

これらの方法に関して、マスタリングレベルは、音声信号の録音中に発生した特定周波数のピークレベルとしることができる。更に、１つ又はそれ以上のサブバンドは、例えば、１ｋＨｚ未満の周波数帯域に制限できる。補正データを決定する段階は、該当部分の低周波数音声コンテンツから付加される高周波数音声コンテンツを得ることにより、信号の帯域幅を拡張する段階を含むことができる。

本方法は、リスナの各聴力特性に関係する受信データに基づいて第２の補正データを決定する段階と、第２の補正データに基づいて少なくとも１つの周波数係数を増加させる段階とによって拡張することができる。この拡張された方法において、少なくとも１つの周波数係数の増加は、仮定された再生レベルに部分的に基づくことができる。更に、第２の補正データを決定する段階は、関数に従って増強レベルを計算する段階を含むことができ、データは所定の最大増強レベルを有することができる。

第２の実施形態において、再生デバイス上で再生音声信号を等化する方法が提供される。本方法は、前記のような１つ又はそれ以上の周波数係数を含む複数のサブバンドに音声信号を分割する段階を含む。第２の方法は、マスタリング音圧レベル及び再生デバイスに対する再生レベルに基づいて１つ又はそれ以上のサブバンドの周波数係数を動的に適応させる段階を更に必要とする。次に、本方法は、リスナの聴力損失データに基づいて、複数のサブバンドの１つ又はそれ以上のサブバンドの周波数係数を適応させる段階を必要とする。最終的に、本方法は、適応された周波数係数を、再生デバイスで再生される等化された音声信号に変換する段階を必要とする。本方法によれば、動的適応及び聴力損失に対する適応は、マスタリング時の音声信号のスペクトルバランスに近い、個別の動的に等化された音声信号をもたらす。おそらく、音声信号に熟達した音響技術者は優れた聴取力を有しており、本方法は、その他の人に対して実質的に等価な聴取体感を提供する。

関連する実施形態において、１つ又はそれ以上のサブバンドの音声の大きさを動的に適応さえる段階は、１ｋＨｚ未満の周波数帯域に限定される。動的に適応させる段階は、音声信号の各標本化周期に対する４つのサブプロセスを含む。第１のサブプロセスは、マスタリング音圧レベルに部分的に基づいて、所定の周波数での所期の信号の大きさを決定する。第２のサブプロセスは、再生デバイスの任意のマスタ音量調節量及び再生デバイスの最大音圧レベルに部分的に基づいて、少なくとも１つの実際の再生の大きさを決定する。第３のサブプロセスは、所期の信号の大きさ及び実際の再生の大きさに基づいて、等ラウドネス曲線データを生成する。第４のサブプロセスは、等ラウドネス曲線データを適用して１つ又はそれ以上の周波数係数を適応させる。

別の関連する実施形態において、本方法は、ユーザ年令に基づいて周波数係数を調節することで拡張される。従って、この拡張された方法は、ユーザ年令を識別するユーザ入力を受信する段階を含む。従って、聴力損失データに基づいて複数のサブバンドの１つ又はそれ以上のサブバンドを適応させる段階は、少なくとも第１の周波数及び関数が受信したユーザ年令に基づくことができるように、第１の周波数と第２の周波数との間の関数を決定する段階と、決定された関数に基づいて複数のサブバンドの１つ又はそれ以上のサブバンドの周波数係数を増強する段階とを含む。サブバンドを適応させる段階は、ユーザ入力が関数を変更して少なくとも１つの周波数係数の増強を増大又は減少させるように、関数の変数を示すユーザ入力を受信する段階を含むことができる。

別の関連する実施形態において、本方法は、ユーザが応答する周波数に基づく一連の音を生成して聴力試験を行う段階を含み、複数のサブバンドの１つ又は複数を適応させる段階は、聴力試験に対するユーザの応答に基づいて１つ又はそれ以上の周波数係数に対する増強レベルを決定する段階を含むようになっている。

音声信号の等化の第３の方法が提供される。本方法は、音声信号をデジタル表現に変換する段階と、マスタリング音圧レベル及び所定のリスナの聴力特性に関するデータに基づいて音声信号を動的に調節するようにデジタル表現をフィルタ処理する段階と、フィルタ処理されたデジタル表現を再生デバイスで再生するためにフィルタ処理された音声信号に変換する段階とを含む。

前記の一部又は全ての方法を実行するためのコンピュータコードを有する、非一時的コンピュータ読み取り可能媒体を備えるコンピュータプログラム製品が提供される。

音声信号が複数の標本化時間で標本化された周波数係数により表現される音声信号等化システムが提供される。本システムは、（i）音声信号を受信し、（ii）所期の音圧レベル及び音声信号に対する実際の再生音圧レベルに基づいて標本化時間の周波数係数を動的に適応させるための音圧レベル依存等化器を含む。音圧レベル依存等化器は、実際の再生音圧レベル及び所期の音圧レベルに基づいて決定される等ラウドネス曲線データを使用して、周波数係数を適応させるための周波数係数調節量を決定する。本システムは、聴力損失補正データを決定するユーザ入力に基づいて標本化時間の周波数構成要素を調節するためのリスナ依存等化器を更に含む。

関連する実施形態において、本システムは、（i）標本化時間の周波数係数に基づいて各標本化時間での音声信号の帯域幅を検出し、（ii）帯域幅を表す帯域幅信号を出力するための帯域幅検出器を含む。本関連システムは、帯域幅信号を受信し、（i）帯域幅が所定の周波数未満と判断された場合、音声信号を帯域拡張モジュールに供給するか又は（ii）帯域幅が標本化時間の所定の周波数を超えると判断された場合、帯域拡張モジュールを迂回させる、論理スイッチング回路を更に含む。帯域拡張モジュールは、所与の標本化時間の音声信号内の情報に基づいて決定される帯域幅を超えた周波数帯域で、音声信号に追加の周波数係数を付加する。

本システムは、リスナ依存等化器との通信において、リスナ依存曲線データの複数の集合を含み、ユーザ入力に基づいて特定のリスナ依存曲線データをリスナ依存等化器に提供するメモリを含むことができる。同様に、本システムは、音圧レベル依存等化器との通信において、等ラウドネス曲線データの複数の集合を含み、実際の再生音圧レベル、又は所期の音圧レベルのいずれかに基づいて特定の等ラウドネス曲線データを提供するメモリを含むことができる。最後に、本システムは、異なる周波数帯域の一連の可聴音を生成し、可聴音に応答するユーザ入力を受信し、ユーザに特有の聴力データを決定する聴力試験モジュールを含むことができる。

実施形態の前記の特徴は、添付図面を参照して、以下の詳細な説明を参照することにより、容易に理解されるであろう。

ＩＳＯ標準２２６（２００３年）で定義される等ラウドネス曲線を示す。 ＩＳＯ標準７０２９（２０００年）に含まれているデータからの出典の年令の関数としての最少可聴値の一般的な統計分布を示す。 本発明の実施形態により実行された、入力音声信号をフィルタ処理して出力音声信号を生成するための等化プロセスの結果を示す。 本発明の実施形態による、入力音声信号のラウドネスを動的に等化するために使用できる機能モジュールの構成を示すブロック図である。 図４の実施形態による、可聴低周波数帯域及び可聴高周波数帯域の両方におけるラウドネスを等化するためのアルゴリズムを示すフローチャートである。 本実施形態による、可聴低周波数帯域を動的に等化するためのピーク信号レベルと入力音声信号レベルとの間のｄＢ単位の差の計算に関する概念を示す。 図６の概念による、マスタ音に近づけるための適用方法を示す。 図６の概念による、入力音声信号をリスナ所望の音圧レベルに近づけるための適用方法を示す。 リスナ個別の聴力損失特性を補正するように音声信号を等化するための、本発明の実施形態によって修正した図２を示す。

定義
本明細書及び添付の特許請求の範囲において使用される場合、文脈において要求されない限り、以下の用語は以下の意味を有する。

連続する（アナログ）音声信号は、「標本化周波数」でデジタル的に標本化され、デジタルデータのビット列を形成することができる。一般的な標本化周波数としては、ＭＰ３を含むＭＰＥＧ−１音声においては４４．１ｋＨｚ、ＳＤＩのような様々な本格的なデジタル動画標準においては４８ｋＨｚ、ＤＶＤ音声、ブルーレイ音声、及びＨＤ−ＤＶＤ音声においては９６ｋＨｚを挙げることができる。デジタルデータは、音声信号の各標本間の時間で定義される「標本化周期」を表す。

標本化周期のデジタルデータは、離散コサイン変換（ＤＣＴ）等のよく知られる変換方法を利用して、時間を基準にした表現（「時間領域」）から周波数を基準にした表現（「周波数領域」）に変換することができる。時間領域内のデータ値は、（例えば、）一連の電圧の大きさを表すことができ、一方、周波数領域内のデータ値は、標本化周期間の音声信号内の周波数の大きさを表すことができる。周波数領域内のかかるデータは、本明細書において「周波数係数」として参照される。

本発明の様々な実施形態は、音声コンテンツに依存する第１のプロセス及び音声コンテンツに依存しない第２のプロセスの組合せを使用して、音声コンテンツを知覚スペクトルアンバランスに対して動的に補正する。第１のプロセスにおいては、音声再生デバイスの出力音圧レベルと以前の、好ましくはマスタリング中の音声信号のＳＰＬとの間の差異に対して補正するために、ＳＰＬ依存ＥＱが音声信号に適応的に適用される。第２のプロセスにおいては、老人性難聴のようなリスナの聴力特性に対して、ＳＰＬの特定の音圧レベルと無関係に補正するために、固定的な等化が適用される。任意選択で、第３のプロセスにおいては、より高い周波数帯域で音質を向上するために、リスナ依存ＥＱの適用前に音声信号のスペクトル帯域幅が拡張される。

図３は、本発明の実施形態により実行された等化プロセスの結果を示す。実線の曲線３０１は、周波数領域における入力音声信号の一部を表している。破線の曲線３０２は、入力音声信号３０１に対する任意選択の帯域拡張を表している。破線の曲線３０３は、本実施形態により生成された出力音声信号を表している。出力曲線３０３は、曲線３０２に帯域拡張が適用されているため、（拡張されていない）入力信号３０１より高い周波数帯域に拡張されていることに留意されたい。

図の左側の間隔３０４は、ＳＰＬ依存フィルタリングの効果を表しており、図４から図７に関連して以下に詳細に説明する。図３において、この間隔は、「録音スタジオ」の音量と再生音量との間の差異を動的に補正するための、低周波数帯域の一部のＳＰＬの適度な増加を表している。図の右側の間隔３０５は、リスナ依存（ＳＰＬ非依存）フィルタリングの効果を表しており、図８に関連して以下に詳細に説明する。リスナ依存フィルタリングは、入力音声信号と無関係に、主として聴力損失及び他のリスナの聴覚特性を補正するために利用される。

図３に示す曲線３０１及び曲線３０３は、中周波数帯域において実質的に重なり合っており、低周波数帯域及び高周波数帯域において異なっているが、この図は、ＳＰＬ依存フィルタリングとリスナ依存フィルタリングとの間の差異を示すためのみに利用される。特に、ＳＰＬ依存フィルタリングは、概して高周波数帯域より低周波数帯域に影響し、音圧レベル非依存フィルタリングは、概して低周波数帯域より高周波数帯域に影響する。しかしながら、以下に説明するように、２つのフィルタリングの影響は、いくつかの又は全ての可聴スペクトルに亘ってオーバーラップすることもあり、図３を、本発明の範囲を非オーバーラップフィルタに限定すると見なすべきではない。

前記に概説した全ての解決策を一般化した概略図を図４に示す。帯域幅検出アルゴリズム４０２は、帯域幅が保証されているかどうかを評価するために、入力音声信号４０１に対して適用される。帯域幅が保証されている場合、破線で示すように、任意選択の帯域拡張モジュール４０３が適用される。この帯域拡張モジュールは低周波数音声コンテンツから追加的な高周波数音声コンテンツを導出する。帯域拡張のアルゴリズムは、本技術分野で公知の多くアルゴリズムの１つとすることができる。公開されたアルゴリズムを良く概説する、Ｌａｒｓｅｎ他著 「Ａｕｄｉｏ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ： Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｐｓｖｃｈｏａｃｏｕｓｔｉｃｓ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｌｏｕｄｓｐｅａｋｅｒ Ｄｅｓｉｇｎ」 Ｗｉｌｅｙ ２００４年、を参照されたい。本発明の別の実施形態において、帯域拡張モジュールは常時実行されるが、別の実施形態においては全く実行されない。

帯域拡張モジュール４０３が適用されるか否かに関わらず、信号は、ＳＰＬ依存ラウドネス等化ステージ４０４及びリスナ依存ラウドネス等化ステージ４０５によって更に処理される。これらのステージは、ＳＰＬを単位とする仮定される所期の聴取レベルと、実際の聴取レベル（より低いと仮定）との間の予測される差異の関数である、別々の等化機能を適用する。また、等化曲線は、ユーザの嗜好性に関して変更することができ、高周波数帯域及び低周波数帯域において多少積極的に変更することができる。これらの等化機能の適用結果は、出力再生デバイスに供給できる出力音声信号４０６である。再生デバイスからの再生マスタ音量４１０は、等化プロセス４０４及び４０５の１つ又は両方への入力として使用される。

一般的に、図４のプロセスは、処理デバイス、又は専用設計されたハードウェア、コンピュータハードウェア、コンピュータプログラムコードの形式のソフトウェア、若しくはそれらの組合せを含むシステムに実装することができる。かかる処理デバイスは、プロセス４０２に関して前述したように、標本化時間の周波数係数に基づき各標本化時間での入力音声信号の帯域幅を検出し、帯域幅を表す帯域幅信号を出力するための帯域幅検出器を含むことができる。処理デバイスは、帯域幅信号を受信する論理スイッチング回路を含むことができる。この論理スイッチング回路によって、音声信号は、帯域幅が所定の周波数未満と判断された場合、帯域拡張モジュールに供給される。プロセス４０３に関して前述した帯域拡張モジュールは、所与の標本化時間の音声信号内の情報に基づき決定される帯域幅を超えた周波数帯域で音声信号に追加の周波数係数を付加することができる。一方、帯域幅が標本化時間で所定の周波数を超えると判断された場合、論理スイッチング回路により、音声信号は帯域拡張モジュールを迂回する。

本発明を実施するシステムは、音声信号を受信し、所期の音圧レベル及び音声信号に対する実際の再生音圧レベルに基づき標本化時間の周波数係数を動的に適応させるためのＳＰＬ依存等化器を含むことができる。音圧レベル依存等化器は、実際の再生音圧レベル及び所期の音圧レベルに基づき決定される等ラウドネス曲線データを使用して周波数係数を適応させるための周波数係数調節量を決定する。本システムは、聴力損失補正データを決定するユーザ入力に基づき標本化時間の周波数構成要素を調節するためのリスナ依存等化器を含むことができる。

このシステムは、リスナ依存等化器との通信において、リスナ依存曲線データの複数の集合を含み、ユーザ入力に基づく特定のリスナ依存曲線データをリスナ依存等化器に提供するメモリと共に実装できる。同様に、本システムは、音圧レベル依存等化器との通信において、等ラウドネス曲線データの複数の集合を含み、実際の再生音圧レベル又は所期の音圧レベルのいずれかに基づく特定の等ラウドネス曲線データを提供するメモリを有することができる。以下に説明する本発明の別の幾つかの実施形態によれば、本システムは、異なる周波数帯域の一連の可聴音を生成し、可聴音に応答するユーザ入力を受信し、ユーザに特有の聴力データを決定する聴力試験モジュールを含むことができる。これらのデータは、ユーザが聴取する等ラウドネス曲線、ユーザの聴力損失データ、又はその両方に関係するデータを含むことができる。

本発明の１つの実施形態のラウドネス等化を実装するためのフローチャートを図５に示す。簡単に説明すると、本実施形態は、マスタリングスタジオのような初期環境における、対象の音声サンプルＳＰＬと環境の最大ＳＰＬとの差異を決定することにより作動する。次に、この差異は、再生環境における再生出力信号を生成し、再生デバイス自体の最大ＳＰＬ及び再生マスタ音量レベルにより生じる何らかの利得を考慮することにより、複製される。

所期のピーク音圧レベル（例えば、マスタリングレベルで再生されるピンクノイズ又はブラウンノイズのピークレベル）、ユーザの再生デバイスの実際のピーク音圧レベル性能、及びマスタ音量レベルに関する仮定された情報を用いて開始する。これらの情報は、手元の任意の手段を利用して得ることができる。例えば、マスタリングピークＳＰＬは、入力音声データビット列内に符号化でき、又は手動で再生デバイスに挿入することができる。非限定的な例としては、マスタリングでのピークＳＰＬは、録音技術者による音声信号の録音中、約８５ｄＢのＳＰＬに決定することができる。一方で、リスナの再生デバイスのＳＰＬは、デバイスのみの関数なので、何らかの特定の入力音声信号と無関係である。１つの実施形態において、図５の方法は、増幅器又は外部のスピーカに接続される他のデバイスで実行され、ピークＳＰＬはハードウェア特性に基づき決定され、ハードウェア特性としては、増幅器の出力自体の特性、又は例えば統合的スピーカを有するラップトップコンピュータのハードウェア特性を挙げることができる。従って、再生デバイスのピークＳＰＬは、製造業者の既定値を調査するか、又はコンピュータ型式とそのスピーカ特性を関連づけるデータベースを調査することにより、直接決定することができる。

図５の方法は、プロセス５０１で始まり、入力音声信号の一部は、６４帯域オーバサンプル多相解析フィルタバンクを利用して複合周波数領域表現に変換される。他の種類のフィルタバンクを利用することができる。異なる数の周波数帯域を利用することができる。本明細書で説明する実施形態において、解析フィルタバンクは、６４周波数領域サンプルのブロックを各ブロック６４時間領域入力サンプルとして抽出し、結果的に周波数係数を分割して複数のサブバンドを形成する。

プロセス５０２において、入力データに適用される任意の公知のマスタ音量利得は、元に戻される。この処理の実行により、所期のコンテンツ依存マスタリングレベルを良好に評価することができる。プロセス５０３において、低周波数（１ｋＨｚ未満）の周波数スペクトルは、例えば、本技術分野において公知の減衰積分器を利用して時間平均することにより平滑化される。

プロセス５０４において、所期のコンテンツ依存レベルは、データ内の現フレームの低周波数の大きさの平均を導出し、これと仮定されるピーク又は最大の大きさとの差分を計算することにより評価される。このプロセス５０４の効果を、図６に視覚的に示す。入力音声信号の特定部の周波数スペクトルが曲線６０１で示される。この部分の低周波数スペクトルは、遮断周波数、この場合１ｋＨｚまでの周波数帯域に限定される。この周波数帯域の平均の大きさ６０２がプロセス５０３の出力である。また、図６は、仮定されるマスタリングピークＳＰＬ６０３を示す。プロセス５０４の目的は、所与の音声信号部の低周波数平均６０２とマスタリングピークＳＰＬ６０３との間の差６０４の大きさを決定することである。

図７Ａに、このプロセスの実施形態を詳細に示す。図７Ａは、入力音声信号６０１、低周波数の平均の大きさ６０２、及び仮定されるマスタリングピークＳＰＬ６０３の周波数スペクトルの一部を示す。プロセス５０４は、マスタリングピークＳＰＬ６０３に「Ｍ」ｄＢの値のＳＰＬを、差６０４に「Ｘ」ｄＢの値のＳＰＬを割り当てる。その結果、「所期の」（マスタリング）音圧レベルが、（Ｍ−Ｘ）ｄＢのＳＰＬに現れる。値Ｘは、仮定されるピークの大きさ６０３から低周波数平均６０２を引くことにより決定できる。

所望の再生音圧レベル７０１は、図７Ｂに示される値Ｘに基づき決定され以下に説明する。最初に、ピーク再生デバイスＳＰＬ７０２に「Ｐ」ｄＢのＳＰＬの値が割り当てられ、再生時に適用される任意のマスタ音量利得７０３に「Ｖ」ｄＢのＳＰＬの値が割り当てられる。一般的に、再生デバイスピークＳＰＬ（Ｐ ｄＢ）は、マスタリングピークＳＰＬ（Ｍ ｄＢ）より大きいことに留意されたい。所望の効果的な出力音声信号音圧レベル７０１は、（Ｐ−Ｘ−Ｖ）ｄＢのＳＰＬとして計算される。従って、所望の出力音声信号音圧レベル７０１は、マスタ音量利得７０３により増強される場合、再生デバイスの最大出力レベル７０２からＸｄＢだけ下回って聞こえるように決定される。これらの計算により、音声信号は、理想的な録音スタジオとリスナの再生デバイスの両方において同じ量だけ（図７Ａ及び７Ｂの両方に存在する成分６０４であるＸｄＢ）、関連するピークＳＰＬより「静寂」に聞こえる。

しかしながら、前記のように、人間の耳の音圧レベルにおける差異に対する感度は、周波数の関数として変化し、より低い聴取レベルにおいて知覚スペクトルアンバランスを生じる。従って、これらの方式によって単純に全周波数帯域に亘って音圧レベルを等しく低減することは（例えば、様々な周波数ビン（ｂｉｎ）の周波数係数を等しく低減することは）、知覚スペクトルバランスの悪化をもたらす。この状況は、５０５から５０７のプロセスを適用することにより例示的な実施形態において好都合に回避することができる。

従って、図５に戻って説明すると、プロセス５０５において、等ラウドネス曲線データは、図７Ａ及び図７Ｂにおいて（Ｍ−Ｘ）ｄＢのＳＰＬ、及び（Ｐ−Ｘ−Ｖ）ｄＢのＳＰＬで表される所期のＳＰＬ、及び再生ＳＰＬに対して生成される。一般的に、等ラウドネス曲線データは、前述の引用されたＩＳＯ２２６を参照して生成される。標準レベルの間の音圧レベルに関するデータは、例えば、内挿により計算できる。しかしながら、幾つかの実施形態において、処理デバイスは、各リスナの聴力を直接試験する等ラウドネス試験モジュールを備えることができる。この別の実施形態は、比較が精巧でない標準ＩＳＯデータの利用を避けて、所定のリスナが等ラウドネスを知覚する方法に完全に合致する等ラウドネス曲線を生成することができる。この実施形態は、リスナごとに異なる聴力特性に関するデータを含むリスナ別のリスナ特性情報を用いて提供することができる。

プロセス５０６において、１ｋＨｚで０ｄＢの利得を有するように、各等ラウドネス曲線の値は正規化される。このプロセスは、本技術分野において公知のスケーリング計算により実行することができる。更に、プロセス５０６において、ＥＱ値（例えば、各周波数ビンの周波数係数）形式の音声信号補正データは、２つの等ラウドネス曲線に基づいて生成される。１つの実施形態において、このプロセスは、正規化された各等ラウドネス曲線（ｄＢ単位）の差分を各周波数ビンに亘って計算することにより行われる。次に、プロセス５０７において、プロセス５０６の結果として得られたＥＱ値は、音声信号に直接適用するために、対数のデシベル尺度から線形尺度に変換される。ここで、これらの値は、音声がユーザの装置で再生する場合、低周波数の知覚バランスがマスタリングレベルと同じに聞こえるために必要とされる線形ＥＱを表す。

完全な聴力を有するリスナに適切な大きさで聞こえるように知覚される、出力音声信号を生成するために、前記の調節は入力音声信号に応答して動的に実行される。しかしながら、全てのリスナが完全な聴力を有するのではない。従って、以下にプロセス５０８で決定されるリスナ依存ＥＱを説明する。

図８を参照すると、リスナ依存ＥＱは、リスナにより調節可能な直線グラフに基づいている。この直線の特性は、リスナの難聴を補正するために必要な曲線の挙動を模擬し、概してより高い周波数帯域で音圧レベルを増強するように作用する。従って、完全な聴力を有する２０歳の人に対しては、補正が必要ないか又は適用されない。３０歳の人に対しては、直線の等化曲線８０１を適用することができる。

ＥＱ曲線は、最大増強利得８０２（例えば、１２ｄＢ）及び最少利得０ｄＢを有するように制限することができる。４０歳の人に対しては、ＥＱ曲線８０３は、最大増強利得ライン８０２との交点までの周波数帯域に対して適用でき、次に水平線で示される１２ｄＢ利得が、より高い周波数帯域に対して最大増強利得ライン８０２に沿って適用される。５０歳の人に対しては、等化曲線８０４及び最大増強利得ライン８０２の一部を適用することができる。６０歳の人に対しては、等化曲線８０５及び最大増強利得ライン８０２を適用することができる。

図８の等化曲線８０１、８０３−８０５は、ＩＳＯ標準に基づいているが、ＥＱ曲線の特性は、周波数遮断及びＥＱの傾きを変更するユーザパラメータを使用して多少積極的に変更できる。従って、直線の等化曲線は、所定のリスナの聴力損失特性に対して調節することができる。もしくは、処理デバイスは、リスナの年令を識別するユーザ入力を受信し、受信した年令に基づいて適切な曲線を計算することができる。

更に正確になるように、処理デバイスは、リスナの等ラウドネス聴力特性を決定する段階と同様の態様で、リスナの正確な聴力損失特性を決定するための聴力損失試験モジュールを備えることができる。このモジュールは、所定の周波数帯域の一連の音を生成することにより聴力試験を実行し、ユーザは、その音が聞こえた時に反応する。次に、ＥＱ曲線は、聴力試験に対するユーザの反応に基づく。同様に、処理デバイスは、特定のリスナに関する聴力損失データを含む一連のリスナ特性情報を含むことができる。

図５を再び参照すると、プロセス５０９において、ＳＰＬ依存補正ＥＱ曲線及びリスナ依存補正ＥＱ曲線が結合されて、結合補正データが形成される。ＥＱ曲線は、より高い聴取レベルにおいてあまりに高い利得が適用されるのを避けるために、仮定された聴取レベルの関数である周波数非依存利得の影響も受ける。プロセス５１０において、入力サンプルの周波数係数は、結合補正データを使用して補正される。従って、ＥＱは入力音声信号に対して（周波数領域において）適用され、本技術分野において公知の方法によって出力音声信号を生成する。一般的に、ＥＱの適用は、リスナ依存補正データに基づいて周波数係数の少なくとも１つを増加させることを含む。最終的にプロセス５１１において、結果として得られる複合帯域係数は再結合されて時間領域に変換され、６４帯域統合バンク又は均等な周波数領域時間領域フィルタを利用して出力サンプルブロックを等化にする。図５のこれらのプロセスは、各入力サンプルブロックに対して繰り返すことができる。次に、等化された音声信号は、再生のために再生デバイスに出力することができる。

前記の本発明の実施形態は、単なる例示であることが意図されており、多くの様々な変形例及び変更例は、当業者には明らかであろう。この変形例及び変更例の全ては、添付の何らかの特許請求の範囲で定められる本発明の範囲にあることが意図されている。

本明細書において、ロジックフローチャートは、本発明の様々な態様を説明するために使用されており、本発明を何らかの特定のロジックフロー又はロジック実装に限定すると解釈されるべきではないことに留意されたい。説明するロジックは、全体の結果を変更することなく、さもなければ本発明の真の範囲から逸脱することなく、異なるロジックブロック（例えば、プログラム、モジュール、関数、又はサブ関数）に分割することができる。場合によっては、ロジック要素は、全体的な結果を変更することなく、さもなければ本発明の真の範囲から逸脱することなく、追加、変更、削除、異なる順序で実行、若しくは異なるロジック構成要素（例えば、ロジックゲート、ループ基本命令、条件ロジック、及び他のロジック構成要素）を使用して実装することができる。

本発明は、多くの異なる形態で実施することができ、実施形態としては、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、若しくは汎用コンピュータ）用のコンピュータプログラムロジック、プログラム可能ロジックデバイス（例えば、現場プログラム可能ゲートアレイ（ＦＰＧＡ）、若しくは他のＰＬＤ）用のプログラム可能ロジック、別々の構成要素、集積回路（例えば、特定用途集積回路（ＡＳＩＣ））、又は任意の組合せを含む任意の他の形態が含まれるが、これらに限定されるものではない。

本明細書で説明した機能の全て又は一部を実装するコンピュータプログラムロジックは、様々な形態で実装することができ、実装形態としては、ソースコード形式、コンピュータ実行可能形式、及び様々な中間形式（例えば、アセンブラ、コンパイラ、リンカ、又はロケータにより生成される形式）が含まれるが、これらに限定されるものではない。ソースコードは、様々なオペレーティングシステム用又はオペレーティング環境用の、様々なプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、又はＦｏｒｔｒａｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、若しくはＨＴＭＬのような高水準言語）のどんな言語でも実装される一連のコンピュータプログラム命令を含むことができる。ソースコードは、様々なデータ構造及び通信メッセージを定義し、使用することができる。ソースコードは、コンピュータ実行可能形式（例えば、インタプリタ経由）とすること、又は（例えば、トランスレータ、アセンブラ、若しくはコンパイラを経由して）コンピュータ実行可能形式に変換することができる。

コンピュータプログラム及び任意のプログラム可能ロジックは、非一時的記憶媒体内に任意の形式（例えば、ソースコード形式、コンピュータ実行可能形式、又は中間形式）で保存することができる。非一時的記憶媒体としては、半導体メモリデバイス（例えば、ＲＡM、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、若しくはプログラム可能フラッシュメモリＲＡＭ）、磁気メモリデバイス（例えば、フロッピー（登録商標）ディスク、若しくは固定ディスク）、光メモリデバイス（例えば、ＣＤ−ＲＯＭ）、ＰＣカード（例えばＰＣＭＣＩＡカード）、又は他のメモリデバイス等とすることができる。コンピュータプログラムは、添付の印刷ドキュメント又は電子ドキュメントを有する取り外し可能記憶媒体（例えば、シュリンクラップ契約ソフトウェア）として任意の形式で配布すること、コンピュータシステムと共に（例えば、システムＲＯＭ又は固定ディスク上に）事前ロードすること、又は通信システム（例えば、インターネット若しくはワールドワイドウェブ）上の電子掲示板から配布することができる。

本明細書において説明した機能の全て若しくは一部を実装するハードウェアロジック（プログラム可能ロジックデバイス用のプログラム可能ロジックを含む）は、従来の手動による方法で設計すること、又はコンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬ若しくはＡＨＤＬ）、若しくはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、若しくはＣＵＰＬ)のような様々なツールを利用して、設計、取り込み、シミュレーション、若しくはドキュメント化を電子的に行うことができる。

Claims (45)

1. 処理デバイス内で音声信号を等化する方法であって、該方法は、音声信号の一部の周波数係数を複数のサブバンドに分割する段階を含み、
   各サブバンドは、１つ又はそれ以上の周波数係数を含み、前記複数のサブバンドの１つ又はそれ以上に関して、
   ａ）（i）所定のマスタリング音圧レベル及び（ii）１つ又はそれ以上のサブバンドの周波数係数に部分的に基づいて少なくとも１つのマスタリング信号の大きさを決定し、
   ｂ）再生デバイスのマスタ音量レベルに部分的に基づいて少なくとも１つの再生信号の大きさを決定し、
   ｃ）マスタリング信号の大きさに基づいて第１の等ラウドネス曲線データを生成し、
   ｄ）再生信号の大きさに基づいて第２の等ラウドネス曲線データを生成する、
   ための処理デバイスを使用し、前記方法は、更に、
   前記１つ又はそれ以上のサブバンド内の前記第１の等ラウドネス曲線データ及び前記第２の等ラウドネス曲線データに基づいて補正データを生成する段階と、
   前記補正データを使用して前記音声信号の一部の周波数係数を補正する段階と、
   を含む方法。
2. 前記サブバンド内の前記補正周波数係数を変換して、等化された音声信号を生成する段階を更に含む、請求項１に記載の方法。
3. 前記等化された音声信号を前記再生デバイスに出力する段階を更に含む、請求項２に記載の方法。
4. 前記音声信号が複数の部分から構成され、前記方法は、
   複数部分の各部分に対して、
   少なくとも１つのマスタリング信号の大きさを決定する段階と、
   少なくとも１つの再生信号の大きさを決定する段階と、
   第１の等ラウドネス曲線データを生成する段階と、
   第２の等ラウドネス曲線データを生成する段階と、
   補正データを生成する段階と、
   前記部分の周波数係数を補正する段階と、
   を繰り返す、請求項１に記載の方法。
5. 第１の等ラウドネス曲線データを生成する段階は、
   前記マスタリング信号の大きさに対してＩＳＯ２２６に従って等ラウドネス曲線データを生成する段階と、
   前記生成された等ラウドネス曲線データを１ｋＨｚにおいて０ｄＢの利得を有するように正規化する段階と、
   を含む、請求項１に記載の方法。
6. 第２の等ラウドネス曲線データを生成する段階は、
   前記再生信号の大きさに対してＩＳＯ２２６に従って等ラウドネス曲線データを生成する段階と、
   前記生成された等ラウドネス曲線データを１ｋＨｚにおいて０ｄＢの利得を有するように正規化する段階と、
   を含む、請求項１に記載の方法。
7. 前記マスタリングレベルは、音声信号の録音中に発生した特定周波数のピークレベルである、請求項１に記載の方法。
8. 前記１つ又はそれ以上のサブバンドは、１ｋＨｚ未満の周波数帯域に限定される、請求項１に記載の方法。
9. 補正データを決定する段階は、前記部分の低周波数音声コンテンツから追加の高周波数音声コンテンツを得る段階を含む、請求項１に記載の方法。
10. リスナの聴力特性に関する受信データに基づいて第２の補正データを決定する段階と、
    前記第２の補正データに基づいて少なくとも１つの周波数係数を増加させる段階と、
    を更に含む、請求項１に記載の方法。
11. 前記少なくとも１つの周波数係数を増加させる段階は、仮定された再生レベルに部分的に基づく、請求項１０に記載の方法。
12. 前記第２の補正データを決定する段階は、ある関数により増強レベルを計算する段階を含む、請求項１０に記載の方法。
13. 前記第２の補正データは、所定の最大増強レベルを有する、請求項１２に記載の方法。
14. 再生デバイス上で再生音声信号を等化する方法であって、該方法は、
    前記音声信号を１つ又はそれ以上の周波数係数を含む複数のサブバンドに分割する段階と、
    マスタリング音圧レベル及び前記再生デバイスに対する再生レベルに基づき、１つ又はそれ以上のサブバンドの前記周波数係数を動的に適応させる段階と、
    リスナの聴力損失データに基づき、前記複数のサブバンドの１つ又はそれ以上に対する前記周波数係数を適応させる段階と、
    前記適応された周波数係数を前記再生デバイスで再生するために等化された音声信号に変換する段階と、
    を含み、
    前記動的適応及び聴力損失に対する適応は、マスタリング時に音声信号のスペクトルバランスに近い個別の動的に等化された音声信号をもたらす方法。
15. 前記１つ又はそれ以上のサブバンドの音声の大きさを動的に適応させる段階は、１ｋＨｚ未満の周波数帯域に限定される、請求項１４に記載の方法。
16. 音声の大きさを動的に適応させる段階は、
    前記音声信号の標本化周期の各々に関して、
    マスタリング音圧レベルに部分的に基づいて所定の周波数で所期の信号の大きさを決定する段階と、
    前記再生デバイスの任意のマスタ音量調節量及び前記再生デバイスの最大音圧レベルに部分的に基づいて少なくとも１つの実際の再生の大きさを決定する段階と、
    前記所期の信号の大きさ及び前記実際の再生の大きさに基づいて等ラウドネス曲線データを生成する段階と、
    前記等ラウドネス曲線データを適用して、前記１つ又はそれ以上の周波数係数を適応させる段階と、
    を含む、請求項１４に記載の方法。
17. ユーザ年令を識別するユーザ入力を受信する段階を更に備え、
    聴力損失データに基づいて前記複数のサブバンドの１つ又はそれ以上を適応させる段階は、
    第１の周波数と第２の周波数との間の関数を決定する段階を含み、少なくとも前記第１の周波数及び前記関数は受信したユーザ年令に基づいており、
    前記方法は更に、
    前記決定された関数に基づいて、前記複数のサブバンドの１つ又はそれ以上のサブバンドの周波数係数を増強する段階を含む、請求項１４に記載の方法。
18. 前記複数のサブバンドの１つ又はそれ以上を適応させる段階は、
    前記関数の変数を示すユーザ入力を受信する段階を含み、
    前記ユーザ入力は前記関数を変更して、前記少なくとも１つの周波数係数の増強を増大又は低減させる、請求項１７に記載の方法。
19. ユーザが応答する周波数ベースの一連の音を生成することで聴力試験を行う段階を更に備え、
    前記複数のサブバンドの１つ又はそれ以上を適応させる段階は、前記聴力試験に対する前記ユーザの応答に基づいて前記１つ又はそれ以上の周波数係数に対する増強レベルを決定する段階を含む、請求項１４に記載の方法。
20. 音声信号を等化する方法であって、該方法は、
    音声信号をデジタル表現に変換する段階と、
    マスタリング音圧レベル及び所定のリスナの各聴力特性に関するデータに基づいて、前記音声信号を動的に調節するように前記デジタル表現をフィルタ処理する段階と、
    前記フィルタ処理されたデジタル表現を、前記再生デバイスで再生されるフィルタ処理された音声信号に変換する段階と、
    を含む方法。
21. 音声信号を等化するためのコンピュータコードを有する非一時的コンピュータ読み取り可能媒体を備えるコンピュータプログラム製品であって、該コンピュータコードは、
    音声信号の一部の周波数係数を複数のサブバンドに分割するためのコンピュータコードであって、各サブバンドは、１つ又はそれ以上の周波数係数を含み、前記複数のサブバンドの１つ又はそれ以上に関して、
    ａ）（i）所定のマスタリング音圧レベル及び（ii）１つ又はそれ以上のサブバンドの周波数係数に部分的に基づいて少なくとも１つのマスタリング信号の大きさを決定し、
    ｂ）再生デバイスのマスタ音量レベルに部分的に基づいて少なくとも１つの再生信号の大きさを決定し、
    ｃ）マスタリング信号の大きさに基づいて第１の等ラウドネス曲線データを生成し、
    ｄ）再生信号の大きさに基づいて第２の等ラウドネス曲線データを生成する、
    コンピュータコードと、
    前記１つ又はそれ以上のサブバンド内の前記第１の等ラウドネス曲線データ及び前記第２の等ラウドネス曲線データに基づいて補正データを生成するコンピュータコードと、
    前記補正データを使用して前記音声信号の一部の周波数係数を補正するコンピュータコードと、
    を備える、コンピュータプログラム製品。
22. 前記サブバンド内の前記補正周波数係数を変換して、等化された音声信号を生成するためのコンピュータコードを更に備える、請求項２１に記載のコンピュータプログラム製品。
23. 前記等化された音声信号を前記再生デバイスに出力するためのコンピュータコードを更に備える、請求項２２に記載のコンピュータプログラム製品。
24. 前記音声信号が複数の部分から構成され、
    複数部分の各部分に対して、
    少なくとも１つのマスタリング信号の大きさを決定する段階と、
    少なくとも１つの再生信号の大きさを決定する段階と、
    第１の等ラウドネス曲線データを生成する段階と、
    第２の等ラウドネス曲線データを生成する段階と、
    補正データを生成する段階と、
    前記部分の周波数係数を補正する段階と、
    を繰り返すコンピュータコードを更に備える、請求項２１に記載のコンピュータプログラム製品。
25. 第１の等ラウドネス曲線データを生成するためのコンピュータコードは、
    前記マスタリング信号の大きさに対してＩＳＯ２２６に従って等ラウドネス曲線データを生成するためのコンピュータコードと、
    前記生成された等ラウドネス曲線データを１ｋＨｚにおいて０ｄＢの利得を有するように正規化するコンピュータコードと、
    を備える、請求項２１に記載のコンピュータプログラム製品。
26. 第２の等ラウドネス曲線データを生成するためのコンピュータコードは、
    再生信号の大きさに対してＩＳＯ２２６に従った等ラウドネス曲線データを得るためのコンピュータコードと、
    前記得られた等ラウドネス曲線データを１ｋＨｚにおいて０ｄＢの利得を有するように正規化するためのコンピュータコードと、
    を備える、請求項２１に記載のコンピュータプログラム製品。
27. 前記マスタリングレベルは、音声信号の録音中に発生した特定周波数のピークレベルである、請求項２１に記載のコンピュータプログラム製品。
28. 前記１つ又はそれ以上のサブバンドは、１ｋＨｚ未満の周波数帯域に限定される、請求項２１に記載のコンピュータプログラム製品。
29. 補正データを決定するためのコンピュータコードは、前記部分の低周波数音声コンテンツから追加の高周波数音声コンテンツを得るためのコンピュータコードを含む、請求項２１に記載のコンピュータプログラム製品。
30. リスナの聴力特性に関する受信データに基づいて第２の補正データを決定するためのコンピュータコードと、
    前記第２の補正データに基づいて少なくとも１つの周波数係数を増加させるためのコンピュータコードと、
    を更に備える、請求項２１に記載のコンピュータプログラム製品。
31. 前記少なくとも１つの周波数係数を増加させるためのコンピュータコードは、仮定された再生レベルに部分的に基づく、請求項３０に記載のコンピュータプログラム製品。
32. 第２の補正データを決定するためのコンピュータコードは、第１の周波数と第２の周波数の間の増増強レベルをある関数に従って計算するためのコンピュータコードを含む、請求項３０に記載のコンピュータプログラム製品。
33. 前記第２の補正データは、所定の最大増強レベルを有する、請求項３２に記載のコンピュータプログラム製品。
34. 音声信号を等化するためのコンピュータコードを有する非一時的コンピュータ読み取り可能媒体を備えるコンピュータプログラム製品であって、該コンピュータコードは、
    前記音声信号を１つ又はそれ以上の周波数係数を含む複数のサブバンドに分割するためのコンピュータコードと、
    マスタリング音圧レベル及び前記再生デバイスに対する再生レベルに基づき、１つ又はそれ以上のサブバンドの前記周波数係数を動的に適応させるためのコンピュータコードと、
    リスナの聴力損失データに基づき、前記複数のサブバンドの１つ又はそれ以上に対する前記周波数係数を適応させるためのコンピュータコードと、
    前記適応された周波数係数を前記再生デバイスで再生するために等化された音声信号に変換するためのコンピュータコードと、
    を含み、
    前記動的適応及び聴力損失に対する適応は、マスタリング時に音声信号のスペクトルバランスに近い個別の動的に等化された音声信号をもたらす、コンピュータプログラム製品。
35. 前記１つ又はそれ以上のサブバンドの音声の大きさを動的に適応するためのコンピュータコードは、１ｋＨｚ未満の周波数帯域に限定される、請求項３４に記載のコンピュータプログラム製品。
36. 音声信号の大きさを動的に適応するためのコンピュータコードは、
    音声信号の標本化周期の各々に関して、
    マスタリング音圧レベルに部分的に基づいて所定の周波数で所期の信号の大きさを決定する段階と、
    前記再生デバイスの任意のマスタ音量調節量及び前記再生デバイスの最大音圧レベルに部分的に基づいて少なくとも１つの実際の再生の大きさを決定する段階と、
    前記所期の信号の大きさ及び前記実際の再生の大きさに基づいて等ラウドネス曲線データを生成する段階と、
    前記等ラウドネス曲線データを適用して、前記１つ又はそれ以上の周波数係数を適応させる段階と、
    を実行するためのコンピュータコードを含む、請求項３４に記載のコンピュータプログラム製品。
37. ユーザ年令を識別するユーザ入力を受信するためのコンピュータコードであって、年令に関係した聴力損失に基づいて前記複数のサブバンドの１つ又はそれ以上を適応させるためのコンピュータコードと、
    少なくとも第１の周波数及び関数が受信したユーザ年令に基づく、第１の周波数と第２の周波数との間のある関数を決定するためのコンピュータコードと、
    前記決定された関数に基づいて、前記複数のサブバンド中の１つ又はそれ以上のサブバンドの周波数係数を増強するためのコンピュータコードと、
    を含む、請求項３４に記載のコンピュータプログラム製品。
38. 前記複数のサブバンドの１つ又はそれ以上を適応させるためのコンピュータコードは、
    前記関数の変数を示すユーザ入力を受信するためのコンピュータコードを含み、
    前記ユーザ入力は、前記関数を変更して、前記少なくとも１つの周波数係数の増強を増大又は低減させる、請求項３７に記載のコンピュータプログラム製品。
39. ユーザが応答する周波数に基づく一連の音を生成することで聴力試験を行うためのコンピュータコードを更に備え、
    前記複数のサブバンドの１つ又はそれ以上を適応させるためのコンピュータコードは、前記聴力試験に対する前記ユーザの応答に基づいて前記１つ又はそれ以上の周波数係数に対する増強レベルを決定するためのコンピュータコードを含む、請求項３４に記載のコンピュータプログラム製品。
40. 音声信号を等化するためのコンピュータコードを有する非一時的コンピュータ読み取り可能媒体を備えるコンピュータプログラム製品であって、該コンピュータコードは、
    音声信号をデジタル表現に変換するためのコンピュータコードと、
    マスタリング音圧レベル及び所定のリスナの聴力特性に関するデータに基づいて、前記音声信号を動的に調節するように前記デジタル表現をフィルタ処理するためのコンピュータコードと、
    前記フィルタ処理されたデジタル表現を、前記再生デバイスで再生されるフィルタ処理された音声信号に変換するためのコンピュータコードと、
    を備える、コンピュータプログラム製品。
41. 音声信号が複数の標本化時間で標本化された周波数係数により表現される、音声信号等化システムであって、該システムは、
    （i）音声信号を受信し、（ii）所期の音圧レベル及び音声信号に対する実際の再生音圧レベルに基づいて標本化時間の周波数係数を動的に適応させるための音圧レベル依存等化器を備え、
    前記音圧レベル依存等化器は、実際の再生音圧レベル及び所期の音圧レベルに基づいて決定される等ラウドネス曲線データを使用して前記周波数係数を適応させるための周波数係数調節量を決定するようになっており、
    前記システムは更に、
    聴力損失補正データを決定するユーザ入力に基づいて前記標本化時間の周波数成分を調節するためのリスナ依存等化器を備える、システム。
42. （i）前記標本化時間の前記周波数係数に基づいて標本化時間の各々での前記音声信号の帯域幅を検出し、（ii）前記帯域幅を表す帯域幅信号を出力する、帯域幅検出器と、
    前記帯域幅信号を受信し、（i）帯域幅が所定の周波数未満と判断された場合、前記音声信号を帯域拡張モジュールに供給するか又は（ii）前記帯域幅が標本化時間の前記所定の周波数を超えると判断された場合、前記帯域拡張モジュールを迂回させる、論理スイッチ回路と、
    を更に備え、
    前記帯域拡張モジュールは、所定の標本化時間の前記音声信号の情報に基づいて、決定された帯域幅を超える周波数帯域で音声信号に追加の周波数係数を付加する、請求項４１に記載のシステム。
43. 前記リスナ依存等化器との通信において、リスナ依存曲線データの複数の集合を含み、前記ユーザ入力に基づいて特定のリスナ依存曲線データをリスナ依存等化器に提供するメモリを更に備える、請求項４１に記載のシステム。
44. 音圧レベル依存等化器との通信において、等ラウドネス曲線データの複数の集合を含み、実際の再生音圧レベル、又は所期の音圧レベルのいずれかに基づいて特定の等ラウドネス曲線データを提供するメモリを更に備える、請求項４１に記載のシステム。
45. 異なる周波数帯域で一連の可聴音を生成し、可聴音に応答するユーザ入力を受信し、ユーザに特有の聴力データを決定する聴力試験モジュールを更に備える、請求項４１に記載のシステム。

Images