JP2010156990A - オーディオ情報生成方法 - Google Patents

Abstract

【課題】零値量子化スペクトル成分に関連した低下を回避若しくは低減することにより、オーディオコーディングシステムから得られたオーディオ信号の知覚品質を改良する。
【解決手段】量子化のようなオーディオコーディング処理は、符号化オーディオ信号のスペクトル成分を零に設定させ、信号内にスペクトルホールを生成する。これらのスぺクトルホールは、オーディオコーディングシステムにより再生されるオーディオ信号の知覚品質を劣化させる。改良されたデコーダは、スペクトルホールを合成スペクトル成分で充填することにより劣化を回避若しくは低減させる。改良されたエンコーダを用いて、デコーダに更なる改良を実現してもよい。
【選択図】図９

Description

本発明は一般にオーディオコーディングシステムに関し、更に詳しくはオーディオコーディングシステムから得られたオーディオ信号の知覚品質の改良に関する。

オーディオコーディングシステムは、オーディオ信号を伝送又は記憶に適するエンコード信号へ符号化し、続いてこのエンコード信号を受信又は検索して、再生 のための原オーディオ信号のバージョンを得るように復号するために用いられる。知覚オーディオコーディングシステムのなす試みは、オーディオ信号を原オー ディオ信号よりも情報容量要求が低いエンコード信号へ符号化し、続いてこのエンコード信号を復号して、原オーディオ信号から知覚的に区別できる出力を与え ることである。知覚オーディオコーディングシステムの一例はＡｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ （ＡＳＴＣ）Ａ５２ ｄｏｃｕｍｅｎｔ（１９４４）に説明されており、これはＤｏｌｂｙ ＡＣ−３と称されている。他の例はＢｏｓｉ ｅｔ ａｌ．，”ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ，”Ｊ．ＡＥＳ，ｖｏｌ．４５，ｎｏ．１０，Ｏｃｔｏｂｅｒ １９９７，ｐｐ．７８９−８１４に説明されており、これはアドバンスド オーディオ コーディング（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏａｄｉｎｇ： ＡＡＣ）と称されている。これらの２つのコーディングシステム及び他の多くの知覚コーディングシステムは、オーディオ信号へ解析フィルタバ ンクを施して、グループ又は周波数帯に配置されたスペクトル成分を得る。帯域幅は普通は変動し、また通常は人間の聴覚系の所謂臨界帯域に比例する。

知覚コーディングシステムは、オーディオ信号の情報容量要求を低減する一方、オーディオ品質の本質的な又は知覚的な測定を保存して、オーディオ信号のエン コード表現を、小さな帯域幅を用いる通信チャンネルを通じて搬送でき、或いは小さなスペースを用いる記録媒体に保存できるように用いることができる。情報 容量要求はスペクトル成分を量子化することにより低減される。量子化は量子化信号へ雑音を注入するが、知覚オーディオコーディングシステムは、一般に音響 心理学的モデルを用いて、量子化雑音の幅を制御して信号中のスペクトル成分により聞き取れないようにマスク又はレンダリングする試みをなしている。

所定の帯域内のスペクトル成分はしばしば同じ量子化解像度へ量子化されて、音響心理学的モデルを用いて可聴レベルの量子化雑音を伴わないことが可能な最も 大きな最小量子化解像度又は最も小さな信号対雑音比（ＳＮＲ）を定める。この技術は狭細帯域については良好に働くが、広い帯域については、情報容量要求が コーディングシステムに比較的に粗い量子化解像度を用いることを強いる際には、良好には働かない。広帯域における大きな値のスペクトル成分は、通常は、所 望の解像度を有する非零値へ量子化されるが、この帯域内の小さな値のスペクトル成分は、最小量子化レベルよりも小さな振幅を有するならば零へ量子化され る。一つの帯域における零へ量子化されるスペクトル成分の数は、帯域幅が大きくなるにつれて、帯域内のスペクトル成分の最大値と最小値との間の差異が大きくなるにつれて、また最小量子化レベルが大きくなるにつれて、一般に増加する。

残念ながら、エンコード信号における多くの量子化対零（ＱＴＺ）スペクトル成分の存在は、結果的な量子化雑音が信号内のスペクトル成分により聞き取れない 又は音響心理学的的にマスクされているとみなすのに充分に低く保たれている場合でさえも、オーディオ信号の知覚品質を劣化させてしまう。この劣化は少なく とも３つの原因を有する。第１の原因は、音響心理学的マスキングのレベルが、量子化解像度を定めるのに用いた音響心理学的モデルにより予期されたものより も低いので量子化雑音は聞き取れないものにはならないことである。第２の原因は多くのＱＴＺスペクトル成分の形成が、符号化オーディオ信号のエネルギ又は パワーを原オーディオ信号のエネルギ又はパワーと比較して聴覚的に低減させることである。第３の理由は、直交ミラーフィルタ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ： ＱＭＦ）のような歪打ち消しフィルタバンク、又は時間ドメイン折り返し打ち消し（ＴＤＡＣ）変換として知られる特定変更ディスクリートコサ イン変換（ＤＣＴ）及び変更逆ディスクリートコサイン変換（ＩＤＣＴ）（これらはＰｒｉｎｃｅｎ ｅｔ ａｌ．，”Ｓｕｂｂａｎｄ／Ｔｒａｎｓｆｏｒｍ Ｃｏｄｉｎｇ Ｕｓｉｎｇ Ｆｉｌｔｅｒ Ｂａｎｋ Ｄｅｓｉｇｎｓ Ｂａｓｅｄ ｏｎ Ｔｉｍｅ Ｄｏｍａｉｎ Ａｌｉａｓｉｎｇ Ｃａｎｃｅｌｌａｔｉｏｎ，”ＩＣＡＳＳＰ １９８７ Ｃｏｎｆ．Ｐｒｏｃ．， Ｍａｙ １９８７，ｐｐ．２１６１−６４に説明されている）を用いるコーディング処理に関係している。

ＱＭＦのような歪打ち消しフィルタバンク又はＴＤＡＣ変換を用いるコーディングシステムは、エンコード処理に解析フィルタバンクを用い、これはエンコード 信号に歪又は擬似成分をもたらすのであるが、復号化処理においては合成フィルタバンクを用い、これは理論的には少なくとも歪を打ち消せる。しかしながら、 実際には歪を打ち消す合成フィルタバンクの能力は、１つ又は複数のスペクトル成分の値がエンコード処理中に大きく変化するならば、相当に損なわれる。この 理由のために、スペクトル成分値における変化が、解析フィルタバンクにより導入された歪を打ち消す合成フィルタバンクの能力を損なうので、量子化雑音が聞 き取れない場合でさえも、ＱＴＺスペクトル成分は復号オーディオ信号の知覚品質を劣化させる。

公知のコーディングシステムに用いられる技術は、これらの問題に部分的な解決を与える。Ｄｏｌｂｙ ＡＣ−３及びＡＡＡ変換コーディングシステムは、例えば、デコーダにおける特定のＱＴＺスペクトル成分についての雑音を置換することにより原オーディオ信 号の信号レベルを保持するエンコード信号から出力信号を生成する若干の能力を有する。これらのシステムの両方において、エンコーダはエンコード信号に周波 数帯域についてのパワーの指標を与え、デコーダは、このパワー指標を用いて、周波数帯域についてのＱＴＺスペクトル成分についての雑音の適正なレベルを置 き換える。Ｄｏｌｂｙ ＡＣ−３エンコーダーは、雑音の適正レベルを生成するのに用いることができる短時間パワースペクトルの粗い見積もりを与える。一つの帯域における全てのス ペクトル成分が零に設定されているとき、デコーダーは、短時間パワースペクトルの粗い見積もりにおいて示されたのと概ね同じパワーを有する雑音で帯域を充 填する。ＡＡＣコーディングシステムは、所定の帯域についてのパワーを陽に送信する知覚雑音置換（Ｐｅｒｃｅｐｔｕａｌ Ｎｏｉｓｅ Ｓｕｂｓｔｉｔｕｔｉｏｎ：ＰＮＳ）と称される技術を用いる。デコーダーはこの情報を用いて、このパワーに整合する雑音を加える。両方のシステムは、それ らの帯域が非零スペクトル成分を持たないときにのみ雑音を加える。

残念ながら、これらのシステムはＱＴＺ及び非零スペクトル成分の混合を包含する帯域における知覚パワーレベルには助けにはならない。表１は、原オーディオ 信号、エンコード信号へ組み立てられる各スペクトル成分の３−ビット量子化表示、エンコード信号からデコーダにより獲得された対応スペクトル成分について のスペクトル成分の仮想帯域を示す。エンコード信号における量子化帯域は、ＱＴＺ及び非零スペクトル成分の組み合わせを有する。

表の第１欄は、単独の帯域へ分類される原オーディオ信号におけるスペクトル信号を表す符号なし二進数のセットを示す。第２欄は３つのビットへ量子化された スペクトル成分の代表を示す。この例のために、各スペクトル成分の３ビット解像度よりも下位の部分は切捨てにより除去してある。量子化スペクトル成分はデ コーダへ送信されて、続いて零ビットを添えることにより逆量子化されて原スペクトル成分長を復帰させる。逆量子化スペクトル成分は第３欄に示してある。ス ペクトル成分の殆どは零に量子化されているので、逆量子化スペクトル成分の帯域は原スペクトル成分の帯域よりも小さいエネルギを包含し、且つそのエネルギ は幾つかの非零スペクトル成分に集中している。このエネルギにおける減少は、上述した復号信号の知覚品質を劣化させる。

発明の開示
本発明の目的は、零値量子化スペクトル成分に関連した低下を回避若しくは低減することにより、オーディオコーディングシステムから得られたオーディオ信号の知覚品質を改良することである。

本発明の１つの局面によれば、入力信号を受け取ることによりオーディオ情報が与えられ、そこから１セットのサブバンド信号が獲得され、その各々はオーディ オ信号のスペクトル内容を表す１つ又は複数のスペクトル成分を有し、；１つ又は複数のスペクトル成分が非零値を有し、且つ閾値に対応する最小量子化レベル を有する量子化器により量子化されると共に、複数のスペクトル成分が零値を有する特定のサブバンド信号をサブバンド信号のセット内で同定し、；特定のサブ バンド信号における各零値スペクトル成分に対応し、且つ閾値以下のスケーリングエンベロープに応じた大きさにされた合成スペクトル成分を生成し、；特定の サブバンド信号における対応する零値スペクトル成分についての合成スペクトル成分を置換することによりサブバンド信号の変更されたセットを生成し、；合成 フィルタバンクをサブバンド信号の変更されたセットへ適用することによりオーディオ情報を生成する。

本発明の他の局面によれば、出力信号は、好ましくはエンコード出力信号であり、サブバンド信号のセットを生成することにより与えられ、その信号の各々は、 解析フィルタバンクをオーディオ情報へ適用することにより獲得された情報を量子化することによりオーディオ信号のスペクトル内容を表す１つ又は複数のスペ クトル成分を有し、；１つ又は複数のスペクトル成分が非零値を有し、且つ閾値に対応する最小量子化レベルを有する量子化器により量子化されると共に、複数 のスペクトル成分が零値を有する特定のサブバンド信号をサブバンド信号のセット内で同定し、；オーディオ信号のスペクトル内容からスケーリング制御情報を 導出し、スケーリング制御情報は合成スペクトル成分のスケーリングを制御し、その合成スペクトル成分は合成されて、出力信号に応答してオーディオ情報を生 成するレシーバーにおいて零値を有するスペクトル成分を構成し；スケーリング制御情報及びサブバンド信号のセットを表す情報を組み立てることにより出力信 号を生成する。

本発明の様々な特徴及びその好ましい実施形態は以下の説明と添付図面を参照することにより良く理解されよう。各図において同様な参照符号は同様な要素を示す。以下の説明及び添付図面の内容は単なる例示であるので、本発明の目的の限定を表すものと理解すべきではない。

図１ａはオーディオエンコーダーの模式的なブロック図である。 図１ｂはオーディオデコーダーの模式的なブロック図である。 図２ａは量子化関数のグラフ表示である。 図２ｂは量子化関数のグラフ表示である。 図２ｃは量子化関数のグラフ表示である。 図３は仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図４は幾つかのスペクトル成分が零に設定された仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図５は零値スペクトル成分を構成する合成スペクトル成分を有する仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図６は解析フィルタバンクにおけるフィルタに応答する仮想周波数をグラフで示す模式図である。 図７は図６に示すスペクトル漏洩のロールオフに近似するスケーリングエンベロープをグラフで示す模式図である。 図８は適合可能なフィルタの出力から導かれるスケーリングエンベロープをグラフで示す模式図である。 図９は図６に示すスペクトル漏洩のロールオフに近似するスケーリングエンベロープにより重み付けされた合成スペクトル成分を有する仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図１０は仮想音響心理学的マスキング閾値をグラフで示す模式図である。 図１１は音響心理学的マスキング閾値に近似するスケーリングエンベロープにより重み付けされた合成スペクトル成分を有する仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図１２は仮想サブバンド信号をグラフで示す模式図である。 図１３は幾つかのスペクトル成分が零に設定された仮想サブバンド信号をグラフで示す模式図である。 図１４は仮想的な一時的音響心理学的マスキング閾値をグラフで示す模式図である。 図１５は一時的音響心理学的マスキング閾値に近似するスケーリングエンベロープにより重み付けされた合成スペクトル成分を有する仮想サブバンド信号をグラフで示す模式図である。 図１６はスペクトル複製により生成された合成スペクトル成分を有する仮想オーディオ信号のスペクトルをグラフで示す模式図である。 図１７はエンコーダー又はデコーダーにおける本発明の様々な局面を実施するために使用し得る装置の模式的なブロック図である。

本発明を実施する形態
Ａ．概観
本発明の様々な局面は、図１ａ及び図１ｂに示すようなデバイスを含む広範な信号処理方法及びデバイスへ組み入れられる。幾つかの局面は復号化方法又はデバ イスのみで実行される処理により達成され得る。他の局面は符号化と復号化との方法又はデバイスの双方において実行される共働処理を必要とする。本発明の様 々な局面を実行するために用いられる処理の説明は、それらの処理を実行するのに使用し得る以下の代表的なデバイスの概観に従って与えられる。

１．エンコーダ
図１ａは分割バンドオーディオエンコーダの一実施形態を示し、ここでは解析フィルタバンク１２が経路１１からオーディオ信号を表すオーディオ情報を受け取 り、これに応答して、オーディオ信号の周波数サブバンドを表すディジタル情報が与えられる。周波数サブバンドの各々におけるディジタル情報は、それぞれ量 子化器１４，１５，１６により量子化されてエンコーダ１７へ進む。このエンコーダ１７は、フォーマッタ１８へ送られる量子化情報のエンコード表現を生成す る。図示される特定の実施形態においては、量子化器１４，１５，１６における量子化作用はモデル１３から受け取られた量子化制御情報に応答するように適合 されており、モデル１３は経路１１から受け取ったオーディオ情報に応答して量子化制御情報を生成する。フォーマッタ１８は量子化情報のエンコード表現及び 量子化制御情報を伝送又は記憶に適する出力信号へ組み立て、この出力信号を経路１９に沿って進める。

多くのオーディオアプリケーションは、図２ａに示す３ビット中間段非対称量子化関数のような一様な線形量子化関数ｑ（ｘ）を使用するが、量子化の特定の形 態が本発明にとって重要なわけではない。使用し得る他の２つの関数の例を図２ｂ及び図２ｃに示す。これらの例の各々において、量子化関数ｑ（ｘ）は点３０ における値から点３１における値までの間隔における任意の入力値ｘについて零に等しい出力を与える。多くのアプリケーションにおいては、点３０，３１にお ける２つの値は大きさが同じで符号が逆であるが、これは図２ｂに示すように必要なことではない。説明を簡単にするために、特定の量子化関数ｑ（ｘ）により 零へ量子化された（ＱＴＺ）入力値の間隔内の値ｘは、量子化関数の最小量子化レベルよりも小さいものとする。

本明細書における「エンコーダ」及び「エンコード」のような用語は、情報処理の何らかの特定の形式を意味することを意図したものではない。例えばエンコー ドはしばしば情報容量要求を低減するために用いられるが、本明細書におけるこれらの用語は、その形式の処理を意味する必要はない。エンコーダ１７は、所望 の基本的に任意の形式の処理を実行し得る。一つの実施においては、量子化情報は共通の倍率を有するスケーリング因子のグループへ符号化される。Ｄｏｌｂｙ ＡＣ−３コーディングシステムにおいては、例えば量子化スペクトル成分が浮動小数点のグループ又は帯域に配置され、各帯域における数が浮動点指数を共有す る。ＡＡＣコーディングシステムにおいては、Ｈｕｆｆｍａｎコーディングようなエントロピーコーディングが用いられている。他の実施においては、エンコー ダ１７が省かれて、量子化情報が直接に出力信号へ組み立てられる。エンコードの特定の形式が本発明に重要なわけではない。

モデル１３は望ましい基本的に任意の形式の処理を実行し得る。一つの例は、音響心理学的モデルをオーディオ情報へ適用して、オーディオ信号における異なる スペクトル成分の音響心理学的マスキング効果を評価する処理である。様々な変形例が可能である。例えばモデル１３は、解析フィルタバンク１２の入力において利用可能なオーディオ情報に代わって、或いはそれに加えて、解析フィルタバンク１２の出力において利用可能な周波数サブバンド情報に応答して量子化制御 情報を生成してもよい。他の例としては、モデル１３を省いて、量子化器１４，１５，１６が適合されていない量子化関数を用いるようにしてもよい。特定のモデリング処理が本発明に重要なわけではない。

２．デコーダ
図１ｂは分割バンドオーディオデコーダの一つの実施形態を示し、ここではデフォーマッタ２２が経路２１から入力信号を受け取り、この入力信号は、オーディオ信号の周波数サブバンドを表す量子化ディジタル情報のエンコード表現を搬送する。デフォーマッタ２２は入力信号から符号化表示を得て、これをデコーダ２３へ進める。デコーダ２３はエンコード表現を量子化情報の周波数サブバンドへ復号する。周波数サブバンドの各々における量子化ディジタル情報は、各逆量 子化器２５，２６，２７により逆量子化されて合成フィルタバンク２８へ進められ、このフィルタバンク２８は経路２９に沿ってオーディオ信号を表すオーディオ情報を生成する。図に示す特定の実施では、逆量子化器２５，２６，２７における逆量子化関数はモデル２４から受け取られた量子化制御情報に応答するよう に適合されており、そのモデル２４は、入力信号からデフォーマッタ２２により獲得された制御情報に応答して量子化制御情報を生成する。

本明細書において「デコーダ」及び「復号」のような用語は、任意の特定の形式の情報処理を意味することを意図したものではない。デコーダ２３は、必要な若しくは望まれる基本的に任意の形式の処理を実行し得る。上述の符号化処理とは反対の一つの実施においては、共有指数を有する浮動小数点のグループにおける 量子化情報が、指数を共有しない個々の量子化成分へ復号される。他の実施においては、Ｈｕｆｆｍａｎデコーディングのようなエントロピーデコーディングが 用いられる。他の実施においては、デコーダ２３が省かれて、量子化情報がデフォーマッタ２２により直接に獲得される。復号化の特定の形式が本発明に重要なわけではない。

モデル２４は望ましい基本的に任意の形式の処理を実行し得る。一つの例は、音響心理学的モデルを入力信号から得られた情報へ適用して、オーディオ信号における異なるスペクトル成分の音響心理学的マスキング効果を評価する処理である。他の例としては、モデル２４を省いて、逆量子化器２５，２６，２７がデフォーマッタ２２により入力信号から直接に獲得された量子化制御情報に応答するように適合されていない量子化関数を用いてもよく、又は適合された量子化関数を用いるようにしてもよい。特定の処理が本発明に重要なわけではない。

３．フィルタバンク
図１ａ及び図１ｂに示すデバイスは３つの周波数サブバンドについての成分を示す。より多くのサブバンドが代表的なアプリケーションに用いられるのであるが、図示を明瞭にするために３つのみを示してある。本発明の原理に重要な特定の個数はない。

解析及び合成フィルタバンクは基本的に任意の方式で実施してもよく、これはワイドレンジのディジタルフィルタ技術、ブロック変換及び小波形変換を含むこと が望ましい。上述したようなエンコーダ及びデコーダを有する一つのオーディオコーディングシステムにおいては、解析フィルタバンク１２がＴＤＡＣ変形 ＤＣＴにより実施され、合成フィルタバンク２８が上述したＴＤＡＣ変形ＩＤＣＴにより実施されるが、特定の実施が本発明の原理に重要なわけではない。

ブロック変換により実施された解析フィルタバンクは、入力信号のブロック又は間隔を、信号の間隔のスペクトル内容を表す一組の変換係数へ分割する。少なくとも一つ以上の隣接する係数のグループは、グループにおける係数の数に釣り合う帯域幅を有する特定の周波数サブバンド内のスペクトル内容を表す。

ブロック変換ではなく、多相フィルタのような何らかの形式のディジタルフィルタにより実施される解析フィルタバンクは、入力信号を一組のサブバンド信号へ 分割する。各サブバンド信号は、特定周波数サブバンド内の入力信号のスペクトル内容の時間に基づく表現である。好ましくはサブバンド信号は十進数にされ、 各サブバンド信号が、時間の単位間隔についてのサブバンド信号におけるサンプルの数に釣り合う帯域幅を有するようにされる。

以下の説明は上述したＴＤＡＣ変換のようなブロック変換を用いる実施形態を特に参照する。この説明においては、用語「サブバンド信号」は一つ又は複数の変 換係数のグループを意味し、用語「スペクトル成分」は変換係数を意味する。本発明の原理は他の形式の実施形態に適用し得るが、用語「サブバンド信号」は一 般に信号の特定周波数サブバンドのスペクトル内容を表す時間基信号を意味し、用語「スペクトル成分」は一般に時間基サブバンド信号のサンプルを意味するも のと理解されたい。

４．実施
本発明の様々な局面は、汎用コンピュータシステムにおけるソフトウェア、又は汎用コンピュータシステムに見られるような部品に接続されたディジタル信号プロセッサ（ＤＳＰ）のようなより特殊な部品を含む他の装置におけるソフトウェアを含む広範な手法で実施してもよい。
図１７はデバイス７０のブロック図であり、このデバイスはオーディオエンコーダ又はオーディオデコーダにおける本発明の様々な局面を実施し得る。ＤＳＰ７２はコンピューティング資源を与える。ＲＡＭ７３は信号処理のためにＤＳＰ７２により用いられたランダムアクセスメモリ（ＲＡＭ）である。ＲＯＭ７４は、デバイス ７０の操作及び本発明の様々な局面を実行するのに必要なプログラムを保存するためのリードオンリーメモリ（ＲＯＭ）のような何らか持続記憶形態に相当する。Ｉ／Ｏコントロール７５は交信チャンネル７６，７７により信号を受信及び送信するインターフェース回路系に相当する。アナログ−ディジタル変換器及び ディジタル−アナログ変換器をアナログオーディオ信号を受信及び／又は送信する所望に応じてＩ／Ｏコントロール７５に含めてもよい。図示の実施形態におい ては、全ての主要なシステム部品はバス７１へ接続され、これは１つ以上の物理的バスを表すが、本発明を実施するのにバスアーキテクチュアは必要ない。

汎用コンピュータシステムにおいて実施される形態において、キーボード又はマウス及びディスプレイなどのデバイスをインターフェースするため、及び磁気 テープ又はディスク或いは光学媒体などの記憶媒体を有する記憶デバイスを制御するために付加的部品を含めてもよい。記憶媒体はシステム、ユーティリティー 及びアプリケーションを操作する指示のプログラムを記録するのに用いてもよく、また本発明の様々な局面を実施するプログラムの実施形態を含んでもよい。

本発明の様々な局面を実施するのに必要な機能は、ディスクリート論理部品、１つ又は複数のＡＳＩＣ及び／又はプログラム制御プロセッサを含む広範な手法で実施される部品により実施できる。これらの部品を実施する方式は本発明には重要ではない。

本発明のソフトウェア実施は、超音波から紫外域周波数を含むスペクトルを通じたベースバンド又は個別交信経路のような様々な機械的読み取り媒体、又は磁気 テープ、磁気ディスク、光ディスクを含む基本的に任意の磁気又は光学記録技術を用いる情報を包含するものを含む記憶媒体により支持されてもよい。様々な局面もＡＳＩＣ、汎用集積回路などの処理回路、ＲＯＭ又はＲＡＭの様々な形態で実施されるプログラムにより制御されるマイクロプロセッサ及び他の技術により 実施できる。

Ｂ．デコーダ
本発明の様々な局面は、特殊な処理もエンコーダからの情報も必要としないデコーダで実行してもよい。これらの局面については本欄で説明する。特殊な処理又はエンコーダからの情報を必要とする他の局面については次欄で説明する。

１．スペクトルホール
図３は変換コーディングシステムによりエンコードされる仮想オーディオ信号の間隔のスペクトルのグラフ表示である。スペクトル４１は変換係数又はスペクトル成分 の大きさのエンベロープを表す。エンコーディング処理の間、閾値４０よりも小さい大きさを有す全てのスペクトル成分は零に量子化される。図２に示される関数ｑ（ｘ）のような量子化関数が用いられるならば、閾値４０は最小量子化レベル３０，３１に対応する。図示の便宜のために閾値４０は全周波数範囲に亘って 均一な値で示してある。これは多くのコーディングシステムにおける代表例ではない。各サブバンド信号内でスペクトル成分を均一に量子化する知覚オーディオコーディングシステムにおいては、例えば、閾値４０は各周波数サブバンド内では均一であるが、サブバンドごとに変化する。他の実施においては、閾値４０は 所定の周波数サブバンド内で変化する。

図４は量子化スペクトル成分により示される仮想オーディオ信号のスペクトルのグラフ表示である。スペクトル４２は量子化されたスペクトル成分の大きさのエンベロープを表す。この図及び他の図に示されるスペクトルは、閾値４０以上の大きさを有するスペクトル成分の量子化の効果を示さない。量子化信号における ＱＴＺスペクトル成分と原信号における対応スペクトル成分との間の差は斜線で示してある。斜線領域は、量子化表示における「スペクトルホール」を示し、これは合成スペクトル成分で充填される。

本発明の一つの実施においては、デコーダは入力信号を受け取り、この信号は図４に示すような量子化サブバンド信号のエンコード表現を運ぶ。デコーダはエンコード表現を復号し、１つ又は複数のスペクトル成分が非零値を有し、且つ複数のスペクトル成分が零値を有するサブバンド信号を同定する。好ましくは全てのサブバンド信号の周波数範囲は、デコーダに対して先験的に既知であるか、或いは入力信号における制御情報により規定されている。デコーダは後述するような処理を用いて零値スペクトル成分に対応する合成スペクトル成分を生成する。合成成 分は閾値４０以下のスケーリングエンベロープに従ってスケーリングされ、スケールリングされた合成スペクトル成分はサブバンド信号における零値スペクトル成分の代わりをする。デコーダはエンコーダからの情報を必要とせず、これは、スペクトル成分の量子化に用いられた量子化関数ｑ（ｘ）の最小量子化レベル ３０，３１が既知であるならば、閾値４０のレベルを明白に示す。

２．スケーリング
スケーリングエンベロープは広範な手法で確立される。幾つかの手法を以下に述べる。一つより多くの手法を用いてもよい。例えば、合成スケーリングエンベロープは複数の手法から得られた全てのエンベロープの最大に等しくなるように導かれるか、或いはスケーリングエンベロープについての上部及び／又は下部境界を確立する様々な手法を用いることにより導かれる。その手法はエンコード信号の特性に応答するように適合させるか選択してもよく、周波数の関数として適合させるか選択することができる。

ａ）均一エンベロープ
オーディオ変換コーディングシステムにおける及び他のフィルタバンク実施を用いるシステムにおけるデコーダには一つの手法が適している。この手法は、閾値４０に等しくなるように設定することにより均一エンベロープを確立する。このようなスケーリングエンベロープの例を図５に示し、これは合成スペクトル成分で充填されるスペクトルホールを示すように斜線領域を用いる。スペクトル４３は合成スペクトル成分により充填されたスペクトルホールを有するオーディオ信号のスペクトル成分のエンベロープを表す。この図及び後述の図に示した斜線領域の上部境界は、合成スペクトル成分それ自身の実際のレベルを表すものではなく、単に合成成分についてのスケーリングエンベロープを表すのみである。スペクトルホールを充填するのに用いられる合成成分は、スケーリングエンベロープを越えないスペクトルレベルを有する。

ｂ）スペクトル漏洩
スケーリングエンベロープを確立する第２の手法はブロック変換を用いるオーディオコーディングシステムにおけるデコーダに良く適するが、他の形式のフィル タバンクの実施に適合し得る原理に基づいている。この方式は非均一スケーリングエンベロープを与え、これはブロック変換における基本型フィルタ周波数応答のスペクトル漏洩特性に応じて変化する。

図６に示される応答５０は係数の間のスペクトル漏洩を示す変換基本型フィルタについての仮想周波数応答のグラフ表示である。この応答は、通常は基本型フィルタのパスバンドと称される主ローブと、主ローブに近接し、パスバンドの中心から離れるにつれて周波数のレベルが減少する複数の側部ローブとを含む。側部ローブはスペクトルエネルギを示し、これはパスバンドから近接する周波数バンドへ漏洩する。これら側部ローブのレベルが減少するレートは、スペクトル漏洩のロー ルオフ（ｒｏｌｌ ｏｆｆ）のレートと称される。

フィルタのスペクトル漏洩特性は、隣接する周波数サブバンドの間のスペクトル分離に制約を課す。フィルタが大量のスペクトル漏洩を有するならば、隣接する サブバンドにおけるスペクトルレベルは、低量のスペクトル漏洩を有するフィルタについての場合ほどには異なることはない。図７に示されるエンベロープ５１は図６に示されるスペクトル漏洩のロールオフを近似する。合成スペクトル成分はそのようなエンベロープへスケーリングされてもよく、或るいはこれに代えて、このエンベロープを他の技法により導かれるスケーリングエンベロープのための下部境界として用いてもよい。

図９におけるスペクトル４４は、スペクトル漏洩ロールオフを近似するエンベロープに従ってスケールされた合成スペクトル成分を有する仮想オーディオ信号のスペク トルのグラフ表示である。スペクトルエネルギにより各側面を規定されているスペクトルホールについてのスケーリングエンベロープは、各側について１つの２つの独立のエンベロープの合成である。この合成は２つの個々のエンベロープの大きいほうをとって形成される。

ｃ）フィルタ
スケーリングエンベロープを確立する第３の手法もブロック変換を用いるオーディオコーディングシステムにおけるデコーダに良く適するが、これもまた他の形 式のフィルタバンク実施に適用し得る原理に基づいている。この手法は非均一スケーリングエンベロープを与え、これは周波数ドメインにおける変換係数へ適用される周波数ドメインフィルタの出力から導かれる。このフィルタは予測フィルタ、ローパスフィルタ、又は所望のスケーリングエンベロープを与える基本的に任意の他の形式のフィルタとしてもよい。この方式は通常は上述の２つの方式よりも多くのコンピュータ資源を必要とするが、スケーリングエンベロープを周波数の関数として変化させることを可能とする。

図８は適合可能な周波数ドメインフィルタの出力から導かれた２つのスケーリングエンベロープのグラフ表示である。例えば、スケーリングエンベロープ５２は、信号 又はより音のように思われる信号の部分におけるスペクトルホールを充填するのに用いることができ、且つスケーリングエンベロープ５３は、信号又はより雑音 のように思われる信号の部分におけるスペクトルホールを充填するのに用いることができる。信号の音及び雑音特性は様々な手法で評価できる。これらの手法の 幾つかを以下に述べる。代替的に、スケーリングエンベロープ５２は、オーディオ信号がしばしばより音のようになる低周波数におけるスペクトルホールを充填 するのに用いることができ、且つスケーリングエンベロープ５３は、オーディオ信号がしばしばより雑音のようになる高周波数におけるスペクトルホールを充填するのに用いることができる。

ｄ）知覚マスキング
スケーリングエンベロープを確立する第４の手法は、ブロック変換によるフィルタバンク又は他の形式のフィルタを実施するデコーダに適用可能である。この手法は予測された音響心理学的マスキング効果に従って変化する非均一スケーリングエンベロープを与える。

図１０は２つの仮想音響心理学的マスキング閾値を示す。閾値６１は低周波数スペクトル成分６０の音響心理学的マスキング効果を表し、且つ閾値６４は高周波数スペクトル成分６３の音響心理学的マスキング効果を表す。これらのようなマスキング閾値はスケーリングエンベロープの形状を導くのに使用し得る。

図１１におけるスペクトル４５は、合成スペクトル成分に代わる仮想オーディオ信号のスペクトルのグラフ表示であり、これは音響心理学的マスキングに基づくエンベ ロープに従ってスケーリングされている。図示の例では、最低周波数スペクトルホールにおけるスケーリングエンベロープはマスキング閾値６１の下部部分から導かれた。中央スペクトルホールにおけるスケーリングエンベロープは、マスキング閾値６１の上部部分とマスキング閾値６４の下部部分との合成である。最高周波数スペクトルホールにおけるスケーリングエンベロープはマスキング閾値６４の上部部分から導かれた。

ｅ）調性（Ｔｏｎａｌｉｔｙ）
スケーリングエンベロープを確立する第５の手法は、完全なオーディオ信号若しくは例えば１つ又は複数のサブバンド信号についての信号の一部の調性の評価に 基づいている。調性はスペクトル平坦性測定の計算を含む多数の手法で評価でき、そのスペクトル平坦性測定は、信号サンプルの幾何学的平均により分割された 信号サンプルの計算平均の規格化指数である。信号を示す１へ接する値は極めて雑音状であり、信号を示す０へ接する値は極めて音状である。ＳＦＭはスケーリ ングエンベロープに直接に適合するように使用できる。ＳＦＭが零に等しいとき、スペクトルホールの充填に使用される合成成分はない。ＳＦＭが１に等しいと き、合成成分の最大許容レベルがスペクトルホールを充填するのに用いられる。しかしながら、一般にはエンコーダはエンコーディングに先立って完全な原オー ディオ信号にアクセスするので良好なＳＦＭを計算する能力がある。ＱＴＺスペクトル成分の存在により、デコーダは正確なＳＦＭを計算しない傾向がある。

デコーダは、非零値及び零値スペクトル成分の配置及び分布を解析することにより調性を評価できる。一つの実施においては、長期間の零値スペクトル成分が若 干の大きな非零値成分の間に分布するならば、この配置はスペクトルピークの構造を示唆するので、信号は雑音よりも音のようであると思われる。

他の実施においては、デコーダは予測フィルタを１つ又は複数のサブバンド信号に適用して予測ゲインを決定する。信号は予測ゲインが増大するにつれてより音のようであると思われる。

ｆ）時間スケーリング
図１２はエンコードされるべき仮想サブバンド信号のグラフ表示である。線４６はスペクトル成分の大きさの時間エンベロープを示す。このサブバンド信号は、共通スペ クトル成分又はブロック変換により実施された解析フィルタバンクから得られたブロックのシーケンスにおける変換係数からなるか、或いはブロック変換以外の ディジタルフィルタ、例えばＱＭＦによる解析フィルタバンク実施の他の形式から得られたサブバンド信号としてもよい。エンコーディング処理の間、閾値４０ 未満の大きさを有する全てのスペクトル成分は零に量子化される。閾値４０は図示の便宜のために全時間間隔に亘って均一な値で示されている。これはブロック 変換により実施されるフィルタバンクを使用する多くのコーディングシステムにおける代表例ではない。

図１３は量子化スペクトル成分により表される仮想サブバンド信号のグラフ表示である。線４７は量子化されたスペクトル成分の大きさの時間エンベロープを表す。この 図及び他の図に示す線は閾値４０以上の大きさを有するスペクトル成分の量子化の効果を示さない。量子化信号におけるＱＴＺスペクトル成分と原信号における 対応スペクトル成分との間の差は斜線で示してある。斜線領域は、合成スペクトル成分で充填される時間間隔内のスペクトルホールを示す。

本発明の一つの実施においては、デコーダは入力信号を受け取り、この信号は図１３に示すような量子化サブバンド信号のエンコード表現を運ぶ。デコーダはエンコード表現を復号し、複数のスペクトル成分が零値を有し、且つ先行及び／又は後続 のスペクトル成分が非零値を有するサブバンド信号を同定する。デコーダは後述するような処理を用いて零値スペクトル成分に対応する合成スペクトル成分を生 成する。合成成分はスケーリングエンベロープに従ってスケーリングされている。好ましくはスケールリングエンベロープは人間の聴覚系の時間マスキング特性 を考慮する。

図１４は仮想的な時間音響心理学的マスキング閾値を示す。閾値６８はスペクトル成分６７の時間音響心理学的マスキング効果を表す。スペクトル成分６７の左に対する 閾値の部分は、前置時間マスキング特性か、或いはスペクトル成分の発生に先行するマスキングを表す。スペクトル成分６７の右に対する閾値の部分は、後置時 間マスキング特性か、或いはスペクトル成分の発生に続くマスキングを表す。後置マスキング効果は一般に前置マスキング効果の持続期間よりも充分に長い持続 期間を有する。このような時間マスキング閾値はスケーリングエンベロープの時間形状を導くのに使用し得る。

図１５における線４８は時間音響心理学的マスキング効果に基づくエンベロープに従ってスケールされた合成スペクトル成分に代わる仮想サブバンド信号のグラフ表示で ある。例示においては、スケーリングエンベロープは２つの個々のエンベロープの組み合わせである。スペクトルホールの低周波数部分についての個々のエンベ ロープは閾値６８の後置マスキング部分から導かれた。スペクトルホールの高周波数部分についての個々のエンベロープは閾値６８の前置マスキング部分から導 かれた。

３．合成成分の生成
合成スペクトル成分は広範な手法により生成し得る。２つの手法について以下に述べる。複数の手法を使用し得る。例えば、異なる手法がエンコード信号の特性に応答するか或いは周波数の関数として選択し得る。

第１の手法は雑音状の信号を生成する。擬似信号を生成する基本的に任意の広範な手法を用いてもよい。

第２の手法は１つ又は複数の周波数サブバンドからスペクトル成分を複写するスペクトル移動又はスペクトル複製と称される技術を用いる。低周波数スペクトル 成分は通常は高周波数においてスペクトルホールを充填するために複写され、これは高周波数成分が低周波数成分に対する或る方式にしばしば関係するためである。しかしながら、原理的にはスペクトル成分は高周波数又は低周波数へ複写してもよい。

図１６におけるスペクトル４９は、スペクトル複製により生成された合成スペクトル成分を有する仮想オーディオ信号のスペクトルのグラフ表示である。スペクトルピー クの一部分は、低周波数及び中間周波数におけるスペクトルホールをそれぞれ充填するように周波数の複数倍に低く及び高く複製される。スペクトルの高端に近 いスペクトル成分の部分は、スペクトルの高端におけるスペクトルホールを充填する周波数に複製して高くされる。例示においては、複製成分は均一スケーリン グエンベロープによりスケールされているが、基本的に任意の形態のスケーリングエンベロープを使用し得る。

Ｃ．エンコーダ
上述した本発明の局面は、既存のエンコーダに対して如何なる変更も必要とせずに、デコーダにおいて実行できる。これらの局面は、エンコーダには利用可能で ない付加的な制御情報を与えるようにエンコーダを変更するならば向上させることができる。付加的な制御情報は、デコーダ内で合成スペクトル成分が生成され てスケーリングされる方式に適合するように用いることができる。

１．制御情報
エンコーダは広範なスケーリング制御情報を与えることができ、デコーダは合成スペクトル成分についてのスケーリングエンベロープに適合するように用いることができる。以下に説明する例の各々は全信号及び／又は信号の周波数サブバンドについて与えることができる。

サブバンドが最小量子化レベルよりも相当に低いスペクトル成分を包含するならば、エンコーダは、この状態を示す情報をデコーダへ与える。この情報はデコー ダが２つ又はそれ以上のスケーリングレベルから選択するように使用することができるインデックスの形式としてもよく、或いは情報は平均又は根平均平方 （ＲＭＳ）パワーのようなスペクトルレベルの或る測定を運んでもよい。このデコーダはこの情報に応答してスケーリングエンベロープに適合できる。

上述したように、デコーダはエンコーダ信号それ自身から評価された音響心理学的マスキング効果に応答してスケーリングエンベロープに適合できるが、エン コーダについては、エンコーディング処理により損なわれる信号の特性にエンコーダがアクセスする際には、これらのマスキング効果の一層良好な評価を与える ことが可能である。これはモデル１３を持たせることにより実行可能であり、このモデル１３は、エンコーダ信号からは利用可能でない音響心理学的情報を フォーマッタ１８へ与える。この種の情報を用いると、デコーダは１つ又は複数の音響心理学的基準に従って合成スペクトル成分を整形するようにスケーリング エンベロープに適合できる。

スケーリングエンベロープは信号又はサブバンド信号の雑音状又は音状品質の或る評価に応答するようにも適合できる。この評価はエンコーダ又はデコーダの何れかにより複数の手法で実行できるが、エンコーダが通常は良好な評価をなせる。この評価の結果はエンコード信号により組み立てられる。一つの評価は上述したＳＦＭである。

ＳＦＭの表示もデコーダにより使用でき、合成スペクトル成分の生成のために何れの処理を用いるかを選択させる。ＳＦＭが１に近いならば、雑音生成技法を使用できる。ＳＦＭが零に近いならば、スペクトル複製技法を使用できる。

エンコーダは非零及びＱＴＺスペクトル成分、例えばこれら２つのパワーの比についてのパワーの或る表示を与えることができる。デコーダは非零スペクトル成分のパワーを計算して、この比又は他の表示をスケーリングエンベロープ充当に適合するように用いる。

２．零スペクトル係数
上述の説明はしばしばＱＴＺ（零に量子化）成分のような零値スペクトル成分を参照したが、これは量子化がエンコード信号における零値成分の共通源のためで ある。これは必須事項ではない。エンコード信号におけるスペクトル成分の値は基本的に任意の処理により零に設定してもよい。例えば、エンコーダは、特定の 周波数より上の各サブバンド信号における最も大きい１つ又は２つのスペクトル成分を同定して、これらサブバンド信号における他の全てのスペクトル成分を零 に設定してもよい。代替的に、エンコーダは、或る閾値未満の特定のサブバンドにおける全てのスペクトル成分を零に設定してもよい。上述した本発明の様々な局面を採用するデコーダは、それらの局面の形成に応答可能な処理には無関係にスペクトルホールを充填する能力がある。

Claims (13)

1. オーディオ情報を生成する方法であって、
   量子化サブバンド信号のエンコード表現を運ぶ入力信号を受け取る段階であり、閾値より小さい大きさを有していたスペクトル成分は零値へ量子化されている段階と、
   前記エンコード表現をデコーディングし、且つ特定のサブバンド信号を同定し、その特定のサブバンド信号においては、１つ又は複数のスペクトル成分が非零値を有し、且つ複数のスペクトル成分が零値を有する段階と、
   周波数の関数として適合された又は選択された異なる方式を用いて閾値以下のスケーリングエンベロープを確立する段階と、
   前記スケーリングエンベロープに従ってスケーリングされた前記零値スペクトル成分に対応する合成スペクトル成分を生成する段階と、
   前記特定のサブバンド信号における対応する零値スペクトル成分を合成スペクトル成分で置換することによりサブバンド信号の変更されたセットを生成する段階と、
   前記サブバンド信号の変更されたセットへ合成フィルタバンクを適用することによりオーディオ情報を生成する段階と、を含む方法。
2. 請求項１に記載の方法において、前記合成フィルタバンクが、隣接するスペクトル成分の間のスペクトル漏洩を有するブロック変換により実施され、且つ前記スケーリングエンベロープが前記ブロック変換のスペクトル漏洩のロールオフのレートに実質的に等しいレートで変化する方法。
3. 請求項１又は２に記載の方法において、前記合成フィルタバンクがブロック変換により実施され、前記方法は、
   周波数ドメインフィルタをサブバンド信号の前記セットにおける１つ又は複数のスペクトル成分に適用する段階と、
   前記周波数ドメインフィルタの出力からスケーリングエンベロープを導く段階とを更に含む方法。
4. 請求項３に記載の方法において、前記周波数ドメインフィルタの応答を周波数の関数として変化させる段階を更に含む方法。
5. 請求項１乃至４の何れか一項に記載の方法において、
   サブバンド信号の前記セットにより示されたオーディオ信号の調性の測定を獲得する段階と、
   前記調性の測定に応答してスケーリングエンベロープを適合させる段階と、を更に含む方法。
6. 請求項５記載の方法において、前記入力信号から前記調性の測定を獲得する方法。
7. 請求項５記載の方法において、前記零値スペクトル成分が前記特定のサブバンド信号内に配置されている方式から前記調性の測定が導かれる方法。
8. 請求項１乃至７の何れか一項に記載の方法において、前記合成フィルタバンクがブロック変換により実施され、前記方法は、
   前記入力信号からサブバンド信号のセットのシーケンスを獲得する段階と、
   前記サブバンド信号のセットのシーケンスにおいて共通のサブバンド信号を同定し、シーケンスにおける各セットについて、１つ又は複数のスペクトル成分が非零値を有し、複数のスペクトル成分が零値を有する段階と、
   非零値を有する共通スペクトル成分を持つセットが先行又は後続するシーケンスにおける複数の隣接するセットにおいて前記共通のサブバンド信号内に共通のスペクトル成分を同定する段階と、
   人間の聴覚系の時間マスキング特性に従ってシーケンスにおけるセットごとに変化するスケーリングエンベロープに従って零値共通スペクトル成分に対応する合成スペクトル成分をスケーリングさせる段階と、
   前記セットにおける対応零値共通スペクトル成分を合成スペクトル成分で置換することによりサブバンド信号の変更されたセットのシーケンスを生成する段階と、
   前記合成フィルタバンクを前記サブバンド信号の変更されたセットのシーケンスへ適用することによりオーディオ情報を生成する段階と、を含む方法。
9. 請求項１乃至８の何れか一項に記載の方法において、前記合成フィルタバンクがブロック変換により実施され、且つ前記方法が前記サブバンド信号のセットにおける他のスペクトル成分のスペクトル移動により前記合成スペクトル成分を生成する方法。
10. 請求項１乃至９の何れか一項に記載の方法において、前記スケーリングエンベロープが人間の聴覚系の時間マスキング特性に応じて変化する方法。
11. 請求項１乃至１０の何れか一項に記載の方法において、推定された音響心理学的マスキング効果に応じて変化するように前記スケーリングエンベロープを確立する方法。
12. オーディオ情報を生成する装置であって、この装置は請求項１乃至１１の何れか一項に記載の方法における全ての段階を実行する手段を含む装置。
13. コンピュータに、請求項１乃至１１の何れか一項に記載の方法における全ての段階を実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images