JP2003513325A - マルチチャネル・オーディオ環境において対話型オーディオを提供するシステムおよび方法 - Google Patents

Abstract

(57)【要約】 ＤＴＳ対話型は、３Ｄゲーム及び他の高忠実度のオーディオ応用に適切な、低コストで完全に対話型の没入型のデジタル・サラウンド・サウンド環境を提供する。これはデジタル・サラウンド・サウンド・デコーダの既存のインフラストラクチャとの互換性を維持するように構成できる。成分オーディオは圧縮され簡素化されたフォーマットで記憶及び混合される。このフォーマットは、オーディオ品質を低下させずに、メモリに対する要求およびプロセッサの使用を低減し、かつ混合できる成分数を増大させる。この技術は、圧縮されたオーディオを「ルーピングする」ためにも提供され、これはＰＣＭオーディオを操作するゲーム・アプリケーションでは重要で標準的な特徴である。更に、処理の待ち時間またはゲーム・アプリケーションが原因で、混合したオーディオが存在しないときには、デコーダの同期は、「無音」のフレームを送信することにより保証される。

Description

【発明の詳細な説明】

【０００１】 発明の分野 本発明は、完全対話型のオーディオ・システムに関し、より具体的には、３Ｄ
ゲーム、バーチャル・リアリティ、および他の対話型オーディオの応用に適切で
ある豊かで没入型のサラウンド・サウンド環境を創出するために、リアルタイム
・マルチチャネル対話型デジタル・オーディオをレンダリングするシステムおよ
び方法に関する。

【０００２】 発明の背景 オーディオ技術における最近の開発は、聞き手を取り囲む３次元空間（「音場
」）のあらゆる場所において、サウンドのリアルタイムな対話型位置決めを創出
することに焦点が当てられてきた。真の対話型オーディオは、オンデマンドでサ
ウンドを創出する能力だけでなく、サウンドを正確に音場に配置する能力にも備
えている。そのような技術のサポートは様々な製品に見ることができるが、最も
頻繁には、自然で、没入型の、対話型オーディオ環境を創出するためのビデオ・
ゲーム用ソフトウエアに見ることができる。応用分野は、ゲームを超えて、ＤＶ
Ｄなど視聴覚製品の形態でエンターテイメントの世界にまで広がり、また、ビデ
オ会議、シミュレーション・システム、および他の対話型環境にも広がっている
。

【０００３】 オーディオ技術の進展は、オーディオ環境を聞き手にとって「リアル」なもの
にする方向に進んできた。サラウンド・サウンドの開発は、聞き手をサラウンド
・サウンドの環境に没入させるために、まず、アナログ領域において、ＨＲＴＦ
、ドルビー・サラウンドと続き、後に、デジタル領域において、ＡＣ−３、ＭＰ
ＥＧ、およびＤＴＳと続いた。

【０００４】 現実的な合成環境を描写するために、バーチャル・サウンド・システムは、複
数のスピーカを必要とせずに、サラウンドなオーディオの錯覚を創出するために
、バイノーラル技術と音響心理学的な手掛かりを使用する。これらのバーチャル
化された３Ｄオーディオ技術の大半は、ＨＲＴＦ（頭部関連伝達関数、Head-Rel
ated Transfer Function）の概念に基づいている。当初のデジタル化されたサウ
ンドは、望ましい空間位置に対応する左耳および右耳のＨＲＴＦでリアルタイム
にからみつき、聞いたときに、望ましい位置から来るように聞こえる、右耳およ
び左耳のバイノーラル信号が生成される。サウンドを配置するために、ＨＲＴＦ
は、望ましい新しい位置に対して変更され、プロセスが繰り返される。聞き手は
、オーディオ信号が聞き手自身のＨＲＴＦでフィルタリングされる場合、ヘッド
フォンを通してほぼ自由音場のリスニングを経験することができる。しかし、こ
れは、しばしば非実用的であり、実験者は、広範な聞き手に対し良好な性能を有
する、一般的なＨＲＴＦのセットを探求してきた。これは、前方後方混同という
特定の障害のために実現することが困難であった。前方後方混同とは、頭の前ま
たは後のサウンドが同じ方向から来ているという感覚を表す。この欠点にも関わ
らず、ＨＲＴＦの方法は、ＰＣＭオーディオと、はるかに少ない計算負荷で圧縮
ＭＰＥＧオーディオとの両方にうまく適用されてきた。ＨＲＴＦに基づいたバー
チャル・サウンド技術は、完全なホーム・シアタのセットアップが実際的ではな
い状況において、大きな利点を提供するが、これらの現在の解決法は、特定のサ
ウンドの対話型配置には、なんら手段を提供しない。

【０００５】 ドルビー（Ｒ）・サラウンド・システムは、位置的オーディオを実施する他の
方法である。ドルビー（Ｒ）・サラウンドは、ステレオ（２チャネル）媒体が４
チャネル・オーディオを搬送することを可能にするマトリクス・プロセスである
。このシステムは、４チャネルのオーディオを用い、左トータル（Ｌｔ）および
右トータル（Ｒｔ）として識別される２チャネルのドルビー（Ｒ）・サラウンド
のエンコードされた素材を生成する。エンコードされたマテリアル（素材）は、
左チャネル、右チャネル、中央チャネル、およびモノ・サラウンド・チャネルの
４つチャネルの出力を生成する、ドルビー（Ｒ）・プロロジック・デコーダによ
ってデコードされる。中央チャネルは、スクリーンに音声をつなぎ留めるように
設計されている。左チャネルおよび右チャネルは、音楽およびいくつかのサウン
ド効果を意図しており、サラウンド・チャネルは、主に、サウンド効果専用であ
る。サラウンド・サウンド・トラックは、ドルビー（Ｒ）・サラウンド・フォー
マットで事前にエンコードされ、従って、映画に最適であるが、ビデオ・ゲーム
などの対話型の応用には特に有用ではない。ＰＣＭオーディオは、より制御性の
低い対話型オーディオの経験を提供するために、ドルビー（Ｒ）・サラウンド・
サウンド・オーディオにオーバーレイすることができる。残念ながら、ＰＣＭを
ドルビー（Ｒ）・サラウンド・サウンドと混合することは、内容に依存するもの
であり、ＰＣＭオーディオをドルビー（Ｒ）・サラウンド・サウンド・オーディ
オにオーバーレイすることは、ドルビー（Ｒ）・プロロジック・デコーダを混乱
させる傾向があり、これにより、望ましくないサラウンド・アーティファクトお
よびクロストークが創出されることがある。

【０００６】 ドルビー（Ｒ）・デジタルおよびＤＴＳなど、チャネル分離デジタル・サラウ
ンド・サウンド技術を改善することは、別々の左サラウンド・リア・スピーカ、
右サラウンド・リア・スピーカ、およびサブウーファと共に、左、中央、および
右のフロント・スピーカの、６つの離散したデジタル・サウンドのチャネルを提
供する。デジタル・サラウンドは、事前記録型の技術であり、従って、映画およ
びホームＡ／Ｖシステムのようなデコード待ち時間に対処することができるもの
には最適であるが、現在の形態では、ビデオ・ゲームなどの対話型応用には特に
有用ではない。しかし、ドルビー（Ｒ）・デジタルおよびＤＴＳは、忠実度の高
い位置オーディオを提供し、ホーム・シアタ・デコーダの大きな据え付けられた
ベース、即ち、マルチチャネル５．１スピーカ・フォーマットの定義および市販
の製品を有するので、ＰＣ、特に、コンソールを基にするゲーム・システムに対
しては、それらを完全に対話型にすることができる場合、非常に望ましいマルチ
チャネル環境を呈する。しかし、ＰＣのアーキテクチャは、一般に、マルチチャ
ネルのデジタルＰＣＭオーディオを家庭用エンターテイメント・システムへ送る
ことができなかった。これは、主に、標準的なＰＣのデジタル出力が、ステレオ
をベースとするＳ／ＰＤＩＦデジタル出力コネクタを通るということのためであ
る。

【０００７】 Ｃａｍｂｒｉｄｇｅ ＳｏｕｎｄＷｏｒｋｓ（Ｒ）（ケンブリッジ・サウンド
ワーク）は、ハイブリッド・デジタル・サラウンド／ＰＣＭの手法を、デスクト
ップ・シアタ（Ｒ）５．１ＤＴＴ２５００の形態で提供する。この製品は、事前
にエンコードされたドルビー（Ｒ）・デジタル５．１バックグラウンド・マテリ
アルと対話型４チャネル・デジタルＰＣＭオーディオとを組み合わせるビルトイ
ンのドルビー（Ｒ）・デジタル・デコーダを搭載している。このシステムは２つ
の別々のコネクタ、即ち、ドルビー（Ｒ）・デジタルを送る１つのものと、４チ
ャネル・デジタル・オーディオを送る１つのものとを必要とする。ステップは進
行するが、デスクトップ・シアタ（Ｒ）は、ドルビー（Ｒ）・デジタル・デコー
ダの既存の据え付けられたベースとは互換性がなく、ＰＣＭ出力の複数チャネル
をサポートするサウンド・カードを必要とする。サウンドは、既知の位置に配置
されたスピーカから再生されるが、対話型３Ｄサウンドの分野における目標は、
サウンドが、聞き手の回りの任意に選択された方向から発するように出現する信
頼できる環境を創出することである。デスクトップ・シアタ（Ｒ）の対話型オー
ディオの豊かさは、ＰＣＭデータを処理するために必要な計算要件によって、更
に制限される。位置オーディオ環境の重要な成分である横向きローカリゼーショ
ン（局所化）は、フィルタリングおよび等化の演算のように、時間領域データに
適用するには、計算にコストがかかる。

【０００８】 ゲーム業界は、３Ｄゲームおよび他の対話型オーディオ・アプリケーションに
適し、ゲーム・プログラマが、多数のオーディオ源を混合し、かつ正確にそれら
を音場に配置することを可能にし、そして、ホーム・シアタ・デジタル・サラウ
ンド・サウンド・システムの既存のインフラストラクチャと互換性のある、低コ
ストで完全に対話型の待ち時間の短い没入型のデジタル・サラウンド・サウンド
環境が必要である。

【０００９】 発明の概要 上記の問題を考慮して、本発明は、３Ｄゲームおよび他の忠実度の高いオーデ
ィオ・アプリケーションに適し、デジタル・サラウンド・サウンド・デコーダの
既存のインフラストラクチャとの互換性を維持するように構成することができる
、低コストで完全に対話型の没入型のデジタル・サラウンド・サウンド環境を提
供する。

【００１０】 これは、各オーディオ成分を、計算の容易さを優先してコード化と記憶の効率
を犠牲にする圧縮フォーマットで記憶し、その成分を時間領域ではなくサブバン
ド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマ
ットに再圧縮およびパック（パッキング）し、それをデコードおよび配布のため
に下流のサラウンド・サウンド・プロセッサへ渡すことによって、達成される。
マルチチャネル・データは圧縮フォーマットになっているので、ステレオ・ベー
スのＳ／ＰＤＩＦデジタル出力コネクタを通過することができる。また、技術は
、ＰＣＭオーディオを操作するゲーム・アプリケーションでは重要で標準的な特
徴である、圧縮されたオーディオを「ルーピング」するために提供される。更に
、デコーダの同期性は、混合されたオーディオが処理の待ち時間またはゲーム・
アプリケーションのために存在しないときにはいつでも、「無音（silence）」
のフレームを送信することによって保証される。

【００１１】 より具体的には、成分は、サブバンド表現にエンコードされ、データ・フレー
ムに圧縮およびパックされ、データ・フレームでは、スケール・ファクタとサブ
バンド・データのみがフレームごとに異なるようにすることが好ましい。この圧
縮フォーマットが必要とするメモリは、標準的なＰＣＭオーディオより著しく少
ないが、ドルビー（Ｒ）ＡＣ−３またはＭＰＥＧにおいて使用されるような可変
長のコード記憶によって必要とされるよりは多い。更に重要なことは、この手法
は、アンパック／パック、混合（ミックス）、および圧縮解除／圧縮のオペレー
ションを非常に簡単にし、それにより、プロセッサの使用を低減することである
。更に、固定長のコード（ＦＬＣ）は、エンコードされたビットストリームを通
じてのランダム・アクセス・ナビゲーションを補助する。ソース・オーディオと
混合された出力チャネルとをエンコードするために、単一の事前定義されたビッ
ト割当てテーブルを使用することによって、高レベルのスループットを達成する
ことができる。現在の好ましい実施形態では、オーディオ・レンダラ（renderer
）は、固定されたヘッダとビット割当てテーブルとに対してハードコードされて
おり、従って、オーディオ・レンダラは、スケール・ファクタとサブバンド・デ
ータとを処理するだけでよい。

【００１２】 混合（ミキシング）は、可聴であると考えられる成分からサブバンド・データ
のみを部分的にデコード（圧縮解除）し、それらをサブバンド領域において混合
することによって達成される。サブバンド表現は、単純化した音響心理学的マス
キング技術に役立ち、従って、処理の複雑さを増大させずに、または、混合され
た信号の質を落とさずに、多数のソースをレンダリングすることができる。更に
、マルチチャネル信号は、送信前に圧縮フォーマットにエンコードされるので、
豊かで忠実度の高い統一されたサラウンド・サウンド信号を、単一の接続を通じ
てデコーダへ送ることができる。

【００１３】 本発明のこれらおよび他の特徴と利点は、当業者には、添付の図面と好ましい
実施形態の以下の詳細な記述とから明らかになるであろう。

【００１４】 発明の詳細な説明 ＤＴＳ対話型は、３Ｄゲームおよび他の忠実度の高いオーディオ・アプリケー
ションに適した低コストで完全に対話型（インタラクティブ）の没入型のデジタ
ル・サラウンド・サウンド環境を提供する。ＤＴＳ対話型は、成分オーディオを
圧縮およびパックされたフォーマットで記憶し、ソース・オーディオをサブバン
ド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマ
ットに再圧縮およびパックし、それをデコードおよび配布のために下流のサラウ
ンド・サウンド・プロセッサへ渡す。マルチチャネル・データは、圧縮フォーマ
ットになっているので、ステレオ・ベースのＳ／ＰＤＩＦデジタル出力コネクタ
を通すことができる。ＤＴＳ対話型は、計算の負担を増大せずに、または、レン
ダリングしたオーディオの質を低下せずに、没入型のマルチチャネル環境におい
て一緒にレンダリングすることのできるオーディオ・ソースの数を非常に増大す
る。ＤＴＳ対話型は、等化とフェーズ配置オペレーションを簡単にする。更に、
技術は、圧縮されたオーディオを「ルーピングする」ために提供されており、デ
コーダの同期性は、ソース・オーディオが存在しない場合に「無音」のフレーム
を送信することによって保証されるものであり、ここで無音とは真の無音または
低レベルの雑音を含むものである。ＤＴＳ対話型は、ＤＴＳサラウンド・サウン
ド・デコーダの既存のインフラストラクチャとの旧版互換性を維持するように設
計される。しかし、記述したフォーマットおよび混合の技術を使用して、既存の
デコーダとソース互換性および／または宛先互換性を維持することに限定されな
い専用のゲーム・コンソールを設計することができる。

【００１５】 ＤＴＳ対話型 ＤＴＳ対話型システムは複数のプラットフォームによってサポートされ、それ
には、ＤＴＳ５．１マルチチャネル・ホーム・シアタ・システム１０が存在し、
これは、図１ａ、１ｂ、および１ｃに示したように、デコーダおよびＡＶ増幅器
、ＡＶ増幅器１４を有するハードウエアＤＴＳデコーダ・チップセットを備えた
サウンド・カード１２、または、オーディオ・カード１８およびＡＶ増幅器２０
を有しソフトウエアが実装されたＤＴＳデコーダ１６を含む。これらのすべての
システムは、左２２、右２４、左サラウンド２６、右サラウンド２８、中央３０
、およびサブウーファ３２と命名したスピーカのセットと、マルチチャネル・デ
コーダと、マルチチャネル増幅器とを必要とする。デコーダは、圧縮されたオー
ディオ・データを供給するための、デジタルＳ／ＰＤＩＦまたは他の入力を提供
する。増幅器は、６つの個別のスピーカに電力を供給する。ビデオは、通常ＴＶ
または他のモニタであるディスプレイまたは投影装置３４の上でレンダリングさ
れる。ユーザは、キーボード３６、マウス３８、位置センサ、トラックボール、
またはジョイ・スティックなどのヒューマン・インタフェース装置（ＨＩＤ）を
通じてＡＶ環境と対話する。

【００１６】 アプリケーション・プログラミング・インタフェース（ＡＰＩ） 図２および３に示したように、ＤＴＳ対話型（インタラクティブ）システムは
、アプリケーション４０、アプリケーション・プログラミング・インタフェース
（ＡＰＩ）４２、およびオーディオ・レンダラ４４の３層からなる。ソフトウエ
ア・アプリケーションは、ゲーム、または、おそらくは音楽再生／作曲プログラ
ムとすることができ、これらは成分オーディオ・ファイル４６を用い、それぞれ
の或るデフォルト位置キャラクタ４８へ割り当てる。また、アプリケーションは
、ＨＩＤ３６／３８を介して、ユーザから対話型データを受け取る。

【００１７】 各ゲーム・レベルに対して、しばしば使用されるオーディオ・コンポーネント
は、メモリにロードされる（ステップ５０）。それぞれのコンポーネント（成分
）は、オブジェクトとして取り扱われるので、プログラマは、サウンドのフォー
マットとレンダリングの詳細について気づかないままであり、プログラマは、聞
き手に対する絶対的な位置と、望ましいて思われる効果処理を考慮するだけでよ
い。ＤＴＳ対話型フォーマットにより、これらの成分は、低周波数効果（ＬＦＥ
）を有するまたは有していない、モノ、ステレオ、またはマルチチャネルとする
ことが可能になる。ＤＴＳ対話型は、成分を圧縮フォーマットで記憶するので（
図６参照）、そうでない場合により解像度の高いビデオ・レンダリング、より多
くの色、またはより多くのテキスチャに使用することができる価値のあるシステ
ム・メモリを、節約する。また、圧縮フォーマットの効果としてファイル・サイ
ズが小さくなることにより、記憶媒体から迅速なオンデマンドのローディングが
可能になる。サウンド成分は、位置、等化、ボリューム、および必要な効果を詳
述するパラメータを備える。これらの詳細は、レンダリング・プロセスの結果に
影響することになる。

【００１８】 ＡＰＩ層４２は、各サウンド効果を創出および制御するために、プログラマに
インタフェースを提供し、また、オーディオ・データの混合を扱う複雑なリアル
タイム・オーディオ・レンダリング・プロセスからの分離をもたらす。オブジェ
クト指向のクラスは、サウンドの生成を創出および制御する。プログラマが自由
にできるいくつかのクラス・メンバが存在し、それは、ロード、アンロード、プ
レイ、休止（ポーズ）、停止（ストップ）、ルーピング、遅延、ボリューム、等
化、３Ｄ位置、環境の最大および最小のサウンド次元、メモリの割付け、メモリ
のロッキングおよび同期化である。

【００１９】 ＡＰＩは、創出されてメモリにロードされた、または媒体からアクセスされた
、すべてのサウンド・オブジェクトの記録を生成する（ステップ５２）。このデ
ータは、オブジェクト・リスト・テーブルに記憶される。オブジェクト・リスト
は、実際のオーディオ・データを含まず、むしろ、圧縮されたオーディオ・スト
リーム内におけるデータ・ポインタの位置、サウンドの位置座標、聞き手の位置
までの方位および距離、サウンド生成の状況、およびデータの混合に必要な任意
の特別な処理を示す情報などのような、サウンドの生成に重要な情報を追跡する
。サウンド・オブジェクトを創出するためにＡＰＩが呼び出されるとき、そのオ
ブジェクトに対する基準ポインタは、自動的にオブジェクト・リストに入力され
る。オブジェクトが消去されるとき、オブジェクト・リストにおける対応するポ
インタ・エントリは、ヌルに設定される。オブジェクト・リストが一杯の場合、
簡単な経時ベースのキャッシング・システムは、古い事象（インスタンス）を上
書きすることを選択することができる。オブジェクト・リストは、非同期アプリ
ケーション、同期ミキサ、および圧縮オーディオ生成装置プロセスの間にブリッ
ジを形成する。

【００２０】 各オブジェクトによって引き継がれたクラスにより、開始、停止、休止、ロー
ド、およびアンロードの機能が、サウンドの生成を制御することが可能になる。
これらの制御により、プレイ・リスト・マネジャが、オブジェクト・リストを検
査し、その時点で実際にプレイしているそれらのサウンドのみのプレイ・リスト
５３を構築することが可能になる。マネジャは、サウンドが休止、停止、プレイ
を完了、またはプレイを開始するのに十分遅延されていない場合、プレイ・リス
トからそのサウンドを除くことを決定することができる。プレイ・リストの各エ
ントリは、検査しなければならないサウンド内の個々のフレームに対するポイン
タであり、このサウンドは、必要であれば、混合前に区分的にアンパックされる
。フレームのサイズは一定なので、ポインタの操作により、出力サウンドの再生
の位置決め、ルーピング、および遅延が可能になる。このポインタの値は、圧縮
されたオーディオ・ストリーム内における現在のデコード位置を示す。

【００２１】 サウンドの位置的ローカリゼーションは、サウンドを個々のレンダリング・パ
イプラインに割り当てることを必要とするか、または、次にラウドスピーカの構
成の上に直接マッピングする実行バッファに割り当てることを必要とする（ステ
ップ５４）。これがマッピング機能の目的である。フレーム・リストのエントリ
に対する位置データは、どの信号処理機能を適用するかを決定し、聞き手に対す
る各サウンドの方位および方向を一新し、環境に対する物理的モデルに応じて各
サウンドを変更し、混合係数を決定し、オーディオ・ストリームを利用可能な最
も適切なスピーカに割り付けるために、検査される。すべてのパラメータとモデ
ルのデータとは、パイプラインに入る各圧縮オーディオ・フレームに関連付けら
れているスケール・ファクタに対する変更を導出するために組み合わされる。横
向きローカリゼーションが望ましい場合、フェーズ・シフト・テーブルからデー
タが示され、インデックスされる。

【００２２】 オーディオ・レンダリング 図２および３に示したように、オーディオ・レンダリング層４４は、オブジェ
クト・クラスによって設定された３Ｄパラメータ５７に従って、望ましいサブバ
ンド・データ５５を混合する責務を担う。複数のオーディオ成分を混合するには
、各成分を選択的にアンパックおよび圧縮解除し、相関のあるサンプルを合計し
、各サブバンドに対して新しいスケール・ファクタを計算することを必要とする
。レンダリング層のすべてのプロセスは、圧縮されたオーディオ・データの滑ら
かで連続的な流れをデコード・システムへ送るために、リアルタイムで機能しな
ければならない。パイプラインは、プレイされているサウンド・オブジェクトの
リストと、各オブジェクト内からのサウンドを変更する指示とを受け取る。各パ
イプラインは、混合係数に従って成分オーディオを操作し、単一スピーカ・チャ
ネルに対して出力ストリームを混合するように、設計される。出力ストリームは
、統一出力ビットストリームへとパックおよび多重化される。

【００２３】 より具体的には、レンダリング・プロセスは、各成分のスケール・ファクタを
フレームごとにメモリへとアンパックおよび圧縮解除するか（ステップ５６）、
または、一度に複数のフレームをアンパックおよび圧縮解除する（図７参照）こ
とによって、開始される。この段階では、各サブバンドに対するスケール・ファ
クタの情報のみが、その成分または成分の部分がレンダリングされたストリーム
において可聴である場合、評価することを必要とされる。固定長コード化が使用
されるので、そのスケール・ファクタを含むフレームの部分のみをアンパックお
よび圧縮解除することができ、それにより、プロセッサの使用を減らせる。ＳＩ
ＭＤの性能のために、各７ビットのスケール・ファクタの値は、バイトとしてメ
モリ・スペースに記憶され、３２バイトのアドレス境界と位置合わせされて、キ
ャッシュ・ライン読み出しが１つのキャッシュ充填オペレーションにおいてすべ
てのスケール・ファクタを獲得し、かつキャッシュ・メモリの汚染を生じないこ
とを保証するようにする。更にこのオペレーションを高速化するために、スケー
ル・ファクタをバイトとしてソース・マテリアルに記憶し、３２バイトのアドレ
ス境界上においてメモリ内で生じるように編成することが可能である。

【００２４】 ３Ｄ位置、ボリューム、混合、および等化によって提供された３Ｄパラメータ
５７は、抽出したスケール・ファクタを変更するために使用される各サブバンド
に対する変更アレイを決定するために組み合わされる（ステップ５８）。各成分
は、サブバンド領域において表されているので、等化は、スケール・ファクタを
介して望ましいようにサブバンド係数を調整する自明なオペレーションである。

【００２５】 ステップ６０において、パイプラインのすべてのエレメントに対してインデッ
クスされた最大スケール・ファクタが特定され、メモリ・スペースにおいて適切
に位置合わせされている出力アレイへ記憶される。この情報を使用して、あるサ
ブバンドの成分を混合する必要性を決定する。

【００２６】 ステップ６２というこの時点で、スピーカのパイプラインから可聴でないサブ
バンドを除去するために、他のパイプライン化されたサウンド・オブジェクトと
のマスキング比較が実施される（詳細は図８および９を参照）。マスキング比較
は、高速化するために、各サブバンドに対して独立して実施されることが好まし
く、また、マスキング比較は、リストによって参照されたオブジェクトのスケー
ル・ファクタに基づいている。パイプラインは、単一のスピーカからの可聴であ
る情報のみを含む。出力スケール・ファクタが、人間の聴覚の閾値（スレッショ
ルド）より低い場合、出力スケール・ファクタは、ゼロに設定することが可能で
あり、そうすることにより、対応するサブバンドの成分を混合する必要性が除か
れる。ＰＣＭ時間領域オーディオの操作に対するＤＴＳ対話型の利点は、ゲーム
・プログラマが、より多くの成分を使用でき、且つ過剰な計算をせずに任意の所
与の時間に可聴なサウンドのみを抽出および混合するマスキング・ルーチンに依
存することが可能なことである。

【００２７】 望ましいサブバンドが識別された後、オーディオ・フレームは、更に、可聴な
サブバンド・データのみを抽出するためにアンパックおよび圧縮解除され（ステ
ップ６４）、これは、左シフトされたＤＷＯＲＤフォーマットとしてメモリに記
憶される（図１０ａ〜１０ｃ参照）。この記述を通して、ＤＷＯＲＤは、一般性
を失わずに、３２ビットに想定されている。ゲームの環境では、ＦＬＣを使用す
るために失われた圧縮に支払われる代償は、サブバンド・データをアンパックお
よび圧縮解除するために必要な計算の数を減らすことによって補償されるよりも
大きい。このプロセスは、すべての成分とチャネルに対し、単一の事前定義され
たビット割付けテーブルを使用することによって、更に簡単になる。ＦＬＣによ
り、成分内の任意のサブバンドにおいて、読み出し位置をランダムに配置するこ
とが可能になる。

【００２８】 ステップ６６において、フェーズ（位相）位置決めフィルタリングが、バンド
１および２のサブバンド・データに適用される。フィルタは、特有のフェーズ特
性を有し、耳が位置の手掛かりとして最も敏感である２００Ｈｚから１２００Ｈ
ｚの周波数領域に対してのみ適用されることを必要とする。フェーズ位置の計算
は、３２のサブバンドのうち最初の２つのバンドにのみ適用されるので、計算の
数は、同等な時間領域オペレーションに必要な数の約１６分の１である。横向き
ローカリゼーションが必要でない場合、または計算のオーバーヘッドが過剰であ
ると見なされる場合、位相の修正は無視することができる。

【００２９】 ステップ６８において、サブバンド・データは、それに、対応する変更された
スケール・ファクタを乗算し、それを、パイプラインの他の適格のサブバンド成
分のスケール化されたサブバンド産出物と合計することによって、混合される（
図１１参照）。ビット割り当て（割付け）によって指図される、ステップサイズ
による通常の乗算は、ビット割付けテーブルをすべてのオーディオ成分に対して
同じであると事前に定義することによって、回避される。最大スケール・ファク
タのインデックスがルックアップされ、混合された結果へと除算（または逆数を
乗算）される。除算と逆数オペレーションによる乗算とは数学的には同等である
が、乗算オペレーションは一桁高速である。混合された結果が１つのＤＷＯＲＤ
に記憶される値を超えるとき、オーバーフローが生じることがある。浮動小数点
ワードを整数として記憶する試行により、影響を受けるサブバンドに適用される
スケール・ファクタを変更するためにトラップおよび使用される例外が創出され
る。混合のプロセス後、データは、左にシフトした形態で記憶される。

【００３０】 出力データ・フレームのアセンブリおよびキューイング 図４に示したように、コントローラ７０は、出力フレーム７２をアセンブルし
、それらを、サラウンド・サウンド・デコーダに送信するためにキューに配置す
る。デコーダは、データ・ストリーム内に埋め込まれている反復同期化マーカま
たは同期化コードに位置合わせすることができる場合、有用な出力を生成するだ
けでよい。Ｓ／ＰＤＩＦデータ・ストリームを介してのコード化されたデジタル
・オーディオの送信は、元のＩＥＣ９５８仕様の修正であり、コード化されたオ
ーディオ・フォーマットの識別に対する準備とはならない。マルチフォーマット
・デコーダは、まず、並行同期ワードを確実に検出することによってデータ・フ
ォーマットを決定し、次いで、適切なデコード方法を確立しなければならない。
同期条件の損失すると、デコーダが出力信号をミュートし、コード化されたオー
ディオ・フォーマットを再確立しようとするので、オーディオの再生に中断をも
たらす。

【００３１】 コントローラ７０は、「無音」を表す圧縮されたオーディオを含むヌル出力テ
ンプレート７４を準備する。現在の好ましい実施形態では、ヘッダ情報はフレー
ムごとの違いはなく、スケール・ファクタおよびサブバンド・データ領域のみを
更新する必要がある。テンプレートのヘッダは、ストリーム・ビット割付けのフ
ォーマットに関する不変の情報と、情報をデコードおよびアンパックするための
追加的情報とを搬送する。

【００３２】 同時に、オーディオ・レンダラは、サウンド・オブジェクトのリストを生成し
、それをスピーカの位置へマッピングする。マッピングされたデータ内では、可
聴なサブバンド・データは、上述したように、パイプライン８２によって混合さ
れる。パイプライン８２によって生成されたマルチチャネル・サブバンド・デー
タは、事前定義されたビット割付けテーブルに従って、ＦＬＣに圧縮される（ス
テップ７８）。パイプラインは、並列に編成されており、それぞれは、特定のス
ピーカ・チャネルに特有である。

【００３３】 ＩＴＵ推奨ＢＳ．７７５−１は、マルチチャネル・サウンド送信、ＨＤＴＶ、
ＤＶＤ、および他のデジタル・オーディオ応用のための２チャネル・サウンド・
システムの限界を認識する。この推奨は、聞き手の回りに一定の距離の配列に構
成された２つのリア／サイド・スピーカと３つのフロント・スピーカとを組み合
わせることを推奨する。変更されたＩＴＵスピーカ構成が採用される或る場合に
は、左サラウンド・チャネルおよび右サラウンド・チャネルは、圧縮されたオー
ディオ・フレーム全体の数によって遅延（８４）される。

【００３４】 パッカ８６は、スケール・ファクタおよびサブバンド・データをパックし（ス
テップ８８）、パックされたデータをコントローラ７０へ渡す。出力ストリーム
の各チャネルに対するビット割付けテーブルが事前に定義されているので、フレ
ームがオーバーフローする可能性は排除される。ＤＴＳ対話型フォーマットは、
ビットレート制限されておらず、線形およびブロックのエンコードの簡単で迅速
なエンコード技術を適用することができる。

【００３５】 デコーダの同期を維持するために、コントローラ７０は、パックされたデータ
の次のフレームの出力準備ができているかを判定する（ステップ９２）。答えが
イエスである場合、コントローラ７０は、パックされたデータ（スケール・ファ
クタとサブバンド・データ）を以前の出力フレーム７２に上書きし（ステップ９
４）、それをキューに配置する（ステップ９６）。答えがノーである場合、コン
トローラ７０は、ヌル出力テンプレート７４を出力する。圧縮された無音をこの
方法で送信することにより、同期を維持するために、デコーダへフレームを中断
なしに出力することが保証される。

【００３６】 即ち、コントローラ７０は、データ・ポンプ・プロセスを提供する。この機能
は、出力装置による継ぎ目のない生成のために、出力ストリームに中断またはギ
ャップをもたらさずに、コード化オーディオ・フレーム・バッファを管理するこ
とである。データ・ポンプ・プロセスは、最も最近出力を完了したオーディオ・
バッファをキューに入れる。バッファが出力を終了すると、それは出力バッファ
・キューに再配置（repost）され、空であるとフラグが立てられる。この空状態
フラグにより、混合プロセスは、データを識別し、そして、キューの次のバッフ
ァが出力されるのと同時に且つ残りのバッファが出力を待機している間に、その
データをその未使用のバッファにコピーすることが可能になる。データ・ポンプ
・プロセスを準備するためには、キューのリストに、まず、ヌル・オーディオ・
バッファ・イベントを配置しなければならない。初期設定バッファのコンテンツ
は、コード化されているか否かに関わらず、無音または他の非可聴または意図し
た信号を表すべきである。キューのバッファの数と各バッファのサイズは、ユー
ザの入力に対する応答時間に影響を与える。待ち時間を短く維持し、より現実的
な対話型経験を提供するために、出力キューは、２バッファの深度に制限され、
一方、各バッファのサイズは、宛先デコーダとユーザが受け入れ可能な待ち時間
とにより許容される最大のフレーム・サイズによって決定される。

【００３７】 オーディオの質は、ユーザの待ち時間に対して、折り合いをつけることが可能
である。小さなフレーム・サイズは、ヘッダ情報の反復的に送信することにより
負担をかけられ、これにより、オーディオ・データをコード化するのに利用可能
なビット数が減少し、それにより、レンダリングされたオーディオの質が低下す
る。一方、大きなフレームのサイズは、ホーム・シアタのデコーダにおけるロー
カルＤＳＰメモリの利用可能性により制限され、それにより、ユーザの待ち時間
を増大させる。サンプル・レートと組み合わされて、この２つの量は、圧縮され
たオーディオ出力のバッファを更新するための最大リフレッシュ間隔を決定する
。ＤＴＳ対話型システムでは、これはタイムベースであり、サウンドのローカリ
ゼーションをリフレッシュし、リアルタイム対話の錯覚を提供するために使用さ
れる。このシステムでは、出力フレームのサイズは、４０９６バイトに設定され
ており、最小限のヘッダ・サイズ、編集およびループ創出のための良好な時間分
解能、およびユーザの応答に対する短い待ち時間を提供する。通常、４０９６バ
イトのフレーム・サイズに対しては６９ｍｓから９２ｍｓであり、２０４８バイ
トのフレーム・サイズに対しては３４ｍｓから４６ｍｓである。各フレーム時間
において、聞き手の位置に対するアクティブのサウンドの距離および角度が計算
され、この情報は、個々のサウンドをレンダリングするために使用される。例と
して、サンプル・レートに依存する３１Ｈｚから４７Ｈｚの間のリフレッシュ・
レートが、４０９６バイトのフレーム・サイズに対して可能である。

【００３８】 圧縮されたオーディオのルーピング ルーピングは、望ましいオーディオ効果を創出するために、同じサウンド・ビ
ットが不確定にルーピングされる標準的なゲームの技術である。例えば、ヘリコ
プタ・サウンドの少数のフレームを記憶してルーピングし、ゲームに必要とされ
る長さだけリコプタを生成することができる。時間領域では、サウンドの終了位
置と開始位置との間の遷移ゾーン中に、可聴なクリックまたはひずみは、開始と
終了の振幅が相補的である場合には聞かれることはない。この同じ技術は、圧縮
オーディオ領域では作用しない。

【００３９】 圧縮されたオーディオは、ＰＣＭサンプルの固定されたフレームからエンコー
ドされたデータのパケットに含まれており、そして、以前に処理されたオーディ
オに対する圧縮オーディオ・フレームの相互依存によって、更に複雑になってい
る。ＤＴＳサラウンド・サウンド・デコーダの再構築フィルタは出力オーディオ
を遅延させ、第１オーディオ・サンプルが、再構築フィルタの特性により、低レ
ベルの過渡的な振舞いを呈するようにさせる。

【００４０】 図５に示したように、ＤＴＳ対話型システムにおいて実施されたルーピング解
決法は、対話型ゲーム環境におけるリアルタイムのルーピングの実行とコンパチ
ブルな圧縮フォーマットで記憶するためのコンポーネント・オーディオを用意す
るように、オフラインで実施される。このルーピング解決法の第１ステップは、
ルーピングされたシーケンスのＰＣＭデータが、圧縮されたオーディオ・フレー
ムの全体の数によって定められた境界内に精確にフィットするように、まず、時
間についてコンパクト化または拡張されることを必要とする（ステップ１００）
。エンコードされたデータは、エンコードされた各フレームからのオーディオ・
サンプルの固定数を表す。ＤＴＳシステムでは、サンプルの持続期間は、１０２
４サンプルの倍数である。開始するためには、圧縮されていない「読み出し」オ
ーディオの少なくともＮフレームが、ファイルの終端部から読み出され（ステッ
プ１０２）、ルーピングされるセグメントの開始へ一時的に添付される（ステッ
プ１０４）。この例では、Ｎは値１を有するが、以前のフレームに対する再構築
フィルタの依存性をカバーするのに十分な大きさの任意の値を使用することが可
能である。エンコード（ステップ１０６）の後、Ｎの圧縮されたフレームは、圧
縮されたオーディオ・ループ・シーケンスをもたらすために、エンコードされた
ビットストリームの始めから除去される（ステップ１０８）。このプロセスによ
り、終了フレーム中に再構築合成フィルタにある値が、開始フレームとの継ぎ目
のない連結を保証するのに必要な値と一致することが保証され、そうすることに
より、可聴なクリックまたはひずみが防止される。ルーピングされた再生の際に
、読み出しポインタは、グリッチのない再生のために、ルーピングされたシーケ
ンスの始めへと戻すように向けられる。

【００４１】 ＤＴＳ対話型フレーム・フォーマット ＤＴＳ対話型フレーム７２は、図６に示したように構成されたデータからなる
。ヘッダ１１０は、オーディオ・ペイロードをデコードするのに必要な、コンテ
ンツのフォーマット、サブバンドの数、チャネル・フォーマット、サンプリング
周波数、およびテーブル（ＤＴＳ規格において定義されている）を記述する。ま
た、この領域は、ヘッダの始めを識別し、かつアンパックのために、エンコード
されたストリームの位置合わせ（アライメント）を提供するために、同期ワード
を含む。

【００４２】 ヘッダに続いて、ビット割付けセクション１１２は、どのサブバンドがフレー
ムに存在するか、ならびに、サブバンドのサンプルあたりに割り付けられたビッ
トの数の指示を示す。ビット割付けテーブルにおけるゼロのエントリは、関連す
るサブバンドがフレームに存在しないことを示す。ビットの割付けは、混合の速
さについて、成分ごと、チャネルごと、フレームごと、および各サブバンドに対
して固定されている。固定されたビットの割付けは、ＤＴＳ対話型システムによ
って採用され、ビット割付けテーブルを検査、記憶、および走査する必要性を排
除し、アンパック段階中におけるビット幅の規則的なチェックを排除する。例え
ば、以下のビット割付けは、使用に適している｛１５、１０、９、８、８、８、
７、７、７、６、６、５、５、５、５、５、５、５、５、５、５、５、５、５、
５、５、５、５、５、５、５、５、５｝。

【００４３】 スケール・ファクタ・セクション１１４は、例えば３２サブバンドなどのよう
に、サブバンドのそれぞれに対するスケール・ファクタを識別する。スケール・
ファクタのデータは、対応するサブバンド・データと共に、フレームごとに異な
る。

【００４４】 最後に、サブバンド・データ・セクション１１６は、すべての量子化されたサ
ブバンド・データを含む。図７に示したように、サブバンドのデータの各フレー
ムはサブバンドあたり３２のサンプルからなり、サイズ８の４つのベクトル１１
８ａ〜１１８ｄとして編成されている。サブバンドのサンプルは、線形コードま
たはブロック・コードによって表すことができる。線形コードは、符号ビットで
始まり、それにサンプル・データが続く。一方、ブロック・コードは、符号を含
めたサブバンド・サンプルの効率的にエンコードされたグループである。サブバ
ンド・データ１１６とのビット割付け１１２およびスケール・ファクタ１１４の
位置合わせについても記述されている。

【００４５】 圧縮されたオーディオのサブバンド領域混合 以前に説明したように、ＤＴＳ対話型は、通常のＰＣＭフォーマットではなく
、圧縮されたフォーマットで、サブバンド・データなどの成分オーディオを混合
し、大きな計算の柔軟性と忠実度の利益を実現する。これらの利益は、２段階に
おいてユーザにとって可聴でないサブバンドを破棄することによって獲得される
。第１に、ゲーム・プログラマは、特有のオーディオ成分の周波数コンテンツに
関する以前の情報に基づいて、有用な情報を僅かに含むか又は全く含まない上部
（高周波数）サブバンドを破棄することができる。これはオフラインで実施され
るものであり、成分オーディオを記憶する前に、上部バンド・ビット割付けをゼ
ロに設定することによって行われる。

【００４６】 より具体的には、４８．０ｋＨｚ、４４．１ｋＨｚ、および３２．０ｋＨｚの
サンプル・レートにはしばしばオーディオにおいて遭遇するが、高いサンプル・
レートは、メモリを費やして忠実度の高い完全なバンド幅のオーディオを提供す
る。これは、素材が音声などのような、僅かな高周波数を含むものである場合、
リソースの浪費となることがある。より低いサンプル・レートは、或る素材には
より適切であるが、異なるサンプル・レートの混合の問題が生じる。ゲームのオ
ーディオは、オーディオ品質とメモリ要件との妥当な妥協として、２２．０５０
ｋＨｚのサンプリング・レートを頻繁に使用する。ＤＴＳ対話型システムでは、
すべての素材は、以前に記述した最高のサポートされるサンプル・レートでエン
コードされ、全オーディオ・スペクトルを完全に占有しない素材は、以下のよう
に取り扱われる。例えば１１．０２５ｋＨｚにおいてエンコードすることを意図
した素材は、４４．１ｋＨｚでサンプリングされ、高周波数コンテンツを記述す
るサブバンドの上部７５％は破棄される。この結果としてのエンコードされたフ
ァイルは、他のより高い忠実度の信号との互換性および混合の容易さを保持し、
更にファイルのサイズを低減することを可能にするファイルである。この原理を
拡張して、サブバンドの上部５０％を破棄することによって２２．０５０ｋＨｚ
のサンプリングを可能にすることができる方法は、容易に理解される。

【００４７】 第２に、ＤＴＳ対話型は、スケール・ファクタをアンパックし（ステップ１２
０）、それらを簡略化した音響心理学的分析に使用して（図９参照）、マップ機
能（ステップ５４）によって選択されたオーディオ成分のどれが、各サブバンド
において可聴であるかを決定する（ステップ１２４）。近傍のサブバンドを考慮
に入れる標準的な音響心理学的分析を実施して、少し良好な性能を達成すること
ができるが、速さを犠牲にすることになる。その後、オーディオ・レンダラは、
可聴であるそれらのサブバンドのみをアンパックおよび圧縮解除する（ステップ
１２６）。レンダラは、サブバンド領域において、各サブバンドのサブバンド・
データを混合し（ステップ１２８）、それを再圧縮して、それを図４に示したよ
うにパッキングのためにフォーマットする（アイテム８６）。

【００４８】 このプロセスの計算の利益は、可聴であるそれらのサブバンドのみをアンパッ
ク、圧縮解除、混合、再圧縮、およびパックしなければならないことから実現さ
れる。同様に、混合のプロセスは自動的に可聴でないデータをすべて破棄するの
で、ゲーム・プログラマには、量子化雑音フロアを上昇させずに、より多数のオ
ーディオ成分を用いて豊かなサウンド環境を創出するためのすぐれた柔軟性を提
供される。これらは、リアルタイム対話型環境において、即ち、ユーザの待ち時
間が重要であり、豊かで忠実度の高い没入型のオーディオ環境が目標である環境
において、非常に大きな利点である。

【００４９】 音響心理学的マスキング効果 音響心理学的な測定は、知覚的に不適切な情報を決定するために使用される。
この情報は、人間の聞き手が聞くことができず、かつ、時間領域、サブバンド領
域、またはいくつかの他の基盤において測定することができる、オーディオ信号
の部分として定義される。２つの主なファクタが、音響心理学的な測定に影響を
与える。一方は、人間に適用可能な聴覚の、周波数依存の絶対スレッショルドで
ある。他方は、１つのサウンドと同時にプレイされた第２のサウンド、又は第１
のサウンドの後の第２のサウンドを聞くための人間の能力に対しての、第１のサ
ウンドが持つマスキング効果である。即ち、同じサブバンドまたは近傍のサブバ
ンド内にある第１のサウンドは、我々が第２のサウンドを聞くことを妨げ、それ
をマスク・アウトすると言う。

【００５０】 サブバンド・コーダでは、音響心理学的計算の最終結果は、そのインスタンス
での各サブバンドの可聴でないレベルの雑音を特定する数のセットである。この
計算は、よく知られており、ＭＰＥＧ１圧縮規格、ＩＳＯ／ＩＥＣ ＤＩＳ１１
１７２「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ
ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉ
ｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅ ｍｅｄｉａ ｕｐ ｔｏ ａｂ
ｏｕｔ １．５ Ｍｂｉｔｓ／ｓ（情報技術−約１．５Ｍビット／ｓまでのデジ
タル記録媒体のための動画および関連のオーディオのコード化）」、１９９２、
に入れられている。これらの数は、オーディオ信号と共に動的に変化する。コー
ダは、これらのサブバンドにおける量子化雑音が可聴なレベル未満であるように
、ビット割付けプロセスによって、サブバンドの量子化雑音フロアを調節するこ
とを試みる。

【００５１】 ＤＴＳ対話型は、現在、サブバンド間の依存を不能にすることによって、通常
の音響心理学的マスキング・オペレーションを簡単にする。最終分析では、スケ
ール・ファクタからサブバンド内のマスキング効果を計算することにより、各サ
ブバンドの可聴な成分を識別する。これは、サブバンドごとに同じである可能性
も異なる可能性もある。完全な音響心理学的分析は、或るサブバンドではより多
くの成分を提供し、他のサブバンド、最も高い可能性としては上部サブバンド、
を完全に破棄する可能性がある。

【００５２】 図９に示したように、音響心理学的なマスキングの機能は、オブジェクト・リ
ストを検査し、供給された成分ストリームの各サブバンドに対しての最大の変更
されたスケール値を抽出する（ステップ１３０）。この情報は、オブジェクト・
リストに存在する最も音の大きい信号に対する基準として、マスキング機能へ入
力される。また、最大スケール・ファクタは、混合された結果をＤＴＳ圧縮オー
ディオ・フォーマットにエンコードするための基礎として、量子化器へ送られる
。

【００５３】 ＤＴＳ領域のフィルタリングには、時間領域信号は利用できず、従って、マス
キングのスレッショルドは、ＤＴＳ信号のサブバンドのサンプルから推定される
。マスキング・スレッショルドは、最大スケール・ファクタと人間の聴覚応答と
から、各サブバンドに対して計算される（ステップ１３２）。各サブバンドのス
ケール・ファクタは、そのバンドのマスキング・スレッショルドと比較され（ス
テップ１３６）、そのバンドに対して設定されたマスキング・スレッショルド未
満であることがわかった場合、そのサブバンドは可聴ではないと見なされ、混合
プロセスから除去される（ステップ１３８）。そうでない場合、サブバンドは、
可聴であると見なされ、混合プロセスのために維持される（ステップ１４０）。
現在のプロセスは、同じサブバンドのマスキング効果のみを考慮し、近傍のサブ
バンドの効果は無視する。これにより、性能はいくらか落ちるが、このプロセス
は簡単であり、従って、対話型リアルタイム環境において要求されるより遙かに
高速である。

【００５４】 ビット操作 上述のように、ＤＴＳ対話型は、オーディオ信号を混合およびレンダリングす
るために必要な計算の数を減らすように設計される。アンパックおよび再パック
しなければならないデータの量を最小限に抑えるように最大の努力が払われるが
、その理由は、これらおよび圧縮解除／再圧縮のオペレーションは計算的に集中
するからである。それでも、可聴なサブバンド・データは、アンパック、圧縮解
除、混合、圧縮、および再パックをしなければならない。従って、ＤＴＳ対話型
はまた、図１０ａ〜１０ｃに示したようにデータをアンパックおよびパックし、
図１１に示したようにサブバンド・データを混合する計算の数を減らすために、
データを操作する異なる手法を提供する。

【００５５】 通常、デジタル・サラウンド・システムは、圧縮を最適化するために、可変長
のビット・フィールドを使用してビット・ストリームをエンコードする。アンパ
ック・プロセスの重要な要素は、可変長ビット・フィールドの符号付き抽出であ
る。アンパックの手続きは、このルーチンを実行する頻度に起因して集中的であ
る。例えば、Ｎビットのフィールドを抽出するために、まず３２ビット（ＤＷＯ
ＲＤ）のデータを左にシフトして、符号ビットを最も左のビット・フィールドに
配置する。次に、符号エクステンションを導入するために、この値を２の累乗に
よって除算するか、または、（３２−Ｎ）ビットの位置だけ右にシフトする。多
数のシフト・オペレーションは、有限の時間で実行されるが、残念ながら、現代
のペンティアム（Ｒ）・プロセッサでは、他の命令と並行して実行することやパ
イプライン化することはできない。

【００５６】 ＤＴＳ対話型は、スケール・ファクタがビット幅サイズに関関連していること
を利用し、これにより、最終的右シフト・オペレーションを、以下の場合、即ち
、ａ）スケール・ファクタが、その場所において、しかるべく扱われ、ｂ）サブ
バンド・データを表すビットの数が十分であるので、（３２−Ｎ）の最右ビット
によって表された「ノイズ」が、再構築された信号のノイズ・フロアより低い場
合において、無視する可能性を提供するということを実現する。Ｎはわずか数ビ
ットとすることが可能であるが、これは、通常、ノイズ・フロアがより高い上部
サブバンドでのみ生じる。非常に高い圧縮率を適用するＶＬＣシステムでは、ノ
イズ・フロアを超えるであろう。

【００５７】 図１０ａに示したように、通常のフレームは、サブバンド・データ１４０のセ
クションを含み、このセクションは、個々のＮビット・サブバンド・データ１４
２を含み、ここにおいてＮは、サブバンドにわたって変化することが許容される
が、サンプルにわたって変化することは許容されない。図１０ｂに示したように
、オーディオ・レンダラは、サブバンド・データのセクションを抽出して、それ
をローカル・メモリに記憶するが、それは、通常は第１ビットが符号ビット１４
６であり、次の３１のビットがデータ・ビットである３２ビットのワード１４４
として記憶する。

【００５８】 図１０ｃに示したように、オーディオ・レンダラは、サブバンド・データ１４
２を左にシフトしており、従って、その符号ビットは、符号ビットン１４６と位
置合わせされている。すべてのデータがＶＬＣではなくＦＬＣとして記憶される
ので、これは、自明なオペレーションである。オーディオ・レンダラは、データ
を右にシフトすることはない。代わりに、スケール・ファクタは、２によってそ
れらを除算することによって事前スケール化され、（３２−Ｎ）の累乗へと上げ
られ、記憶され、そして、３２−Ｎの最右ビット１４８は、可聴でない雑音（ノ
イズ）として取り扱われる。即ち、スケール・ファクタの１ビットの右シフトと
サブバンド・データの１ビットの左シフトとを組み合わせても、その産物の値を
変化させない。また、同じ技術をデコーダによって使用することができる。

【００５９】 すべての混合産物の合計と量子化の後には、オーバーフローする値を識別する
ことは簡単なことであるが、その理由は、記憶の限界が固定されるからである。
これにより、サブバンド・データが左シフト・オペレーションによって取り扱わ
れていないシステムと比較して、非常に優れた検出速度が提供される。

【００６０】 データが再パックされるとき、レンダリングされたオーディオは、各３２ビッ
トのワードから最左のＮビットをつかみとり、それにより、３２−Ｎの左シフト
・オペレーションを回避する。（３２−Ｎ）の右および左のシフト・オペレーシ
ョンを回避することは、それほど重要でないように見えるかも知れないが、アン
パックおよびパックのルーチンを実行する頻度は非常に高いので、計算は著しく
減ることになる。

【００６１】 サブバンド・データの混合 図１１に示したように、混合のプロセスが開始され、可聴なサブバンド・デー
タは、位置、等化、位相のローカリゼーションなどに対して調整された、対応す
るスケール・ファクタによって乗算され（ステップ１５０）、和は、パイプライ
ンの他の適格のアイテムの対応するサブバンド産物に付加される（ステップ１５
２）。所与のサブバンドにおける各成分のビットの数は同じなので、ステップ・
サイズ・ファクタを無視することができ、従って、計算を減らすことができる。
最大のスケール・ファクタのインデックスを探索し（ステップ１５４）、その逆
数を、混合の結果と乗算する（ステップ１５６）。

【００６２】 混合の結果が、１つのＤＷＯＲＤに記憶されている値を超えるとき、オーバー
フローが生じ得る（ステップ１５８）。浮動小数点のワードを整数として記憶す
る試行により例外が創出され、この例外は、すべての影響を受けるサブバンドに
適用されるスケール・ファクタを修正するためにトラップおよび使用されるもの
である。例外が生じる場合、最大のスケール・ファクタは増分され（ステップ１
６０）、サブバンド・データは再計算される（ステップ１５６）。最大スケール
・ファクタは開始点として使用されるが、その理由は、伝統的すぎるぐらいの方
が良いからであり、また、信号のダイナミック・レンジを低減するよりはスケー
ル・ファクタを増分する方が良いからである。混合プロセス後、データは、再圧
縮およびパックのために、スケール・ファクタのデータを変更することによって
左シフトされた形態で記憶される。

【００６３】 本発明の幾つかの例示的な実施形態について、図示および記述してきたが、当
業者なら、多くの変更形態および代替形態を思いつくであろう。例えば、２つの
５．１チャネル信号を混合し、および共にインタリーブして、高さの次元を追加
した真の３Ｄ没入型のための１０．２チャネル信号を生成することができる。更
に、一度に１つのフレームを処理する代わりに、処理を組み合わせることによっ
て、オーディオ・レンダラは、フレームのサイズを２分の１に小さくし、２つの
フレームを一度に処理することができる。これにより、待ち時間は２分の１にな
るが、ヘッダ情報を２回反復するたびに、いくつかのビットを浪費するという犠
牲を伴う。しかし、専用のシステムでは、ヘッダ情報の多くは除くことができる
。そのような変更形態および代替形態が考慮され、それらは、特許請求の範囲に
おいて定義されている本発明の精神および範囲から逸脱せずに実施することがで
きる。

【図面の簡単な説明】

【図１】 図１ａから１ｃは、本発明による様々なゲーム構成のブロック図である。

【図２】 図２は、完全に対話型のサラウンド・サウンド環境のための、アプリケーショ
ンの層構造に関するブロック図である。

【図３】 図３−１および３−２（合わせて図３）は、図２に示したオーディオ・レンダ
リング層のフローチャートである。

【図４】 図４は、サラウンド・サウンド・デコーダへ送信するために、出力データ・フ
レームをアセンブルおよびキュー・アップするためのパック・プロセスのブロッ
ク図である。

【図５】 図５は、圧縮されたオーディオのルーピングを示すフロー・チャートである。

【図６】 図６は、データ・フレームの編成を示す図である。

【図７】 図７は、各フレームにおける量子化されたサブバンド・データ、スケール・フ
ァクタ、およびビット割付けの編成を示す図である。

【図８】 図８は、サブバンド領域の混合プロセスのブロック図である。

【図９】 図９は、音響心理学的マスキング効果を示す図である。

【図１０】 図１０ａから１０ｃは、各フレームをパックおよびアンパックするためのビッ
ト抽出プロセスの図である。

【図１１】 図１１は、指定されたサブバンド・データの混合を示す図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ， ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，Ｓ Ｌ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ ，ＹＵ，ＺＡ，ＺＷ

Claims (32)

【特許請求の範囲】
1. 【請求項１】 マルチチャネル対話型オーディオ・システムであって、 複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記
   憶するためのメモリであって、前記入力データ・フレームのそれぞれが、圧縮お
   よびパックされたサブバンド・データ（５５、１１６）およびそのスケール・フ
   ァクタ（１１４）を含む、メモリと、 ユーザから入力を受け取るための人的入力装置（ＨＩＤ）（３６、３８）と、 前記ユーザの入力に応答してオーディオ成分のリストを生成するアプリケーシ
   ョン・プログラミング・インタフェース（ＡＰＩ）（４２）と、 オーディオ・レンダラ（４４）であって、 各チャネルのオーディオ成分のサブバンド・データおよびスケール・ファ
   クタをアンパックおよび圧縮解除し、 混合されたサブバンド・データのスケール・ファクタを計算し、 各チャネルについて前記サブバンドの領域において前記オーディオ成分の
   サブバンド・データを混合し、 各チャネルについて混合された前記サブバンド・データおよびそのスケー
   ル・ファクタを圧縮し、 前記チャネルの圧縮されたサブバンド・データおよびスケール・ファクタ
   を出力フレーム内にパックおよび多重化し、 前記出力フレームをデコーダへ送信するためにキュー内に配置する オーディオ・レンダラ（４４）と、 を備えるマルチチャネル対話型オーディオ・システム。
2. 【請求項２】 前記オーディオ・レンダラが、前記ユーザにとって可聴であ
   ると見なされる前記サブバンド・データのみを混合する、請求項１に記載のマル
   チチャネル対話型オーディオ・システム。
3. 【請求項３】 前記オーディオ・レンダラが、リストされた前記オーディオ
   成分のスケール・ファクタを使用して、前記サブバンドにおけるマスキング効果
   を計算し、かつ、各サブバンドについて可聴でないオーディオ成分を破棄するこ
   とによって、何れのサブバンドがユーザにとって可聴であるかを決定する、請求
   項２に記載のマルチチャネル対話型オーディオ・システム。
4. 【請求項４】 前記オーディオ・レンダラが、まず、前記オーディオ成分の
   スケール・ファクタをアンパックおよび圧縮解除し（５６）、可聴なサブバンド
   を決定し、次いで、前記可聴なサブバンドのサブバンド・データのみをアンパッ
   クおよび圧縮解除する（６４）、請求項３に記載のマルチチャネル対話型オーデ
   ィオ・システム。
5. 【請求項５】 前記オーディオ・レンダラが、 ａ．アンパックおよび圧縮解除された前記サブバンド・データを、左にシフト
   したフォーマットで前記メモリへ記憶し（６４）、前記メモリへの記憶において
   、Ｎビットの前記サブバンド・データの符号ビットが、Ｍビットのフォーマット
   の符号ビットと位置合わせされ、Ｍ−Ｎの最右ビットが、ノイズ・フロアより低
   いノイズを表すものであり、 ｂ．各サブバンドについて、可聴な前記サブバンド・データにそれぞれのスケ
   ール・ファクタを乗算し（６８）、それらを足し合わせて合計を出し、 ｃ．各サブバンドについて、混合されたサブバンド・データを生成するために
   、可聴な前記サブバンド・データの最大スケール・ファクタの逆数を前記合計に
   乗算し、 ｄ．前記混合されたサブバンド・データが前記フォーマットをオーバーフロー
   する場合に、最大スケール・ファクタを次に大きい値に増分して、ステップｃを
   反復する、 請求項４に記載のマルチチャネル対話型オーディオ・システム。
6. 【請求項６】 前記入力データ・フレームが、フレームごとに固定されてい
   るヘッダ（１１０）およびビット割付けテーブル（１１２）を更に含み、前記ス
   ケール・ファクタおよびサブバンド・データのみが変化する、請求項１に記載の
   マルチチャネル対話型オーディオ・システム。
7. 【請求項７】 圧縮された前記サブバンド・データが固定長のコードでコー
   ド化される、請求項６に記載のマルチチャネル対話型オーディオ・システム。
8. 【請求項８】 前記オーディオ・レンダラが、Ｎがサブバンドにわたって変
   化するものであるＮビットの前記サブバンド・データの各々をアンパックするも
   のであって、 ａ．ＦＬＣと固定ビット割付けとを使用して、前記入力オーディオ・フレーム
   における前記サブバンド・データの位置を計算し、前記サブバンド・データを抽
   出し、それを、最左ビットが符号ビットであるＭビットのワードとして前記メモ
   リに記憶し、 ｂ．前記サブバンド・データを、その符号ビットが前記Ｍビットのワードの符
   号ビットと位置合わせされるまで、左にシフトし、最右のＭ−Ｎビットが前記Ｍ
   ビットのワードにノイズとして残るものである、 ようにアンパックするものである、 請求項７に記載のマルチチャネル対話型オーディオ・システム。
9. 【請求項９】 前記オーディオ・レンダラが、固定ヘッダとビット割付けテ
   ーブルとに対してハードコードされており、前記オーディオ・レンダラが、速さ
   を増すために、前記スケール・ファクタおよび前記サブバンド・データのみを処
   理する、請求項８に記載のマルチチャネル対話型オーディオ・システム。
10. 【請求項１０】 前記オーディオ・レンダラが、前記オーディオ成分の等化
    を提供するアプリケーションとインタフェースし、前記オーディオ・レンダラが
    、それぞれの前記オーディオ成分を、そのスケール・ファクタを変更することに
    よって等化する、請求項１に記載のマルチチャネル対話型オーディオ・システム
    。
11. 【請求項１１】 前記オーディオ・レンダラが、前記オーディオ成分の横向
    きローカリゼーションを提供するアプリケーションとインタフェースし、前記オ
    ーディオ・レンダラが、２００Ｈｚから１２００Ｈｚの範囲にわたる前記サブバ
    ンド・データに位相位置決めフィルタを適用することによって、前記オーディオ
    成分の横向きローカリゼーションを行う、請求項１に記載のマルチチャネル対話
    型オーディオ・システム。
12. 【請求項１２】 前記入力フレームおよび出力フレームが、ヘッダ（１１０
    ）およびビット割付けテーブル（１１２）も含み、前記オーディオ・レンダラが
    、 ａ．前記ヘッダと、前記ビット割付けテーブルと、可聴でない信号を表すスケ
    ール・ファクタおよびサブバンド・データとを含むヌル出力テンプレート（７４
    ）をキューに配置し、 ｂ．混合されたサブバンド・データとスケール・ファクタの次のフレームが準
    備されている場合には、混合された前記サブバンド・データおよびスケール・フ
    ァクタを以前の出力フレームに上書きして、その出力フレームを送信し、 ｃ．前記次のフレームが準備されていない場合には、前記ヌル出力テンプレー
    トを送信する ことによって、デコーダの同期を維持するために出力フレームの継ぎ目のない生
    成に対して備えるものである、 請求項１に記載のマルチチャネル対話型オーディオ・システム。
13. 【請求項１３】 前記デコーダが、マルチチャネル・オーディオをデコード
    することができるデジタル・サラウンド・サウンド・デコーダであり、前記オー
    ディオ・レンダラが一連の前記出力フレームを送信し、該出力フレームは、前記
    マルチチャネル・オーディオと同じフォーマットでリアルタイム対話型マルチチ
    ャネル・オーディオを提供するものである、請求項１に記載のマルチチャネル対
    話型オーディオ・システム。
14. 【請求項１４】 単一バンド制限コネクタを更に備え、前記オーディオ・レ
    ンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレー
    ムを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネ
    クタを通じて前記デジタル・サラウンド・サウンド・デコーダ（１２）へ送信し
    、該デジタル・サラウンド・サウンド・デコーダは、前記ビットストリームを、
    バンド幅が前記単一バンド制限コネクタのものを超える対話型マルチチャネル・
    オーディオへとデコードする、請求項１３に記載のマルチチャネル対話型オーデ
    ィオ・システム。
15. 【請求項１５】 単一バンド制限コネクタを更に備え、前記オーディオ・レ
    ンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレー
    ムを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネ
    クタを通じて前記デコーダへ送信し、該デコーダは、前記ビットストリームを、
    バンド幅が前記単一バンド制限コネクタのものを超えるマルチチャネル・オーデ
    ィオへとデコードする、請求項１に記載のマルチチャネル対話型オーディオ・シ
    ステム。
16. 【請求項１６】 前記オーディオ成分の１つまたは複数のものが、開始の入
    力フレームと、該開始のフレームとの継ぎ目のない連結を保証するためにサブバ
    ンド・データが前処理されている終了の入力フレームとを有するルーピングされ
    たデータを備える、請求項１に記載のマルチチャネル対話型オーディオ・システ
    ム。
17. 【請求項１７】 マルチチャネル対話型オーディオ・システムであって、 複数のオーディオ成分を、固定長コード（ＦＬＣ）でコード化されるビットス
    トリームの入力データ・フレームのシーケンスとして記憶するメモリであって、
    各前記入力データ・フレームが、ヘッダ（１１０）と、ビット割付けテーブル（
    １１２）と、圧縮およびパックされたサブバンド・データ（１１６）およびスケ
    ール・ファクタ（１１４）とを含み、前記ヘッダおよびビット割付けテーブルが
    、成分ごと、チャネルごと、およびフレームごとに固定される、メモリと、 ユーザから入力を受け取るための人的入力装置（ＨＩＤ）（３６、３８）と、 前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケー
    ション・プログラミング・インタフェース（ＡＰＩ）（４２）と、 固定された前記ヘッダおよびビット割付けテーブルに対してハードコードされ
    るオーディオ・レンダラ（４４）であって、 各チャネルに対して前記オーディオ成分のスケール・ファクタ（１１４）
    をアンパックおよび圧縮解除し、 混合された前記サブバンド・データのスケール・ファクタを計算し、 前記スケール・ファクタを使用して、可聴な前記サブバンド・データを決
    定し、 前記可聴なサブバンド・データのみをアンパックおよび圧縮解除し、 各チャネルについて前記サブバンド領域において前記可聴なサブバンド・
    データを混合し、 各チャネルについて前記混合されたサブバンド・データおよびそのスケー
    ル・ファクタを圧縮し、 前記チャネルの圧縮されたサブバンド・データおよびスケール・ファクタ
    を出力フレーム内にパックおよび多重化し、 前記出力フレームを、デコーダへ送信するためにキューに配置する オーディオ・レンダラ（４４）と を備えるマルチチャネル対話型オーディオ・システム。
18. 【請求項１８】 前記オーディオ・レンダラが、Ｎがサブバンドにわたって
    変化するものであるＮビットの可聴の前記サブバンド・データの各々をアンパッ
    クするものであって、 ａ．ＦＬＣと固定ビット割付けとを使用して、前記入力オーディオ・フレーム
    における前記可聴のサブバンド・データの位置を計算し、前記可聴のサブバンド
    ・データを抽出し、それを、最左ビットが符号ビットであるＭビットのワードと
    して前記メモリに記憶し、 ｂ．前記可聴のサブバンド・データを、その符号ビットが前記Ｍビットのワー
    ドの符号ビットと位置合わせされるまで、左にシフトし、最右のＭ−Ｎビットが
    前記Ｍビットのワードにノイズとして残るものである、 ようにアンパックするものである、 請求項１７に記載のマルチチャネル対話型オーディオ・システム。
19. 【請求項１９】 前記デコーダが、マルチチャネル・オーディオをデコード
    することができるデジタル・サラウンド・サウンド・デコーダ（１０、１２、１
    ６）である、請求項１７に記載のマルチチャネル対話型オーディオ・システム。
20. 【請求項２０】 前記オーディオ・レンダラが、 ａ．前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサ
    ブバンドおよびスケール・ファクタを含むヌル出力テンプレートを、デコーダへ
    送信するためにキューに配置し、 ｂ．混合されたサブバンド・データおよびスケール・ファクタの次のフレーム
    が準備されている場合に、前記混合されたサブバンド・データおよびスケール・
    ファクタを以前の出力フレームに上書きし、その出力フレームを送信し、 ｃ．前記次のフレームが準備されていない場合に、前記ヌル出力テンプレート
    を送信する ことによって出力フレームの継ぎ目のないシーケンスを生成する、 請求項１７に記載のマルチチャネル対話型オーディオ・システム。
21. 【請求項２１】 マルチチャネル対話型オーディオ・システムであって、 複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記
    憶するメモリであって、それぞれの前記入力データ・フレームが、ヘッダ（１１
    ０）、ビット割付けテーブル（１１２）、および圧縮およびパックされたオーデ
    ィオ・データ（１１６）を含む、メモリと、 ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、 前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケー
    ション・プログラミング・インタフェース（ＡＰＩ）（４２）と、 出力フレームの継ぎ目のないシーケンスを生成するオーディオ・レンダラ（４
    ４）であって、 ａ．前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサ
    ブバンド・データおよびスケール・ファクタ（１１４）を含むヌル出力テンプレ
    ート（７４）を、デコーダへ送信するためにキューに配置し、 ｂ．各チャネルについて前記オーディオ成分のデータを同時にアンパックおよ
    び圧縮解除し、各チャネルについて前記オーディオ成分のデータを混合し、混合
    した前記データのスケール・ファクタを計算し、各チャネルについて前記混合し
    たデータを圧縮し、前記チャネルの圧縮したデータをパックおよび多重化し、 ｃ．前記混合したデータの次のフレームが準備されている場合に、前記混合し
    たデータを以前の出力フレームに上書きし、その出力フレームを送信し、 ｄ．前記次のフレームが準備されていない場合に、前記ヌル出力テンプレート
    を送信する ことによって継ぎ目のないシーケンスを生成するオーディオ・レンダラ（４４）
    と、 を備えるマルチチャネル対話型オーディオ・システム。
22. 【請求項２２】 前記デコーダが、マルチチャネル・オーディオをデコード
    することができるデジタル・サラウンド・サウンド・デコーダ（１０、１２、１
    ６）である、請求項２１に記載のマルチチャネル対話型オーディオ・システム。
23. 【請求項２３】 前記オーディオ・データが、サブバンド・データおよびそ
    のスケール・ファクタを備え、前記オーディオ・レンダラが、前記ユーザに対し
    て可聴であると見なされる前記サブバンド・データのみを混合する、請求項２１
    に記載のマルチチャネル対話型オーディオ・システム。
24. 【請求項２４】 前記オーディオ・レンダラが、リストされた前記オーディ
    オ成分のスケール・ファクタを使用することによって、サブバンドにおけるマス
    キング効果を計算し、サブバンドの可聴でないオーディオ成分を破棄することに
    よって、何れのサブバンドが前記ユーザにとって可聴であるかを決定する、請求
    項２３に記載のマルチチャネル対話型オーディオ・システム。
25. 【請求項２５】 前記オーディオ・レンダラが、まず、前記オーディオ成分
    のスケール・ファクタをアンパックおよび圧縮解除し、前記可聴なサブバンドを
    決定し、次いで、前記可聴なサブバンドの前記サブバンド・データのみをアンパ
    ックおよび圧縮解除する、請求項２４に記載のマルチチャネル対話型オーディオ
    ・システム。
26. 【請求項２６】 マルチチャネル対話型オーディオ・システムであって、 複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記
    憶するためのメモリであって、それぞれの前記入力データ・フレームは、ヘッダ
    （１１０）、ビット割付けテーブル（１１２）、圧縮およびパックされたサブバ
    ンド・データ（１１６）およびスケール・ファクタ（１１４）を含むものである
    、メモリと、 ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、 前記ユーザの入力に応答して、オーディオ成分のリストを生成し、前記リスト
    上の各オーディオ成分をデジタル・サラウンド・サウンド環境の各チャネルにマ
    ッピングするマッピング係数を計算するアプリケーション・プログラミング・イ
    ンタフェース（ＡＰＩ）（４２）と、 オーディオ・レンダラ（４４）であって、 各チャネルに対する前記オーディオ成分のサブバンド・データおよびスケ
    ール・ファクタをアンパックおよび圧縮解除し、 混合した前記サブバンド・データのスケール・ファクタを計算し、 各チャネルに対して前記サブバンドの領域において前記オーディオ成分の
    サブバンド・データを混合し、 各チャネルに対して前記混合したサブバンド・データおよびそのスケール
    ・ファクタを圧縮し、 前記チャネルの圧縮したサブバンド・データおよびスケール・ファクタを
    出力フレームへとパックおよび多重化し、 前記出力フレームをキュー内に配置する オーディオ・レンダラ（４４）と、 マルチチャネル・オーディオを生成するために、既存の事前に記録したマルチ
    チャネル・デジタル・オーディオと同じフォーマットを有する前記出力フレーム
    をデコードするデジタル・サラウンド・サウンド・デコーダと を備えるマルチチャネル対話型オーディオ・システム。
27. 【請求項２７】 マルチチャネル対話型オーディオ・システムであって、 ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、 コンソールであって、 複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとし
    て記憶するためのメモリであって、それぞれの前記入力データフレームが圧縮お
    よびパックされたサブバンド・データ（１１６）およびそのスケール・ファクタ
    （１１４）を含むものである、メモリと、 前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリ
    ケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、 オーディオ・レンダラ（４４）と、 を備えるコンソールと、 前記オーディオ・レンダラが、 各チャネルに対して前記オーディオ成分のサブバンド・データおよびスケ
    ール・ファクタをアンパックおよび圧縮解除し、 混合した前記サブバンド・データのスケール・ファクタを計算し、 各チャネルに対して前記サブバンドの領域において前記オーディオ成分の
    サブバンド・データを混合し、 各チャネルに対して前記混合したサブバンド・データおよびそのスケール
    ・ファクタを圧縮し、 前記チャネルの圧縮した前記サブバンド・データおよびスケール・ファク
    タを出力フレームへとパックおよび多重化し、 前記出力フレームを、前記圧縮したオーディオ・データが継ぎ目のない統
    一されたビットストリームとして出力されるようにキュー内に配置する オーディオ・レンダラ（４４）であることと、 前記ビットストリームをマルチチャネル・オーディオ信号にデコードするデジ
    タル・デコーダ（１０、１２、１６）と、 前記ビットストリームを前記デコーダへ送る単一バンド制限コネクタと を備えるマルチチャネル対話型オーディオ・システム。
28. 【請求項２８】 ルーピングと互換性のある圧縮フォーマットで記憶するた
    めにＰＣＭオーディオ・データを準備する方法であって、前記ＰＣＭオーディオ
    ・データがファイルに記憶され、圧縮フォーマットが、圧縮されたオーディオの
    シーケンスを含み、 ａ．ルーピングされたセグメントを形成するために、圧縮されたオーディオ・
    フレームの全体の数によって定められた境界に適合するように、時間についてＰ
    ＣＭオーディオ・データをコンパクト化または拡張し、 ｂ．ＰＣＭオーディオ・データのＮのフレームを前記ファイルの終了部からル
    ーピングされたセグメントの開始部へ添付し、 ｃ．ルーピングされた前記セグメントをビットストリームにエンコードし、 ｄ．エンコードされた前記ビットストリームの前記開始部からＮの圧縮された
    フレームを削除して、圧縮されたオーディオ・ループ・シーケンスを生じるよう
    にし、ルーピング中に、前記ループ・シーケンスの終了フレームにおける圧縮さ
    れた前記オーディオ・データが開始フレームとの継ぎ目のない連結を保証するも
    のである、 ステップを備える方法。
29. 【請求項２９】 マルチチャネル・オーディオをレンダリングする方法であ
    って、 ａ．複数のオーディオ成分を、圧縮およびパックされたサブバンド・データ（
    １１６）およびスケール・ファクタ（１１４）をそれぞれが含む入力データ・フ
    レーム（７２）のシーケンスとして記憶し、 ｂ．ユーザの入力に応答して、オーディオ成分のリストを生成し、 ｃ．各チャネルに対して前記サブバンド・データおよびスケール・ファクタを
    アンパックおよび圧縮解除し、 ｄ．混合された前記サブバンド・データのスケール・ファクタを計算し、 ｅ．各チャネルに対して前記サブバンド・データを混合し、 ｆ．混合した前記サブバンド・データおよびそのスケール・ファクタを圧縮し
    、 ｇ．前記チャネルの圧縮した前記サブバンド・データおよびスケール・ファク
    タを出力フレームへとパックおよび多重化し、 ｈ．前記出力フレームをデコーダに送信するためにキューに配置する ステップを備える方法。
30. 【請求項３０】 前記サブバンド・データをアンパックおよび圧縮解除する
    ことが、 前記スケール・ファクタのみをアンパックおよび圧縮解除し、 何れのサブバンドが可聴であるかを決定するために前記スケール・ファクタを
    使用し、 可聴な前記サブバンド・データのみをアンパックおよび圧縮解除する ステップを備える、 請求項２９に記載の方法。
31. 【請求項３１】 位相位置決めフィルタを、約２００Ｈｚから約１２００Ｈ
    ｚの範囲にわたる前記サブバンド・データに適用することによって、前記オーデ
    ィオ成分の横向きローカリゼーションを行うことを更に備える、請求項３０に記
    載の方法。
32. 【請求項３２】 ａ．ヘッダ（１１０）、ビット割付けテーブル（１１２）
    、および可聴でない信号を表すサブバンド・データ（１１６）およびスケール・
    ファクタ（１１４）を含むヌル出力テンプレート（７４）をデコーダへ送信する
    ためにキューに配置し、 ｂ．混合したサブバンド・データおよびスケール・ファクタの次のフレームが
    準備されている場合には、前記混合したサブバンド・データおよびスケール・フ
    ァクタを以前の出力フレームに上書きし、その出力フレームを送信し、 ｃ．前記次のフレームが準備されていない場合には、前記ヌル出力テンプレー
    トを送信する ステップを更に備える請求項２９に記載の方法。