JP2002078099A

JP2002078099A - 音声信号をミキシングするための方法および装置

Info

Publication number: JP2002078099A
Application number: JP2000384942A
Authority: JP
Inventors: Chen Henry; チェンヘンリー
Original assignee: Nintendo Co Ltd
Current assignee: Nintendo Co Ltd
Priority date: 2000-08-23
Filing date: 2000-12-19
Publication date: 2002-03-15
Anticipated expiration: 2020-12-19
Also published as: US7369665B1; JP4570766B2

Abstract

(57)【要約】（修正有）【解決手段】音声信号をミキシングするためのシステ
ムおよび方法において、ミキサバッファが３つ以上の音
声チャネル（Ｌ，Ｒ，Ｓ）についてのサンプル値をスト
アし、各音声チャネルは主音声成分および１つ以上の補
助音声成分を含む。各音声チャネル毎の補助音声成分を
音声効果プロセサに送るための送り経路（９１４ａ−９
１４ｃ）が設けられ、各音声チャネル毎の効果処理され
た補助音声成分を音声効果プロセサからそれぞれ対応す
る主音声成分に加えるための戻り経路（９１６ａ−９１
６ｃ）が設けられる。【効果】残響，コーラス，遅延のような音声効果を３
次元空間内に選択的に位置決めできる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は音声信号をミキシング
するための方法および装置に関し、特にたとえば、家庭
用ビデオゲームプラットホームのようなインタラクティ
ブグラフィクスシステムのビデオ出力を伴う音声信号を
ミキシングする方法および装置に関する。

【０００２】

【発明の背景および発明の概要】多くの人々はかなりリ
アルな恐竜，エイリアン，生き生きとしたおもちゃおよ
び他の空想的な動物を含む映画をかつて見たことがあ
る。そのようなアニメーションはコンピュータグラフィ
クスによって可能とされた。そのような技術を用いて、
コンピュータグラフィクスのアーティストは、各オブジ
ェクトがどのように見えるべきかや時間の経過とともに
外見上どのように変化すべきかを特定し、コンピュータ
は、そのオブジェクトをモデル化してテレビジョンやコ
ンピュータスクリーンのようなディスプレイに表示す
る。コンピュータは、表示される映像の各部分を、場面
中の各オブジェクトの位置や向き，各オブジェクトを照
らすように見える照明の方向，各オブジェクトの表面テ
クスチャ，および他の要素に正確に基づいて、色付けし
また形作るために必要な多くのタスクを実行する。

【０００３】コンピュータグラフィクスの生成は複雑で
あるので、ここ数年前のコンピュータによって生成され
た３次元（３Ｄ）グラフィクスは、ほとんど高価な特殊
なフライトシミュレータ，ハイエンドグラフィクスワー
クステーションおよびスーパーコンピュータに限られて
いた。大衆は映画や高価なテレビコマーシャルにおいて
これらのコンピュータシステムによって生成された映像
のいくつかを見たが、大部分の人はグラフィクスを生成
しているコンピュータに対して実際に相互作用をさせる
ことはできない。たとえば、Nintendo64（登録商標）や
今や利用可能であるパソコン用の種々の３Ｄグラフィク
スカードのような比較的安価な３Ｄグラフィクスプラッ
トフォームの利用によって、このすべてが変わった。今
や、家庭や会社の比較的安価なコンピュータグラフィク
スシステム上でエキサイティングな３Ｄアニメーション
やシミュレーションに対して相互作用を及ぼすことがで
きる。

【０００４】対話型（インタラクティブ）３Ｄコンピュ
ータグラフィクスシステムは、ビデオゲームをプレイす
るのにしばしば用いられる。しかしながら、「ゲームの
経験」はビデオコンテンツ以上のものを必要とする。た
とえば、ほとんどすべてのゲーム経験はビデオコンテン
ツを伴うオーディオコンテンツを含む。ここで説明され
るオーディオシステムは、音声エミッタ（放射器）を３
次元空間に置くことを可能にし、かつ１対のスピーカで
サイコアコースティック(psycho-acoustic)な３Ｄ音声
効果を発生する強力な手段を提供する。オーディオシス
テムは、ＤＶＤのような大容量記憶媒体から読み出され
た、たとえば音声サンプル，楽器波形テーブル，オーデ
ィオトラックおよびその他をストアするのに用いられる
オーディオメモリを含む。音声サンプル，波形テーブ
ル，音声トラック等は、順次読み出されてゲームオーデ
ィオコンテンツを生成するために、オーディオディジタ
ル信号プロセサによって処理される。このコンテンツは
主メモリへ転送され、そこからさらにデコーダに供給し
かつスピーカに出力するために読み出される。この分離
されたオーディオメモリによって、主システムメモリに
アクセスしようとしている他のリソース（たとえばグラ
フィクスシステム）と競争する必要性を回避して、オー
ディオデータへのオーディオ処理回路のアクセスを改善
する。

【０００５】この発明はビデオゲームのオーディオコン
テンツを増強し、特に、残響，コーラスおよび遅延のよ
うな音声効果(sound effects)を増強する。ステレオ音
声システムにおいて音声効果を付与する従来の構成が図
１５に示される。音声ソースからの信号が左および右チ
ャネルＬおよびＲに分配される。左および右チャネル上
の信号がタップされて、残響，コーラスおよび遅延のよ
うな左および右チャネルの音声効果を個別に与える音声
効果プロセサ１０００に送られる。処理された信号が左
および右チャネルに加え戻され、その結果の信号が最終
的にスピーカ１００２Ｌおよび１００２Ｒから出力され
る。

【０００６】図１６はサラウンド音声システムにおいて
音声効果を与える従来の構成を示す。音声ソースからの
信号が左，右およびサラウンドチャネルＬ，ＲおよびＳ
に分配される。効果プロセサ１００４に送られてすべて
のチャネルからのものと合計される１つの「補助」があ
り、１つの「補助」が効果プロセサ１００４から戻り、
すべてのチャネルに供給される。思うに、たとえば、音
声ソースからの信号が大量に左チャネルにミックスされ
て、効果プロセサ１００４が残響を加える。図１６の構
成では、残響はすべてのチャネルに平等に分配されるの
で、残響が中央に置かれる。したがって、図１６の構成
を用いて、３次元空間内に、残響もしくは遅延およびコ
ーラスのような他の効果を選択的に位置決めすることは
できない。

【０００７】以下に説明するミキサおよび効果プロセサ
は、左，右およびサラウンドチャネルのような３つ以上
のチャネル上の信号に別々に効果を付与する。したがっ
て、効果が３次元空間内において選択的に「位置決め」
され得る。ミキサバッファは３つ以上の音声チャネルに
ついてサンプル値をストアし、各音声チャネルは主音声
成分および１つ以上の補助音声成分を含む。送り経路
が、各音声チャネル毎に補助音声成分を音声効果プロセ
サに送るために設けられ、音声効果プロセサからの戻り
経路が、各音声チャネル毎に音声効果処理された補助音
声成分をそれぞれ対応する主音声成分に加えるために設
けられる。ミキサは、ミキサバッファ内のチャネル数が
効果プロセサへの／からの送り／戻りの数と同じである
という点で、相称的である。

【０００８】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【０００９】

【実施例】図１は対話型（インタラクティブ）３Ｄコン
ピュータグラフィクスシステム５０の一例を示す。シス
テム５０は対話型３Ｄビデオゲームをステレオ音声とと
もにプレイするのに用いられ得る。これはまた多様な他
のアプリケーションにも用いられ得る。

【００１０】この実施例において、システム５０は３次
元世界のディジタル表現ないしモデルをインタラクティ
ブにかつリアルタイムに処理することができる。システ
ム５０は、任意の視点から、その世界の一部または全部
を表示することができる。たとえば、システム５０は、
手持ちコントローラ５２ａおよび５２ｂまたは他の入力
デバイスからのリアルタイム入力に応答して、視点をイ
ンタラクティブに変化できる。このことによって、ゲー
ムプレーヤは、その世界内もしくは外の誰かの目を通し
てその世界を見ることができる。システム５０は、リア
ルタイム３Ｄインタラクティブ表示を必要としないアプ
リケーション（たとえば２Ｄ表示の発生やおよび／また
はノンインタラクティブ表示）に使用できるが、高品質
の３Ｄ映像を非常に速く表示する能力は、非常にリアル
でエキサイティングなゲームプレイや他のグラフィクス
インタラクションを創造するのに使用され得る。

【００１１】システム５０を用いてビデオゲームまたは
他のアプリケーションをプレイするために、ユーザはま
ず、主ユニット５４を、カラーテレビ５６または他の表
示装置に、両者の間にケーブル５８を接続することによ
って、接続する。主ユニット５４はカラーテレビ５６を
制御するためのビデオ信号およびオーディオ信号を発生
する。ビデオ信号はテレビジョン画面５９上に表示され
ている映像を制御するものであり、オーディオ信号はテ
レビのステレオスピーカ６１Ｌおよび６１Ｒを通して音
声として再生される。

【００１２】ユーザはまた主ユニット５４を電源につな
ぐ必要がある。この電源は従来のＡＣアダプタ（図示せ
ず）であってよく、そのＡＣアダプタは家庭用の標準的
な壁ソケットに差し込まれ、家庭用電源を、主ユニット
５４を駆動するのに適した低いＤＣ電圧信号に変換す
る。他の実施例ではバッテリが用いられてもよい。

【００１３】ユーザは主ユニット５４を制御するために
手持ちコントローラ５２ａおよび５２ｂを用いる。コン
トロール６０は、たとえば、３Ｄ世界内においてテレビ
５６に表示されているキャラクタが移動すべき方向（上
または下、左または右、近づいてまたは遠ざかって）を
指示するために使用され得る。コントロール６０は、ま
た他のアプリケーションのための入力（たとえばメニュ
ー選択，ポインタ／カーソル制御，その他）を与える。
コントローラ５２は多様な形態をとり得る。この実施例
においては、図示されるコントローラ５２は、各々ジョ
イスティック，押しボタンおよび／または方向スイッチ
のようなコントロール６０を含む。コントローラ５２
は、ケーブルによって、もしくは電磁波（たとえば電波
または赤外線）を介してワイヤレスで、主ユニット５４
に接続され得る。

【００１４】ゲームのようなアプリケーションをプレイ
するために、ユーザはビデオゲームもしくはプレイした
いと思う他のアプリケーションをストアしている適宜の
記憶媒体６２を選択し、その記憶媒体を主ユニット５４
のスロット６４に差し込む。記憶媒体６２は、たとえ
ば、特別にエンコードされおよび／または記号化された
光学的ならびに／もしくは磁気的ディスクであってよ
い。ユーザは主ユニット５４をオンするために電源スイ
ッチ６６を操作し、主ユニットがその記憶媒体６２にス
トアされているソフトウェアに基づいてビデオゲームも
しくは他のアプリケーションを実行し始めるようにす
る。ユーザは主ユニットに入力を与えるためにコントロ
ーラ５２を操作する。たとえば、コントロール６０を操
作することによってゲームもしくは他のアプリケーショ
ンをスタートさせる。他のコントロール６０を動かすこ
とによって、動画キャラクタを異なる方向に移動させ、
または３Ｄ世界におけるユーザの視点を変化させる。記
憶媒体６２にストアされている具体的なソフトウェアに
よって、コントローラ５２上の種々のコントロール６０
は異なる時間で異なる機能を達成することができる。

【００１５】全体システムの例図２はシステム５０の例示的なコンポーネントのブロッ
ク図であり、重要なコンポーネントは、・主プロセサ（ＣＰＵ）１１０，・主メモリ１１２，および・グラフィクス／オーディオプロセサ１１４を含む。

【００１６】この実施例において、主プロセサ１１０
（たとえばＩＢＭパワーＰＣ７５０の改良版）は、手持
ちコントローラ５２（および／または他の入力デバイ
ス）からの入力をグラフィクス／オーディオプロセサ１
１４を通して受ける。主プロセサ１１０はユーザ入力に
インタラクティブに応答し、光ディスクドライブのよう
な大容量記憶媒体アクセス装置１０６を介して、たとえ
ば外部記憶媒体６２から供給されるビデオゲームもしく
は他のプログラムを実行する。一例として、ビデオゲー
ムプレイの状況では、主プロセサ１１０は、多様なイン
タラクティブ制御機能に加えて、衝突検出および動画処
理を実行する。主メモリ１１２は、たとえばモーゼスコ
ーポレーション(Moses Corporation)によって作られた
１ＴＳＲＡＭのようなＳＲＡＭを含み、これは自動的に
内部リフレッシュ動作を実行する。

【００１７】この実施例では、主プロセサ１１０は３Ｄ
グラフィクス／オーディオコマンドを発生し、それらを
グラフィクス／オーディオプロセサ１１４に送る。グラ
フィクス／オーディオプロセサ１１４はこれらのコマン
ドを処理し、ディスプレイ５９上での可視映像を生成
し、ステレオスピーカ６１Ｒおよび６１Ｌもしくは他の
適宜の音声発生デバイス上でのステレオ音声を生成す
る。

【００１８】実施例のシステム５０はビデオエンコーダ
１２０を含み、このビデオエンコーダは、グラフィクス
／オーディオプロセサ１１４からの映像信号を受けて、
その映像信号をコンピュータモニタや家庭用テレビ５６
のような標準的な表示装置上での表示に適したアナログ
および／またはディジタルビデオ信号に変換する。シス
テム１００はまたオーディオコーデック（圧縮器／伸長
器）１２２を含み、このオーディオコーデックはディジ
タル化されたオーディオ信号を圧縮しかつ伸長するとと
もに、必要に応じてディジタルオーディオ信号のフォー
マットとアナログオーディオ信号のフォーマットとの間
で変換を行う。オーディオコーデック１２２はバッファ
１２４を介してオーディオ入力を受けることができ、処
理（たとえば、プロセサが生成したおよび／または大容
量記憶媒体アクセス装置１０６のストリームオーディオ
出力を介して受信した他のオーディオ信号とのミキシン
グ）するために、そのオーディオ入力をグラフィクス／
オーディオプロセサ１１４に与える。この実施例におけ
るグラフィクス／オーディオプロセサ１１４は、オーデ
ィオタスクに利用可能なオーディオメモリ１２６にオー
ディオ関連情報をストアすることができる。グラフィク
ス／オーディオプロセサ１１４は、結果的に得られるオ
ーディオ出力信号を、圧縮およびアナログ信号への変換
のために、オーディオコーデック１２２に与え、したが
ってそのオーディオ出力信号が（たとえばバッファアン
プ１２８Ｌおよび１２８Ｒを介して）スピーカ６１Ｌお
よび６１Ｒによって再生され得る。

【００１９】グラフィクス／オーディオプロセサ１１４
はシステム１００内に存在するであろう種々の付加的な
デバイスと通信する能力を有する。たとえば、パラレル
ディジタルバス１３０は大容量記憶媒体アクセス装置１
０６および／または他のコンポーネントと通信するため
に用いられる。シリアル周辺バス１３２は多様な周辺機
器または、たとえば、・ＰＲＯＭおよび／またはＲＴＣ（リアルタイムクロッ
ク）１３４，・モデム１３６もしくは他のネットワークインタフェー
ス（それはシステム１００を、プログラム命令および／
またはデータがダウンロードもしくはアップロードされ
得るインターネットあるいは他のディジタルネットワー
クのようなテレコミュニケーションネットワーク１３８
に接続する），および・フラッシュメモリ１４０を含む他のデバイスと通信す
る。別の外部シリアルバス１４２は、付加的な拡張メモリ１
４４（たとえばメモリカード）もしくは他のデバイスと
通信するために使用され得る。コネクタが種々のデバイ
スをバス１３０，１３２および１４２に接続するために
使用され得る。

【００２０】グラフィクス／オーディオプロセサの例図３は実施例のグラフィクス／オーディオプロセサ１１
４を示すブロック図である。或る実施例においては、グ
ラフィクス／オーディオプロセサ１１４はシングルチッ
プＡＳＩＣであってよい。この実施例においては、グラ
フィクス／オーディオプロセサ１１４は、・プロセサインタフェース１５０，・メモリインタフェース／コントローラ１５２，・３Ｄグラフィクスプロセサ１５４，・オーディオディジタル信号プロセサ（ＤＳＰ）１５
６，・オーディオメモリインタフェース１５８，・オーディオインタフェース／ミキサ１６０，・周辺コントローラ１６２，および・表示コントローラ１６４を含む。

【００２１】３Ｄグラフィクスプロセサ１５４はグラフ
ィクス処理タスクを実行する。オーディオディジタル信
号プロセサ１５６はオーディオ処理タスクを実行する。
表示コントローラ１６４は主メモリ１１２からの映像情
報にアクセスし、表示装置１０２上での表示のためにそ
の映像情報をビデオエンコーダ１２０に与える。オーデ
ィオインタフェース／ミキサ１６０はオーディオコーデ
ック１２２をインタフェースし、また異なるソースから
のオーディオ（たとえば、大容量記憶媒体アクセス装置
１０６からのオーディオストリーム，オーディオＤＳＰ
１５６の出力，およびオーディオコーデック１２２を通
して受ける外部オーディオ入力）をミックスすることが
できる。プロセサインタフェース１５０は主プロセサ１
１０およびグラフィクス／オーディオプロセサ１１４の
間のデータおよび制御インタフェースを提供する。

【００２２】メモリインタフェース１５２はグラフィク
ス／オーディオプロセサ１１４とメモリ１１２との間の
データおよび制御インタフェースを提供する。この実施
例においては、主プロセサ１１０は、プロセサインタフ
ェース１５０およびグラフィクス／オーディオプロセサ
１１４の一部であるメモリインタフェース１５２を介し
て、主メモリ１１２にアクセスする。周辺コントローラ
１６２はグラフィクス／オーディオプロセサ１１４と上
で述べた種々の周辺機器との間のデータおよび制御イン
タフェースを提供する。オーディオメモリインタフェー
ス１５８はオーディオメモリ１２６とのインタフェース
を提供する。

【００２３】グラフィクスパイプラインの例図４は図３の３Ｄグラフィクスプロセサ１５４をより詳
細に示すグラフィクス処理システムを示す。この３Ｄグ
ラフィクスプロセサ１５４は、とりわけ、コマンドプロ
セサ２００および３Ｄグラフィクスパイプライン１８０
を含む。主プロセサ１１０はデータストリーム（たとえ
ばグラフィクスコマンドストリームおよび表示リスト）
をコマンドプロセサ２００に通信する。主プロセサ１１
０はメモリレイテンシを最小化するために２レベルキャ
ッシュ１１２を有し、さらにまたグラフィクス／オーデ
ィオプロセサ１１４に向けられたキャッシュされていな
いデータストリームのための書込収集(write-gatherin
g)バッファ１１１を有する。この書込収集バッファ１１
は部分キャッシュラインを全キャッシュラインに集め、
バスの最大使用時に、グラフィクス／オーディオプロセ
サ１１４からのデータを１つのキャッシュラインに送
る。

【００２４】コマンドプロセサ２００は主プロセサ１１
０からの表示コマンドを受け、それらを解剖し、メモリ
コントローラ１５２を介して共用メモリ１１２からのそ
のコマンドを処理するに必要な付加的なデータを入手す
る。コマンドプロセサ２００は、２Ｄおよび／または３
Ｄ処理およびレンダリングのために、頂点コマンドのス
トリームをグラフィクスパイプライン１８０に与える。
グラフィクスパイプライン１８０はこれらのコマンドに
基づいて映像を生成する。結果として得られた映像情報
は、表示コントローラ／ビデオインタフェースユニット
１６４によるアクセスのために主メモリ１２０に転送さ
れ得て、この映像情報は表示装置１５６上にパイプライ
ン１８０のフレームバッファ出力を表示する。

【００２５】図５はグラフィクスプロセサ１５４を用い
て実行される処理を図解的に示すブロック論理フロー図
である。主プロセサ１０は、グラフィクスコマンドスト
リーム２１０，表示リスト２１２および頂点アレイ２１
４を主メモリ１１２にストアし、ポインタをプロセサ／
バスインタフェース１５０を介してコマンドプロセサ２
００に送る。主プロセサ１１０は主メモリ１１０内に割
り付けられた１つ以上のグラフィクスＦＩＦＯバッファ
２１０にグラフィクスコマンドをストアする。このコマ
ンドプロセサ２００は、・同期／フロー制御および負荷バランスのためにグラフ
ィクスコマンドを受けかつバッファするオンチップＦＩ
ＦＯメモリバッファ２１６を介して主メモリ１１２から
のコマンドストリーム，・オンチップコールＦＩＦＯメモリバッファ２１８を介
して主メモリ１１２からの表示リスト２１２，および・コマンドストリームからおよび／または主メモリ１１
２の頂点アレイ２１４からの頂点アトリビュートを頂点
キャッシュ２２０を介して取り込む。

【００２６】コマンドプロセサ２００はコマンド処理動
作２００ａを実行し、そのコマンド処理動作２００ａは
アトリビュート形式を浮動小数点フォーマットに変換
し、結果的に得られた完全頂点ポリゴンデータをレンダ
リング／ラスタライゼーションのためにグラフィクスパ
イプライン１８０に与える。プログラマブルメモリ調停
回路１３０（グラフィクスメモリ要求調停回路：図４）
は、グラフィクスパイプライン１８０，コマンドプロセ
サ２００および表示コントローラ／ビデオインタフェー
スユニット１６４の間での共用主メモリ１１２へのアク
セスを調停する。

【００２７】図４は、グラフィクスパイプライン１８０
が・変換ユニット３００，・セットアップ／ラスタライザ４００，・テクスチャユニット５００，・テクスチャ環境ユニット６００，および・ピクセルエンジン７００を含むことを示す。

【００２８】変換ユニット３００は多様な２Ｄおよび３
Ｄ変換および他の動作３００ａ（図５）を実行する。変
換ユニット３００は変換処理３００ａに用いられるマト
リクスをストアするための１つ以上のマトリクスメモリ
３００ｂを含む。変換ユニット３００は、入来する頂点
毎のジオメトリをオブジェクト空間からスクリーン空間
へ変換し、そして入来するテクスチャ座標を変換しかつ
投影テクスチャ座標（３００ｃ）を計算する。変換ユニ
ット３００はまたポリゴンクリッピング／カリング(cli
pping/culling)３００ｄを実行する。変換ユニット３０
０ｂによってまた達成される照明処理３００ｅが、この
実施例では８つまでの独立した照明について、頂点毎に
照明計算を行う。変換ユニット３００は、エンボス(emb
ossed)タイプのバンプマッピング効果およびポリゴンク
リッピング／カリング動作（３００ｄ）のために、テク
スチャ座標を発生する（３００ｃ）。

【００２９】セットアップ／ラスタライザ４００はセッ
トアップユニットを含み、このセットアップユニット
は、変換ユニット３００からの頂点データを受け、三角
形セットアップ情報を、エッジラスタライゼーション，
テクスチャ座標ラスタライゼーションおよびカラーラス
タライゼーションを実行する１つ以上のラスタライザユ
ニット（４００ｂ）に送る。

【００３０】テクスチャユニット５００は、オンチップ
テクスチャメモリ（ＴＭＥＭ）５０２を含んでもよく、
たとえば、・主メモリ１１２からのテクスチャ５０４の抽出、・たとえばマルチテクスチャ処理，ポストキャッシュテ
クスチャ伸長，テクスチャフィルタリング，エンボシン
グ，投影テクスチャの使用を通しての陰影付け，および
アルファトランスパーレンシおよびデプスを用いるＢＬ
ＩＴを含むテクスチャ処理（５００ａ）、・バンプマッピング，偽(psedo)テクスチャおよびテク
スチャタイル(tiling)効果（５００ｂ）のためのテクス
チャ座標置換を計算するバンプマップ処理、および・間接テクスチャ処理（５００ｃ）を含むテクスチャリ
ングに関連する種々のタスクを実行する。

【００３１】テクスチャユニット５００はテクスチャ環
境処理（６００ａ）のためにフィルタされたテクスチャ
値をテクスチャ環境ユニット６００に出力する。テクス
チャ環境ユニット６００は、ポリゴンおよびテクスチャ
カラー／アルファ／デプスをブレンドし、また逆レンジ
ベース(reverse range based)のフォグ効果を達成する
ために、テクスチャフォグ処理（６００ｂ）を実行す
る。テクスチャ環境ユニット６００はたとえばカラー／
アルファ変調，エンボシング，詳細テクスチャ，テクス
チャスワッピング，クランピングおよびデプスブレンデ
ィングに基づく多様な他の環境関連機能を実行する多段
階を提供する。

【００３２】ピクセルエンジン７００はデプス（ｚ）比
較（７００ａ）およびピクセルブレンディング（７００
ｂ）を実行する。この実施例では、ピクセルエンジン７
００はデータを埋め込み（オンチップ）フレームバッフ
ァメモリ７０２にストアする。グラフィクスパイプライ
ン１８０は、フレームバッファおよび／またはテクスチ
ャ情報をローカルにストアするために１つ以上の埋め込
みＤＲＡＭメモリ７０２を含む。ｚ比較７００ａは、現
在有効なレンダリングモードに依存して、グラフィクス
パイプライン１８０におけるより早い段階で実行される
（たとえば、ｚ比較は、もしアルファブレンディングが
要求されていないならば早くに実行され得る）。このピ
クセルエンジン７００は表示コントローラ／ビデオイン
タフェースユニット１６４による主メモリ１１２へのア
クセスのために、オンチップフレームバッファ７０２を
周期的に書き込むコピー動作７００ｃを含む。このコピ
ー動作７００ｃはまた動的テクスチャ合成効果のため
に、埋め込みフレームバッファ７０２の内容を主メモリ
１１２中のテクスチャにコピーするために使用され得
る。アンチエイリアシング(anti-aliasing)および他の
フィルタリングがコピー動作中に実行され得る。最終的
に主メモリ１１２にストアされるグラフィクスパイプラ
イン１８０のフレームバッファ出力は、表示コントロー
ラ／ビデオインタフェースユニット１６４によってフレ
ーム毎に読み出される。表示コントローラ／ビデオイン
タフェース１６４は表示装置５６上での表示のためにデ
ィジタルＲＧＢピクセル値を与える。

【００３３】オーディオシステムの例オーディオＤＳＰ１５６はピッチ変調および音声データ
と効果データとのミキシングを行う。オーディオＤＳＰ
１５６は、オーディオサンプルのようなオーディオ関連
情報をストアするために用いられ得る大容量（たとえば
１６ＭＢもしくはそれ以上）のオーディオメモリ１２６
（補助ＲＡＭ−ＡＲＡＭ）によって増大される。オーデ
ィオはオーディオコーデック１２２を介してスピーカ６
１Ｌおよび６１Ｒに送られ、そのオーディオコーデック
はＤ／Ａ変換器を含む。大容量記憶媒体６２からのオー
ディオストリームがゲーム実行中にハイファイオーディ
オを再生するために効率的な方法を提供する。

【００３４】図６は図３に示すオーディオＤＳＰ１５
６，オーディオメモリインタフェース１５８およびオー
ディオインタフェース／ミキサ１６０をより詳細に示す
ブロック図である。サンプルレート変換器８０１は大容
量記憶媒体６２からのものであろうオーディオストリー
ムを４８ｋＨｚまたは３２ｋＨｚでサンプリングし、Ｌ
／Ｒボリュームコントロール８０３はサンプルされたオ
ーディオの左および右チャネルのボリュームレベルを制
御する。オーディオストリームは完全に主メモリ１１２
をバイパスし、それによってメモリおよびプロセサバン
ド幅を保存する。大容量記憶媒体６２のオーディオデー
タがたとえばＡＤＰＣＭフォーマットにエンコードされ
る場合、大容量記憶媒体アクセス装置１０６はＡＤＰＣ
ＭデータをＰＣＭサンプル（たとえば１６ビット）に自
動的にデコードしてサンプルレート変換器８０１に供給
する。

【００３５】ＤＭＡチャネル８０５は主メモリ１１２中
の任意の記憶位置からのデータのＦＩＦＯバッファ８０
７への転送を可能にする。ミキサ８０９はサンプルレー
ト変換器８０１の出力とＦＩＦＯバッファ８０７の出力
とをミックスし、その結果がオーディオコーデック１２
２に出力される。オーディオコーデック１２２のサンプ
ルレートはたとえば４８ｋＨｚであり、オーディオコー
デック１２２はステレオ１６ビットＰＣＭをアナログ信
号に変換するための標準的なシグマデルタ(Sigma Delt
a)コーデックであってよい。

【００３６】ＤＳＰコア８１１は１００ＭＨｚの命令ク
ロックを有し、１６ビットのデータワードとアドレスと
を用いる。ＤＳＰコア８１１は、ＲＡＭ領域（たとえば
８ｋバイト）およびＲＯＭ領域（たとえば８ｋバイト）
を含むワード（１６ビット）アドレス可能命令メモリ８
１３、およびＲＡＭ領域（たとえば８ｋバイト）および
ＲＯＭ領域（たとえば４ｋバイト）を含むワードアドレ
ス可能データメモリ８１５を用いる。ＤＳＰＤＭＡ８１
９は、主メモリ１１２とＤＳＰデータ／命令ＲＡＭ領域
との間でデータを転送し、またはＤＳＰデータ／命令Ｒ
ＯＭ領域から主メモリ１１２へデータを転送するために
設けられる。命令メモリ８１３へのアクセスを要求する
２つのものがあり、それはＤＳＰＤＭＡ８１９およびＤ
ＳＰ８１１である。命令ＲＡＭ領域はＤＳＰＤＭＡ８１
９によって読み出され／書き込まれ、ＤＳＰ８１１によ
っては読み出されるだけである。命令ＲＯＭ領域はＤＳ
Ｐ８１１によって読み出されるだけである。データメモ
リ８１５へのアクセスを要求する３つのものは、ＤＳＰ
ＤＭＡ８１９，データバス１およびデータバス２であ
る。メールボックスレジスタ８１７が主プロセサ１１０
との通信のために設けられる。このメールボックスレジ
スタ８１７は、主プロセサ１１０からＤＳＰコア８１１
への通信のための第１メールボックスレジスタと、ＤＳ
Ｐコア８１１から主プロセサ１１０への通信のための第
２メールボックスレジスタとを含む。各々のレジスタは
たとえば３２ビット幅である。オーディオメモリ１２６
から読み出しかつそこへ書き込むために、ＤＳＰコア８
１１に代えて、アクセラレータ８２１が利用可能であ
る。オーディオメモリ１２６のためにメモリコントロー
ラ８２３が設けられ、とりわけ、オーディオメモリ１２
６と主メモリ１１２との間のデータ授受のために、ＤＳ
Ｐコア８１１と主プロセサ１１０によって制御される専
用ＤＭＡチャネル８２５との間でオーディオメモリへの
アクセス要求を調停するように動作する。一般的に、オ
ーディオメモリ１２６とＤＳＰデータメモリ８１５との
間のデータ授受はＤＭＡチャネル８２５に対する優先権
を有する。メモリコントローラ８２３およびＤＭＡチャ
ネル８２５の詳細を含むオーディオシステムのさらに詳
細は「オーディオメモリにおけるデータプリフェッチの
ための方法および装置」という名称の同時係属中の出願
（特願２０００−３９４１３６）にあり、したがってこ
こではその内容を参照によって取り入れる。デコーダ８
２７はそこへ供給されるオーディオサンプルをデコード
する。オーディオメモリ１２６は一義的にはオーディオ
関連データをストアするし、１６ＭＢのＳＤＲＡＭ（合
計４８ＭＢまでに拡張可能）を備える。

【００３７】オーディオデータの記憶要求を減じる手助
けのために、種々の圧縮および伸長方法が利用され得
る。ＡＤＰＣＭは適応差分ＰＣＭと呼ばれる。この方法
は上で述べたオーディオシステムによって生成された音
声を圧縮／伸長し、大容量記憶媒体６２上の音声を圧縮
／伸長するために使用され得る。種々のＡＤＰＣＭのア
ルゴリズムがあり、オーディオシステムによって生成さ
れた音声と大容量記憶媒体６２上の音声とのために同じ
アルゴリズムが用いられる必要はない。デコーダ８２７
がオーディオシステムによって生成された音声データの
実行時ＡＤＰＣＭ伸長を提供し、大容量記憶媒体アクセ
ス装置１０６が大容量記憶媒体６２からの音声データの
実行時(runtime)ＡＤＰＣＭ伸長を提供する。８ビット
ＰＣＭ圧縮／伸長方法がオーディオシステムによって生
成された音声データのためにまた利用可能である。した
がって、デコーダ８２７がまた８ビットのＰＣＭ圧縮さ
れた音声データの実行時伸長を提供する。もちろん、上
で述べた圧縮／伸長方法は単なる一例であって、これに
限定されるものではない。

【００３８】図７はＤＳＰＤＭＡ８１９の詳細を図解す
るブロック図である。上で述べたように、ＤＳＰＤＭＡ
８１９は、主メモリ１１２から／へＤＳＰデータ／命令
ＲＡＭ領域へ／から、もしくはＤＳＰデータ／命令ＲＯ
Ｍ領域から主メモリ１１２へデータを転送する機能を果
たす。ＤＳＰＤＭＡ８１９はブロック長，主メモリアド
レスおよびＤＳＰメモリアドレスを規定するために使用
される３つのレジスタ７９６ａ−７９６ｃを含む。２×
３２バイトのＦＩＦＯ７９２がデータ転送のために使用
され、６４ビットデータバスがＦＩＦＯ７９２とオーデ
ィオメモリ１２６との間の高速データ転送を提供する。
主メモリスタートアドレスは４バイト境界(boundary)に
配置され、ＤＳＰスタートアドレスが２ワード（３２ビ
ット）境界に配置される。ブロック長は４バイトの倍数
である。ＤＳＰＤＭＡ８１９の制御レジスタは、ＤＭＡ
転送方向を指定する第１ビットと、ＤＭＡ転送にデータ
メモリが含まれるのか命令メモリが含まれるのかを特定
する第２ビットとを含む。制御レジスタはまた、制御ロ
ジック７９０を介してＤＳＰＤＭＡステータスを与える
ためのＤＳＰＤＭＡビジービットを含む。このビジービ
ットはＤＳＰＤＭＡが能動化されるとセットされ、ブロ
ック長レジスタ内のブロック長が０になったときクリア
される。

【００３９】ＤＳＰＤＭＡ８１９は、ブロック長レジス
タ７９６ａに書き込むＤＳＰ８１１によって能動化され
る。ＤＳＰＤＭＡ８１９が能動化されると、このＤＳＰ
ＤＭＡ８１９は、メモリコントローラ１５２が主メモリ
へのアクセスを承諾することを要求する。アクセスが承
諾されると、データ転送が開始される。データ転送が引
き続き行われているとき、アドレス変更回路７９８およ
び７９９が、レジスタ７９６ｂおよび７９６ｃにある主
メモリ１１２のアクセスアドレスおよびＤＳＰメモリの
アクセスアドレスをそれぞれ増加する。レジスタ７９６
ａ内のブロック長はブロックが転送されるに応じて、ブ
ロック長変更回路７９７に従って減少される。ブロック
長レジスタが０になるまでデータ転送が継続し、そして
ＤＭＡ動作が停止される。データ整列およびＤＳＰメモ
リ制御は制御回路７９４によって行われる。

【００４０】主メモリ１１２からＤＳＰメモリへデータ
が転送されるとき、もしＦＩＦＯ７９２が満杯であれ
ば、ＤＳＰＤＭＡ８１９はＦＩＦＯが満杯でなくなるの
を待ち、そして主メモリ１１２から再補充する。ＦＩＦ
Ｏ７９２が空でなければ、ＤＭＡはＦＩＦＯが空になる
までＦＩＦＯのデータをＤＳＰメモリに転送する。ＤＳ
Ｐメモリから主メモリ１１２にデータが転送されると
き、もしＦＩＦＯ７９２が空であれば、ＤＳＰＤＭＡ８
１９はＦＩＦＯが空でなくなるのを待ち、次いで、ＦＩ
ＦＯのデータを主メモリ１１２に転送する。もしＦＩＦ
Ｏが満杯でなければ、ＤＭＡはＦＩＦＯが満杯になるま
でＤＳＰメモリからＦＩＦＯを補充する。

【００４１】ＤＳＰＤＭＡに関連するレジスタの例が表
１−表５に示される。

【００４２】

【表１】

【００４３】

【表２】

【００４４】

【表３】

【００４５】

【表４】

【００４６】

【表５】

【００４７】実施例のシステムにおいて、命令ＲＡＭは
２５６×６４ビットの同期式１方向デュアルポートＳＲ
ＡＭの４つのコピーで形成され、命令ＲＯＭは２０４８
×１６ビットの同期式シングルポートＲＯＭの２つのコ
ピーで形成される。命令ＲＡＭおよび命令ＲＯＭは互い
に独立しており、したがって、命令ＲＡＭについての読
出／書込ＤＭＡ動作が実行されている間、ＤＳＰコア８
１１は命令ＲＯＭにアクセスできる。さらに、ＤＳＰＤ
ＭＡ８１９が命令ＲＡＭに書き込んでいるとき、ＤＳＰ
コア８１１は命令ＲＡＭを読み出しできる。ハードウェ
アによる競合を回避するために、同時読出／書込のため
の書込および読出アドレスは異なるようにされるべきで
ある。

【００４８】データＲＡＭは４ページで構成され、各ペ
ージは１ｋワードのサイズである。データＲＯＭは２ｋ
ワードのサイズを有する１ページで構成される。１つの
データＲＡＭのページは２５６×１６ビットの同期式１
方向デュアルポートＳＲＡＭの４つのコピーで形成さ
れ、データＲＯＭのページは２０４８×１６ビットの同
期式シングルポートＲＯＭで形成される。各ページは、
上記した３つの要求者に接続するために固有のデータ，
アドレスバスおよび読出／書込制御信号を有するよう
に、他のページから独立している。ＤＳＰバス１および
２のためのデータ入力／出力ポートは１６ビット幅であ
り、ＤＳＰＤＭＡ８１９のためのデータ入力／出力ポー
トは６４ビットである。この構成において、３つの要求
者について同時に３つまでのページがアクティブとされ
得る。

【００４９】実施例のシステムにおいて、各ＳＲＡＭの
ページは１つの読出または１つの書込もしくは１つの読
出と１つの書込とによってアクセスされ得るが、２つの
読出または２つの書込ではアクセスできない。読出はＤ
ＳＰバス１または２もしくはＤＳＰＤＭＡ読出であり、
書込はＤＳＰバス１または２もしくはＤＳＰＤＭＡの書
込である。ＲＯＭのページは１つの読出によってのみア
クセスされ得て、その読出はＤＳＰバス１または２の読
出である。ＤＳＰＤＭＡ８１９はデータＲＯＭを読み出
すことはできない。ページがＤＳＰＤＭＡによって読み
出されているときには、ＤＳＰ８１１はそのページを書
込または他のページを読出／書込できる。ページがＤＳ
ＰＤＭＡ８１９によって書き込まれているとき、ＤＳＰ
８１１はそのページを読出できまたは他のページを読出
／書込できる。ハードウェアによる競合を回避するため
に、ＤＳＰ読出およびＤＭＡ書込またはＤＳＰ書込およ
びＤＭＡ読出が同じアドレス位置上で生じないようにし
なければならない。ＤＳＰ８１１はＤＭＡが読出中のペ
ージを読出することはできず、ＤＳＰ８１１はＤＭＡが
書込中のページに書き込むことはできない。

【００５０】システムを初期化する間、実行時オーディ
オライブラリがオーディオＤＳＰ１５６にダウンロード
される。このオーディオライブラリは、主プロセサ１１
０によって作られるコマンドリストにあるコマンドに従
って音声を処理しかつミックスするために、オーディオ
ＤＳＰ１５６によって使用される。コマンドリストは主
メモリ１１２にストアされる。オーディオＤＳＰ１５６
は主メモリ１１２からコマンドを引き出し、それをそこ
にダウンロードされた実行時オーディオライブラリに従
って実行する。図８および図９は音声を再生するための
データフローおよび制御フローをそれぞれ図解する。図
８に示すように、音声サンプルは大容量記憶媒体６２か
ら周辺（Ｉ／Ｏ）コントローラ１６２を介して主メモリ
１１２に読み込まれ、かつその主メモリ１１２からＡＲ
ＡＭＤＭＡ８２５を介してオーディオメモリ１２６に読
み込まれる。音声サンプルはアクセラレータ８２１を介
してＤＳＰコア８１１によって読み出され、このＤＳＰ
コア８１１はその音声サンプルを処理／ミックスする。
処理／ミックスされた音声サンプルは、主メモリ１１２
内にバッファされ、次いで、オーディオコーデック１２
２を介してのスピーカ６１Ｌおよび６１Ｒへの出力のた
めに、オーディオインタフェースＦＩＦＯ８０７に転送
される。図９に示すように、ゲームアプリケーションは
音声の必要性を最終的に指令する。このゲームアプリケ
ーションはオーディオシステム（主プロセサ）実行時ア
プリケーションへのコールをし、その実行時アプリケー
ションはオーディオＤＳＰ１５６のためのコマンドリス
トを発生する。このコマンドリストを実行する際に、オ
ーディオＤＳＰ１５６は適宜の音声サンプルを抽出し、
それを必要に応じて処理する。

【００５１】音楽合成のためのデータおよび制御フロー
は図８に示す音声サンプルについてのそれと同様であ
る。大容量記憶媒体６２からの楽器波形テーブルが主メ
モリ１１２を介してオーディオメモリ１２６にストアさ
れる。オーディオＤＳＰ１５６は、オーディオシステム
（主プロセサ）実行時アプリケーションによって発生さ
れたコマンドを受け取ると、必要な楽器サンプルを抽出
し、それらを処理しかつミックスし、得られる結果を主
メモリ１１２にストアする。その後、その結果がオーデ
ィオコーデック１２２を介してのスピーカ６１Ｌおよび
６１Ｒへの出力のためにオーディオインタフェースＦＩ
ＦＯ８０７に転送される。オーディオシステム（主プロ
セサ）実行時アプリケーションによって発生されたコマ
ンドは楽譜によって駆動され、その楽譜は大容量記憶媒
体６２から主メモリ１１２に読み込まれ、そしてゲーム
のコマンドに従ってオーディオシステム（主プロセサ）
実行時アプリケーションによって処理されかつ順番に配
列される。

【００５２】オーディオシステム（主プロセサ）実行時
アプリケーションはまたソフトウェアストリームを提供
するためにオーディオトラックの再生およびミキシング
を管理する。ソフトウェアストリームは１つ以上のオー
ディオトラックの同時再生を許容し、或る程度の双方向
性（インタラクティビティ）を提供する。たとえばゲー
ムが、たとえば１つのトラックから他のトラックにフェ
ードインしてプレーヤの気分に影響を与える。一般的に
は、異なるオーディオトラックが個々の音声サンプルと
してオーディオメモリ１２６にバッファされる。オーデ
ィオＤＳＰ１５６はそしてトラックを引き出しそれらを
他の音声としてミックスする。

【００５３】ここで述べるオーディオシステムは音声エ
ミッタの３次元空間内への配置を許容する。これは次の
ような特徴、・ボリュームおよびパンニング制御，・ピッチ変調（ドップラー効果），・左および右チャネル間の位相シフトによる初期時間遅
延，および・ＦＩＲフィルタ（ＨＲＴＦおよび環境効果）によって
達成される。

【００５４】これらの特徴および主プロセサベースの以
下に説明する効果処理が一緒に、１対のスピーカでのサ
イコアコースティックな３次元音声効果を発生する強力
な手段を提供する。

【００５５】音声処理パイプラインが図１０に示され、
その図１０には次のようなステップが含まれる。

【００５６】ステップ１：オーディオＤＳＰ１５６によ
ってオーディオメモリ１２６からサンプルが読み出され
る。

【００５７】ステップ２：オーディオメモリ１２６から
のＡＤＰＣＭおよび８ビットＰＣＭサンプルがデコーダ
８２７によってデコードされかつそのデコードされたサ
ンプルが第１サンプルレート変換器に供給される。

【００５８】ステップ３：オーディオメモリ１２６から
の１６ビットＰＣＭサンプルが第１サンプルレート変換
器に直接送られる。

【００５９】ステップ４：サンプルレート変換器は入来
サンプルのピッチを調節する。

【００６０】ステップ５：ＦＩＲフィルタはオプション
のユーザ規定フィルタをサンプルに適用する。

【００６１】ステップ６：ボリュームランプ（傾斜）が
ボリュームエンベロープ調音のためにサンプルにボリュ
ームランプを与える。

【００６２】ステップ７：ミキサが３２ｋＨｚのサンプ
リングレートでかつ２４ビットの精度でサンプルをミッ
クスする。

【００６３】ステップ１−７が各音声毎に繰り返され
る。すべての音声が処理されかつミキサバッファに累算
されたとき、次のステップ１および２が生じる。

【００６４】ステップ１：ドルビーサラウンドおよび主
プロセサ（ホスト）ベースの効果（残響およびコーラス
のような）が、ミックスされた音声に与えられる。

【００６５】ステップ２：サンプルは２４ビットから１
６ビットの精度に切り縮められ、そのデータがオーディ
オコーデック１２２による出力のために４８ｋＨｚのサ
ンプルレートに変換され、その結果のデータが主メモリ
１１２に出力される。

【００６６】上述のホストベースの効果を付与するため
のデュアル効果（補助）バスを備える実施例のミキサ
を、図１１および図１２を参照して説明する。このミキ
サは、効果（補助）送り／戻りと同じ数のミキサ／アキ
ュムレータチャネル（すなわち、３つ−左，右およびサ
ラウンド）があるという意味において、相称的である。
したがって、図１２に示すミキサは３×３相称的ミキサ
である。

【００６７】図１１を参照して、オーディオシステムは
３つのオーディオバス、すなわち、・主バス９００，・補助Ａバス（第１効果バス）９０２，および・補助Ｂバス（第２効果バス）９０４を支持する。

【００６８】これらのバスの各々は３つのチャネル、す
なわち・左，・右，および・サラウンドを含む。

【００６９】したがって、このシステムは、主オーディ
オバス９００および２つの効果バス（補助Ａおよび補助
Ｂ）９０２および９０４についてのフルドルビーステレ
オサラウンドのための本来的な支持を提供する。この補
助Ａおよび補助Ｂ効果バス９０２および９０４は図１１
において「効果Ａ」および「効果Ｂ」として示されてい
る効果処理アルゴリズムにオーディオデータを分配す
る。これらのアルゴリズムは主プロセサ１１０によって
実行され、その結果がミキサ出力に加え戻される。効果
の例は、残響，コーラスおよび遅延である。これらの効
果の詳細な説明は、たとえば、ホームページwww.harmon
y-central.com/Effects/Articles/Reverb/; www.harmon
y-central.com/Effects/Articles/Delay/;およびwww.ha
rmony-central.com/Effects/Articles/Chorus/において
利用可能なスコットリーマン（Scott Lehman）による一
連の記事に見られ、それらの内容をここに参照によって
取り入れる。プログラマはもちろん他の効果を開発し得
るであろうし、この発明はこれらに限定されるものでは
ない。

【００７０】図１２は実施例の相称的３×３ミキサのよ
り詳細な図解図である。乗算器９１０ａ−９１０ｉを用
いることによって、ミキサはまず各バスのチャネル毎の
ボリューム値に対して入力サンプルを乗算する。その結
果が、加算器９１２ａ−９１２ｉを用いるミキサバッフ
ァの左，右およびサラウンドチャネルのためのアキュム
レータ／ミキサバス上にストアされている累算値に加算
される。バッファにおけるすべての音声の累算の後、バ
ッファの補助Ａおよび補助Ｂの成分は送り経路９１４ａ
−９１４ｃを介して効果処理のために、主プロセサ１１
０によって実行される効果処理アルゴリズムに与えられ
る。具体的には、左チャネルの補助Ａおよび補助Ｂ成
分，右チャネルの補助Ａおよび補助Ｂ成分，およびサラ
ウンドチャネルの補助Ａおよび補助Ｂ成分が、ＤＳＰＤ
ＭＡ８１９を介して、送り経路９１４ａ−９１４ｃを通
して効果処理のために主メモリ１１２に与えられる。主
プロセサ１１０による効果処理は、チャネル毎の信号に
基づいて、左，右およびサラウンドチャネル各々につい
て独立的に実行される。具体的な一例においては、効果
パラメータ（たとえば残響量や遅延量）はチャネルの各
々について同じである。各チャネルについて異なるのは
処理が実行される累算されたオーディオ信号の量であ
る。もちろん、この発明はこのことに限定されず、チャ
ネル毎の効果パラメータが異ならされてもよい。

【００７１】ミキサは、次いで、ＤＳＰＤＭＡ８１９を
介して主メモリ１１２から効果処理の結果を受け、戻り
経路９１６ａ−９１６ｃおよび加算器９１８ａ−９１８
ｆを介してミキサバッファに分配する。詳しく云うと、
左チャネルの効果処理された補助Ａおよび補助Ｂ成分
が、戻り経路９１６ａを介して左チャネルの主成分に加
えられる。同じように、右チャネルの効果処理された補
助Ａおよび補助Ｂ成分が、戻り経路９１６ｂを介して右
チャネルの主成分に加えられ、効果処理されたサラウン
ドチャネルの補助Ａおよび補助Ｂ成分が、戻り経路９１
６ｃを介してサラウンドチャネルの主成分に加えられ
る。上で述べた「送り−そして−遅延し−戻す」アーキ
テクチャは、すべての効果について、５ミリ秒のレイテ
ンシを結果的に生じる。もしドルビーサラウンドがアク
ティブであれば、サラウンド音声エンコーダ９２０が、
サラウンドチャネルの情報を、加算器９２２ａおよび９
２２ｂを介してミキサバッファの主左および主右チャネ
ルにエンコードして与える。

【００７２】以下に述べるミキサおよび効果プロセサ
は、左，右およびサラウンドチャネルのような３つ以上
のチャネル上の信号について個別的に効果を与える。し
たがって、効果は３次元空間中において選択的に「位置
決め」され得て、したがってより増強または改良された
オーディオコンテンツを提供する。ミキサは、効果（補
助）送り／戻りの数がミキシング／累算チャネルの数と
同じであるという点で相称的である。上で述べた実施例
のミキサは３つのミキシング／累算チャネルおよび３つ
の送り／戻りを用いるが、この発明の範囲はこの構成に
限定されるものではなく、たとえば、３つ以上のミキシ
ング／累算チャネルを有するシステムにも即座に適用で
きる。したがって、この発明は、左チャネル，右チャネ
ル，サラウンドチャネル，左サラウンドチャネル，右サ
ラウンドチャネル，センターチャネル，低域効果チャネ
ルおよびその他のような３つ以上のチャネルを有する任
意のシステムに適用できる。したがって、この出願によ
る教示は、６つのミキシング／累算チャネルを利用しそ
してそれゆえに６つの効果（補助）送り／戻りを含むＡ
Ｃ３のようなシステムに即座に適用できる。

【００７３】オーディオアプリケーションはチャネル毎
のボリュームレベルを指令する。したがって、ゲームア
プリケーションは、ボリュームレベルを「前もって乗算
する(pre-multiplying)」ことによってプレフェイダ(pr
e-fader)またはポストフェイダ(post-fader)の構成にお
いて補助Ａおよび補助Ｂを使用することができる。

【００７４】実行時オーディオライブラリは、オーディ
オＤＳＰ１５６のリソース使用法をモニタし、そしてそ
れに従って音声割付をダイナミックに制限するリソース
管理アルゴリズムを含む。このことによって、不正なオ
ーディオ出力が結果的に生じることになるオーディオＤ
ＳＰ１５６の過負荷を防止する。好ましくは、リソース
管理アルゴリズムはスムーズで連続的なオーディオを確
保するために、最悪値メモリアクセスレイテンシを想定
する。たとえば、各音声のミキシングおよび処理要求に
依存して、６４までの音声が支持され得る。

【００７５】互換性のある他の実施例上述のシステム５０は上で述べた家庭用ビデオゲームコ
ンソールの構成以外としても実現できる。たとえば、或
るものは、システム５０をエミュレートする異なる構成
を有するプラットフォームもしくはそれと同等のものに
おいて、システム５０のために書かれたグラフィクスア
プリケーションや他のソフトウェアを実行させることが
できる。もし、他のプラットフォームがシステム５０の
いくつかのもしくはすべてのハードウェアおよびソフト
ウェアリソースをエミュレートしシミュレートしおよび
／または提供することができれば、その他のプラットフ
ォームはそのソフトウェアを成功裏に実行することがで
きる。

【００７６】一例として、エミュレータがシステム５０
のハードウェアおよび／またはソフトウェア構成（プラ
ットフォーム）とは異なるハードウェアおよび／または
ソフトウェア構成（プラットフォーム）を提供できる。
そのエミュレータシステムは、それのためにアプリケー
ションソフトウェアが書かれているシステムのいくつか
のもしくはすべてのハードウェアおよび／またはソフト
ウェアコンポーネンツをエミュレートしもしくはシミュ
レートするソフトウェアおよび／またはハードウェアコ
ンポーネンツを含む。たとえば、エミュレータシステム
はパソコンのような汎用ディジタルコンピュータを含
み、それはシステム５０のハードウェアおよび／または
ファームウェアをシミュレートするソフトウェアエミュ
レータプログラムを実行する。上述のオーディオシステ
ムのＤＳＰ処理がパソコンによってエミュレートされ得
る。

【００７７】或る汎用ディジタルコンピュータ（たとえ
ばＩＢＭやマッキントッシュのパソコンおよびそれらの
同等物）は、ダイレクトＸ(DirectX)または他の標準的
な３ＤグラフィクスコマンドＡＰＩｓに従った３Ｄグラ
フィクスパイプラインを提供する３Ｄグラフィクスカー
ドを備える。それらはまた、音声コマンドの標準的なセ
ットに基づいて高品質のステレオ音声を提供するステレ
オ音声カードを備える。エミュレータソフトウェアを実
行するそのようなマルチメディアのハードウェアを備え
るパソコンは、システム５０のグラフィクスおよび音声
性能とほぼ等しい十分な性能を有する。エミュレータソ
フトウェアはパソコンプラットフォーム上のハードウェ
アリソースを制御して、それのためにゲームプログラマ
がゲームソフトウェアを書いた家庭用ビデオゲームコン
ソールプラットフォームの処理，３Ｄグラフィクス，音
声，周辺および他の能力をシミュレートする。

【００７８】図１３はホストプラットフォーム１２０
１，エミュレータコンポーネント１３０３および記憶媒
体６２上のゲームソフトウェア実行可能バイナリ映像を
用いる全体のエミュレーション処理を図解する。ホスト
１２０１は、たとえばパソコン，ビデオゲームコンソー
ルあるいは十分な計算力を有する任意の他のプラットフ
ォームのような汎用または特定目的ディジタル計算装置
である。エミュレータ１３０３はそのホストプラットフ
ォーム１２０１上で走るソフトウェアおよび／またはハ
ードウェアであり、記憶媒体６２からのコマンド，デー
タおよび他の情報のそのホスト１２０１によって実行可
能な形態へのリアルタイム変換を行う。たとえば、エミ
ュレータ１３０３は記憶媒体６２からシステム５０によ
って実行されるように意図された「ソース」であるバイ
ナリ映像プログラム命令を取り込み、これらのプログラ
ム命令をホスト１２０１によって実行されもしくは処理
され得るターゲットとなる形態に変換する。

【００７９】一例として、ソフトウェアがＩＢＭパワー
ＰＣまたは他の特定のプロセサを用いるプラットフォー
ム上での実行のために書かれかつホスト１２０１が異な
る（たとえばインテル）プロセサを用いるパソコンであ
る場合、エミュレータ１２０３は記憶媒体１３０５から
の１つのもしくは一連のバイナリ映像プログラム命令を
取り込み、これらのプログラム命令を１つまたはそれ以
上の同等のインテルのバイナリ映像プログラム命令に変
換する。エミュレータ１２０３はまたグラフィクス／オ
ーディオプロセサ１１４によって処理されるように意図
されたグラフィクスコマンドおよびオーディオコマンド
を取り込みかつ／あるいは生成し、そしてホスト１２０
１上で利用可能なハードウェアおよび／またはソフトウ
ェアグラフィクス／オーディオ処理リソースによって処
理され得る形態にこれらのコマンドを変換する。一例と
して、エミュレータ１３０３はホスト１２０１の特別な
グラフィクスおよび／または音声ハードウェア（たとえ
ば標準的なダイレクトＸ，オープンＧＬおよび／または
音声ＡＰＩｓ）によって処理され得るコマンドにこれら
のコマンドを変換する。

【００８０】上で述べたビデオゲームシステムのいくつ
かのもしくはすべての特徴を与えるために用いられるエ
ミュレータ１３０３は、また、エミュレータを使ってゲ
ームを走らせている種々のオプションおよびスクリーン
モードの選択を簡単化しもしくは自動化するグラフィッ
クユーザインタフェース（ＧＵＩ）を備える。一例にお
いて、そのようなエミュレータ１３０３はさらにそのソ
フトウェアが本来的に目的とされたホストプラットフォ
ームに比べてより増強された機能性を含むこともでき
る。

【００８１】図１４はエミュレータ１３０３で用いるに
適したエミュレーションホストシステム１２０１を図解
的に示す。このシステム１２０１は処理ユニット１２０
３およびシステムメモリ１２０５を含む。システムバス
１２０７がシステムメモリ１２０５を含む種々のシステ
ムコンポーネンツを処理ユニット１２０３に結合する。
システムバス１２０７は多様なバスアーキテクチャのい
ずれかを用いるメモリバスもしくはメモリコントロー
ラ，周辺バスおよびローカルバスを含むいくつかのタイ
プのバス構造の任意のものである。システムメモリ１２
０７はＲＯＭ１２５２およびＲＡＭ１２５４を含む。起
動中においてのようにパソコンシステム１２０１中のエ
レメント（要素）間に情報を伝送する手助けをする基本
ルーチンを含む基本入力／出力システム（ＢＩＯＳ）１
２５６がＲＯＭ１２５２中にストアされる。システム１
２０１はさらに種々のドライブおよび関連のコンピュー
タ読出可能な媒体を含む。ハードディスクドライブ１２
０９が（典型的には固定の）磁気ハードディスク１２１
１から読み出しそれへ書き込む。付加的な（たぶんオプ
ションとしての）磁気ディスクドライブ１２１３が着脱
可能な「フロッピィ」または他の磁気ディスク１２５１
から読み出しかつそれへ書き込む。光ディスクドライブ
１２１７はＣＤ−ＲＯＭあるいは他の光学媒体のような
着脱自在な光ディスク１２１９から読み出しかつそれへ
書き込む。ハードディスクドライブ１２０９および光デ
ィスクドライブ１２１７は、ハードディスクドライブイ
ンタフェース１２２１および光ディスクドライブインタ
フェース１２２５によって、システムバス１２０７にそ
れぞれ接続される。これらのドライブおよびその関連す
るコンピュータ読出可能な媒体は、パソコンシステム１
２０１のためのコンピュータ読出可能な命令，データ構
造，プログラムモジュール，ゲームプログラムおよび他
のデータの不揮発性の記憶媒体を提供する。他の構成で
は、コンピュータによってアクセス可能なデータをスト
アすることができる他のタイプのコンピュータ読出可能
な媒体（たとえば磁気カセット，フラッシュメモリカー
ド，ディジタルビデオディスク，ベルヌーイカートリッ
ジ，ＲＡＭ，ＲＯＭあるいはその他のもの）がまた使用
できる。

【００８２】エミュレータ１３０３を含む多数のプログ
ラムモジュールがハードディスク１２１１，着脱可能な
磁気ディスク１２１５，光ディスク１２１９および／ま
たはシステムメモリ１２０５のＲＯＭ１２５２および／
またはＲＡＭ１２５４にストアされ得る。このようなプ
ログラムモジュールはグラフィクス／音声ＡＰＩｓ，１
つ以上のアプリケーションプログラム，他のプログラム
モジュール，プログラムデータおよびゲームデータを提
供するオペレーティングシステム（ＯＳ）を含む。ユー
ザは、キーボード１２２７，ポインティングデバイス１
２２９，マイクロフォン，ジョイスティック，ゲームコ
ントローラ，衛星アンテナ(satellite dish)，スキャナ
あるいはその他のもののような入力デバイスを通して、
パソコンシステム１２０１にコマンドおよび情報を入力
することができる。これらのそして他の入力デバイス
は、システムバス１２０７に結合されたシリアルポート
インタフェース１２３１を通して処理ユニット１２０３
に接続され得るが、パラレルポート，ゲームポートファ
イヤワイヤバス(Fire Wire)もしくはユニバーサルシリ
アルバス（ＵＳＢ）のような他のインタフェースによっ
て接続されてもよい。モニタまたは他のタイプの表示デ
バイスがまたビデオアダプタ１２３５のようなインタフ
ェースを介してシステムバス１２０７に接続される。

【００８３】システム１２０１はモデム１１５４または
インターネットのようなネットワーク１１５２を通して
の通信を確立するための他のネットワークインタフェー
ス手段を含む。内蔵もしくは外付けであってよいモデム
１１５４はシリアルポートインタフェース１２３１を介
してシステムバス１２３に接続される。システム１２０
１がローカルエリアネットワーク１１５８を介して遠隔
コンピュータ装置１１５０（たとえば他のシステム１２
０１）と通信するのを許容するために、ネットワークイ
ンタフェース１１５６がまた設けられてもよい（もしく
はそのような通信はダイヤルアップもしくは他の通信手
段のようなワイドエリアネットワーク１１５２もしくは
他の通信経路を介してもよい）。システム１２０１はプ
リンタのような周辺出力装置および他の標準的な周辺装
置を含む。

【００８４】一例では、ビデオアダプタ１２３５は、マ
イクロソフト(Microsoft)のダイレクトＸ７．０、また
は他のバージョンのような標準的な３Ｄグラフィクスア
プリケーションプログラマインタフェースに基づいて発
行された３Ｄグラフィクスコマンドに応答して、高速の
３Ｄグラフィクスレンダリングを提供する３Ｄグラフィ
クスパイプラインチップセットを含んでもよい。１組の
スピーカ１２３７はまた、バス１２０７によって与えら
れる音声コマンドに基づいて高品質ステレオ音声を生成
するハードウェアおよび埋め込みソフトウェアを提供す
る従来の「音声カード」のような音声生成インタフェー
スを介して、システムバス１２０７に接続される。これ
らのハードウェア能力によって記憶媒体１３０５中にス
トアされているソフトウェアを再生するためにシステム
１２０１に十分なグラフィクスおよび音声の速度性能を
与えることができる。

【００８５】上で述べたビデオゲームシステムのいくつ
かのもしくはすべての特徴を与えるために使用されるエ
ミュレータ１３０３は、また、そのエミュレータを用い
て実行しているゲームのための種々のオプションおよび
スクリーンモードの選択を単純化しもしくは自動化する
グラフィックユーザインタフェース（ＧＵＩ）を備えて
もよい。一例として、そのようなエミュレータ１３０３
は本来的にそのソフトウェアを意図していたホストプラ
ットフォームに比べてより増強された機能性を含んでい
てもよい。

【００８６】最も現実的かつ好ましい実施例であると現
在考えられているものに関連してこの発明が説明された
が、この発明は開示された実施例に限定されるものでは
なく、逆に、特許請求の範囲内に含まれる種々の変形例
や等価的な構成をカバーするように意図されていること
を理解されたい。

【図面の簡単な説明】

【図１】図１はインタラクティブコンピュータグラフィ
クスシステムの実施例を示す全体図である。

【図２】図２は図１実施例のコンピュータグラフィクス
システムのブロック図である。

【図３】図３は図２に示す実施例のグラフィクス／オー
ディオプロセサのブロック図である。

【図４】図４は図３に示す実施例の３Ｄグラフィクスプ
ロセサのブロック図である。

【図５】図４のグラフィクス／オーディオプロセサの例
示的な論理フロー図である。

【図６】図６は図３に示すオーディオＤＳＰ１５６，オ
ーディオメモリインタフェース１５８およびオーディオ
インタフェース／ミキサ１６０をより詳細に示すブロッ
ク図である。

【図７】図７はＤＳＰＤＭＡ８１９の詳細を示すブロッ
ク図である。

【図８】図８は音声を再生するためのデータおよび制御
フローの一例を示す図解図である。

【図９】図９は音声を再生するためのデータおよび制御
フローの他の例を示す図解図である。

【図１０】図１０はＤＳＰ８１１の処理ステップを示す
図解図である。

【図１１】図１１はミキサバスおよびチャネルを示す図
解図である。

【図１２】図１２はこの発明の１つの局面に従ったミキ
サを示す図解図である。

【図１３】図１３は他の互換性のある一実施例を示す図
解図である。

【図１４】図１４は他の互換性のある他の実施例を示す
図解図である。

【図１５】図１５はステレオ音声システムにおいて音声
効果を与える従来の構成を示す図解図である。

【図１６】図１６はサラウンド音声システムにおいて音
声効果を与える従来の構成を示す図解図である。

【符号の説明】

５０ …インタラクティブ３Ｄコンピュータグラフィク
スシステム５４ …主ユニット１１０ …主プロセサ１１２ …主メモリ１１４ …グラフィクス／オーディオプロセサ１２６ …オーディオメモリ（ＡＲＡＭ）１５６ …オーディオＤＳＰ８０３ …ボリューム８０９ …ミキサ８１１ …ＤＳＰコア９１０ａ−９１０ｉ …乗算器９１２ａ−９１２ｉ，９１８ａ−９１８ｆ，９２２ａ，
９２２ｂ …加算器９１４ａ−９１４ｃ …送り経路９１６ａ−９１６ｃ …戻り経路９２０ …サラウンドエンコーダ

Claims

【特許請求の範囲】

【請求項１】各々が主音声成分および１つ以上の補助音
声成分を含む３つ以上の音声チャネルについて、サンプ
ル値をストアするためのミキサバッファ、各音声チャネル毎の補助音声成分を音声効果プロセサに
送るための送り経路、および音声効果プロセサから各音
声チャネル毎の音声効果処理された補助音声成分をそれ
ぞれ対応する主音声成分に加えるための戻り経路を備え
る、音声信号用ミキサ。
【請求項２】ミキサバッファに供給される各音声チャネ
ルの主音声成分および補助音声成分のボリュームを独立
的に制御するミキサボリュームコントロールをさらに備
える、請求項１記載のミキサ。
【請求項３】サラウンドエンコーダをさらに備え、ミキサバッファは左，右およびサラウンド音声チャネル
を含み、サラウンドエンコーダは、サラウンド音声チャ
ネルに加えられる音声効果処理された補助音声成分を含
むサラウンド音声チャネル上の情報をエンコードして、
左および右音声チャネルに与える、請求項１記載のミキ
サ。
【請求項４】３つ以上の音声チャネルについてのサンプ
ル値は複数の音声について累算される、請求項１記載の
ミキサ。
【請求項５】音声効果プロセサとミキサとを含む音声効
果処理システムであって、ミキサは各々が主音声成分および１つ以上の補助音声成
分を含む３つ以上の音声チャネルについて、サンプル値
をストアするためのミキサバッファ、各音声チャネル毎の補助音声成分を音声効果プロセサに
送るための送り経路、および音声効果プロセサから各音
声チャネル毎の音声効果処理された補助音声成分をそれ
ぞれ対応する主音声成分に加えるための戻り経路を含
む、音声効果処理システム。
【請求項６】ミキサは、ミキサバッファに供給される各
音声チャネルの主音声成分および補助音声成分のボリュ
ームを独立的に制御するミキサボリュームコントロール
をさらに含む、請求項５記載のシステム。
【請求項７】ミキサはサラウンドエンコーダをさらに含
み、ミキサバッファは左，右およびサラウンド音声チャネル
を含み、サラウンドエンコーダは、サラウンド音声チャ
ネルに加えられる音声効果処理された補助音声成分を含
むサラウンド音声チャネル上の情報をエンコードして、
左および右音声チャネルに与える、請求項５記載のシス
テム。
【請求項８】３つ以上の音声チャネルについてのサンプ
ル値は複数の音声について累算される、請求項５記載の
システム。
【請求項９】音声効果プロセサは各音声チャネル毎の補
助音声成分に残響を付与する、請求項５記載のシステ
ム。
【請求項１０】音声効果プロセサは各音声チャネル毎の
補助音声成分に遅延を付与する、請求項５記載のシステ
ム。
【請求項１１】音声効果プロセサは各音声チャネル毎の
補助音声成分にコーラスを付与する、請求項５記載のシ
ステム。
【請求項１２】音声効果プロセサは同じ音声効果パラメ
ータを用いて各音声チャネル毎の補助音声成分を処理す
る、請求項５記載のシステム。
【請求項１３】音声効果プロセサは異なる音声効果パラ
メータを用いて各音声チャネル毎の補助音声成分を処理
する、請求項５記載のシステム。
【請求項１４】ビデオゲームプログラムを実行するビデ
オゲーム機、および前記ビデオゲーム機に接続されかつ
プレーヤによって操作されてビデオゲームプログラムの
ためのビデオゲーム制御信号を発生する手持ちプレーヤ
コントローラを備え、前記ビデオゲーム機はスピーカを駆動する音声信号を発
生するためのオーディオシステムを含み、前記オーディオシステムは音声効果プロセサとミキサと
を含み、ミキサは各々が主音声成分および１つ以上の補助音声成
分を含む３つ以上の音声チャネルについて、サンプル値
をストアするためのミキサバッファ、各音声チャネル毎の補助音声成分を音声効果プロセサに
送るための送り経路、および音声効果プロセサからの各
音声チャネル毎の音声効果処理された補助音声成分をそ
れぞれ対応する主音声成分に加えるための戻り経路を含
む、ビデオゲームシステム。
【請求項１５】ミキサは、ミキサバッファに供給される
各音声チャネルの主音声成分および補助音声成分のボリ
ュームを独立的に制御するミキサボリュームコントロー
ルをさらに含む、請求項１４記載のシステム。
【請求項１６】ミキサは、サラウンドエンコーダをさら
に含み、ミキサバッファは左，右およびサラウンド音声チャネル
を含み、サラウンドエンコーダはサラウンド音声チャネ
ルに加えられる音声効果処理された補助音声成分を含む
サラウンド音声チャネル上の情報をエンコードして左お
よび右音声チャネルに与える、請求項１４記載のシステ
ム。
【請求項１７】３つ以上の音声チャネルについてのサン
プル値は複数の音声について累算される、請求項１４記
載のシステム。
【請求項１８】音声効果プロセサは各音声チャネル毎の
補助音声成分に残響を付与する、請求項１４記載のシス
テム。
【請求項１９】音声効果プロセサは各音声チャネル毎の
補助音声成分に遅延を付与する、請求項１４記載のシス
テム。
【請求項２０】音声効果プロセサは各音声チャネル毎の
補助音声成分にコーラスを付与する、請求項１４記載の
システム。
【請求項２１】音声効果プロセサは同じ音声効果パラメ
ータを用いて各音声チャネル毎の補助音声成分を処理す
る、請求項１４記載のシステム。
【請求項２２】音声効果プロセサは異なる音声効果パラ
メータを用いて各音声チャネル毎の補助音声成分を処理
する、請求項１４記載のシステム。
【請求項２３】オーディオシステムにおいて音声信号を
ミキシングするための方法であって、 (a) 各々が主音声成分と１つ以上の補助音声成分とを含
む３つ以上の音声チャネルについて、サンプル値をスト
アするステップ、 (b) 各音声チャネル毎に補助音声成分を音声効果プロセ
サに送るステップ、および (c) 各音声チャネル毎の音声効果処理された補助音声成
分を対応する主音声成分にそれぞれ加えるステップを含
む、ミキシング方法。
【請求項２４】(d) 各音声チャネルの主音声成分および
補助音声成分のボリュームを独立的に制御するステップ
をさらに含む、請求項２３記載の方法。
【請求項２５】３つ以上の音声チャネルは左，右および
サラウンド音声チャネルを含み、サラウンド音声チャネルに加えられた音声効果処理され
た補助音声成分を含むサラウンド音声チャネル上の情報
がエンコードされて左および右音声チャネルに与えられ
る、請求項２３記載の方法。
【請求項２６】３つ以上の音声チャネルについてのサン
プル値は複数の音声について累算される、請求項２３記
載の方法。
【請求項２７】音声効果プロセサは各音声チャネル毎の
補助音声成分に残響を付与する、請求項２３記載の方
法。
【請求項２８】音声効果プロセサは各音声チャネル毎の
補助音声成分に遅延を付与する、請求項２３記載の方
法。
【請求項２９】音声効果プロセサは各音声チャネル毎の
補助音声成分にコーラスを付与する、請求項２３記載の
方法。