JP2005229618A - 動的音源とリスナーの位置による音声レンダリング - Google Patents

動的音源とリスナーの位置による音声レンダリング Download PDF

Info

Publication number
JP2005229618A
JP2005229618A JP2005034235A JP2005034235A JP2005229618A JP 2005229618 A JP2005229618 A JP 2005229618A JP 2005034235 A JP2005034235 A JP 2005034235A JP 2005034235 A JP2005034235 A JP 2005034235A JP 2005229618 A JP2005229618 A JP 2005229618A
Authority
JP
Japan
Prior art keywords
sound
audio
game
listener
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005034235A
Other languages
English (en)
Inventor
Steven R Jahnke
アール. ヤンケ スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of JP2005229618A publication Critical patent/JP2005229618A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】使用する音声処理の量は僅かしか増加しない高品質の音声効果を実現する。
【解決手段】動的音源とリスナーの位置(DSSLP)による音声レンダリングを用いる。最終音を判定する特性を、現在の状態とすぐ前の状態からのリスナーの相対位置の変化によって判定する。以前の状態を格納することによって、全ての音源とリスナーの位置との間の相対位置の変化によって発生する音声効果を計算することが可能になる。現在の状態のDSSLPデータは、格納された音とリスナーの位置、音声タグ情報(ブロック801)、格納された状態データ(ブロック714)、およびゲーム・プレーヤーが起こした変化の入力(ブロック720)から生成され、DSSLPプロセッサ(ブロック712)において、動的に変化するDSSLP構成を発生させる。このDSSLP構成によって音声格納場所から発する音のフィルター処理が決定される。
【選択図】図8

Description

本発明の技術分野はコンピュータ・ゲームにおける音声処理である。
現在のビデオ・ゲーム・システムのハードウエアは、殆ど例外なくメイン・プロセッサとグラフィックス・プロセッサとを含む。メイン・プロセッサはパーソナル・コンピュータ(PC)の中にあるようなペンティアム(登録商標)・プロセッサとすることができる。あるいは、メイン・プロセッサはプログラム情報をグラフィックス・プロセッサへ転送するいずれのプロセッサであってもよい。グラフィックス・プロセッサは、アクセラレイティッド・グラフィックス・ポート(AGP)の機能に適合するまたは超越するデータ・スループット機能を備えた非常に高性能なバスによってメイン・プロセッサに緊密に結合される。また、このグラフィックスは、一般に、音声プロセッサを提供するI/Oバスによって結合され、PCIポート用のネットワーク・コネクタを含む。メイン・プロセッサとグラフィックス・プロセッサとは緊密に結合され、メイン・プロセッサやメモリー・システムからグラフィックス・プロセッサへデータを転送するのに伴って起こるおそれのある性能の劣化を最小限に抑える。
音声システムの構成要素は、一般に性能が非常に重要であるとはみなされていない。従って、音声システムはより低性能の周辺バス上にあるのが一般的である。これは現行のシステムの音声では完全に容認されている。現在最も高性能のゲームの音声システムには2つの主要な特性がある。
高性能ゲーム・システムの第一の特性は位置音声(positional audio)システムである。位置音声システムはユーザ入力およびスクリーンの上でのキャラクタの遠近感に基づいて動的なチャネルの利得/減衰をリアル・タイムに行う。マルチ・チャンネル・スピーカー・システムは、通常、左前、中央、および右前のスピーカー、ならびに左後および右後のスピーカーの5個の主なスピーカーを含む。また、かかるシステムは分離したサブウーファースピーカーを含む。サブウーファースピーカーは、低音域再生用の周囲の条件に依存しない(non−positional)スピーカーである。5個の主スピーカーとサブウーファースピーカーとを備えたそのような音声システムは、‘5.1レベル’のシステムと呼ばれる。
音発生源が画面上のカメラ位置の左にある場合、その音に対する左のスピーカーの利得は増大する。同様に、右側の利得は減衰する。ユーザがジョイスティックを動かし、カメラの相対位置を変化させると、チャネル利得は動的に変わる。新設計の位置音声アルゴリズムを高度化すると、居間の高品質マルチ・チャンネル・システムの音は良くなる。
第二の特徴的構成要素はリアル・タイム残響である。リアル・タイム残響はゲーム・プレイ中にトラックに混合されることなく、レンダリングされる。これによって、ゲームの中にはユーザ環境に基づいた音場効果が作られる。例えば、ゲームが屋外場面から洞窟に移動すると、ゲームから出る新たな音の全てには洞窟の残響が適用される。従って、発砲は反響して聞こえるようになる。何故なら、それはいま屋外ではなく洞窟の中なのであるから。競合するいくつかのゲーム・システム供給者はこの技術を用いる。
位置音声とリアル・タイム残響の双方を強化するためには、ゲーム設計者はゲーム作成時に所望の効果を出すことが求められる。その後、これらの効果は、ラン・タイム中に音声プロセッサによって利用される。例えば、洞窟ホール効果は、「このレベルが読み込まれたら、洞窟効果を適用する」という形でゲーム・コードに付け加える必要がある。ゲーム開発者が、この効果を与えてやる。この効果は別々のミキシングされたトラックが聞こえることを要求しない。この効果は、ラン・タイム中に基本の音に処理が加えられる際に生成される。従って、通常の発砲は左前/右前のスピーカーに対してだけミキシングされる。
さらに、コンピュータ・ゲームでは、音源の位置に基づいて異なる残響を各音響要素に加えることができる。音は洞窟から来るが、リスナーの位置は洞窟の外であると想定する。音源には洞窟残響が適用されるが、リスナーが発生さるどの音にもこれは適用されない。これらのリアル・タイム効果を設定するは、適用する残響で音にタグをつけることによって、音声設計者がゲーム作成中に行うことが必要である。
現在の音声技法のゆるやかな発達とは異なり、ビデオ技法はそれよりはるかに早い速度で進んでいる。ビデオ製造業者は、かつてないほどのレベルのハードウエアおよびソフトウエア技術をビデオ画像に傾注してきた。ゲーム・システム用のビデオ情報は基本データから集められ、幾つかの層状に積み重ねられて積み重ね原理に従って画像処理される。画像には更なる細部が加えられ、さらに層情報が組み込まれる。風景情景では、最も低い層は針金メッシュ構造であり、これによって物体が載置される空間座標が形成される。それより高い層は多角形の物体を含み、さらに高い層は丸い角のような、これらの物体形状の改良されたものを含む。層の数が多くなると、風景情景や物体はさらに改良され、以下のような形状になる。
1.殺風景な幾何学図形から取り込んだ形状に質感を加え、もっとリアルに見えるようにする。
2.反射特性を混入させて、反射効果が見られるようにする。
3.ライティングを改良して、微妙な照明特性を加える。
4.遠近感を加え、遠方の物体の大きさが小さく見えるようにする。
5.被写界深度を加え、画像の下の方の位置が見えるようにする。
6.アンチ エイリアジング(anti−aliasing)を備え、曲線からギザギザの端部を取り除く。
これらは完成画像を形成するために重ね合わせた層の中に加えられたいくつかの基本的特性に過ぎない。ビデオ・データのこの改善を遂行するために必要な画像処理量は非常に大きい。ゲームは一連のデータから始まる。これらのデータは、多角形、針金メッシュ上での多角形配置、およびビデオ風景を暗黙の内に作り上げる各多角形の特徴を記述し、非常に洗練された効果をプロセッサが作成することができるようにする。
ゲーム・システムでは、マルチ・チャネル・サラウンド・サウンドは標準的機能になりつつある。マルチ・チャネル・サラウンド・サウンドは、標準の2スピーカ・ステレオ・システムで可能なものよりもはるかに広い配列の効果を使用可能にする。最新のゲーム・システムにおいては、これを利用した標準規格品や応用例が数多く作られている。これらの中には、3次元音声と一般に呼ばれている位置音声に対応するものもある。種々の後処理による効果を基本の音声ファイルに適用してその他の効果を得るものもある。従って、残響は閉じられた環境における音響をモデルとしたものである。これらのモデルのおかげでゲーム開発者は、所定の環境において音がどのように聞こえるかをゲーム作成時に予め判定することができるようになる。ゲーム開発者は単一の音響ファイルを作成する。マルチチャネル・スピーカー・システムの音響レベルは、音源に対するリスナーの相対的位置に基づいて、位置音声アプリケーション・プログラム・インターフェイス(API)によって調整される。また、前もってプログラムされた環境状態情報に基づいて、残響のような種々の後処理効果を単一の音源ファイルに適用することができる。これによって、ゲーム・プレイ中により望ましいリスニング体験がもたらされる。
しかしながら、これらのモデルはいずれも、ゲーム環境自体は静的であると想定する。スピーカ・レベルは動的に調整可能であるが、音響特性は、上述のように予め前もってプログラムされていなければ調整不可能である。このことは、ゲーム設計者にかなり大きな負担を与えることになり、ゲーム設計者は、所定の環境において種々の効果、とりわけ物理学に基づく効果がどのように聞こえるかを知るために音声の知識を充分備えていなければならなくなる。また、これらのモデルは、音響環境の変化、特に多数の音源作成およびそれらの音源がいかに互いに相互作用するのか、に関する情報は一切用いない。静的モデルでは、これらの効果はゲームを設計する際に前もって判定しなければならない。
次世代ゲーム機の音声要件は2つの主要操作モード、すなわちビット・ストリーム再生動作モードとゲーム操作モードの内の1つに該当する。2つのゲーム製造業者は、自社の次のゲーム機はゲーム・システム以上のものとなると表明している。これらのゲーム機は、居間の娯楽システムになるであろう。現在の居間の娯楽システムにおける重要な音声構成要素は、オーディオ・ビジュアル再生(AVR)である。まもなく売り出されるゲーム機は、AVR機能の一部に対応すること必要がある。非増幅(un−amplified)直接マルチチャネル音声が発生する可能性がある。
本発明は、動的音源とリスナーの位置(DSSLP)による音声レンダリングを用いることによって、使用する音声処理量は僅かしか増えることのない高品質の音声効果を実現することについて説明する。音響とリスナーの位置だけに基づいた音声システムをモデルとするのではなく、最終の音を制御する特性は、現在の状態および以前の状態からのリスナーの相対位置の変化によって判定される。直前の状態を格納することによって、全ての音源とリスナーの位置との間の相対的位置の変化を算出することが可能になる。
現在の音声解決法は、マルチ・チャネル・システムにおけるスピーカー利得調整によって位置音声の変化にリアル・タイムに対応する。その他の効果は、ゲーム・ソース上でリアル・タイムに適用するとしても、ゲーム設計時に判定する必要がある。その本来の効果は、ゲームの状況に基づいて変化することはない。1つの音源とその他の音源またはリスナーの位置との間の相対位置の変化は考慮されない。動的モデルでは、これを変更することができる。例えば、2つの音がリスナーの位置に近くで音を発した場合、全ての周波数成分を混合する。これらの物体が遠ざかると、低い方の周波数だけを混合させればよい。なぜなら、これは音の相互作用の実態だからである。単一の位置音声に優る動的モデルはこれに対処する。
本発明は、単なる現在位置ではなく、音源とリスナーの位置との間の相対位置の変化によって音声を修正する方法を基本にしている。本発明は直前の音の状態を保持し、この音をいかに処理するかを物理的にモデル化する。これによって音間の相互作用は動的に判定される。
この動的モデルによって、今では、ゲームの音声を、音が現実の設定において実際にどのように聞こえるのかに関する物理的モデルとすることができるようになった。ゲーム作成時に音と速度依存特性との間の相互作用を判定する必要はもはやなくなった。これらは、ゲーム・プレイ中にリアル・タイムに判定され、且つ適用される。
本発明によって、ゲーム設計者にとって現実の音を発するゲーム作成はより簡単になり、音声専門家である必要なない。ドップラー偏移のような効果または音間の種々の相互作用がどのように聞こえるかに関してゲーム設計者は気にかける必要は今ではなくなった。これらの効果は動的モデルによって自動的に判定され且つ適用される。
本発明において、音声モデルは最新の立体グラフィクス・レンダリング・モデルのミラーリングである。最新の立体グラフィックスでは、画像の中で起こった変化だけを算出し、且つ適用する。現在の音声は同じようなモデルを採用しており、グラフィックス系のゲーム設計者の殆どは、音声モデルをより簡単につかむことができる。動的ライティングやシャドーイングといったグラフィックスのために為された類似の技法や効果は、音声にもそのまま適応可能である。本発明のこれらの態様およびその他の態様を図面に示す。
現在、音声処理の処理優先度はコンピュータ・ゲームにおけるビデオ処理よりもはるかに低い。通常、基本のポイント・ソース(point source)音はディジタル音声に変換され、一般的な環境の特徴を呈するように修正される。例えば、講堂の中での発砲は壁に柔らかいクッションを張った部屋の中での同じ発砲とは異なる特徴を呈する。ゲーム・システム・プログラマは基本の音とその基本的修正とを提供し、これらは環境に応じて切り換えることができる。現在採用されている音声技術はリアル・タイムで行われるいくつかの効果処理を提供するが、ゲーム作成中にゲーム設計者によって挿入される中核のインフォーメーション・ハンド(core information hand)と共に静的に使用される。これは、アーティストが環境を作成し、ゲームは単にこれを読み込み、且つ表示するだけの初期の2次元グラフィックスに類似する。
これらの最新のゲーム音声方式では、ゲーム設計者はどのような効果を適用すべきかを予め判定する。次にこれらの効果を、ゲーム・プレイ中にリアル・タイムに適用する。音声エンジンは実際の環境がどうであるかを知る必要はない。これらの現在使用可能なゲームは、音声効果を物体毎に挿入する。例えば、ドアは音響特性を有し、設計者が「閉鎖を追加」と言うと、現行の音声エンジンにリアル・タイムの閉鎖効果を適用させる。
図1は高品質のゲーム・システムにおいて現在用いられているハードウエア構造を示す。プロセッサ・コア100は、ローカル・キャッシュ・メモリー101とグラフィックス・インターフェース・チップ102に緊密に接続されている。グラフィックス・インターフェース・チップ102は、高速バス104を介してグラフィックス・アクセラレータ103と通信を行う。グラフィックス・アクセラレータ103は、ローカル・グラフィックス・メモリー105から制御およびプログラム・データを引き寄せる。システム・メモリー106は大容量記憶装置を備える。オーディオ/ビデオ・チップ107は、フレーム・バッファ108のフレームにフォーマットし、ディプレイ109に出力することによってビデオ処理を完了させる。周辺バス115は、音声プロセッサ112と、ディスクI/O110と、ユーザ・インターフェースI/Oブロック111とにインターフェースするように為された性能のより低いバスである。音響システム114は、音声プロセッサ112が発生した合成音を出力する。
図1の構造は、非常に強力なグラフィックス計算能力を備えゲーム・プレーヤーが現在のゲームに期待するグラフィックス品質を確保する。音声効果は非常に重要な位置を占めるにも拘らず、ビデオを作成のために注がれたハードウエアおよびソフトウエアの複雑性を求めることはできない。一般に、ゲーム設計者は修正効果として音声の機能拡張を行うのが。類似のビデオ型効果が明らかに除外される場合には、これらの月並みな音声効果で充分である。
現在のゲームゲーム機の音声は、一般的に、正弦波の加算を用いた音質生成からなる。パーソナル・コンピュータ・ゲームの音声は、ウエーブ・ファイルとして再生されるのが一般的であるが、音質生成を用いても作成される。音響効果を記録する必要がないため、これは音声エンジニアにとっては簡単である。しかしながら、それは一般的に、品質、深さが不足し、音は、通常、人工的である。ホーム・シアター・システム上でのこれらのゲームの音声体験は、ディジタル・ビデオ・ディスク(DVD)を見るよりもはるかに貧弱である。映画制作者が利用する記録済みの音響効果は、自然界の音からものものであり、従ってはるかに豊かである。その結果、ゲーム・プレイ中にDVDのような、または更にDVDに似た音声体験を得ようとしたら、音声エンジンは一連の正弦波パラミータに基づいて音質を作成するだけでなく、既に記録されたファイルの再生に対応しなければならない。この種の音声処理は、図2に示すようなAVRライクの処理ストリームが必要である。
図2は、(a)背景音声ストリーム201と(b)音声要素の流れ202の2つの基本的な種類の音声ストリームを示す。通常のゲームは、背景音声ストリームと可変数の初期の音声ストリームを用いる。背景の音声ストリームは、オンチップ・バッファの静的ランダム・アクセス・メモリー(SRAM)の量と、ノイズ状に聞こえるものは含めずに人間の耳が聞き分けることのできる音の数とによって制限される。背景の音声と音声要素とをチャネル/フレーム加算ブロック205に混入し、最終出力を作成する。
背景音楽は大容量記憶装置211(ハード・ドライブまたはCD)に格納され、非インタラクティブである。それは従来のコンパクト・ディスクまたは映画トラックのように作成され且つ再生される。これらの背景音声ストリーム201は、その大きさ故に、ハード・ドライブからまたはゲーム・プログラムCDから音声プロセッサに流入される。音声デコーダー/バッファおよび音声フレーム発生装置203は、このデータを通常のあらゆる入力ストリームのように復号化する。コンピュータ・ゲームは、通常、全ての入力ストリーム・ファイル・フォーマットおよび「ビット・ストリーム再生動作モード」(“Bit Stream Playback Operational Mode”)におけるサンプリング速度に対応する。これには、AC3、DTSおよびその他の一般に用いられるフォーマットへの対応が含まれる。位置音声および環境効果音声のような効果処理は環境音楽には適用されない。
音声要素はインタラクティブである。図2は、音声要素ソース入力200を示す。各音声要素の第1フレームはオンチップ・メモリーに格納しなければならないが、そうすれと音声プロトタイプ・ストリーム202として流入させることができる。位置の音声と環境効果音声の双方を含み、全ての音響効果処理206をそのまま音声要素に適用する。適用された環境効果は、音響ソース環境の位置に基づく。グローバルな環境効果は、音響効果処理ブロック406によって適用され、チャネル統合ブロック204に送られ、次にチャネル/フレーム加算ブロック205に送られ、そこでミックスされた音声要素は結合される。このグローバルな環境効果は、音響ソースが空間情報ブロック210から生成される場所に対するリスナーの位置に基づいている。このグローバルな環境はフレーム毎に変更された空間情報ブロック208においてフレーム毎に検知される。出力音響フォーマッター207はシステム・スピーカー用の合成音を生成する。音響スプリッター209は、この合成音をそのスピーカー別の音に分離する。スピーカー・システム212は、生成される多チャネルの音を受け取る。
音声要素源ブロック200に導かれた各音声要素は、それに関連するアクティブ・フラッグ(active flag)を有する。このフラッグが設定されると、音声要素は活性化し、一度だけ再生される。また、各アクティブ・フラッグは関連する自動解除(self−clear)またはユーザ解除(user−clear)フラッグを有する。自動解除フラッグが設定されると、音声エンジンは以前のアクティブ・フラッグを解除してインアクティブとし、さらに音声状態イベントの変化をトリガー(trigger)する。この音声要素は一度動作する。自動解除フラッグが解除されてインアクティブ(inactive)になると、音声要素アクティブ・フラッグは引き続きアクティブに設定される。この音声要素はそれを繰り返し、アクティブ・フラッグを解除してインアクティブにするように、ゲーム・プログラムが音声エンジンに伝えるまでこれを繰り返す。これは、例えば、自動車または飛行機のエンジンの絶え間なく続くうなりを伝搬するのには有用である。
本発明では、音声システムは音とリスナーの相対位置だけをモデル化し、最終音を判定する特性は、リスナーの直前の状態から現在の状態への相対位置の変化によって判定される。これは音声処理方法の根本的な変化である。この方法によって、ラン・タイムに適用される真に物理的なモデルに基づいて最終音を判定することが可能となる。これは、ゲーム設計時の静的な判定とは全く異なる。
次の音の状態を判定する際に相対位置の変化を判定するには、音を発生させる全ての物体の現在のx、y(およびおそらくはz)座標をリスナーの位置と一緒に格納する。このリスナーの位置は、一般に、第2または第3の人が見るゲームにおいてカメラを据える際に焦点を合わせる対象の物体、または第1の人が見るゲームにおける単なるカメラ・ポジションである。これはグラフィックス状態が判定されるのと同じ速度である可能性がある。以前の状態のこの格納内容を動的に算出する。現行の静的モデルでは、音声設計者はドップラー偏移を適用する必要があることを音声設計者は前もって判定しなければならない。本動的モデルでは、ドップラー偏移を適用するべきかどうか、且つどの程度適用すべきかは、音声エンジン・ソフトウエアが判定する。音の相互作用を混ぜる際、物理的距離は、どの周波数成分を混合する必要があるかに影響する。静的モデルでは、これはゲーム設計時に判定されなければならない。動的モデルではこれは変更可能である。例えば、2つの音がリスナーの位置に近いところで発する場合、全ての周波数成分が混合される。物体が遠くなるにつれて低い方の周波数だけを混合すればよい。これは、音が現実に相互に作用する状況であるからである。状態情報の変化を算出後、全ての音源とリスナーの位置との間の相対位置の変化に基づいて、ドップラー偏移のような効果を作成することができる。動的モデルはこれが可能である。
現在の音声解決策は、マルチ・チャネル・システムにおけるスピーカー利得調整のように、位置音声における変化にリアル・タイムに対処する。その他の効果は、ゲーム・ソースにおいてリアル・タイムに適用される場合であっても、ゲーム設計時に判定する必要がある。効果のレンダリングは、ゲーム状態に基づいて変更することはできない。2つの音源とリスナーの位置との間の相対位置の変化は考慮されていない。
本発明の解決策は、音源とリスナーの単なる現在の位置ではなく、音源とリスナーの位置との間の相対位置の変化に基づいて音声を修正する。直前の音の状態を保持することによって音を物理的にモデル化することが可能となる。これによって音間の相互作用を動的に判定することができる。今では、現実の状況において音は実際どのように聞こえるのかに応じて、ゲームの音声を物理的にモデル化することができる。音間の相互作用や、ドップラー偏移のような速度依存特性をゲーム作成時に判定する必要は今ではなくなった。代わりに、これらの効果は、ゲーム・プレイ中にリアル・タイムに判定され、且つ適用される。
別の利点は、ゲーム設計者にとって現実音を出すゲームを作成することは、音声の専門家でなくとも、今やより簡単であることである。ゲームは、物理的効果や音間の種々の相互作用を考慮する必要が今ではない。本動的モデルにおいては、これらの効果は自動的に判定され、さらに適用される。
本発明において適用されている基本的ゲーム動作モード要件は、今日のパーソナル・コンピュータの音声システムと基本的には同じであるが、ホーム・シアター・システム上で高品質の音を発するように強化されている。次世代ゲーム機には、位置音声とリアル・タイム環境効果の2つの基本音声機能が含まれる。
位置音声アルゴリズムは以下の3つの主要な特性を利用する。
1.リスナー位置。これは一般的にカメラ視点の中心であり、すなわちゲーマー(gamer)にはゲームがどのように見えるかである。リスナーの位置は1つしかない。全ての音発生源の位置を突き止める。多数の音発生源が存在することができ、それらを同時にトリガー(trigger)することができる。
2.音発生源は、音要素が取り付けられた物体である。一例は、発砲するゲーム・キャラクターに結び付けられた発砲音要素である。
3.音響状態の変化中におけるリスナー位置と音発生物体との距離および配向。位置音声アルゴリズムに対するこの主要なトリガーは以下で説明する。
ゲーム作成中、各音声要素は関連の音声発生物体を有する。同じ音声発生物体は、多数の音声要素に関連付けることができる。各音声発生物体は、x、y、z空間において位置を有する。リスナー位置は、アルゴリズムの目的のためにx、y、z空間における(0、0、0)に常に標準化される。音声発生物体が最初にゲーム機のメモリーに取り込まれると、x、y、z空間におけるリスナーの位置に対するその最初の位置は音声エンジンに送られる。
4つのイベントは音声状態を変更することができる。それらは以下のものである。
1.ゲーマーは、ジョイスティックまたはその他の入力装置を用いてリスナーの相対位置を変更することができる。
2.ゲーマーは、ボタンを叩くこと、またはその他の入力動作によって音声要素の再生をトリガーすることができる。
3.ゲーム・プログラムは、音源物体を移動させることによって音源の相対位置を変えることができる。
4.ゲーム・プログラムは、音声要素の再生をトリガーすることができる。
音声状態が変化する間に、メイン・プロセッサは音声状態イベントの変化の表示を音声エンジンに送る。これは以下のことに基づいている。
1.リスナーの位置を変えようとするゲーマーによって音の状態の変化が引き起こされると、入力情報がある量引き戻され、音声エンジンに送られる。次に音声エンジンは、(0、0、0)に標準化されたリスナーの位置を維持するこの相対量だけ、全ての音源発生物体の位置を変える。
2.音発生物体の位置を変えるゲーム・プログラムによって音の状態の変化が引き起こされると、音発生物体位置のその変化だけが送信される。音声エンジンは、x、y、z空間におけるその相対位置を変化させる。
3.アクティブ音要素を追加する、または除去するユーザ、またはゲーム・プログラムのいずれかによって音の状態に変化が生ずると、音要素のアクティブ状態フラッグが設定されるか、または解除される。
この位置音声アルゴリズムはイベント駆動される(event driven)。位置音声効果エンジンは、音声状態のあらゆる変化に応答する。音源要素は、あたかも音はリスナー位置の真ん前、且つ完全なピーク(すなわち、距離はゼロである)にあるかのようにミックスされるものと想定される。これは2チャネルパルス符号変調またはマルチ・チャネル・ソースとすることができる。図3は、一般的なグラフィックス多角形メッシュ301を示す。多角形メッシュ302は、メッシュの中の特定の多角形302と空間的に接続された符号化データを有することができる。
音響音声状態の初期設定時に音声エンジンが一旦動作すると、音声状態にはいつでも変化がおこる。図4は、エンジンのフロー・チャートを示す。図4はゲーム状態の音性要素と、それらがスピーカーの位置にマップする方法との間の根本的な関係を示す。音声要素はブロック401乃至409に表わされている。スピーカー調整前処理ブロック411乃至419は、458までの8チャネルの出力音に分散される要素を準備する。ソート・ブロック421乃至428は、ブロック431乃至438における加算の前にマルチ・チャネル要素のソーティングを行う。ソート加算は、ブロック441乃至448においてモード修正される。出力451乃至458は、結果として得られる8チャネルの音を表わす。これらは各スピーカーの地点に送る最終ディジタル値である。この構成は、スピーカー調整方法を判定する目的の8個のスピーカーの位置を想定する。各スピーカーはそれぞれの別のスピーカーから等距離にあり、リスナーの位置からも等距離にある。図6はこれらのスピーカーの位置を示す。
図5は、スピーカー調整ブロック402の概略図を示す。3バンド・イコライザ501は、ブロック500によって明示された各アクティブ音声要素の上で動作する。これは各要素をその低周波数帯域521、中周波数帯域522、および高周波数帯域523に分ける。イコライザ501は、ゲーム状態の音対リスナーを相対的に配向させ、スピーカー構成のマッピングを促進する。
位置調整ブロック502は、以下に示す計算式4および5のα調整計算を行う。位置調整ブロック502は、発生スピ−カーαおよびα、ならびに非発生スピーカーsの残りのチャネルの個々の利得調整を以下に示す計算式9、10、11に従って計算する。ブロック503の距離調整部は、計算式3のρを計算し、以下に示す計算式12のGの計算を完了する。ブロック503のユーザ調整部は、パラメータUの値を確立する。Uは1のデフォルト値を有するユーザ調整値である。Uによって、ゲーム設計者は所定のゲームにおいて音をどれだけ離したらよいか調整することができる。従って、Uによって、ゲームは間近に感じられたり、遠方に感じられたりする。位置および距離減衰関数の双方は、全てのアクティブ音要素に適用される。511乃至516の積要素は、計算式9、10および11の乗算演算を表わす。デフォルト・スピーカ構成は6.1システムである。7.1チャネルでは、2つの後部スピーカーが1つとして作用する。2つの加算段階は、第1段階の加算ブロック531および532、ならびに最終段階の加算ブロック533を含む。
図6は、ゲーム状態の音量制御およびミキシングがどのように行われたら良いかを判定するモデルケースを示す。図6のモデルは位置音声アルゴリズムの基本を形成する。図6の略語表は、スピーカー毎の標識を一覧表示している。図6は、スピーカー601乃至608の理想の模範的位置を示す。AVR製造業者は、一般に、スピーカーは家庭で実際にどのように設定されるかを確認する。パワード(powered)スピーカー・システムをゲーム機と直接一緒に使用する場合、ビット・ストリーム動作モード(Bit Stream Playback Operational Mode)の音声設定が制御を行う。
物理的スピーカー・システムはデフォルトの6.1であると想定されるが、音声アルゴリズムは図6に示す8個のスピーカー部を想定する。仮想の左VL604および仮想の右VR605スピーカーの音声信号は、前とサラウンド左、および前とサラウンドの右スピーカー情報を用いて生成され、計算式1および2から計算される。
Figure 2005229618

これによってリスナーには、実際のスピーカーが仮想の位置にあるかのように感じさせる、等しい音量が与えられ、減衰しない。その他のゲーム状態の位置は、極座標、距離のρ、および角度のθを用いて計算される。これらの極座標は各位置のxとy座標の角度および大きさによって計算される。各要素のxとy座標を極性形態に変換することにより、後の計算作業はかなり削減される。xとy座標をダウン・ロードする前にこの計算を音声開発ツールに適用することによって、DSPによる計算ステップを削減することができる。距離値ρは、0.0と1.0との間に保つ必要がある。このモデルでは、1.0はリスナーの位置であり、0.0は音が聞こえなくなる場所である。従って、開発ツールにおいてρを計算する前にxとyを標準化する必要がある。極座標変換は、計算式3Aと3Bを用いて計算される。
Figure 2005229618

但し、xとyは標準化されたデカルト座標(X、Y)である。ρとθが要素毎に計算されると、減衰値は低周波数、中周波数および高周波数毎に、またスピーカー毎に減衰値が計算される。これは、音要素を、音が発せられる適切な2つのスピーカーにマップする。音源の位置がY軸(x=0)の真上である場合、音は左前および右前スピーカーと、中央のスピーカーまたはサラウンド左および右スピーカーと、後方スピーカーから発せられる。あるいは、音要素は2つのスピーカーだけから発生される。これらの効果を発生させるスピーカーは、ここでは音要素に対する相対的メイン・スピーカーである。
効果を発生させる2つのスピーカーが決定されると、2つのアルファ調整αおよびαがこれらの2つのスピーカーに適用される。αおよびαの値は計算式4および5によって計算される。
Figure 2005229618

残りの全てのスピーカーのスピーカー減衰は、周波数要素によって左右される。これらの減衰調整は計算式6、7および8にしたがって行うことができる。
Figure 2005229618

但し、下付き文字L、M、およびHは、それぞれ低周波数、中周波数および高周波数を意味する。
これら2つの発生スピーカーは計算式9および10の値によって減衰される。
Figure 2005229618

計算式4および5は、2つの音発生スピーカーに適用する減衰の0と1との間の重みづけレインジを決定する。この重みづけは、これらのスピーカー間の相対位置によって決定される。計算式9および10は、この重みづけを用いて、計算式6、7、8からの周波数依存利得の各々のうちどれだけを適用すべきかを判定することを示している。Gは周波数領域内の利得を表わす。
残りのチャネルGsαの減衰は、
Figure 2005229618

によって判定される。但し、下つき文字sは残りの非発生スピーカーを表わす。この減衰は、位置特性だけのものである。位置減衰が計算されると、距離ρの減衰が適用される。2つの発生スピーカーの各々の距離減衰は、次の通り、
Figure 2005229618

但しUはユーザ調整であり、そのデフォルト値は1である。これによってゲーム設計者は、所定のゲームの中で音をどれだけ遠ざけるか調整することができる。これによって、ゲームが間近に感じられるか、または遠方に感じられるかが決まる。全てのアクティブ音要素に対し、位置および距離減衰関数の両方が適用される。
Figure 2005229618

アクティブ音要素音量出力をスピーカー毎に計算した後、それらは最高から最低にソートされる。次に、各スピーカー出力は加算され、最大で合計で0dBとなる。0dBに達すると、当該スピーカーの低い方の音量要素は廃棄してクリッピングを防ぐ。
以上のことをまとめると、位置音声アルゴリズムによるゲーム状態の音量調整は、次の通り。
Figure 2005229618

背景音楽との最終混合もこの音量による制約をうける。元のスピーカー音量の合計が計算されると、残りの音量無歪限界(headroom)は背景音楽の減衰値として用いられる。この減衰値は次のように計算される。
Figure 2005229618

ここで、下付き文字nは、当該スピーカーの位置を特定する。
次に、各スピーカー用のミュージック・ミックスは、この値によって減衰される。減衰された最終ミュージック・ミックスおよび元のミックスはそれらのスピーカーに用いられる最終ミックスである。従って、
Figure 2005229618
図7は、背景音楽ストリーム701および音声要素ストリーム702の2つの基本的な種類の音声ストリームを示す。典型的なゲームでは、背景音楽ストリームと可変数の音声要素ストリームを、チャネル・フレーム加算ブロック705において、処理、且つミックスして最終出力を作成する。音声要素ストリームは、利用可能なオン・チップ記憶装置の量と、人間の耳が周囲のノイズとは異なるものとして識別できる異なる音の数とによって制限される。
背景音楽ストリーム701は、ハード・ドライブまたはCDのような大容量メモリーに格納する。背景音楽ストリームはノンインタラクティブである。それは従来のコンパクト・ディスクまたは映画のサウンド・トラックのように作成し、再生する。このファイルの大きさのために、トラックを、コンピュータのハード・ドライブまたはゲームCDのいずれかから、音声プロセッサに流入させる。ビット・ストリーム再生動作モードにおいて対応する全ての入力ストリーム・ファイル・フォーマットおよびサンプリング速度は、AC3、DT3およびその他の一般に使用されるフォーマットを含んで対応することができる。音声プロセッサは、効果処理をそのまま背景音楽に適用することはない。
音声要素ストリーム702はインタラクティブである。各音声要素の第1フレームは、オンチップ・メモリーに格納しなければならない。音声要素データは、次に利用可能なS/PDIF入力708上を流れ、ろ過された音声ストリーム・プロセッサ・ブロック704に流入することができる。S/PDIFは、むしろ閉じられたシステム用に選択されるバスである。何故なら、それはAVRシステムを殆どミラーリングしたものだからである。しかしながら、これらのストリームはたくさんの異なった方法で音声プロセッサに送り込むことが可能である。対応したファイル・フォーマットおよびサンプリング速度は背景音楽と同じである。殆どは単に2チャネルのPCMファイルである。持続期間のより長い要素またはより完全な体験を必要とするそれらの要素は企業の標準フォーマットを用いてマルチ・チャネル符号化することができる。
音声要素ストリーム用の自動効果処理703は、DSSLP状態への変化を、ゲーム・プレーヤーが起こした変化720からソースおよびリスナー位置へコンパイル(compile)するステップを含む。ブロック710は、この動的に変更されたDSSLPデータを絶えず更新し、これをDSSLPプロセッサ712に送る。DSSLPプロセッサ712は、現在の状態のDSSLPを生成し、それはブロック714に格納される。この現在の状態のDSSLPデータを用いて、音声要素ストリーム702を処理するために必要なブロック704のディジタル・フィルタを構成する。プロセッサ・ブロック704は、必要なフィルター処理を音声要素ストリームに適用する。
これらのフィルター効果は、幅の広いマルチ・チャネル・ストリーム積分器706の中に含まれる音声レンダリングブロックの中で達成される。ユーザによって供給される音効果処理は、ブロック718によって音声要素出力ストリームに適用され、音声フレーム・バッファ・ブロック716において結合される。完全に処理され、ミックスされた音声ストリームは、チャネル/フレーム加算ブロック705に送られる。チャネル/フレーム加算ブロック705は、音声要素と背景音楽ストリームとをミックスする。
濾波された音声要素ストリーム・プロセッサ・ブロック704に導かれた各音声要素は、関連するアクティブ・フラッグを備えた音声要素ストリーム・プロセッサを有する。フラッグが設定されると、音声要素はアクティブとなり、一度だけ再生される。また、各アクティブ・フラッグは、関連する自動解除またはユーザ解除フラッグを有する。自動解除フラッグがアクティブであると、音声エンジンは、以前はアクティブであったフラッグを自動的に解除してイナクティブとし、音声状態のイベントの変化をトリガーする。自動解除フラッグがイナクティブである場合、音声要素のアクティブ・フラッグは引き続きアクティブに設定される。これにより音響要素はこれを繰り返し実行し、アクティブ・フラッグを解除してイナクティブに変えるように、ゲーム・プログラムが音声エンジンに伝えるまでこれを続ける。これは自動車や飛行機のエンジンの絶え間のないうなりを伝えるには有用である。
先に図7を参照して説明したように、チャネル/フレーム加算ブロック705からの出力は、音フォーマッター707に送られる。音フォーマッター707は、システム・スピーカーおよび音分配器709用に合成音を生成する。次に、音分配器709は、この合成音をスピーカー別の音に分離する。スピーカー・システム711は、生成される多チャネルの音を受け取る。
図8は、本発明の3次元レンダリング音声プロセッサ・システムの自動的効果処理部を示す。ブロック801からの音声データ入力は、全てのソース音と、リスナー位置と、音声タグ情報とのリストを含む。ブロック802は、ブロック714の格納された現在の状態のDSSLPと、ブロック720のゲーム・プレーヤーが起こしたDSSLP入力に対する変化から、現在の状態のDSSLPデータを生成する。ブロック802は、DSSLPデータを処理し、動的に変化する格納済みDSSLP構成をDSSLPプロセッサ712の中に生成する。これによって音源位置の各々から発する音の適切なフィルター処理が決定される。また、DSSLPプロセッサ712は、各リスナー位置を各スピーカーの位置に関係付ける。最後に、現在の状態のDSSLPデータはブロック714に格納され、リアル・タイムのレンダリング計算において用いられる。この集中的なリアル・タイムのレンダリング計算は、図7の濾波された音声要素ストリーム・プロセッサ704で行われる。
図9は、DSSLP技術に対応するより新型の高性能バス・システムを実現するために必要なゲーム構造およびバス変化を示す。この構造のビデオおよび音声部は、より多くの等しいフーティング上にある。プロセッサ・コア900は、キャッシュ・メモリー901に格納された制御情報から駆動される。プロセッサ・コア900およびその他のいくつかの重要な要素は、高性能バス918上にある。プロセッサ・コア900は、ビデオ景観916および現在の状態のDSSLP情報917の双方の完全な記述を作成する景観/DSSLPデータ・インターフェース902と直接にインターフェースする。リアル・タイムに更新されたDSSLPの現在の状態の記述によって、音声効果のリアル・タイムなレンダリングが可能になる。
リアル・タイムのグラフィックス処理は、グラフィックス・アクセラレータ903と、関連のローカル・グラフィックス・メモリー905を用いる。ビデオ出力プロセッサ912は、生成されたデータを用いてフレーム・バッファ908とビデオ・ディスプレイ・ブロック909を駆動する。音声プロセッサ922は以前の状態のDSSLP情報を格納するシステム・メモリー906を用いて、現在の状態のDSSLP生成装置917に格納される新たな現在の状態のDSSLP音声情報を生成する。リアル・タイム音声プロセッサ922は、次に音響システム923を駆動する。
また、このシステムは、高性能バス918よりも性能の小さく、ディスク・ドライブI/O910およびプログラム/ユーザ・インターフェースI/O911とインターフェースする周辺バス919を含む。バス・インターフェース915によって、高性能バス918と周辺バス919との間でインターフェースされ、裁定が行われる。
本発明のさらに別の利点は、このモデルが現在の3次元グラフィックス・レンダリング・モデルをミラーリングすることである。これらのレンダリング・グラフィックス・モデルでは、画像の中において起こる変化だけを計算し且つ適用する。従って、殆どのグラフィックス系のゲーム設計者は、音声モデルを更に容易に捕捉することができる。従って、(動的ライティングおよびシャドウイングのような)グラフィックス用の類似の技法および効果は、そのまま音声に適用可能である。以下の例は、音声システムの中でドップラー効果を発生させる現在の技術に対する本発明の手法の違いを示す。
ドップラー偏移は、現在の技術ではハード・コードされたプログラミングによって実現される。プログラマーはドップラー偏移パラミータを送るだけで、このパラミータは、音声プロセッサではなく、メイン・プロセッサによって処理される。メイン・プロセッサは位置音声アルゴリズムの役割を担う。現在のシステムの音声プロセッサは、効果プロセッサに過ぎない。音声プロセッサは、メイン・プロセッサが決定した音声ストリーム修正(例えば、残響、音量制御)を実行する。ドップラー偏移は以下のステップを必要とする。
ゲーム設計者はプログラミング段階から動作を行い、周波数領域内のドップラー値をメイン・プロセッサに渡す。メイン・プロセッサは、このドップラー値およびその他の情報を音声プロセッサに送る。このその他の情報には、(a)新たな位置更新、(b)新たな音質が合成されたパターン、および(c)残響フィルター係数表ポインタが含まれる。音声・プロセッサはメイン・プロセッサからデータを取り込み、効果を適用する。ドップラー効果に対し、音声プロセッサは、受け取ったドップラー値に関連する多数のサンプルを時間をずらしてサンプリングする。従って、プログラマーはドップラーが所定の状態においてどのように聞こえるかを判定する。音声プロセッサには、ドップラー値がどのようであるべきかを判定する役割はなく、単にその効果を発生させるだけである。さらに、ドップラー値を判定する際、以前の位置と現在の位置との間の相互作用は行われない。
図10は、本発明におけるドップラー偏移プロセスのフロー・チャートを示す。音声プロセッサは、ドップラー効果を定期的に計算し、これを各アクティブな音物体に適用する。音声プロセッサは、メイン・プロセッサから物体の位置変化情報を受け取る(ステップ1001)。これらの位置の変化は、ユーザの入力の結果、またはコンピュータ制御物体の移動、あるいはその組み合わせの結果とすることができる。音声プロセッサは、位置を特定してどのような効果を適用したらよいかを判定し、それを適用する。このプロセスは、まず、物体の変化情報からソースとリスナーの位置の距離の変化、さらに次の音源物体の方向の変化を計算する(ステップ102)。このプロセスには、各物体の新たな位置を入力から計算するステップが含まれる。それぞれの新たな位置を、格納された以前の位置と比較して、当該物体のあらゆる変化を判定する。最初からこのループまでの間、次の物体は最初の物体である。位置の変化が正(決定ブロック1003においてイエス)である場合、音源はリスナー位置から遠ざかりつつあり、ドップラー偏移値の周波数は下がっている(ブロック1004)ことを指し示している。この負のドップラー偏移値は、変化した距離の量に比例する。位置の変化が負(決定ブロック1003においてノー且つ決定ブロック1005においてイエス)である場合、音源はリスナーの位置に近づきつつあり、ドップラー偏移値の周波数は上がっている(ブロック1006)ことを指し示している。この正のドップラー偏移値もまた変化した距離の量に比例する。対応する音源物体からの音は、次の期間のドップラー偏移値(ブロック1007)に対応する量および方向によってタイム・シフトされる。音声プロセッサは、周波数領域におけるサンプルをタイム・シフトすることによってドップラー偏移を実行する。これによって、音には可聴周波数偏移が生み出される。この変化が正でも負でもない場合(決定ブロック1003においてノーであり、決定ブロック1005においてノー)、ドップラー偏移は不要である。ドップラー偏移値をゼロに設定すると(ブロック1008)、時間シフトブロック1007は省略される。別のアクティブな音物体がある(決定ブロック1009におけるイエス)場合、制御はブロック1002に戻り、次の物体にために繰り返す。別のアクティブな音物体がない(決定ブロック1009におけるノー)場合、ドップラー偏移プロセスは終了する(出口ブロック1010)。
このプログラミングは動的であり、単に、メイン・プロセッサからのユーザの入力基づいている。メイン・プロセッサは物体の位置変化情報を音声プロセッサに送る。音声プロセッサは、現在の音声発生物体の状態とその以前の状態とを格納する。音声プロセッサは、ドップラー効果の値を判定し、それを適用する。これについては図10で詳述する。ドップラー偏移値が正である場合、その音はリスナー位置に対して遠ざかりつつある。ドップラー偏移値が負の場合、その音は近づきつつある。ドップラー偏移値の大きさは、適用する周波数偏移量である。この値によって、相対的な動きに応じて、正または負にタイム・シフトするサンプルの数が設定される。
従って、音声エンジンは、音源とリスナー位置の量および方向の相対変化を自立的に決定し、次に音声サンプルを適切にタイム・シフトする。プログラマーは、ドップラー効果を起こすために介入する必要はない。これは3次元のグラフィックス・プロセッサにおける自動的シェーディングに類似する。グラフィックス・アーティストは、影は描くことはない。メイン・プロセッサは、光源、カメラ位置、および物体に基づいて陰を自動的に作成する。
上述の実施形態では、コンピュータが生成したグラフィックス多角形を利用するシステムで利用される音処理方法は、複数の音源であって、その各々はコンピュータが生成した物体に取り付けられる、複数の音源を規定するステップと、音源が取り付けられた各コンピュータ生成物体とリスナー位置との相対位置を特定するステップと、相対位置に応じて音源をマルチ・チャネル音のチャネルに混入させるステップと、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化を検出するステップと、検出した相対位置変化に応じて、音源をマルチ・チャネル音のチャネルに再混入させるステップと、を含む。
上述の実施形態では、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置を特定するステップは、音源が取り付けられた各コンピュータ生成物体の(X、Y)座標内の位置を規定するステップと、規定された(X、Y)座標内の位置を、座標原点であるリスナー位置に標準化するステップと、(X、Y)座標から標準化され、且つ規定された位置を、極座標に変換するステップとによって行うことができる。この相対位置の変化の検出は、標準化された(X、Y)座標における相対変化物体を極座標へ変換することを含むことができる。
音処理方法は、各音源からの音を複数の周波数帯域に分割するステップと、周波数帯域に応じて、マルチ・チャネル音響システムのチャネルへの音源混入を適用するステップと、周波数帯域に応じて多チャネルにおける音源を減衰させるステップとを含む。元の音レベルとリスナー位置からの距離に応じて、音源を減衰させることができる。音源が取り付けられたコンピュータ生成物体は、コンピュータ制御下で移動可能である。リスナー位置は、ユーザ入力に応じて移動可能である。音源はコンピュータ制御下またはユーザ制御下で、電源を入れたり切ったりすることができる。
音処理は、さらに、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化の方向および大きさを定期的に特定するステップと、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の方向および大きさの対応する変化に応じて、音源が取り付けられた各コンピュータ生成物体の音の周波数偏移を、次の期間のために適用するステップとを含む。相対位置の変化の方向および大きさを特定するステップは、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の特定された相対位置を格納するステップと、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の新たに特定された相対位置を、対応する格納された相対位置と比較するステップとを含むことができる。次の期間のために音の周波数偏移を適用するステップは、音源が取り付けられたコンピュータ生成物体とリスナー位置との間の相対位置の方向および大きさの変化に対応した量および方向によって、対応する取り付けられた音のタイム・シフト・サンプリングを行うステップを含むことができる。
以上の説明に関して更に以下の項を開示する。
(1)コンピュータが生成するグラフィックス多角形を利用したシステムにおいて用いられる音処理方法であって、
複数の音源であって、各々がコンピュータ生成物体に取り付けられた、複数の音源を規定するステップと、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置を特定するステップと、
相対位置に応じて、マルチ・チャネル音のチャネルに音源を混入させるステップと、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化を特定するステップと、
前記検出された相対位置の変化に応じて、マルチ・チャネル音のチャネルに音源を再混入させるステップと、を含む方法。
(2)(1)記載の方法において、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置を特定するステップは、
音源が取り付けられた各コンピュータ生成物体の(X、Y)座標における位置を特定するステップと、
前記規定された(X、Y)座標内の場所を、座標原点であるリスナー位置に標準化するステップと、
(X、Y)座標から標準化され、規定された位置を極座標に変換するステップとを含む方法。
(3)(2)または(3)記載の方法において、
音源が取り付けられたコンピュータ生成物体とリスナー位置との間の相対位置の変化を検出する前記ステップは、標準化された(X、Y)座標の変化に応じて、物体を極座標に変換するステップを含む方法。
(4)(1)乃至(3)のいずれかに記載の音処理方法であって、
各音源からの音を複数の周波数帯域に分割するステップと、
周波数帯域に応じて、マルチ・チャネル音響システムのチャネルに音源を混入させるステップと、
周波数帯域に応じて多チャネルにおける音源を減衰させるステップとを含む方法。
(5)(1)乃至(4)のいずれかに記載の音処理方法であって、
元の音レベルとリスナー位置からの距離に応じて音源を減衰させるステップを踏む方法。
(6)(1)乃至(5)のいずれかに記載の音処理方法であって、さらに、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化の方向および大きさを特定するステップと、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の方向および大きさの対応する変化に応じて、音源が取り付けられた各コンピュータ生成物体の音の周波数偏移を、次の期間のために適用するステップとを含む方法。
(7)(6)記載の音処理方法において、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化の方向および大きさを定期的に特定するステップは、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の前記特定された相対位置を格納するステップと、
音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の新たに特定された相対位置を、格納済みの対応する相対位置と比較するステップとを含む方法。
(8)(6)または(7)に記載の音処理方法において、
音の周波数偏移を次の期間のために適用する前記ステップは、音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の方向および大きさの変化に対応した量および方向によって、対応する取り付けられた音のタイム・シフト・サンプリングを行うステップを含む方法。
(9)本発明は、動的音源とリスナーの位置(DSSLP)による音声レンダリングを用いて、使用する音声処理の量は僅かしか増加しない高品質の音声効果の実現について説明する。音とリスナーの位置だけに基づいて音声システムをモデル化するのではなく、最終音を判定する特性を、現在の状態とすぐ前の状態からのリスナーの相対位置の変化によって判定する。以前の状態を格納することによって、全ての音源とリスナーの位置との間の相対位置の変化によって発生する音声効果を計算することが可能になる。現在の状態のDSSLPデータは、格納された音とリスナーの位置、音声タグ情報(ブロック801)、格納された状態データ(ブロック714)、およびゲーム・プレーヤーが起こした変化の入力(ブロック720)から生成され、DSSLPプロセッサ(ブロック712)において、動的に変化するDSSLP構成を発生させる。このDSSLP構成によって音声格納場所から発する音のフィルター処理が決定される。
図1は、非ビデオ・データ転送(従来技術)用の高性能バスと性能のより低いバスとを介して相互接続されたグラフィックス・アクセラレータを含んだ従来のビデオ・ゲーム・システム構成を示す。 図2は、ゲーム動作モードの音声プロセッサ・システム(従来技術)のソフトウエアの流れを示す。 図3は、アコースティック・タグの付いた3次元物体を示す。 図4は、位置音声効果エンジン処理のブロック図を示す。 図5は、ゲーム状態の音声要素間の基本的関係を表わすフロー・チャートを示す。 図6は、スピーカー構成配置に対するゲーム状態の音対リスナー方向の相対方向を示す。 図7は、本発明の動的音源とリスナーを用いた音声レンダリングのソフトウエアの流れを示す。 図8は、本発明の3次元レンダリング音声プロセッサ・システム自動的効果処理部を示す。 図9は、本発明において説明された動的音源とリスナーを用いた音声レンダリングに必要な高度オーディオ/ビデオ・プロセッサを示す。 図10は、本発明によるドップラー偏移効果の利用を示すフロー・チャートである。

Claims (1)

  1. コンピュータが生成するグラフィックス多角形を利用したシステムにおいて用いられる音処理方法であって、
    複数の音源であって、各々がコンピュータ生成物体に取り付けられた、複数の音源を規定するステップと、
    音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置を特定するステップと、
    相対位置に応じて、マルチ・チャネル音のチャネルに音源を混入させるステップと、
    音源が取り付けられた各コンピュータ生成物体とリスナー位置との間の相対位置の変化を特定するステップと、
    前記検出された相対位置の変化に応じて、マルチ・チャネル音のチャネルに音源を再混入させるステップと、を含む方法。
JP2005034235A 2004-02-13 2005-02-10 動的音源とリスナーの位置による音声レンダリング Pending JP2005229618A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/779,047 US7492915B2 (en) 2004-02-13 2004-02-13 Dynamic sound source and listener position based audio rendering

Publications (1)

Publication Number Publication Date
JP2005229618A true JP2005229618A (ja) 2005-08-25

Family

ID=34701407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005034235A Pending JP2005229618A (ja) 2004-02-13 2005-02-10 動的音源とリスナーの位置による音声レンダリング

Country Status (3)

Country Link
US (1) US7492915B2 (ja)
EP (1) EP1565035B1 (ja)
JP (1) JP2005229618A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184792A (ja) * 2006-01-06 2007-07-19 Samii Kk コンテンツ再生装置及びコンテンツ再生プログラム
JP2008131515A (ja) * 2006-11-22 2008-06-05 Sharp Corp 情報処理装置、情報処理方法およびプログラム
JP2010131113A (ja) * 2008-12-03 2010-06-17 Copcom Co Ltd 音声出力処理装置、その音声出力処理装置を実現するためのゲームプログラム及び記録媒体
WO2016084592A1 (ja) * 2014-11-28 2016-06-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
WO2005124722A2 (en) * 2004-06-12 2005-12-29 Spl Development, Inc. Aural rehabilitation system and method
EP1905002B1 (en) * 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
KR20060131610A (ko) * 2005-06-15 2006-12-20 엘지전자 주식회사 기록매체, 오디오 데이터 믹싱방법 및 믹싱장치
WO2007083952A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for processing a media signal
EP1984913A4 (en) 2006-02-07 2011-01-12 Lg Electronics Inc DEVICE AND METHOD FOR CODING / DECODING A SIGNAL
US20080104126A1 (en) * 2006-10-30 2008-05-01 Motorola, Inc. Method and systems for sharing data with mobile multimedia processors
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
JP4718622B2 (ja) * 2009-03-24 2011-07-06 株式会社スクウェア・エニックス ゲーム装置、ゲームの進行方法、ゲームプログラム及び記録媒体
JP5299018B2 (ja) * 2009-03-26 2013-09-25 ソニー株式会社 情報処理装置、コンテンツ処理方法及びプログラム
KR101040086B1 (ko) * 2009-05-20 2011-06-09 전자부품연구원 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8207439B2 (en) * 2009-12-04 2012-06-26 Roland Corporation Musical tone signal-processing apparatus
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
JP5518638B2 (ja) 2010-08-30 2014-06-11 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム
JP5521908B2 (ja) 2010-08-30 2014-06-18 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システムおよびプログラム
US9377941B2 (en) 2010-11-09 2016-06-28 Sony Corporation Audio speaker selection for optimization of sound origin
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP5437317B2 (ja) * 2011-06-10 2014-03-12 株式会社スクウェア・エニックス ゲーム音場生成装置
TWI453451B (zh) 2011-06-15 2014-09-21 Dolby Lab Licensing Corp 擷取與播放源於多音源的聲音之方法
US20150010166A1 (en) * 2013-02-22 2015-01-08 Max Sound Corporation Sound enhancement for home theaters
US10038957B2 (en) * 2013-03-19 2018-07-31 Nokia Technologies Oy Audio mixing based upon playing device location
EP2830326A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio prcessor for object-dependent processing
US9782672B2 (en) * 2014-09-12 2017-10-10 Voyetra Turtle Beach, Inc. Gaming headset with enhanced off-screen awareness
JP6369317B2 (ja) 2014-12-15 2018-08-08 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
JP2018500093A (ja) * 2014-12-18 2018-01-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 効果的な可聴アラーム設定のための方法及びデバイス
CN104540015A (zh) * 2014-12-18 2015-04-22 苏州阔地网络科技有限公司 一种应用于在线课堂系统中的自动音量调节方法及设备
US10176644B2 (en) 2015-06-07 2019-01-08 Apple Inc. Automatic rendering of 3D sound
KR20170035502A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
US10031718B2 (en) 2016-06-14 2018-07-24 Microsoft Technology Licensing, Llc Location based audio filtering
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
WO2018088450A1 (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
WO2019004524A1 (ko) * 2017-06-27 2019-01-03 엘지전자 주식회사 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
RU2020112255A (ru) 2017-10-20 2021-09-27 Сони Корпорейшн Устройство для обработки сигнала, способ обработки сигнала и программа
US11109179B2 (en) 2017-10-20 2021-08-31 Sony Corporation Signal processing device, method, and program
CN110164464A (zh) * 2018-02-12 2019-08-23 北京三星通信技术研究有限公司 音频处理方法及终端设备
GB2571572A (en) 2018-03-02 2019-09-04 Nokia Technologies Oy Audio processing
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US10609503B2 (en) 2018-04-08 2020-03-31 Dts, Inc. Ambisonic depth extraction
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US11503422B2 (en) * 2019-01-22 2022-11-15 Harman International Industries, Incorporated Mapping virtual sound sources to physical speakers in extended reality applications
WO2024014711A1 (ko) * 2022-07-11 2024-01-18 한국전자통신연구원 녹음 거리 파라미터 기반 오디오 렌더링 방법 및 이를 수행하는 장치
CN116389982A (zh) * 2023-05-19 2023-07-04 零束科技有限公司 音频处理方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414474A (en) * 1992-03-04 1995-05-09 Fujitsu Limited Moving body recognition apparatus
US5337363A (en) * 1992-11-02 1994-08-09 The 3Do Company Method for generating three dimensional sound
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
US5574824A (en) * 1994-04-11 1996-11-12 The United States Of America As Represented By The Secretary Of The Air Force Analysis/synthesis-based microphone array speech enhancer with variable signal distortion
US6266517B1 (en) * 1999-12-30 2001-07-24 Motorola, Inc. Method and apparatus for correcting distortion in a transmitter

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184792A (ja) * 2006-01-06 2007-07-19 Samii Kk コンテンツ再生装置及びコンテンツ再生プログラム
JP2008131515A (ja) * 2006-11-22 2008-06-05 Sharp Corp 情報処理装置、情報処理方法およびプログラム
JP2010131113A (ja) * 2008-12-03 2010-06-17 Copcom Co Ltd 音声出力処理装置、その音声出力処理装置を実現するためのゲームプログラム及び記録媒体
WO2016084592A1 (ja) * 2014-11-28 2016-06-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JPWO2016084592A1 (ja) * 2014-11-28 2017-09-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10880597B2 (en) 2014-11-28 2020-12-29 Saturn Licensing Llc Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
EP1565035A3 (en) 2010-06-30
EP1565035A2 (en) 2005-08-17
US7492915B2 (en) 2009-02-17
EP1565035B1 (en) 2017-01-11
US20050179701A1 (en) 2005-08-18

Similar Documents

Publication Publication Date Title
JP2005229618A (ja) 動的音源とリスナーの位置による音声レンダリング
US7563168B2 (en) Audio effect rendering based on graphic polygons
JP7038688B2 (ja) ヘッドフォンを介した空間音響レンダリングのための室内特性を修正するシステムおよび方法
US6898291B2 (en) Method and apparatus for using visual images to mix sound
US5812688A (en) Method and apparatus for using visual images to mix sound
EP1025743B1 (en) Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
US8626321B2 (en) Processing audio input signals
TW200833158A (en) Simulation of acoustic obstruction and occlusion
US11250834B2 (en) Reverberation gain normalization
JP2003061200A (ja) 音声処理装置及び音声処理方法、並びに制御プログラム
KR20240095457A (ko) 디폴트 음향 환경에 대한 정보를 사용하여 가상 오디오 장면을 렌더링하는 장치 및 방법
JP2000505627A (ja) 音声再生アレイプロセッサシステム
JP2023066419A (ja) オブジェクトベースのオーディオ空間化器
CN115334366A (zh) 一种交互沉浸式声场漫游的建模方法
Dausel et al. Wave Field Synthesis for Games using the Open฀ L interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126