JP2007184792A - コンテンツ再生装置及びコンテンツ再生プログラム - Google Patents

Abstract

【課題】 一人称視点（例えば映像コンテンツにおける仮想カメラの位置）と音源の位置関係を音声的に表現することで没入感を上昇させる。
【解決手段】 仮想空間に存在する音源と仮想カメラ等の配置関係を計算してその計算結果に応じてスピーカーなどの音声出力手段に与える音声出力をリアルタイムに変化させる。第一、第二の音声出力手段を備えるコンテンツ再生装置に、仮想空間における基準座標に関する値を記憶する基準座標記憶手段と、仮想空間における基準方向に関する値を記憶する基準方向記憶手段と、仮想空間における音源の座標に関する値を記憶する音源座標記憶手段と、基準座標に関する値、基準方向に関する値及び音源の座標に関する値に基づいて、前記音源についての相対的指向性に関する値を計算し、当該相対的指向性に関する値に応じて第一、第二の音声出力手段に与える音声出力を調整する音声出力調整手段とを設ける。
【選択図】 図３

Description

本発明は、仮想空間に構築された仮想モデルに基づいてコンテンツの再生を行うコンテンツ再生装置及びコンテンツ再生プログラムに関し、特に音源の位置に応じた音声出力の調整を行うことにより、コンテンツに対する没入感を高めることができるコンテンツ再生装置及びコンテンツ再生プログラムに関する。

パチンコ、パチスロ、家庭用ゲーム機、ＰＣ用ゲーム、ＣＧ動画等において、バーチャルリアリティを用いたコンテンツが広く使用されている。このようなコンテンツは、仮想三次元空間に構築された仮想モデルを仮想カメラで撮影した映像と、この映像に合わせて制作された音声とにより構成されることが一般であるが、仮想空間上の一人称視点をより明確に感じてもらい、映像の現実感をアップさせ、さらに仮想現実への没入感を上昇させるためには、音声の要素が特に重要となる。

しかし、従来、音声については、視野映像の従属物という観点しかなく（例えば、下記特許文献１）、このため没入感が十分に得られないという問題があった。特に、仮想カメラ位置を連続的に移動するなど変更しても仮想空間に配置された音源（例えば「焚き火」のオブジェクト）から発せられる音声がリアルタイムに変化せずに均一にしか聞こえず、仮想カメラから映しだされる映像のもつ現実感が低くなり没入感が十分でないという問題があった。
特開２００１−１７５８８３号公報

本発明は、コンテンツの視聴者（ゲームの遊戯者やＣＧ動画の視聴者）に、仮想空間における仮想カメラの位置や方向（一人称視点）を明確に感じてもらい、映像の現実感をアップさせ、結果的に映像への没入感を上昇させることができるコンテンツ再生装置及びコンテンツ再生プログラムを提供することをその目的とする。

また本発明は、コンテンツが映像の表示を行うものであるか否かに拘わらず、仮想空間における所定の位置や方向に対する音源の相対的位置の変化を音声により表現することで、コンテンツの視聴者により高い現実感を与えることができるコンテンツ再生装置及びコンテンツ再生プログラムを提供することをもその目的とする。

また本発明は、かかる音声を通じた没入感の上昇を、簡易で高速な処理方式により実現することをその課題とする。

本発明は、仮想空間に存在する音を発するオブジェクト（音源）の座標と、仮想カメラ等の基準座標や基準方向との配置関係を計算し、その計算結果に応じてスピーカーなどの音声出力手段から出力する音声をリアルタイムに変化させる方針により上記課題を解決したものであり、
仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生装置であって、
第一及び第二の音声出力手段と、
仮想空間における基準座標に関する値を記憶する基準座標記憶手段と、
仮想空間における基準方向に関する値を記憶する基準方向記憶手段と、
仮想空間における音源の座標に関する値を記憶する音源座標記憶手段と、
前記基準座標記憶手段に記憶した基準座標に関する値と、前記基準方向記憶手段に記憶した基準方向に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値に基づいて、前記音源についての相対的指向性に関する値を計算し、当該相対的指向性に関する値に応じて前記第一、第二の音声出力手段に与える音声出力を調整する音声出力調整手段と、
を備えることを特徴とするコンテンツ再生装置である。

また本発明では、前記第一の音声出力手段が右側ステレオシステムであり、前記第二の音声出力手段が左側ステレオシステムであることが好ましい。

また本発明では、仮想空間に配置された仮想カメラにより撮影した前記仮想モデルの映像を出力する映像出力手段を更に備え、
前記基準座標が前記仮想カメラの座標であり、前記基準方向が前記仮想カメラの撮影方向であることが好ましい。

また本発明では、基準方向を回転軸とした基準ロールに関する値を記憶する基準ロール記憶手段を更に備え、
前記相対的指向性に関する値が、前記基準座標記憶手段に記憶した基準座標に関する値と、前記基準方向記憶手段に記憶した基準方向に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値と、前記基準ロール記憶手段に記憶した基準ロールに関する値に基づいて計算されることが好ましい。

また本発明では、前記仮想空間が仮想三次元空間であり、
前記音声出力調整手段が、前記仮想三次元空間における前記音源の座標を、前記基準座標を通り、前記基準方向に水平であり、前記基準ロールに対応する平面の二次元座標に変換して、前記相対的指向性に関する値を計算することが好ましい。

また本発明では、前記音声出力調整手段は、前記相対的指向性に関する値を、前記基準方向に平行な基準方向軸における前記音源の座標と前記基準座標の変位であるＺ軸変位及び前記基準方向の垂直な垂直方向軸における前記音源の座標と前記基準座標の変位であるＸ軸変位として求め、前記Ｘ軸変位がプラスの場合には第一又は第二の音声出力手段のいずれか一方の音声出力手段に他方の音声出力手段よりも大きい音声出力を与え、前記Ｘ軸変位がマイナスの場合には前記他方の音声出力手段に前記一方の音声出力手段よりも大きい音声出力を与えることが好ましい。

また本発明では、前記音声出力調整手段は、前記Ｚ軸変位及び／又は前記Ｘ軸変位がそれぞれの対応する所定の閾値より大きい前記音源についての前記第一及び第二の音声出力手段の音声出力がゼロとなるよう制御することが好ましい。

また本発明では、基準座標の基準方向の反対側に前記音源が存在することを前記Ｚ軸変位が示す場合に、前記音声出力調整手段は、前記第一及び第二の音声出力手段の音声出力が小さくなるように制御することが好ましい。

また本発明では、前記第一又は第二の音声出力手段のうちのより大きい音声出力が与えられた音声出力手段の音声出力を、前記それぞれの対応する閾値とＸ軸変位及び／又はＺ軸変位の差に比例して大きくなるように制御することが好ましい。

また本発明では、前記音声出力調整手段は、前記第一又は第二の音声出力手段のうちのより小さい音声出力が与えられた音声出力手段の音声出力が、前記第一又は第二の音声出力手段のうちのより大きい音声出力が与えられた音声出力手段の音声出力の所定割合となるよう制御することが好ましい。

また本発明は、仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生装置であって、
仮想空間における基準座標に関する値を記憶する基準座標記憶手段と、
仮想空間における音源の座標に関する値を記憶する音源座標記憶手段と、
前記基準座標記憶手段に記憶した基準座標に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値に基づいて、前記基準座標から前記音源の座標までの距離に関する値を計算し、この値が小さい場合により大きい音声出力を与える音声出力調整手段と、
を備えることを特徴とするコンテンツ再生装置とすることが可能である。

また本発明では、前記音源を仮想空間上の不可視のオブジェクトとすることが好ましい。

本発明はまた、仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生プログラムであって、
コンピュータに、
仮想空間における基準座標に関する値を記憶する基準座標記憶制御と、
仮想空間における基準方向に関する値を記憶する基準方向記憶制御と、
仮想空間における音源の座標に関する値を記憶する音源座標記憶制御と、
前記基準座標記憶制御により記憶された前記基準座標に関する値と、前記基準方向記憶制御により記憶された前記基準方向に関する値と、前記音源座標記憶制御により記憶された前記音源の座標に関する値に基づいて、前記音源についての相対的指向性に関する値を計算し、当該相対的指向性に関する値に応じて第一、第二の音声出力手段に与える音声出力を調整する音声出力調整制御とを実行させることを特徴とするコンテンツ再生プログラムとすることが可能である。

本発明はまた、仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生プログラムであって、
コンピュータに、
仮想空間における基準座標に関する値を記憶する基準座標記憶制御と、
仮想空間における音源の座標に関する値を記憶する音源座標記憶制御と、
前記基準座標記憶制御により記憶された前記基準座標に関する値と、前記音源座標記憶制御により記憶された前記音源の座標に関する値に基づいて、前記基準座標から前記音源の座標までの距離に関する値を計算し、この値が小さい場合により大きい音声出力を与える音声出力調整制御とを実行させることを特徴とするコンテンツ再生プログラムとすることが可能である。

請求項１、１１、１３又は１４の発明は、特定の座標及び方向（基準座標及び基準方向）と音源の座標との相対的な位置関係を表す指標として相対的指向性に関する値を計算し、その計算結果をスピーカー等の音声出力手段から出力される音量やバランスに反映させることで、仮想空間における上記相対的な位置関係を音声によって認識することを可能とし、これにより、視聴者のコンテンツへの没入度を上昇させるものである。また音声に加えて映像（例えば、仮想空間内の仮想モデルを仮想カメラにより撮影した映像）の出力が行われるコンテンツの場合であれば、その映像の現実感を高め、結果として映像を視聴している人の没入感を上昇させることができる。

請求項２の発明によれば、既存のステレオシステム用のハードウエアを活用することが可能である。

請求項３の発明によれば、音声及び映像の出力が行われる映像コンテンツに本発明を適用することが可能となる。

請求項４の発明によれば、仮想カメラのロールに変化を加えることで迫力のある映像が出力されるフライトシミュレータや映画などへの本発明の適用が可能となり、仮想空間における仮想カメラの座標や方向の変化に加え、仮想カメラのロールの変化に伴う音声のバランス、大小等のあるべき変化を忠実に再現することが可能になる。

請求項５の発明では、スピーカーなどの音声出力手段により再現できる次元数にまで次元数を圧縮した計算に基づいて第一、第二の音声出力手段に与える音声出力を調整することが可能となり、音声出力の調整の高速化を達成することができる。

請求項６の発明によれば、相対的指向性に関する値として、それぞれ相互に垂直の成分よりなる２つのパラメータ（Ｘ軸変位及びＺ軸変位）が導出され、Ｘ軸変位を用いた簡易かつ効率的な音声出力の調整を行うことが可能となる。

請求項７の発明によれば、ある特定の音源のＺ軸変位及び／又はＸ軸変位がそれぞれについて定められた所定の閾値を越えた場合には、その音源についての音声出力がゼロに調整されるため、仮想モデル中に多数の音源が配置されている場合などにおける音声出力の調整を合理的な基準に基づいて高速化することが可能になる。

請求項８の発明によれば、前からの音のほうが聞こえやすいという人間の耳の集音の指向性をも加味し、より没入感を高めることが可能になる。

請求項９の発明によれば、音源とのあらゆる位置関係について出力値の不連続性がなく、リアリティの観点からも十分妥当で計算も容易な出力特性を得ることが可能になる。

請求項１０の発明によれば、出力バランスを小さくしたい側の音声出力手段の出力値として妥当な値を簡易かつ高速に計算することが可能になる。

請求項１２の発明によれば、音源オブジェクトを不可視にできるため、どのような環境にも対応することが可能になる。ハードウェア、ソフトウエアまたは世界観等の制約上、近似的にしか音源座標や音源数を設定できない場合でも違和感なく本発明を適用することが可能になる。また、不可視の音源オブジェクトを自由に配置することができるため、エフェクトその他の演出やヒント提供等の自由度も広げることが可能になる。また、音声のみからなる演出やゲームも無駄なく作成することが可能になる。

以下、ステレオシステムを備えた家庭用ゲーム機上で実行されるフライトシミュレータゲームにおいて映像及び音声の出力が行われるコンテンツを例にとり、本発明の実施形態を説明する。この実施形態では、遊技者により操作されるプレイヤキャラクタ（飛行機）に設定された仮想カメラと各音源との位置関係に基づいて相対的指向性に関する値を導出し、当該値に基づいて左右のスピーカーにおける音声出力の調整が行われる。

図１は、本発明によるコンテンツ再生装置全体の外観構成を示す説明図である。

図示されるように、本発明によるコンテンツ再生装置は、ゲーム機本体１、これにケーブル４で接続されたアンプ付モニター２、さらにこのアンプの出力端子にケーブル接続され、ステレオ形式の音声出力手段として動作する左右のラウドスピーカ（３Ｌ，３Ｒ）によって主に構成される。

また、ゲーム機本体１は、電源スイッチ１１、リセットスイッチ１２、コントローラ部１３、メモリポート１４、媒体挿入口１５等を備えている。本実施形態では、この本体に、本発明によるコンテンツ再生プログラムを含むゲームソフトウエア媒体（ＤＶＤ−ＲＯＭ）１６を組み込み、全体として、本発明によるコンテンツ再生装置を構成している。

図２には、ゲーム機本体１に内蔵されるハードウェアの概略的な構成が示されている。

図２では、ゲーム用コンピュータとしての一般的な構成として、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハートディスク２４、記録媒体ドライブ２５、画像合成ＩＣ２６、音声合成ＩＣ２７、その他のＩ／Ｏポート２８、バス２９を備える。特に、音声合成ＩＣ２７は、本発明によるステレオ出力を実施するため左右の出力ポート２７Ｌ及び２７Ｒを備え、それぞれから右側用と左側用の音声データをアナログ出力するように構成されており、前記アンプ付モニタ−２のアンプを介してそれぞれ左と右のラウドスピーカ（３Ｌ，３Ｒ）から音声を出力できるように構成されている。

また、ＲＡＭ（揮発メモリ）２３内には、本発明の最良の形態を実施するために必要ないくつかの要素を備えている。

すなわち、ＲＡＭ２３には、遊戯者により操作されるプレイヤキャラクタである飛行機のオブジェクトに設定された仮想カメラの座標、向き及びロールを、それぞれ基準座標、基準方向及び基準ロールとして記憶するための基準座標記憶部２３ａ、基準方向記憶部２３ｂ及び基準ロール記憶部２３ｄが、それぞれ静的領域やスタック領域としてアドレスを指定して確保されている。また、各音源の座標等を記憶するための音源座標記憶部２３ｃが、音源の数分だけヒープ領域等に確保されている。

さらに、ＲＡＭ２３内には、本発明により音声出力調整を行うためのプログラムである音声出力調整部２３ｅが記憶媒体ドライブ２５等から読み込まれて記憶されるほか、基準座標の遷移などゲーム状態自体の制御や最終的な音声出力も含めた演出関係の入出力制御等、全体的な制御を行うプログラムである全体制御部２３ｆも同様に読み込まれて記憶されている。

図３は、これらの記憶領域及びプログラムに関して、本発明によるデータの流れを示した機能ブロックの主要部分である。

全体制御部２３ｆは、ゲームの進行制御や映像並びに音声の出力のための入出力制御等、全体的な制御を行うプログラムである。即ち、全体制御部２３ｆは、仮想空間内に音源（音を発するオブジェクト。例えば、火山、敵機、ヘリコプター等のオブジェクト）を含む複数のオブジェクトを配置することで仮想モデルを構築し、仮想カメラから見たこの仮想モデルの映像を描画することにより動画像を生成するとともに、音声出力調整部２３ｅから受信した各音源についての音量及び左右バランスを図示しない各音源のサウンド情報（火山の爆発音やジェット音、ヘリコプターの音等）と組み合わせて音声合成ＩＣ２７に与え、音声合成ＩＣ２７が左（Ｌ）と右（Ｒ）のラウドスピーカに対し遊戯者の没入感を高める音声合成を行えるようにする。また全体制御部２３ｆは、各音源に設定された音量や座標を更新して音源座標記憶部２３ｃに格納し、遊戯者のコントローラ操作に応じて仮想カメラの基準座標、基準方向及び基準ロールを更新して基準座標記憶部２３ａ、基準方向記憶部２３ｂ及び基準ロール記憶部２３ｄに格納するなどの処理を実行する。

音声出力調整部２３ｅは、基準座標記憶部２３ａ、基準方向記憶部２３ｂ、音源座標記憶部２３ｃ、基準ロール記憶部２３ｄが格納している値を参照して、後述する計算方式により、各音源についての音量及び左右バランス（ＬとＲの出力値）を算出し、全体制御部２３ｆに与えることになる。

図４は、メモリ２３内の基準座標記憶部２３ａ、基準方向記憶部２３ｂ、音源座標記憶部２３ｃ、基準ロール記憶部２３ｄに、本実施形態に対応する具体的な値が格納されている様子を示している。

基準座標記憶部２３ａには、基準座標としての仮想カメラのワールド座標が格納されている。このゲームは仮想モデルや仮想カメラの状態の変化に伴う映像及び音声の変化を楽しむものであり、仮想カメラから見た仮想モデルが描画され、同時に、仮想カメラに対して届く各音源からの音の聞こえ方を忠実に再現することにより没入感を高めるようにする。

基準方向記憶部２３ｂには、基準方向としての仮想カメラのワールド座標における方向が格納されている。この例では、水平が＋６０度、垂直が＋３０度であるため、仮想カメラの設置された飛行機が、ワールド座標のＹ軸からＺ軸を中心に６０度だけ時計回りに回転し、かつ、Ｚ軸のプラス方向に３０度回転した方向に上昇して飛んでいる状態を記憶している。仮想カメラの位置に遊技者（視聴者）が居るとするならば、音源から遊技者に届く音声は、その遊技者の居る座標だけでなく、その遊技者の向きによっても異なることは明らかである。本発明では、こうしたリアリティを忠実に再現するために、仮想カメラの向きをも反映させて音源の音量及び左右バランスを算出する。

基準ロール記憶部２３ｄには、基準ロールとして仮想カメラのワールド座標のＸＹ平面（水平線）に対する傾きを記憶している。この場合−３０度であるため、反時計回りに３０度傾いた状態を記憶している。基準方向の場合と同様、仮想カメラの位置に居る遊技者が傾斜した状態であるとするならば、その傾斜が音源からの音声の聞こえ方に影響することは明らかであり、本発明では、このリアリティも反映できるようにするために、仮想カメラの基準ロールをも反映させて音源の音量及び左右バランスを算出する。

図中、２３ｃ（１）から２３ｃ（３）までは、それぞれ、火山（１）、敵ジェット機（２）、味方ヘリコプター（３）である各音源オブジェクトの座標を中心とした属性を格納するものである。座標はワールド座標であり、上記基準座標との距離が大きいほど音量が少なくなるように計算する。また、ＸｒとＺｒの値は音源固有の音量（例えば、火山やジェット機は大きく、ヘリコプターは少ない等）を反映した閾値であり、固有の音量が大きければ離れていても聞こえるというリアリティを反映している。

なお、この実施形態では、基準方向及び基準ロールを基準としたＸＺ平面（以降、主観的ＸＺ平面と呼ぶ）に各音源を投影して各音源の相対的指向性を求めるため、上記閾値としては主観的ＸＺ平面におけるＸ軸方向（横方向）及びＺ軸方向（縦方向）の閾値Ｘｒ、Ｚｒの二つのみを用いている。

図５は、火山オブジェクト（１）を、主観的ＸＺ平面に投影して相対的指向性を算出する様子を示したものである。図の主観的ＸＺ平面のＺ軸は、カメラのＺ軸であり、ワールド座標における基準方向に対応する。また、図の主観的ＸＺ平面のＸ軸は、カメラのＸ軸をカメラの傾き（基準ロール）分だけカメラのＺ軸を中心に回転した新しいＸ軸であり、ワールド座標のＸ軸ともカメラのＸ軸そのものとも異なる。

仮想カメラ５１は、フライトシミュレータにおいて飛行機からの視野を捕らえるためのものであり、主観的ＸＺ平面上の原点座標に位置する。なお、この主観的ＸＺ平面の原点座標は、客観的なワールド座標では上述のとおり（Ｘ＝１２０、Ｙ＝６０、Ｚ＝４０）に対応する。

図中５２は、火山の噴火口のワールド座標（Ｘ＝１８０、Ｙ＝６０、Ｚ＝４０）を、主観的ＸＺ平面に垂直に投影したものである。

本実施形態では、音源の仮想カメラに対する相対的指向性を、仮想カメラから主観的ＸＺ平面に投影された音源の座標への変位（Ｘ方向における変位Ｘｐ及びＺ方向におけるＺｐ）によって近似的に把握し、この相対的指向性を用いて音源からの音量に関する忠実なリアリティの再現と、高速な左右バランスの調整とを可能にしている。

以下、例の値に従って、Ｘｐ及びＺｐの値を実際に計算してみる。

火山のワールド座標（Ｘ＝１８０、Ｙ＝６０、Ｚ＝４０）を仮想カメラの基準座標（Ｘ＝１２０、Ｙ＝６０、Ｚ＝４０）を原点とするように平行移動すると（Ｘ_０＝６０、Ｙ_０＝０、Ｚ_０＝０）となる。以降以下のような順序で計算する。

まず、以下のように平行移動した値を座標変数に代入する。
Ｘ_０＝６０
Ｙ_０＝０
Ｚ_０＝０

ついで、基準方向がＺ軸を中心に時計回りに６０度回転するので、音源座標は、以下のようにＸＹの値のみを反時計回りに６０度回転する。
Ｘ_１＝Ｘ_０ｃｏｓ６０°−Ｙ_０ｓｉｎ６０°=３０
Ｙ_１＝Ｘ_０ｓｉｎ６０°＋Ｙ_０ｃｏｓ６０°=３０×√３
Ｚ_１＝Ｚ_０＝０

ついで、基準方向がＸ軸を中心に見上げるように３０度回転するので、音源座標は、以下のようにＹＺの値を時計回りに３０度回転する。
Ｘ_２＝Ｘ_１＝３０
Ｙ_２＝Ｙ_１ｃｏｓ（−３０°）−Ｚ_１ｓｉｎ（−３０°）＝４５
Ｚ_２＝Ｙ_１ｓｉｎ（−３０°）＋Ｚ_１ｃｏｓ（−３０°）＝−１５×√３

ついで、基準ロールがＹ軸を中心に反時計回りに３０度回転するので、音源座標は、以下のようにＸＺの値を時計回りに３０度回転する。
Ｘ_３＝Ｘ_２ｃｏｓ（−３０°）−Ｚ_２ｓｉｎ（−３０°）＝７．５×√３＝１２．９９
Ｙ_３＝Ｙ_２＝４５
Ｚ_３＝Ｘ_２ｓｉｎ（−３０°）＋Ｚ_２ｃｏｓ（−３０°）＝−３７．５

最後に、最初にデフォルト（回転０、ロール０）の基準方向としたワールド座標のＹ軸が主観的ＸＺ平面（ローカル座標）のＺ軸となるように交換し、かつ、音源オブジェクトの座標を主観的ＸＺ平面に垂直に投影するためＹｐのための座標（Ｚ_３）を捨象する結果、図中の求めるべきＸｐ及びＺｐの値は以下のようになる。
Ｘｐ＝Ｘ_３=１３（小数点以下四捨五入）
Ｚｐ＝Ｙ_３=４５

以下、図６に示すフローチャートに従って、音声出力調整部２３ｅにより実行される処理を説明する。

図６に示すように、ステップＳ０において、全体制御部２３ｆが、音源からの音量やバランスの更新をもたらす原因となるイベントを検出し、音声出力調整部２３ｅを起動する。このようなイベントとしては、遊技者のコントローラ操作に基づく仮想カメラの基準座標、基準方向、基準ロールの変更のほか、経時的な火山の爆発、敵ジェット機や味方ヘリコプターの出現や移動など音源オブジェクト自体の更新、さらには、所定のタイマー割り込みの発生等がある。

これを受けた音声出力調整部２３ｅが起動し、各音源オブジェクトについてステップＳ１以降の処理を行う。このとき、音声出力調整部２３ｅは、各音源オブジェクトについて、音源座標記憶部２３ｃに記憶された音源座標のほか縦方向及び横方向における変位の閾値Ｘｒ，Ｚｒも取得する。

まず、ステップＳ１において、上述した方式により、基準座標、基準方向、基準ロールを基準とした各音源オブジェクトの相対的指向性を、縦方向及び横方向における変位Ｘｐ及びＺｐとして求める。

ついでステップＳ２に遷移し、その音源オブジェクトが基準方向の反対側にないかどうか、すなわちＺｐが負でないかどうかが検査される。

Ｚｐが負である場合は、ステップＳ３に遷移して、Ｚｐを大きさが２倍の正の値にする処理が挿入される。これは、仮想カメラの位置に居る遊技者が仮想カメラと同じ方向（基準方向）を向いているとするならば、その遊技者の後ろ側にある音源からの音は小さくなるというリアリティを追求し没入感をより高めたものである。

ついで、ステップＳ４で、主観的ＸＺ平面の縦（Ｚ）方向の変位Ｚｐが閾値Ｚｒ未満であるかを検査し、閾値Ｚｒ以上である場合は、可聴範囲外とみなし、ステップＳ５に遷移して、以降の計算処理を終了する。この結果、その音源オブジェクトからの音声出力はゼロになるように制御される。

Ｚｐが閾値Ｚｒ未満である場合は、ステップＳ６に遷移し、縦（Ｚ）方向と同様横（Ｘ）方向についても、Ｘｐが閾値Ｘｒ未満であるかが検査され、閾値Ｘｒ以上のときは、縦方向と同様に可聴範囲外とみなされて、以降の計算処理を終了し、音声出力がゼロになるように制御される。

ついで、ステップＳ７では、左右バランスを判断するため変位Ｘｐの正負が判断される。

ここで、Ｘｐが正の場合は、ステップＳ１０に遷移してまずは右バランスＲｖが以下の式（１）により決定される。
Ｒｖ ← １−（Ｘｐ／Ｘｒ） 式（１）

右辺を変形すると、（Ｘｒ−Ｘｐ）／Ｘｒとなり、Ｘ軸変位Ｘｐと閾値Ｘｒの差に比例して出力が大きくなることを意味し、Ｘｐの小さな変化を捉えて忠実にリアリティを再現することを可能にしている。

Ｘｐが正の場合はついでステップＳ１１に遷移し、左バランスＬｖが以下の式（２）により決定される。
Ｌｖ ← Ｒｖ／２ 式（２）

これにより、左側の出力（Ｌｖ）についても、Ｘｐの小さな変化を確実に反映し、かつ、右側の出力（Ｒｖ）よりも小さな出力を得ることができるので、リアリティを反映した左右バランスを導出することができる。

ステップＳ７で横方向変位Ｘｐが０以下の場合は、ステップＳ８に遷移して以下の式（３）により左側の出力（Ｌｖ）を先に求める。
Ｌｖ ← １−（−Ｘｐ／Ｘｒ） 式（３）

ついで、Ｘｐが０でないときは、以下の式（４）により、右側の出力（Ｒｖ）を求める。
Ｒｖ ← Ｌｖ／２ 式（４）

ただし、ステップＳ９では、Ｘｐが０のときは、左右のバランスを等しくするためＲｖに定数１を格納し、Ｌｖとバランスレベルが等しくなるようにする。

このようにして、Ｘｐが正の場合も負の場合も、それぞれの左右バランスをリアリティを反映させて計算し、ついでステップＳ１２に遷移する。

ステップＳ１２では、既に定義したＬｖ及びＲｖについて、縦方向変位Ｚｐの値を以下の式（５）、式（６）により反映させる。
Ｌｖ ← Ｌｖ×（１−（Ｚｐ／Ｚｒ）） 式（５）
Ｒｖ ← Ｒｖ×（１−（Ｚｐ／Ｚｒ）） 式（６）

Ｘｐの場合と同様、左辺を展開するとＬｖ×（（Ｚｒ−Ｚｐ）／Ｚｒ）等となり、Ｚ軸変位Ｚｐと閾値Ｚｒの差に比例して出力が大きくなることを意味し、縦方向変位Ｚｐの小さな変化を捉えて忠実にリアリティを再現することを可能にしている。

ついで、ステップＳ１３で音声出力調整部２３ｅの処理が終了し、音源オブジェクト毎のＬｖ及びＲｖの値が全体制御部２３ｆに与えられ、現在のリアリティを反映する値として、左右のラウドスピーカの音量及びバランスが決定される。

以上、好ましい実施形態に基づいて本発明の説明を行ったが、本発明はこの実施形態により限定されるものではなく、特許請求の範囲の記載内において種々の改変が可能である。

例えば、上記実施形態では本発明のコンテンツ再生装置が家庭用ゲーム機により構成される場合について説明したが、アーケードセンターに設置される業務用のゲーム機やパチンコ機、スロットマシンなどの他のハードウェアにより本発明のコンテンツ再生装置を構成することも可能である。

また上記実施形態では、左右２つのスピーカが使用される場合を例として説明したが、上下に２組のステレオスピーカを設置し、４つのラウドスピーカに対応する４つの方向の範囲を関連づけて本発明を実施することもできる。この場合は主観的ＸＺ平面に投影してからその変位により場合分けしてバランスを決定するのではなく、基準座標、基準方向、基準ロールを基準とした主観的なＸＹＺ空間での変位を直接分析してバランスを決定することになる。

また上記実施形態では、プレイヤーの操作によって仮想空間を移動する仮想カメラの座標、方向、ロールに基づいて映像及び音声が変化するゲームに本発明を適用する場合を例として説明したが、予め定められた経路を移動する仮想カメラの座標、方向、ロールに基づいて映像及び音声が変化する映画などのコンテンツにも本発明は同様に適用することができる。

また上記実施形態では、スピーカから音声が出力されることに加え、モニタから仮想カメラにより撮影された仮想モデルの映像が出力されるコンテンツを例として説明したが、映像の出力を伴わない音声のみにより構成されるコンテンツにも本発明を適用することが可能である。この場合における本発明は、仮想カメラに代えて、音源との相対的位置関係を特定することを目的に設定された基準座標、基準方向及び／又は基準ロールを用い、上記実施形態と同様の態様により調整された出力の音声を各スピーカから出力するよう構成することができる。

本発明の一実施形態に係るコンテンツ再生装置を備える家庭用ゲーム機の外観構成を示す説明図。 本発明の一実施形態に係るコンテンツ再生装置を備える家庭用ゲーム機に内蔵されるハードウェアの概略構成を示す説明図。 本発明の一実施形態に係るコンテンツ再生装置の主要な機能ブロックを示す説明図。 本発明の一実施形態に係る仮想３次元空間内に配置された仮想カメラの座標等の属性及び各音源オブジェクトの座標等の属性を主記憶に格納した様子を示す説明図。 本発明の一実施形態に係る仮想カメラと音源オブジェクトの位置関係を、基準座標、基準方向、基準ロールを基準とした仮想カメラの主観的なＸＺ平面に変換して、位置関係を縦横２つの変位パラメータに分解して分析する様子を示す説明図。 本発明の一実施形態に係る音声出力調整部の処理の流れを示すフローチャート。

符号の説明

１ ゲーム機本体
２ アンプ付モニター
３Ｌ、３Ｒ ステレオ形式のラウドスピーカ
４ ケーブル
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２３ａ 基準座標記憶部
２３ｂ 基準方向記憶部
２３ｃ 音源座標記憶部
２３ｃ（１） 火山の音源オブジェクト
２３ｃ（２） 敵ジェット機の音源オブジェクト
２３ｃ（３） 味方ヘリコプターの音源オブジェクト
２３ｄ 基準ロール記憶部
２３ｅ 音声出力調整部（プログラム）
２３ｆ 全体制御部（プログラム）
２４ ハードディスク
２５ 記憶媒体ドライブ
２６ 画像合成ＩＣ
２７ 音声合成ＩＣ
２７Ｌ 左側用音声出力ポート
２７Ｒ 右側用音声出力ポート
２８ Ｉ／Ｏポート
５１ 仮想カメラ
５２ 音源オブジェクトの投影後の座標

Claims (14)

1. 仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生装置であって、
   第一及び第二の音声出力手段と、
   仮想空間における基準座標に関する値を記憶する基準座標記憶手段と、
   仮想空間における基準方向に関する値を記憶する基準方向記憶手段と、
   仮想空間における音源の座標に関する値を記憶する音源座標記憶手段と、
   前記基準座標記憶手段に記憶した前記基準座標に関する値と、前記基準方向記憶手段に記憶した前記基準方向に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値に基づいて、前記音源についての相対的指向性に関する値を計算し、当該相対的指向性に関する値に応じて前記第一、第二の音声出力手段に与える音声出力を調整する音声出力調整手段と、
   を備えることを特徴とするコンテンツ再生装置。
2. 前記第一の音声出力手段が右側ステレオシステムであり、前記第二の音声出力手段が左側ステレオシステムであることを特徴とする請求項１に記載のコンテンツ再生装置。
3. 仮想空間に配置された仮想カメラにより撮影した前記仮想モデルの映像を出力する映像出力手段を更に備え、
   前記基準座標が前記仮想カメラの座標であり、前記基準方向が前記仮想カメラの撮影方向であることを特徴とする請求項１又は２に記載のコンテンツ再生装置。
4. 基準方向を回転軸とした基準ロールに関する値を記憶する基準ロール記憶手段を更に備え、
   前記相対的指向性に関する値が、前記基準座標記憶手段に記憶した前記基準座標に関する値と、前記基準方向記憶手段に記憶した前記基準方向に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値と、前記基準ロール記憶手段に記憶した前記基準ロールに関する値に基づいて計算されることを特徴とする請求項３に記載のコンテンツ再生装置。
5. 前記仮想空間が仮想三次元空間であり、
   前記音声出力調整手段が、前記仮想三次元空間における前記音源の座標を、前記基準座標を通り、前記基準方向に水平であり、前記基準ロールに対応する平面の二次元座標に変換して、前記相対的指向性に関する値を計算することを特徴とする請求項１〜４のいずれか一項に記載のコンテンツ再生装置。
6. 前記音声出力調整手段は、前記相対的指向性に関する値を、前記基準方向に平行な基準方向軸における前記音源の座標と前記基準座標の変位であるＺ軸変位及び前記基準方向の垂直な垂直方向軸における前記音源の座標と前記基準座標の変位であるＸ軸変位として求め、前記Ｘ軸変位がプラスの場合には第一又は第二の音声出力手段のいずれか一方の音声出力手段に他方の音声出力手段よりも大きい音声出力を与え、前記Ｘ軸変位がマイナスの場合には前記他方の音声出力手段に前記一方の音声出力手段よりも大きい音声出力を与えることを特徴とする請求項１〜５のいずれか一項に記載のコンテンツ再生装置。
7. 前記音声出力調整手段は、前記Ｚ軸変位及び／又は前記Ｘ軸変位がそれぞれの対応する所定の閾値より大きい前記音源についての前記第一及び第二の音声出力手段の音声出力がゼロとなるよう制御することを特徴とする請求項６に記載のコンテンツ再生装置。
8. 前記基準座標の前記基準方向の反対側に前記音源が存在することを前記Ｚ軸変位が示す場合に、前記音声出力調整手段は、前記第一及び第二の音声出力手段の音声出力が小さくなるように制御することを特徴とする請求項６に記載のコンテンツ再生装置。
9. 前記第一又は第二の音声出力手段のうちのより大きい音声出力が与えられた音声出力手段の音声出力を、Ｘ軸変位及び／又はＺ軸変位とそれぞれの対応する前記閾値の差に比例して大きくなるように制御することを特徴とする請求項６〜８のいずれか一項に記載のコンテンツ再生装置。
10. 前記音声出力調整手段は、前記第一又は第二の音声出力手段のうちのより小さい音声出力が与えられた音声出力手段の音声出力が、前記第一又は第二の音声出力手段のうちのより大きい音声出力が与えられた音声出力手段の音声出力の所定割合となるよう制御することを特徴とする請求項６〜９のいずれか一項に記載のコンテンツ再生装置。
11. 仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生装置であって、
    仮想空間における基準座標に関する値を記憶する基準座標記憶手段と、
    仮想空間における音源の座標に関する値を記憶する音源座標記憶手段と、
    前記基準座標記憶手段に記憶した前記基準座標に関する値と、前記音源座標記憶手段に記憶した前記音源の座標に関する値に基づいて、前記基準座標から前記音源の座標までの距離に関する値を計算し、この値が小さい場合により大きい音声出力を与える音声出力調整手段と、
    を備えることを特徴とするコンテンツ再生装置。
12. 前記音源を仮想空間上の不可視のオブジェクトとしたことを特徴とする請求項１〜１１のいずれか一項に記載のコンテンツ再生装置。
13. 仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生プログラムであって、
    コンピュータに、
    仮想空間における基準座標に関する値を記憶する基準座標記憶制御と、
    仮想空間における基準方向に関する値を記憶する基準方向記憶制御と、
    仮想空間における音源の座標に関する値を記憶する音源座標記憶制御と、
    前記基準座標記憶制御により記憶された前記基準座標に関する値と、前記基準方向記憶制御により記憶された前記基準方向に関する値と、前記音源座標記憶制御により記憶された前記音源の座標に関する値に基づいて、前記音源についての相対的指向性に関する値を計算し、当該相対的指向性に関する値に応じて第一、第二の音声出力手段に与える音声出力を調整する音声出力調整制御とを実行させることを特徴とするコンテンツ再生プログラム。
14. 仮想空間における仮想モデルの状態に応じた音声を出力するコンテンツ再生プログラムであって、
    コンピュータに、
    仮想空間における基準座標に関する値を記憶する基準座標記憶制御と、
    仮想空間における音源の座標に関する値を記憶する音源座標記憶制御と、
    前記基準座標記憶制御により記憶された前記基準座標に関する値と、前記音源座標記憶制御により記憶された前記音源の座標に関する値に基づいて、前記基準座標から前記音源の座標までの距離に関する値を計算し、この値が小さい場合により大きい音声出力を与える音声出力調整制御とを実行させることを特徴とするコンテンツ再生プログラム。
    

Images