JP2002199498A - 音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法 - Google Patents
音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法Info
- Publication number
- JP2002199498A JP2002199498A JP2000392168A JP2000392168A JP2002199498A JP 2002199498 A JP2002199498 A JP 2002199498A JP 2000392168 A JP2000392168 A JP 2000392168A JP 2000392168 A JP2000392168 A JP 2000392168A JP 2002199498 A JP2002199498 A JP 2002199498A
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- video
- image localization
- viewpoint
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereophonic System (AREA)
Abstract
(57)【要約】
【課題】 従来の音像定位方法では不十分であった、映
像内の移動体や視点の移動（変更）に伴って、音源の音
像を定位することが可能な音像定位方法及びこれを用い
たゲーム機などを提供する。 【解決手段】 再生される映像内の移動体の動き及び／
又は映像の視点の動きに連動して、音源との相対位置を
検出し、音像定位におけるパラメータを逐次変更するこ
とによって、移動体及び／又は視点の動きに連動した正
確な音像定位を行う。
像内の移動体や視点の移動（変更）に伴って、音源の音
像を定位することが可能な音像定位方法及びこれを用い
たゲーム機などを提供する。 【解決手段】 再生される映像内の移動体の動き及び／
又は映像の視点の動きに連動して、音源との相対位置を
検出し、音像定位におけるパラメータを逐次変更するこ
とによって、移動体及び／又は視点の動きに連動した正
確な音像定位を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、音像定位方法に関
し、特にゲームの映像のように、映像の視点に変化を伴
う視聴環境での音像定位方法及びかかる音像定位を行う
ゲーム装置並びに音像定位プログラムの記録された記録
媒体並びにかかるプログラムの伝送方法に関する。
し、特にゲームの映像のように、映像の視点に変化を伴
う視聴環境での音像定位方法及びかかる音像定位を行う
ゲーム装置並びに音像定位プログラムの記録された記録
媒体並びにかかるプログラムの伝送方法に関する。
【０００２】
【従来の技術】従来、ゲーム機において、視点が固定し
た場面で音源の位置を定位させたり移動の方向がわかる
ように２つのスピーカを用いた音像定位処理が行われて
いる（例えば本出願人会社の特許２８８２４４９号）。
しかし、ハードウェアの処理能力の向上及び画像処理技
術が進むに従って、視点の移動や回転が行われるように
なり（例えば、特開平６−２０５８７９号公報、特開平
９−１６７２５８号公報、特開平９−８３６２６１号公
報）、視点の変化により音響が不自然にならないように
処理することが考えられるようなった（例えば、特開平
１０−１３７４４５号公報）。
た場面で音源の位置を定位させたり移動の方向がわかる
ように２つのスピーカを用いた音像定位処理が行われて
いる（例えば本出願人会社の特許２８８２４４９号）。
しかし、ハードウェアの処理能力の向上及び画像処理技
術が進むに従って、視点の移動や回転が行われるように
なり（例えば、特開平６−２０５８７９号公報、特開平
９−１６７２５８号公報、特開平９−８３６２６１号公
報）、視点の変化により音響が不自然にならないように
処理することが考えられるようなった（例えば、特開平
１０−１３７４４５号公報）。
【０００３】ところが、この特開平ｌ０−１３７４４５
号公報では複数の視点のうちいずれか一つの視点から空
間を観察することにより得られる仮想画像に対応させた
音響を生成することができるが、その手法は波形データ
の選択と加工あるいは左右音声のバランスによるもので
あるから個々の音源をきめこまかく定位させることはで
きなかった。また、この手法では画面中を自由に移動さ
せる操作部の操作に応じて個々のキャラクタが発する音
源をきめこまかく定位させることはできなかった。
号公報では複数の視点のうちいずれか一つの視点から空
間を観察することにより得られる仮想画像に対応させた
音響を生成することができるが、その手法は波形データ
の選択と加工あるいは左右音声のバランスによるもので
あるから個々の音源をきめこまかく定位させることはで
きなかった。また、この手法では画面中を自由に移動さ
せる操作部の操作に応じて個々のキャラクタが発する音
源をきめこまかく定位させることはできなかった。
【０００４】
【発明が解決しようとする課題】前述のように、従来ゲ
ームなどでは、固定された映像シーンに対して、移動体
が発する音の音像を任意に定位させることが行われてい
た。近年、ゲームなどでは、画面の移動や回転をリアル
タイムに自由に制御することが可能となっており、従来
の音像定位方法では不十分となってきた。したがって、
本発明は従来の音像定位方法では不十分であった、映像
内の移動体や視点の移動（変更）に伴って、音源の音像
を定位することが可能な音像定位方法及びこれを用いた
ゲーム機などを提供することを目的とする。なお、本発
明で「視点」とは３Ｄ（３次元）映像構成する際の見る
位置（カメラ位置）すなわち、野球ゲームにおけるバッ
ターの目の位置から見た映像におけるバッターの目の位
置の他に、ゲームを行うユーザの映像（２次元でもよ
い）、すなわち映像表示画面に対する目の位置の双方を
含む概念である。
ームなどでは、固定された映像シーンに対して、移動体
が発する音の音像を任意に定位させることが行われてい
た。近年、ゲームなどでは、画面の移動や回転をリアル
タイムに自由に制御することが可能となっており、従来
の音像定位方法では不十分となってきた。したがって、
本発明は従来の音像定位方法では不十分であった、映像
内の移動体や視点の移動（変更）に伴って、音源の音像
を定位することが可能な音像定位方法及びこれを用いた
ゲーム機などを提供することを目的とする。なお、本発
明で「視点」とは３Ｄ（３次元）映像構成する際の見る
位置（カメラ位置）すなわち、野球ゲームにおけるバッ
ターの目の位置から見た映像におけるバッターの目の位
置の他に、ゲームを行うユーザの映像（２次元でもよ
い）、すなわち映像表示画面に対する目の位置の双方を
含む概念である。
【０００５】
【課題を解決するための手段】上記目的を達成するた
め、本発明では再生される映像内の移動体の動き及び／
又は映像の視点の動きに連動して、音源（発音体）との
相対位置（方向、距離など）を検出し、音像定位におけ
るパラメータを逐次変更することによって、移動体及び
／又は視点の動きに連動した正確な音像定位を行うよう
にしている。
め、本発明では再生される映像内の移動体の動き及び／
又は映像の視点の動きに連動して、音源（発音体）との
相対位置（方向、距離など）を検出し、音像定位におけ
るパラメータを逐次変更することによって、移動体及び
／又は視点の動きに連動した正確な音像定位を行うよう
にしている。
【０００６】すなわち、本発明によれば再生される映像
内の移動体の動き及び／又は前記映像の視点の動きに伴
い、仮想空間内の音源と前記視点との相対位置を算出
し、算出された相対位置を用いて前記音源の音像定位を
行う音像定位方法が提供される。
内の移動体の動き及び／又は前記映像の視点の動きに伴
い、仮想空間内の音源と前記視点との相対位置を算出
し、算出された相対位置を用いて前記音源の音像定位を
行う音像定位方法が提供される。
【０００７】また本発明によれば、ゲームソフトを再生
して、その映像を表示する手段と、前記映像に付随した
少なくとも２チャンネルの音声を再生する手段と、前記
映像内の移動体の動きに応じたパラメータ及び／又は前
記映像の視点の動きに応じたパラメータを入力するため
の入力手段と、前記入力手段により入力されたパラメー
タに応じて前記視点と音源との相対位置を算出する算出
手段と、前記算出手段により算出された前記相対位置を
用いて、音像定位を行う音像定位処理手段とを、有する
ゲーム装置が提供される。
して、その映像を表示する手段と、前記映像に付随した
少なくとも２チャンネルの音声を再生する手段と、前記
映像内の移動体の動きに応じたパラメータ及び／又は前
記映像の視点の動きに応じたパラメータを入力するため
の入力手段と、前記入力手段により入力されたパラメー
タに応じて前記視点と音源との相対位置を算出する算出
手段と、前記算出手段により算出された前記相対位置を
用いて、音像定位を行う音像定位処理手段とを、有する
ゲーム装置が提供される。
【０００８】また本発明によれば、映像及び前記映像に
付随した少なくとも２チャンネルの音声を再生する再生
装置用の音像定位プログラムの記録された記録媒体であ
って、ユーザが入力する前記映像内の移動体の動きに応
じたパラメータ及び／又は前記映像の視点の動きに応じ
たパラメータを受け入れるステップと、受け入れられた
パラメータに応じて前記視点と音源との相対位置を算出
する算出ステップと、算出された前記相対位置を用い
て、音像定位を行う音像定位処理ステップとを、有する
音像定位方法のプログラムをコンピュータが読み取り可
能な形態で記録した記録媒体が提供される。
付随した少なくとも２チャンネルの音声を再生する再生
装置用の音像定位プログラムの記録された記録媒体であ
って、ユーザが入力する前記映像内の移動体の動きに応
じたパラメータ及び／又は前記映像の視点の動きに応じ
たパラメータを受け入れるステップと、受け入れられた
パラメータに応じて前記視点と音源との相対位置を算出
する算出ステップと、算出された前記相対位置を用い
て、音像定位を行う音像定位処理ステップとを、有する
音像定位方法のプログラムをコンピュータが読み取り可
能な形態で記録した記録媒体が提供される。
【０００９】また本発明によれば、映像及び前記映像に
付随した少なくとも２チャンネルの音声を再生する再生
装置用の音像定位プログラムであって、ユーザが入力す
る前記映像内の移動体の動きに応じたパラメータ及び／
又は前記映像の視点の動きに応じたパラメータを受け入
れるステップと、受け入れられたパラメータに応じて前
記視点と音源との相対位置を算出する算出ステップと、
算出された前記相対位置を用いて、音像定位を行う音像
定位処理ステップとを有する音像定位プログラムをパケ
ット化し、前記パケットの所定位置に前記パケットに関
する情報を含むパケットヘッダを付し、ネットワークに
送り出すコンピュータが読み取り可能なコンピュータプ
ログラムの伝送方法が提供される。
付随した少なくとも２チャンネルの音声を再生する再生
装置用の音像定位プログラムであって、ユーザが入力す
る前記映像内の移動体の動きに応じたパラメータ及び／
又は前記映像の視点の動きに応じたパラメータを受け入
れるステップと、受け入れられたパラメータに応じて前
記視点と音源との相対位置を算出する算出ステップと、
算出された前記相対位置を用いて、音像定位を行う音像
定位処理ステップとを有する音像定位プログラムをパケ
ット化し、前記パケットの所定位置に前記パケットに関
する情報を含むパケットヘッダを付し、ネットワークに
送り出すコンピュータが読み取り可能なコンピュータプ
ログラムの伝送方法が提供される。
【００１０】
【発明の実施の形態】以下図面に沿って本発明の実施の
形態について説明する。まず実施の形態について詳述す
る前に、本発明の概念を示す図ｌに沿って説明する。図
１において、ゲーム機などの制御装置１は、映像出力表
示装置２に映像信号を与えて所望の映像を再生するもの
であり、映像の視点の制御指示を行うジョイスティッ
ク、キーボードなどの入力装置３から入力される指令信
号に応答し、ＣＰＵ（演算処理装置）４が所定の動作を
行うよう構成されている。音源データ及び定位パラメー
タ格納メモリ５にはこれらのデータとパラメータがあら
かじめ格納されている。一対の再生スピーカ６Ｌ、６Ｒ
は、映像出力表示装置２の左右に配置され左チャンネル
と右チャンネルの音声を再生する。
形態について説明する。まず実施の形態について詳述す
る前に、本発明の概念を示す図ｌに沿って説明する。図
１において、ゲーム機などの制御装置１は、映像出力表
示装置２に映像信号を与えて所望の映像を再生するもの
であり、映像の視点の制御指示を行うジョイスティッ
ク、キーボードなどの入力装置３から入力される指令信
号に応答し、ＣＰＵ（演算処理装置）４が所定の動作を
行うよう構成されている。音源データ及び定位パラメー
タ格納メモリ５にはこれらのデータとパラメータがあら
かじめ格納されている。一対の再生スピーカ６Ｌ、６Ｒ
は、映像出力表示装置２の左右に配置され左チャンネル
と右チャンネルの音声を再生する。
【００１１】今、入力装置３により視点の変更や画面の
移動が指示されるとＣＰＵ４により具現される視点変更
指示処理部４Ｂによって視点変更が検出され、ＣＰＵ４
により具現される表示映像変更処理部４Ａが視点に応じ
た画像処理を行い、映像出力表示装置２に更新された画
像を表示する。また、視点変更指示処理部４Ｂは、ＣＰ
Ｕ４により具現される視点と音源との相対位置（方向、
距離など）算出部４Ｃに相対位置算出を指示する。視点
と音源との相対位置算出部４Ｃは入力装置３からの入力
に応じた視点と音源との相対位置を逐次算出し、ＣＰＵ
４により具現される音像定位処理部４Ｄに相対位置に応
じた定位パラメータ（定位フィルタなど）を設定する。
移動が指示されるとＣＰＵ４により具現される視点変更
指示処理部４Ｂによって視点変更が検出され、ＣＰＵ４
により具現される表示映像変更処理部４Ａが視点に応じ
た画像処理を行い、映像出力表示装置２に更新された画
像を表示する。また、視点変更指示処理部４Ｂは、ＣＰ
Ｕ４により具現される視点と音源との相対位置（方向、
距離など）算出部４Ｃに相対位置算出を指示する。視点
と音源との相対位置算出部４Ｃは入力装置３からの入力
に応じた視点と音源との相対位置を逐次算出し、ＣＰＵ
４により具現される音像定位処理部４Ｄに相対位置に応
じた定位パラメータ（定位フィルタなど）を設定する。
【００１２】このような概念で、視点の動きに連動した
正確な音像定位が可能となる。次に音像定位処理部４Ｄ
の具体例を説明する。図２は一般的な２チャンネル再生
フィルタのブロック図である。図２の下に示す一対のス
ピーカＬ1、Ｌ2の再生システムにおいて、聴取者の左右
の耳までのインパルス応答をそれぞれｈl，r1（ｔ），
ｈl，r2（ｔ）、スピーカＬ1、Ｌ2ヘの入力信号をｘ
1（ｔ），ｘ2（ｔ）とすると、両耳で再生される音圧ｐ
l（ｔ），ｐr（ｔ）は次式で表される。 ｐl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ） ｐr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ） （１） 今、図２に示すように、自由音場内の任意の位置Ｐの単
一音源と両耳とのインパルス応答をそれぞれｆ
l（ｔ），ｆr（ｔ）とし、図２の再生システムでこのｆ
l（ｔ），ｆr（ｔ）を再現することを考えると、ｐ
l（ｔ）＝ｆl（ｔ），ｐr（ｔ）＝ｆr（ｔ）となるので
式（ｌ）は ｆl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ） ｆr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ） （２） となる。
正確な音像定位が可能となる。次に音像定位処理部４Ｄ
の具体例を説明する。図２は一般的な２チャンネル再生
フィルタのブロック図である。図２の下に示す一対のス
ピーカＬ1、Ｌ2の再生システムにおいて、聴取者の左右
の耳までのインパルス応答をそれぞれｈl，r1（ｔ），
ｈl，r2（ｔ）、スピーカＬ1、Ｌ2ヘの入力信号をｘ
1（ｔ），ｘ2（ｔ）とすると、両耳で再生される音圧ｐ
l（ｔ），ｐr（ｔ）は次式で表される。 ｐl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ） ｐr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ） （１） 今、図２に示すように、自由音場内の任意の位置Ｐの単
一音源と両耳とのインパルス応答をそれぞれｆ
l（ｔ），ｆr（ｔ）とし、図２の再生システムでこのｆ
l（ｔ），ｆr（ｔ）を再現することを考えると、ｐ
l（ｔ）＝ｆl（ｔ），ｐr（ｔ）＝ｆr（ｔ）となるので
式（ｌ）は ｆl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ） ｆr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ） （２） となる。
【００１３】式（２）の両辺をフーリエ変換すると次式
が得られる。 Ｆl（ω）＝Ｘ1（ω）Ｈl1（ω）＋Ｘ2（ω）Ｈl2（ω） Ｆr（ω）＝Ｘ1（ω）Ｈr1（ω）＋Ｘ2（ω）Ｈr2（ω） （３） スピーカＬ1、Ｌ2への入力信号は周波数領域で次式のよ
うになる。
が得られる。 Ｆl（ω）＝Ｘ1（ω）Ｈl1（ω）＋Ｘ2（ω）Ｈl2（ω） Ｆr（ω）＝Ｘ1（ω）Ｈr1（ω）＋Ｘ2（ω）Ｈr2（ω） （３） スピーカＬ1、Ｌ2への入力信号は周波数領域で次式のよ
うになる。
【００１４】
【数１】 （４）
【００１５】ここで、 Ｄ（ω）＝Ｈl1（ω）Ｈr2（ω）−Ｈr1（ω）Ｈl2（ω） （５） したがって、時間領域の信号はその逆フーリエ変換で得
られ、次式で表される。 ｘ1（ｔ）＝［ｆl（ｔ）＊ｈr2（ｔ）−ｆr（ｔ）＊ｈl2（ｔ）］＊ｄ（ｔ） ｘ2（ｔ）＝［ｆr（ｔ）＊ｈl1（ｔ）−ｆl（ｔ）＊ｈr1（ｔ）］＊ｄ（ｔ） （６） ここで、ｄ（ｔ）はＤ（ω）を逆フーリエ変換したもの
である。また解が１つに決まるためには、すべての周波
数領域にわたってＤ（ω）≠０となることが必要十分な
条件である。
られ、次式で表される。 ｘ1（ｔ）＝［ｆl（ｔ）＊ｈr2（ｔ）−ｆr（ｔ）＊ｈl2（ｔ）］＊ｄ（ｔ） ｘ2（ｔ）＝［ｆr（ｔ）＊ｈl1（ｔ）−ｆl（ｔ）＊ｈr1（ｔ）］＊ｄ（ｔ） （６） ここで、ｄ（ｔ）はＤ（ω）を逆フーリエ変換したもの
である。また解が１つに決まるためには、すべての周波
数領域にわたってＤ（ω）≠０となることが必要十分な
条件である。
【００１６】式（６）から２チャンネル再生フィルタの
ブロック図を書くことができ、一例として図２のように
なる。このように定位させたい位置のインパルス応答ｆ
l（ｔ）、ｆr（ｔ）及び再生系のインパルス応答ｈl'rl
（ｔ），ｈl'r2（ｔ）をあらかじめ用意しておけば、図
２のブロック図により音源の所定位置Ｐへの定位が可能
となる。したがって、図２のブロック図において定位さ
せたい方向の数だけｆl（ｔ）、ｆr（ｔ）の対を用意し
ておき（ｆl0（ｔ）．．．．．ｆlm（ｔ），ｆ
r0（ｔ）．．．．．ｆrm（ｔ））、方向によってｆ
lm（ｔ）、ｆrm（ｔ）を切り替えるようにすれば定位位
置を任意に変更することが可能となり、またｆ
lm（ｔ）、ｆrm（ｔ）を連続的に変更すれば音源の移動
も可能となる。この場合に用いられる構成のブロック図
を図３に示す。そこで音源を複数に拡張させることを考
える。
ブロック図を書くことができ、一例として図２のように
なる。このように定位させたい位置のインパルス応答ｆ
l（ｔ）、ｆr（ｔ）及び再生系のインパルス応答ｈl'rl
（ｔ），ｈl'r2（ｔ）をあらかじめ用意しておけば、図
２のブロック図により音源の所定位置Ｐへの定位が可能
となる。したがって、図２のブロック図において定位さ
せたい方向の数だけｆl（ｔ）、ｆr（ｔ）の対を用意し
ておき（ｆl0（ｔ）．．．．．ｆlm（ｔ），ｆ
r0（ｔ）．．．．．ｆrm（ｔ））、方向によってｆ
lm（ｔ）、ｆrm（ｔ）を切り替えるようにすれば定位位
置を任意に変更することが可能となり、またｆ
lm（ｔ）、ｆrm（ｔ）を連続的に変更すれば音源の移動
も可能となる。この場合に用いられる構成のブロック図
を図３に示す。そこで音源を複数に拡張させることを考
える。
【００１７】図３のブロックを複数個用意すれば、複数
の音源を任意の位置に定位及び移動させることができ
る。この場合に用いられる構成のブロック図を図４に示
す。図４の構成は図３に示す構成を複数個（ｍ個）用意
したものである。図４の構成ではｆlm（ｔ）、ｆ
rm（ｔ）を切り替えるときに発生する信号の不連続によ
るノイズを軽減するためにクロスフェード処理を付加し
てある。クロスフェード処理は、現在の定位位置の処理
と前回の定位位置の処理を並列に行い、この２つの結果
をクロスフェードすることによって実現している。この
原理を図５に示す。したがって、図４のブロックでは、
クロスフェード処理のためにｆlm（ｔ）、ｆrm（ｔ）を
処理する部分をそれぞれ２組用意している。この図４に
示す構成が本発明の音像定位方法を実現する図１の概念
図の音像定位処理部４Ｄの具体例となる。図４に示すよ
うに各再生フィルタの出力に残響処理などの処理を組み
込み、音場を拡大するようにしてもよい。
の音源を任意の位置に定位及び移動させることができ
る。この場合に用いられる構成のブロック図を図４に示
す。図４の構成は図３に示す構成を複数個（ｍ個）用意
したものである。図４の構成ではｆlm（ｔ）、ｆ
rm（ｔ）を切り替えるときに発生する信号の不連続によ
るノイズを軽減するためにクロスフェード処理を付加し
てある。クロスフェード処理は、現在の定位位置の処理
と前回の定位位置の処理を並列に行い、この２つの結果
をクロスフェードすることによって実現している。この
原理を図５に示す。したがって、図４のブロックでは、
クロスフェード処理のためにｆlm（ｔ）、ｆrm（ｔ）を
処理する部分をそれぞれ２組用意している。この図４に
示す構成が本発明の音像定位方法を実現する図１の概念
図の音像定位処理部４Ｄの具体例となる。図４に示すよ
うに各再生フィルタの出力に残響処理などの処理を組み
込み、音場を拡大するようにしてもよい。
【００１８】図６に本発明の音像定位方法の好ましい実
施の形態のフローチャートを示す。すなわち、このフロ
ーチャートは図１に示すＣＰＵ４の動作を示すものであ
る。図６において、入力装置から入力される視点変更を
ポーリングし（ステップＳ１）、視点変更があれば（ス
テップＳ２でＹｅｓ）、視点変更に応じた表示映像を処
理し（ステップＳ３）、視点と音源の相対位置（方向、
距離など）を算出し、（ステップＳ４）、算出された相
対位置に応じた定位パラメータで音像定位処理を行う
（ステップＳ５）。この部分が視点が移動した場合の処
理にあたり、この処理のイメージ図を図７に示す。
施の形態のフローチャートを示す。すなわち、このフロ
ーチャートは図１に示すＣＰＵ４の動作を示すものであ
る。図６において、入力装置から入力される視点変更を
ポーリングし（ステップＳ１）、視点変更があれば（ス
テップＳ２でＹｅｓ）、視点変更に応じた表示映像を処
理し（ステップＳ３）、視点と音源の相対位置（方向、
距離など）を算出し、（ステップＳ４）、算出された相
対位置に応じた定位パラメータで音像定位処理を行う
（ステップＳ５）。この部分が視点が移動した場合の処
理にあたり、この処理のイメージ図を図７に示す。
【００１９】次にステップＳ２においてＮｏであった場
合を含めて、ユーザが入力装置から指定した場合などに
おける移動すべき音源があれば（ステップＳ６でＹｅ
ｓ）、音源の移動に応じた表示映像を処理し（ステップ
Ｓ７）、視点と音源との相対位置（方向、距離など）を
算出し（ステップＳ８）、算出された相対位置に応じた
定位パラメータで音像定位処理を行う（ステップＳ
９）。この部分が音源が移動した場合の処理にあたり、
この処理のイメージ図を図８に示す。次に終了かどうか
を判断する（ステップＳ１０）。終了であれば終了す
る。終了でなければステップＳ１に戻る。なお、上記音
像定位処理は、式（６）のようにＦｌＲフィルタで実現
しているが、これを基にＩＩＲフィルタを用いて実現し
てもよく、これに限るものではない。図６に示すフロー
チャートに基づいてＣＰＵ４を動作させるため、所定の
コンピュータプログラムが記録（記憶）媒体に格納され
ているものとする。したがって、かかるコンピュータプ
ログラムも本発明の範囲内にある。
合を含めて、ユーザが入力装置から指定した場合などに
おける移動すべき音源があれば（ステップＳ６でＹｅ
ｓ）、音源の移動に応じた表示映像を処理し（ステップ
Ｓ７）、視点と音源との相対位置（方向、距離など）を
算出し（ステップＳ８）、算出された相対位置に応じた
定位パラメータで音像定位処理を行う（ステップＳ
９）。この部分が音源が移動した場合の処理にあたり、
この処理のイメージ図を図８に示す。次に終了かどうか
を判断する（ステップＳ１０）。終了であれば終了す
る。終了でなければステップＳ１に戻る。なお、上記音
像定位処理は、式（６）のようにＦｌＲフィルタで実現
しているが、これを基にＩＩＲフィルタを用いて実現し
てもよく、これに限るものではない。図６に示すフロー
チャートに基づいてＣＰＵ４を動作させるため、所定の
コンピュータプログラムが記録（記憶）媒体に格納され
ているものとする。したがって、かかるコンピュータプ
ログラムも本発明の範囲内にある。
【００２０】なお、上記相対位置の算出は、視点変更と
音源の移動のそれぞれについて別々に行っているが、同
時に行うようにしてもよく、これに限るものではない。
音源の移動のそれぞれについて別々に行っているが、同
時に行うようにしてもよく、これに限るものではない。
【００２１】また、上記コンピュータプログラムデータ
をネットワークを介して伝送する場合には、符号化側で
は図９に示すように伝送用にパケット化し（ステップＳ
４１）、次いでこのパケットの情報を含むパケットヘッ
ダを付与し（ステップＳ４２）、次いでこのパケットを
ネットワーク上に送り出す（ステップＳ４３）。なお、
（ステップＳ４３では、必要に応じて所定の変調を行
う。ネットワークを介して送信されたコンピュータプロ
グラムは、ゲーム機に付属するかあるいは、ゲーム機と
は別個に用意された図示省略の受信装置により受信され
る。受信装置は所定の復号装置を有していて、図１０に
示すようにヘッダを除去し（ステップＳ５１）、次いで
データを復元し（ステップＳ５２）、次いでこのデータ
をメモリに格納して復号を待つ（ステップＳ５３）。
をネットワークを介して伝送する場合には、符号化側で
は図９に示すように伝送用にパケット化し（ステップＳ
４１）、次いでこのパケットの情報を含むパケットヘッ
ダを付与し（ステップＳ４２）、次いでこのパケットを
ネットワーク上に送り出す（ステップＳ４３）。なお、
（ステップＳ４３では、必要に応じて所定の変調を行
う。ネットワークを介して送信されたコンピュータプロ
グラムは、ゲーム機に付属するかあるいは、ゲーム機と
は別個に用意された図示省略の受信装置により受信され
る。受信装置は所定の復号装置を有していて、図１０に
示すようにヘッダを除去し（ステップＳ５１）、次いで
データを復元し（ステップＳ５２）、次いでこのデータ
をメモリに格納して復号を待つ（ステップＳ５３）。
【００２２】本発明によれば、視点の動き及び音源の移
動に連動して音源定位パラメータを決定し、このパラメ
ータに基づいた音像定位及び移動が可能となる。また、
パンポットなどの音量制御ではなく、頭部伝達関数を用
いて定位を実現しているので、正確な音像定位及び移動
が可能である。図７に視点変更時の仮想空間と再生環境
のイメージ図を示す。視点を変更した場合、視点と音源
の相対位置を検出して、定位パラメータを決定するの
で、再生環境では、画面の移動に伴って音源の定位が移
動し、実世界で視点を移動したときと同様の音響の変化
を知覚することができる。
動に連動して音源定位パラメータを決定し、このパラメ
ータに基づいた音像定位及び移動が可能となる。また、
パンポットなどの音量制御ではなく、頭部伝達関数を用
いて定位を実現しているので、正確な音像定位及び移動
が可能である。図７に視点変更時の仮想空間と再生環境
のイメージ図を示す。視点を変更した場合、視点と音源
の相対位置を検出して、定位パラメータを決定するの
で、再生環境では、画面の移動に伴って音源の定位が移
動し、実世界で視点を移動したときと同様の音響の変化
を知覚することができる。
【００２３】また、図８に示すように視点は固定されて
おり音源が移動する場合も、音源との相対位置を検出し
て、定位パラメータを決定するので、再生環境でも音源
の移動を知覚することができる。また、これら視点の移
動、音源の移動は、同時に行うことも可能である。した
がって、本発明によれば、あたかも仮想空間にいるかの
ような画像を観察し、それに対応する音響も聴くことが
できるので、臨場感溢れる体感を得ることができる。な
お、上記実施の形態は２チャンネルの場合について説明
したが、本発明は２チャンネル以上の複数チャンネルの
再生系に容易に適用可能である。さらに、本発明の音像
定位方法を実現するためのコンピュータプログラムをパ
ケット化して伝送することにより遠方にいるユーザにコ
ンピュータプログラムを伝送することができる。また、
パケット化する際に、ゲームプログラムと音像定位方法
を実現するためのプログラムを一体にしてパケット化す
ることにより、両者を一度に伝送することもできる。
おり音源が移動する場合も、音源との相対位置を検出し
て、定位パラメータを決定するので、再生環境でも音源
の移動を知覚することができる。また、これら視点の移
動、音源の移動は、同時に行うことも可能である。した
がって、本発明によれば、あたかも仮想空間にいるかの
ような画像を観察し、それに対応する音響も聴くことが
できるので、臨場感溢れる体感を得ることができる。な
お、上記実施の形態は２チャンネルの場合について説明
したが、本発明は２チャンネル以上の複数チャンネルの
再生系に容易に適用可能である。さらに、本発明の音像
定位方法を実現するためのコンピュータプログラムをパ
ケット化して伝送することにより遠方にいるユーザにコ
ンピュータプログラムを伝送することができる。また、
パケット化する際に、ゲームプログラムと音像定位方法
を実現するためのプログラムを一体にしてパケット化す
ることにより、両者を一度に伝送することもできる。
【００２４】
【発明の効果】以上説明したように本発明によれば、再
生される映像内の移動体の動き及び／又は映像の視点の
動きに連動して、音源（発音体）との相対位置（方向、
距離など）を検出し、音像定位におけるパラメータを逐
次変更することによって、移動体及び／又は視点の動き
に連動した正確な音像定位を行うことができる。
生される映像内の移動体の動き及び／又は映像の視点の
動きに連動して、音源（発音体）との相対位置（方向、
距離など）を検出し、音像定位におけるパラメータを逐
次変更することによって、移動体及び／又は視点の動き
に連動した正確な音像定位を行うことができる。
【図１】本発明音像定位方法を実現する音像定位装置の
概念図である。
概念図である。
【図２】２チャンネル再生フィルタのブロック図であ
る。
る。
【図３】図２を定位位置変更可能としたものである。
【図４】音像定位処理部のブロック図である。
【図５】クロスフェード処理概念図である。
【図６】本発明のフローチャートである。
【図７】視点変更時のイメージ図である。
【図８】音源移動時のイメージ図である。
【図９】プログラム伝送方法を示すフローチャートであ
る。
る。
【図１０】プログラム伝送方法を示すフローチャートで
ある。
ある。
１ 制御装置（ゲーム機など） ２ 映像出力表示装置（映像を表示する手段） ３ 入力装置（ジョイスティック、キーボードなどであ
り入力手段を構成する） ４ ＣＰＵ ４Ａ 表示映像変更処理部 ４Ｂ 視点変更指示処理部 ４Ｃ 視点と音源との相対位置算出部（算出手段） ４Ｄ 音像定位処理部（音像定位処理手段） ５ 音源データ／定位パラメータ格納メモリ ６Ｌ 左チャンネル再生スピーカ ６Ｒ 右チャンネル再生スピーカ（左チャンネル再生ス
ピーカと共に２チャンネルの音声を再生する手段を構成
する）
り入力手段を構成する） ４ ＣＰＵ ４Ａ 表示映像変更処理部 ４Ｂ 視点変更指示処理部 ４Ｃ 視点と音源との相対位置算出部（算出手段） ４Ｄ 音像定位処理部（音像定位処理手段） ５ 音源データ／定位パラメータ格納メモリ ６Ｌ 左チャンネル再生スピーカ ６Ｒ 右チャンネル再生スピーカ（左チャンネル再生ス
ピーカと共に２チャンネルの音声を再生する手段を構成
する）
Claims (4)
- 【請求項１】 再生される映像内の移動体の動き及び／
又は前記映像の視点の動きに伴い、仮想空間内の音源と
前記視点との相対位置を算出し、算出された相対位置を
用いて前記音源の音像定位を行う音像定位方法。 - 【請求項２】 ゲームソフトを再生して、その映像を表
示する手段と、 前記映像に付随した少なくとも２チャンネルの音声を再
生する手段と、 前記映像内の移動体の動きに応じたパラメータ及び／又
は前記映像の視点の動きに応じたパラメータを入力する
ための入力手段と、 前記入力手段により入力されたパラメータに応じて前記
視点と音源との相対位置を算出する算出手段と、 前記算出手段により算出された前記相対位置を用いて、
音像定位を行う音像定位処理手段とを、 有するゲーム装置。 - 【請求項３】 映像及び前記映像に付随した少なくとも
２チャンネルの音声を再生する再生装置用の音像定位プ
ログラムの記録された記録媒体であって、 ユーザが入力する前記映像内の移動体の動きに応じたパ
ラメータ及び／又は前記映像の視点の動きに応じたパラ
メータを受け入れるステップと、 受け入れられたパラメータに応じて前記視点と音源との
相対位置を算出する算出ステップと、 算出された前記相対位置を用いて、音像定位を行う音像
定位処理ステップとを、 有する音像定位方法のプログラムをコンピュータが読み
取り可能な形態で記録した記録媒体。 - 【請求項４】 映像及び前記映像に付随した少なくとも
２チャンネルの音声を再生する再生装置用の音像定位プ
ログラムであって、ユーザが入力する前記映像内の移動
体の動きに応じたパラメータ及び／又は前記映像の視点
の動きに応じたパラメータを受け入れるステップと、受
け入れられたパラメータに応じて前記視点と音源との相
対位置を算出する算出ステップと、算出された前記相対
位置を用いて、音像定位を行う音像定位処理ステップと
を有する音像定位プログラムをパケット化し、前記パケ
ットの所定位置に前記パケットに関する情報を含むパケ
ットヘッダを付し、ネットワークに送り出すコンピュー
タが読み取り可能なコンピュータプログラムの伝送方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000392168A JP2002199498A (ja) | 2000-12-25 | 2000-12-25 | 音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000392168A JP2002199498A (ja) | 2000-12-25 | 2000-12-25 | 音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006270730A Division JP2007050267A (ja) | 2006-10-02 | 2006-10-02 | 音像定位技術を利用したゲーム装置び音像定位プログラムの記録された記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002199498A true JP2002199498A (ja) | 2002-07-12 |
Family
ID=18858197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000392168A Pending JP2002199498A (ja) | 2000-12-25 | 2000-12-25 | 音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002199498A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004195210A (ja) * | 2002-12-04 | 2004-07-15 | Nintendo Co Ltd | ゲームサウンド制御プログラム、ゲームサウンド制御方法およびゲーム装置 |
| JP2007266967A (ja) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
| US7338373B2 (en) | 2002-12-04 | 2008-03-04 | Nintendo Co., Ltd. | Method and apparatus for generating sounds in a video game |
| JPWO2021112161A1 (ja) * | 2019-12-03 | 2021-06-10 |
-
2000
- 2000-12-25 JP JP2000392168A patent/JP2002199498A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004195210A (ja) * | 2002-12-04 | 2004-07-15 | Nintendo Co Ltd | ゲームサウンド制御プログラム、ゲームサウンド制御方法およびゲーム装置 |
| US7338373B2 (en) | 2002-12-04 | 2008-03-04 | Nintendo Co., Ltd. | Method and apparatus for generating sounds in a video game |
| JP2007266967A (ja) * | 2006-03-28 | 2007-10-11 | Yamaha Corp | 音像定位装置およびマルチチャンネルオーディオ再生装置 |
| JPWO2021112161A1 (ja) * | 2019-12-03 | 2021-06-10 | ||
| WO2021112161A1 (ja) * | 2019-12-03 | 2021-06-10 | 日本電気株式会社 | 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体 |
| JP7428189B2 (ja) | 2019-12-03 | 2024-02-06 | 日本電気株式会社 | 情報処理装置、制御方法及び制御プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5919201B2 (ja) | 音声を定位知覚する技術 | |
| US7602921B2 (en) | Sound image localizer | |
| KR100551605B1 (ko) | 음원을 스피커로 프로젝팅하는 방법과 장치 | |
| US20050275914A1 (en) | Binaural horizontal perspective hands-on simulator | |
| US9967693B1 (en) | Advanced binaural sound imaging | |
| US11877135B2 (en) | Audio apparatus and method of audio processing for rendering audio elements of an audio scene | |
| KR102548644B1 (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
| EP3595337A1 (en) | Audio apparatus and method of audio processing | |
| JP2007050267A (ja) | 音像定位技術を利用したゲーム装置び音像定位プログラムの記録された記録媒体 | |
| JP2002199498A (ja) | 音源の音像定位方法及び音像定位を行うゲーム装置並びに音像定位プログラムの記録された記録媒体並びにかかるプログラムの伝送方法 | |
| JP6056466B2 (ja) | 仮想空間中の音声再生装置及び方法、並びにプログラム | |
| JP3573797B2 (ja) | ステレオ音声再生装置 | |
| JP2003348699A (ja) | ゲーム機及びゲーム機用プログラム並びに送信受信装置 | |
| RU2815366C2 (ru) | Аудиоустройство и способ обработки аудио | |
| JP2012160984A (ja) | 立体音響再生装置および立体音響再生方法 | |
| Simon et al. | Sonic interaction with a virtual orchestra of factory machinery | |
| JP2003061195A (ja) | 音声信号再生装置 | |
| JP4046891B2 (ja) | 音場空間情報送受信方法、音場空間情報送信装置および音場再現装置 | |
| CN117063489A (zh) | 信息处理方法、程序和信息处理系统 | |
| JPH08172700A (ja) | 音響装置 | |
| JP2004215781A (ja) | ゲーム機及びゲーム機用プログラム | |
| JP2003078999A (ja) | ３次元移動音生成方法とその装置 | |
| JP2012199784A (ja) | 音響再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061204 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070126 |