JP2005094271A - 仮想空間音響再生プログラムおよび仮想空間音響再生装置 - Google Patents

Abstract

【課題】 コストを抑え、設置スペースを確保する必要が無く、バーチャルリアリティ空間（環境）の構築、緻密な音場再現、サラウンド音響再生を行うことができ、ネットワークにおける禁止事項をクリアして、ダウンロードしたソフトウェアを利用することができる仮想空間音響再生プログラムおよび装置を提供する。
【解決手段】 仮想空間音響再生装置１は、仮想空間の映像を描画するための仮想空間映像情報と、仮想音源の直接音と、当該仮想空間内の音響特性および当該仮想音源に関する仮想空間音響情報とを受信し、前記仮想空間の映像と、前記直接音および前記仮想空間音響情報を処理して得られる仮想音源の間接音と、前記直接音とを関連付けて出力する仮想空間音響再生装置１であって、仮想空間映像情報処理手段３と、仮想空間音響情報処理手段５と、混合出力手段７と、を備えた。
【選択図】 図１

Description

本発明は、表示装置に表示された仮想空間内に位置する仮想音源から発せられる音響をサラウンド音響として、スピーカで再生させる仮想空間音響再生プログラムおよび仮想空間音響再生装置に関する。

一般に、２台のスピーカを、聴取位置（聴取者の位置）の正面左右に配置して立体的な音響を再現（再生）する手法をステレオ方式といい、さらに、聴取位置の正面左右以外の周囲のいずれかの位置にスピーカを配置して、聴取位置を囲むようにして立体的な音響を再現する手法をサラウンド方式という。
従来、このサラウンド方式によって、サラウンド音響を再生するサラウンド音響再生装置は、入力された入力信号に調整を施し、配置された複数のスピーカと当該装置のユーザ（聴取者）の位置（聴取位置）とによって決定される音響空間に適合する音響信号として出力することで、サラウンド音響を再生するものである（例えば、特許文献１参照）。

このサラウンド音響再生装置では、入力信号に調整を施すのに、図８に示す調整手段１０１が用いられており、この調整手段１０１には、入力信号を緩衝増幅する増幅器１０３と、緩衝増幅された入力信号（増幅信号）に遅延処理を施す遅延回路１０５と、遅延処理が施された増幅信号（遅延信号）に等価処理を施す等価回路１０７と、等価処理が施された遅延信号（等価信号）を畳み込む畳み込み器１０９と、畳み込まれた等価信号（反射音生成信号）に等価処理を再度施す等価回路１１１と、等価処理が再度施された反射音信号（等価信号）を緩衝増幅する増幅器１１３と、緩衝増幅された等価信号（増幅信号）および入力信号を合成する加算合成器１１５とが含まれている。

なお、このサラウンド音響再生装置では、出力される音響信号について、再現したい音場の伝達特性を、予め、当該音響信号の聴取位置における方向別のインパルス応答として実測するか、音響シミュレーションによって伝達特性を算出しておき、調整手段１０１の畳み込み器１０９の係数として用いることによって、音場の再現がより緻密に行える。

また、このサラウンド音響再生装置の応用技術として、当該装置とＣＧ（コンピュータグラフィックス）技術と組み合わせたバーチャルリアリティシステムが挙げられる。このバーチャルリアリティシステムでは、ＣＧで表現された仮想空間に対応した音響空間における音響特性を、音響シミュレーションによって算出する。そして、この音響シミュレーションの結果により、音響特性と共に、仮想空間内における仮想音源（音声等）の移動に従って変化する反射音等に関する情報である仮想空間音響情報とが得られ、当該バーチャルリアリティシステムでは、この仮想空間音響情報を用いることによって、仮想空間の映像に対応した音場を、動的に再現することができる。

このバーチャルリアリティシステムの例を図９に示す。この図９に示すように、バーチャルリアリティシステム１１７は、ドライソース（音響反射のない空間で取得された直接音、音源信号）を供給するドライソース供給サーバ１１９と、ＣＧシーン（仮想空間）および当該仮想空間内における音響特性を表すインパルス応答を供給する仮想空間データサーバ１２１と、畳み込み処理を施す畳み込み手段（図示せず）を備えてドライソースから音響信号を生成する音響信号生成サーバ１２３と、ＣＧシーン（仮想空間）を描画すると共に、ユーザ（聴取者）が操作したユーザインターフェース（ＵＩ）からの操作信号を受信して各サーバ１１７〜１２１を制御するコントロールサーバ１２５とから構成されている。

また、このバーチャルリアリティシステム１１７には、ユーザ（聴取者）の正面に配置され、仮想空間を表示するスクリーン１２７と、ユーザ（聴取者）の周囲八方に配置され、音響信号を出力する８台のスピーカ１２９とが接続されている。

このバーチャルリアリティシステム１１７の動作について説明すると、まず、ドライソース供給サーバ１１９からドライソースが音響信号生成サーバ１２３に供給される。続いて、ユーザ（聴取者）は、正面に配置されたスクリーン１２７に提示されるＣＧシーンを見ながらユーザインターフェース（ＵＩ）を操作する。すると、当該ユーザ（聴取者）が操作するユーザインターフェース（ＵＩ）からの操作信号を受信したコントロールサーバ１２５から出力された制御信号に基づいて、音響信号生成サーバ１２３でドライソースについて適切な音源定位制御を行うと共に、ドライソースに、仮想空間データサーバ１２１から供給されるインパルス応答を畳み込んだ響き（間接音）が付加された音響信号がスピーカ１２９から出力される。この結果、ユーザ（聴取者）は、ＣＧシーン（仮想空間）の中にいるような立体音響を体感することができる。

ところで、ＣＧシーン（仮想空間）を記述するコンピュータ言語の中で、インターネット上で普及しているものに、３次元仮想環境記述言語であるＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）が挙げられる。このＶＲＭＬは、ＣＧシーン（仮想空間）の記述の他、仮想空間内のオブジェクトに音源を割り当てる文法を有している。この文法によって、音源が割り当てられたオブジェクトは、当該オブジェクトの属性として、指向性、可聴領域等を記述することが可能になっている。この属性が記述されたオブジェクトを含んだ仮想空間をユーザ（聴取者）に提示することにより、当該ＶＲＭＬを使用したシステムでは、オブジェクトから発せられた直接音によって、近似的にサラウンド音響再生を実現している。
特開２０００−３２２０６９号公報（段落００２４〜００２８、図１）

しかしながら、従来のサラウンド音響再生装置では、調整手段１０１が増幅器１０３，１１３、遅延回路１０５、等価回路１０７，１１１、畳み込み器１０９、加算合成器１１５等の演算回路を用いたもので、サラウンド音響再生装置用の単一若しくは複数のＤＳＰ等のデバイスやハードウェアを組み合わせることにより構成されている。このため、従来のサラウンド音響再生装置は、簡略的な装置部分を除いて、ハードウェア構成の多くは商用機器からなり、コストがかかるという問題がある。

また、ＣＧ技術と組み合わせた、従来のバーチャルリアリティシステム１１７は、音響信号生成サーバ１２３とコントロールサーバ１２５とが別機器として構成されている。これら、バーチャルリアリティシステム１１７の音響信号生成サーバ１２３とコントロールサーバ１２５との間では、ＭＩＤＩ、ＴＣＰ／ＩＰ等のプロトコルを用いて相互通信を行うことによって、同期させて制御を行っている。このバーチャルリアリティシステム１１５も、サラウンド音響再生装置１０１と同様に、当該システム１１５の大部分を複数のハードウェア（ドライソース供給サーバ１１７、仮想空間データサーバ１１９等）によって構成しているので、コストがかかり、各ハードウェアの設置スペースを確保しなければならないという問題がある。さらに、このバーチャルリアリティシステム１１５では、各ハードウェア間で、ドライソース、ＣＧシーン等のデータ（コンテンツ）を関連付けて一元管理することが困難であり、データ（コンテンツ）を制作するコンテンツ制作者の負担となっている。さらにまた、バーチャルリアリティシステム１１５では、サラウンド音響再生装置１０１に比べて、構成が一層複雑になっている。

また、ＶＲＭＬを使用したシステムは、サラウンド音響再生機能を備えると共に、ＣＧシーンを表示可能なソフトウェアとして捉えることができるが、ＶＲＭＬによる音響空間の表現能力は、音源が割り当てられたオブジェクトの属性として、楕円形の可聴領域の記述にとどまっており、バーチャルリアリティ空間（環境）の構築、緻密な音場再現、サラウンド音響再生を行うには、十分でないという問題がある。

また、従来、インターネット（ネットワーク）におけるセキュリティ上、ネットワークを介してダウンロードされたコンテンツでの記述によって、ダウンロードした機器と他の機器との間で、通信制御を行うことが禁止事項とされており、この禁止事項をクリアして、コンテンツを利用したいとの要望があった。

そこで、本発明では、前記した問題を解決し、コストを抑え、設置スペースを確保する必要が無く、バーチャルリアリティ空間（環境）の構築、緻密な音場再現、サラウンド音響再生を行うことができ、ネットワークにおける禁止事項をクリアして、ダウンロードしたソフトウェアを利用することができる仮想空間音響再生プログラムおよび仮想空間音響再生装置を提供することを目的とする。

前記課題を解決するため、請求項１記載の仮想空間音響再生プログラムは、仮想空間の映像を描画するための仮想空間映像情報と、当該仮想空間内の音源となる仮想音源の直接音である音響信号と、当該仮想空間内の音響特性および当該仮想音源に関する仮想空間音響情報とを受信し、前記仮想空間の映像と、前記直接音および前記仮想空間音響情報を処理して得られる仮想音源の間接音と、前記直接音とを関連付けて、表示装置とスピーカとに出力する装置を、仮想空間映像情報処理手段、仮想空間音響情報処理手段、混合出力手段、として機能させる構成とした。

かかる構成によれば、仮想空間音響再生プログラムは、ネットワークに接続して、仮想空間映像情報、音響信号および仮想空間音響情報を取得すると共に、仮想空間映像情報処理手段によって、当該仮想空間映像情報に基づいて、仮想空間の映像を描画して表示装置に出力する。つまり、この仮想空間映像情報処理手段は、通常のパーソナルコンピュータにおけるブラウザに相当するものである。

続いて、仮想空間音響再生プログラムは、仮想空間音響情報処理手段によって、直接音および仮想空間音響情報を処理して、仮想音源の移動と、当該装置のユーザの操作により仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、間接音を算出する。この仮想空間音響情報処理手段による処理とは、仮想空間音響情報に基づいて、直接音を畳み込み処理することである。

そして、仮想空間音響再生プログラムは、混合出力手段によって、音響信号から得られる直接音を、仮想音源の位置と、仮想聴取点の位置と、スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて振幅制御した振幅制御直接音と、仮想空間音響情報処理手段で算出した間接音とを混合してスピーカに出力する。これら直接音と間接音とを混合した合成音によって、サラウンド音響再生が実現される。

請求項２記載の仮想空間音響再生プログラムは、請求項１に記載の仮想空間音響再生プログラムにおいて、前記仮想空間映像情報をファイルとして記述したＶＲＭＬファイルと、前記仮想空間音響情報をファイルとして記述したフィルタファイルと、前記仮想音源の直接音をファイル化した音響ファイルとの相互関係をＨＴＭＬファイルによって、前記仮想空間の映像および音響を記述したことを特徴とする。

かかる構成によれば、仮想空間音響再生プログラムは、仮想空間映像情報をＶＲＭＬファイル、仮想空間音響情報をフィルタファイルとして記述しており、仮想音源の直接音をファイル化した音響ファイルとし、これらファイルの相互関係をＨＴＭＬファイルによって記述している。つまり、この仮想空間音響再生プログラムは、サラウンド音響再生に要求される各ファイルおよび当該ファイルに含まれている種々のパラメータ引数の一切を統一的に記述できるように設計されている。

請求項３記載の仮想空間音響再生装置は、仮想空間の映像を描画するための仮想空間映像情報と、当該仮想空間内の音源となる仮想音源の直接音である音響信号と、当該仮想空間内の音響特性および当該仮想音源に関する仮想空間音響情報とを受信し、前記仮想空間の映像と、前記直接音および前記仮想空間音響情報を処理して得られる仮想音源の間接音と、前記直接音とを関連付けて、表示装置とスピーカとに出力する仮想空間音響再生装置であって、仮想空間映像情報処理手段と、仮想空間音響情報処理手段と、混合出力手段と、を備える構成とした。

かかる構成によれば、仮想空間音響再生装置は、ネットワークに接続して、仮想空間映像情報、音響信号および仮想空間音響情報を取得すると共に、仮想空間映像情報処理手段によって、当該仮想空間映像情報に基づいて、仮想空間の映像を描画して表示装置に出力する。続いて、仮想空間音響再生装置は、仮想空間音響情報処理手段によって、直接音および仮想空間音響情報を処理して、仮想音源の移動と、当該装置のユーザの操作により仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、間接音を算出する。そして、仮想空間音響再生装置は、混合出力手段によって、音響信号から得られる直接音を、仮想音源の位置と、仮想聴取点の位置と、スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて振幅制御した振幅制御直接音と、仮想空間音響情報処理手段で算出した間接音とを混合してスピーカに出力する。

請求項１、３記載の発明によれば、ネットワークに接続して、仮想空間映像情報、音響信号および仮想空間音響情報を取得すると共に、当該仮想空間映像情報に基づいて、仮想空間を描画して表示装置に出力し、仮想音源の移動と、当該装置のユーザの操作により仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、間接音を算出する。音響信号から得られる直接音を、仮想音源の位置と、仮想聴取点の位置と、スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて振幅制御した振幅制御直接音と、間接音とを混合してスピーカに出力する。このため、従来のように既存の商用機器に依存することなく、コストを抑え、設置スペースを確保する必要が無く、サラウンド音響再生を実現できる。また、この発明によれば、仮想空間音響情報の情報量如何によって、仮想空間内の音響特性を正確に表現することができ、バーチャルリアリティ空間（環境）の構築、緻密な音場再現、サラウンド音響再生を行うことができる。また、ネットワークから取得されたコンテンツ（仮想空間映像情報、音響信号および仮想空間音響情報）での記述によって、他の機器と通信制御することなく、一つの装置内で処理可能としているので、ネットワークにおける禁止事項をクリアして、ダウンロードしたソフトウェアを利用することができる。

請求項２記載の発明によれば、仮想空間映像情報をＶＲＭＬファイル、仮想空間音響情報をフィルタファイルとして記述しており、仮想音源の直接音をファイル化した音響ファイルとし、これらファイルの相互関係をＨＴＭＬファイルによって記述している。つまり、この仮想空間音響再生プログラムは、サラウンド音響再生に要求される各ファイルおよび当該ファイルに含まれている種々のパラメータ引数の一切を統一的に記述できるように設計されている。また、仮想空間音響再生プログラムで取り扱うデータがＶＲＭＬファイル、フィルタファイル、音響ファイル、ＨＴＭＬファイルによって構成されており、ネットワーク上の同一のサイト（ウェブサーバ）から取得可能となる。これによって、コンテンツの制作者は、コンテンツの一元管理を行うことが容易にでき、コンテンツ制作者の管理コストの負担を軽減することができる。

次に、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
（仮想空間音響再生装置の構成）
図１は仮想空間音響再生装置のブロック図である。この図１に示すように、仮想空間音響再生装置１は、インターネット等のネットワークからコンテンツ（仮想空間映像情報、音響信号、仮想空間音響情報）を取得して、仮想空間を描画すると共に、この仮想空間内における音（合成音）を出力するもので、仮想空間映像情報処理手段３と、仮想空間音響情報処理手段５と、混合出力手段７とを備えている。

なお、この仮想空間音響再生装置１には、当該装置１のユーザ（聴取者）の正面に配置され、ＣＧによる仮想空間を表示する表示装置２と、ユーザ（聴取者）が操作し、操作信号（動作開始信号、動作終了信号を含む）を入力するキーボード、マウス等のユーザインターフェース４と、ユーザ（聴取者）の周囲に配置され、当該装置１で合成された合成音を出力するスピーカ６とが接続されている。

また、この仮想空間音響再生装置１は、ウェブサーバ（図示せず）上で開設されているサイトから、ネットワーク（インターネット等）を介して、コンテンツ（仮想空間映像情報、音響信号（直接音）、仮想空間音響情報）をダウンロード（取得）する。つまり、この仮想空間音響再生装置１には、パーソナルコンピュータ上でインターネットに接続するブラウザプログラム（コンテンツ取得手段［図示せず］）がインストールされている。この仮想空間音響再生装置１によって取得されたコンテンツ（仮想空間映像情報、音響信号、仮想空間音響情報）は、相互関係がＨＴＭＬファイルとして記述されている。なお、このコンテンツに含まれている音響信号は、ネットワークを介さず、直接入力されてもよい。

また、この仮想空間音響再生装置１によって取得されたコンテンツ（仮想空間映像情報、音響信号、仮想空間音響情報）の内、音響信号（直接音）、仮想空間音響情報および出力制御情報は、仮想空間音響情報処理手段５に出力されると共に、音響信号（直接音）は、混合出力手段７に出力される。

仮想空間映像情報処理手段３は、仮想空間映像情報に基づいて、予め設定された聴取者の視点（仮想聴取点）で仮想空間の映像を描画し、表示装置２に出力するものである。
仮想空間映像情報は、ＣＧによる仮想空間を描画するためのもので、ＶＲＭＬによって記述されている。つまり、この仮想空間映像情報は、ＶＲＭＬで記述されたＶＲＭＬファイルと言えるものである。このＶＲＭＬは、インターネット上（ＷＷＷ上）で普及している三次元仮想環境（仮想空間）を記述するコンピュータ言語であり、「ノード」と呼ばれるオブジェクトを記述するためのファイル定義を提供すると共に、「フィールド」と呼ばれる属性記述を提供するオブジェクトベースのコンピュータ言語である。すなわち、仮想空間は、ＶＲＭＬの「ノード」と「フィールド」とによって、シーングラフを構成することによって、コンピュータ上で平易に構築されることとなる。

また、この仮想空間映像情報に基づき仮想空間映像情報処理手段３によって描画される仮想空間は、予め、当該仮想空間内を別個の音響特性を持つ複数の小空間（音響空間）に分割することができる。但し、この音響空間の音響特性を決定する記述は、ＶＲＭＬで記述している仮想空間映像情報では行っておらず、仮想空間音響情報（フィルタファイルを包含）によって行っている。

つまり、このＶＲＭＬでは、音響再生の機能として「Ｓｏｕｎｄノード」が備えられているが、この「Ｓｏｕｎｄノード」は仮想音源（音源として割り当てられたオブジェクト）毎の指向性、可聴領域の記述を可能としており、空間そのもの（音響空間）の音響特性の記述が文法として備えられていない。また、「Ｓｏｕｎｄノード」による音響再生の機能は、オブジェクトの幾何形状による指向性および可聴領域の指定を行うのみであり、オブジェクトの物理的な特性まで再現できるものではない。それゆえ、仮想空間映像情報では、音響空間の音響特性に関する記述を行わずに、仮想空間音響情報によって行うこととしている。

さらに、この仮想空間映像情報には、ユーザインターフェース４から入力される操作信号に基づいて、仮想空間の表示方向（見え方）を変更させる表示パラメータを含んでいる。つまり、この表示パラメータの変化に伴い、仮想空間が同一の視点（仮想聴取点）で回転したり、移動したりすることとなる。すなわち、この表示パラメータが変化する度（操作信号が入力される度）に、仮想空間映像情報処理手段３は、逐次、仮想空間の再描画を行うことになる。

仮想空間音響情報処理手段５は、ダウンロード（取得）された直接音および仮想空間音響情報を処理して、仮想空間内に位置する仮想音源（音源として割り当てられたオブジェクト）からの間接音を算出するもので、フィルタファイル記憶手段５ａと、フィルタファイルセット手段５ｂと、畳み込み処理手段５ｃとを備えている。この実施の形態では、仮想空間音響情報処理手段５は、モジュールの形態（信号処理モジュール）として組み込まれている。

つまり、この仮想空間音響情報処理手段５では、仮想音源（音源として割り当てられたオブジェクト）の移動と、仮想空間内の仮想の聴取点である仮想聴取点の移動（ユーザインターフェース４から入力される操作信号に基づく）との少なくとも一方に従って、表示装置２に表示されている仮想空間内が別個の音響特性を持つように分割されている小空間（音響空間）の音響特性が定義され、間接音が算出される。

仮想空間音響情報は、仮想空間を小空間に分割した音響空間および仮想音源毎の方向別インパルス応答を表すフィルタファイルで表されると共に、当該仮想空間音響情報処理手段５における処理の仕方を設定した処理設定情報とを含んでいるものである。フィルタファイルは、一つの仮想音源に対して、前、後、左、右、左前、右前、左後ろ、右後ろの８個の方向別インパルス応答を有している。つまり、フィルタファイルは、仮想空間を小空間に分割した音響空間における、音の反射、響き等を設定したものと言える。処理設定情報は、仮想音源の数を示す入力チャンネル数、出力する際のフォーマット（再生音源フォーマット）を決定するサンプリングレートおよびビットレート、フィルタ名を含むものである。

この実施の形態では、フィルタファイルと、処理設定情報とを含むものとして仮想空間音響情報を取り扱っているが、フィルタファイルと処理設定情報とを別々の情報として、取り扱ってもよい。すなわち、仮想空間音響情報をファイルとして記述したフィルタファイルとして取り扱い、処理設定情報を別途、コンテンツに含めることとして、取り扱うことは可能である。

フィルタファイル記憶手段５ａは、仮想空間音響情報に含まれているフィルタファイルを記憶するものである。
フィルタファイルセット手段５ｂは、処理設定情報に含まれているフィルタ名と、ユーザインターフェース４から入力される操作信号とに基づいて、仮想空間を小空間に分割した音響空間および仮想音源毎にフィルタファイルを設定するものである。

畳み込み処理手段５ｃは、フィルタファイルセット手段５ｂで設定されたフィルタフィルを用いて、入力された直接音に畳み込み処理を施して、仮想音源の間接音を生成すると共に、サンプリングレートおよびビットレートによって決定された再生音源フォーマットに従って当該間接音を混合出力手段７に出力するものである。

混合出力手段７は、音響信号から得られた直接音を振幅制御した振幅制御直接音と、仮想空間音響情報処理手段５で算出された間接音とを混合した合成音を、図示を省略したサウンドボードを介して、スピーカ６に出力するもので、当該スピーカ６の配置に適合するように、当該直接音の振幅制御を行う音圧制御手段７ａを備えている。この実施の形態では、混合出力手段７は、モジュールの形態（ミキサモジュール）として組み込まれている。

音圧制御手段７ａは、仮想空間内の仮想音源の位置と、仮想聴取点（ユーザ（聴取者）の視点）の位置と、スピーカ６が配置された位置（スピーカ位置）およびユーザ（聴取者）の実際の聴取位置に基づいて予め算出した係数とに基づいて、直接音の振幅制御、つまり、直接音の音圧を制御して、振幅制御直接音とするものである。この係数は、例えば、ユーザ（聴取者）が表示装置２に正対した場合、ユーザ（聴取者）の聴取位置を中心点とし、ユーザ（聴取者）と表示装置２とを結ぶ直線を基本軸とし、ユーザと当該ユーザ（聴取者）の周囲に配置されたスピーカ６とを結ぶ直線を方向軸とした際に、基本軸と方向軸との角度に基づいて決定されるものである。

この仮想空間音響再生装置１によれば、ネットワークに接続して、仮想空間映像情報、音響信号および仮想空間音響情報が取得されると共に、仮想空間映像情報処理手段３によって、当該仮想空間映像情報に基づいて、仮想空間の映像が描画されて表示装置２に出力される。続いて、仮想空間音響情報処理手段５によって、直接音および仮想空間音響情報が処理されて、仮想音源の移動と、当該装置１のユーザ（聴取者）の操作により仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、間接音が算出される。そして、混合出力手段７によって、直接音を、仮想音源の位置と、仮想聴取点の位置と、スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて、振幅制御した振幅制御直接音と、仮想空間音響情報処理手段５で算出した間接音とが混合された合成音がスピーカ６に出力される。このため、従来のように既存の商用機器に依存することなく、コストを抑え、設置スペースを確保する必要が無く、サラウンド音響再生を実現できる。また、この仮想空間音響再生装置１によれば、仮想空間音響情報の情報量如何によって、仮想空間内の音響特性を正確に表現することができ、バーチャルリアリティ空間（環境）の構築、緻密な音場再現、サラウンド音響再生を行うことができる。また、仮想空間映像情報処理手段３、仮想空間音響情報処理手段５および混合出力手段７がモジュール化されており、ネットワークから取得されたコンテンツ（仮想空間映像情報、音響信号および仮想空間音響情報）での記述によって、他の機器（図示せず）と通信制御することなく、一つの装置１内で処理可能としているので、ネットワークにおける禁止事項をクリアして、ダウンロードしたコンテンツを利用することができる。

また、この仮想空間音響再生装置１によれば、仮想空間映像情報がＶＲＭＬファイル、仮想空間音響情報がフィルタファイルとして記述されており、仮想音源の直接音がファイル化した音響ファイルとされ、これらファイルの相互関係がＨＴＭＬファイルによって（一つのコンテンツとして）記述されている。このため、仮想空間音響再生装置１のモジュール化された各手段（仮想空間映像情報処理手段３、仮想空間音響情報処理手段５および混合出力手段７）によって、各ファイル（ＶＲＭＬファイル、フィルタファイル、音響ファイル、ＨＴＭＬファイル）および当該ファイルに含まれている種々のパラメータ引数の一切を統一的に処理することができる。

（仮想空間音響再生装置の動作）
次に、図２に示すフローチャートを参照して、仮想空間音響再生装置１の動作について説明する（適宜、図１参照）。なお、この仮想空間音響再生装置１の動作は、仮想空間内に位置する仮想音源の移動が同一の音響空間に限られている場合について説明している。

まず、仮想空間音響再生装置１は、コンテンツ取得手段（図示せず）によって、ネットワーク上のサイトにアクセスし、コンテンツ（仮想空間映像情報、音響信号、仮想空間音響情報）をダウンロード（取得）する（Ｓ１）。続いて、仮想空間音響再生装置１は、仮想空間映像情報処理手段３によって、仮想空間の映像を描画し、表示装置２に出力すると共に、音響信号（直接音）および仮想空間音響情報を仮想空間音響情報処理手段５に、音響信号（直接音）を混合出力手段７に出力する。そして、仮想空間音響再生装置１は、仮想空間音響情報処理手段５のフィルタファイルセット手段５ｂによって、初期設定されているフィルタファイルをセットする（Ｓ２）。

そして、仮想空間音響再生装置１は、仮想空間音響情報処理手段５の畳み込み処理手段５ｃによって、直接音の畳み込み処理を行って間接音を算出し、混合出力手段７に出力する（Ｓ３）。すると、仮想空間音響再生装置１は、混合出力手段７の音圧制御手段７ａによって、直接音の音圧の制御を行って、音圧が制御された振幅制御直接音と、間接音とを混合し合成音として、スピーカ６に出力する（Ｓ４）。

なお、ここで、仮想空間音響再生装置１からスピーカ６に出力される合成音は、仮想空間内で仮想音源の移動が無く、ユーザインターフェース４から操作信号が入力されなかった場合（ユーザ（聴取者）の操作による仮想聴取位置の移動がなかった場合）、つまり初期設定の合成音である。

そして、仮想空間音響再生装置１は、ユーザインターフェース４を介して入力される操作信号に基づいて、仮想空間内でのユーザ（聴取者）の位置である仮想聴取位置が移動したかどうかを判定する（Ｓ５）。仮想聴取位置が移動したと判定された場合（Ｓ５、Ｙｅｓ）、仮想聴取位置が、仮想空間を小空間に分割した音響空間から別の音響空間に移動したかどうかを判定する（Ｓ６）。

別の音響空間に移動したと判定された場合（Ｓ６、Ｙｅｓ）、仮想空間音響再生装置１は、Ｓ２に戻り、移動した音響空間に適合するフィルタファイルを、仮想空間音響情報処理手段５のフィルタファイルセット手段５ｂによって再セットする。また、別の音響空間に移動したと判定されなかった場合（Ｓ６、Ｎｏ）、仮想空間音響再生装置１は、操作信号に基づいて、仮想聴取位置の移動量を得て、混合出力手段７の音圧制御手段７ａで、移動量に基づき振幅制御直接音を調整し、間接音と混合し、合成音として出力する。

また、仮想空間音響再生装置１は、Ｓ５にて、仮想聴取位置が移動したと判定されなかった場合（Ｓ５、Ｎｏ）、仮想空間内で仮想音源が移動したかどうかを判定し（Ｓ７）、移動したと判定された場合（Ｓ７、Ｙｅｓ）には、仮想音源の移動量を得て、混合出力手段７の音圧制御手段７ａで、移動量に基づき振幅制御直接音を調整し、間接音と混合して出力する。その後、仮想空間音響再生装置１は、他の制御信号の有無（インターラプト等）により、終了するかが判定され（Ｓ８）、終了すると判定された場合（Ｓ８、Ｙｅｓ）には動作を終了し、終了すると判定されなかった場合（Ｓ８、Ｎｏ）にはＳ３に戻り処理が続行される。なお、この仮想空間音響再生装置１は、他の制御信号（インターラプト等）が検出されるまで、仮想空間の描画と、合成音の出力とを継続する。

（仮想空間の描画例）
次に、図３を参照して、仮想空間の描画例について説明する。
図３は、表示装置２に描画されている仮想空間の映像を示したものである。この図３に示すように、この表示装置２に描画されている仮想空間は直方体の空間であり、この直方体の空間内に仮想音源であるＳｏｕｎｄ ＳｏｕｒｃｅＡが描画されており、仮想聴取点は、表示装置２の正面に位置するユーザ（聴取者）の位置である。

仮想音源であるＳｏｕｎｄ ＳｏｕｒｃｅＡは、仮想空間映像情報に基づいて、表示装置２に表示されている直方体の空間内を移動停止すると共に、仮想空間音響情報に基づいて、Ｓｏｕｎｄ ＳｏｕｒｃｅＡの現在位置から発する直接音と、空間の壁面で反射した間接音とを混合（合成）した合成音をスピーカ６を介して出力する。

仮想聴取点は、ユーザ（聴取者）の視点に相当するものであり、当該ユーザ（聴取者）がユーザインターフェース４を操作することによって移動する、つまり、直方体の空間の見え方が変わることとなる。

（スピーカの配置例）
次に、図４を参照して、仮想空間音響再生装置１に接続されるスピーカ６の配置例について説明する。
図４は、ユーザ（聴取者）とスピーカ６との位置関係を示した図である。この図４に示すように、ユーザ（聴取者）を中心に、２台のスピーカ６αを、ユーザ（聴取者）の左前方および右前方に配置した場合は、２チャンネルのステレオ配置例を示している。また、ユーザ（聴取者）を中心に、８台のスピーカ６βを、ユーザ（聴取者）の正面、左前方、左側方、左後方、後方、右後方、右側方、右前方に配置した場合は、８チャンネルのサラウンド配置例を示している。

この図４に示したように、スピーカ６（６α、６β）を、ユーザ（聴取者）の周囲に配置して、仮想空間音響再生装置１で混合（合成）された合成音を当該スピーカ６（６α、６β）から出力することで、様々な音場を再現することができる。

（合成音の出力制御例）
次に、図５を参照して、仮想空間音響再生装置１で合成された合成音が２台のスピーカ６（６ａ、６ｂ）で出力される場合の出力制御例について説明する。図５は、仮想空間におけるユーザ（聴取者）の仮想聴取位置と、当該ユーザ（聴取者）に対する仮想音源（Ｓｏｕｎｄ ＳｏｕｒｃｅＡ）の相対位置（相対的な位置関係）と、当該相対位置に近接するスピーカ６（６ａ、６ｂ）とを示したものである。ユーザ（聴取者）の仮想聴取位置と、当該ユーザ（聴取者）に対する仮想音源（Ｓｏｕｎｄ ＳｏｕｒｃｅＡ）との相対的な位置関係は、仮想空間映像情報処理手段３によって、算出される。

また、スピーカ６（６ａ、６ｂ）は、実際のスピーカ６の配置において、仮想音源（Ｓｏｕｎｄ ＳｏｕｒｃｅＡ）に近接する２台を取り出したものである。ここで、実際にユーザが聴取する合成音の出力制御について述べると、まず、ユーザ（聴取者）と仮想音源（Ｓｏｕｎｄ ＳｏｕｒｃｅＡ）との距離をｒとし、出力される直接音の振幅の距離減衰を、当該振幅に１／ｒを乗算することにより算出する。続いて、仮想音源（Ｓｏｕｎｄ ＳｏｕｒｃｅＡ）とスピーカ６ａとのなす角度をα、スピーカ６ａとスピーカ６ｂとのなす角度をβとし、２台のスピーカ６ａ、６ｂから出力される直接音の振幅を、それぞれｃｏｓ（α／（α＋β）×φ／２）、ｓｉｎ（α／（α＋β）×φ／２）を距離減衰計算後の振幅に乗算することにより算出する。

（仮想空間音響再生装置の運用例）
次に、図６を参照して、仮想空間音響再生装置１の運用例について説明する。
図６は、仮想空間音響再生装置１の運用例（３台のＣｌｉｅｎｔＸと１台のＷｅｂ ＳｅｒｖｅｒＹ）について説明した図である。この図６に示すように、各ＣｌｉｅｎｔＸには、仮想空間音響再生装置１の各構成の処理をコンピュータ言語で記述した仮想空間音響再生プログラムがインストールされている。

また、Ｗｅｂ ＳｅｒｖｅｒＹには、ＶＲＭＬファイルで記述された仮想空間映像情報と、仮想空間内で再生される音源ファイル（直接音）と、実測や音響シミュレーションにより事前に計算した仮想空間内の方向別インパルス応答であるフィルタファイル（仮想空間音響情報）とを蓄積しているＤａｔａＢｅｓｅが備えられている。また、このＷｅｂ ＳｅｒｖｅｒＹのＤａｔａＢｅｓｅには、表示装置２に表示させるブラウザの外観、仮想音源のフォーマットを定める各種パラメータの記載と、使用するファイル（ＶＲＭＬファイル、音源ファイルおよびフィルタファイル）に関する記載とを含むＨＴＭＬファイルが蓄積されている。

各ＣｌｉｅｎｔＸは、一般的なインターネットブラウザを用いて、このＨＴＭＬファイルにアクセスし、このＨＴＭＬファイルに記述されている各種パラメータと、使用するファイル（ＶＲＭＬファイル、音源ファイルおよびフィルタファイル）をコンテンツとして取得する。

（ＨＴＭＬファイルの記述例）
次に、図７を参照して、コンテンツ（仮想空間映像情報、音響信号、仮想空間音響情報）をＨＴＭＬファイルとして記述した場合の記述例を説明する。
図７は、仮想空間音響再生プログラムのコンテンツをＨＴＭＬファイルとして記述した場合の記述例を示したものである。

この図７に示すように、仮想空間音響再生プログラムは、ＨＴＭＬのＯＢＪＥＣＴタグによって指定されるものとなり、仮想空間のＶＲＭＬファイル名（図７中、「ｃｉｒｃｕｓ．ｗｒｌ」）、直接音の音源ファイル名（図７中、「ＰＳ」）、仮想空間音響情報のフィルタファイル名（図７中、「２」）は、ＯＢＪＥＣＴタグで括られるＰＡＲＡＭタグの引数として指定され、相互に関連付けられている。また、表示装置２に表示させるブラウザの外観、仮想音源のフォーマットを定める各種パラメータもこのＯＢＪＥＣＴタグで括られるＰＡＲＡＭタグの引数として指定されている。

そして、Ｗｅｂ ＳｅｒｖｅｒＹは、ＣｌｉｅｎｔＸからのアクセスに対して、ＨＴＭＬファイルを配信し、このＨＴＭＬファイルを受信したＣｌｉｅｎｔＸはのブラウザは、当該ＨＴＭＬファイルを展開し、さらに、ＯＢＪＥＣＴタグ以下に指定されたファイル群をＷｅｂ ＳｅｒｖｅｒＹにリクエスト（要求）し、リクエストしたファイル群を受信する。その後、ＣｌｉｅｎｔＸは、ファイル群に従って、仮想空間の展開（描画）、音声（合成音）の再生を行う。なお、仮想空間音響再生プログラムがインストールされていないＣｌｉｅｎｔＸがＷｅｂ ＳｅｒｖｅｒＹにアクセスした際に、当該仮想空間音響再生プログラムが自動的にダウンロードされ、インストールされる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、主に仮想空間音響再生装置１を説明しているが、仮想空間音響再生装置１の各手段はモジュール化されており、仮想空間音響再生プログラムとみなすことができる。この仮想空間音響再生プログラムは、仮想空間音響再生装置１と同様の効果を得ることができる。

また、この実施の形態の説明では、仮想空間音響再生装置１に接続されるスピーカ６の配置について、２チャンネルステレオ、８チャンネルサラウンドの例を示したが、設置されるスピーカ６の台数は任意である。

さらに、この実施の形態では、仮想空間音響再生装置１は、仮想空間映像情報処理手段３（ブラウザモジュール）によって、仮想空間の映像を描画するのに、コンテンツの記述の簡便性からＶＲＭＬファイル（仮想空間映像情報）を用いているが、仮想空間の映像の描画能力と、ユーザインタフェースの機能とを一括して、または、別々のモジュールとして実装することが可能であれば、他の手段と入れ替えることは可能である。

実施形態に係る仮想空間音響再生装置のブロック図である。 図１に示した仮想空間音響再生装置の動作を説明したフローチャートである。 仮想空間の描画例を示した図である。 スピーカの配置例を説明した図である。 合成音の出力制御例を説明した図である。 仮想空間音響再生装置の運用例を説明した図である。 ＨＴＭＬファイルの記述例を説明した図である。 従来のサラウンド音響再生装置の調整手段のブロック図である。 従来のバーチャルリアリティシステムのブロック図である。

符号の説明

１ 仮想空間音響再生装置
２ 表示装置
３ 仮想空間映像情報処理手段
４ ユーザインターフェース
５ 仮想空間音響情報処理手段
５ａ フィルタファイル記憶手段
５ｂ フィルタファイルセット手段
５ｃ 畳み込み処理手段
６ スピーカ
７ 混合出力手段
７ａ 音圧制御手段

Claims (3)

1. ネットワークより、仮想空間の映像を描画するための仮想空間映像情報と、当該仮想空間内の音源となる仮想音源の直接音である音響信号と、当該仮想空間内の音響特性および当該仮想音源に関する仮想空間音響情報とを受信し、前記仮想空間の映像と、前記直接音および前記仮想空間音響情報を処理して得られる仮想音源の間接音と、前記直接音とを関連付けて、表示装置とスピーカとに出力する装置を、
   前記仮想空間映像情報に基づいて、前記仮想空間を描画して前記表示装置に出力する仮想空間映像情報処理手段、
   前記直接音および仮想空間音響情報を処理して、前記仮想音源の移動と、前記仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、前記間接音を算出する仮想空間音響情報処理手段、
   前記直接音を、前記仮想音源の位置と、前記仮想聴取点の位置と、前記スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて振幅制御した振幅制御直接音と、前記仮想空間音響情報処理手段で算出した間接音とを混合して前記スピーカに出力する混合出力手段、
   として機能させることを特徴とする仮想空間音響再生プログラム。
2. 前記仮想空間映像情報をファイルとして記述したＶＲＭＬファイルと、前記仮想空間音響情報をファイルとして記述したフィルタファイルと、前記仮想音源の直接音をファイル化した音響ファイルとの相互関係をＨＴＭＬファイルによって、前記仮想空間の映像および音響を記述したことを特徴とする請求項１に記載の仮想空間音響再生プログラム。
3. ネットワークより、仮想空間の映像を描画するための仮想空間映像情報と、当該仮想空間内の音源となる仮想音源の直接音である音響信号と、当該仮想空間内の音響特性および当該仮想音源に関する仮想空間音響情報とを受信し、前記仮想空間の映像と、前記直接音および前記仮想空間音響情報を処理して得られる仮想音源の間接音と、前記直接音とを関連付けて、表示装置とスピーカとに出力する仮想空間音響再生装置であって、
   前記仮想空間映像情報に基づいて、前記仮想空間を描画して前記表示装置に出力する仮想空間映像情報処理手段と、
   前記直接音および仮想空間音響情報を処理して、前記仮想音源の移動と、前記仮想空間内の仮想の聴取点である仮想聴取点の移動との少なくとも一方に基づいて、前記間接音を算出する仮想空間音響情報処理手段と、
   前記直接音を、前記仮想音源の位置と、前記仮想聴取点の位置と、前記スピーカの位置および聴取位置に基づいて予め算出した係数とに基づいて振幅制御した振幅制御直接音と、前記仮想空間音響情報処理手段で算出した間接音とを混合して前記スピーカに出力する混合出力手段と、
   を備えることを特徴とする仮想空間音響再生装置。

Images