JP2017028390A - 仮想現実空間音声コミュニケーション方法、プログラム、プログラムを記録した記録媒体、および、装置 - Google Patents

Abstract

【課題】仮想空間において、現実空間と同様に音声コミュニケーションを行う方法、プログラム、プログラムを記録した記録媒体および装置を提供する。【解決手段】仮想空間において、無線機や携帯電話機のような音声によるコミュニケーションを支援する機能を利用できるようにし、利用者同士が近接しているときは肉声で会話をしているように、利用者同士が離れているときには無線機や携帯電話を介してボイスチャットを行っているような効果を得るとともに、相手となっている利用者の位置についての情報を得、方向の表示を行うようにする。【選択図】なし

Description

本発明は、仮想現実空間(ＶＲ)において、音響的にも現実的な音声コミュニケーションを行うための方法、および、そのためのプログラム、プログラムを記録した記録媒体、および、装置に関するものである。

特許文献１，２には、仮想空間中で音声会話をするときに、自分の視野と相手の位置の関係や自分と相手の距離に応じて音質や音量を変化させることが、特許文献３，４には、テレビ会議において、会議参加者の表示されている方向に、その会議参加者の発声の音像を定位させることが開示されている。また、特許文献５には、ヘッドマウント・ディスプレイ（ＨＭＤ）とヘッドフォンを用いた仮想現実感生成装置において、ヘッドマウント・ディスプレイ（ＨＭＤ）を装着した視聴者の動きを検出し、それに基づいて画像と音像を補正することにより、視聴者が動いても、仮想空間における画像及び音像の位置が変化しないように定位させることが、特許文献６〜８には、仮想空間中において、自分からみた対象の仮想空間中の位置に対象が発する音を音像定位させることが開示されている。更に、非特許文献１には、移動通信環境下で立体音場を再現することにより，移動通信における新しいコミュニケーションスタイルを実現する技術が開示されている。

特許第３０２７７９３号公報 特許第３１８３４９６号公報 特開平１１−１０３４９９号公報 特開２０００−１６５８３１号公報 特許第２５５０８３２号公報 特許第３２６１９４１号公報 特許第３２６８３０９号公報 特許第４２８１０３５号公報

安田泰代; 大矢智之. リアリティ音声音響通信技術. NTT 技術ジャーナル, 2003, 71.( http://www.ntt.co.jp/journal/0309/files/jn200309071.pdf)

しかしながら、特許文献１，２，６〜８に記載の技術は、仮想空間中の利用者と音の発生源が近接した位置にいることを前提としているものであって、仮想空間中の利用者が移動した結果、互いの距離が、仮想空間で音声が届かない距離となった場合を想定したものではない。また、特許文献３，４及び非特許文献１に記載の技術は現実空間に関するものであって仮想空間に関するものではない。特許文献５に記載の技術は視聴者の動きに基づいて画像と音像を補正することのみに関するものである。

本発明によれば、仮想空間中の利用者が近接した位置にいる場合、仮想空間中の利用者が移動した結果、互いの距離が、仮想空間で肉声が届かない距離となった場合の双方を想定した仮想現実空間音声コミュニケーション方法、プログラム、プログラムを記録した記録媒体、および、装置を得ることができる。

本発明によれば、仮想空間中の利用者同士が音声にてコミュニケーションをとるときに、利用者同士が近接しているときには肉声で会話をしているような効果を、利用者同士がある程度離れているときには無線機や携帯電話を介してボイスチャットを行っているような効果を得るとともに、仮想空間中で会話の相手となっている利用者の位置についての情報を得ることができる。

このほかの、この発明の特徴及び利点は、この発明の実施例の説明、添付の図面、及び請求の範囲から明らかなものとなる。

２名の仮想空間の利用者が互いに音声にて直接コミュニケーションをとっている図である。 仮想空間中で互いに離れた距離にいる２名の利用者が、仮想携帯電話機２０１を用いて音声によるコミュニケーションをとっている図である。 図２で示した仮想携帯電話機２０１の画面の一例の図である。 仮想空間中で互いに離れた距離にいる２名の利用者が音声によるコミュニケーションをとっている他の一例の図である。 仮想空間中で互いに離れた距離にいる２名の利用者が音声によるコミュニケーションをとっている他の一例の図である。 仮想空間中で互いに離れた距離にいる２名の利用者が音声によるコミュニケーションをとっている他の一例の図である。 図１〜６で示した仮想空間内での利用者間の音声によるコミュニケーションを実現するためのフローチャートである。 本発明を、ヘッドマウント・ディスプレイ（ＨＭＤ）を用いたシステムに適用した場合の構成の概要を示す図である。 図８に示した制御回路部８２０を中心にコンポーネントの主要機能の構成を示した図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。

（項目１）仮想空間内での音声コミュニケーションの相手の位置を取得する位置取得ステップと、音声コミュニケーションを支援する支援機能を利用するかしないかを決定する支援機能利用決定ステップと、音声コミュニケーションを支援する支援機能を利用しないと決定した場合に、ユーザと音声コミュニケーションの相手の間の仮想空間における伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む音声の伝搬特性を特定する伝搬経路特定ステップと、音声コミュニケーションを支援する支援機能を利用するかしないか、仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、ユーザの仮想空間内で向いている方向、及び、前記音声の伝搬特性に基づいて、音像を定位させる音像定位ステップを含む、仮想現実空間音声コミュニケーション方法。

（項目２）前記ユーザの仮想空間内で向いている方向が、ユーザが頭部に装着したヘッドマウント・ディスプレイ（ＨＭＤ）によって検出されることを特徴とする項目１に記載の仮想現実空間音声コミュニケーション方法。

（項目３）音声コミュニケーションを支援する支援機能を利用すると決定した場合に、仮想空間内での音声コミュニケーションの相手の位置又は方向の表示を描画する位置方向表示描画ステップを更に有することを特徴とする項目１又は２に記載の仮想現実空間音声コミュニケーション方法。

（項目４）仮想空間内での音声コミュニケーションの相手の位置が、ユーザの視野内か視野外であるかを判定する視野内判定ステップと、仮想空間内での音声コミュニケーションの相手の位置がユーザの視野内である場合に、音声コミュニケーションの相手のアバターを仮想空間内での音声コミュニケーションの相手の位置に描画するアバター描画ステップと、を更に有することを特徴とする項目１〜３のいずれか一項に記載の仮想現実空間音声コミュニケーション方法。

（項目５）前記支援機能利用決定ステップにおいて音声コミュニケーションを支援する支援機能を利用しないと決定したときに、前記伝搬経路特定ステップにおいて、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の直線経路を前記音声の伝搬特性に含まれる伝搬経路と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離の２乗に比例する値を前記音声の伝搬特性に含まれる伝搬損失と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離に比例する値を前記音声の伝搬特性に含まれる伝搬時間として特定し、前記音像定位ステップにおいて前記音声の伝搬特性に基づいて音像を定位させることを特徴とする、項目１〜４のいずれか一項に記載の仮想現実空間音声コミュニケーション方法。

（項目６）項目１〜５のいずれか一項に記載の方法を実行するためのプログラム。
（項目７）項目１〜５のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。

（項目８）仮想空間内での音声コミュニケーションの相手の位置を取得する位置取得部と、音声コミュニケーションを支援する支援機能を利用するかしないかを決定する支援機能利用決定部と、音声コミュニケーションを支援する支援機能を利用しないと決定した場合に、ユーザと音声コミュニケーションの相手の間の仮想空間における伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む音声の伝搬特性を特定する伝搬経路特定部と、音声コミュニケーションを支援する支援機能を利用するかしないか、仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、ユーザの仮想空間内で向いている方向、及び、前記音声の伝搬特性に基づいて、音像を定位させる音像定位部を含む、仮想現実空間音声コミュニケーション装置。

（項目９）前記ユーザの仮想空間内で向いている方向が、ユーザが頭部に装着したヘッドマウント・ディスプレイ（ＨＭＤ）によって検出されることを特徴とする項目８に記載の仮想現実空間音声コミュニケーション装置。

（項目１０）音声コミュニケーションを支援する支援機能を利用すると決定した場合に、仮想空間内での音声コミュニケーションの相手の位置又は方向の表示を描画する位置方向表示描画部を更に有することを特徴とする項目７又は８に記載の仮想現実空間音声コミュニケーション装置。

（項目１１）仮想空間内での音声コミュニケーションの相手の位置が、ユーザの視野内か視野外であるかを判定する視野内判定部と、仮想空間内での音声コミュニケーションの相手の位置がユーザの視野内である場合に、音声コミュニケーションの相手のアバターを仮想空間内での音声コミュニケーションの相手の位置に描画するアバター描画部と、を更に有することを特徴とする項目８〜１０のいずれか一項に記載の仮想現実空間音声コミュニケーション装置。

（項目１２）前記支援機能利用決定部において音声コミュニケーションを支援する支援機能を利用しないと決定したときに、前記伝搬経路特定部において、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の直線経路を前記音声の伝搬特性に含まれる伝搬経路と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離の２乗に比例する値を前記音声の伝搬特性に含まれる伝搬損失と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離に比例する値を前記音声の伝搬特性に含まれる伝搬時間として特定し、前記音像定位部において前記音声の伝搬特性に基づいて音像を定位させることを特徴とする、項目８〜１１のいずれか一項に記載の仮想現実空間音声コミュニケーション装置。

［本発明の実施形態の詳細］
以下、図面を参照して、本発明の実施の形態を説明する。なお、仮想空間は３次元仮想空間としているが、必ずしもそれに限られる必要はない。

また、図中、同一の構成要素には同一の符号を付してある。
図１は、２名の仮想空間の利用者１０１，１０２が互いに音声にて直接コミュニケーションをとっている図である。特許文献１，２に開示されているように、仮想空間においても、２名の利用者１０１，１０２の間の音声によるコミュニケーションでは、その仮想空間での利用者間の距離や方向、その視野の中に相手がいるかいないかによって、その音量、音像定位、音質等を変化させることによって、現実の空間での肉声でのコミュニケーションと同様の効果を得ることができる。

図２は、仮想空間中で互いに離れた距離にいる２名の利用者１０１，１０２が、仮想携帯電話機２０１、２０２を用いて音声によるコミュニケーションをとっている図である。この図では、利用者１０２は利用者１０１の視野外ではあるが、右前方の遠方にいることとなっている。仮想空間は、実際の現実空間を模倣するものという面があるので、仮想空間においても、利用者間にある一定以上の距離があったり、間に何らかの障害物があったりする場合には、互いに音声で直接コミュニケーションをとることができないものとされるのが自然である。そして、その仮想空間がどのような目的をもって生成されたものかにもよるが、互いに音声で直接コミュニケーションをとることができないような状況を解消するために、無線機や携帯電話機を模倣するものを仮想空間内に設け、それを利用することによって音声によるコミュニケーションをとれるようにするというのも自然である。

図３は、図２で示した仮想携帯電話機２０１の画面の一例の図である。この画面では、音声コミュニケーションの相手のアバターの位置を取得し、その位置ないし方向を、上空からみた相手の位置を示すレーダーチャートにて表示するようにしている。

図４〜６は、同様に仮想空間中で互いに離れた距離にいる２名の利用者が音声によるコミュニケーションをとっている図である。これらの図は、図１，２とは異なり、自分のアバターからの視野を表示した形となっており、実際の利用者のアバターの位置関係は図２と同様である。音声コミュニケーションの相手のアバターがいる方向が、図４では図３同様のレーダーチャート４０１、図５では視野内に矢印５０１で表示されている。図６では、音声コミュニケーションの相手のアバターがいる方向や距離の表示が、相手のアバターの縮小画像６０１によって行われており、縮小画像の表示される位置でその方向が、また、アバターの大きさの大小によって距離が表示される。

図３〜６では、相手の方向を画面で示していたが、本発明では、それに加えて、非特許文献１に記載されているように、音声コミュニケーションの相手のアバターがいる方向に音像定位をさせることによって、相手の方向を表現する。図３〜６に記載されるような相手の方向を画面で表現することに比べ、音像の位置での相手の方向の表現は、正確な方向を表現することは難しいものの、わざわざ相手の位置や方向の表示を見なくてもよいこと、更には、複数の相手の方向を表現したとしても、画面が煩雑とならないという利点がある。また、相手の方向が正確に示される必要が無いのであれば、図３〜６に記載されるような音声コミュニケーションの相手の位置ないし方向の表示を省略し、音声コミュニケーションの相手のアバターがいる方向に音像定位をさせることのみとすることができる。

図７は、図１〜６で示した仮想空間内での利用者間の音声によるコミュニケーションを実現するためのフローチャートである。
ステップＳ７０１にて、仮想空間内での利用者間の音声によるコミュニケーションに関する処理は開始する。

ステップＳ７０２は位置取得ステップであって、仮想空間内での音声コミュニケーションの相手の位置を取得する。
ステップＳ７０３は、仮想空間内での音声コミュニケーションの相手の位置が、ユーザの視野内か視野外であるかを判定する視野内判定ステップであって、視野内であると判定された場合には、ステップＳ７０４のアバター描画ステップにおいて、音声コミュニケーションの相手のアバターをユーザの視野内に描画する。

ステップＳ７０５は、音声によるコミュニケーションを支援する無線機や携帯電話機のような支援機能を利用するかしないかを決定する支援機能利用決定ステップである。このステップＳ７０５で、仮想空間内で無線機や携帯電話機のような音声によるコミュニケーションを支援する機能を利用するかしないかの決定は、ユーザの選択に基づくのが好ましい。ステップＳ７０２で取得した仮想空間内での音声コミュニケーションの相手の位置がユーザの仮想空間内での位置から一定の距離以上離れ直接音声が届かないと判断できる場合や、ステップＳ７０３で仮想空間内での音声コミュニケーションの相手の位置がユーザの視野外であると判断した場合に、自動的にコミュニケーションを支援する機能の利用をユーザに提案するように構成してもよい。

ステップＳ７０６とＳ７０７は、無線機や携帯電話機のような音声によるコミュニケーションを支援する機能を利用する場合の処理である。
ステップＳ７０６は位置方向表示描画ステップであって、図３，４で示したレーダーチャート、図５で示した矢印、図６で示した相手のアバターの縮小画像のような、仮想空間内での音声コミュニケーションの相手の位置又は方向の表示を描画するステップである。なお、第１音像定位ステップＳ７０７によっても、仮想空間内での音声コミュニケーションの相手の方向が示されるので、相手の方向が正確に示される必要が無いのであれば、この位置方向表示描画ステップＳ７０６は省略することもできる。

ステップＳ７０７は第１音像定位ステップである。このステップＳ７０７では、ステップＳ７０２で取得した仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、それから、ユーザの仮想空間内で向いている方向から、どの方向に音像を定位すればよいか求める。音声コミュニケーションの相手から送られてくる音声に対し処理を行い、その処理結果をヘッドフォン等を通じて左右の耳に送り込むことによって、空間内に音像を定位させる。この音像の定位については、ユーザと音声コミュニケーションの相手の水平位置から求めた方向から単に左右方向に定位を移動させるものでも、ユーザと音声コミュニケーションの相手の垂直方向の位置の相違も勘案し、頭部伝達関数を用いて適切な処理を行うことによって、左右上下方向に音像を定位させるものいずれでもよい。しかし、上下方向の音像定位はあまり強くはなく、しかも、その定位が視覚に強く影響を受けるにもかかわらず、頭部伝達関数を用いた処理は必ずしも軽いものではないことを考えれば、単に左右方向に定位を移動させるものにとどめることが実用的である。ヘッドマウント・ディスプレイ（ＨＭＤ）を用いている場合には、特許文献５にも示されるように、ヘッドマウント・ディスプレイ（ＨＭＤ）を装着したユーザの動きを検出し、それに基づいて画像と音像を補正することにより、ユーザが動いても、仮想空間における画像及び音像の位置が変化しないように定位させる処理を行う必要がある。

ステップＳ７０８とステップＳ７０９は、無線機や携帯電話機のようなコミュニケーションを支援する機能を用いず、仮想空間中で音声による直接のコミュニケーションをとる場合の処理である。

ステップＳ７０８は伝搬経路特定ステップである。音声による直接のコミュニケーションをとる場合には、必ずしもユーザと音声コミュニケーションの相手の間の仮想空間を音声が直線的に伝わるとは限らず、途中にある障害物を回折して伝わったり、近傍にある壁に反射して伝わったりすることがあり得る。また、間に壁や扉があるときに、それを伝わって音声が届く場合もある。ステップＳ７０８では、それに対処するために、ユーザと音声コミュニケーションの相手の間の仮想空間における音声の伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む伝搬特性を特定する。理論的には、そのような伝搬経路は一つとは限らないので複数特定する必要がある場合があるが、それぞれの伝搬経路の伝搬損失が異なるので、伝搬損失が非常に大きいもの、ないし、最も伝搬損失が小さいものに比べ一定以上伝搬損失が大きいものは、実際には特定する必要はない。なお、簡易に伝搬経路を特定するのであれば、仮想空間が音声に関しては壁等の障害物の無い自由空間であると仮定し、伝搬経路はユーザと音声コミュニケーションの相手の間を直線で結ぶものとし、その伝搬経路の伝搬損失はユーザと音声コミュニケーションの相手の間の距離の２乗に比例し、伝搬時間はユーザと音声コミュニケーションの相手の間の距離に比例するものとして特定してもよい。

ステップＳ７０９は第２音像定位ステップである。第１音像定位ステップＳ７０７と同様に、音声コミュニケーションの相手から送られてくる音声に対し処理を行い、その処理結果をヘッドフォン等を通じて左右の耳に送り込むことによって、空間内に音像を定位させるステップであるが、第１音像定位ステップＳ７０７とは異なり、伝搬経路特定ステップＳ７０８で求めた伝搬経路及びその伝搬経路での伝搬損失、伝搬時間に基づいて音像を定位させ、音量、周波数特性を変更する必要がある。更に、複数の伝搬経路が特定された場合には、同じ音声コミュニケーションの相手からの音声を、複数の位置に音像定位させたり、複数の位置に音像定位させた音声の間に時間遅れの差異を設けたりする必要がある場合がある。

なお、第１音像定位ステップＳ７０７と第２音像定位ステップＳ７０９は、ひとまとめの音像定位ステップとして扱い、支援機能利用決定ステップＳ７０５の決定結果に基づいて、その内部の処理を切り替えるようにしてもよい。

図８は、本発明を、ヘッドマウント・ディスプレイ（ＨＭＤ）を用いたシステムに適用した場合の構成の概要を示す図である。
図８に示すように、システム８００は、ヘッドマウント・ディスプレイ（ＨＭＤ）８１０、制御回路部８２０、ポジション・トラッキング・カメラ（位置センサ）８３０、並びに外部コントローラ８４０を備える。

ヘッドマウント・ディスプレイ（ＨＭＤ）８１０は、ディスプレイ８１２、センサ８１４およびヘッドフォン８１６を具備する。ディスプレイ８１２は、ユーザの視野を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ８１２に表示される画面のみを観察することができる。そして、非透過型のヘッドマウント・ディスプレイ（ＨＭＤ）８１０を装着したユーザは、外界の視野を全て失うため、制御回路部８２０において実行されるアプリケーションにより表示される仮想空間に完全に没入する表示態様となる。

ヘッドマウント・ディスプレイ（ＨＭＤ）８１０が具備するセンサ８１４は、ディスプレイ８１２近辺に固定される。センサ８１４は、地磁気センサ、加速度センサ、および／または傾き（角速度、ジャイロ）センサを含み、これらの１つ以上を通じて、ユーザの頭部に装着されたヘッドマウント・ディスプレイ（ＨＭＤ）８１０（ディスプレイ８１２）の各種動きを検知することができる。

ヘッドフォン８１６によって、本発明で音像の位置を制御された音をユーザの耳に伝える。
システム８００が備える制御回路部８２０は、ヘッドマウント・ディスプレイ（ＨＭＤ）を装着したユーザを３次元仮想空間に没入させ、３次元仮想空間に基づく動作を実施させるための制御回路部８２０として機能する。図８のように、制御回路部８２０は、ヘッドマウント・ディスプレイ（ＨＭＤ）８１０とは別のハードウェアとして構成してもよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。代替として、制御回路部８２０は、ヘッドマウント・ディスプレイ（ＨＭＤ）８１０内部に搭載されてもよい。また、制御回路部８２０は、ネットワークを通じたサーバ・コンピュータ（図示せず）側に実装してもよい。

システム８００が備えるポジション・トラッキング・カメラ（位置センサ）８３０は、制御回路部８２０に通信可能に接続され、ヘッドマウント・ディスプレイ（ＨＭＤ）８１０の位置追跡機能を有する。ポジション・トラッキング・カメラ（位置センサ）８３０は、赤外線センサや複数の光学カメラを用いて実現される。ポジション・トラッキング・カメラ（位置センサ）８３０を具備し、ユーザ頭部のヘッドマウント・ディスプレイ（ＨＭＤ）の位置を検知することによって、システム８００は、３次元仮想空間における仮想カメラ／没入ユーザの仮想空間位置を正確に対応付け、特定することができる。

システム８００は外部コントローラ８４０を備える。外部コントローラ８４０は、一般的なユーザ端末であり、図示のようなスマートフォンとすることができるが、これに限定されない。例えば、ＰＤＡ、タブレット型コンピュータ、ゲーム用コンソール、ノートＰＣのようなタッチ・ディスプレイを備える携帯型デバイス端末であれば如何なるデバイスにもすることができる。即ち、外部コントローラ８４０は、互いにバス接続されたＣＰＵ、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意の携帯型デバイス端末とすることができる。ユーザは、外部コントローラ８４０のタッチ・ディスプレイに対し、タップ、スワイプおよびホールドを含む各種タッチ動作を実施可能である。

図９は、図８に示した制御回路部８２０を中心にコンポーネントの主要機能の構成を示した図である。制御回路部８２０では、主に、センサ８１４／ポジション・トラッキング・カメラ（位置センサ）８３０および外部コントローラ８４０からの入力を受け、該入力を処理してディスプレイ８１２への出力を行う。制御回路部８２０は、主に、動き検知部９１０、視野移動部９２０および視野画像生成部９３０、並びにコミュニケーション制御部９４０を含み、各種情報を処理する。

動き検知部９１０では、センサ８１４／ポジション・トラッキング・カメラ（位置センサ）８３０からの動き情報の入力に基づいて、ユーザの頭部に装着されたヘッドマウント・ディスプレイ（ＨＭＤ）８１０の動きデータを測定する。この動きデータに基づいて、視野移動部９２０が視野を定める。

視野移動部９２０は、空間情報格納部９５０に格納された３次元仮想空間情報、並びにセンサ８１４の中の傾きセンサに検知される角度情報、ポジション・トラッキング・カメラ（位置センサ）に検知される位置情報等に基づく仮想カメラの視野方向の検知情報に基づいて視野情報を求める。

視野画像生成部９３０は、その視野情報と、位置取得部９４２から送られてくる音声コミュニケーションの相手のアバターの仮想空間内の位置に基づいて、視野内判定ステップＳ７０３，アバター描画ステップＳ７０４，位置方向表示描画ステップＳ７０６に対応する処理を行い、相手のアバター自体、又は、図３〜６で示したような音声コミュニケーションの相手のアバターの仮想空間内の位置を示す画像を含む視野画像を生成する。すなわち、視野画像生成部９３０は、視野内判定部、アバター描画部、位置方向表示描画部を内在させているということができる。なお、位置方向表示描画ステップＳ７０６の説明でも述べたように位置方向表示描画部は省略することもできる。

本発明で必要な処理は、主に、コミュニケーション制御部９４０にて行われている。
位置取得部９４２は位置取得ステップＳ７０２に対応する処理を行うもので、仮想空間内での音声コミュニケーションの相手の位置を取得する。

支援機能利用決定部９４４は支援機能利用決定ステップＳ７０５に対応する処理を行うもので、基本的には、ユーザの選択に基づいて、仮想空間内で無線機や携帯電話機のようなコミュニケーションを支援する機能を利用するかしないかを決定する。既に述べたように、仮想空間内での音声コミュニケーションの相手の位置がユーザの仮想空間内での位置から一定の距離以上離れ直接音声が届かないと判断できる場合や、仮想空間内での音声コミュニケーションの相手の位置がユーザの視野外であると判断した場合に、自動的にコミュニケーションを支援する機能の利用をユーザに提案するように構成してもよい。

伝搬経路特定部９４６は伝搬経路特定ステップＳ７０８に対応する処理を行うもので、空間情報格納部９５０から得た空間情報と、位置取得部９４０から得た仮想空間内での音声コミュニケーションの相手の位置から、ユーザと音声コミュニケーションの相手の間の仮想空間における音声の伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む伝搬特性を特定する。

音像定位部９４８は第１音像定位ステップＳ７０７，第２音像定位ステップＳ７０９に対応する処理を行うものである。第１音像定位ステップＳ７０７に対応する処理の方が簡易で、位置取得部９４０から得た仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、それから、ユーザの仮想空間内で向いている方向から、どの方向に音像を定位すればよいか求め、それに基づいて、音声コミュニケーションの相手から送られてくる音声に対し処理を行い、その処理結果をヘッドフォン８１６を通じて左右の耳に送り込むものとなる。第２音像定位ステップＳ７０９に対応する処理は、伝搬経路特定部９４６が特定した、ユーザと音声コミュニケーションの相手の間の仮想空間における音声の伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む伝搬特性に基づいて、音像を定位させるとともに、音量、周波数特性を変更し、ヘッドフォン８１６を通じて左右の耳に送り込むものとなる。第２音像定位ステップＳ７０９に対応する処理は、第１音像定位ステップＳ７０７に対応する処理とは異なり、更に、複数の伝搬経路が特定された場合にも対応する必要があるが、基本的な音像定位に関する処理は共通している。これらいずれの場合においても、ユーザと音声コミュニケーションの相手の水平位置から求めた方向から単に左右方向に定位を移動させるものでも、ユーザと音声コミュニケーションの相手の垂直方向の位置の相違も勘案し、頭部伝達関数を用いて適切な処理を行うことによって、左右上下方向に音像を定位させるものいずれでもよい。ヘッドマウント・ディスプレイ（ＨＭＤ）を用いている場合には、特許文献５にも示されるように、ヘッドマウント・ディスプレイ（ＨＭＤ）を装着したユーザの動きを検出し、それに基づいて画像と音像を補正することにより、ユーザが動いても、仮想空間における画像及び音像の位置が変化しないように定位させる処理を行う必要がある。この音像定位部９４８の処理を行わせるために、ディジタルシグナルプロセッサ（ＤＳＰ）を通常のＣＰＵに加えて制御回路部８２０に設けることも好適である。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１０１，１０２ 利用者
２０１，２０２ 仮想携帯電話機
４０１ 相手の方向の表示(レーダーチャート)
５０１ 相手の方向の表示(矢印)
６０１ 相手の方向の表示(縮小アバター画像)
Ｓ７０２ 位置取得ステップ
Ｓ７０３ 視野内判定ステップ
Ｓ７０４ アバター描画ステップ
Ｓ７０５ 支援機能利用決定ステップ
Ｓ７０６ 位置方向表示描画ステップ
Ｓ７０７ 第１音像定位ステップ
Ｓ７０８ 伝搬経路特定ステップ
Ｓ７０９ 第２音像定位ステップ
８００ システム
８１０ ヘッドマウント・ディスプレイ（ＨＭＤ）
８１２ ディスプレイ
８１４ センサ
８１６ ヘッドフォン
８２０ 制御回路部
８３０ ポジション・トラッキング・カメラ（位置センサ）
８４０ 外部コントローラ
９１０ 動き検知部
９２０ 視野移動部
９３０ 視野画像生成部
９４０ コミュニケーション制御部
９４２ 位置取得部
９４４ 支援機能利用決定部
９４６ 伝搬経路特定部
９４８ 音像定位部
９５０ 空間情報格納部

Claims (12)

1. 仮想空間内での音声コミュニケーションの相手の位置を取得する位置取得ステップと、
   音声コミュニケーションを支援する支援機能を利用するかしないかを決定する支援機能利用決定ステップと、
   音声コミュニケーションを支援する支援機能を利用しないと決定した場合に、ユーザと音声コミュニケーションの相手の間の仮想空間における伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む音声の伝搬特性を特定する伝搬経路特定ステップと、
   音声コミュニケーションを支援する支援機能を利用するかしないか、仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、ユーザの仮想空間内で向いている方向、及び、前記音声の伝搬特性に基づいて、音像を定位させる音像定位ステップを含む、
   仮想現実空間音声コミュニケーション方法。
2. 前記ユーザの仮想空間内で向いている方向が、ユーザが頭部に装着したヘッドマウント・ディスプレイ（ＨＭＤ）によって検出されることを特徴とする請求項１に記載の仮想現実空間音声コミュニケーション方法。
3. 音声コミュニケーションを支援する支援機能を利用すると決定した場合に、仮想空間内での音声コミュニケーションの相手の位置又は方向の表示を描画する位置方向表示描画ステップを更に有することを特徴とする請求項１又は２に記載の仮想現実空間音声コミュニケーション方法。
4. 仮想空間内での音声コミュニケーションの相手の位置が、ユーザの視野内か視野外であるかを判定する視野内判定ステップと、
   仮想空間内での音声コミュニケーションの相手の位置がユーザの視野内である場合に、音声コミュニケーションの相手のアバターを仮想空間内での音声コミュニケーションの相手の位置に描画するアバター描画ステップと、
   を更に有することを特徴とする請求項１〜３のいずれか一項に記載の仮想現実空間音声コミュニケーション方法。
5. 前記支援機能利用決定ステップにおいて音声コミュニケーションを支援する支援機能を利用しないと決定したときに、前記伝搬経路特定ステップにおいて、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の直線経路を前記音声の伝搬特性に含まれる伝搬経路と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離の２乗に比例する値を前記音声の伝搬特性に含まれる伝搬損失と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離に比例する値を前記音声の伝搬特性に含まれる伝搬時間として特定し、前記音像定位ステップにおいて前記音声の伝搬特性に基づいて音像を定位させることを特徴とする、請求項１〜３のいずれか一項に記載の仮想現実空間音声コミュニケーション方法。
6. 請求項１〜５のいずれか一項に記載の方法を実行するためのプログラム。
7. 請求項１〜５のいずれか一項に記載の方法を実行するためのプログラムを記録した記録媒体。
8. 仮想空間内での音声コミュニケーションの相手の位置を取得する位置取得部と、
   音声コミュニケーションを支援する支援機能を利用するかしないかを決定する支援機能利用決定部と、
   音声コミュニケーションを支援する支援機能を利用しないと決定した場合に、ユーザと音声コミュニケーションの相手の間の仮想空間における伝搬経路及びその伝搬経路での伝搬損失、伝搬時間を含む音声の伝搬特性を特定する伝搬経路特定部と、
   音声コミュニケーションを支援する支援機能を利用するかしないか、仮想空間内での音声コミュニケーションの相手の位置、ユーザの仮想空間内での位置、ユーザの仮想空間内で向いている方向、及び、前記音声の伝搬特性に基づいて、音像を定位させる音像定位部を含む、
   仮想現実空間音声コミュニケーション装置。
9. 前記ユーザの仮想空間内で向いている方向が、ユーザが頭部に装着したヘッドマウント・ディスプレイ（ＨＭＤ）によって検出されることを特徴とする請求項８に記載の仮想現実空間音声コミュニケーション装置。
10. 音声コミュニケーションを支援する支援機能を利用すると決定した場合に、仮想空間内での音声コミュニケーションの相手の位置又は方向の表示を描画する位置方向表示描画部を更に有することを特徴とする請求項８又は９に記載の仮想現実空間音声コミュニケーション装置。
11. 仮想空間内での音声コミュニケーションの相手の位置が、ユーザの視野内か視野外であるかを判定する視野内判定部と、
    仮想空間内での音声コミュニケーションの相手の位置がユーザの視野内である場合に、音声コミュニケーションの相手のアバターを仮想空間内での音声コミュニケーションの相手の位置に描画するアバター描画部と、
    を更に有することを特徴とする請求項８〜１０のいずれか一項に記載の仮想現実空間音声コミュニケーション装置。
12. 前記支援機能利用決定部において音声コミュニケーションを支援する支援機能を利用しないと決定したときに、前記伝搬経路特定部において、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の直線経路を前記音声の伝搬特性に含まれる伝搬経路と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離の２乗に比例する値を前記音声の伝搬特性に含まれる伝搬損失と、仮想空間内での音声コミュニケーションの相手の位置とユーザの仮想空間内での位置との間の距離に比例する値を前記音声の伝搬特性に含まれる伝搬時間として特定し、前記音像定位部において前記音声の伝搬特性に基づいて音像を定位させることを特徴とする、請求項７〜９のいずれか一項に記載の仮想現実空間音声コミュニケーション装置。