JP2018124981A - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents
情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP2018124981A JP2018124981A JP2017206651A JP2017206651A JP2018124981A JP 2018124981 A JP2018124981 A JP 2018124981A JP 2017206651 A JP2017206651 A JP 2017206651A JP 2017206651 A JP2017206651 A JP 2017206651A JP 2018124981 A JP2018124981 A JP 2018124981A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- virtual space
- data
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】ユーザの仮想空間への没入感を向上し得る。
【解決手段】ヘッドマウントディスプレイを介して第1ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法は、仮想空間内で再生されるコンテンツにおける位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報に基づいて、第2キャラクタオブジェクトの向きに基づいて特定される位置とコンテンツの再生時刻とに対応する動作データを取得するステップと、視界画像に第2キャラクタオブジェクトが含まれる場合に、視界画像において、動作データに基づいて第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップと、を含む。
【選択図】図16
【解決手段】ヘッドマウントディスプレイを介して第1ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法は、仮想空間内で再生されるコンテンツにおける位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報に基づいて、第2キャラクタオブジェクトの向きに基づいて特定される位置とコンテンツの再生時刻とに対応する動作データを取得するステップと、視界画像に第2キャラクタオブジェクトが含まれる場合に、視界画像において、動作データに基づいて第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップと、を含む。
【選択図】図16
Description
本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
非特許文献1は、複数ユーザによって共有される仮想空間において、各ユーザに関連付けられたアバター等のキャラクタオブジェクトを各ユーザの操作に基づいて動作させる技術を開示している。また、特許文献1は、各種センサによって検知された現実の出席者の身体の動きに基づいて、仮想空間におけるアバターを動かす技術が開示されている。
"Facebook Mark Zuckerberg Social VR Demo OC3 Oculus Connect 3 Keynote"、[online]、平成28年10月6日、VRvibe、[平成2 8年12月5日検索]、インターネット<https://www.youtube.com/watch?v=NCpNKL XovtE>
仮想空間におけるアバターを介したユーザ間の対話の体験をよりリッチにするためには、例えば特許文献1に開示されたシステムのように、複数のカメラおよびセンサ等によってユーザの身体の動きを細かく検知し、ユーザの現実の動きをなるべく忠実にアバターに反映させることが考えられる。
しかしながら、各ユーザが仮想空間を体感するために利用する端末(例えばヘッドマウントディスプレイ等)のスペック(例えば、ユーザの身体の動きの検知性能等)は、同一の仮想空間を共有するユーザ間において、異なり得る。例えば、ユーザの実際の視線方向を示す情報(アイトラッキングデータ)、ユーザの顔の表情を示す情報(フェイストラッキングデータ)、およびユーザの手の動きを示す情報(ハンドトラッキングデータ)等の情報を全て取得可能な高スペックの端末もあれば、これらの情報を取得できない(あるいは一部の情報しか取得できない)低スペックの端末もある。
このため、高スペックの端末を利用するユーザのアバターには、当該ユーザの現実の動きがリアルに反映される一方で、低スペックの端末を利用するユーザのアバターには、当該ユーザの現実の動きがほとんど反映されないといった不均衡な状況が生じ得る。このような低スペックの端末を利用するユーザのアバターが存在すると、当該アバターのぎこちない動作等のせいで、当該アバター以外のアバターを利用して仮想体験を楽しむユーザの仮想空間への没入感を損なうおそれがある。
本開示は、上述のような問題点を解決するためになされたものであり、ユーザの仮想空間への没入感を向上し得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、ヘッドマウントディスプレイを介して第1ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、第1ユーザに関連付けられた第1キャラクタオブジェクトと、第2ユーザに関連付けられた第2キャラクタオブジェクトと、第1ユーザに提供される視界画像を定義する仮想カメラとを含む仮想空間を定義する仮想空間データを生成するステップと、仮想空間内で再生されるコンテンツの位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報に基づいて、第2キャラクタオブジェクトの向きに基づいて特定される位置とコンテンツの再生時刻とに対応する動作データを取得するステップと、視界画像に第2キャラクタオブジェクトが含まれる場合に、視界画像において、動作データに基づいて第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップと、を含む。
本開示によれば、ユーザの仮想空間への没入感を向上し得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Display)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図1を参照して、HMD(Head Mount Display)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD装置110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、モニタ112と、カメラ116と、マイク118と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
カメラ116は、HMD装置110を装着するユーザの顔画像を取得する。カメラ116によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ116は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、HMD装置110本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ116は、ユーザの口、頬、および顎等の動きを検知するために、図1に示されるようにHMD装置110の外側に配置された外付けカメラであってもよい。また、カメラ116は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。
マイク118は、ユーザが発した音声を取得する。マイク118によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間2に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク19およびサーバ150等を介して、他のユーザが使用するHMDシステムに送られ、当該HMDシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD装置110は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD装置110に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。メモリ11に保存されるデータは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発性メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ200との通信を実現するためのプログラム等を含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD装置110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェース14は、例えば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてモニタ112に映像を表示する。
サーバ150は、ネットワーク19を介して複数のHMDシステム100の各々の制御装置と接続される。図2に示される例では、サーバ150は、HMD装置110Aを有するHMDシステム100Aと、HMD装置110Bを有するHMDシステム100Bと、HMD装置110Cを有するHMDシステム100Cとを含む複数のHMDシステム100を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各HMDシステムを使用するユーザに提供される。なお、HMDシステム100A、HMDシステム100B、HMDシステム100C、およびその他のHMDシステム100は、いずれも同様の構成を備える。ただし、本実施形態では一例として、HMDシステム100Bは、HMDシステム100A,100Cと比較して低スペックなシステムであり、ユーザの視線方向およびユーザの顔の表情を検知することができないものとする。
なお、図2に示される例では、コンピュータ200がHMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のHMDシステム100は、入出力インターフェース13により、コンピュータ200に直接接続されてもよい。また、本実施形態におけるサーバ150の各機能(例えば後述する同期処理等)は、コンピュータ200に実装されてもよい。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD装置110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。すなわち、仮想カメラ1によって、仮想空間2におけるユーザ190の視野が定義される。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の状態(A)に示されるように、ある局面において、コントローラ160は、右コントローラ160Rと左コントローラとを含み得る。右コントローラ160Rは、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ160Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ160Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ160Rについて説明する。
右コントローラ160Rは、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ160Rと左コントローラとの各位置および姿勢(傾き、向き)等を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動させるための操作を含む。
ある局面において、右コントローラ160Rおよび左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ160Rおよび左コントローラは、例えば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ160Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト制御モジュール232と、操作オブジェクト制御モジュール233とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD装置110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像を生成する。また、視界画像生成モジュール223は、視界画像に含まれるアバター(あるいはプレイヤキャラクタ)等のキャラクタオブジェクト(詳しくは後述)の表示態様を決定する。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト制御モジュール232は、後述するオブジェクト情報242に基づいて、仮想空間2に配置される対象オブジェクトを生成する。また、仮想オブジェクト制御モジュール232は、仮想空間2における対象オブジェクトおよびアバターの動作(移動および状態変化等)を制御する。対象オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。アバターは、HMD装置110を装着したユーザに関連付けられたオブジェクト(キャラクタオブジェクト)である。
操作オブジェクト制御モジュール233は、仮想空間2に配置されるオブジェクトを操作するための操作オブジェクトを仮想空間2に配置する。ある局面において、操作オブジェクトは、例えば、HMD装置110を装着したユーザの手に相当する手オブジェクト、ユーザの指に相当する指オブジェクト、ユーザが使用するスティックに相当するスティックオブジェクト等を含み得る。操作オブジェクトが指オブジェクトの場合、特に、操作オブジェクトは、当該指が指し示す方向(軸方向)の軸の部分に対応している。
チャット制御モジュール234は、同じ仮想空間2に滞在する他のユーザのアバターとチャットをするための制御を行う。例えば、チャット制御モジュール234は、ユーザのアバターの位置および向き等の情報、ならびにマイク118に入力された音声データをサーバ150に送信する。また、チャット制御モジュール234は、サーバ150から受信した他のユーザの音声データを図示しないスピーカに出力する。これにより、音声によるチャットが実現される。
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール233は、操作オブジェクトと、他のオブジェクト(例えば、仮想オブジェクト制御モジュール232によって配置される対象オブジェクト)とが触れた時に、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、動作テーブル情報244とを保持している。空間情報241には、例えば、仮想空間2を提供するために規定された1つ以上のテンプレートが含まれている。オブジェクト情報242には、例えば、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報242には、各オブジェクト(例えば、対象オブジェクトおよびアバター等)を描画するための描画情報も含まれている。ユーザ情報243には、例えば、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。また、ユーザ情報243は、ユーザに関連付けられた属性を示す属性情報も含み得る。ユーザの属性情報は、例えば、「感情豊か」および「怖がり」等のユーザの性格を示す情報である。動作テーブル情報244には、仮想空間2内で再生され得るコンテンツ(例えば、ゲーム、映画、360度動画等)毎に、再生時刻および位置に対して所定の動作データを対応付けた動作テーブルが格納されている。動作テーブルの詳細については後述する。
メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、メモリモジュール240に一旦格納される。そのソフトウェアは、プロセッサ10によってメモリモジュール240から読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Erasable Programmable Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[制御構造]
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190A(第1ユーザ)によって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。
図10を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、ユーザ190A(第1ユーザ)によって使用されるHMDシステム100Aがユーザ190Aに仮想空間2を提供するために実行する処理を表すフローチャートである。
ステップS1において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する。
ステップS2において、プロセッサ10は、仮想カメラ制御モジュール221として、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS3において、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
ステップS4において、HMD装置110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS5において、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS6において、プロセッサ10は、視界領域決定モジュール222として、HMD装置110の位置と傾きとに基づいて、HMD装置110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
ステップS7において、コントローラ160は、現実空間におけるユーザ190の操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190によってボタンが押下されたことを検出する。別の局面において、コントローラ160は、ユーザ190の両手の動作(たとえば、両手を振る等)を検出する。検出内容を示す信号は、コンピュータ200に送られる。
ステップS8において、プロセッサ10は、操作オブジェクト制御モジュール233として、コントローラ160から送られた検出内容を仮想空間2に反映する。具体的には、プロセッサ10は、検出内容を示す信号に基づいて、仮想空間2における操作オブジェクト(例えば、アバターの手を表す手オブジェクト等)を動かす。また、プロセッサ10は、操作オブジェクト制御モジュール233として、操作オブジェクトによる対象オブジェクトに対する予め定められた操作(例えば掴み操作等)を検知する。
ステップS9において、プロセッサ10は、仮想オブジェクト制御モジュール232として、ユーザ190A〜190Cに関連付けられた各アバターの動作を制御する。具体的には、プロセッサ10は、仮想空間2を共有するユーザ190A〜190Cの動き情報を取得する。ここで、他のユーザ190B,190Cの動き情報は、当該他のユーザ190B,190Cによって使用されるHMDシステム100B,100Cから送られる情報(後述するプレイヤ情報)に含まれている。プロセッサ10は、当該動き情報等に基づいて、各アバターの動作(すなわち、各ユーザに提供される視界画像におけるアニメーション等の表示態様)を決定する。
ステップS10において、プロセッサ10は、視界画像生成モジュール223として、ステップS8およびステップS9における処理の結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
ステップS11において、HMD装置110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
図11は、複数ユーザに共有される仮想空間2を模式的に表す図である。図11に示される例では、HMD装置110Aを装着するユーザ190A(第1ユーザ)に関連付けられたアバターA1(第1キャラクタオブジェクト)と、HMD装置110Bを装着するユーザ190B(第2ユーザ)に関連付けられたアバターA2(第2キャラクタオブジェクト)と、HMD装置110Cを装着するユーザ190Cに関連付けられたアバターA3とが、同一の仮想空間2に配置されている。このような複数ユーザに共通の仮想空間2によれば、各ユーザに対して、アバターA1〜A3を介した他のユーザとのチャット等のコミュニケーション体験を提供することができる。
この例では、各アバターA1〜A3は、動物(猫、熊、うさぎ)を模したキャラクタオブジェクトとして定義されている。アバターA1〜A3は、ユーザの動きに連動して動作可能な部分として、頭部(顔の向き)、目(視線および瞬き等)、顔(表情)、および手を含んでいる。頭部は、HMDセンサ120等によって検出されたHMD装置110の動きに連動して動く部分である。目は、カメラ116および注視センサ140等によって検出されたユーザの目の動きおよび視線の変化に連動して動く部分である。顔は、後述するフェイストラッキングデータに基づいて決定される表情が反映される部分である。手は、モーションセンサ130等により検出されたユーザの手の動きに連動して動く部分である。また、アバターA1〜A3は、頭部および手に付随して表示される胴体部および腕部とを含んでいる。なお、腰から下の脚部については動作制御が複雑となるため、アバターA1〜A3は脚部を含んでいない。
アバターA1の視野は、HMDシステム100Aにおける仮想カメラ1の視野と一致している。これにより、ユーザ190Aに対して、アバターA1の1人称視点における視界画像Mが提供される。すなわち、ユーザ190Aに対して、あたかも自分がアバターA1として仮想空間2に存在しているかのような仮想体験が提供される。図12は、HMD装置110Aを介してユーザ190Aに提供される視界画像Mの一例を表す図である。ユーザ190B,190Cに対しても同様に、アバターA2,A3の1人称視点における視界画像が提供される。
図13は、上述した仮想空間におけるチャットを実現するためにHMDシステム100A、HMDシステム100B、HMDシステム100C、およびサーバ150が実行する処理を表すシーケンス図である。
ステップS21Aにおいて、HMDシステム100Aにおけるプロセッサ10は、チャット制御モジュール234として、仮想空間2におけるアバターA1の動作を決定するためのプレイヤ情報を取得する。このプレイヤ情報は、例えば、動き情報および音声データ等を含む。
動き情報(ここでは、ユーザ190Aの動き情報)は、上述したアバターA1の複数の部分(本実施形態では一例として、頭部、目、顔、および手)の各々に対応するユーザ190Aの身体の一以上の部分の動きを示す情報である。すなわち、動き情報は、例えば、ユーザ190Aの頭部の動き(頭部の向き等)を示す情報、ユーザ190Aの目の動き(視線の変化、瞬き等)を示す情報、ユーザ190Aの顔の動き(表情の変化等)を示す情報、およびユーザ190Aの手の動きを示す情報を含み得る。動き情報は、上記部分の位置および傾きを示す情報を含んで定義され得る。
頭部の動きを示す情報は、例えば、HMDセンサ120等により検出されたHMD装置110Aの位置および傾きの時間的変化を示す情報(以下「向きデータ」)である。目の動きを示す情報は、例えばカメラ116および注視センサ140等によって検出された情報(以下「アイトラッキングデータ」)である。顔の動きを示す情報は、例えばHMD装置110Aのカメラ116により取得された画像情報に対する画像解析処理によって生成されるフェイストラッキングデータである。ここで、フェイストラッキングデータは、ユーザ190Aの顔の各パーツの位置および大きさの経時変化を表すデータである。手の動きを示す情報は、例えばモーションセンサ130等により検出されたユーザ190Aの手の動きを示す情報(以下「ハンドトラッキングデータ」)である。動きを示す情報は、上記部分の位置および傾きを示す情報を含んで定義され得る。
音声データは、HMD装置110Aのマイク118によって取得されたユーザ190Aの音声を示すデータである。また、プレイヤ情報には、アバターA1(あるいはアバターA1に関連付けられるユーザ190A)を特定する情報(ユーザID等)、およびアバターA1が存在する仮想空間2を特定する情報(ルームID等)等が含まれてもよい。プロセッサ10は、チャット制御モジュール234として、上述のように取得されたプレイヤ情報を、ネットワーク19を介してサーバ150に送信する。
ステップS21Bにおいて、HMDシステム100Bにおけるプロセッサ10は、ステップS21Aにおける処理と同様に、仮想空間2におけるアバターA2の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。同様に、ステップS21Cにおいて、HMDシステム100Cにおけるプロセッサ10は、仮想空間2におけるアバターA3の動作を決定するためのプレイヤ情報を取得し、サーバ150に送信する。
ステップS22において、サーバ150は、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ150は、各プレイヤ情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間2に関連付けられた全ユーザ(この例では、ユーザ190A〜190C)のプレイヤ情報を統合する。そして、サーバ150は、予め定められたタイミングで、統合したプレイヤ情報を当該仮想空間2に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDシステム100A、HMDシステム100B、およびHMDシステム100Cは、互いのプレイヤ情報をほぼ同じタイミングで共有することができる。
続いて、サーバ150から各HMDシステム100A〜100Cに送信されたプレイヤ情報に基づいて、各HMDシステム100A〜100Cは、ステップS23A〜S23Cの処理を実行する。なお、ステップS23Aの処理は、図10におけるステップS9の処理に相当する。
ステップS23Aにおいて、HMDシステム100Aにおけるプロセッサ10は、仮想オブジェクト制御モジュール232として、仮想空間2におけるユーザ190A〜190CのアバターA1〜A3の動作を制御する。具体的には、プロセッサ10は、HMDシステム100Bから送信されたプレイヤ情報に含まれるユーザ190A〜190Cの動き情報に基づいて、仮想空間2におけるアバターA1〜A3の動作を制御する。ステップS23BおよびS23Cの処理は、ステップS23Aの処理と同様である。
[アバターの動作制御]
続いて、アバターの動作制御について詳しく説明する。上述の通り、HMDシステム100A,100CとHMDシステム100Bとの間で、上述した動き情報の検知性能が異なる。具体的には、HMDシステム100A,100Cは、上述した向きデータ、アイトラッキングデータ、フェイストラッキングデータ、およびハンドトラッキングデータを全て検知可能なスペックを有する。一方、HMDシステム100Bは、向きデータおよびハンドトラッキングデータを検知可能であるが、アイトラッキングデータおよびフェイストラッキングデータを検知することができない。この場合、HMDシステム100A,100Cから送られるプレイヤ情報には、上述した全ての種類の動き情報が含まれるのに対し、HMDシステム100Bから送られるプレイヤ情報には、アイトラッキングデータおよびフェイストラッキングデータが含まれない。
続いて、アバターの動作制御について詳しく説明する。上述の通り、HMDシステム100A,100CとHMDシステム100Bとの間で、上述した動き情報の検知性能が異なる。具体的には、HMDシステム100A,100Cは、上述した向きデータ、アイトラッキングデータ、フェイストラッキングデータ、およびハンドトラッキングデータを全て検知可能なスペックを有する。一方、HMDシステム100Bは、向きデータおよびハンドトラッキングデータを検知可能であるが、アイトラッキングデータおよびフェイストラッキングデータを検知することができない。この場合、HMDシステム100A,100Cから送られるプレイヤ情報には、上述した全ての種類の動き情報が含まれるのに対し、HMDシステム100Bから送られるプレイヤ情報には、アイトラッキングデータおよびフェイストラッキングデータが含まれない。
このような場合、ユーザ190A,190CのアバターA1,A3については、当該ユーザ190A,190Cについて取得された全ての種類の動き情報に基づいて、当該ユーザ190A,190Cの動きを反映させることができる。具体的には、プロセッサ10は、ユーザ190A,190Cの向きデータに基づいてアバターA1,A3の頭部の向きを変化させることができる。プロセッサ10は、ユーザ190A,190Cのアイトラッキングデータに基づいてアバターA1,A3の視線を変化させたり、アバターA1,A3に瞬きさせたりすることができる。プロセッサ10は、ユーザ190A,190Cのフェイストラッキングデータに基づいてアバターA1,A3の顔の表情を変化させることができる。プロセッサ10は、ユーザ190A,190Cのハンドトラッキングデータに基づいてアバターA1,A3の手を動かすことができる。
一方、ユーザ190BのアバターA2については、ユーザ190Bのプレイヤ情報においてアイトラッキングデータおよびフェイストラッキングデータが欠落していることにより、ユーザ190Bの顔の動き(表情)および目の動き(視線および瞬き等)を反映させることができない。
このため、例えば仮想空間2内で360度動画等のコンテンツを視聴する場合、驚きのシーン(例えばおばけが突然現れるシーン等)のときには、ユーザ190A,190Cの表情(例えば驚きの表情)は、アバターA1,A3に適切に反映される。一方で、ユーザ190BのアバターA2については、仮にユーザ190Bがユーザ190A,190Cと同様に驚いていたとしても、ユーザ190Bのフェイストラッキングデータが欠落しているため、ユーザ190Bの表情はアバターA2の表情に反映されない。例えば、アバターA2の表情はデフォルトの表情のままとなる。このようなアバターA2が存在すると、当該アバターA2のぎこちない表情(その場の雰囲気に合っていない表情)のせいで、当該アバターA2以外のアバターA1,A3を利用して仮想体験を楽しむユーザ190A,190Cの仮想空間2への没入感を損なうおそれがある。そこで、HMDシステム100(ここではユーザ190Aに利用されるHMDシステム100A)におけるプロセッサ10は、以下のようなアバターA2の動作制御を実行する。
図14を参照して、アバターA2の動作制御のための処理の一例について説明する。図14に示される処理は、図10におけるステップS9および図13におけるステップS23Aの処理の一部に相当する。ここでは一例として、仮想空間2において、360度動画であるコンテンツC1が再生されているものとする。ここで、360度動画は、例えば上述した天球状の構造に設けられた複数のメッシュに跨って上映される動画コンテンツである。
ステップS91において、プロセッサ10は、ユーザ190A〜190Cの動き情報を取得する。例えば、プロセッサ10は、同期処理(図13におけるステップS22)の後にサーバ150から送信されたプレイヤ情報から各ユーザ190A〜190Cの動き情報を抽出する。なお、ユーザ190Aの動き情報は、HMDシステム100Aからサーバ150に送るためのプレイヤ情報を生成する際(図13におけるステップS21A)に取得されてもよい。ここでは、プロセッサ10は、ユーザ190A,190Cの各々の向きデータ、アイトラッキングデータ、フェイストラッキングデータ、およびハンドトラッキングデータとユーザ190Bの向きデータおよびハンドトラッキングデータを取得する。
ステップS92において、プロセッサ10は、アバターA2の複数の部分(頭部、目、顔、および手)のうち、対応するユーザ190Bの身体の部分の動きを示す情報が取得されている第1部分と、対応するユーザ190Bの身体の部分の動きを示す情報が取得されていない第2部分とを特定する。ここでは、ユーザ190Bの頭部および手の動きを示す情報(向きデータおよびハンドトラッキングデータ)が取得されているため、プロセッサ10は、アバターA2の頭部および手を第1部分として特定する。一方、ユーザ190Bのアイトラッキングデータおよびフェイストラッキングデータが取得されていないため、プロセッサ10は、アバターA2の目および顔を第2部分として特定する。
ステップS93において、プロセッサ10は、アバターA2の第2部分が顔を含むか否かを判定する。ここでは、判定結果は“YES”となるため、プロセッサ10は、アバターA2の表情を制御するために、後述するステップS94〜S99の処理を実行する。一方、仮にアバターA2の第2部分が顔を含まない場合(すなわち、ユーザ190Bのフェイストラッキングデータが取得されている場合)には、プロセッサ10は、ステップS94〜S99の処理を省略する。
ステップS94において、プロセッサ10は、ユーザ190Bの属性情報を取得する。ユーザ190Bの属性情報は、例えば予めメモリモジュール240にダウンロードされていてもよいし、ユーザ190Bのプレイヤ情報に含まれていてもよい。ユーザ190Bの属性情報は、例えばユーザ190Bの性格を表す情報である。ここでは一例として、ユーザ190Bの属性情報は、ユーザ190Bが「感情豊か」であることを表す情報であるものとする。ユーザ190Bの属性情報は、例えばユーザ190Bの自己申告(例えば初期ユーザ登録時における入力等)によりサーバ150等に登録され得る。あるいは、サーバ150等が、例えば当該ユーザ190Bの過去の仮想空間2における視聴履歴(例えば音声データの音声解析により特定される声色および発言内容等)に基づいて、公知の感情評価の分析手法を実行することにより、ユーザ190Bの属性情報を予め特定してもよい。上述のように登録あるいは特定された属性情報は、例えば、予めサーバ150等からメモリモジュール240にダウンロードされることにより、プロセッサ10から参照可能とされている。
ステップS95において、プロセッサ10は、コンテンツ(ここでは再生中のコンテンツC1)およびユーザ190Bの属性情報(ここでは「感情豊か」)に対応する動作テーブルTを動作テーブル情報244から取得する。図15に示されるように、本実施形態では一例として、動作テーブルTは、コンテンツおよびユーザ属性の組み合わせ毎に用意されている。図15に示される動作テーブルTは、同一のユーザ属性(ここでは「感情豊か」)を有する複数のユーザがコンテンツC1を視聴した際に示した感情の傾向を反映したテーブル情報である。この例では、コンテンツC1の再生時刻T1において座標(x1,y1,z1)により特定される位置(ここでは仮想空間2におけるメッシュの位置)に対して「驚き」の感情が対応付けられている。これは、再生時刻T1において座標(x1,y1,z1)により特定される位置(メッシュ位置)を見ていたユーザについて、驚きの感情を表す傾向があったことを示している。なお、再生時刻TsおよびTeは、それぞれコンテンツC1の再生開始時刻および再生終了時刻を示している。動作テーブルTには、コンテンツC1の再生開始から再生終了までの各時刻(あるいは所定の単位時間当たりに区切った各期間等)に対して、位置および感情の組情報が対応付けられている。ただし、対応付けられる組情報が存在しない時刻も存在し得る。このような動作テーブルTは、例えばサーバ150によって以下のようにして予め生成される。
すなわち、サーバ150は、主にフェイストラッキングデータ、アイトラッキングデータ、およびハンドトラッキングデータ等を取得可能な高スペックのHMDシステム100を利用するユーザがコンテンツを視聴した際の視聴履歴を収集する。視聴履歴は、例えば、定期的にサーバ150に送信される上述のプレイヤ情報(フェイストラッキングデータ、アイトラッキングデータ、およびハンドトラッキングデータ等を含む)であってもよい。サーバ150は、定期的にサーバ150に送信されるプレイヤ情報を蓄積し、蓄積されたプレイヤ情報に基づいて、ユーザがコンテンツ視聴中のどのタイミング(再生時刻)で、何に反応して(例えばどのメッシュに表示された映像を見て)、どのような感情を示したかを分析する。ここで、何に反応したかは、ユーザの視線方向または指をさしている方向に基づいて特定される。視線方向は、アイトラッキングデータにより特定され、指をさしている方向は、ハンドトラッキングデータにより特定される。また、どのような感情を示したかは、フェイストラッキングデータ等により特定される。また、サーバ150は、視聴履歴を収集する対象のユーザの属性情報についても、上述したユーザ190Bの属性情報と同様にして取得あるいは特定する。そして、サーバ150は、コンテンツとユーザ属性との組毎に、複数のユーザのプレイヤ情報に対して上述の分析処理を実行し、分析結果に対して公知の機械学習あるいは統計的処理を実行する。これにより、図15に示されるように、特定のコンテンツ(ここではコンテンツC1)に対して特定のユーザ属性(ここでは「感情豊か」)を有する複数のユーザが示した感情の傾向を表す動作テーブルTが、コンテンツおよびユーザ属性の組毎に生成される。
ステップS96において、プロセッサ10は、ユーザ190Bの向きデータ(すなわち、当該向きデータに基づいて決定されるアバターA2の向き)に基づいて、アバターA2を介してユーザ190Bによって視聴されていると想定される位置(仮想空間2におけるXYZ座標)を特定する。ここで、ユーザ190Bのアイトラッキングデータが取得されていない場合、アバターA2の視線方向を特定できないため、ユーザ190Bが視聴している位置を狭い範囲で特定することは困難である。そこで、例えば、プロセッサ10は、アバターA2の顔の向きに基づいて、アバターA2の視界を特定し、当該視界に含まれる全てのメッシュを、ユーザ190Bによって視聴されていると想定される位置(メッシュ)として特定してもよい。ここで、「アバターA2の視界」とは、アバターA2の顔の向き(仮想カメラ1の向き)と基準視線5とに基づいて定義される範囲を意味する。一方、仮にユーザ190Bのアイトラッキングデータが取得されている場合には、プロセッサ10は、当該アイトラッキングデータに基づいて、ユーザ190Bによって視聴されていると想定される位置(メッシュ)をより精度良く特定してもよい。
ステップS97において、プロセッサ10は、動作テーブル(図15参照)を参照し、コンテンツC1の再生時刻に対応付けられている組情報(位置・感情)が存在するか否かを判定する。プロセッサ10は、組情報が存在する場合、さらにステップS96において特定された位置に関する組情報が存在するか否かを判定する。例えば、コンテンツC1の再生時刻T1において、ステップS96において特定された位置に座標(x1,y1,z1)が含まれている場合、動作テーブルTには、組情報「(x1,y1,z1)−驚き」が格納されているため、プロセッサ10は、組情報が存在すると判定する。このように組情報が存在すると判定された場合(ステップS97:YES)、ステップS98において、プロセッサ10は、組情報に含まれる動作データ(ここでは「驚き」の感情を示す情報)を取得する。一方、組情報が存在すると判定されなかった場合(ステップS97:NO)、プロセッサ10は、ステップS98およびS99の処理を省略する。
ステップS99において、プロセッサ10は、ステップS98において取得された動作データに基づいてアバターA2の顔の動作(すなわち表情)を制御する。上述のようにステップS96において特定された位置に座標(x1,y1,z1)が含まれている場合、プロセッサ10は、当該座標に関する組情報「(x1,y1,z1)−驚き」に含まれる「驚き」の感情を示す情報(動作データ)に基づいて、アバターA2の表情が「驚き」の表情となるように、アバターA2の顔の動作を制御する。ここで、メモリモジュール240は、オブジェクト情報242として、アバターA2の複数の表情に対応する複数の表情画像(例えば驚きに対応する画像および悲しみに対応する画像等)を予め保持していてもよい。この場合、プロセッサ10は、「驚き」に対応する表情画像をオブジェクト情報242から取得し、当該表情画像をアバターA2の顔画像として決定してもよい。また、予め用意された複数の表情画像間でアバターA2の表情を切り替える際には、プロセッサ10は、所謂モーフィングと呼ばれる処理を実行してもよい。モーフィングとは、2つの異なる状態(ここでは表情)の中間状態の映像をコンピュータにより補完する処理である。例えば、プロセッサ10は、前時点におけるアバターA2の動作制御で決定したアバターA2の表情画像と今回のアバターA2の動作制御で決定したアバターA2の表情画像との中間状態の映像を、モーフィングにより生成してもよい。このように生成された中間状態の映像により、ユーザ190Aに提供される視界画像Mにおいて、アバターA2の自然な表情変化を表現することが可能となる。
ステップS100において、プロセッサ10は、ユーザ190Bの動き情報(向きデータおよびハンドトラッキングデータ)に基づいて、アバターA2の第1部分(頭部および手)を動作させる。
なお、上述の処理フローは一例であり、アバターA2の動作制御の処理手順はこの例に限定されない。例えば、プロセッサ10は、上述のステップの一部を省略してもよいし、別の順序で各ステップの処理を実行してもよい。また、任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、プロセッサ10は、上述のステップに加えて他のステップを実行してもよい。
図16は、上述のアバターA2の動作制御の結果を表す図である。図16に示される例では、コンテンツC1の再生時刻T1において、仮想空間2における座標(x1,y1,z1)で特定される位置(メッシュ)に、おばけGが突然出現する。すなわち、過去にコンテンツC1を視聴した多くのユーザが、このシーンに対して驚いたため、図15に示されるように再生時刻T1に組情報「(x1,y1,z1)−驚き」が対応付けられた動作テーブルTが生成されている。図16に示される例において、アバターA1,A3の顔の動き(表情)は、ユーザ190A,190Cのフェイストラッキングデータに基づいて制御される。この例では、ユーザ190A,190Cは、再生時刻T1において座標(x1,y1,z1)で特定される位置(メッシュ)を見て驚きの表情を示したため、当該驚きの表情がアバターA1,A3に反映されている。
一方、上述の通り、HMDシステム100Bは、フェイストラッキングデータを取得する検知性能を有していないため、ユーザ190Bの表情は、アバターA2の表情に反映されない。しかし、上述のアバターA2の動作制御により、ステップS98において、アバターA2の表情が「驚き」の表情となるように制御される。すなわち、同じコンテンツC1を過去に視聴した複数のユーザの視聴履歴に基づいて生成された動作テーブルTを利用することにより、ユーザ190Bの表情が反映されないアバターA2についても、コンテンツC1のシーンに応じた適切な表情に変化させることができる。
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
例えば、本実施形態では、動作テーブルとして、再生時刻と位置に対して「感情」を対応付けることで、アバターA2の表情を制御する例について説明したが、動作テーブルには、再生時刻と位置に対して「感情」以外の動作(例えば手の動作等)が対応付けられていてもよい。例えば、過去にコンテンツを視聴した複数のユーザの手の動きの傾向を表す動作テーブルが用意されてもよい。この場合、ステップS93において、第2部分が手を含むか否かを判定し、手が含まれる場合(すなわち、ユーザ190Bのハンドトラッキングデータが取得されていない場合)に、プロセッサ10は、動作テーブルに基づいてアバターA2の手の動作を制御してもよい。
また、プロセッサ10は、上述のアバターA2の表情の制御と共に、アバターA2の他の部分(例えば目の動作)を制御してもよい。例えば上記実施形態において、プロセッサ10は、再生時刻T1における組情報「(x1,y1,z1)−驚き」に基づいてアバターA2の表情を「驚き」の表情にすると共に、アバターA2の視線方向が座標(x1,y1,z1)を向くようにアバターA2の目の動作を制御してもよい。これにより、アバターA2を感情(ここでは「驚き」)の原因となる位置に向かせた上で、アバターA2の表情を当該感情に対応する表情にすることができる。その結果、より自然なアバター表現が実現され得る。
また、例えば、ユーザ190Bのフェイストラッキングデータが取得されない場合であっても、それ以外のデータ(例えば音声データ等)に基づいて、ある程度ユーザ190Bの感情が推定可能な場合があり得る。このような場合、プロセッサ10は、ユーザ190Bの推定される感情を表す感情データを取得し、当該感情データにも基づいてアバターA2の表情の動作を制御してもよい。ここで、感情データがユーザ190BのHMDシステム100Bにおいて生成され、当該HMDシステム100Bからプレイヤ情報の一部として送信された場合、プロセッサ10は、サーバ150を介して受信した当該プレイヤ情報から感情データを抽出すればよい。一方、感情データがプレイヤ情報の一部として送信されなかった場合、プロセッサ10は、サーバ150を介して受信したユーザ190Bのプレイヤ情報に含まれる音声データに対する公知の感情解析処理を実行することで、ユーザ190Bの感情データを特定してもよい。そして、例えば、ユーザ190Bの感情データが動作テーブルにおいて特定される感情と一致する場合、プロセッサ10は、感情の度合いを通常よりも増大させた上でアバターA2の表情を制御してもよい。一方、例えばユーザ190Bの感情データが動作テーブルにおいて特定される感情と異なる場合、プロセッサ10は、感情の度合いを通常よりも減少させた上でアバターA2の表情を制御してもよい。例えば、感情の度合いに応じた表情画像が予めオブジェクト情報242として用意されている場合、プロセッサ10は、上述のように決定された感情の度合いに応じた表情画像を選択すればよい。また、プロセッサ10は、ユーザ190Bの属性情報に基づいて、上述のようにアバターA2の感情の度合いを決定してもよい。例えば、アバターA2の属性情報が「感情豊か」を表している場合には、プロセッサ10は、アバターA2の感情の度合いを通常よりも増大させた上でアバターA2の表情を制御してもよい。
また、プロセッサ10は、上述した動作テーブル(すなわち、過去にコンテンツを視聴した複数ユーザの視聴履歴に基づいて生成された動作テーブル)の代わりに、予めコンテンツの作成者等によって手動で作成された動作テーブルを使用してもよい。また、上述した動作テーブルは、コンテンツにおける位置および再生時刻とアバターの動作を規定するための動作データとを予め対応付けた対応付け情報として機能するものであればよく、動作テーブルの具体的なデータ構造は上記例(図15参照)に限られない。
また、上述のアバターの動作制御に関する処理(図14参照)は、視界画像Mに含まれるアバターについてのみ実行されてもよい。これにより、視界画像Mに含まれないアバターに関する制御のための処理を削減することができる。なお、視界画像Mにアバターが含まれるか否かは、例えば、ステップS6(図10参照)において特定される視界方向に基づいて定められる視界領域23にアバターが含まれるか否かによって判定される。
また、アバターの動作制御に関する処理(図14参照)は、サーバ150によって実行されてもよいし、コンピュータ200(プロセッサ10)とサーバ150とによって分散して実行されてもよい。例えば、サーバ150は、同期処理(図13におけるステップS22)において、図14におけるステップS91〜S99に相当する処理を実行してもよい。この場合、動作テーブルはサーバ150によって保持されていればよく、各HMDシステム100は動作テーブルをサーバ150からダウンロードしておく必要がない。あるいは、ステップS98の制御については、サーバ150とコンピュータ200とによって分散して実行されてもよい。例えば、サーバ150が動作テーブルを参照してアバターA2に適用する感情を把握し、把握された感情を示す情報をHMDシステム100Aに通知してもよい。その後、HMDシステム100Aのプロセッサ10は、通知された感情に対応する表情画像をアバターA2の表情画像として決定してもよい。
本明細書に開示された主題は、例えば、以下のような項目として示される。
(項目1)
ヘッドマウントディスプレイ(HMD装置110A)を介して第1ユーザ(ユーザ190A)に仮想空間2を提供するためにコンピュータ(コンピュータ200またはサーバ150)によって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1キャラクタオブジェクト(アバターA1)と、第2ユーザ(ユーザ190B)に関連付けられた第2キャラクタオブジェクト(アバターA2)と、前記第1ユーザに提供される視界画像Mを定義する仮想カメラ1とを含む仮想空間2を定義する仮想空間データを生成するステップ(例えば図10のS1)と、
前記仮想空間2内で再生されるコンテンツにおける位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報(動作テーブルT)に基づいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻とに対応する前記動作データを取得するステップ(例えば図14のS98)と、
前記視界画像Mに前記第2キャラクタオブジェクトが含まれる場合に、前記視界画像Mにおいて、前記動作データに基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップ(例えば図14のS99)と、
を含む、情報処理方法。
本項目の情報処理方法によれば、コンテンツの位置および再生時刻に予め対応付けられた動作データに基づいて、第2キャラクタオブジェクトを動作させることができる。これにより、仮想空間2におけるアバター(キャラクタオブジェクト)のより自然な動作を実現することができるため、ユーザの仮想空間2への没入感を向上し得る。
(項目2)
前記対応付け情報は、前記コンテンツを過去に視聴した複数のユーザの各々の視聴履歴に基づいて生成された情報である、
項目1の情報処理方法。
本項目の情報処理方法によれば、過去に同じコンテンツを視聴した複数のユーザの傾向が反映された対応付け情報に基づいて、アバターの動作制御をより適切に行うことができる。
(項目3)
前記動作データは、キャラクタオブジェクトの感情を表現するためのデータである、
項目1または2の情報処理方法。
本項目の情報処理方法によれば、仮想空間2におけるアバターの感情表現を制御することができ、ユーザ間の対話をより円滑にし得る。
(項目4)
前記第2ユーザの推定される感情を表す感情データを取得するステップを更に含み、
前記制御するステップにおいて、前記感情データにも更に基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御する、
項目3の情報処理方法。
本項目の情報処理方法によれば、第2ユーザの推定される感情に基づいて、より一層自然なアバターの動作制御を実現し得る。
(項目5)
前記第2ユーザの属性情報を取得するステップを更に含み、
前記対応付け情報において、前記コンテンツの位置および再生時刻と前記動作データとに加えてユーザの属性情報が対応付けられており、
前記動作データを取得するステップにおいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻と前記第2ユーザの属性情報とに対応する前記動作データを取得する、
項目1〜4のいずれかの情報処理方法。
本項目の情報処理方法によれば、第2ユーザの属性情報に基づいて、より一層自然なアバターの動作制御を実現し得る。
(項目6)
前記第2ユーザの身体の一以上の部分の動きを示す動き情報を取得するステップと、
前記第2キャラクタオブジェクトの複数の部分のうち、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されている第1部分と、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されていない第2部分とを特定するステップと、
を更に含み、
前記動作データを取得するステップにおいて、前記第2部分の少なくとも一部の動作を規定するための前記動作データを取得し、
前記制御するステップにおいて、前記動作データに基づいて前記第2部分の少なくとも一部の動作を制御する、
項目1〜5のいずれかの情報処理方法。
本項目の情報処理方法によれば、第2ユーザの動き情報が取得されなかった部分に対応するアバターの部分(第2部分の少なくとも一部)を、動作データに基づいて適切に動作させることができる。
(項目7)
項目1〜6のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目8)
項目7のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置
。
(項目1)
ヘッドマウントディスプレイ(HMD装置110A)を介して第1ユーザ(ユーザ190A)に仮想空間2を提供するためにコンピュータ(コンピュータ200またはサーバ150)によって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1キャラクタオブジェクト(アバターA1)と、第2ユーザ(ユーザ190B)に関連付けられた第2キャラクタオブジェクト(アバターA2)と、前記第1ユーザに提供される視界画像Mを定義する仮想カメラ1とを含む仮想空間2を定義する仮想空間データを生成するステップ(例えば図10のS1)と、
前記仮想空間2内で再生されるコンテンツにおける位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報(動作テーブルT)に基づいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻とに対応する前記動作データを取得するステップ(例えば図14のS98)と、
前記視界画像Mに前記第2キャラクタオブジェクトが含まれる場合に、前記視界画像Mにおいて、前記動作データに基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップ(例えば図14のS99)と、
を含む、情報処理方法。
本項目の情報処理方法によれば、コンテンツの位置および再生時刻に予め対応付けられた動作データに基づいて、第2キャラクタオブジェクトを動作させることができる。これにより、仮想空間2におけるアバター(キャラクタオブジェクト)のより自然な動作を実現することができるため、ユーザの仮想空間2への没入感を向上し得る。
(項目2)
前記対応付け情報は、前記コンテンツを過去に視聴した複数のユーザの各々の視聴履歴に基づいて生成された情報である、
項目1の情報処理方法。
本項目の情報処理方法によれば、過去に同じコンテンツを視聴した複数のユーザの傾向が反映された対応付け情報に基づいて、アバターの動作制御をより適切に行うことができる。
(項目3)
前記動作データは、キャラクタオブジェクトの感情を表現するためのデータである、
項目1または2の情報処理方法。
本項目の情報処理方法によれば、仮想空間2におけるアバターの感情表現を制御することができ、ユーザ間の対話をより円滑にし得る。
(項目4)
前記第2ユーザの推定される感情を表す感情データを取得するステップを更に含み、
前記制御するステップにおいて、前記感情データにも更に基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御する、
項目3の情報処理方法。
本項目の情報処理方法によれば、第2ユーザの推定される感情に基づいて、より一層自然なアバターの動作制御を実現し得る。
(項目5)
前記第2ユーザの属性情報を取得するステップを更に含み、
前記対応付け情報において、前記コンテンツの位置および再生時刻と前記動作データとに加えてユーザの属性情報が対応付けられており、
前記動作データを取得するステップにおいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻と前記第2ユーザの属性情報とに対応する前記動作データを取得する、
項目1〜4のいずれかの情報処理方法。
本項目の情報処理方法によれば、第2ユーザの属性情報に基づいて、より一層自然なアバターの動作制御を実現し得る。
(項目6)
前記第2ユーザの身体の一以上の部分の動きを示す動き情報を取得するステップと、
前記第2キャラクタオブジェクトの複数の部分のうち、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されている第1部分と、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されていない第2部分とを特定するステップと、
を更に含み、
前記動作データを取得するステップにおいて、前記第2部分の少なくとも一部の動作を規定するための前記動作データを取得し、
前記制御するステップにおいて、前記動作データに基づいて前記第2部分の少なくとも一部の動作を制御する、
項目1〜5のいずれかの情報処理方法。
本項目の情報処理方法によれば、第2ユーザの動き情報が取得されなかった部分に対応するアバターの部分(第2部分の少なくとも一部)を、動作データに基づいて適切に動作させることができる。
(項目7)
項目1〜6のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
(項目8)
項目7のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置
。
1…仮想カメラ、2…仮想空間、5…基準視線、10…プロセッサ、11…メモリ、1
2…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…
バス、19…ネットワーク、21…中心、22…仮想空間画像、23…視界領域、24,
25…領域、31…フレーム、32…天面、33,34,36,37…ボタン、35…赤
外線LED、38…アナログスティック、100,100A,100B,100C…HM
Dシステム、110,110A,110B,110C…HMD装置、112…モニタ、1
14…センサ、116…カメラ、118…マイク、120…HMDセンサ、130…モー
ションセンサ、140…注視センサ、150…サーバ、160…コントローラ、160R
…右コントローラ、190,190A,190B,190C…ユーザ、200…コンピュ
ータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界
領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュー
ル、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想
オブジェクト制御モジュール、233…操作オブジェクト制御モジュール、234…チャ
ット制御モジュール、240…メモリモジュール、241…空間情報、242…オブジェ
クト情報、243…ユーザ情報、244…動作テーブル情報、250…通信制御モジュー
ル、810…右手、A1,A2,A3…アバター、M…視界画像。
2…ストレージ、13…入出力インターフェース、14…通信インターフェース、15…
バス、19…ネットワーク、21…中心、22…仮想空間画像、23…視界領域、24,
25…領域、31…フレーム、32…天面、33,34,36,37…ボタン、35…赤
外線LED、38…アナログスティック、100,100A,100B,100C…HM
Dシステム、110,110A,110B,110C…HMD装置、112…モニタ、1
14…センサ、116…カメラ、118…マイク、120…HMDセンサ、130…モー
ションセンサ、140…注視センサ、150…サーバ、160…コントローラ、160R
…右コントローラ、190,190A,190B,190C…ユーザ、200…コンピュ
ータ、220…表示制御モジュール、221…仮想カメラ制御モジュール、222…視界
領域決定モジュール、223…視界画像生成モジュール、224…基準視線特定モジュー
ル、230…仮想空間制御モジュール、231…仮想空間定義モジュール、232…仮想
オブジェクト制御モジュール、233…操作オブジェクト制御モジュール、234…チャ
ット制御モジュール、240…メモリモジュール、241…空間情報、242…オブジェ
クト情報、243…ユーザ情報、244…動作テーブル情報、250…通信制御モジュー
ル、810…右手、A1,A2,A3…アバター、M…視界画像。
Claims (8)
- ヘッドマウントディスプレイを介して第1ユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法であって、
前記第1ユーザに関連付けられた第1キャラクタオブジェクトと、第2ユーザに関連付けられた第2キャラクタオブジェクトと、前記第1ユーザに提供される視界画像を定義する仮想カメラとを含む仮想空間を定義する仮想空間データを生成するステップと、
前記仮想空間内で再生されるコンテンツにおける位置および再生時刻とキャラクタオブジェクトの動作を規定するための動作データとを予め対応付けた対応付け情報に基づいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻とに対応する前記動作データを取得するステップと、
前記視界画像に前記第2キャラクタオブジェクトが含まれる場合に、前記視界画像において、前記動作データに基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御するステップと、
を含む、情報処理方法。 - 前記対応付け情報は、前記コンテンツを過去に視聴した複数のユーザの各々の視聴履歴に基づいて生成された情報である、
請求項1に記載の情報処理方法。 - 前記動作データは、キャラクタオブジェクトの感情を表現するためのデータである、
請求項1または2に記載の情報処理方法。 - 前記第2ユーザの推定される感情を表す感情データを取得するステップを更に含み、
前記制御するステップにおいて、前記感情データにも更に基づいて前記第2キャラクタオブジェクトの少なくとも一部の動作を制御する、
請求項3に記載の情報処理方法。 - 前記第2ユーザの属性情報を取得するステップを更に含み、
前記対応付け情報において、前記コンテンツの位置および再生時刻と前記動作データとに加えてユーザの属性情報が対応付けられており、
前記動作データを取得するステップにおいて、前記第2キャラクタオブジェクトの向きに基づいて特定される位置と前記コンテンツの再生時刻と前記第2ユーザの属性情報とに対応する前記動作データを取得する、
請求項1〜4のいずれか一項に記載の情報処理方法。 - 前記第2ユーザの身体の一以上の部分の動きを示す動き情報を取得するステップと、
前記第2キャラクタオブジェクトの複数の部分のうち、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されている第1部分と、対応する前記第2ユーザの身体の部分の動きを示す情報が取得されていない第2部分とを特定するステップと、
を更に含み、
前記動作データを取得するステップにおいて、前記第2部分の少なくとも一部の動作を規定するための前記動作データを取得し、
前記制御するステップにおいて、前記動作データに基づいて前記第2部分の少なくとも一部の動作を制御する、
請求項1〜5のいずれか一項に記載の情報処理方法。 - 請求項1〜6のいずれか一項に記載の情報処理方法をコンピュータに実行させる、プログラム。
- 請求項7に記載のプログラムを格納したメモリと、
前記メモリに結合され、前記プログラムを実行するためのプロセッサとを備える、装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017206651A JP2018124981A (ja) | 2017-10-25 | 2017-10-25 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017206651A JP2018124981A (ja) | 2017-10-25 | 2017-10-25 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017014589A Division JP6244593B1 (ja) | 2017-01-30 | 2017-01-30 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124981A true JP2018124981A (ja) | 2018-08-09 |
Family
ID=63108941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017206651A Pending JP2018124981A (ja) | 2017-10-25 | 2017-10-25 | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018124981A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3611598A1 (en) * | 2018-08-14 | 2020-02-19 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof and electronic system |
CN111061360A (zh) * | 2019-11-12 | 2020-04-24 | 北京字节跳动网络技术有限公司 | 基于用户头部动作的控制方法、装置、介质和电子设备 |
CN114402274A (zh) * | 2019-12-26 | 2022-04-26 | 多玩国株式会社 | 程序、信息处理装置以及方法 |
JP7448530B2 (ja) | 2018-10-09 | 2024-03-12 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
CN114402274B (zh) * | 2019-12-26 | 2024-04-26 | 多玩国株式会社 | 程序、信息处理装置以及方法 |
-
2017
- 2017-10-25 JP JP2017206651A patent/JP2018124981A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3611598A1 (en) * | 2018-08-14 | 2020-02-19 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof and electronic system |
CN110825219A (zh) * | 2018-08-14 | 2020-02-21 | 三星电子株式会社 | 电子设备、电子设备的控制方法和电子系统 |
US11132054B2 (en) | 2018-08-14 | 2021-09-28 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof and electronic system |
JP7448530B2 (ja) | 2018-10-09 | 2024-03-12 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
US11948256B2 (en) | 2018-10-09 | 2024-04-02 | Magic Leap, Inc. | Systems and methods for artificial intelligence-based virtual and augmented reality |
CN111061360A (zh) * | 2019-11-12 | 2020-04-24 | 北京字节跳动网络技术有限公司 | 基于用户头部动作的控制方法、装置、介质和电子设备 |
CN111061360B (zh) * | 2019-11-12 | 2023-08-22 | 北京字节跳动网络技术有限公司 | 基于用户头部动作的控制方法、装置、介质和电子设备 |
CN114402274A (zh) * | 2019-12-26 | 2022-04-26 | 多玩国株式会社 | 程序、信息处理装置以及方法 |
CN114402274B (zh) * | 2019-12-26 | 2024-04-26 | 多玩国株式会社 | 程序、信息处理装置以及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6263252B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US10438394B2 (en) | Information processing method, virtual space delivering system and apparatus therefor | |
JP6392911B2 (ja) | 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US10545339B2 (en) | Information processing method and information processing system | |
US10313481B2 (en) | Information processing method and system for executing the information method | |
US10894211B2 (en) | Information processing method, apparatus, and system for executing the information processing method | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6201028B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018192107A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019032844A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018124981A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6479933B1 (ja) | プログラム、情報処理装置、および方法 | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6368404B1 (ja) | 情報処理方法、プログラム及びコンピュータ | |
JP6225242B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2019030638A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018192238A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018092592A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018190196A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6856572B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6839046B2 (ja) | 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2018092635A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019016358A (ja) | 情報処理方法、プログラム及びコンピュータ | |
JP2019036122A (ja) | 情報処理方法、プログラム、およびコンピュータ |