JP2019012517A - 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 - Google Patents
仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 Download PDFInfo
- Publication number
- JP2019012517A JP2019012517A JP2018082669A JP2018082669A JP2019012517A JP 2019012517 A JP2019012517 A JP 2019012517A JP 2018082669 A JP2018082669 A JP 2018082669A JP 2018082669 A JP2018082669 A JP 2018082669A JP 2019012517 A JP2019012517 A JP 2019012517A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- computer
- hmd
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ヘッドマウントデバイスによって提供される仮想空間における撮影を容易に実現する。【解決手段】ヘッドマウントデバイスに装着される端末のモニタ112の画面の状態は、仮想空間におけるコンテンツ101を撮影するためのカメラオブジェクト100表示する状態Aと、カメラオブジェクト100の位置および姿勢を調整するために左手オブジェクト104および右手オブジェクト105を表示する状態Bと、カメラオブジェクト100の位置および姿勢が確定した後に左手オブジェクト104および右手オブジェクト105が非表示になる状態Cとを含む。【選択図】図1
Description
本開示は、ヘッドマウントデバイスを用いた仮想空間の提供に関し、より特定的には仮想空間における撮影に関する。
ヘッドマウントデバイス(Head-Mounted Device:以下「HMD」と表す。)を用いて仮想現実空間(以下「仮想空間」ともいう。)を提供する技術が知られている。仮想空間においては、HMDのユーザに対応するアバターが表示され得る。例えば、特開2017−102639号公報(特許文献1)は、「ユーザの頭部や視線の動きを他のユーザに対して選択的に公開することが可能なアバター表示システム」を開示している([要約]参照)。
仮想空間に提示されるコンテンツによっては、現実空間と同様に写真を撮影したいというニーズが生じ得る。また、現実空間の場合と同様に所謂自撮りを行ないたいというニーズも生じ得る。さらに、仮想空間に提供されるコンテンツが複数のユーザによって視聴される場合、撮影ポイントを共有したいというニーズも生じ得る。したがって、仮想空間における撮影を可能にする技術が必要とされている。また、仮想空間においても容易に自撮りを行なえる技術が必要とされている。さらには、撮影ポイントを容易に共有できる技術も必要とされる。
本開示は上述のような背景に鑑みてなされたものであって、ある局面における目的は、仮想空間における撮影を可能にする技術を提供することである。他の局面における目的は仮想空間において所謂自撮りを可能にする技術を提供することである。さらには、仮想空間における撮影ポイントを共有できる技術も提供することである。
ある実施の形態に従うと、仮想空間を提供するためにコンピュータで実行されるプログラムが提供される。このプログラムはコンピュータに、コンピュータに接続されるヘッドマウントデバイスに提示される仮想空間を定義するステップと、仮想空間に表示される画像を撮影するためのカメラオブジェクトを仮想空間に提示するステップと、ヘッドマウントデバイスのユーザによるカメラオブジェクトの位置または姿勢を変更するための操作を受け付けるステップと、位置を表わす位置情報または姿勢を表わす姿勢情報を保存するステップとを実行させる。
ある実施の形態に従うと、仮想空間における撮影が容易になる。他の局面において、仮想空間における自撮りが容易になる。さらに別の局面において、仮想空間における撮影ポイントが共有され得る。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
まず、写真の撮影に関し、現実空間および仮想空間における相違点を説明する。現実空間では、以下のような点が認識され得る。撮影者は、たくさんの写真を撮りたいという願望を持つ。その一方で、撮影者は、いちいち自撮り棒を伸縮させることすら手間と考える。また、撮影者は、どこで撮影すると良いかといった情報を有さない場合が多く、撮影に適した場所を知らないことも多く、撮影タイミングを逃す可能性もある。結果として、撮影者は、自撮り棒を出しっ放しにすることもある。
一方、HMDを用いて提供される仮想空間では、撮影のアングルが適切か否かを確認するためには、HMDのモニタ、例えば、HMDに装着したカメラ内蔵スマートフォンのモニタを通して撮影時のプレビュー表示を見る必要がある。この場合、現実世界のように、「この辺から撮影したらよい」といった撮影場所を提案する仕組みがない。
自撮りを行なう場合、撮影者は、自分が適切な位置に写っているか否かを確認する手段は、スマートフォンのプレビュー表示に限れらる。現実世界の場合には「ここから撮影するならこの位置に人物が立つとよい」という提案や表示が存在し得るが、仮想空間の場合には、そのような提案や表示は存在し得ない。
目線に関し、スマートフォンの所謂インカメラを用いて撮影する場合、ユーザは、被写体として、スマートフォンのモニタ画面を見がちである。したがって、特に、モニタ画面のサイズが大きくなると、ユーザの視線がカメラよりもモニタ画面を向くため、ユーザの目線が、所謂カメラ目線になりにくくなる。
そこで、図1および図2を参照して、本開示に係る技術思想について説明する。図1は、モニタ112における画面の表示の移り変わりを表わす図である。
状態Aに示されるように、ある局面において、モニタ112は、オブジェクト101を表示している。さらに、モニタ112は、仮想空間におけるカメラオブジェクト100も表示している。カメラオブジェクト100は、オブジェクト101に対応するモニタ画像102を表示している。ある局面において、さらにモニタ112は、カメラオブジェクト100を適切な方向に移動することを促す矢印103を表示している。ユーザが矢印103に沿ってカメラオブジェクト100を移動させると、オブジェクト101をより好ましく撮影範囲に捉えることができる。
具体的には、状態Bに示されるように、ユーザの手に対応する左手オブジェクト104と右手オブジェクト105とがモニタ112に表示される。ユーザは、左手オブジェクト104と右手オブジェクト105とを用いてカメラオブジェクト100の仮想空間における位置および撮影方向を調整する。オブジェクト101のモニタ画像がカメラオブジェクト100に表示されることを確認すると、その位置が撮影のための位置として記録される。
したがって、状態Cに示されるように、仮想空間における左手オブジェクト104と右手オブジェクト105とが表示されなくなった後でも、カメラオブジェクト100の姿勢は、オブジェクト101を撮影するのに好ましい状態で維持される。
図2は、モニタ112に提示される画像と、その時の仮想空間2における各オブジェクトの位置関係を表わす図である。図2を参照して、状態Aに示されるように、モニタ112は、オブジェクト101を表示している。このとき、仮想空間2における仮想カメラ1とオブジェクト101との位置関係は、例えば、状態Bのように示される。
カメラオブジェクト100を仮想空間2に表示するために予め定められた条件が成立すると、状態Cに示されるように、カメラオブジェクト100は、モニタ112において予め定められた位置に表示される。例えば、カメラオブジェクト100は、両手で把持できるようにモニタ112の中心に配置され得る。このとき、仮想空間2における仮想カメラ1とオブジェクト101との位置関係は、例えば、状態Dのように示される。
その後、ユーザが、仮想空間2におけるカメラオブジェクト100の位置を調整すると、状態Eとして示されるように、調整後の配置に基づくモニタ画像102がカメラオブジェクト100に表示される。このとき、仮想空間2における仮想カメラ1とオブジェクト101との位置関係は、例えば、状態Fのように示される。ユーザが、この配置を撮影アングルとして確定すると、この配置を特定する識別番号と、当該配置を示す位置情報とは、仮想空間2を提供するサーバその他のコンピュータに格納される。したがって、別のタイミングで、同一のオブジェクトが表示される局面において、その識別番号を指定することにより、同じ撮影アングルが容易に再現され得る。
さらに、ユーザが仮想空間2における自撮りモードを選択すると、状態Gとして示されるように、予め登録されたユーザのアバターオブジェクト106が、モニタ112に提示される。このとき、仮想空間2におけるカメラオブジェクト100とアバターオブジェクト106との位置関係は、例えば、状態Hのように示される。
[HMDシステムの構成]
図3を参照して、HMD(Head Mounted Device)システム300の構成について説明する。図3は、ある実施の形態に従うHMDシステム300の構成の概略を表す図である。ある局面において、HMDシステム300は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
図3を参照して、HMD(Head Mounted Device)システム300の構成について説明する。図3は、ある実施の形態に従うHMDシステム300の構成の概略を表す図である。ある局面において、HMDシステム300は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
HMDシステム300は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。他のユーザによって使用されるユーザ端末201A・・・201Nが、ネットワーク19に接続されている。ユーザ端末201A,201Nは、総称する時は、ユーザ端末201と表わす。ある局面において、ユーザ端末201は、コンピュータとHMDとを含み得る。別の局面において、ユーザ端末201は、コンピュータ機能を備えたHMDによって実現されてもよい。
別の局面において、HMDシステム300がHMDセンサ120を備える代わりに、HMD110がセンサ114を含んでもよい。
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。プロセッサ151は、命令を実行する。メモリ152は、RAM(Random Access Memory)その他の揮発性メモリである。通信インターフェイス153は、コンピュータ200、ユーザ端末201A,201N等と通信する。ストレージ154は、サーバ150がコンピュータ200その他の外部の装置から受信したデータまたはプロセッサ151によって生成されたデータを保持する。ストレージ154は、例えば、ハードディスク、SSD(Solid State Disc)その他の不揮発性の記憶装置によって実現され得る。
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[ハードウェア構成]
図4を参照して、本実施の形態に係るコンピュータ200について説明する。図4は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
図4を参照して、本実施の形態に係るコンピュータ200について説明する。図4は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム300において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム300が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図4に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム300では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図5を参照して、uvw視野座標系について説明する。図5は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図5を参照して、uvw視野座標系について説明する。図5は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図5に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図6を参照して、仮想空間についてさらに説明する。図6は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図6では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
図6を参照して、仮想空間についてさらに説明する。図6は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図6では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム300は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図7を参照して、ユーザの視線方向の決定について説明する。図7は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
図7を参照して、ユーザの視線方向の決定について説明する。図7は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点N1として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム300は、HMDシステム300を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム300は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム300は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム300は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図8および図9を参照して、視界領域23について説明する。図8は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図9は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図8および図9を参照して、視界領域23について説明する。図8は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図9は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図8に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図9に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム300は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想
空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム30
0は、仮想空間2への高い没入感覚をユーザに与えることができる。
空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム30
0は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図10を参照して、コントローラ160の一例について説明する。図10は、ある実施の形態に従うコントローラ160の概略構成を表す図である。ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
図10を参照して、コントローラ160の一例について説明する。図10は、ある実施の形態に従うコントローラ160の概略構成を表す図である。ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図11は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMD110の制御装置]
図12を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図12は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。以下では、サーバコンピュータ20によるコメントの付加機能がコンピュータ200によって実現される場合を説明する。別の局面において、この付加機能は、サーバ150によって実現されてもよい。
図12を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図12は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。以下では、サーバコンピュータ20によるコメントの付加機能がコンピュータ200によって実現される場合を説明する。別の局面において、この付加機能は、サーバ150によって実現されてもよい。
図12に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、コメント付加モジュール225とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、コントローラ管理モジュール233と、位置情報取得モジュール234と、姿勢情報取得モジュール235とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。コメント付加モジュール225は、サーバ150を介して受信したコメントを、視界画像生成モジュール223によって生成された視界画像にオーバーラップさせる。
位置情報取得モジュール234は、仮想空間2におけるカメラオブジェクト100の位置情報を取得する。位置情報は、例えば、図6に示される仮想空間2の座標軸に基づいて示される。
姿勢情報取得モジュール235は、仮想空間2におけるカメラオブジェクト100の姿勢情報を取得する。姿勢情報は、カメラオブジェクト100の撮影方向を含む。ある局面において、姿勢情報は、カメラオブジェクト100の仮想空間2におけるベクトル情報として示され得る。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム300における仮想空間2を規定する。仮想オブジェクト生成モジュール232は、仮想空間2に配置される対象物を生成する。対象物は、例えば、山、木、建造物その他の背景を構成するオブジェクト、コンピュータ200によって実現されるプログラムを構成するストーリーに従って提示される動物のオブジェクト等を含む。
コントローラ管理モジュール233は、仮想空間2においてユーザ190の動作を受け付けて、その動作に応じてコントローラオブジェクトを制御する。ある実施の形態に従うコントローラオブジェクトは、仮想空間2に配置される他のオブジェクトに対して命令を与えるコントローラとして機能する。ある局面において、コントローラ管理モジュール233は、仮想空間2において制御を受け付けるコントローラオブジェクトを仮想空間2に配置するためのデータを生成する。HMD110がこのデータを受信すると、モニタ112は、コントローラオブジェクトを表示し得る。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、ユーザ情報242と、コンテンツ243と、コメント244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。ユーザ情報242は、HMD110のユーザ190の識別情報、ユーザ190に関連付けられている権限等を含む。当該権限は、例えば、アプリケーションを提供するウェブサイトにアクセスするためのアカウント情報(ユーザID(Identification)、パスワード)等を含む。コンテンツ243は、例えば、HMD110によって提示されるコンテンツを含む。コメント244は、ユーザ端末201A・・・201Nのいずれかを使用する他のユーザによって入力されたコメントである。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。通信制御モジュール250は、無線および有線のいずれであってもよい。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
[構成の概要]
ある実施の形態において、プロセッサ10は、コンピュータ200に接続されるHMD110に提示される仮想空間2を定義する。プロセッサ10は、仮想空間2に表示される画像を撮影するためのカメラオブジェクト100を仮想空間2に提示する。プロセッサ10は、HMD110のユーザ190によるカメラオブジェクト100の位置または姿勢を変更するための操作を、コントローラ160から受け付ける。プロセッサ10は、位置を表わす位置情報または姿勢を表わす姿勢情報をメモリ11に保存する。プロセッサ10は、位置情報または姿勢情報をサーバ150に送信する。これにより、仮想空間2における撮影ポイントおよび撮影方向が、位置情報および撮影方向という形で共有され得る。
ある実施の形態において、プロセッサ10は、コンピュータ200に接続されるHMD110に提示される仮想空間2を定義する。プロセッサ10は、仮想空間2に表示される画像を撮影するためのカメラオブジェクト100を仮想空間2に提示する。プロセッサ10は、HMD110のユーザ190によるカメラオブジェクト100の位置または姿勢を変更するための操作を、コントローラ160から受け付ける。プロセッサ10は、位置を表わす位置情報または姿勢を表わす姿勢情報をメモリ11に保存する。プロセッサ10は、位置情報または姿勢情報をサーバ150に送信する。これにより、仮想空間2における撮影ポイントおよび撮影方向が、位置情報および撮影方向という形で共有され得る。
ある実施の形態において、プロセッサ10は、HMD110のユーザ190の操作に基づいてカメラオブジェクト100を提示する。これにより、ユーザ190が望む場合にカメラオブジェクト100を用いて撮影することができる。
ある実施の形態において、プロセッサ10は、ユーザ190によるコメントの入力を受け付けるユーザインターフェイスオブジェクトを仮想空間2に提示する。ユーザ190がコメントを入力すると、サーバ150に保存され得る。これにより、撮影ポイントの感想等が他のユーザとの間でも共有され得る。
ある実施の形態において、画像は複数のフレームを含む。複数のフレームのいずれかには、撮影を促すタグ情報が関連付けられている。プロセッサ10は、タグ情報が関連付けられたフレームが仮想空間2に提示されたことに基づいて、カメラオブジェクト100を提示する。タグ情報が検出されるとカメラオブジェクト100が表示されるので、ユーザ190は、お薦めの撮影タイミングであることを容易に認識でき、撮影チャンスを逃しにくくなる。
ある実施の形態において、タグ情報は、例えば、画像の作成時に予め作成された情報、または、画像を視聴したユーザ190による撮影に基づいて当該画像に関連付けられた情報、のいずれかを含み得る。これにより、コンテンツの作成者がお薦めの撮影タイミングは、タグ情報を用いて視聴者に通知され得る。また、視聴者が新たに撮影した場所もタグ情報に追加できるので、コンテンツの作成者が意図しない視点からの撮影ポイントも新たにユーザ間で共有され得る。
ある実施の形態において、プロセッサ10は、カメラオブジェクト100の姿勢が一定時間継続したことに基づいて、カメラオブジェクト100による撮影を行なう。これにより、自動撮影が可能になる。
ある実施の形態において、プロセッサ10は、ユーザ190のアバターオブジェクトを仮想空間2に配置し、カメラオブジェクト100がアバターオブジェクトの撮影を行なう。これにより、仮想空間2における所謂自撮りが可能になる。
ある実施の形態において、プロセッサ10は、アバターオブジェクトが撮影された時のカメラオブジェクト100の位置情報および姿勢情報を保存する。プロセッサ10は、アバターオブジェクトの位置を表わす位置情報およびアバターオブジェクトの向きを表わす姿勢情報を保存し得る。これにより、自撮りが行なわれた場所およびアングルの情報(位置情報および姿勢情報)が他ユーザにも共有され得る。
ある実施の形態において、プロセッサ10は、撮影が行なわれたコンテンツの識別データと、一組以上の位置情報および姿勢情報とを保存する。これにより、位置情報および姿勢情報が、同一コンテンツを視聴する他ユーザにも提供され得る。
ある実施の形態において、プロセッサ10は、仮想空間2にカメラオブジェクト100が提示されていない場合に、カメラオブジェクト100を仮想空間2に提示する。ユーザ190は、カメラオブジェクト100を視認すると、撮影チャンスが到来したことを容易に認識できる。
ある実施の形態において、プロセッサ10は、仮想空間2を共有する他ユーザによって使用されたカメラオブジェクトの位置情報および姿勢情報に基づいて、HMD110のユーザ190のカメラオブジェクト100を提示し得る。例えば、サーバ150が、同一コンテンツを視聴した他ユーザのリコメンド(推薦)に基づき、コンピュータ200に位置情報および姿勢情報を通知し得るので、ユーザ190は他ユーザにも人気のある撮影場所での撮影を行なうことができる。
ある実施の形態において、プロセッサ10は、ユーザ190の手に対応する手オブジェクトを仮想空間2に提示する。プロセッサ10は、ユーザ190の操作または動作に基づく手オブジェクトの動きに応じて、カメラオブジェクト100の位置および姿勢を調整する。カメラオブジェクト100の姿勢が一定時間維持された後に、プロセッサ10は、手オブジェクトがカメラオブジェクト100から離れた状態でカメラオブジェクト100の姿勢を維持し得る。このようにすると、仮想空間2における手振れが防止される。また、ユーザ190は、撮影のアングルが確定された状態を維持しつつ、自撮りのために仮想空間2における自身の位置を調整し得る。
[データ構造]
図13を参照して、サーバ150のデータ構造について説明する。図13は、サーバ150が備えるストレージ154におけるデータの格納の一態様を概念的に表わす図である。ある局面において、ストレージ154は、テーブル1310,1320,1330を保持している。
図13を参照して、サーバ150のデータ構造について説明する。図13は、サーバ150が備えるストレージ154におけるデータの格納の一態様を概念的に表わす図である。ある局面において、ストレージ154は、テーブル1310,1320,1330を保持している。
テーブル1310は、撮影ポイントのデータベースを構成する。より具体的には、ある局面において、テーブル1310は、アングルID1311と、ユーザID1312と、仮想空間での位置1313と、姿勢情報(撮影方向)1314と、コンテンツID1315と、再生位置1316と、登録日時1317と、使用回数1318とを含む。
アングルID1311は、仮想空間2におけるカメラオブジェクト100のアングルを識別する。アングルID1311は、各ユーザが仮想空間2における撮影位置を確定する操作に基づいて、命令を実行するプロセッサ151によって自動的に付与される。ユーザID1312は、当該撮影位置の登録を要求したユーザ190を識別する。仮想空間での位置1313は、仮想空間2における位置情報を表わす。位置情報は、例えば、uvw視野座標系に基づいて示される。姿勢情報1314は、カメラオブジェクト100が向いている撮影方向を表わす。姿勢情報1414は、例えば、位置1313を起点とするベクトル情報として示される。コンテンツID1315は、カメラオブジェクト100を用いた撮影が行なわれたコンテンツを識別する。再生位置1316は、当該コンテンツにおいて撮影が行なわれたタイムスタンプを表わす。コンテンツが動画である場合、仮想空間2には、動画が表示される。再生位置1316は、その動画において撮影された一フレームを特定し得る。登録日時1317は、アングルID1311で識別される当該アングルがユーザ190によって保存された日時を表わす。使用回数1318は、当該アングルが使用された回数を表わす。
テーブル1320は、アングル情報の使用履歴を保持する。より具体的には、ある局面において、テーブル1320は、アングルID1321と、ユーザID1322と、アバターの位置1323と、アバターの方向1324と、撮影日時1325と、コメント1326とを含む。
アングルID1321は、使用されたアングルを識別する。ユーザID1322は、アングルID1321で特定されるアングルのユーザを識別する。テーブル1310に登録されているアングルは、一人以上のユーザによって使用可能である。したがって、ユーザID1322は、様々なユーザのユーザIDを含み得る。アバターの位置1323は、当該アングルを使用したユーザに対応するアバターオブジェクトが配置された位置を表わす。アバターの方向1324は、アバターオブジェクトの正面が向いている方向を表わす。当該方向は、例えば、アバターの位置1323を起点とするベクトル情報として示され得る。撮影日時1325は、当該アングルを用いて撮影が行なわれた日時を表わす。コメント1326は、当該アングルを使用したユーザによって入力されたコメントを表わす。
テーブル1330は、各アングルで撮影された画像からプロセッサ151によって抽出された背景のデータベースを保持している。テーブル1330は、アングルID1331と、ユーザID1332と、背景1333と、嗜好分類1334と、広告ID1335と、抽出日時1336とを含む。
アングルID1331は、背景が抽出されたアングルを識別する。ユーザID1332は、当該アングルを用いてアバターオブジェクトとして撮影されたユーザを識別する。背景1333は、当該アングルで撮影された画像から抽出された背景を特定する。特定される背景は、予め規定されている。抽出される背景の特定は、例えば、当該背景を含む画像に予め関連付けられた名称に基づいて、または、現実空間における背景を模した画像から背景が抽出される場合には当該現実空間における地理的座標値に対応付けられた背景の名称に基づいて行なわれる。嗜好分類1334は、抽出された背景1333に予め関連付けられている分類、または、ユーザによってユーザ情報の登録時に入力された嗜好を表わす。広告ID1335は、抽出の結果(背景1333)に基づいてユーザIDによって特定されるユーザに配信され得る広告を識別する。抽出日時1336は、背景1333が抽出された日時を表わす。
[制御構造]
図14を参照して、コンピュータ200の制御構造について説明する。図14は、ある実施の形態に従って位置情報および取得情報を取得するためにコンピュータ200のプロセッサ10が実行する処理の一部を表わすフローチャートである。なお別の局面において、各処理は、それぞれの処理を実行するように構成された回路素子によって実現されてもよい。さらに別の局面において、HMD110がプロセッサを備える場合には、当該プロセッサが当該処理を実行してもよい。
図14を参照して、コンピュータ200の制御構造について説明する。図14は、ある実施の形態に従って位置情報および取得情報を取得するためにコンピュータ200のプロセッサ10が実行する処理の一部を表わすフローチャートである。なお別の局面において、各処理は、それぞれの処理を実行するように構成された回路素子によって実現されてもよい。さらに別の局面において、HMD110がプロセッサを備える場合には、当該プロセッサが当該処理を実行してもよい。
ステップS1110にて、プロセッサ10は、仮想現実空間にコンテンツを提供するアプリケーションプログラムを実行して、仮想空間2を定義する。コンテンツは、例えば、現実空間の撮影によって得られた画像を用いたコンテンツ、仮想現実の世界を描画したアニメーションその他のコンテンツのいずれをも含み得る。
ステップS1120にて、プロセッサ10は、仮想空間2にコンテンツ画像を提示する。HMD110を装着したユーザ190は、モニタ112を視認すると、コンテンツ画像を認識し得る。
ステップS1230にて、プロセッサ10は、コンテンツ画像を撮影するためのカメラオブジェクト100を仮想空間2に提示する。カメラオブジェクト100を提示するためのトリガーは、例えば、ユーザ190がカメラオブジェクト100の提示を指示したこと、当該コンテンツ画像を以前に視聴した他のユーザがコメントその他の入力により当該コンテンツ画像の一部(一シーン、ある位置から見た眺め等)を推奨していること、コンテンツ画像の作成者あるいは提供者によって予め推奨されていること等に基づく。いずれのトリガーが有効であるかは、ユーザ190によって選択された動作モードによって規定される。カメラオブジェクト100が提示される場所は、初期位置として予め規定されている場所、他のユーザにより推奨された場所のいずれであってもよい。ユーザ190は、カメラオブジェクト100が提示された後、コントローラ160を用いて仮想空間2におけるカメラオブジェクト100の位置をさらに変更し得る。
ステップS1440にて、プロセッサ10は、カメラオブジェクト100の位置情報およびカメラオブジェクト100の姿勢を表わす姿勢情報を取得する。位置情報は、カメラオブジェクト100の初期位置、あるいは、ユーザ190によって変更された場合には変更後の位置情報が取得される。姿勢情報は、カメラオブジェクト100の初期位置において予め規定された姿勢に応じた姿勢情報(撮影方向)、あるいは、コントローラ160の操作によって変更された場合には、変更後の姿勢に応じた姿勢情報が取得される。
ステップS1450にて、プロセッサ10は、ユーザ190による操作に基づいて、仮想空間2におけるカメラオブジェクト100の位置を表わす位置情報およびカメラオブジェクトの姿勢を表わす姿勢情報を保存する。例えば、ユーザ190がカメラオブジェクト100の位置または姿勢を変更した場合には、変更後の位置情報または姿勢情報を保存する命令がユーザ190によって与えられると、当該位置情報または姿勢情報は、ユーザ190のユーザID、再生されているコンテンツのコンテンツIDおよび登録日時と共に、コンピュータ200からサーバ150に送信される。
図15を参照して、コンピュータ200の制御構造についてさらに説明する。図15は、アングル調整から撮影までに実行される処理の一部を表わすフローチャートである。以下の処理は、例えば、ユーザ190がコンテンツとしてパノラマ動画を選択して再生の命令をコントローラ160に与えられたことに基づいて開始される。
ステップS1510にて、プロセッサ10は、ステップ1410と同様に、仮想空間2を定義する。ステップS1520にて、プロセッサ10は、HMD110のモニタ112にパノラマ動画を表示する。
ステップS1530にて、プロセッサ10は、ユーザ190によるコントローラ160の操作およびHMD100を装着した頭の移動等の動作に基づいて、仮想空間2におけるユーザ190の視点を移動する。
ステップS1540にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づいて、仮想空間2における撮影のためのアングルを確定する指示の入力を検知する。例えば、ユーザ190は、モニタ112に提示されている画像のシーンを視認し、その画像を撮影したいと希望する場合には、コントローラ160を操作して、撮影場所としてそのシーンを登録するための入力操作を行なう。
ステップS1550にて、プロセッサ10は、仮想空間2における位置および方向とパノラマ動画の再生位置とユーザIDとをメモリ11に格納する。さらに、プロセッサ10は、当該位置に基づく位置情報および方向に基づく姿勢情報と、当該再生位置と、ユーザIDと、コンテンツIDと、登録が行なわれた時刻データとを、サーバ150に送信する。サーバ150は、コンピュータ200から受信したこれらのデータをストレージ154のテーブル1310に格納する。アングルID1311が新たに付与され、受信したデータに基づくユーザID1312と、仮想空間での位置1313と、姿勢情報1314と、コンテンツID1315とを含むデータレコードが、テーブル1310に追加される。
ステップS1560にて、プロセッサ10は、ユーザ190に対応するアバターオブジェクトを仮想空間2に配置する。例えば、パノラマ動画の一シーンにおける撮影位置および姿勢情報が登録された場合には、その一シーンに対応する画像を背景に、ユーザ190に対応するアバターオブジェクトが配置される。この場合、アバターオブジェクトから見ると、一シーンを背景に自撮りすることになる。
ステップS1570にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づいて、アバターオブジェクトの位置および向きを調整する。
ステップS1580にて、プロセッサ10は、ユーザ190によるコントローラ160の操作または動作に基づいて、もしくは予め定められた一定時間が経過したことに基づいて、カメラオブジェクト100を用いた撮影を実行する。ユーザ190の動作は、例えば、モニタ112に提示されている画像のうちの予め指定された場所(例、カメラオブジェクト100)を凝視すること、予め定められた時間瞬きをしないこと等を含み得る。
ステップS1590にて、プロセッサ10は、撮影した画像をメモリ11に保存する。さらに、コンピュータ200は、撮影時の情報をサーバ150に送信する。サーバ150は受信した情報をストレージ154に格納する(テーブル1320)。当該情報は、例えば、ユーザID、アバターオブジェクトの位置、アバターオブジェクトの向き、および撮影日時を含む。さらに、ユーザ190がコメントを入力した場合には、コンピュータ200は、そのコメントをサーバ150に送信する。サーバ150は、受信したコメントをコメント1326としてテーブル1320に格納する。
図16を参照して、サーバ150の制御構造について説明する。図16は、ある実施の形態に従って、お薦めの撮影地点を提供するためにサーバ150が実行する処理の一部を表わすフローチャートである。
ステップS1610にて、サーバ150のプロセッサ151は、撮影場所のおすすめのリクエストを他ユーザから受信する。例えば、ユーザ端末201Aのユーザが、HMD110に提示される仮想空間2において、お薦めの撮影場所をリクエストするアイコンを選択すると、当該リクエストがユーザ端末201Aに接続されているコンピュータ(図示しない)からサーバ150に送信される。
ステップS1620にて、プロセッサ151は、当該リクエストを受信したことに基づいて、1つ以上のおすすめの撮影場所をストレージ154から抽出する。お薦めの撮影場所は、例えば、使用回数1318が多いアングルID1311、コメント1326にお勧めのメッセージが含まれれているアングルID1321、または、当該他ユーザのユーザ情報として予め登録されている嗜好に合致した嗜好分類1334等に基づいて抽出され得る。
ステップS1630にて、プロセッサ151は、1つ以上のおすすめの撮影場所の情報を当該他ユーザが接続しているコンピュータに送信する。当該情報は、アングルID1311、仮想空間での位置1313、姿勢情報1314、コンテンツID1315を含み得る。他ユーザは、一つ以上の組の情報を受信すると、その中から、いずれかを選択し得る。複数のコンテンツの各々について撮影情報が他ユーザに提供された場合、他ユーザは、いずれかのコンテンツを選択し得る。
ステップS1640にて、プロセッサ151は、他ユーザによって選択された撮影場所の識別情報を含む情報を当該他ユーザから受信する。受信する情報は、他ユーザのユーザIDと、コンテンツID1315と、アングルID1311とを含む。
ステップS1650にて、プロセッサ151は、選択された撮影場所を含む動画のシーンを、他ユーザが接続しているコンピュータを介して、ユーザ端末201Aに提供される仮想空間2に再生する。他ユーザは、ユーザ端末201Aのモニタ(図示しない)を視認すると、自ら選択したコンテンツを視認することができる。他ユーザは、当該コンテンツのお薦めの撮影場所において、仮想空間2における撮影動作を実行し得る。より詳しくは、他ユーザは、受信した情報に基づいてコンテンツを視聴し、お薦めの撮影場所において、風景画像として撮影し、あるいは、自らのアバターオブジェクトを仮想空間2に提示して自撮りする。他ユーザが、ユーザ端末201Aを操作して仮想空間2における撮影を行なうと、撮影が行なわれたことを示す情報がサーバ150に送信される。
ステップS1660にて、プロセッサ151は、撮影が行なわれたことを示す情報を他ユーザが使用しているユーザ端末201Aが接続しているコンピュータから受信する。ある局面において、当該情報は、ユーザID、コンテンツID、アングルID、撮影日時を含む。別の局面において、当該情報は、アバターの位置およびアバターの方向をさらに含み得る。
ステップS1670にて、プロセッサ151は、受信したデータに基づいて、データベースに使用履歴を追加する(テーブル1320)。
ステップS1680にて、プロセッサ151は、選択された撮影場所に対するコメントを他ユーザから受信する。プロセッサ151は、受信したコメントをコメント1326としてテーブル1320を更新する。
ステップS1690にて、プロセッサ151は、撮影場所を登録したユーザに当該コメントを送信する。例えば、プロセッサ151は、コンテンツの提供を受けるために登録されているユーザのアカウントに、当該コメントを送信する。別の局面において、そのユーザが登録した撮影場所が他ユーザによって使用されたことに基づいて、プロセッサ151は、テーブル1310の使用回数1318を更新する。
[データ構造]
図17を参照して、コンテンツのデータ構造について説明する。図17は、サーバ150によって配信されるコンテンツ1700の構成の一例を表わす図である。コンテンツ1700は、インデックス1710と、タグ情報1720とを含む。
図17を参照して、コンテンツのデータ構造について説明する。図17は、サーバ150によって配信されるコンテンツ1700の構成の一例を表わす図である。コンテンツ1700は、インデックス1710と、タグ情報1720とを含む。
インデックス1710は、コンテンツ1700における再生の開始位置からの場所を表わす。当該場所は、たとえば開始時刻を0とした場合における経過時間により示される。インデックス1710は、ある局面において、再生位置1316に対応する。タグ情報1720は、コンテンツ1700において各位置に割り当てられた情報を示す。
たとえば、コンテンツ1700の例では、先頭からの時間が1時間10分15秒であることを示すインデックス「01:10:15」において、撮影タグ「コンテンツプロバイダのおすすめ」が関連付けられている。サーバ150のプロセッサ151は、コンテンツ1700の配信時にこのインデックスを検出すると、撮影タグが関連付けられていることを検知し、当該シーンがプロバイダーのお薦めである旨を、コンテンツ1700の視聴者(例えば、上記の他ユーザ)に通知し得る。また、プロセッサ151は、インデックス「01:25:10」を検出すると、撮影タグが関連付けられていることを検知し、当該シーンが他のユーザに人気である旨をコンテンツ1700の視聴者に通知する。コンテンツの視聴者(例えば、ユーザ190)は、このような通知に基づいて、視聴中のコンテンツにおけるお薦めを知ることができる。
[制御構造]
図18を参照して、コンピュータ200の制御構造について説明する。図18は、ある実施の形態に従ってコンピュータ200がコンテンツ1700を再生する場合における処理の一部を表わすフローチャートである。
図18を参照して、コンピュータ200の制御構造について説明する。図18は、ある実施の形態に従ってコンピュータ200がコンテンツ1700を再生する場合における処理の一部を表わすフローチャートである。
ステップS1810にて、プロセッサ10は、HMD110のユーザ190によって選択された動画(コンテンツ1700)を仮想空間2において再生する。より詳しくは、まず、コンピュータ200は、サーバ150から、ユーザ190によって選択されたコンテンツのデータを受信する。プロセッサ10は、そのデータをHMD110における表示に適合した形式に変換し、変換後のデータをHMD110に送信する。HMD110のモニタ112は、そのデータに基づいてコンテンツの動画を仮想空間2に提示する。
ステップS1820にて、プロセッサ10は、インデックス1710を検出したことに基づいて、撮影タグが関連付けられたフレームが再生されていることを検知する。
ステップS1830にて、プロセッサ10は、その検知に応答して、撮影タグに関連付けられる位置情報(仮想空間での位置1313)および姿勢情報1314に基づいて、カメラオブジェクト100を仮想空間2に提示する。
ステップS1840にて、プロセッサ10は、カメラオブジェクト100に対するユーザ操作の検出に基づいて、そのフレームの撮影が行なわれたことを検知する。例えば、ユーザ190が、撮影のために予め定められた操作をコントローラ160に対して行なうと、その操作に応じた信号がプロセッサ10に入力され、プロセッサ10は、撮影が行なわれたことを検知する。
ステップS1850にて、プロセッサ10は、検知された情報をサーバ150に通知する。サーバ150に通知される情報は、ユーザID、コンテンツID、仮想空間での位置、姿勢情報、および撮影日時を含む。ユーザ190の仮想空間2における自撮りが行なわれた場合には、当該情報は、アバターの位置1323とアバターの方向1324とをさらに含み得る。
ステップS1860にて、プロセッサ10は、コンテンツの再生を継続する。その後、別のインデックスが検出されると、ステップS1820以降の処理が繰り返される。
ステップS1870にて、プロセッサ10は、終了指示を検出する。例えば、プロセッサ10は、コンテンツ1700の終了部分を検出したことに基づいて、あるいは、再生の途中にサーバ150またはユーザ190によって強制終了の指示が入力されたことに基づいて、再生を終了する。
[画面の表示態様]
図19を参照して、モニタ112における画面の表示態様について説明する。図19は、モニタ112がおすすめの撮影ポイントを提示する場合における画面の遷移を表わす図である。以下の画面は、例えば、HMD110を装着したユーザ190がコントローラ160を操作して、コンテンツを提供するサーバ150にアクセスしたことに基づいて、表示される。
図19を参照して、モニタ112における画面の表示態様について説明する。図19は、モニタ112がおすすめの撮影ポイントを提示する場合における画面の遷移を表わす図である。以下の画面は、例えば、HMD110を装着したユーザ190がコントローラ160を操作して、コンテンツを提供するサーバ150にアクセスしたことに基づいて、表示される。
状態Aで示されるように、ある局面において、モニタ112はたとえば「おすすめの撮影ポイントを見ますか?」というメッセージを表示する。ユーザ190がたとえば「はい」という表示を選択すると、モニタ112の画面は状態Bに切り替わる。
状態Bにおいて、モニタ112は、ユーザ190が選択可能なコンテンツを表示する。一画面に表示されない数のコンテンツが存在する場合、ユーザ190は、コントローラ160を操作して画面をスクロール表示することにより、画面を切り換えられる。ユーザ190がたとえばコンテンツ番号「1」を選択すると、画面は、その選択結果に応じて切り換わる。
より具体的には、状態Cに示されるように、モニタ112は、おすすめコンテンツ番号「1」を表示する。ユーザが「再生」を選択すると、その選択結果がコンピュータ200に送られ、プロセッサ10は、当該コンテンツの再生を始める。
状態Dに示されるように、コンテンツの再生が終了すると、ユーザ190によるコメントの入力を促す画面が表示される。ユーザ190によって入力されたコメントは、サーバ150に送信される。サーバ150は、当該コンテンツにコメントを関連付けて保存する。後日、新たなユーザが同一のコンテンツを視聴する場合に、サーバ150は、当該新たなユーザに対して蓄積されているコメントを提示し得る。新たなユーザは、そのコメントを参考にして撮影するか否かを判断できる。なお、別の局面において、当該画面は、コンテンツの再生中に表示されてもよい。例えば、ユーザ190がコンテンツの再生を一時停止し、その間にコメントを入力してもよい。このようにすると、ユーザ190によるコメントの入力漏れが防止され得る。
その後、状態Eに示されるように、コンテンツを再生した後、モニタ112は、たとえば「おすすめスポットのご利用有難うございました」といったメッセージを表示する。
[まとめ]
以上のようにして、本実施の形態によれば、まず撮影のアングルが決められ、その後、アバターが撮影画像に入れる。ユーザ190は、仮想空間2において、コンテンツ(パノラマ動画)を視認しつつ、まず撮影したいアングル(仮想カメラ1の位置)を決めると、誰がどの位置からいつ撮影したいか(あるいは、いつ撮影したか)というパノラマ動画の撮影タイミングに関するデータが得られる。このようなデータは、現実空間での撮影によって得られる2次元の撮影画像に基づくデータとは異なるものである。
以上のようにして、本実施の形態によれば、まず撮影のアングルが決められ、その後、アバターが撮影画像に入れる。ユーザ190は、仮想空間2において、コンテンツ(パノラマ動画)を視認しつつ、まず撮影したいアングル(仮想カメラ1の位置)を決めると、誰がどの位置からいつ撮影したいか(あるいは、いつ撮影したか)というパノラマ動画の撮影タイミングに関するデータが得られる。このようなデータは、現実空間での撮影によって得られる2次元の撮影画像に基づくデータとは異なるものである。
その後、同一のコンテンツを視認する一人以上のユーザが、各々に対応するアバターオブジェクトの配置を調整して、自撮りを行なうことにより、自身のアバターオブジェクトが一緒に写った撮影画像を得ることができる。サーバ150は、撮影が行なわれたアングルにおけるアバターオブジェクトの配置位置の情報も保存し得る。
アングルの情報(例えば、どの位置から、何時、誰が撮影したかを示す情報)は、コンテンツのIDに対応付けられ、コンテンツごとにサーバ150に蓄積される。その結果、サーバ150は、多くのユーザがよく撮影している箇所について、新たなユーザに撮影ポイントとしてのアングル情報を推奨することができる。また、サーバ150は、蓄積された情報に基づいて、ユーザの嗜好にあわせてアングルをリコメンドすることもできる。ユーザがそのリコメンドに基づいて撮影を行なった場合には、その撮影の結果がサーバ150に送られるので、サーバ150は、当該リコメンドに基づいて、そのアングルでユーザが撮影したか否か等のユーザの嗜好をデータベースに蓄積する。また、ユーザが、リコメンドに基づくアングルを使用した場合には、そのアングルを使用した感想を入力する等、サーバ150にフィードバックすることができる。また、サーバ150は、コンテンツごとに各アングルにおけるアバターオブジェクトの配置箇所も保存することにより、他のユーザの撮影実績に基づいて、当該コンテンツを視聴する新たなユーザに対しても、そのユーザのアバターオブジェクトの配置を適切にリコメンドできる。
サーバ150は、ユーザが撮影した画像に写った被写体に基づいて当該ユーザの関心を示すデータを収集できるので、そのデータに基づいて当該ユーザに適切な広告を配信することもできる。
本明細書に開示された技術的特徴の一部は、以下のように要約され得る。
(構成1) 仮想空間2を提供するためにコンピュータ200で実行されるプログラムであって、プログラムはコンピュータ200に、コンピュータ200に接続されるHMD110に提示される仮想空間2を定義するステップと、仮想空間2に表示される画像を撮影するためのカメラオブジェクト100を仮想空間2に提示するステップと、HMD110のユーザ190によるカメラオブジェクト100の位置または姿勢を変更するための操作を受け付けるステップと、位置を表わす位置情報または姿勢を表わす姿勢情報を保存するステップとを実行させる。
(構成1) 仮想空間2を提供するためにコンピュータ200で実行されるプログラムであって、プログラムはコンピュータ200に、コンピュータ200に接続されるHMD110に提示される仮想空間2を定義するステップと、仮想空間2に表示される画像を撮影するためのカメラオブジェクト100を仮想空間2に提示するステップと、HMD110のユーザ190によるカメラオブジェクト100の位置または姿勢を変更するための操作を受け付けるステップと、位置を表わす位置情報または姿勢を表わす姿勢情報を保存するステップとを実行させる。
(構成2) 好ましくは、カメラオブジェクト100を提示するステップは、HMD110のユーザ190の操作に基づいてカメラオブジェクト100を提示することを含む。
(構成3) 好ましくは、プログラムはコンピュータ200に、ユーザ190によるコメントの入力を受け付けるユーザインターフェイスオブジェクトを仮想空間2に提示するステップをさらに実行させる。
(構成4) 好ましくは、画像は複数のフレームを含む。複数のフレームのいずれかには、撮影を促すタグ情報が関連付けられている。カメラオブジェクト100を提示するステップは、タグ情報が関連付けられたフレームが仮想空間2に提示されたことに基づいて、カメラオブジェクト100を提示することを含む。
(構成5) 好ましくは、タグ情報は、画像の作成時に予め作成された情報、または、画像を視聴したユーザ190による撮影に基づいて当該画像に関連付けられた情報、のいずれかを含む。
(構成6) 好ましくは、プログラムはコンピュータ200に、カメラオブジェクト100の姿勢が一定時間継続したことに基づいて、カメラオブジェクト100が撮影を行なうステップをさらに実行させる。
(構成7) 好ましくは、プログラムはコンピュータ200に、HMD110のユーザ190のアバターオブジェクトを仮想空間2に配置するステップと、カメラオブジェクト100がアバターオブジェクトの撮影を行なうステップとをさらに実行させる。
(構成8) 好ましくは、位置情報および姿勢情報を保存するステップは、アバターオブジェクトが撮影された時のカメラオブジェクト100の位置情報および姿勢情報を保存することを含む。プログラムはコンピュータ200に、アバターオブジェクトの位置を表わす位置情報およびアバターオブジェクトの向きを表わす姿勢情報を保存するステップをさらに実行させる。
(構成9) 好ましくは、プログラムはコンピュータ200に、撮影が行なわれたコンテンツの識別データと、位置情報および姿勢情報とを保存するステップをさらに実行させる。
(構成10) 好ましくは、プログラムはコンピュータ200に、仮想空間2にカメラオブジェクト100が提示されていない場合に、カメラオブジェクト100を仮想空間2に提示するステップをさらに実行させる。
(構成11) 好ましくは、カメラオブジェクト100を提示するステップは、仮想空間2を共有する他ユーザによって使用されたカメラオブジェクト100の位置情報および姿勢情報に基づいて、HMD110のユーザ190のカメラオブジェクト100を提示することを含む。
(構成12) 好ましくは、プログラムはコンピュータ200に、HMD110のユーザ190の手に対応する手オブジェクトを仮想空間2に提示するステップと、ユーザ190の操作または動作に基づく手オブジェクトの動きに応じて、カメラオブジェクト100の位置および姿勢を調整するステップと、カメラオブジェクト100の姿勢が一定時間維持された後に、手オブジェクトがカメラオブジェクト100から離れた状態でカメラオブジェクト100の姿勢を維持するステップをさらに実行させる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本開示はヘッドマウントデバイスを用いてコンテンツを提供する技術に適用可能である。
1 仮想カメラ、2 仮想空間、5 基準視線、10,151 プロセッサ、11,152 メモリ、12,154 ストレージ。
Claims (14)
- 仮想空間を提供するためにコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、
前記コンピュータに接続されるヘッドマウントデバイスに提示される仮想空間を定義するステップと、
前記仮想空間に表示される画像を撮影するためのカメラオブジェクトを前記仮想空間に提示するステップと、
前記ヘッドマウントデバイスのユーザによる前記カメラオブジェクトの位置または姿勢を変更するための操作を受け付けるステップと、
前記位置を表わす位置情報または前記姿勢を表わす姿勢情報を保存するステップとを実行させる、プログラム。 - 前記カメラオブジェクトを提示するステップは、前記ヘッドマウントデバイスのユーザの操作に基づいて前記カメラオブジェクトを提示することを含む、請求項1に記載のプログラム。
- 前記プログラムは前記コンピュータに、前記ユーザによるコメントの入力を受け付けるユーザインターフェイスオブジェクトを前記仮想空間に提示するステップをさらに実行させる、請求項2に記載のプログラム。
- 前記画像は複数のフレームを含み、前記複数のフレームのいずれかには、撮影を促すタグ情報が関連付けられており、
前記カメラオブジェクトを提示するステップは、前記タグ情報が関連付けられたフレームが前記仮想空間に提示されたことに基づいて、前記カメラオブジェクトを提示することを含む、請求項1に記載のプログラム。 - 前記タグ情報は、前記画像の作成時に予め作成された情報、または、前記画像を視聴したユーザによる撮影に基づいて当該画像に関連付けられた情報、のいずれかを含む、請求項4に記載のプログラム。
- 前記プログラムは前記コンピュータに、前記カメラオブジェクトの姿勢が一定時間継続したことに基づいて、前記カメラオブジェクトが撮影を行なうステップをさらに実行させる、請求項1〜5のいずれかに記載のプログラム。
- 前記プログラムは前記コンピュータに、
前記ヘッドマウントデバイスのユーザのアバターオブジェクトを前記仮想空間に配置するステップと、
前記カメラオブジェクトが前記アバターオブジェクトの撮影を行なうステップとをさらに実行させる、請求項1〜6のいずれかに記載のプログラム。 - 前記位置情報および前記姿勢情報を保存するステップは、前記アバターオブジェクトが撮影された時の前記カメラオブジェクトの位置情報および姿勢情報を保存することを含み、
前記プログラムは前記コンピュータに、前記アバターオブジェクトの位置を表わす位置情報および前記アバターオブジェクトの向きを表わす姿勢情報を保存するステップをさらに実行させる、請求項7に記載のプログラム。 - 前記プログラムは前記コンピュータに、前記撮影された画像の識別データと、前記位置情報および前記姿勢情報とを保存するステップをさらに実行させる、請求項7または8に記載のプログラム。
- 前記プログラムは前記コンピュータに、前記仮想空間に前記カメラオブジェクトが提示されていない場合に、前記カメラオブジェクトを前記仮想空間に提示するステップをさらに実行させる、請求項1〜9のいずれかに記載のプログラム。
- 前記カメラオブジェクトを提示するステップは、前記仮想空間を共有する他ユーザによって使用された前記カメラオブジェクトの前記位置情報および前記姿勢情報に基づいて、前記ヘッドマウントデバイスのユーザの前記カメラオブジェクトを提示することを含む、請求項10に記載のプログラム。
- 前記プログラムは前記コンピュータに、
前記ヘッドマウントデバイスのユーザの手に対応する手オブジェクトを前記仮想空間に提示するステップと、
前記ユーザの操作または動作に基づく前記手オブジェクトの動きに応じて、前記カメラオブジェクトの位置および姿勢を調整するステップと、
前記カメラオブジェクトの姿勢が一定時間維持された後に、前記手オブジェクトが前記カメラオブジェクトから離れた状態で前記カメラオブジェクトの姿勢を維持するステップをさらに実行させる、請求項1〜11のいずれかに記載のプログラム。 - 請求項1〜12のいずれかに記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 - 仮想空間を提供するためにコンピュータで実行される方法であって、
前記コンピュータに接続されるヘッドマウントデバイスに提示される仮想空間を定義するステップと、
前記仮想空間に表示される画像を撮影するためのカメラオブジェクトを前記仮想空間に提示するステップと、
前記ヘッドマウントデバイスのユーザによる前記カメラオブジェクトの位置または姿勢を変更するための操作を受け付けるステップと、
前記位置を表わす位置情報または前記姿勢を表わす姿勢情報を保存するステップとを含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018082669A JP2019012517A (ja) | 2018-04-23 | 2018-04-23 | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018082669A JP2019012517A (ja) | 2018-04-23 | 2018-04-23 | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017129083A Division JP6330089B1 (ja) | 2017-06-30 | 2017-06-30 | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019012517A true JP2019012517A (ja) | 2019-01-24 |
Family
ID=65227924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018082669A Withdrawn JP2019012517A (ja) | 2018-04-23 | 2018-04-23 | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019012517A (ja) |
-
2018
- 2018-04-23 JP JP2018082669A patent/JP2019012517A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330089B1 (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 | |
JP6470356B2 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6392945B1 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6470859B1 (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP6257826B1 (ja) | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 | |
JP6321263B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2019012443A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP6470374B1 (ja) | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 | |
JP2022087111A (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
JP2019128721A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP6580624B2 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6321271B1 (ja) | コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置 | |
JP2018106579A (ja) | 情報提供方法、プログラム、および、情報提供装置 | |
JP6921789B2 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6382928B2 (ja) | 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置 | |
JP2018192238A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018206340A (ja) | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 | |
JP6878346B2 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6826082B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2021190100A (ja) | 方法、プログラム、情報処理装置 | |
JP2019012517A (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法 | |
JP6718928B2 (ja) | 映像出力システム | |
JP2019012536A (ja) | 情報提供方法、プログラム、および、情報提供装置 | |
JP2019160295A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP7030726B2 (ja) | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200525 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20210202 |