以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
[HMDシステムの構成]
図1を参照して、HMDシステム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140と、スピーカ115と、マイク119とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間2をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユーザに対応するアバターオブジェクトが、仮想空間2に提示される。
なお、オブジェクトとは、仮想空間2に存在する仮想の物体である。ある局面において、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身に着ける仮想アクセサリおよび仮想衣服、ユーザに関する情報が示されたパネルを模した仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さらに、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタであり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。ユーザ190は、予め決められたオブジェクトの中から好みのオブジェクトを仮想空間2に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するようにしてもよい。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブスクリーンと、左目用の画像を表示するためのサブスクリーンとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる。
より具体的には、ユーザ190がマイク119に向かって発話すると、当該ユーザ190の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ150は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これにより、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くことができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110のスピーカ115から出力される。
コンピュータ200は、他のユーザのコンピュータ200から受信した音声データに応じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ112に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このように、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想空間2内で複数のユーザ間での会話(チャット)が実現される。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザが共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユーザが会話を楽しむことができる。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間2を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間2を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェース13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェース13は、USB(Universal Serial Bus)インターフェース、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェース13は上述のものに限られない。
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ200など)と通信する。ある局面において、通信インターフェース14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェースとして実現される。なお、通信インターフェース14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供することもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間2をユーザ190に提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザ190が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザ190の視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。他の局面において、右コントローラ800と左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図8の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間2に配置されるハンドオブジェクト810の一例を示す。たとえば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。たとえば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。たとえば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、音声制御モジュール225と、メモリモジュール240と、通信制御モジュール250とを備える。
表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224と、視線検出モジュール226と、トラッキングモジュール227とを含む。
仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール233とを含む。
ある実施の形態において、表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュール230、および音声制御モジュール225として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェース14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、HMDセンサ120またはセンサ114からの信号に基づいて基準視線(HMD110の傾き)を検出する。視線検出モジュール226は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。トラッキングモジュール227は、ユーザ190が装着するコントローラ160の動き、つまり、ユーザ190の手の動きを検出する。より具体的には、HMDセンサ120は、コントローラ160に設けられた赤外線LED35が発する赤外線を検出してコンピュータ200に出力する。トラッキングモジュール227は、HMDセンサ120から入力される検出結果に基づいて、コントローラ160(右コントローラ800および左コントローラの各々)の位置を検出する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。オブジェクトは、たとえば、他アバターオブジェクト、仮想パネル、仮想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によって生成されたデータは、視界画像生成モジュール223に出力される。
手オブジェクト制御モジュール233は、手オブジェクトを仮想空間2に配置する。手オブジェクトは、たとえば、コントローラ160を保持したユーザ190の右手あるいは左手に対応する。ある局面において、手オブジェクト制御モジュール233は、右手あるいは左手に対応する手オブジェクトを仮想空間2に配置するためのデータを生成する。また、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の操作に応じて、手オブジェクトを動かすためのデータを生成する。手オブジェクト制御モジュール233によって生成されたデータは、視界画像生成モジュール223に出力される。
他の局面において、ユーザ190の体の一部の動き(たとえば、左手、右手、左足、右足、頭などの動き)がコントローラ160に関連付けられている場合、仮想空間制御モジュール230は、ユーザ190の体の一部に対応する部分オブジェクトを仮想空間2に配置するためのデータを生成する。仮想空間制御モジュール230は、ユーザ190が体の一部を用いてコントローラ160を操作すると、部分オブジェクトを動かすためのデータを生成する。これらのデータは、視界画像生成モジュール223に出力される。
音声制御モジュール225は、HMD110から、ユーザ190のマイク119を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、音声制御モジュール225によって特定されたコンピュータ200に送信される。音声制御モジュール225は、ネットワーク19を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ115から出力する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、オブジェクト情報242は、コントローラ160を操作するユーザ190の手に相当する手オブジェクトを仮想空間2に配置するためのデータと、各ユーザのアバターオブジェクトを仮想空間2に配置するためのデータと、仮想パネルなどのその他のオブジェクトを仮想空間2に配置するためのデータとを含む。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラムなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるとも言える。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここで言うプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。
[HMDシステムの制御構造]
図10を参照して、HMDシステム100の制御構造について説明する。図10は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。
図10に示されるように、ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間2を定義する。
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。たとえば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1040にて、プロセッサ10は、HMD110の動き検知データに含まれる位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。
ステップS1050にて、プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提示する。このとき提示されるオブジェクトは、他アバターオブジェクトを含む。
ステップS1060にて、コントローラ160は、モーションセンサ130から出力される信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコントローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1065にて、プロセッサ10は、コントローラ160から取得した検出データに基づいて、ユーザ190によるコントローラ160の操作を検出する。
ステップS1070にて、プロセッサ10は、手オブジェクトを仮想空間2に提示するための視界画像データを生成する。
ステップS1080にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール250によってHMD110に出力される。
ステップS1092にて、HMD110は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ112に表示する。
図11は、ネットワーク19に接続されるデバイスについて説明する図である。図11を参照して、複数のHMDシステム100A〜100Cがネットワーク19に接続されている。これらHMDシステム100A〜100Cの各々の構成は上述のHMDシステム100と同じである。以下、HMDシステム100Aのユーザをユーザ190A、HMDシステム100Bのユーザをユーザ190B、HMDシステム100Cのユーザをユーザ190Cと定義する。また、HMDシステム100Aに関する各構成要素の参照符号に記号Aが付され、HMDシステム100Bに関する各構成要素の参照符号に記号Bが付され、HMDシステム100Cに関する各構成要素の参照符号に記号Cが付される。たとえば、HMD110Aは、HMDシステム100Aに含まれる。
ある局面において、ネットワーク19にはさらに、映像配信サーバ170が接続されている。映像配信サーバ170は、カメラ171〜174を含む。カメラ171〜174は固定されていてもよいし、移動可能に構成されていてもよい。
[技術思想]
次に、図12〜図14を用いて本開示に従う技術思想を説明する。図12は、仮想空間2Aに展開されるイベントを説明する図である。図12を参照して、仮想空間2Aがコンピュータ200Aのプロセッサ10Aによって定義されている。
仮想空間2Aには、ユーザ190Aに対応するアバターオブジェクト1200Aと、ユーザ190Bに対応するアバターオブジェクト1200Bと、ユーザ190Cに対応するアバターオブジェクト1200Cと、アバターオブジェクト1200Nとが配置されている。アバターオブジェクト1200B、1200C、1200Nは、ペンライトオブジェクト1210B、1210C、1210Nをそれぞれ持っている。
コンピュータ200Aは、コンピュータ200B、200Cからユーザ190B、190Cの各々の動き(たとえば、HMD110B、110Cまたはコントローラ160B、160Cの動き)を表す情報を受信する。プロセッサ10Aは、当該受信した情報に基づいて、アバターオブジェクト1200B、1200Cを動かすためのデータを生成する。たとえば、プロセッサ10Aは、ペンライトオブジェクト1210Bを振っているアバターオブジェクト1200Bをモニタ112Aに表示する。これにより、ユーザ190Aは、アバターオブジェクト1200B、1200Cを介してユーザ190B、190Cの各々の現実空間における動きを認識できる。アバターオブジェクト1200Nは、ユーザによって操作されないノンプレイヤキャラクタであって予め定められた動作を行なう。
仮想カメラ1Aは、アバターオブジェクト1200の目の位置に配置される。これにより、ユーザ190Aは、アバターオブジェクト1200Aの視界を共有できる。図12に示される例において、ユーザ190Aは、仮想空間2Aに配置されているメインスクリーン1220を視認している。メインスクリーン1220は、現実空間で行なわれるイベントを表示している。イベントは、たとえば、音楽、スポーツ、舞台などのライブを含む。
より具体的には、映像配信サーバ170に設けられたカメラ171〜174は、イベント会場の互いに異なる位置に配置され、イベントを撮影する。映像配信サーバ170は、カメラ171〜174により撮影された映像をコンピュータ200Aに送信する。プロセッサ10Aは、映像配信サーバ170から受信した映像をメインスクリーン1220に表示する。これにより、ユーザ190Aは、イベントが行なわれている場所に行かずとも、仮想空間2Aにおいてイベントを楽しむことができる。
また一般的に、ユーザがイベントに対して感じる楽しさは、イベントの出演者とユーザとの距離(換言すれば、ユーザに割り当てられた席)に依存する。これに対し、ユーザ190Aは、メインスクリーン1220に大きく表示される出演者を視認できる。そのため、ユーザ190Aは、イベントをより楽しみ得る。
また、ユーザによっては、イベント中に出演者に対して大きな声援を送ったり、体を大きく動かしたりしたくても他者の目を気にして自制している。これに対し、ユーザ190Aは、他者のいない空間でHMDシステム100Aを利用することにより、他者の目を気にすることなく自ら望む行動を行ない得る。これにより、ユーザ190Aは、よりイベントへの参加意識を得られ、その結果イベントをより楽しみ得る。
また、現実空間で行なわれる人気のあるイベントのチケットは入手しづらい。これに対し、仮想空間では場所の制約がないため、ユーザ190Aは仮想空間で行なわれるイベントのチケットを容易に入手できる。また、興行主は、チケットの入手問題や、距離の問題などにより今までイベントに参加したくとも参加できなかった人に対し、イベントのチケットを販売することができる。
また、ユーザ190Aは、イベントに対してリアクションを行なうアバターオブジェクト1200B、1200C、1200Nを視認することにより、イベントへの参加意識、イベントの臨場感、および他の観客(ユーザ190B、190Cおよび現実空間でイベントに鑑賞している人)との一体感を覚え得る。
図13は、ユーザ190Aが視認する視界画像1300を表す。視界画像1300は、手オブジェクト1310を含む。コンピュータ200Aのプロセッサ10Aは、コントローラ160Aの動き(つまり、ユーザ190Aの手の動き)を手オブジェクト1310に反映する。より具体的には、プロセッサ10Aはトラッキングモジュール227Aとして、HMDセンサ120Aによるコントローラ160Aが発する赤外線の検出結果に基づいて、HMDセンサ120Aを基準としたコントローラ160Aの位置を検出する。手オブジェクト制御モジュール233Aは、較正時に検出したコントローラ160Aの位置に対する上記検出した位置との差分に基づいて、手オブジェクト1310を動かす。
視界画像1300において、アバターオブジェクト1200B、1200C、1200Nは、ペンライトオブジェクト1210B、1210C、1210Nをそれぞれ振っている。また、現実空間でイベントに参加している人がペンライトを振っている様子がメインスクリーン1220に表示されている。
このような状況において、ユーザ190Aは、他の観客との一体感を得るために自身も仮想空間2Aにおいてペンライトを振りたいと考える。そこで、ある局面においてプロセッサ10Aは、ペンライトオブジェクトをユーザ190Aが仮想空間2Aにおいて使用可能な状態にすることをユーザ190Aに促す。
一例として、プロセッサ10Aは、仮想空間2Aにポップアップ1320を配置する。ポップアップ1320は、ペンライト1330と、メッセージ1340と、ボタン1350、1360とを含む。メッセージ1340は、ユーザ190Aに対してペンライト1330に対応するオブジェクト(ペンライトオブジェクト)を仮想空間2Aに配置するか否かを問い合わせる内容である。一例として、ポップアップ1320は「ペンライトを購入しますか?」というメッセージ1340を含む。ボタン1350、1360は、メッセージ1340の問いかけに対するユーザ190Aの応答を受け付けるためのインターフェースである。より具体的には、ボタン1350はメッセージ1340の問いかけを肯定するためのインターフェースとして、ボタン1360は当該問いかけを否定するためのインターフェースとしてそれぞれ機能する。ユーザ190Aは、手オブジェクト1310とボタン1350またはボタン1360とを接触させることにより、いずれか一方のボタンを選択する。
図14は、ボタン1350が選択された場合の視界画像1400を表す。ボタン1350が押下されたことに応じて、プロセッサ10Aは、ペンライトオブジェクト1210Aを仮想空間2Aに配置する。より具体的には、プロセッサ10Aは、ペンライトオブジェクト1210Aを手オブジェクト1310に関連付けて配置する。これにより、ペンライトオブジェクト1210Aは手オブジェクト1310に連動する。
そのため、ユーザ190Aがコントローラ160Aを振ると、つまり、自身の手を振ると、手オブジェクト1310がペンライトオブジェクト1210Aを振っている視界画像がユーザ190Aに提供される。その結果、ユーザ190Aは、自身がイベントに参加している感覚および他の観客との一体感を得られるため、イベントをより楽しむことができる。
プロセッサ10Aはさらに、ボタン1350が押下されたことに応じて、ペンライトオブジェクト1210Aの対価をユーザ190Aに対して課金する処理を実行する。
なお、プロセッサ10Aは、イベントで使用されるグッズに対応するグッズオブジェクトをユーザ190Aが使用可能な状態にすることをユーザ190Aに促す構成であればよく、ペンライトオブジェクト以外のグッズオブジェクトをユーザ190Aに勧めてもよい。
このように、HMDシステム100Aは、単にイベントの映像をユーザ190Aに提供するだけでなく、イベントで使用されるグッズオブジェクトをユーザ190Aが使用可能な状態にすることで、ユーザ190Aのイベントに対する参加意識を喚起できる。以下、グッズオブジェクトをユーザに勧めるための詳細な処理について説明する。
[サーバの構成]
図15は、サーバ150のハードウェア構成およびモジュール構成を表すブロック図である。サーバ150は、主たるハードウェアとして通信インターフェース1510と、プロセッサ1520と、ストレージ1530とを備える。
通信インターフェース1510は、コンピュータ200および映像配信サーバ170などの外部の通信機器と信号を送受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通信インターフェース1510は、チューナ、高周波回路等により実現される。
プロセッサ1520は、サーバ150の動作を制御する。プロセッサ1520は、ストレージ1530に格納される各種の制御プログラムを実行することにより、送受信部1522、サーバ処理部1524、マッチング部1526として機能する。
送受信部1522は、各コンピュータ200との間で各種情報を送受信する。たとえば、送受信部1522は、仮想空間2にオブジェクトを配置する要求、オブジェクトを仮想空間2から削除する要求、オブジェクトを移動させる要求、ユーザの音声、または仮想空間2を定義するための情報などを各コンピュータ200に送信する。
また、送受信部1522は、映像配信サーバ170からカメラ171〜174により撮影されたイベントの映像データ、イベントを特定する情報(イベントID)などを受信する。受信した映像データは後述する映像DB1535に格納される。送受信部1522は、コンピュータ200からの要求に応じて、映像DB1535に格納されている映像データを要求元のコンピュータ200に配信する。これにより、コンピュータ200のユーザ190は、過去に行なわれたイベントを仮想空間2上で体験できる。
サーバ処理部1524は、コンピュータ200または映像配信サーバ170から受信した情報に基づいて、ストレージ1530に格納される各種データベースを更新する。
マッチング部1526は、複数のユーザを関連付けるための一連の処理を行なう。マッチング部1526は、たとえば、複数のユーザが同じイベント(仮想空間2)を共有するための入力操作を行った場合に、これら複数のユーザの各々のユーザID(IDentification)を関連付ける処理などを行なう。
ストレージ1530は、オブジェクトDB1531と、ユーザDB1533と、映像DB1535と、プロモーションDB1537と、視聴履歴DB1539とを含む。
オブジェクトDB1531は、各種のオブジェクト(例えば、ペンライトオブジェクト)を描画するために必要なデータを含む。ある局面において、オブジェクトDB1531は、オブジェクトの描画データと、当該オブジェクトを特定する情報(オブジェクトID)とを関連付けて保持する。プロセッサ1520は、コンピュータ200からオブジェクトIDを受信すると、当該オブジェクトIDに対応する描画データを受信元のコンピュータ200に送信する。
ユーザDB1533は、ネットワーク19に接続される各HMDシステム100のユーザを特定するための情報(ユーザID)と、ユーザの属性情報とを含む。映像DB1535は、カメラ171〜174により撮影されたイベントの映像データを含む。プロモーションDB1537は、イベントと、当該イベントに使用されるグッズ(に対応するグッズオブジェクトのオブジェクトID)とを含む。視聴履歴DB1539は、イベントを視聴中のユーザの行動(例えば、どこを視ているのか)を表すデータを含む。ユーザDB1533、映像DB1535、プロモーションDB1537、視聴履歴DB1539の詳細なデータ構造は、後述する。
(ユーザDB)
図16は、ユーザDB1533のデータ構造の一例を表す。ユーザDB1533は、ユーザIDと、年齢と、性別と、住所と、クレジット情報とを互いに関連付けて保持する。クレジット情報は、対応するユーザ190が使用しているクレジットカードの番号ならびにセキュリティコード、およびクレジットカードの発行元の情報を含み得る。ユーザ190は、予め年齢、性別、住所、クレジット情報をサーバ150に登録する。
(映像DB1535)
図17は、映像DB1535のデータ構造の一例を表す。映像DBは、イベントを特定する情報と、カメラ171〜174を特定する情報(換言すれば、イベントを見る位置(視座)を特定する情報)と、映像データとを互いに関連付けて保持する。図17に示される例において、映像DB1535は、イベント「2017年春の一大事」を、「カメラ171」で撮影することにより生成された映像データ「XXX1.AVI」を保持している。
(プロモーションDB)
図18は、プロモーションDB1537のデータ構造の一例を表す。プロモーションDB1537は、イベントを特定する情報と、イベントで行なわれる演目と、当該演目に使用されるグッズ(に対応するグッズオブジェクトのオブジェクトID)と、イベントが開始されてから演目が行なわれるタイミングとを互いに関連付けて保持する。たとえば、イベントが音楽のライブである場合、演目は各曲であり得る。他の例として、イベントがボクシングのライブである場合、演目は各試合であり得る。このように、イベントは、1以上の演目を含む。また、1以上の演目のうち少なくとも1つの演目において、当該演目に応じたグッズがイベントにおいて使用される。図18に示される例において、イベント「2017年春の一大事」の演目「熱情」において、「タオル」が使用されること、および当該演目がイベントの開始後「40分−45分」の間で行なわれることが読み取れる。
プロモーションDBに含まれる各データは、現実空間においてイベントが行なわれる前にイベント興行主により予め登録される。
[メインスクリーンとサブスクリーン]
次に、図19を用いてある実施形態に従う仮想空間におけるイベントの提供方法について説明する。図19は、ある局面においてユーザ190Aが視認する視界画像1900を表す。なお、視界画像1900は、図13に示される視界画像1300と略同じであるため、相違する部分についてのみ説明する。
視界画像1900は、サブスクリーン1910〜1940を含む。サブスクリーン1910〜1940は、メインスクリーン1220よりも小さい。プロセッサ10Aは、映像配信サーバ170からカメラ171〜174に対応する映像データを受信すると、サブスクリーン1910〜1940に当該映像データを出力する。より具体的には、サブスクリーン1910は、カメラ171がイベントを撮影することにより生成された映像を表示する。サブスクリーン1920は、カメラ172により生成された映像を表示する。サブスクリーン1930は、カメラ173により生成された映像を表示する。サブスクリーン1940は、カメラ174により生成された映像を表示する。
ポインタオブジェクト1950は、ユーザ190Aの仮想空間2Aにおける視点を表す。プロセッサ10Aは視線検出モジュール226Aとして、注視センサ140Aの出力に基づいて現実空間におけるユーザ190Aの視線を検出する。視線検出モジュール226Aは、現実空間におけるユーザ190Aの視線を、仮想カメラ1Aの位置および傾き(基準視線)に基づいて、仮想空間2Aにおける視線に変換する。仮想オブジェクト生成モジュール232Aは、仮想空間2Aにおける視線と、オブジェクトとが衝突する位置にポインタオブジェクト1950を配置する。
ある局面において、ユーザ190Aは、サブスクリーン1910〜1940に表示されている映像のうち、サブスクリーン1940に表示されている映像を大画面で見たいと感じる。その場合、ユーザ190Aは、サブスクリーン1940を選択する。一例として、ユーザ190Aは、ポインタオブジェクト1950をサブスクリーン1940に所定時間(例えば2秒)重畳することにより、サブスクリーン1940を選択する。他の例として、ユーザ190Aは、手オブジェクト1310の先端から伸びる光線をサブスクリーン1940に所定時間重畳することにより、サブスクリーン1940を選択する。プロセッサ10Aは、サブスクリーン1940がユーザ190Aに選択されたことを検出すると、サブスクリーン1940に対応する映像(カメラ174により生成された映像)をメインスクリーン1220に表示する。これにより、ユーザ190Aは、関心のある映像を大画面で見ることができる。
なお、上記の例において、プロセッサ10Aは仮想空間2Aに予め配置されているスクリーンにイベントの映像を表示するように構成されているが、イベントの表示方法はこれに限られない。たとえば、プロセッサ10Aは、仮想空間2Aを構成する天球上にイベントの映像を表示してもよい。これにより、ユーザ190Aは、より臨場感のあるイベントを楽しみ得る。なお、係る場合、映像配信サーバ170に設けられるカメラは、パノラマ画像を撮影可能に構成される。
なお、図14に示される例において、アバターオブジェクト1200Aは、ペンライトオブジェクト1210Aを持っている。ある局面において、プロセッサ10Aは、ユーザ190Aからの指示に応じて、ペンライトオブジェクト1210Aを他のオブジェクトに変更する。たとえば、プロセッサ10Aは、ペンライトオブジェクト1210Aを魚のオブジェクトに変更する。これにより、ユーザ190Aは、仮想空間2A上において通常あり得ない非日常感を楽しみ得る。
[グッズオブジェクトを勧める処理]
図20は、グッズオブジェクトをユーザ190Aに勧める処理を表すフローチャートである。図20に示される処理は、プロセッサ10Aがメモリ11またはストレージ12に格納される各種の制御プログラムを実行することにより実現される。
ステップS2005にて、プロセッサ10Aは仮想空間定義モジュール231Aとして、仮想空間2Aを定義する。ステップS2010にて、プロセッサ10Aは、サーバ150に対して、ユーザ190Aにより選択されたイベントを特定する情報(イベントID)を送信する。サーバ150は、プロモーションDB1537を参照して、イベントIDに対応する演目、当該演目に使用されるグッズに対応するグッズオブジェクトのオブジェクトID、および当該演目が行なわれるタイミング等のデータをコンピュータ200Aに送信する。プロセッサ10Aは、これらの情報(プロモーションデータ)を受信する。
ステップS2015にて、プロセッサ10Aは、ユーザ190Aに対応するアバターオブジェクト1200Aを仮想空間2Aに配置する。プロセッサ10Aはさらに、イベントに参加している他のユーザ190B、190Cに対応するアバターオブジェクト1200B、1200Cを仮想空間2Aにさらに配置する。より具体的には、プロセッサ10Aは、アバターオブジェクト1200B、1200Cの描画データ、または描画データを特定するための情報と位置情報とを受信し、これらの情報に基づいてアバターオブジェクトを配置する。また、プロセッサ10Aは、サーバ150からアバターオブジェクト1200B、1200Cの位置情報および動き情報(たとえば、HMD110Bの位置情報、コントローラ160Bの位置情報)を周期的(例えば毎秒60回)に受信し、これらの情報をアバターオブジェクト1200B、1200Cに反映する。プロセッサ10Aはさらに、ノンプレイヤキャラクタとしてのアバターオブジェクト1200Nを仮想空間2Aに配置する。
ステップS2020にて、プロセッサ10Aは、映像配信サーバ170からイベントの映像データを受け付ける。ステップS2025にて、プロセッサ10Aは、受け付けたイベントの映像を仮想空間2Aに配置されるスクリーンに表示する。一例として、プロセッサ10Aは、映像配信サーバ170からストリーミング配信される映像データを随時スクリーンに表示する。これにより、ユーザ190Aは、仮想空間2A上でイベントをリアルタイムに楽しみ得る。
ステップS2030にて、プロセッサ10Aは、プロモーションのタイミングであるか否かを判断する。たとえば、プロセッサ10Aは、イベントが開始されてから経過した時間がステップS2010で受信したプロモーションデータが表すタイミングに到達した場合に、プロモーションのタイミングであると判断する。これにより、プロセッサ10Aは、仮想空間2Aのスクリーンに表示されている演目が予め定められた演目(プロモーションデータが表す演目)である場合にプロモーションのタイミングであると判断できる。
なお、他の局面において、予め定められた演目がスクリーンに表示されるタイミング(プロモーションデータが表すタイミング)から予め定められた時間前(例えば10秒前)に到達した場合にプロモーションのタイミングであると判断してもよい。当該構成によれば、ユーザ190Aは、演目により集中できる結果、イベントをより楽しみ得る。
プロセッサ10Aは、プロモーションのタイミングであると判断した場合(ステップS2030でYES)、ステップS2035の処理を実行する。そうでない場合(ステップS2030でNO)、プロセッサ10Aはプロモーションのタイミングまで待機する。
ステップS2035にて、プロセッサ10Aは、ユーザ190Aのイベントに対する関心の度合い(以下、「熱中度」とも言う)を算出する。ある実施形態において、プロセッサ10Aは、所定期間のユーザ190Aの行動に基づいて熱中度を算出する。たとえば、所定期間は、一定時間(例えば、5秒間)、またはイベントが開始されてから現在に至るまでの時間に設定される。
一例として、プロセッサ10Aは、所定期間におけるHMD110の加速度(つまり、ユーザ190Aの頭の動き)の累積値、コントローラ160の加速度(つまり、ユーザ190Aの手の動き)の累積値、およびマイク119から出力される音声信号の振幅の累積値、のうち少なくとも1つのパラメータを用いて熱中度を算出する。プロセッサ10Aは、これらのパラメータが大きいほど、熱中度が高くなるように熱中度を算出する。
他の例として、プロセッサ10Aは、所定期間におけるユーザ190Aの表情に基づいて熱中度を算出する。より具体的には、プロセッサ10Aは、図示しないカメラ(たとえば、HMD110に設けられたカメラ)により生成されたユーザ190Aの顔画像を周期的(例えば毎秒30回)に取得する。プロセッサ10Aは、顔画像から特徴量(例えば、口角の位置、目の大きさ等)を検出し、基準画像から検出される特徴量との差分を算出する。基準画像は、ユーザ190Aの無表情の顔画像である。プロセッサ10Aは、所定期間における当該差分の累積値が大きくなるほど熱中度が高くなるように熱中度を算出する。なお、図25において他の熱中度の算出方法について説明する。
ステップS2040にて、プロセッサ10Aは、算出された熱中度に応じて課金額を決定する。より具体的には、プロセッサ10Aは、算出された熱中度が高いほど、課金額が低くなるように課金額を決定する。
ステップS2045にて、プロセッサ10Aは、仮想空間に表示されている、またはこれから表示される演目に応じたグッズに対応するグッズオブジェクトを、ユーザ190Aが仮想空間2Aにおいて使用可能な状態にすることをユーザ190Aに促す。一例として、プロセッサ10Aは、図13および図19に示されるポップアップ1320を仮想空間2Aに配置する。他の例として、プロセッサ10Aは、音声によってユーザ190Aにグッズオブジェクトを勧めるように構成されてもよい。一例として、当該処理においてプロセッサ10Aは、グッズオブジェクトを購入するか否かをユーザ190Aに問い合わせる。このとき、プロセッサ10Aは、ステップS2040で決定した課金額をユーザ190Aに通知する。
ステップS2050にて、プロセッサ10Aは、ステップS2045の処理に対するユーザ190Aの応答の入力を受け付ける。プロセッサ10Aは、当該応答が、グッズオブジェクトの購入を肯定するものであるか否かを判断する。プロセッサ10Aは、グッズオブジェクトの購入を肯定する応答が入力された場合(ステップS2050でYES)、ステップS2055の処理を実行する。そうでない場合(ステップS2050でNO)、プロセッサ10Aは、ステップS2030の処理を再び実行する。
ステップS2055にて、プロセッサ10Aは、グッズオブジェクトの対価をユーザ190Aに対して課金する処理を実行する。具体的には、プロセッサ10Aは、ステップS2040で決定した課金額と、ユーザ190AのユーザIDとをサーバ150に送信する。サーバ150のプロセッサ1520は、ユーザDB1533を参照して、受信したユーザIDに対応するクレジット情報を取得する。サーバ150は、クレジットカードの発行元(が管理運営するサーバ)に、決済に必要なクレジット情報(たとえばクレジットカードの番号、セキュリティコード、カードの名義、課金額など)を送信する。クレジットカードの発行元は、決済処理を実行する。
ステップS2060にて、プロセッサ10Aは、ユーザ190Aが購入したグッズオブジェクトに対応する現実空間のグッズの注文を受け付ける。たとえば、ユーザ190Aがペンライトオブジェクト1210Aを購入した場合、プロセッサ10Aは、ペンライトの注文を受け付ける。より具体的には、プロセッサ10Aは、ユーザ190AのユーザIDと、購入したグッズオブジェクトのオブジェクトIDをサーバ150に送信する。サーバ150のプロセッサ1520は、ユーザDB1533にアクセスして、受信したユーザIDに対応する住所を取得する。プロセッサ1520は、取得した住所と、グッズオブジェクトを特定する情報(例えば、オブジェクトID)とを、イベントの興行主が管理運営するサーバ(例えば、映像配信サーバ170)に送信する。これにより、イベントの興行主は、グッズオブジェクトに対応するグッズを、受信した住所に送付する。
上記によれば、ユーザ190Aは、現実空間においてグッズを使用、視認することにより、イベントの出演者に対する感情を高め得る。その結果、イベントの興行主は、当該出演者が行なう他のイベントにユーザ190Aを呼べる可能性を高めることができる。
ステップS2065にて、プロセッサ10Aは、購入されたグッズオブジェクトを仮想空間2Aに配置する。より具体的には、サーバ150のプロセッサ1520は、オブジェクトDB1531を参照して、ステップS2060で受信したオブジェクトIDに対応するグッズオブジェクトの描画データをコンピュータ200Aに送信する。プロセッサ10Aは、受信した描画データに基づいてグッズオブジェクトを仮想空間2Aに配置する。このとき、プロセッサ10Aは、アバターオブジェクト1200Aに関連付けてグッズオブジェクトを配置する。たとえば、プロセッサ10Aは、ペンライトオブジェクトを手オブジェクト1310に関連付けて配置する。
ステップS2070にて、プロセッサ10Aは、ユーザ190Aの動きを検出する。たとえば、プロセッサ10Aは、HMDセンサ120から入力されるコントローラ160の位置情報に基づいてユーザ190Aの手の位置を検出する。
ステップS2075にて、プロセッサ10Aは、ユーザ190Aの動きに連動するようにアバターオブジェクト1200Aを動かす。これにより、アバターオブジェクト1200Aに関連付けられたグッズオブジェクトも、ユーザ190Aの動きに連動する。
ステップS2080にて、プロセッサ10Aは、イベントが終了したか否かを判断する。たとえば、プロセッサ10Aは、映像配信サーバ170からイベントの終了を通知する信号を受信した場合に、イベントが終了したと判断する。プロセッサ10Aは、イベントが終了したと判断した場合(ステップS2080でYES)、一連の処理を終了する。そうでない場合(ステップS2080でNO)、プロセッサ10AはステップS2030の処理を再び実行する。
(グッズオブジェクトの他の勧め方)
上記の例では、プロセッサ10Aは、演目に応じたグッズオブジェクトを、当該演目が仮想空間2Aで表示されるタイミングでユーザ190Aに勧めるように構成されている。これにより、ユーザ190Aは、演目に無関係なグッズオブジェクトを勧められることによる不快感を覚えない。
他の局面において、プロセッサ10Aは、ユーザ190Aの熱中度が予め定められた閾値を超えた場合に、グッズオブジェクトをユーザ190Aが仮想空間2Aにおいて使用可能な状態にすることをユーザ190Aに促してもよい。一般的に、人は興奮しているほど購買意欲が高まる。そこで、プロセッサ10Aは、ユーザ190Aがイベントに熱中しているタイミングでグッズオブジェクトをユーザ190Aに勧めることにより、ユーザ190Aがグッズオブジェクトを購入する確率を高め得る。
さらに他の局面において、プロセッサ10Aは、ユーザ190Aの熱中度に応じて、ユーザ190Aに勧めるグッズオブジェクトの種類を変更してもよい。たとえば、プロセッサ10Aは、ユーザ190Aの熱中度が高いほど、高価なグッズオブジェクトをユーザ190Aに勧めるように構成されてもよい。
さらに他の局面において、プロセッサ10Aは、アバターオブジェクトに関連付けられたグッズオブジェクトに対するユーザ190Aの指定を受け付けた場合に、ユーザ190Aに当該グッズオブジェクトを勧めるように構成される。たとえば、ユーザ190Aは、ポインタオブジェクト1950をアバターオブジェクト1200Bに関連付けられたペンライトオブジェクト1210Bに所定時間(例えば2秒)重畳することにより、ペンライトオブジェクトを指定する。他の例として、ユーザ190Aは、手オブジェクト1310の先端から伸びる光線をペンライトオブジェクト1210Bに所定時間重畳することにより、ペンライトオブジェクトを指定する。さらに他の例として、ユーザ190Aは、手オブジェクト1310とペンライトオブジェクト1210Bとを接触させることにより、ペンライトオブジェクトを指定する。
上記によれば、プロセッサ10Aは、ユーザ190Aが他人(ノンプレイヤキャラクタを含む)が使用しているグッズオブジェクトに興味を示しているタイミングで、当該グッズオブジェクトをユーザ190Aに勧めることができる。その結果、プロセッサ10Aは、ユーザ190Aがグッズオブジェクトを購入する確率を高め得る。
[ユーザの分析]
次に、図21および図22を用いて、サーバ150がユーザ190Aを分析するための構成について説明する。図21は、イベントを視聴中のユーザ190Aに関するデータをプロセッサ10Aがサーバ150に送信する処理を表すフローチャートである。図21に示される処理は、仮想空間2Aにおいてイベントの映像が表示されることにより実行される。
ステップS2110にて、プロセッサ10Aは、仮想空間2Aにおけるユーザ190Aの視点(たとえば、ポインタオブジェクト1950の位置)を検出する。一例として、プロセッサ10Aは、メインスクリーン1220におけるユーザ190Aの視点位置を検出する。
ステップS2120にて、プロセッサ10Aは、HMD110Aの位置、つまり、ユーザ190Aの頭の位置を検出する。ステップS2130にて、プロセッサ10Aは、コントローラ160Aの位置、つまり、ユーザ190Aの手の位置を検出する。ステップS2140にて、プロセッサ10Aは、現在ユーザ190Aによって選択されている映像(メインスクリーン1220に表示されている映像)に対応するカメラ(つまり、選択されている映像の視座)を検出する。
ステップS2150にて、プロセッサ10Aは、ステップS2110〜S2140で検出された各種データと、ユーザ190AのユーザIDと、イベントが開始されてから現在までに経過した時間(タイミング)とを関連付けてサーバ150に送信する。
ステップS2160にて、プロセッサ10Aは、イベントが終了したか否かを判断する。たとえば、プロセッサ10Aは、映像配信サーバ170からイベントが終了したことを表す信号を受信した場合に、イベントが終了したと判断する。プロセッサ10Aは、イベントが終了したと判断されるまで、ステップS2110〜S2150の処理を周期的(例えば、1秒毎)に繰り返す。
なお、他の局面において、プロセッサ10Aは、ステップS2110〜S2140で検出される検出される各種データのうち、少なくとも1つのデータをサーバ150に送信するように構成されてもよい。また、プロセッサ10Aは、マイク119Aから入力される音声信号から抽出される文字列や、当該音声信号の振幅値などをサーバ150に送信してもよい。
(視聴履歴DB1539)
図22は、視聴履歴DB1539のデータ構造の一例を表す。図22を参照して、視聴履歴DB1539は、ユーザIDと、イベントを特定する情報と、視点位置と、頭の位置と、手の位置と、カメラを特定する情報(つまり、視座を特定する情報)と、タイミングとを含む。イベントを特定する情報を除く他のデータは、ステップS2150でコンピュータ200Aから受信したデータに対応する。なお、図22に示される例において視点位置が2次元情報として表されているのは、メインスクリーン1220におけるユーザ190Aの視点位置を表しているためである。
サーバ150は、イベントの興行主に、視聴履歴DB1539に保持されるデータのうち当該イベントに対応するデータを提供する。これにより、イベントの興行主は、イベントに対するユーザの行動を把握できる。より具体的には、興行主は、ユーザが「いつ」、「何を見ていて」、「何をしていたか」、を理解できる。また、興行主は、ユーザの好みのカメラワークを把握できる。
現実空間で行なわれるイベントに参加するユーザは、センサを備えていない。そのため、従来、興行主はイベントに参加するユーザの行動を把握することが難しかった。これに対し、仮想空間で行なわれるイベントに参加するユーザは、各種のセンサを備える。そのため、興行主は、上記のようにイベントに参加するユーザの行動を把握できる。これにより、興行主は、ユーザの行動を分析し、よりユーザの嗜好に合わせたイベントを提供し得る。
[ユーザが視認していた動画をユーザに勧める]
上述のように、ユーザ190Aは、イベントを視聴している間、適宜サブスクリーン1910〜1940のいずれかを選択することにより、メインスクリーン1220に表示される映像を切り替える。
ユーザ190Aは、一度見たイベントを再び見たいと思う場合もある。そこで、ある局面において、サーバ150は、メインスクリーン1220に表示されていた映像(以下、「メイン映像」とも言う)をコンピュータ200Aに配信する。
以下、図23を用いて、具体的なメイン映像の配信方法について説明する。図23は、サーバ150がコンピュータ200Aにメイン映像を配信する処理を表すフローチャートである。
ステップS2305にて、プロセッサ10Aは、イベントが終了したか否かを判断する。プロセッサ10Aは、イベントが終了したと判断した場合、ステップS2310の処理を実行する。
ステップS2310にて、プロセッサ10Aは、メイン映像のプロモーションを実行する。たとえば、プロセッサ10Aは、上述のポップアップ1320と同様に、ユーザ190Aにメイン映像の購入を問いかけるポップアップを仮想空間2Aに配置する。
ステップS2315にて、プロセッサ10Aは、ユーザ190Aがメイン映像を購入するか否かを判断する。より具体的には、プロセッサ10Aは、ステップS2310の問い合わせに対するユーザ190Aの応答入力に基づいて、上記判断を行なう。プロセッサ10Aは、ユーザ190Aがメイン映像を購入すると判断した場合(ステップS2315でYES)、ステップS2320の処理を実行する。そうでない場合(ステップS2315でNO)、プロセッサ10Aは、一連の処理を終了する。
ステップS2320にて、プロセッサ10Aは、メイン映像の対価をユーザ190Aに課金する処理を実行する。この処理は、上述のステップS2055の処理を同様であるため、繰り返し説明しない。
ステップS2325にて、プロセッサ10Aは、ユーザ190AのユーザIDと、イベントを特定する情報とを関連付けてサーバ150に送信する。ステップS2330にて、サーバ150のプロセッサ1520は、これらの情報を受信する。
ステップS2335にて、プロセッサ1520は、視聴履歴DB1539にアクセスして、受信したユーザIDおよびイベントを特定する情報に対応するタイミングと、カメラを特定する情報とを取得する。ステップS2340にて、プロセッサ1520は、映像DB1535にアクセスして、イベントに対応する複数の映像データを取得する。プロセッサ1520はさらに、取得した複数の映像データと、タイミングと、カメラを特定する情報とに基づいてメイン映像を作成する。
ステップS2345にて、プロセッサ1520は、作成したメイン映像をコンピュータ200Aに送信する。ステップS2350にて、プロセッサ10Aは、サーバ150からメイン映像を受信する。
上記の構成によれば、ユーザ190Aは、自身が見ていたイベントの映像(メイン映像)を再び視聴できる。
[ノンプレイヤキャラクタの制御]
次に、ノンプレイヤキャラクタ(以下、「NPC」とも言う)であるアバターオブジェクトの動作の制御方法について説明する。たとえば、仮想空間2Aに存在するアバターオブジェクトの数が少ない場合、ユーザ190Aは、他の観客との一体感を覚えにくい場合がある。
そこで、プロセッサ10Aは、他のユーザに対応するアバターオブジェクトの数が予め定められた目標値に満たない場合、目標値との差分に応じた数のNPC(アバターオブジェクト)を仮想空間2Aに配置する。目標値は、たとえば、仮想空間2Aが広いほど、大きい値に設定され得る。
仮に、仮想空間2Aに配置されるNPCがすべて同じ動きをした場合、ユーザ190Aは違和感を覚え得る。現実空間においてイベントに参加するユーザが全く同じ動きを行なうことはあり得ないためである。そこで、ある実施形態に従うプロセッサ10Aは、複数のNPCを複数のグループ(例えば、3グループ)に分類し、各グループごとに異なる動きを行なうように制御する。たとえば、隣接するNPC同士が異なるグループに属するように、NPCを分類する。これにより、ユーザ190AはNPCが同じ動きをしていると気づきにくくなるためである。また、プロセッサ10Aは、複数のNPCの各々に異なる動きをさせる制御に比して少ない処理負担で、NPCの動きを制御できる。
ところで、演目に応じて参加者が決まった動きを行なう場合がある。たとえば、特定の楽曲において、イベントの参加者が左右に揺れ動く場合がある。係る場合、NPCが参加者と同様の動きを行なわない場合、ユーザ190Aは違和感を覚え得る。他のユーザのアバターオブジェクトの動きおよびスクリーンに表示される参加者の動きと、NPCの動きとが異なるためである。また、このような他の観客の動きと異なるNPCの動きは、イベントの雰囲気を損なう可能性がある。たとえば、バラード曲に合わせて他の観客(他のユーザのアバターオブジェクトを含む)がゆっくり動いているときにNPCが激しく動いている場合、ユーザ190Aのイベント(演目)に対する感動が薄れる可能性がある。
そこで、ある局面において、プロセッサ10Aは、演目に応じてNPCの動きを制御する。たとえば、コンピュータ200Aは、イベントにおける演目のリストと、当該演目のジャンル(例えば、バラード、ロック等)とをサーバ150から受信する。これらの情報は、予め興行主によってサーバ150に登録されている。プロセッサ10Aは、演目のジャンルに応じてNPCの動きを制御する。当該構成によれば、HMDシステム100Aは、ユーザ190AがNPCの動きに違和感を覚えることを抑制し得る。
さらに他の局面において、ユーザ190Aが既に行なわれたイベントを視聴する場合、プロセッサ10Aは、演目に応じた過去の他のユーザの動き(アバターオブジェクトの動き)をNPCに反映させる。
(他人の動きをNPCに反映させる処理)
図24は、過去の他のユーザの動きをNPCに反映させる処理を表すフローチャートである。図24に示される処理は、ユーザ190Aが既に行なわれたイベントを視聴する指示をプロセッサ10Aに入力したことに応答して実行される。
ステップS2410にて、プロセッサ10Aは、サーバ150から過去の他のユーザの動き情報を受信する。より具体的には、プロセッサ10Aは、ユーザ190Aから既に行なわれたイベントを視聴する指示を受け付けると、当該イベントを特定する情報をサーバ150に送信する。サーバ150は、視聴履歴DB1539にアクセスして、当該イベントに対応するタイミング、頭の位置、および手の位置の情報をコンピュータ200Aに送信する。
ステップS2420にて、プロセッサ10Aは、仮想空間2Aに1以上のNPCを配置する。ステップS2430にて、プロセッサ10Aは、仮想空間2Aに表示されている映像に対応する演目を特定する。たとえば、コンピュータ200Aは、予めサーバ150から演目と、イベントにおいて当該演目が行なわれるタイミングとの関係を保持するテーブルをサーバ150から受信する。プロセッサ10Aは、イベントを開始してからの経過時間と当該テーブルとに基づいて、演目を特定する。
ステップS2440にて、プロセッサ10Aは、ステップS2410で受信した他のユーザの動き情報のうち、上記特定された演目に対応する他人の動き情報を特定する。プロセッサ10Aは、特定された他のユーザの動き情報をNPCに反映する。その際、プロセッサ10Aは、配置されているNPCを複数のグループ(例えば、3グループ)に分類し、各グループごとに、異なる他人の動き情報を反映する。
ステップS2450にて、プロセッサ10Aは、仮想空間に表示されている演目が変更されたか否かを判断する。プロセッサ10Aは、演目が変更されたと判断した場合(ステップS2450でYES)、ステップS2430の処理を再び実行する。そうでない場合(ステップS2450でNO)、プロセッサ10Aはイベントが終了したか否かを判断する(ステップS2460)。プロセッサ10Aはイベントが終了したと判断した場合(ステップS2460でYES)、一連の処理を終了する。そうでない場合(ステップS2460でNO)、プロセッサ10AはステップS2450の処理を再び実行する。
上記によれば、ある実施形態に従うHMDシステム100Aは、NPCに他のユーザの動きを反映することにより、ユーザ190AがNPCの動きに違和感を覚えることを一層抑制し得る。また、ユーザ190Aは、NPCおよび、スクリーンに表示されている参加者たちと同じ動きを行なうことにより、他の観客(NPCを含む)との一体感を一層覚え得る。
なお、上記の例では、既に行なわれたイベントにユーザ190Aが参加する場合に、他のユーザの動きをNPCに反映する処理について説明したが、仮想空間上でイベントを中継する場合にも、他のユーザの動きをNPCに反映してもよい。たとえば、サーバ150は、演目が切り替わったタイミングで、所定時間(例えば、10秒間)にわたり複数のユーザの動きを表す情報を収集し、当該情報をコンピュータ200Aに送信する。プロセッサ10Aは、サーバ150から受信した情報をNPCに反映する。当該構成によれば、ユーザ190Aは、仮想空間2A上でイベント中継を視聴する場合にも、NPCに対して違和感を覚えにくくなる。
[熱中度に応じたイベント]
図25は、ある実施形態に従う熱中度の算出方法について説明する図である。ユーザ190Aは、ある局面において図25に示される視界画像2500を視認する。
図25を参照して、手オブジェクト1310にはペンライトオブジェクト1210Aが関連付けられている。ユーザ190Aは、この状態で自身の右コントローラ800を後ろから前に振る。プロセッサ10Aは右コントローラ800(またはHMDセンサ120)からの入力に基づいて、手オブジェクト1310およびペンライトオブジェクト1210Aを矢印2510の方向に動かす。これに伴い、プロセッサ10Aは、ペンライトオブジェクト1210Aの先端に熱中オブジェクト2520を配置するとともに、熱中オブジェクト2520を矢印2510の方向に移動させる。プロセッサ10Aは、熱中オブジェクト2520とメインスクリーン1220とが接触した場合、その旨とユーザ190AのユーザIDとをサーバ150に送信する。
サーバ150は、コンピュータ200Aから上記の情報を受信すると、ユーザ190AのユーザIDに設定されたカウント値をインクリメントする。このカウント値は、熱中度を表す。サーバ150は、仮想空間上でイベントに参加している全ユーザのカウント値の合計値(以下、「カウント合計値」とも言う)を、当該全ユーザの各々のコンピュータに送信する。サーバ150はさらに、各ユーザIDのカウント値の順位を対応するコンピュータに送信する。
コンピュータ200Aのプロセッサ10Aは、上記サーバ150から受信する情報に基づいて、視界画像2500に含まれるメーター2540と、順位2550とを表示する。メーター2540は、カウント合計値を視覚的に表す。順位2550は、仮想空間上でイベントに参加している人の中での、ユーザ190Aのカウント値の順位を表す。
ユーザ190Aは、他のユーザと一緒にペンライトオブジェクトを振ってメーター2540に示されるカウント合計値を増やす。これにより、ユーザ190Aは、他のユーザとの一体感を覚えることができる。また、ユーザ190Aは、順位2550を見て他のユーザよりもペンライトオブジェクト1210Aを振ろうと考え得る。
サーバ150は、カウント合計値が予め定められた値に到達すると、その旨を表す情報を各コンピュータに送信するとともに、各ユーザのカウント値を0にする(初期化する)。コンピュータ200Aのプロセッサ10Aは、サーバ150から当該情報を受信すると、予め定められた演出を仮想空間2Aで実行する。
図26は、仮想空間2Aにおける演出の一例を表す。図26に示される視界画像2600において、ドームオブジェクト2610が配置されている。これは、カウント合計値が予め定められた値に到達したことに応じて、まるで仮想空間2A上で爆発が生じているように演出するために配置されたものである。カウント合計値に応じて演出が行なわれるため、ユーザ190Aは、他のユーザとの一体感および達成感を覚え得る。
上記の例では、熱中オブジェクトとメインスクリーンとの接触回数に基づく演出を行なう条件について説明したが、演出が行なわれる条件はこれに限られない。以下、図27を用いて演出を行なう他の条件について説明する。
図27は、熱中度に応じて演出を行なう処理を表すフローチャートである。図27に示される処理は、イベントを含む仮想空間を提供する各コンピュータと、サーバ150とによって1フレームごと(たとえば、毎秒30回)に実現される。以下では、一例として、コンピュータ200Aおよびサーバ150の処理について説明する。
ステップS2705にてプロセッサ10Aは、熱中オブジェクト2520とメインスクリーン1220とが接触したか否かを判断する。プロセッサ10Aは、これらが接触したと判断した場合(ステップS2705でYES)、第1の値を熱中度に計上する(ステップS2710)。
ステップS2715にて、プロセッサ10Aは、マイク119Aから入力される音声信号の振幅(音量)が所定値以上であるか否かを判断する。プロセッサ10Aは、音量が所定値以上であると判断した場合(ステップS2715でYES)、第2の値を熱中度に計上する(ステップS2720)。
ステップSステップS2725にて、プロセッサ10Aは、HMD110Aの加速度(ユーザ190Aの頭の加速度)が所定値以上であるか否かを判断する。たとえば、プロセッサ10Aは、センサ114の出力に基づいてHMD110Aの加速度を算出し、当該判断を行なう。プロセッサ10Aは、HMD110Aの加速度が所定値以上である場合(ステップS2725でYES)、第3の値を熱中度に計上する(ステップS2730)。
ステップS2732にて、プロセッサ10Aは、ステップS2705〜ステップS2730の結果に基づいて、1フレームあたりに計上した値の積算値を算出し、算出結果をサーバ150に送信する。
ステップS2735にて、サーバ150のプロセッサ1520は、各コンピュータ200から受信した積算値を、今までに算出されたカウント合計値に加算する。その結果、現時点におけるカウント合計値が算出される。
ステップS2740にて、プロセッサ1520は、算出したカウント合計値が所定値に到達したか否かを判断する。プロセッサ1520は、カウント合計値が所定値に到達したと判断した場合(ステップS2740でYES)、各コンピュータ200に演出信号を送信し(ステップS2745)、その後、カウント合計値をリセットする(ステップS2750)。そうでない場合(ステップS2740でNO)、プロセッサ1520は、一連の処理を終了する。
ステップS2755にて、プロセッサ10Aは、サーバ150から演出信号を受信したか否かを判断する。プロセッサ10Aは、演出信号を受信したと判断した場合(ステップS2755でYES)、予め定められた演出を仮想空間2Aにおいて実行する。そうでない場合(ステップS2755でNO)、プロセッサ10Aは一連の処理を終了する。
上記のように、プロセッサ10Aは、熱中オブジェクト2520とメインスクリーン1220との接触回数以外の要素を考慮して熱中度(カウント値)を算出して、演出を実行するか否かを判断してもよい。
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1) ある実施形態に従うと、HMD110Aによって仮想空間2Aを提供するためにコンピュータ200Aで実行されるプログラムが提供される。このプログラムはコンピュータ200Aに、仮想空間2Aを定義するステップ(ステップS2005)と、現実空間で行なわれるイベントを撮影して得られる映像の入力をサーバ150または映像配信サーバ170から受け付けるステップ(ステップS2020)と、入力された映像を仮想空間2Aに表示するステップ(ステップS2025)と、イベントで使用されるグッズに対応するグッズオブジェクト(たとえばペンライトオブジェクト1210A)を、HMD110Aのユーザ190Aが仮想空間2Aにおいて使用可能な状態にすることをユーザ190Aに促すステップ(ステップS2045)とを実行させる。
上記によれば、ユーザ190Aは、イベントで使用されるグッズを仮想空間で使用できる。これにより、HMDシステム100Aは、ユーザ190Aのイベントへの参加意識を高め得る。また、当該グッズは現実空間および仮想空間に存在する他の観客も使用し得る。そのため、ユーザ190Aは、グッズを使用することにより他の観客との一体感を覚え得る。
(構成2) (構成1)においてイベントは、1以上の演目を含む。1以上の演目のうち少なくとも1つの演目において、当該演目に応じたグッズが使用される。上記促すステップは、仮想空間2Aに表示されている演目に応じたグッズに対応するグッズオブジェクトを、ユーザ190が仮想空間2Aにおいて使用可能な状態にすることをユーザ190Aに促す(ステップS2045)ことを含む。
ある局面において、イベントの出演者が、演目に応じたグッズの使用を観客に促すことがある。上記構成によれば、HMDシステム100Aは、ユーザ190Aに演目に応じたグッズの使用を促すことにより、ユーザ190Aのイベント参加意識および他の観客および出演者との一体感をより高め得る。また、ユーザ190Aは、適切なタイミング(演目に応じたタイミング)でグッズの使用を推奨されるため、当該推奨に対する不快感を覚えにくい。
(構成3) (構成1)または(構成2)に従うプログラムはコンピュータ200Aに、促すステップに対するユーザ190Aの入力に応じてユーザ190Aに課金するステップ(ステップS2050〜S2055)をさらに実行させる。
(構成4) (構成3)に従うプログラムはコンピュータ200Aに、イベントに対するユーザ190Aの関心の度合いを算出するステップ(ステップS2035)をさらに実行させる。上記課金するステップは、検出された関心の度合いに応じた金額をユーザ190Aに課すること(ステップS2040)を含む。
(構成5) (構成1)〜(構成4)のいずれかに従うプログラムはコンピュータ200Aに、促すステップに対するユーザ190Aの入力に応じて、グッズオブジェクトに対応する現実空間のグッズの注文を受け付けるステップ(ステップS2060)をさらに実行させる。
上記によれば、ユーザ190Aは、現実空間においてグッズを使用、視認することにより、イベントの出演者に対する感情を高め得る。その結果、イベントの興行主は、当該出演者が行なう他のイベントにユーザ190Aを呼べる可能性を高め得る。
(構成6) (構成1)〜(構成5)のいずれかにおいて、上記促すステップは、グッズオブジェクトが使用される演目が仮想空間2Aに表示されるタイミングから予め定められた時間前に、グッズオブジェクトをユーザ190Aが使用可能な状態にすることをユーザ190Aに促すことを含む。
上記によれば、HMDシステム100Aは、演目が始まる前にユーザ190Aに対してグッズオブジェクトの使用を促すことができる。その結果、ユーザ190Aは、演目により集中できるため、イベントをより楽しみ得る。
(構成7) (構成1)〜(構成6)のいずれかにおいて、上記促すステップは、グッズオブジェクトを含むポップアップ1320を仮想空間2Aに配置することを含む。
(構成8) (構成1)〜(構成7)プログラムはコンピュータ200Aに、イベントに対するユーザ190Aの関心の度合いを検出するステップ(ステップS2035)をさらに実行させる。上記促すステップは、検出された関心の度合いに基づいてグッズオブジェクトを、ユーザ190が仮想空間2Aにおいて使用可能な状態にすることをユーザ190に促すことを含む。
上記によれば、HMDシステム100Aは、ユーザ190Aが興奮状態であるときに、ユーザ190Aにグッズオブジェクトの使用を推奨できる。これにより、HMDシステム100Aは、ユーザがグッズオブジェクトを使用する可能性を高め得る。
(構成9) (構成8)において、促すステップは、検出された関心の度合いに応じたグッズオブジェクトを、ユーザ190Aが仮想空間2Aにおいて使用可能な状態にすることをユーザ190に促すことを含む。
上記によれば、ユーザ190Aは、自身のイベントに対する関心の度合いを高める行動をとり得る。その結果、ユーザ190Aは、よりイベントを楽しみ得る。
(構成10) (構成1)〜(構成9)のいずれかに従うプログラムはコンピュータ200Aに、仮想空間2Aにアバターオブジェクト(たとえば、アバターオブジェクト1200Bおよび1200N)を配置するステップ(ステップS2015)と、アバターオブジェクトに関連付けられたグッズオブジェクトに対するユーザ190Aの指定を受け付けたことに基づいて、当該グッズオブジェクトをユーザ190Aが使用可能な状態にすることをユーザ190Aに促すステップとをさらに実行させる。たとえば、プログラムは、ユーザ190Aがアバターオブジェクトに関連付けられた(アバターオブジェクトが使用している)グッズオブジェクトを所定時間にわたり眺めることにより、上記指定を受け付ける。
上記によれば、ユーザ190Aは、自身がグッズオブジェクトに関心を示したタイミングで、当該グッズオブジェクトの推奨を受ける。このように、ユーザ190Aは、適切なタイミングでグッズの使用を推奨されるため、当該推奨に対する不快感を覚えにくい。
(構成11) (構成1)〜(構成10)のいずれかにおいて、プログラムはコンピュータ200Aに、仮想空間2Aに1体以上のNPCを配置するステップ(ステップS2420)と、仮想空間2Aに表示されている演目に応じて、NPCの動きを制御するステップ(ステップS2430)とをさらに実行させる。
上記によれば、HMDシステム100Aは、演目に応じた自然な動きをNPCに反映することができる。これにより、HMDシステム100Aは、NPCの動きと、他の観客に対応するアバターオブジェクトの動きとの差異を減らし得る。その結果、ユーザ190Aは、NPCに対して違和感を覚えにくくなり、イベントにより集中できる。
(構成12) (構成11)において、プログラムはコンピュータ200Aに、1以上の演目のうちの第1の演目に対する、ユーザ190Aとは異なる他のユーザ190Bの動きを表すデータの入力を受け付けるステップ(ステップS2410)をさらに実行させる。NPCの動きを制御するステップは、第1の演目が仮想空間2Aに表示されている期間の少なくとも一部の期間において、入力されたデータに基づいてNPCの動きを制御すること(ステップS2440)を含む。
上記によれば、HMDシステム100Aは、NPCに過去のユーザの動きを反映できるため、より自然なNPCの動きを実現できる。また、HMDシステム100Aは、予め演目に応じたNPCの動きデータを用意する必要がなくなる。
(構成13) (構成11)または(構成12)において、プログラムはコンピュータ200Aに、イベントに対するユーザ190Aの関心の度合いを検出するステップ(ステップS2705〜S2730)と、検出したユーザ190Aの関心の度合いをサーバ150に送信するステップ(ステップS2732)と、サーバ150から、ユーザ190Aの関心の度合いと、ユーザ190Aとは異なる他のユーザのイベントに対する関心の度合いとに基づく予め定められた条件が満たされたことを示す演出信号をサーバ150から受け付けるステップ(ステップS2755)と、演出信号を受け付けた場合に、仮想空間2Aで予め定められた演出を実行するステップ(ステップS2760)とをさらに実行させる。
上記によれば、ユーザ190Aは、他の観客(ユーザ)と協力して演出を起こすことができる。そのため、ユーザ190Aは、他の観客との一体感を覚え得る。
(構成14) (構成1)〜(構成13)のいずれかに従う映像の入力を受け付けるステップは、イベントを複数の視座に配置されたカメラ171〜174で撮影して得られる複数の映像の入力を受け付けることを含む。映像を仮想空間2Aに表示するステップは、複数の映像を仮想空間2Aに配置される複数のサブスクリーン1910〜1940にそれぞれ表示することと、複数のサブスクリーン1910〜1940のいずれかの選択の入力をユーザ190Aにより受け付けることと、選択を受け付けたサブスクリーンに対応する映像を、仮想空間2Aに配置されるサブスクリーンよりも大きいメインスクリーン1220に表示することとを含む。
上記によれば、ユーザ190Aは、自身の関心のある映像を大画面で見ることができる。
(構成15) (構成14)において、プログラムはコンピュータ200Aに、メインスクリーン1220に表示されていた映像をサーバ150から受信するステップ(ステップS2350)をさらに実行させる。
上記によれば、ユーザ190Aは、自身が見ていたイベントの映像(メイン映像)を好きなタイミングで再び視聴できる。
(構成16) (構成15)において、プログラムはコンピュータ200Aに、メインスクリーン1220に表示されていた映像を受信することに対してユーザ190Aに課金するステップ(ステップS2320)をさらに実行させる。
(構成17) (構成1)〜(構成16)において、プログラムはコンピュータ200Aに、仮想空間2Aにおけるユーザ190Aの視点を検出するステップ(ステップS2110)と、イベントにおけるタイミングと視点とを関連付けた状態でサーバ150に出力するステップ(ステップS2150)とをさらに実行させる。
上記によれば、イベントの興行主は、イベントにおいてユーザ190Aがどのタイミングでどんなコンテンツに関心を示したのかを把握できる。
(構成18) (構成17)において、プログラムはコンピュータ200Aに、ユーザ190Aの動きを検出するステップ(ステップS2120〜S2130)をさらに実行させる。出力するステップは、視点とタイミングと、当該タイミングに対応するユーザ190Aの動きとを関連付けた状態でサーバ150に出力すること(ステップS2150)を含む。
上記によれば、イベントの興行主は、ユーザ190Aがイベントのどのタイミングでどんな行動をとっていたのかを把握できる。
(構成19) (構成17)または(構成18)に従う映像の入力を受け付けるステップは、イベントを複数の視座に配置されたカメラ171〜174で撮影して得られる複数の映像の入力を受け付けることを含む。映像を仮想空間2Aに表示するステップは、複数の映像を仮想空間2Aに配置される複数のサブスクリーン1910〜1940にそれぞれ表示することと、複数のサブスクリーン1910〜1940のいずれかの選択をユーザ190Aから受け付けることと、選択を受け付けたサブスクリーンに対応する映像を、仮想空間2Aに配置されるサブスクリーンよりも大きいメインスクリーン1220に表示することとを含む。プログラムはコンピュータ200Aに、選択を受け付けたサブスクリーンに対応する映像が撮影された位置(つまり、視座)をサーバ150に出力するステップ(ステップS2140〜S2150)をさらに実行させる。
上記によれば、イベントの興行主は、ユーザ190Aの好みのカメラワークを把握できる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。