JP2020038468A - Program, information processor and method - Google Patents
Program, information processor and method Download PDFInfo
- Publication number
- JP2020038468A JP2020038468A JP2018164972A JP2018164972A JP2020038468A JP 2020038468 A JP2020038468 A JP 2020038468A JP 2018164972 A JP2018164972 A JP 2018164972A JP 2018164972 A JP2018164972 A JP 2018164972A JP 2020038468 A JP2020038468 A JP 2020038468A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- user
- view
- hmd
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000033001 locomotion Effects 0.000 claims description 131
- 238000002834 transmittance Methods 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 55
- 210000003128 head Anatomy 0.000 description 33
- 238000004891 communication Methods 0.000 description 32
- 230000036544 posture Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 30
- 210000001508 eye Anatomy 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 210000003811 finger Anatomy 0.000 description 7
- 210000002683 foot Anatomy 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Abstract
Description
本発明は、プログラム、情報処理装置、および方法に関する。 The present invention relates to a program, an information processing device, and a method.
特許文献1に、仮想空間に第2カメラおよび鏡オブジェクトを配置し、さらに、第2カメラの視野にプレイヤキャラタクが配置されている場合には、鏡オブジェクトにプレイヤキャラクタの外観を移り込み画像として表示するHMDシステムが開示されている。 In Patent Document 1, a second camera and a mirror object are arranged in a virtual space, and when a player character is arranged in the field of view of the second camera, the appearance of the player character is transferred to the mirror object as an image. An HMD system for displaying is disclosed.
従来の技術には、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供できる余地がある。 In the related art, there is room for providing useful information to the user without reducing the visibility of the user in the virtual space.
本開示の一態様は、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供することを目的とする。 An object of one embodiment of the present disclosure is to provide useful information to a user without lowering the visibility of the user in the virtual space.
本発明の一態様によれば、プロセッサを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、第1ユーザに関連付けられる第1アバターと第2ユーザに関連付けられる第2アバターとを含む、仮想空間を定義するステップと、第1ヘッドマウントデバイスが関連付けられた第1ユーザの頭部の動きに応じて、第1アバターからの第1視界を制御するステップと、第1視界内では視覚化され、第2アバターからの第2視界内では視覚化されない、透過設定された第1オブジェクトを、第1視界内に配置するステップと、第1オブジェクトに、第1情報を表示するステップと、第1視界に対応する第1視界画像を第1ヘッドマウントデバイスに表示するステップと、を実行させる。 According to one embodiment of the present invention, there is provided a program executed by a computer including a processor. The program includes instructions to a processor for defining a virtual space including a first avatar associated with a first user and a second avatar associated with a second user; Controlling the first field of view from the first avatar in response to the movement of the head; and Arranging one object in a first field of view, displaying first information on the first object, and displaying a first field of view image corresponding to the first field of view on a first head mounted device; Is executed.
本開示の一態様によれば、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供できる。 According to an embodiment of the present disclosure, information useful to the user can be provided to the user without lowering the visibility of the user in the virtual space.
〔実施形態1〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[Embodiment 1]
Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are the same. Therefore, detailed description thereof will not be repeated. In one or more embodiments described in the present disclosure, the elements included in each embodiment can be combined with each other, and the combined product forms a part of the embodiments described in the present disclosure.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
The configuration of an HMD (Head-Mounted Device)
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
The
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
In one aspect, the
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 may be worn on the head of the
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, monitor 130 may be implemented as a transmissive display. In this case, the
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, monitor 130 may include a sub-monitor for displaying a right-eye image and a sub-monitor for displaying a left-eye image. In another aspect, the
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
In one aspect, the
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
In another aspect, the
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
In another aspect, the
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
The
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
The
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
The
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
In one aspect,
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
In a certain situation, the
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
The
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
The
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
The
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
[Computer hardware configuration]
With reference to FIG. 2, a
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
The input /
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain aspects, input /
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
The
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
In one aspect, the
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example illustrated in FIG. 2, the configuration in which the
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In one embodiment, in the
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
In one aspect, the
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing a uvw visual field coordinate system set in
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
As illustrated in FIG. 3, the
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
In a certain situation, when the
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
After the uvw view coordinate system is set to the
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one mode of expressing virtual space 11 according to an embodiment. The virtual space 11 has a spherical structure that covers the
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
In a certain situation, in the virtual space 11, an XYZ coordinate system having the
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
When the
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
The uvw visual field coordinate system is defined for the
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
The
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
The line of sight of the
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
[User's eyes]
The determination of the line of sight of the
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In a certain situation, the
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
When the
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
[Visibility area]
The
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
As shown in FIG. 6, the
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
As shown in FIG. 7, the
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭部に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
As described above, the inclination of the
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
While wearing the
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
In one aspect, the
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect,
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
[controller]
An example of the
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
As shown in FIG. 8, in one aspect, the
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
The
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
In an aspect, the
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of the
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
[Server hardware configuration]
Referring to FIG. 9,
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
The
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
The input /
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
The
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
In an aspect, the
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[Control device of HMD]
The control device of the
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
As shown in FIG. 10, the
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
The
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
The
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
The
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
When each of the objects arranged in the virtual space 11 collides with another object, the
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭部の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
In one aspect,
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
When detecting an utterance using the
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。 The space information holds one or more templates defined for providing the virtual space 11.
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
The user information holds a user ID for identifying the
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
The data and programs stored in the
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール510及びレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510及びレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, the
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
The processing in the
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart showing a part of processing executed in HMD set 110 according to an embodiment.
図11に示されるように、ステップS1110において、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
As shown in FIG. 11, in step S1110, the
ステップS1120において、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
At step S1120, the
ステップS1130において、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1130, the
ステップS1132において、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
In step S1132, the
ステップS1134において、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
In step S1134, the
ステップS1140において、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
In step S1140, the
ステップS1150において、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
In step S1150, the
ステップS1160において、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160,
ステップS1170において、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
In step S1170,
ステップS1180において、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1180,
ステップS1190において、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
In step S1190, the
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
[Avatar object]
With reference to FIGS. 12A and 12B, an avatar object according to the present embodiment will be described. Hereinafter, an avatar object of each
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A〜200Dは、HMD120A〜120Dを介して、ユーザ5A〜5Dに、仮想空間11A〜11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
FIG. 12A is a schematic diagram illustrating a situation in which each
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
In an aspect, the processor 210A may place the
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
FIG. 12B is a diagram illustrating a
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
In the state of FIG. 12B, the
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
The operation of the
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
FIG. 13 is a sequence chart showing a part of processing executed in
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the operation of the
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires avatar information for determining the operation of the
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A〜5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMDセット110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320,
続いて、サーバ600から各HMDセット110A〜110Cに送信されたアバター情報に基づいて、各HMDセット110A〜110Cは、ステップS1330A〜S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
Subsequently, based on the avatar information transmitted from the
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates information on the avatar objects 6B and 6C of the
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information on the avatar objects 6A, 6C of the
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表わすブロック図である。図14に示されるように、コントロールモジュール510は、仮想オブジェクト生成モジュール1421、仮想カメラ制御モジュール1422、操作オブジェクト制御モジュール1423、アバターオブジェクト制御モジュール1424、動き検出モジュール1425、衝突検出モジュール1426、および仮想オブジェクト制御モジュール1427を備えている。
[Detailed configuration of module]
The details of the module configuration of the
仮想オブジェクト生成モジュール1421は、各種の仮想オブジェクトを仮想空間11に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、およびステージオブジェクト、UI(User Interface)オブジェクトを含み得る。
The virtual
仮想カメラ制御モジュール1422は、仮想空間11における仮想カメラ14の挙動を制御する。仮想カメラ制御モジュール1422は、例えば、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)とを制御する。
The virtual
操作オブジェクト制御モジュール1423は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを制御する。ユーザ5は、操作オブジェクトを操作することによって、例えば、仮想空間11に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザ5の手に相当する手オブジェクト(仮想手)等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The operation
アバターオブジェクト制御モジュール1424は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール1424は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール1424は、コントローラ300の動きをアバターオブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。アバターオブジェクト制御モジュール1424は、動き検出モジュール1425が検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール1424は、ユーザ5の顔の動作をアバターオブジェクトに反映する。
The avatar
動き検出モジュール1425は、ユーザ5の動きを検出する。動き検出モジュール1425は、例えば、コントローラ300の出力に応じて、ユーザ5の手の動きを検出する。動き検出モジュール1425は、例えば、ユーザ5の身体に装着されるモーションセンサの出力に応じて、ユーザ5の身体の動きを検出する。動き検出モジュール1425は、ユーザ5の顔器官の動作を検出することもできる。
The
衝突検出モジュール1426は、仮想空間11に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール1426は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール1426は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール1426は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール1426は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。衝突検出モジュール1426は、これらの検出結果に基づいて、予め定められた処理を実行する。
When each of the virtual objects arranged in the virtual space 11 collides with another virtual object, the
仮想オブジェクト制御モジュール1427は、仮想空間11において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトを移動させる。
The virtual
[視聴者の仮想空間]
図15は、ある実施の形態に従う仮想空間11Aおよび視界画像1517Aを示す図である。図15(A)では、ユーザ5A(第1ユーザ)に仮想体験を提供するための仮想空間11Aに、アバターオブジェクト6A〜6D、仮想カメラ14A、およびステージオブジェクト1532が少なくとも配置される。ユーザ5Aは、頭部にHMD120Aを装着している。ユーザ5Aは、ユーザ5Aの身体の右側の一部を構成する右手(第1部位)で右コントローラ300RAを把持し、ユーザ5Aの身体の左側の一部を構成する左手(第2部位)で左コントローラ300LAを把持している。アバターオブジェクト6A(第1アバター)は、仮想右手1531RAおよび仮想左手1531LAを含む。仮想右手1531RAは操作オブジェクトの一種であり、ユーザ5Aの右手の動きに応じて仮想空間11Aにおいて動くことができる。仮想左手1531LAは操作オブジェクトの一種であり、ユーザ5Aの左手の動きに応じて仮想空間11Aにおいて動くことができる。
[Audience virtual space]
FIG. 15 is a diagram showing a
図15(A)に示す仮想空間11Aは、コンピュータ200Aにおいてライブコンテンツが再生されることによって、構築される。仮想空間11Aにおいて、アバターオブジェクト6Bは、ライブの演者としてパフォーマンスを実行し、アバターオブジェクト6Aを含む他のアバターオブジェクトは、ライブの視聴者としてパフォーマンスを視聴する。仮想空間11Aにおいて、アバターオブジェクト6A〜6Dは、それぞれ、ユーザ5A〜5Dに個別に関連付けられている。
The
仮想空間11Aにおいて、アバターオブジェクト6B(第2アバター)は、ステージオブジェクト1532上に配置される。ステージオブジェクト1532は、現実のライブ会場におけるステージを模した外観を有している。アバターオブジェクト6A、6C、および6Dは、いずれも、ステージオブジェクト1532の手前に配置される。仮想空間11Aにおいて、アバターオブジェクト6Bは、ユーザ5B(第2ユーザ)の動きに応じて動くことによって、ライブのパフォーマンスを実行する。仮想空間11Aにおいて、アバターオブジェクト6Aは、アバターオブジェクト6Bによるパフォーマンスを視聴する。このとき、ユーザ5Cに提供される仮想空間11Cにおいて、アバターオブジェクト6Cは、アバターオブジェクト6Bによって実行されたパフォーマンスを視聴する。同様に、ユーザ5Dに提供される仮想空間11Dにおいて、アバターオブジェクト6Dは、アバターオブジェクト6Bによって実行されたパフォーマンスを視聴する。したがって、ユーザ5Bが演者であり、かつ、ユーザ5A、5C、および5Dが視聴者であるとも言える。
In the
図15(A)において、仮想カメラ14Aは、アバターオブジェクト6Aの頭部に配置される。仮想カメラ14Aは、仮想カメラ14Aの位置および向きに応じた視界領域15Aを規定する。仮想カメラ14Aは、視界領域15Aに対応する視界画像1517Aを生成して、図15(B)に示すようにHMD120Aに表示させる。ユーザ5Aは、視界画像1517Aを視認することによって、アバターオブジェクト6Aの視点で仮想空間の一部を視認する。これにより、ユーザ5Aは、あたかもユーザ5A自身がアバターオブジェクト6Aであるかのような仮想体験を、得ることができる。視界画像1517Aには、パフォーマンスを実行するアバターオブジェクト6Bが含まれる。したがって、ユーザ5Aは、アバターオブジェクト6Bによるパフォーマンスを、アバターオブジェクト6Aの視点で視聴することができる。
In FIG. 15A, the
仮想空間11Aには、異なる複数のアバターオブジェクト6Bが配置されることもできる。ある局面では、複数のアバターオブジェクト6Bにそれぞれ異なるユーザ5が関連付けられる。別の局面では、複数のアバターオブジェクト6Bに同一のユーザ5Bが関連付けられる。
A plurality of
[演者の仮想空間]
図16は、ある実施の形態に従う仮想空間11Bおよび視界画像1617Bを示す図である。図16(A)では、ユーザ5Bに仮想体験を提供するための仮想空間11Bに、アバターオブジェクト6A〜6D、仮想カメラ14B、およびステージオブジェクト1532が少なくとも配置される。ユーザ5Bは、頭部にHMD120B(第1ヘッドマウントデバイス)を装着している。ユーザ5Bは、ユーザ5Bの身体の右側の一部を構成する右手(第1部位)で右コントローラ300RBを把持し、ユーザ5Bの身体の左側の一部を構成する左手(第2部位)で左コントローラ300LBを把持している。
[Performer's virtual space]
FIG. 16 is a diagram illustrating a
HMD120Bは、モーションセンサとして機能するセンサ190を備える。右コントローラ300RBおよび左コントローラ300LBは、モーションセンサ420を備える。ユーザ5Bは、さらに、モーションセンサ1641〜1643を装着している。モーションセンサ1641は、ベルト1644によってユーザ5Bの腰部に装着されている。モーションセンサ1642は、ユーザ5Bの右足の甲に装着されている。モーションセンサ1643は、ユーザ5Bのユーザ5Bの左足の甲に装着されている。モーションセンサ1641〜1643は、有線または無線によってコンピュータ200Bに接続されている。
The
ある局面において、ユーザ5Bに装着されるモーションセンサは、ベースステーション(図示しない)から照射される信号(例えば赤外線レーザ)の到達時間と角度とを検出する。コンピュータ200Bのプロセッサ210B(以下、単にプロセッサ210B)は、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ210Bは、さらに、ベースステーションに対するモーションセンサの位置を、所定点(例えば頭部に装着されたセンサ190の位置)を基準として規格化してもよい。
In a certain situation, the motion sensor mounted on the
アバターオブジェクト6Bは、仮想右手1531RBおよび仮想左手1531LBを含む。仮想右手1531RBは操作オブジェクトの一種であり、ユーザ5Bの右手の動きに応じて仮想空間11Bにおいて動くことができる。仮想左手1531LAは操作オブジェクトの一種であり、ユーザ5Bの左手の動きに応じて仮想空間11Bにおいて動くことができる。
The avatar object 6B includes a virtual right hand 1531RB and a virtual left hand 1531LB. The virtual right hand 1531RB is a kind of operation object, and can move in the
図16(A)に示す仮想空間11Bは、コンピュータ200Bにおいてライブコンテンツが再生されることによって、構築される。仮想空間11Aおよび11Bは、サーバ600の制御に応じて互いに同期している。ユーザ5Bは、アバターオブジェクト6Bにパフォーマンスを実行させるために、自身の身体を動かす。コンピュータ200Bは、ユーザ5Bに装着される各種のモーションセンサの出力に基づいて、ユーザ5Bの動きを検出する。仮想空間11Bにおいて、アバターオブジェクト6Bは、特定されたユーザ5Bの動きに応じて、現実空間におけるユーザ5Bの動きが反映されたパフォーマンスを実行する。仮想空間11Bにおいて、アバターオブジェクト6A、6C、および6Dは、アバターオブジェクト6Bによるパフォーマンスを視聴する。仮想空間11Bにおいてアバターオブジェクト6Bがユーザ5Bに動きに応じたパフォーマンスを実行すると、それに同期して、仮想空間11A、11C、および11Dにおいてもアバターオブジェクト6Bが同じパフォーマンスを実行する。このように、ユーザ5Bは、アバターオブジェクト6Bによるライブを、ユーザ5A、5C、および5Dにそれぞれ配信する配信者としての役割を有する。
The
図16(A)において、仮想カメラ14Bは、アバターオブジェクト6Bの頭部に配置される。仮想カメラ14Bは、仮想カメラ14Bの位置および向きに応じた視界領域15Bを規定する。仮想カメラ14Bは、視界領域15Bに対応する視界画像1617Bを生成して、図16(B)に示すようにHMD120Bに表示させる。ユーザ5Bは、視界画像1617Bを視認することによって、アバターオブジェクト6Bの視点で仮想空間の一部を視認する。これにより、ユーザ5Bは、あたかもユーザ5B自身がアバターオブジェクト6Bであるかのような仮想体験を、得ることができる。視界画像1617Bには、パフォーマンスを視聴するアバターオブジェクト6A、6C、および6Dが含まれる。したがって、ユーザ5Bは、アバターオブジェクト6Bによるパフォーマンスを視聴するアバターオブジェクト6A、6C、および6Dの様子を、アバターオブジェクト6Bの視点で把握することができる。
In FIG. 16A, the
[ライブ配信フロー]
図17は、HMDシステム100において実行される処理の一例を示すシーケンス図である。以下では、仮想空間11Bにおいて行われるアバターオブジェクト6Bのライブを、コンピュータ200Bからコンピュータ200Aに対して配信するための一連の処理を説明する。コンピュータ200Cおよび200Dに対しても、同様の一連の処理に基づいてアバターオブジェクト6Bのライブが配信される。
[Live distribution flow]
FIG. 17 is a sequence diagram illustrating an example of processing executed in the
ステップS1701において、プロセッサ210Bは、ユーザ5Bに装着されたモーションセンサから、ユーザ5Bの頭部、腰部、両手、および両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ5Bの部位の位置を「位置情報」とも言う。ステップS1702において、プロセッサ210Bは、ユーザ5Bの現在の位置情報と、予め取得されたユーザ5Bの寸法データとに基づいて、ユーザ5Bの関節の回転方向を算出する。寸法データは、ユーザ5Bの身体の寸法を表すデータである。寸法データおよび回転方向については後述する。現在の位置情報を検出することおよび回転方向を算出すること、ユーザ5Bの動きを検出することと同義である。
In step S1701, the processor 210B detects the positions of the head, the waist, both hands, and both feet of the
ステップS1703において、プロセッサ210Bは、現在の位置情報および回転方向に基づいて、仮想空間11Bに配置されるアバターオブジェクト6Bを動かす。プロセッサ210Bは、例えば、右肩の回転方向に基づいて、アバターオブジェクト6Bの右上腕部を動かす。プロセッサ210Bはさらに、現在の位置情報(例えば現在の腰部の位置情報)に基づいて、アバターオブジェクト6Bの仮想空間11Bにおける位置を動かす。これにより、プロセッサ210Bは、現実空間のユーザ5Bの動きが仮想空間のアバターオブジェクト6Bに反映させる。言い換えれば、プロセッサ210Bは、アバターオブジェクト6Bに、ユーザ5Bの動きに応じたパフォーマンスを実行させる。
In step S1703, the processor 210B moves the
ユーザ5Bの動きをアバターオブジェクト6Bに反映させるための処理は、上述した位置情報および回転方向に応じた処理に限定されない。プロセッサ210Bは、例えば、回転方向を算出することなく、ユーザ5Bの動きに応じてアバターオブジェクト6Bを動かすこともできる。プロセッサ210Bは、例えば、ユーザ5Bの身体を構成する各部位の位置に対応するように、ユーザ5Bの各部位に対応するアバターオブジェクト6Bの各部位オブジェクトの位置を制御するようにしてもよい。
The processing for reflecting the movement of the
ステップS1704において、プロセッサ210Bは、パフォーマンスを実行した際のアバターオブジェクト6Bの動きを表す動き情報を生成し、この動き情報を含むアバターオブジェクト6Bのアバター情報をサーバ600に送信する。
In step S1704, the processor 210B generates motion information indicating the motion of the
ステップS1710において、コンピュータ200Aのプロセッサ210A(以下、単にプロセッサ210A)は、アバターオブジェクト6Aのアバター情報をサーバに送信する。ステップS1720において、サーバ600は、仮想空間11Aおよび11Bを同期するための同期処理を実行する。詳細には、サーバ600は、コンピュータ200Bから受信したアバターオブジェクト6Bのアバター情報を、コンピュータ200Aに送信する。サーバ600は、さらに、コンピュータ200Aから受信したアバターオブジェクト6Aのアバター情報を、コンピュータ200Bに送信する。
In step S1710, the processor 210A of the
ステップS1705において、プロセッサ210Bは、サーバ600から送信されたアバターオブジェクト6Aのアバター情報を受信する。ステップS1706において、プロセッサ210Bは、受信したアバター情報に基づいて、仮想空間11Bにおいてアバターオブジェクトを制御する。これにより、仮想空間11Aにおけるアバターオブジェクト6Aの挙動が、仮想空間11Bにおけるアバターオブジェクト6Aに反映される。言い換えれば、アバターオブジェクト6Aの挙動が、仮想空間11Aおよび11Bにおいて同期される。例えば、仮想空間11Aにおいてアバターオブジェクト6Aが移動した場合、仮想空間11Bにおいてもアバターオブジェクト6Aは同様に移動する。
In step S1705, the processor 210B receives the avatar information of the
ステップS1711において、プロセッサ210Aは、サーバ600から送信されたアバターオブジェクト6Bのアバター情報を受信する。ステップS1712において、プロセッサ210Aは、受信したアバター情報に含まれる動き情報に基づいて、アバターオブジェクト6Bを動かす。これにより、プロセッサ210Bは、現実空間のユーザ5Bの動きを、仮想空間11Aに配置されるアバターオブジェクト6Bに反映させる。言い換えれば、プロセッサ210Aは、仮想空間11Aにおいて、アバターオブジェクト6Bにユーザ5Bの動きに応じたパフォーマンスを実行させる。これにより、仮想空間11Bにおけるアバターオブジェクト6Bの挙動が、仮想空間11Aにおけるアバターオブジェクト6Bに反映される。言い換えれば、アバターオブジェクト6Bの挙動が、仮想空間11Aおよび11Bにおいて同期される。例えば、仮想空間11Bにおいてアバターオブジェクト6Bが第1パフォーマンスを実行した場合、仮想空間11Aにおいてもアバターオブジェクト6Bは同様に第1パフォーマンスを実行する。このようにして、仮想空間11Bにおけるアバターオブジェクト6Bのライブが、仮想空間11Aに配信される。
In step S1711, the processor 210A receives the avatar information of the
図示しないが、プロセッサ210Bは、ユーザ5Bが発した音声を、マイク170Bを用いて録音する。プロセッサ210Bは、ユーザ5Bの音声を表す音声データを生成し、サーバ600に送信する。サーバ600は、受信したユーザ5Bの音声データを、同期処理によってコンピュータ200Aに送信する。プロセッサ210Aは、受信したユーザ5Bの音声データが表す音声を、スピーカ180Aに出力する。これらの一連の処理の結果、ユーザ5Aは、ライブ中にユーザ5Bが発した音声を、リアルタイムに聴取することができる。
Although not shown, the processor 210B records the voice uttered by the
[寸法データの取得]
図18は、寸法データの取得方法を説明するための図である。図18(A)は、ユーザ5Bが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図18(A)に示される状態を第1姿勢とも言う。図18(B)は、ユーザ5Bが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図18(B)に示される状態を第2姿勢とも言う。
[Acquisition of dimension data]
FIG. 18 is a diagram for explaining a method of acquiring dimension data. FIG. 18A shows a state in which the
ある局面において、プロセッサ210Bは、ユーザ5Bに対し第1姿勢および第2姿勢をとるように促す。一例として、プロセッサ210Bは、第1姿勢および第2姿勢のキャラクタをモニタ130Bに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ210Bは、第1姿勢および第2姿勢をとる旨の音声をスピーカ180Bから出力してもよい。
In an aspect, the processor 210B prompts the
プロセッサ210Bは、2つの姿勢(第1姿勢と第2姿勢)のそれぞれにおいて、ユーザ5Bに装着されたモーションセンサの出力に基づいてユーザ5Bの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図19に示されるように実座標系(x、y、z)における位置として取得され得る。
The processor 210B acquires the position information of the head, waist, both hands, and both feet of the
プロセッサ210Bは、2つの姿勢に対応する位置情報からユーザ5Bの寸法データを算出する。ある実施形態において、プロセッサ210Bは、図20に示されるように、ユーザ5Bの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データとして算出する。プロセッサ210Bは、第2姿勢における両手の間隔を肩幅として算出し得る。プロセッサ210Bは、第1姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ210Bは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ210Bは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ210Bは、第1姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
The processor 210B calculates the dimension data of the
図21は、寸法データを取得するための処理を表すフローチャートである。ステップS2110において、プロセッサ210Bは、仮想空間11Bに仮想カメラ14Bを配置する。プロセッサ210Bはさらに、仮想カメラ14Bの撮影範囲に対応する視界画像17Bをモニタ130Bに出力する。
FIG. 21 is a flowchart illustrating a process for acquiring dimension data. In step S2110, the processor 210B arranges the
ステップS2120において、プロセッサ210Bは、ユーザ5Bに第1姿勢になるように指示する。例えば、プロセッサ210Bは、当該指示が記されたオブジェクトを仮想空間11Bに配置することでステップS2120の処理を実現する。ステップS2130において、プロセッサ210Bは、第1姿勢に対応する位置情報を取得する。
At step S2120, processor 210B instructs
ステップS2140において、プロセッサ210Bは、ユーザ5Bに第2姿勢になるように指示する。ステップS2150において、プロセッサ210Bは、第2姿勢に対応する位置情報を取得する。
At step S2140, processor 210B instructs
ステップS2160において、プロセッサ210Bは、第1姿勢に対応する位置情報と第2姿勢に対応する位置情報とから、ユーザ5Bの寸法データを算出する。プロセッサ210Bは、寸法データをストレージ230Bに格納する。
In step S2160, processor 210B calculates the dimension data of
以上のように、ユーザ5Bは、2つの姿勢をとるだけで、自身の寸法をコンピュータ200Bに容易に入力できる。なお、他の局面において、ユーザ5Bは、自身の寸法をキーボード等の入力デバイスを用いてコンピュータ200Bに入力してもよい。
As described above, the
[関節の回転方向]
ある実施形態において、プロセッサ210Bは、ユーザ5Bに装着された6つのモーションセンサの出力(位置情報)と、寸法データとに基づいて、ユーザ5Bの関節の回転方向を推定する。一例として、プロセッサ210Bは、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。プロセッサ210Bは、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学(Inverse Kinematics)を利用した公知のアプリケーションにより実行され得る。
[Rotation direction of joint]
In one embodiment, the processor 210B estimates the rotation direction of the joint of the
ある実施形態において、プロセッサ210Bは、6つのモーションセンサから、ユーザ5Bの首(頭部)、腰、両手首、および両足首の関節の傾き(回転方向)を取得する。加えて、プロセッサ210Bは、逆運動学に基づいて、両肩、両肘、両股(足のつけ根)、両膝の関節の回転方向を推定する。図22に示されるように、プロセッサ210Bは、各関節の回転方向をuvw視野座標系で取得または推定する。
In an embodiment, the processor 210B acquires the inclination (rotation direction) of the joint (rotation direction) of the neck (head), waist, both wrists, and both ankles of the
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、プロセッサ210Bは、ユーザ5Bが正面を向いていないとき(つまり、頭部と腰部とが異なる方向を向いているとき)の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ200Bは、モーションセンサによって検出されるユーザ5Bの部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ200Bは、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ200Bは、関節の回転方向の精度を向上し得る。
When the rotation direction is calculated based on the position information and the dimension data, the processor 210B performs processing when the
[ライブ進行処理フロー]
図23は、ある実施の形態に従うHMDセット110Bにおいて実行される処理の一部を表すシーケンスチャートである。図24は、ある実施の形態に仮想空間2411Bおよび視界画像2417Bを示す図である。本実施形態では、少なくともHMDセット110Bが、アバターオブジェクト6Bのライブを進行させるための一連の処理を実行する。
[Live progress processing flow]
FIG. 23 is a sequence chart showing a part of processing executed in HMD set 110B according to an embodiment. FIG. 24 is a diagram illustrating a
ステップS2301において、プロセッサ210Bは、図24(A)に示すような仮想空間2411Bを定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210Bは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間2411Bを定義する。図24(A)では、仮想空間2411Bは、アバターオブジェクト6A〜6Dを含む。仮想空間2411Bは、アバターオブジェクト6Bのライブをアバターオブジェクト6A等が視聴する仮想空間である。言い換えれば、仮想空間2411Bは、アバターオブジェクト6Bによるパフォーマンスが行われる仮想空間2411Bである。
In step S2301, the processor 210B defines a
ステップS2302において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、ステージオブジェクト1532を生成し、仮想空間2411Bに配置する。ステージオブジェクト1532は、その上でアバターオブジェクト6Bがパフォーマンスを実行するための仮想オブジェクトの一種である。ステップ2303において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、ユーザ5B(第1ユーザ)に関連付けられるアバターオブジェクト6B(第1アバター)を生成し、仮想空間2411Bに配置する。図24(A)では、アバターオブジェクト6Bは、ステージオブジェクト1532上に配置される。図示しないが、プロセッサ210Bは、任意のタイミングで、アバターオブジェクト6Bのアバター情報を生成し、かつサーバ600に送信する。ステップS2304において、プロセッサ210Bは、仮想カメラ14Bを生成し、仮想空間2411Bに配置する。
In step S2302, the processor 210B generates the
ステップS2305において、プロセッサ210Bは、アバターオブジェクト6A、6C、および6Dの各アバター情報を、サーバ600から受信する。ステップS2306において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、受信した各アバター情報に基づいて、ユーザ5A(第2ユーザ)、5C、および5Dにそれぞれ関連付けられるアバターオブジェクト6A(第2アバター)、6C、および6Dを、仮想空間2411Bに配置する。プロセッサ210Bは、さらに、他のアバターオブジェクト6のアバター情報も受信し、かつ他のアバターオブジェクト6も仮想空間2411Bに配置する。仮想空間2411Bには、他のアバターオブジェクト6が多数配置されているが、図24等では、説明の便宜のため、その図示を省略する。以降、特に必要がない限り、他のアバターオブジェクト6には言及しない。
In step S2305, the processor 210B receives the avatar information of the avatar objects 6A, 6C, and 6D from the
ステップ2307において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、透過設定された鏡面体オブジェクト2441(第1オブジェクト)を生成し、アバターオブジェクト6Bからの視界領域15B(第1視界)内に配置する。鏡面体オブジェクト2441は、仮想空間2411Bにおける視界領域15B内で視覚化される。図24(A)では、鏡面体オブジェクト2441が配置される位置は、アバターオブジェクト6Bと対向する位置である。アバターオブジェクト6Bから見ると、鏡面体オブジェクト2441はアバターオブジェクト6Aに重畳している。言い換えれば、鏡面体オブジェクト2441は、仮想空間2411Bにおいてアバターオブジェクト6Aとアバターオブジェクト6Bとの間に配置される。
In
鏡面体オブジェクト2441は、テキストおよび画像(静止画、動画)などの各種の情報を表示可能な表示面を有する。プロセッサ210Bは、鏡面体オブジェクト2441の表示面をアバターオブジェクト6Bに向けた状態で、鏡面体オブジェクト2441を仮想空間2411Bに配置する。鏡面体オブジェクト2441の透過度は、ユーザ5Bが鏡面体オブジェクト2441の背後をユーザ5Bが視認可能である鏡面体オブジェクト2441の状態を示す任意の値を取り得る。鏡面体オブジェクト2441が完全に透明な場合の鏡面体オブジェクト2441の透過度を100(最高値)とし、鏡面体オブジェクト2441が完全に不透明な場合の鏡面体オブジェクト2441の透過度を0(最低値)とすると、鏡面体オブジェクト2441の透過度は0を上回りかつ100以下のいずれかの値を取る。プロセッサ210Bは、例えば、ライブの進行中に、鏡面体オブジェクト2441の透過度の値を同一値に維持することができる。
The
ステップS2308において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、仮想カメラ2442(仮想視点)を生成し、鏡面体オブジェクト2441に関連付けて配置する。仮想カメラ2442は、アバターオブジェクト6Bの少なくとも一部を撮影することによって、アバターオブジェクト6Bの少なくとも一部を示すアバター画像2444を生成する仮想カメラである。図24(A)では、仮想カメラ2442は、仮想カメラ2442の撮影方向をアバターオブジェクト6Bに向けた状態で、鏡面体オブジェクト2441上に配置される。仮想カメラ2442は、鏡面体オブジェクト2441に関連付けられた状態で、鏡面体オブジェクト2441と異なる位置に配置されてもよい。
In step S2308, the processor 210B generates a virtual camera 2442 (virtual viewpoint) as the virtual
プロセッサ210Bは、仮想カメラ2442の撮影方向に基づいて、仮想カメラ2442からの視界領域2443(第3視界)を規定する。視界領域2443は、仮想カメラ2442による撮影範囲に相当する。プロセッサ210Bは、アバターオブジェクト6Bの少なくとも一部が視界領域2443内に含まれるように、視界領域2443を制御する。図24(A)では、アバターオブジェクト6Bの全部が、視界領域2443内に含まれる。仮想カメラ2442は、ユーザBによって視認されない仮想カメラである。プロセッサ210Bは、仮想カメラ14Bが仮想カメラ2442によって撮影されないことを、仮想カメラ14Bに設定する。プロセッサ210Bは、さらに、仮想カメラ2442が仮想カメラ14Bによって撮影されないことを、仮想カメラ2442に設定する。
The processor 210B defines a view area 2443 (third view) from the
ステップS2309において、プロセッサ210Bは、仮想カメラ制御モジュール1422として、仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの現在の前面を表すアバター画像2444を、リアルタイムに生成する。アバター画像2444は、仮想カメラ2442からの視界領域2443に対応する視界画像(第2視界画像)である。仮想空間2411Bにおいて仮想カメラ2442の視界領域2443に仮想カメラ14Bが配置されているが、仮想カメラ14Bには仮想カメラ2442による撮影不可が設定されているので、アバター画像2444には仮想カメラ14Bの像が含まれない。言い換えれば、プロセッサ210Bは、仮想空間2411Bにおける仮想カメラ2442の視界領域2443をレンダリングする際、仮想カメラ14Bをレンダリングの対象から外す。
In step S2309, the processor 210B generates the
プロセッサ210Bは、生成したアバター画像2444に、所定の透過度を設定する。アバター画像2444の透過度は、例えば、鏡面体オブジェクト2441の透過度と同一である。アバター画像2444の透過度は、鏡面体オブジェクト2441の透過度と異なっていても良い。ステップS2310において、プロセッサ210Bは、仮想オブジェクト制御モジュール1427として、透過設定されたアバター画像2444を、鏡面体オブジェクト2441にリアルタイムに表示する。プロセッサ210Bは、例えば、アバター画像2444を左右反転させた状態で鏡面体オブジェクト2441に表示する。これにより、アバターオブジェクト6Bの鏡像が、鏡面体オブジェクト2441にリアルタイムに映し出される。その結果、鏡面体オブジェクト2441は、アバターオブジェクト6Bの現在の正面を映し出す仮想的な鏡として機能する。
The processor 210B sets a predetermined transparency to the generated
ステップS2311において、プロセッサ210Bは、仮想カメラ制御モジュール1422として、HMD120Bが関連付けられたユーザ5Bの頭部の動きに応じて、アバターオブジェクト6Bからの視界領域15Bを制御する。詳細には、プロセッサ210Bは、HMD120Bの動きに応じて仮想空間2411Bにおける仮想カメラ14Bの位置および傾きを決定し、決定された仮想カメラ14Bの位置および傾きに応じて、視界領域15Bを制御する。当該処理は、図11のステップS1140の処理の一部に相当する。仮想カメラ14Bがアバターオブジェクト6Bと同一の位置に配置されるので、仮想カメラ14Bの位置は、アバターオブジェクト6Bの位置と同義である。さらに、仮想カメラ14Bからの視界は、アバターオブジェクト6Bからの視界と同義である。
In step S2311, the processor 210B controls the
ステップS2312において、プロセッサ210Bは、視界画像2417Bをモニタ130Bに表示する。具体的には、プロセッサ210Bは、HMD120Bの動き(すなわち仮想カメラ14Bの位置および傾き)と、仮想空間2411Bを定義する仮想空間データと、に基づいて、視界領域15Bに対応する視界画像2417Bを定義する。視界画像2417を定義することは、視界画像2417Bを生成することと同義である。プロセッサ210Bは、さらに、HMD120Bのモニタ130Bに視界画像2417Bを出力することによって、視界画像2417BをHMD120Bに表示させる。当該処理は、図11のステップS1180およびS1190の処理に相当する。
In step S2312, the processor 210B displays the
プロセッサ210Bは、例えば、図24(A)に示す仮想空間2411Bに対応する視界画像2417Bを、図24(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像2417Bを視認することによって、アバターオブジェクト6Cおよび6Dが、アバターオブジェクト6Bのパフォーマンスを視聴していることを認識する。ユーザ5Bは、さらに、鏡面体オブジェクト2441に表示されるアバター画像2444を視認することによって、アバターオブジェクト6Bの現在の姿をリアルタイムに確認することができる。これにより、ユーザ5Bは、ユーザ5Bの動きがアバターオブジェクト6Bに正しく反映されているか否かを、ライブ中に容易に把握することができる。ユーザ5Bは、さらに、鏡面体オブジェクト2441の背後に配置されるアバターオブジェクト6Aの様子を、透過設定された鏡面体オブジェクト2441およびアバター画像2444越しに視認することもできる。したがって、ユーザ5Bは、アバターオブジェクト6Aもアバターオブジェクト6Bのパフォーマンスを視聴していることを認識できる。このように、ユーザ5Bは、仮想空間2411Bにおける視界領域15B内の全体を認識しつつ、アバターオブジェクト6Bの現在の姿を正確に把握することができる。
The processor 210B displays, for example, a
(視聴者の仮想空間2411A)
図25は、ある実施の形態に係る仮想空間2411Aおよび視界画像2517Aを示す図である。プロセッサ210Aは、ユーザ5Aに仮想体験を提供するための仮想空間2411Aを、図25(A)に示すように定義する。仮想空間2411Aは、仮想空間2411Bと基本的に同期される仮想空間である。仮想空間2411Aは、仮想空間2411Bと同様に、アバターオブジェクト6Bによるパフォーマンスが行われる仮想空間でもある。プロセッサ210Aは、仮想カメラ14A、アバターオブジェクト6A、およびステージオブジェクト1532を、それぞれ仮想空間2411Aに配置する。プロセッサ210Aは、アバターオブジェクト6B〜6Dの各アバター情報をサーバ600から受信し、これらのアバター情報に基づいて、アバターオブジェクト6B〜6Dを仮想空間2411Bに配置する。仮想空間2411Aにおいてアバターオブジェクト6A〜6Dが配置される各位置は、仮想空間2411Bにおける各位置と同一である。
(Audience
FIG. 25 is a diagram illustrating a
仮想空間2411Bの一部は、仮想空間2411Aと同期されない。詳細には、プロセッサ210Aは、鏡面体オブジェクト2441および仮想カメラ2442を、仮想空間2411Aに配置しない。したがって、仮想空間2411Aは、仮想空間2411Bと異なり、鏡面体オブジェクト2441、仮想カメラ2442、およびアバター画像2444を、いずれもその内部に含まない。このように、鏡面体オブジェクト2441は、仮想空間2411Aにおいて、アバターオブジェクト6Aからの視界領域15A(第2視界)内では視覚化されないオブジェクトである。
Part of the
プロセッサ210Aは、例えば、図25(A)に示す仮想空間2411Aに対応する視界画像2517Aを、図25(B)に示すようにモニタ130Aに表示する。ユーザ5Aは、視界画像2517Aを視認することによって、アバターオブジェクト6Bのパフォーマンスを視認する。仮想空間2411Aに鏡面体オブジェクト2441が配置されないので、視界画像2517Aは、鏡面体オブジェクト2441およびアバター画像2444を含まない。したがって、ユーザ5Bは、視界画像2517Aを視認したとしても、鏡面体オブジェクト2441およびアバター画像2444を視認することがない。このように、鏡面体オブジェクト2441は、ユーザ5Bは視認できるが、ユーザ5Aは視認できない仮想オブジェクトである。また、アバター画像2444は、ユーザ5Bは視認できるが、ユーザ5Aは視認できない情報である。
The processor 210A displays, for example, a
ユーザ5Aは、アバターオブジェクト6Bのパフォーマンス中に、鏡面体オブジェクト2441およびアバター画像2444を視認することがないので、アバターオブジェクト6Bのパフォーマンスに対して違和感を覚えることがない。これにより、ユーザ5Aは、アバターオブジェクト6Aのパフォーマンスにより集中したり、パフォーマンスをより楽しんだりするができる。特に、ユーザ5Aは、ライブ中にユーザ5Bがアバター画像2444を確認している事実を知ることがないので、ライブ中に興ざめすることもない。
Since the
図26は、ある実施形態に係るユーザ5Bの姿勢の一例を表す図である。図27は、ある実施の形態に従う仮想空間2411Bおよび視界画像2717Bを示す図である。ライブの開始後、ユーザ5Bは、例えば図26に示す姿勢を取るように自身の身体を動かす。図26に示す姿勢は、第1パフォーマンスに対応する姿勢である。プロセッサ210Bは、図26に示す姿勢を取るためのユーザ5Bの身体の動きに基づいて、図27(A)に示すように、アバターオブジェクト6Bに第1パフォーマンスを実行させる。プロセッサ210Bは、仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、第1パフォーマンスを実行中のアバターオブジェクト6Bの現在の前面を表すアバター画像2744を、リアルタイムに生成する。プロセッサ210Bは、生成したアバター画像2744に所定の透過度を設定すると共に、透過設定されたアバター画像2744を、左右反転させた状態で鏡面体オブジェクト2441にリアルタイムに表示する。
FIG. 26 is a diagram illustrating an example of the posture of the
プロセッサ210Bは、例えば、図27(A)に示す仮想空間2411Bに対応する視界画像2717Bを、図27(B)に示すようにモニタ130Bに表示する。視界画像2717Bは、鏡面体オブジェクト2441およびアバター画像2744を含む。ユーザ5Bは、視界画像2717Bに含まれる鏡面体オブジェクト2441およびアバター画像2744を視認することによって、アバターオブジェクト6Bがユーザ5Bの動きに連動した第1パフォーマンスを正しく実行していることを、確認することができる。ユーザ5Bは、さらに、鏡面体オブジェクト2441の背後に配置されるアバターオブジェクト6Aの様子を、鏡面体オブジェクト2441およびアバター画像2744越しに視認することもできる。このように、ユーザ5Bがどのような動きをしたとしても、アバターオブジェクト6Bの姿を示すアバター画像は、常に透過設定されている。したがって、ユーザ5Bは、仮想空間における鏡面体オブジェクト2441の背後の様子を、ライブ中に常に視認することができる。
The processor 210B displays, for example, a
[本実施形態の主要な利点]
以上のように、プロセッサ210Bは、透過設定された鏡面体オブジェクト2441に、透過設定されたアバター画像2744を表示する。これにより、ユーザ5Bは、アバター画像2744を視認することによって、アバターオブジェクト6Bの現在の挙動を容易に把握することができる。ユーザ5Bは、さらに、透過設定された鏡面体オブジェクト2441およびアバター画像2744越しに、仮想空間2411Bにおける鏡面体オブジェクト2441の背後の様子を容易に把握することができる。このように、プロセッサ210Bは、仮想空間2411Bにおけるユーザ5Bの視認性を低下させることなく、ユーザ5Bに有益な情報をユーザ5Bに提供することができる。
[Main advantages of the present embodiment]
As described above, the processor 210B displays the
(透過度の制御例)
図28は、ある実施の形態に従う仮想空間2411Bおよび視界画像2817Bを示す図である。図28(A)では、アバターオブジェクト6Bとアバターオブジェクト6Aとの間に、鏡面体オブジェクト2441が配置されている。プロセッサ210Bは、仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの現在の前面を表すアバター画像2844を、リアルタイムに生成する。プロセッサ210Bは、さらに、アバターオブジェクト6Bとアバターオブジェクト6Aとの位置関係に基づいて、鏡面体オブジェクト2441およびアバター画像2844の透過度を制御する。図28(A)では、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離は、第1閾値以下である。プロセッサ210Bは、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離が第1閾値以下であることに基づいて、鏡面体オブジェクト2441およびアバター画像2844の透過度を、より高くする。詳細には、プロセッサ210Bは、鏡面体オブジェクト2441およびアバター画像2844の透過度を、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離が第1閾値を上回る場合の透過度よりも、高くする。
(Example of transmittance control)
FIG. 28 is a diagram illustrating a
プロセッサ210Bは、例えば、図28(A)に示す仮想空間2411Bに対応する視界画像2817Bを、図28(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像2817Bを視認した場合、アバターオブジェクト6Bの近くに配置されるアバターオブジェクト6Aの姿を、鏡面体オブジェクト2441およびアバター画像2844越しに、より明瞭に視認することができる。したがって、ユーザ5Bは、アバターオブジェクト6Aの様子を、より正確に把握することができる。
The processor 210B displays, for example, a
図29は、ある実施の形態に従う仮想空間2411Bおよび視界画像2917Bを示す図である。図29(A)では、アバターオブジェクト6Bとアバターオブジェクト6Aとの間に、鏡面体オブジェクト2441が配置されている。プロセッサ210Bは、仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの現在の前面を表すアバター画像2944を、リアルタイムに生成する。プロセッサ210Bは、図29(A)に示すアバターオブジェクト6Bとアバターオブジェクト6Aとの位置関係が、図28(A)と異なることに基づいて、鏡面体オブジェクト2441およびアバター画像2944の透過度を、図28(A)と異ならせる。詳細には、図29(A)におけるアバターオブジェクト6Aの位置は、図28(A)におけるアバターオブジェクト6Aの位置に比べて、アバターオブジェクト6Bの位置からより離れている。これにより、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離が、第1閾値を上回っている。プロセッサ210Bは、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離が第1閾値を上回ることに基づいて、鏡面体オブジェクト2441およびアバター画像2844の透過度を、より低くする。詳細には、プロセッサ210Bは、鏡面体オブジェクト2441およびアバター画像2944の透過度を、アバターオブジェクト6Bとアバターオブジェクト6Aとの距離が第1閾値以下である場合の透過度よりも、低くする。
FIG. 29 is a diagram illustrating a
プロセッサ210Bは、例えば、図29(B)に示す仮想空間2411Bに対応する視界画像2917Bを、図29(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像2917Bを視認した場合、鏡面体オブジェクト2441に表示されるアバター画像2944を、図28(B)の場合に比べてより明瞭に視認することができる。したがって、ユーザ5Bは、アバターオブジェクト6Bが自身の意図通りに動作しているか否かを、より確実に把握することができる。図29(B)では、ユーザ5Bは、アバターオブジェクト6Aの姿を、図28(B)に比べて視認し辛い。しかし、アバターオブジェクト6Bはアバターオブジェクト6Aの近くにいないため、アバターオブジェクト6Bの挙動がユーザ5Bにとって把握し辛かったとしても、ライブの進行に大きな影響は生じない。
The processor 210B displays, for example, a
(鏡面体オブジェクト2441の位置制御)
図30は、ある実施の形態に従う仮想空間2411Bおよび視界画像3017Bを示す図である。図30(A)では、アバターオブジェクト6Bは、ステージオブジェクト1532上の、アバターオブジェクト6Bから見て右側の端に配置されている。アバターオブジェクト6Aは、仮想空間2411Bにおけるステージオブジェクト1532に近くの位置に、アバターオブジェクト6Bと向き合うようにして配置されている。アバターオブジェクト6Dは、アバターオブジェクト6Aの背後に配置されている。アバターオブジェクト6Cは、アバターオブジェクト6Aおよび6Dから離れた位置に配置されている。図30(A)では、アバターオブジェクト6Bとアバターオブジェクト6Aとの間に、鏡面体オブジェクト2441が配置されている。プロセッサ210Bは、仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの現在の前面を表すアバター画像2944を、リアルタイムに生成し、鏡面体オブジェクト2441に表示する。
(Position control of mirror object 2441)
FIG. 30 is a diagram illustrating a
プロセッサ210Bは、例えば、図30(A)に示す仮想空間2411Bに対応する視界画像3017Bを、図30(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像2817Bに含まれるアバター画像3044を視認することによって、アバターオブジェクト6Bの現在の姿を容易に確認する。ユーザ5Bは、さらに、鏡面体オブジェクト2441の背後に配置されるアバターオブジェクト6Aの様子を、鏡面体オブジェクト2441およびアバター画像3044越しに容易に把握することもできる。
The processor 210B displays, for example, a view image 3017B corresponding to the
図31は、ある実施の形態に従う仮想空間2411Bおよび視界画像3117Bを示す図である。ユーザ5Bは、図30(A)に示すようにアバターオブジェクト6Bが配置される際、アバターオブジェクト6Bをステージオブジェクト1532上の左端まで移動させるための操作を行う。この操作は、例えば、右コントローラ300RBのいずれかのボタンをユーザ5Bが押下することである。プロセッサ210Bは、アバターオブジェクト6Bを移動させるためのユーザ5Bの操作を検出する。プロセッサ210Bは、ユーザ5Bの操作を検出した場合、図30(B)に示すように、アバターオブジェクト6Bを、ステージオブジェクト1532上の左端の位置まで移動させる。プロセッサ210Bは、アバターオブジェクト6Bに連動させて、仮想カメラ14Bも移動させる。これにより、仮想カメラ14Bの位置も、ステージオブジェクト1532上の右端から左端に変化する。
FIG. 31 is a diagram showing a
プロセッサ210Bは、アバターオブジェクト6Bおよび仮想カメラ14Bの移動に連動して、視界領域15Bを図30(A)に示す位置から図31(A)に示す位置に動かす。詳細には、プロセッサ210Bは、図31(A)に示すようにアバターオブジェクト6Bおよび仮想カメラ14Bが移動した場合、ユーザ5Bの頭部の姿勢と、仮想空間2411Bにおける移動後の仮想カメラ14Bの位置とに応じて、仮想空間2411Bにおける仮想カメラ14Bからの視界である視界領域15Bを、図31(A)に示すように制御する。
The processor 210B moves the
プロセッサ210Bは、視界領域15Bの動きに連動して、図31(A)に示すように、鏡面体オブジェクト2441および仮想カメラ2442が視界領域15B内の所定位置に位置するように、鏡面体オブジェクト2441および仮想カメラ2442を移動させる。図31(A)では、所定位置は、アバターオブジェクト6Bに対向する位置である。図30(A)および図31(A)に示すように、視界領域15Bが動く前後で、視界領域15B内の鏡面体オブジェクト2441および仮想カメラ2442の相対的な位置は変わらない。
The processor 210B interlocks with the movement of the
プロセッサ210Bは、移動後の仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの前面を表すアバター画像3144を生成する。プロセッサ210Bは、さらに、透過設定されたアバター画像3144を、左右反転させた状態で、移動後の鏡面体オブジェクト2441に表示する。
The processor 210B generates an
プロセッサ210Bは、例えば、図31(B)に示す仮想空間2411Bに対応する視界画像3117Bを、図31(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像3117Bを視認することによって、仮想空間2411B内の他の箇所を視認する。ユーザ5Bは、さらに、アバターオブジェクト6Bの移動に追随して鏡面体オブジェクト2441が仮想空間2411B内を移動したことを認識する。ユーザ5Bは、さらに、鏡面体オブジェクト2441に表示されるアバター画像3144を視認することによって、現在のアバターオブジェクト6Bの姿を確認する。
The processor 210B displays, for example, a
図32は、ある実施の形態に従う仮想空間2411Bおよび視界画像3217Bを示す図である。図32に示す例では、ユーザ5Bは、図30(A)に示すようにアバターオブジェクト6Bが配置された後、自身の左側の真横を向く。これにより、ユーザ5Bの頭部を含めた全身が、左側に90°回転移動する。プロセッサ210Bは、このようなユーザ5Bの動きに連動して、図32(A)に示すように、アバターオブジェクト6Bおよび仮想カメラ14Bを、仮想空間2411Bにおいてアバターオブジェクト6Bの左側に90°回転移動させる。プロセッサ210Bは、ユーザ5Bの頭部の動きに連動して、視界領域15Bを図30(A)に示す位置から図32に示す位置に動かす。詳細には、プロセッサ210Bは、図32(A)に示すようにアバターオブジェクト6Bおよび仮想カメラ14Bが移動した場合、ユーザ5Bの頭部の姿勢と、仮想空間2411Bにおける移動後の仮想カメラ14Bの位置とに応じて、仮想空間2411Bにおける仮想カメラ14Bからの視界である視界領域15Bを、図32(A)に示すように制御する。
FIG. 32 is a diagram illustrating a
プロセッサ210Bは、視界領域15Bの動きに連動して、図32(A)に示すように、鏡面体オブジェクト2441および仮想カメラ2442が視界領域15B内の所定位置に位置するように、鏡面体オブジェクト2441および仮想カメラ2442を移動させる。図32(A)では、所定位置は、アバターオブジェクト6Bに対向する位置である。図30(A)および図32(A)に示すように、視界領域15Bが動く前後で、視界領域15B内の鏡面体オブジェクト2441および仮想カメラ2442の相対的な位置は変わらない。
The processor 210B interlocks with the movement of the
プロセッサ210Bは、移動後の仮想カメラ2442を用いてアバターオブジェクト6Bを撮影することによって、アバターオブジェクト6Bの前面を表すアバター画像3244を生成する。プロセッサ210Bは、さらに、透過設定されたアバター画像3244を、左右反転させた状態で、移動後の鏡面体オブジェクト2441に表示する。
Processor 210B generates
プロセッサ210Bは、例えば、図32(B)に示す仮想空間2411Bに対応する視界画像3217Bを、図32(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像3217Bを視認することによって、仮想空間2411B内の他の箇所を視認する。ユーザ5Bは、さらに、アバターオブジェクト6Bの向きの変化に追随して鏡面体オブジェクト2441が仮想空間2411B内を移動したことを認識する。ユーザ5Bは、さらに、鏡面体オブジェクト2441に表示されるアバター画像3144を視認することによって、現在のアバターオブジェクト6Bの姿を確認する。
The processor 210B displays, for example, a view image 3217B corresponding to the
図30〜図32に示すように、ユーザ5Bが仮想空間2411B内のいずれの箇所を視認する場合でも、鏡面体オブジェクト2441は常に視界領域15B内の所定位置に位置し続ける。したがって、ユーザ5Bは、鏡面体オブジェクト2441に表示されるアバターオブジェクト6Bの姿を、いつでも容易に視認することができる。
As shown in FIGS. 30 to 32, the
(変形例)
プロセッサ210Bは、アバターオブジェクト6Bの少なくとも一部を示しかつ透過設定された画像を、鏡面体オブジェクト2441に表示することができる。アバター画像2844を鏡面体オブジェクト2441に表示することは、アバターオブジェクト6Bの少なくとも一部を示しかつ透過設定された画像を鏡面体オブジェクト2441に表示することの一例である。プロセッサ210Bは、他にも、仮想カメラ2442によって撮影された画像から、アバターオブジェクト6Bの一部である例えば上半身を示す画像を抽出し、その画像を鏡面体オブジェクト2441に表示してもよい。
(Modification)
The processor 210B can display an image showing at least a part of the
プロセッサ210Bは、アバター画像2844を、必ずしもリアルタイムに鏡面体オブジェクト2441に表示する必要はない。プロセッサ210Bは、例えば、アバター画像2844の生成後、一定時間が経過してから、アバター画像2844を鏡面体オブジェクト2441に表示することもできる。この場合も、ユーザ5Bは、鏡面体オブジェクト2441に表示されるアバター画像2844を通じて、アバターオブジェクト6Bの挙動を正確に把握できる。
The processor 210B does not necessarily need to display the
プロセッサ210Bは、アバターオブジェクト6Bの少なくとも一部を示す画像を、左右反転せずに、そのまま鏡面体オブジェクト2441に表示することもできる。この場合も、ユーザ5Bは、鏡面体オブジェクト2441に表示される画像を視認することによって、アバターオブジェクト6Bの姿を容易に確認することができる。
The processor 210B can also display an image showing at least a part of the
プロセッサ210Bは、任意の第1情報を、鏡面体オブジェクト2441に表示することができる。第1情報は、少なくとも一部が透過設定された情報であり得る。上述したアバター画像2844は、鏡面体オブジェクト2441に表示される、透過設定された第1情報の一例である。第1情報は、背景部分が透明でありかつ文字部分が不透明な文字列などの、透過設定されない情報であってもよい。
The processor 210B can display any first information on the
第1情報は、アバター画像2844以外の、アバターオブジェクト6Bのライブの進行に関する任意の情報(テキスト、画像)であり得る。第1情報は、例えば、アバターオブジェクト6Bに対する行動内容を指示した情報であり得る。このような第1情報として、例えば、ライブ中のある時点においてアバターオブジェクト6Bが取るべき特定の動作をユーザ5Bに指示した情報が挙げられる。ユーザ5Bは、鏡面体オブジェクト2441に表示された第1情報をライブ中のカンニングペーパーとして参照することによって、ライブ中にアバターオブジェクト6Bに対して如何なる動作を実行させるべきかを、容易に把握することができる。したがって、ユーザ5Bは、アバターオブジェクト6Bのライブを円滑に進行させることができる。ユーザ5Bは、さらに、第1情報を視認する際、仮想空間2411Bにおける鏡面体オブジェクト2441の背後の様子を鏡面体オブジェクト2441越しに視認することができるので、仮想空間2411Bにおけるユーザ5Bの視認性を高めることができる。
The first information may be any information (text, image) related to the live progress of the
プロセッサ210Bは、ユーザ5Bによる指示に基づいて、視界領域15B内で鏡面体オブジェクト2441を視覚化するか否かを決定することもできる。プロセッサ210Bは、例えば、ユーザ5Bによる第1指示を検出した場合、視覚化許可を鏡面体オブジェクト2441に設定し、ユーザ5Bによる第2指示を検出した場合、視覚化不可を鏡面体オブジェクト2441に設定する。プロセッサ210Bは、鏡面体オブジェクト2441に視覚化許可が設定される場合、鏡面体オブジェクト2441を含む視界画像をHMD120に表示し、鏡面体オブジェクト2441に視覚化不可が設定される場合、鏡面体オブジェクト2441を含まない視界画像をHMD120に表示する。したがって、ユーザ5Bは、ライブ中に第1情報を視認するか否かを、必要に応じて決定することができる。
The processor 210B can also determine whether to visualize the
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
[Appendix]
The contents according to one aspect of the present invention are listed below.
(項目1) プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ(210B)を備えたコンピュータ(200B)によって実行される。プログラムは、プロセッサに、第1ユーザ(ユーザ5B)に関連付けられる第1アバター(アバターオブジェクト6B)と第2ユーザ(ユーザ5)に関連付けられる第2アバター(アバターオブジェクト6A)とを含む、仮想空間(2411B)を定義するステップ(S2301)と、第1ヘッドマウントデバイス(HMD120B)が関連付けられた第1ユーザの頭部の動きに応じて、第1アバターからの第1視界(視界領域15B)を制御するステップ(S2311)と、第1視界内では視覚化され、第2アバターからの第2視界(視界領域15A)内では視覚化されない、透過設定された第1オブジェクト(鏡面体オブジェクト2441)を、第1視界内に配置するステップ(S2307)と、第1オブジェクトに、第1情報(アバター画像2444)を表示するステップ(S2310)と、第1視界に対応する第1視界画像(視界画像2417B)を第1ヘッドマウントデバイスに表示するステップ(S2312)と、を実行させる。
(Item 1) The program has been described. According to an aspect of the present disclosure, a program is executed by a computer (200B) including a processor (210B). The program includes, in the processor, a virtual space (a avatar (
(項目2) (項目1)において、第1視界を制御するステップは、第1ユーザの頭部の動きに連動して、第1視界を動かすことを含み、プログラムは、プロセッサに、第1視界の動きに連動して、第1視界内の所定位置に第1オブジェクトが位置するように第1オブジェクトを移動させるステップをさらに実行させる。 (Item 2) In (Item 1), the step of controlling the first view includes moving the first view in conjunction with the movement of the head of the first user, and the program causes the processor to execute the first view. The step of moving the first object such that the first object is located at a predetermined position in the first field of view in conjunction with the movement of the first field of view is further executed.
(項目3) (項目1)または(項目2)において、配置するステップは、第1オブジェクトに関連付けて仮想視点(仮想カメラ2442)を配置することを含み、プログラムは、プロセッサに、第1アバターの少なくとも一部が含まれるように仮想視点からの第3視界(視界領域2443)を制御するステップを実行させ、第1情報は、透過設定された、第3視界に対応する第2視界画像である。 (Item 3) In (Item 1) or (Item 2), the step of arranging includes arranging a virtual viewpoint (virtual camera 2442) in association with the first object, and the program causes the processor to transmit the first avatar of the first avatar. A step of controlling a third view (view area 2443) from the virtual viewpoint so as to include at least a part is executed, and the first information is a second view image corresponding to the third view, which is set to be transparent. .
(項目4) (項目3)において、仮想視点は、第1オブジェクト上に配置され、所定位置は、第1アバターと対向する位置である。 (Item 4) In (Item 3), the virtual viewpoint is arranged on the first object, and the predetermined position is a position facing the first avatar.
(項目5) (項目1)または(項目2)において、第1情報は、第1アバターに対する行動内容を指示した情報である。 (Item 5) In (Item 1) or (Item 2), the first information is information indicating an action content for the first avatar.
(項目6) (項目1)〜(項目5)のいずれかにおいて、プログラムは、プロセッサに、第1ユーザによる指示に基づいて、第1視界内で第1オブジェクトを視覚化するか否かを決定するステップを実行させる。 (Item 6) In any one of (Item 1) to (Item 5), the program causes the processor to determine whether to visualize the first object in the first field of view based on an instruction from the first user. To perform the following steps.
(項目7) (項目3)または(項目4)において、第1情報を表示するステップにおいて、第2視界画像を第1オブジェクトにリアルタイムに表示する。 (Item 7) In (Item 3) or (Item 4), in the step of displaying the first information, the second view image is displayed on the first object in real time.
(項目8) (項目1)〜(項目7)のいずれかにおいて、配置するステップにおいて、第1アバターと第2アバターとの間に、第1オブジェクトを配置する。 (Item 8) In any one of (Item 1) to (Item 7), in the arranging step, the first object is arranged between the first avatar and the second avatar.
(項目9) (項目8)において、プログラムは、プロセッサに、第1アバターと第2アバターとの位置関係に基づいて、第1オブジェクトの透過度を制御するステップを実行させる。 (Item 9) In (Item 8), the program causes the processor to execute a step of controlling the transparency of the first object based on a positional relationship between the first avatar and the second avatar.
(項目10) (項目9)において、透過度を制御するステップにおいて、第1アバターと第2アバターとの距離が第1閾値以下である場合、透過度をより高くし、第1アバターと第2アバターとの距離が第1閾値を上回る場合、透過度をより低くする。 (Item 10) In (Item 9), in the step of controlling the transmittance, if the distance between the first avatar and the second avatar is equal to or less than the first threshold, the transmittance is further increased, and When the distance from the avatar exceeds the first threshold, the transmittance is reduced.
(項目11) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(コンピュータ200B)は、情報処理装置によって実行されるプログラムを記憶する記憶部(ストレージ230B)と、プログラムを実行することにより、情報処理装置の動作を制御する制御部(プロセッサ210B)と、を備えている。制御部は、第1ユーザ(ユーザ5B)に関連付けられる第1アバター(アバターオブジェクト6B)と第2ユーザ(ユーザ5)に関連付けられる第2アバター(アバターオブジェクト6A)とを含む、仮想空間(2411B)を定義し、第1ヘッドマウントデバイス(HMD120B)が関連付けられた第1ユーザの頭部の動きに応じて、第1アバターからの第1視界(視界領域15B)を制御し、第1視界内では視覚化され、第2アバターからの第2視界(視界領域15A)内では視覚化されない、透過設定された第1オブジェクト(鏡面体オブジェクト2441)を、第1視界内に配置し、第1オブジェクトに、第1情報(アバター画像2444)を表示するステップ(S2310)と、第1視界に対応する第1視界画像(視界画像2417B)を第1ヘッドマウントデバイスに表示する。
(Item 11) The information processing apparatus has been described. According to an aspect of the present disclosure, an information processing device (
(項目12) プログラムを実行する方法を説明した。本開示のある局面によると、方法は、プロセッサを備えたコンピュータによって実行される。方法は、プロセッサが、第1ユーザ(ユーザ5B)に関連付けられる第1アバター(アバターオブジェクト6B)と第2ユーザ(ユーザ5)に関連付けられる第2アバター(アバターオブジェクト6A)とを含む、仮想空間(2411B)を定義するステップ(S2301)と、第1ヘッドマウントデバイス(HMD120B)が関連付けられた第1ユーザの頭部の動きに応じて、第1アバターからの第1視界(視界領域15B)を制御するステップ(S2311)と、第1視界内では視覚化され、第2アバターからの第2視界(視界領域15A)内では視覚化されない、透過設定された第1オブジェクト(鏡面体オブジェクト2441)を、第1視界内に配置するステップ(S2307)と、第1オブジェクトに、第1情報(アバター画像2444)を表示するステップ(S2310)と、第1視界に対応する第1視界画像(視界画像2417B)を第1ヘッドマウントデバイスに表示するステップ(S2312)と、を含む。
(Item 12) The method of executing the program has been described. According to one aspect of the present disclosure, the method is performed by a computer with a processor. The method comprises the processor including a virtual space (
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above embodiment, the virtual space (VR space) in which the user is immersed by the HMD has been described as an example, but a transmissive HMD may be adopted as the HMD. In this case, an augmented reality (AR: Augmented Reality) space or a mixed reality (AR) space is output by outputting a view image in which a part of an image constituting the virtual space is synthesized into a real space visually recognized by the user via a transmission type HMD. A virtual experience in an MR (Mixed Reality) space may be provided to the user. In this case, the action on the target object in the virtual space may be generated based on the movement of the user's hand instead of the operation object. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space and define the position of the target object in the virtual space in relation to the coordinate information in the real space. Thereby, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and execute a process corresponding to the above-described collision control or the like between the user's hand and the target object. . As a result, it is possible to give an effect to the target object based on the movement of the user's hand.
2 ネットワーク、5,5A,5B,5C、5D ユーザ、6,6A,6B,6C,6D アバターオブジェクト、11,11A,11B,11C,11D 仮想空間、12 中心、13 パノラマ画像、14,14A,14B 仮想カメラ、15,15A,15B,15C 視界領域、16 基準視線、17,17A,17B 視界画像、18,19 領域、100 HMDシステム、110,110A,110B,110C,110D HMDセット、120,120A,120B,120C、HMD、130,130A,130B,130C モニタ、140 注視センサ、150 第1カメラ、160 第2カメラ、170,170A,170B マイク、180,180A,180B スピーカ、190 センサ、200,200A,200B コンピュータ、210,210A、210B,210C,210D,610 プロセッサ、220,620 メモリ、230,230A,230B,630 ストレージ、240,640 入出力インターフェイス、250,650 通信インターフェイス、260,660 バス、300,300B コントローラ、300R 右コントローラ、300L 左コントローラ、310 グリップ、320 フレーム、330 天面、340,340,350,370,380 ボタン、360 赤外線LED、390 アナログスティック、410 HMDセンサ、420,420A モーションセンサ、430,430A ディスプレイ、510 コントロールモジュール、520 レンダリングモジュール、530 メモリモジュール、540 通信制御モジュール、600 サーバ、700 外部機器、1421 仮想オブジェクト生成モジュール、1422 仮想カメラ制御モジュール、1423 操作オブジェクト制御モジュール、1424 アバターオブジェクト制御モジュール、1425 動き検出モジュール、1426 衝突検出モジュール、1427 仮想オブジェクト制御モジュール、1517A、1617B、2417、2417B、2517A、2717B、2817B、2917B、3017B、3117B 視界画像、1531LA,1531LB 仮想左手、1531RA,1531RB 仮想右手、1532 ステージオブジェクト、1641,1642,1643 モーションセンサ、1644 ベルト、2411A,2411B 仮想空間、2441 鏡面体オブジェクト、2442 仮想カメラ、2443 視界領域、2444,2744,2844,2944,3044,3144,3244 アバター画像 2 network, 5, 5A, 5B, 5C, 5D user, 6, 6A, 6B, 6C, 6D avatar object, 11, 11A, 11B, 11C, 11D virtual space, 12 center, 13 panoramic image, 14, 14A, 14B Virtual camera, 15, 15A, 15B, 15C view area, 16 reference line of sight, 17, 17A, 17B view image, 18, 19 area, 100 HMD system, 110, 110A, 110B, 110C, 110D HMD set, 120, 120A, 120B, 120C, HMD, 130, 130A, 130B, 130C monitor, 140 gaze sensor, 150 first camera, 160 second camera, 170, 170A, 170B microphone, 180, 180A, 180B speaker, 190 sensor, 200, 200A, 200B Computer, 210, 210A, 210B, 210C, 210D, 610 processor, 220, 620 memory, 230, 230A, 230B, 630 storage, 240, 640 input / output interface, 250, 650 communication interface, 260, 660 bus, 300, 300B Controller, 300R right controller, 300L left controller, 310 grip, 320 frame, 330 top surface, 340, 340, 350, 370, 380 button, 360 infrared LED, 390 analog stick, 410 HMD sensor, 420, 420A motion sensor, 430 , 430A display, 510 control module, 520 rendering module, 530 memory module, 540 communication control Module, 600 server, 700 external device, 1421 virtual object generation module, 1422 virtual camera control module, 1423 operation object control module, 1424 avatar object control module, 1425 motion detection module, 1426 collision detection module, 1427 virtual object control module, 1517A , 1617B, 2417, 2417B, 2517A, 2717B, 2817B, 2917B, 3017B, 3117B View image, 1531LA, 1531LB Virtual left hand, 1531RA, 1531RB Virtual right hand, 1532 Stage object, 1641, 1642, 1643 Motion sensor, 1644 Belt, 2411A, 2411B Virtual space, 2441 Specular object , 2442 virtual camera, 2443 view area, 2444, 2744, 2844, 2944, 3044, 3144, 3244 avatar image
Claims (12)
前記プログラムは、前記プロセッサに、
第1ユーザに関連付けられる第1アバターと第2ユーザに関連付けられる第2アバターとを含む、仮想空間を定義するステップと、
第1ヘッドマウントデバイスが関連付けられた前記第1ユーザの頭部の動きに応じて、前記第1アバターからの第1視界を制御するステップと、
前記第1視界内では視覚化され、前記第2アバターからの第2視界内では視覚化されない、透過設定された第1オブジェクトを、前記第1視界内に配置するステップと、
前記第1オブジェクトに、第1情報を表示するステップと、
前記第1視界に対応する第1視界画像を前記第1ヘッドマウントデバイスに表示するステップと、を実行させるための、プログラム。 A program executed by a computer having a processor,
The program, the processor,
Defining a virtual space, including a first avatar associated with the first user and a second avatar associated with the second user;
Controlling a first field of view from the first avatar in response to movement of the first user's head associated with a first head mounted device;
Arranging a transparently set first object that is visualized in the first field of view and not visualized in the second field of view from the second avatar, in the first field of view;
Displaying first information on the first object;
Displaying a first view image corresponding to the first view on the first head mounted device.
前記プログラムは、前記プロセッサに、
前記第1視界の動きに連動して、前記第1視界内の所定位置に前記第1オブジェクトが位置するように前記第1オブジェクトを移動させるステップをさらに実行させる、請求項1に記載のプログラム。 The step of controlling the first view includes moving the first view in conjunction with the movement of the first user's head,
The program, the processor,
The computer-readable storage medium according to claim 1, further comprising: moving the first object such that the first object is located at a predetermined position in the first field of view in conjunction with the movement of the first field of view.
前記プログラムは、前記プロセッサに、
前記第1アバターの少なくとも一部が含まれるように前記仮想視点からの第3視界を制御するステップを実行させ、
前記第1情報は、透過設定された、前記第3視界に対応する第2視界画像である、請求項1または2に記載のプログラム。 The arranging step includes arranging a virtual viewpoint in association with the first object,
The program, the processor,
Controlling a third field of view from the virtual viewpoint so as to include at least a part of the first avatar,
The program according to claim 1, wherein the first information is a second view image corresponding to the third view, which is set to be transparent.
前記所定位置は、前記第1アバターと対向する位置である、請求項3に記載のプログラム。 The virtual viewpoint is arranged on the first object,
The program according to claim 3, wherein the predetermined position is a position facing the first avatar.
前記第1アバターと前記第2アバターとの位置関係に基づいて、前記第1オブジェクトの透過度を制御するステップを実行させる、請求項8に記載のプログラム。 The program, the processor,
The program according to claim 8, wherein the program executes a step of controlling the transparency of the first object based on a positional relationship between the first avatar and the second avatar.
前記情報処理装置は、
前記情報処理装置によって実行されるプログラムを記憶する記憶部と、
前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、
前記制御部は、
第1ユーザに関連付けられる第1アバターと第2ユーザに関連付けられる第2アバターとを含む、仮想空間を定義し、
第1ヘッドマウントデバイスが関連付けられた前記第1ユーザの頭部の動きに応じて、前記第1アバターからの第1視界を制御し、
前記第1視界内では視覚化され、前記第2アバターからの第2視界内では視覚化されない、透過設定された第1オブジェクトを、前記第1視界内に配置し、
前記第1オブジェクトに、第1情報を表示し、
前記第1視界に対応する第1視界画像を前記第1ヘッドマウントデバイスに表示する、情報処理装置。 An information processing device,
The information processing device,
A storage unit that stores a program executed by the information processing device;
A control unit that controls the operation of the information processing device by executing the program,
The control unit includes:
Defining a virtual space that includes a first avatar associated with the first user and a second avatar associated with the second user;
Controlling a first field of view from the first avatar in response to movement of the first user's head associated with the first head mounted device;
Disposing a transparently set first object that is visualized in the first field of view and not visualized in the second field of view from the second avatar, in the first field of view;
Displaying first information on the first object;
An information processing apparatus that displays a first view image corresponding to the first view on the first head mounted device.
前記方法は、前記プロセッサが、
第1ユーザに関連付けられる第1アバターと第2ユーザに関連付けられる第2アバターとを含む、仮想空間を定義するステップと、
第1ヘッドマウントデバイスが関連付けられた前記第1ユーザの頭部の動きに応じて、前記第1アバターからの第1視界を制御するステップと、
前記第1視界内では視覚化され、前記第2アバターからの第2視界内では視覚化されない、透過設定された第1オブジェクトを、前記第1視界内に配置するステップと、
前記第1オブジェクトに、第1情報を表示するステップと、
前記第1視界に対応する第1視界画像を前記第1ヘッドマウントデバイスに表示するステップと、を含む、方法。 A method in which a computer with a processor executes a program,
The method, wherein the processor comprises:
Defining a virtual space, including a first avatar associated with the first user and a second avatar associated with the second user;
Controlling a first field of view from the first avatar in response to movement of the first user's head associated with a first head mounted device;
Arranging a transparently set first object that is visualized in the first field of view and not visualized in the second field of view from the second avatar, in the first field of view;
Displaying first information on the first object;
Displaying a first view image corresponding to the first view on the first head mounted device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164972A JP6820299B2 (en) | 2018-09-04 | 2018-09-04 | Programs, information processing equipment, and methods |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164972A JP6820299B2 (en) | 2018-09-04 | 2018-09-04 | Programs, information processing equipment, and methods |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021000283A Division JP7111848B2 (en) | 2021-01-04 | 2021-01-04 | Program, Information Processing Apparatus, and Method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038468A true JP2020038468A (en) | 2020-03-12 |
JP6820299B2 JP6820299B2 (en) | 2021-01-27 |
Family
ID=69738012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164972A Active JP6820299B2 (en) | 2018-09-04 | 2018-09-04 | Programs, information processing equipment, and methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6820299B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023066519A (en) * | 2021-10-29 | 2023-05-16 | グリー株式会社 | Information processing system, information processing method, and computer program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016525741A (en) * | 2013-06-18 | 2016-08-25 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Shared holographic and private holographic objects |
JP2017097918A (en) * | 2017-02-06 | 2017-06-01 | 株式会社コロプラ | Image display method and program |
JP2018077738A (en) * | 2016-11-10 | 2018-05-17 | 株式会社バンダイナムコエンターテインメント | Game system and program |
JP2018106297A (en) * | 2016-12-22 | 2018-07-05 | キヤノンマーケティングジャパン株式会社 | Mixed reality presentation system, information processing apparatus and control method thereof, and program |
-
2018
- 2018-09-04 JP JP2018164972A patent/JP6820299B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016525741A (en) * | 2013-06-18 | 2016-08-25 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Shared holographic and private holographic objects |
JP2018077738A (en) * | 2016-11-10 | 2018-05-17 | 株式会社バンダイナムコエンターテインメント | Game system and program |
JP2018106297A (en) * | 2016-12-22 | 2018-07-05 | キヤノンマーケティングジャパン株式会社 | Mixed reality presentation system, information processing apparatus and control method thereof, and program |
JP2017097918A (en) * | 2017-02-06 | 2017-06-01 | 株式会社コロプラ | Image display method and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023066519A (en) * | 2021-10-29 | 2023-05-16 | グリー株式会社 | Information processing system, information processing method, and computer program |
JP7333564B2 (en) | 2021-10-29 | 2023-08-25 | グリー株式会社 | Information processing system, information processing method and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP6820299B2 (en) | 2021-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
US10313481B2 (en) | Information processing method and system for executing the information method | |
US20190018479A1 (en) | Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space | |
US10546407B2 (en) | Information processing method and system for executing the information processing method | |
JP6514397B1 (en) | SYSTEM, PROGRAM, METHOD, AND INFORMATION PROCESSING APPARATUS | |
US20180196506A1 (en) | Information processing method and apparatus, information processing system, and program for executing the information processing method on computer | |
US20180357817A1 (en) | Information processing method, program, and computer | |
US10410395B2 (en) | Method for communicating via virtual space and system for executing the method | |
JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
US20180348987A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
JP7181148B2 (en) | System, program, method, and information processing device | |
JP6470859B1 (en) | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar | |
US20180329604A1 (en) | Method of providing information in virtual space, and program and apparatus therefor | |
US20180329603A1 (en) | Method executed on computer for moving in virtual space, program and information processing apparatus for executing the method on computer | |
US20180348986A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
US20180299948A1 (en) | Method for communicating via virtual space and system for executing the method | |
US20180329487A1 (en) | Information processing method, computer and program | |
JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP6820299B2 (en) | Programs, information processing equipment, and methods | |
JP6225242B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
US20180239420A1 (en) | Method executed on computer for providing virtual space to head mount device, program for executing the method on the computer, and computer apparatus | |
JP6718933B2 (en) | Program, information processing apparatus, and method | |
JP2021101358A (en) | Method for providing virtual space, program for executing method in computer, information processing unit for executing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6820299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |