JP2019160295A - Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar - Google Patents
Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar Download PDFInfo
- Publication number
- JP2019160295A JP2019160295A JP2019007355A JP2019007355A JP2019160295A JP 2019160295 A JP2019160295 A JP 2019160295A JP 2019007355 A JP2019007355 A JP 2019007355A JP 2019007355 A JP2019007355 A JP 2019007355A JP 2019160295 A JP2019160295 A JP 2019160295A
- Authority
- JP
- Japan
- Prior art keywords
- user
- hmd
- processor
- computer
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
この開示は、アバタに関し、より特定的には、ユーザの動きが反映されたアバタを含む動画を共有するための技術に関する。 The present disclosure relates to an avatar, and more specifically, to a technique for sharing a moving image including an avatar reflecting a user's movement.
現実の人物や物体の動きをデジタル的に記録する技術としてモーションキャプチャ技術が知られている。記録された情報は、アバタの人間らしい動きの再現などに利用される（非特許文献１）。 Motion capture technology is known as a technology for digitally recording the movement of an actual person or object. The recorded information is used for reproducing a human motion of an avatar (Non-patent Document 1).
近年、「Ｙｏｕｔｕｂｅ」（登録商標）などの動画共有サービスが活発に利用されている。このような動画共有サービスにおいて、人によっては、自身の動きを反映させた、仮想空間に配置されているアバタを含む動画を配信したいと考えている。 In recent years, video sharing services such as “Youtube” (registered trademark) have been actively used. In such a moving image sharing service, some people want to distribute moving images including avatars arranged in a virtual space that reflect their movements.
個人による動画の配信は、通常、１人で行われる。一方、従来のモーションキャプチャを実現するためのシステムは大がかりであり、複数人の関与を前提としている。このため、アバタを含む動画配信を実現できない場合がある。 Distribution of moving images by individuals is usually performed by one person. On the other hand, a conventional system for realizing motion capture is large-scale and assumes the involvement of multiple people. For this reason, there is a case where moving image distribution including an avatar cannot be realized.
本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、ユーザ自身の動きの、仮想空間に配置されているアバタへの反映を、１人で、従来よりも容易に実現するための技術を提供することである。 The present disclosure has been made to solve the above-described problem, and an object in one aspect is to reflect a user's own movement on an avatar arranged in a virtual space by one person, It is to provide a technique that can be realized more easily than in the past.
ある実施形態に従うと、位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムが提供される。このプログラムは、コンピュータに、ユーザが第１位置にいることを検知するステップと、第１位置にいることを検知した場合、ユーザが第１姿勢をとっていることを検知するステップと、第１姿勢をとっていることを検知した場合、位置センサから取得した、第１姿勢に応じた第１位置情報に基づいて、ユーザの第１寸法データを算出するステップと、第１寸法データの算出後に位置センサから取得した第２位置情報と、第１寸法データとに基づいて、アバタを制御するステップとを実行させる。 According to an embodiment, a program for reflecting a movement of a user wearing a position sensor on an avatar arranged in a virtual space is provided. The program detects on the computer that the user is in the first position, detects that the user is in the first position when detecting that the user is in the first position, When it is detected that the posture is taken, the step of calculating the first dimension data of the user based on the first position information corresponding to the first attitude acquired from the position sensor, and after the calculation of the first dimension data The step of controlling the avatar is executed based on the second position information acquired from the position sensor and the first dimension data.
開示された技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of the disclosed technical features will become apparent from the following detailed description of the invention which is to be understood in connection with the accompanying drawings.
〔実施形態１〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
Hereinafter, embodiments of the technical idea will be described in detail with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. In one or more embodiments shown in the present disclosure, elements included in each embodiment can be combined with each other, and the combined result is also part of the embodiments shown in the present disclosure.
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
A configuration of an HMD (Head-Mounted Device)
ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。
The
ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。
In one aspect, the
ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The
モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。
The
別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。
In one aspect, the
別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。
In another aspect, the
別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。
In another aspect, the
注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。
The
第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。
The
マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。
The
コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
In a certain aspect, the
ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。
サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。
外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、およびコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。
The
［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。
[Computer hardware configuration]
A
プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。
The
メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。
The
ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。
The input /
ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain aspects, the input /
通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（登録商標）（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。
The
ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。
In one aspect, the
図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
In the example shown in FIG. 2, a configuration in which the
コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
In an embodiment, in the
ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。
In one aspect,
ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing the uvw visual field coordinate system set in
図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。
As shown in FIG. 3, the
ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。
In a certain situation, when the
ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。
After the uvw visual field coordinate system is set to the
ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。
The
ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。
In one aspect, the
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing
ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。
In one aspect, the
ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。
When the
仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。
As with the
コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。
The
注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。
The line of sight of the
［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。
[User's line of sight]
The determination of the line of sight of the
ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
In one aspect, the
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。
When the
別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。
[Visibility area]
The field-of-
図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。
As shown in FIG. 6, the field-of-
図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。
As shown in FIG. 7, the field-of-
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。
Thus, the inclination of the
ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。
While wearing the
ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。
In one aspect, the
ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect, the
［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。
[controller]
An example of the
図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。
As shown in FIG. 8, in one aspect, the
右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。例えば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
The
グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。
The
フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
The
天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。
In one aspect, the
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the state (A) and the state (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of the
［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ１０について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。
[Hardware configuration of server]
With reference to FIG. 9, the server 10 according to the present embodiment will be described. FIG. 9 is a block diagram illustrating an exemplary hardware configuration of
プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。
The
メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。
The
ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
The
別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。
The input /
通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。
The
ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。
In one aspect, the
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ２１の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
[HMD control device]
A control device of the HMD 21 will be described with reference to FIG. In one embodiment, the control device is realized by a
図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。
As shown in FIG. 10, the
コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。
The
コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。
The
コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
The
ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In one aspect, the
コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。
When the
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
The spatial information holds one or more templates defined for providing the
オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。
Data and programs stored in the
通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０およびレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, the
コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。
Processing in the
［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart showing a part of processing executed in HMD set 110 according to an embodiment.
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
As shown in FIG. 11, in step S <b> 1110, the
図１１に示されるように、ステップＳ１１１０にて、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。
As shown in FIG. 11, in step S <b> 1110, the
ステップＳ１１２０にて、プロセッサ２１０は、仮想カメラ１４を初期化する。例えば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。
In step S1120,
ステップＳ１１３０にて、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1130,
ステップＳ１１３４にて、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。
In step S <b> 1134,
ステップＳ１１４０にて、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。
In step S1140,
ステップＳ１１５０にて、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。
In step S1150,
ステップＳ１１６０にて、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160,
ステップＳ１１７０にて、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。
In step S <b> 1170,
ステップＳ１１８０にて、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。
In step S1180,
ステップＳ１１９０にて、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。
In step S1190, the
［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。
[Avatar object]
With reference to FIGS. 12A and 12B, an avatar object according to the present embodiment will be described. Hereinafter, it is a figure explaining the avatar object of each
図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。
FIG. 12A is a schematic diagram illustrating a situation where each
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。
In one aspect, the processor 210A may place the
図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。
FIG. 12B is a diagram illustrating a field-of-
図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１７１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。
In the state of FIG. 12 (B), the
ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。
The operation of the
図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。
FIG. 13 is a sequence chart showing a part of processing executed in
ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバタに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the operation of the
ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires avatar information for determining the operation of the
ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤ１１０２０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320,
続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。
Subsequently, based on the avatar information transmitted from the
ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates information on the avatar objects 6B and avatar objects 6C of the
ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A and 6C of the
［モジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表わすブロック図である。
[Detailed module configuration]
Details of the module configuration of the
図１４に示されるように、コントロールモジュール５１０は、仮想カメラ制御モジュール１４２１と、視界領域決定モジュール１４２２と、基準視線特定モジュール１４２３と、顔器官検出モジュール１４２４と、動き検出モジュール１４２５と、仮想空間定義モジュール１４２６と、仮想オブジェクト生成モジュール１４２７と、操作オブジェクト制御モジュール１４２８と、アバター制御モジュール１４２９と、を備える。レンダリングモジュール５２０は、視界画像生成モジュール１４３８を備える。メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４と、を保持している。
As shown in FIG. 14, the
仮想カメラ制御モジュール１４２１は、仮想空間１１に仮想カメラ１４を配置する。仮想カメラ制御モジュール１４２１は、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）を制御する。視界領域決定モジュール１４２２は、ＨＭＤ１２０を装着したユーザの頭の向きと、仮想カメラ１４の配置位置に応じて、視界領域１５を規定する。視界画像生成モジュール１４３８は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。
The virtual
基準視線特定モジュール１４２３は、センサ１９０またはＨＭＤセンサ４１０の出力に基づいて、基準視線１６を特定する。基準視線特定モジュール１４２３はさらに、注視センサ１４０からの信号に基づいて、ユーザ５の視線を特定する。顔器官検出モジュール１４２４は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。動き検出モジュール１４２５は、顔器官検出モジュール１４２４が検出した各器官の動き（形状）を検出する。
The reference line-of-
仮想空間定義モジュール１４２６は、仮想空間１１を表わす仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間１１を規定する。
The virtual
仮想オブジェクト生成モジュール１４２７は、仮想空間１１に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
The virtual
操作オブジェクト制御モジュール１４２８は、仮想空間１１においてユーザの操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、アバターオブジェクト６の手の部分に相当し得る。
The operation object control module 1428 arranges an operation object for accepting a user operation in the
アバター制御モジュール１４２９は、ネットワーク２を介して接続される他のコンピュータ２００のユーザのアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５のアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール１４２９は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置するためのデータを生成する。
The
アバター制御モジュール１４２９は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール１４２９は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール１４２９は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバター制御モジュール１４２９は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール１４２９は、ユーザ５の顔の動作をアバターオブジェクトに反映する。
The
コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール１４２８は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
The
メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報１４３１と、オブジェクト情報１４３２と、ユーザ情報１４３３と、顔情報１４３４とを保持している。
The
空間情報１４３１は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。
The
オブジェクト情報１４３２は、仮想空間１１において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間１１に配置するための情報（たとえば、位置）を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
The
ユーザ情報１４３３は、寸法データ１４３９を備える。寸法データ１４３９はユーザ５の身体の寸法を表す。寸法データ１４３９の詳細は後述される。ユーザ情報１４３３はさらに、ユーザ５を識別するための情報、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報１４３２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
The
顔情報１４３４は、顔器官検出モジュール１４２４が、ユーザ５の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報１４３４は、口テンプレート１４３５と、目テンプレート１４３６と、眉テンプレート１４３７とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート１４３５は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
The
［技術思想］
図１５は、ある実施形態に従う処理の概要を表す図である。図１５に示される例において、ユーザ５Ａは、自身の動きを反映したアバタを含む映像をユーザ５Ｂに配信しようとしている。
[Technology]
FIG. 15 is a diagram illustrating an outline of processing according to an embodiment. In the example shown in FIG. 15, the
ユーザ５Ａは、ＨＭＤ１２０Ａを装着し、右コントローラ３００ＲＡと左コントローラ３００ＬＡとを保持している。ＨＭＤ１２０Ａはモーションセンサとして機能するセンサ１９０を備える。各コントローラは、モーションセンサ４２０を備える。
The
ユーザ５Ａはさらに、モーションセンサ１５２１〜１５２３を装着している。モーションセンサ１５２１は、ベルト１５３１によってユーザ５Ａの腰部に装着されている。モーションセンサ１５２２はユーザ５Ａの右足の甲に装着されている。モーションセンサ１５２３はユーザ５Ａの左足の甲に装着されている。これらモーションセンサ１５２１〜１５２３は、有線または無線によりコンピュータ２００Ａに接続されている。
The
ある局面において、ユーザ５Ａに装着されるモーションセンサは、ベースステーション（図示しない）から照射される信号（例えば赤外線レーザ）の到達時間と角度とを検出する。コンピュータ２００Ａのプロセッサ２１０Ａは、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ２１０Ａはさらに、ベースステーションに対するモーションセンサの位置を、所定点（例えば頭部に装着されたセンサ１９０の位置）を基準として規格化してもよい。
In one aspect, the motion sensor attached to the
ステップＳ１５１０にて、コンピュータ２００Ａのプロセッサ２１０Ａは、ユーザ５Ａに装着されたモーションセンサにより、ユーザ５Ａの頭部、腰部、両手、両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ５Ａの部位の位置を「位置情報」とも言う。
In step S1510, the processor 210A of the
ステップＳ１５２０にて、プロセッサ２１０Ａは、予め取得されたユーザ５Ａの寸法データ１４３９Ａと位置情報とから、ユーザ５Ａの関節の回転方向を算出する。
In step S1520, processor 210A calculates the rotation direction of the joint of
ステップＳ１５３０にて、プロセッサ２１０Ａは、ステップＳ１５２０で算出された関節の回転方向を、仮想空間１１Ａに配置されるアバターオブジェクト６Ａの関節に反映する。これにより、ユーザ５Ａの動きがアバターオブジェクト６Ａに反映される。
In step S1530, processor 210A reflects the rotation direction of the joint calculated in step S1520 on the joint of
ステップＳ１５４０にて、プロセッサ２１０Ａは、仮想空間１１Ａに配置される仮想カメラ１４Ａによってアバターオブジェクト６Ａを撮影する。より具体的には、プロセッサ２１０Ａは、仮想カメラ１４Ａの撮影範囲である視界領域１５Ａに対応する視界画像１７Ａを生成する。
In step S1540, processor 210A
ステップＳ１５５０にて、プロセッサ２１０Ａは、ステップＳ１５１０〜Ｓ１５４０を繰り返すことにより生成されたアバターオブジェクト６Ａを含む映像データをコンピュータ２００Ｂに配信する。
In step S1550, processor 210A distributes video data including
ステップＳ１５６０にて、コンピュータ２００Ｂのプロセッサ２１０Ｂは、受信した映像データをディスプレイ４３０Ｂ（またはモニタ１３０Ｂ）に出力する。その結果、ユーザ５Ｂは、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａを含む映像を視認できる。
In step S1560, processor 210B of
従来、モーションキャプチャを実現するためには、アバターオブジェクトの可動部（ボーン）に対応する数（例えば２６個）のモーションセンサをユーザが装着する必要があった。そのため、モーションキャプチャを実現するためのコストが高いという課題があった。これに対し、実施形態に従うコンピュータ２００Ａは、ユーザ５Ａの関節の回転方向を推定することによって、少ない数のモーションセンサによってユーザ５Ａの動きをアバターオブジェクト６Ａに反映できる。その結果、ユーザ５Ａは、自身の動きを反映させたアバタを含む動画を従来よりも容易にユーザ５Ｂと共有することができる。以下、このようなシステムを実現するためのより具体的な構成および処理について説明する。
Conventionally, in order to realize motion capture, the user has to wear a number (for example, 26) of motion sensors corresponding to the movable part (bone) of the avatar object. For this reason, there is a problem that the cost for realizing motion capture is high. In contrast, the
［寸法データの取得］
図１６は、寸法データの取得方法を説明するための図である。図１６（Ａ）は、ユーザ５Ａが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図１６（Ａ）に示される状態を第１姿勢とも言う。図１６（Ｂ）は、ユーザ５Ａが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図１６（Ｂ）に示される状態を第２姿勢とも言う。
[Get dimension data]
FIG. 16 is a diagram for explaining a method of acquiring dimension data. FIG. 16A shows a state in which the
ある局面において、プロセッサ２１０Ａは、ユーザ５Ａに対し第１姿勢および第２姿勢をとるように促す。一例として、プロセッサ２１０Ａは、第１姿勢および第２姿勢のキャラクタをモニタ１３０Ａに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ２１０Ａは、第１姿勢および第２姿勢をとる旨の音声をスピーカ１８０Ａから出力してもよい。
In one aspect, the processor 210A prompts the
プロセッサ２１０Ａは、２つの姿勢（第１姿勢と第２姿勢）のそれぞれにおいて、ユーザ５Ａに装着されたモーションセンサの出力に基づいてユーザ５Ａの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図１７に示されるように実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。
The processor 210A acquires positional information of the head, waist, both hands, and both feet of the
プロセッサ２１０Ａは、２つの姿勢に対応する位置情報からユーザ５Ａの寸法データ１４３９Ａを算出する。ある実施形態において、プロセッサ２１０Ａは、図１８に示されるように、ユーザ５Ａの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データ１４３９Ａとして算出する。プロセッサ２１０Ａは、第２姿勢における両手の間隔を肩幅として算出し得る。プロセッサ２１０Ａは、第１姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ２１０Ａは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ２１０Ａは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ２１０Ａは、第１姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
The processor 210A calculates the dimension data 1439A of the
図１９は、寸法データ１４３９を取得する処理を表すフローチャートである。ステップＳ１９１０にて、プロセッサ２１０は、仮想空間１１に仮想カメラ１４を配置する。プロセッサ２１０はさらに、仮想カメラ１４の撮影範囲に対応する視界画像１７をモニタ１３０に出力する。
FIG. 19 is a flowchart showing processing for acquiring the
ステップＳ１９２０にて、プロセッサ２１０は、ユーザ５に第１姿勢になるように指示する。例えば、プロセッサ２１０は、当該指示が記されたオブジェクトを仮想空間１１に配置することでステップＳ１９２０の処理を実現する。ステップＳ１９３０にて、プロセッサ２１０は、第１姿勢に対応する位置情報を取得する。
In step S1920,
ステップＳ１９４０にて、プロセッサ２１０は、ユーザ５に第２姿勢になるように指示する。ステップＳ１９５０にて、プロセッサ２１０は、第２姿勢に対応する位置情報を取得する。
In step S1940,
ステップＳ１９６０にて、プロセッサ２１０は、第１姿勢に対応する位置情報と第２姿勢に対応する位置情報とから、ユーザ５の寸法データを算出する。プロセッサ２１０は、寸法データをストレージ２３０に格納する。
In step S1960,
上記によれば、ユーザ５は２つの姿勢をとるだけで、自身の寸法をコンピュータ２００に容易に入力できる。なお、他の局面において、ユーザは自身の寸法をキーボード等の入力デバイスを用いてコンピュータ２００に入力してもよい。
Based on the above, the
［関節の回転方向］
ある実施形態において、コンピュータ２００は、ユーザ５に装着された６つのモーションセンサの出力（位置情報）と、寸法データ１４３９とに基づいて、ユーザ５の関節の回転方向を推定する。一例として、コンピュータ２００は、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。コンピュータ２００は、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学（Inverse Kinematics）を利用した公知のアプリケーションにより実行され得る。
[Rotation direction of joint]
In an embodiment, the
ある実施形態において、コンピュータ２００は、６つのモーションセンサから、ユーザ５の首（頭部）、腰、両手首、および両足首の関節の傾き（回転方向）を取得する。加えて、コンピュータ２００は、逆運動学に基づいて、両肩、両肘、両股（足のつけ根）、両膝の関節の回転方向を推定する。図２０に示されるように、コンピュータ２００は、各関節の回転方向をｕｖｗ視野座標系で取得または推定する。
In an embodiment, the
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、コンピュータ２００は、ユーザ５が正面を向いていないとき（つまり、頭部と腰部とが異なる方向を向いているとき）の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ２００は、モーションセンサによって検出されるユーザ５の部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ２００は、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ２００Ａは、関節の回転方向の精度を向上し得る。
When the rotation direction is calculated based on the position information and the dimension data, the
［アバタを含む映像の配信］
図２１は、コンピュータ２００がユーザ５の動きを反映したアバターオブジェクト６を含む映像を配信する処理の一例を表すフローチャートである。
[Distribution of video including avatar]
FIG. 21 is a flowchart illustrating an example of processing in which the
ステップＳ２１１０にて、コンピュータ２００のプロセッサ２１０は、ユーザ５の入力に基づいて、仮想カメラ１４の位置および傾きを変更する。これにより、ユーザ５は、任意の位置および角度からアバターオブジェクト６を撮影できる。
In step S2110,
なお、上記の説明において仮想カメラ１４は、ＨＭＤ１２０の動きに連動するように構成されていたが、図２１に示される処理の実行中は、ＨＭＤ１２０と仮想カメラ１４とが連動しないように構成され得る。
In the above description, the
プロセッサ２１０はさらに、仮想カメラ１４の撮影範囲に対応する視界画像１７をＨＭＤ１２０のモニタ１３０に出力する。他の局面において、プロセッサ２１０は、視界画像１７をディスプレイ４３０に出力してもよい。係る場合、ユーザ５は、ＨＭＤ１２０にかえて、モーションセンサを頭部に装着してもよい。
The
ステップＳ２１２０にて、プロセッサ２１０は、コンピュータ２００に関連付けられたユーザ５に装着された６つのモーションセンサから現在の位置情報を取得する。
In step S2120,
ステップＳ２１３０にて、プロセッサ２１０は、現在の位置情報と寸法データ１４３９とに基づいてユーザ５の現在の関節の回転方向を算出（推定）する。
In step S2130,
ステップＳ２１４０にて、プロセッサ２１０は、推定によって得られた回転方向と、モーションセンサから得られた回転方向とに基づいて、仮想空間１１に配置されるアバターオブジェクト６を動かす。例えば、プロセッサ２１０は、右肩の回転方向に基づいて、アバターオブジェクト６の右上腕部を動かす。プロセッサ２１０はさらに、現在の位置情報（例えば現在の腰部の位置情報）に基づいてアバターオブジェクト６の仮想空間１１における位置を動かす。これにより、現実空間のユーザ５の動きが仮想空間のアバターオブジェクト６に反映される。
In step S2140,
ステップＳ２１５０にて、プロセッサ２１０は、ユーザから録画開始の指示を受け付ける。この指示に応じて、プロセッサ２１０は、仮想カメラ１４の撮影範囲に対応する視界画像１７を連続的にメモリ２２０またはストレージ２３０に保存する。これにより、プロセッサ２１０は、ユーザ５の動きが反映されたアバターオブジェクト６を含む映像データを生成する（ステップＳ２１６０）。このとき、プロセッサ２１０は、マイク１７０から取得されるユーザ５の音声も併せて保存してもよい。
In step S2150,
ステップＳ２１７０にて、プロセッサ２１０は、ユーザから録画終了の指示を受け付ける。これに応答して、プロセッサ２１０は、映像データの保存を中止する。
In step S2170,
ステップＳ２１８０にて、プロセッサ２１０は、映像データを動画共有サーバとして機能するサーバ６００にアップロードする。視聴者は、サーバ６００にアクセスすることによって、アップロードされた映像データを視聴できる。
In step S2180,
このようにして、ユーザ５は、自身の動きを反映させたアバタを含む動画を従来よりも容易に共有することができる。なお、他の局面において、プロセッサ２１０は、映像データをサーバ６００を介さず他のコンピュータ２００に直接配信してもよい。
In this way, the
［サーバが映像を生成する場合］
図２１の例では、コンピュータ２００がアバタを含む映像を生成する処理を行なっているが、当該処理はコンピュータ２００ではなくサーバ６００によって実行されてもよい。図２２は、サーバ６００がアバタを含む映像を生成する処理の一例を表すフローチャートである。
[When the server generates video]
In the example of FIG. 21, the
ステップＳ２２１０にて、サーバ６００のプロセッサ６１０は、コンピュータ２００からユーザ５の寸法データ１４３９を取得する。
In step S 2210,
ステップＳ２２２０にて、コンピュータ２００のプロセッサ２１０は、ユーザ５に装着されたモーションセンサから取得される現在の位置情報をサーバ６００に送信する。
In step S2220,
その後、プロセッサ６１０は、上述のステップＳ２１３０，Ｓ２１４０，およびＳ２１６０の処理を実行することにより、アバタを含む映像を生成する。このとき、プロセッサ６１０は、コンピュータ２００からの指示に基づき仮想カメラ１４の位置および傾きを変更する処理を実行してもよい。
After that, the
ステップＳ２２３０にて、プロセッサ６１０は、アバタを含む映像をコンピュータ２００に送信する。ステップＳ２２４０にて、プロセッサ２１０は、受信した映像をディスプレイ４３０に表示する。これにより、ユーザ５は、自身の動きが反映されたアバターオブジェクト６を視認できる。
In step S2230,
ステップＳ２２５０にて、プロセッサ２１０は、録画開始指示をサーバ６００に送信する。ステップＳ２２６０にて、プロセッサ６１０は、録画開始指示の受信に応じて映像のメモリ６２０またはストレージ６３０への保存を開始する。
In step S2250,
ステップＳ２２７０にて、プロセッサ２１０は、録画終了指示をサーバ６００に送信する。ステップＳ２２８０にて、プロセッサ６１０は、録画終了指示の受信に応じて映像の保存を終了する。
In step S2270,
上記によれば、位置情報に基づいてアバタを動かす処理などの複雑な処理はサーバ６００によって実行される。そのため、コンピュータ２００の処理能力が低い場合であっても、ユーザ５は、自身の動きが反映されたアバターオブジェクト６を含む映像を容易に共有することができる。
According to the above, complicated processing such as processing for moving an avatar based on position information is executed by the
［アバターオブジェクトの選択］
上記の例では、動画の配信者であるユーザ５の動きが反映されたアバターオブジェクト６の種類を配信者自身が決定している。しかしながら、視聴者によっては、他人の動きが反映されたアバターオブジェクトの種類を自分で決定したいと考える。そこで、ある実施形態に従うサーバ６００は、視聴者によって選択されたアバターオブジェクトに配信者の動きを反映する。
[Select avatar object]
In the above example, the distributor himself / herself determines the type of the avatar object 6 that reflects the movement of the
図２３は、視聴者の端末として機能するコンピュータ２００の処理の一例を表すフローチャートである。図２３に示される例において、サーバ６００は、配信者の端末として機能する他のコンピュータ２００からコンテンツデータを受信し、コンテンツデータを予めストレージ６３０に保存している。
FIG. 23 is a flowchart illustrating an example of processing of the
コンテンツデータは、仮想空間１１に展開されるパノラマ画像１３、仮想空間１１に配置されるオブジェクトを生成するためのデータ、配信者の動きを表す位置情報群（つまり、配信者に装着されたモーションセンサの連続的な出力）、配信者の寸法データ１４３９、および音声データを含み得る。
The content data includes a
ステップＳ２３１０にて、サーバ６００のプロセッサ６１０は、コンテンツを特定するための複数のコンテンツ特定データ（例えば、コンテンツデータに含まれるパノラマ画像１３のサムネイル画像、コンテンツのタイトルなど）をコンピュータ２００に送信する。
In step S2310,
ステップＳ２３２０にて、コンピュータ２００のプロセッサ２１０は、受信した複数のコンテンツ特定データをディスプレイ４３０に表示する。ユーザ５（視聴者）はこれを見て、いずれか１つのコンテンツを選択する。プロセッサ２１０は、選択されたコンテンツの識別情報をサーバ６００に送信する。
In step S2320,
ステップＳ２３３０にて、プロセッサ６１０は、選択されたコンテンツに関連付けられた寸法データ、位置情報群、音声データをコンピュータ２００に送信する。なお、コンピュータ２００は、コンテンツに関連付けられた寸法データ（つまり、コンテンツの配信者の寸法データ）を予め取得している場合もあり得る。そのため、ある実施形態においてプロセッサ６１０は、配信者の識別情報をコンピュータ２００に送信し、コンピュータ２００が当該識別情報に基づいて配信者の寸法データを取得（特定）してもよい。
In step S2330,
ステップＳ２３４０にて、プロセッサ２１０は、ユーザ５からアバターオブジェクト６の種類の選択を受け付ける。一例として、ユーザは、男性のアバターオブジェクト、女性のアバターオブジェクト、動物のアバターオブジェクト、人気キャラクタを模したアバターオブジェクトなどの中から任意のアバターオブジェクトを選択できる。
In step S2340,
続いて、プロセッサ２１０は、上述のステップＳ２１３０，Ｓ２１５０，Ｓ２１６０の処理を実行することにより、ユーザ５（視聴者）によって選択されたアバターオブジェクト６であって、かつ、配信者の動きが反映されたアバターオブジェクト６を含む映像を生成できる。
Subsequently, the
ステップＳ２３６０にて、プロセッサ２１０は、生成した映像をディスプレイ４３０（またはモニタ１３０）に出力するとともに、受信した音声データをスピーカ１８０から出力する。
In step S2360,
当該構成によれば、視聴者は任意のアバターオブジェクトに配信者の動きを反映することができる。例えば、配信者が講師である場合、講師はモーションセンサを身に着けた状態で授業を収録する。視聴者は、講師の動きが反映された任意のアバターオブジェクトを含む映像を視聴することにより、楽しみながら授業を受けることができる。 According to this configuration, the viewer can reflect the movement of the distributor on any avatar object. For example, if the distributor is an instructor, the instructor records a lesson while wearing a motion sensor. The viewer can enjoy the lesson by watching a video including an arbitrary avatar object reflecting the movement of the lecturer.
ある実施形態において、コンピュータ２００またはサーバ６００は、予め定められた条件が満たされた場合（例えば課金処理が実行された場合）に、特定のアバターオブジェクトを選択可能な状態にしてもよい。
In an embodiment, the
ある実施形態において、コンテンツデータは、位置情報群に替えて、配信者の関節の回転方向の情報を含んでいてもよい。係る場合、視聴者のコンピュータ２００は、配信者の重心位置がどのように移動したかが分からない。そこで、コンピュータ２００は、仮想空間１１における所定位置（例えば中心１２）に配置されるアバターオブジェクト６または予め定められた経路を移動するアバターオブジェクト６に対して配信者の関節の動きを反映し得る。
In an embodiment, the content data may include information on the rotation direction of the distributor's joint instead of the position information group. In such a case, the viewer's
過去の配信者の動きを特定のアバターオブジェクト６に反映させる他の方法として、当該特定のアバターオブジェクト６の可動部（ボーン）に対応する配信者の位置情報群をコンテンツデータとして保存することが考えられる。しかしながら、この方法の場合、コンテンツデータのサイズが大きくなってしまう。また、視聴者のコンピュータ２００は、特定のアバターオブジェクト６の大きさと、配信者の寸法データ１４３９とに基づいて、位置情報群を規格化しなければならない。
As another method of reflecting past movements of the distributor in the specific avatar object 6, it is considered to store the position information group of the distributor corresponding to the movable part (bone) of the specific avatar object 6 as content data. It is done. However, in this method, the size of the content data is increased. In addition, the viewer's
一方、配信者の回転方向の情報を含むコンテンツデータは、配信者の位置情報群を含むコンテンツデータに比べてサイズが小さい。また、視聴者のコンピュータ２００は、回転方向に対して規格化を行なわなくともよい。その結果、視聴者のコンピュータ２００は、配信者の動きが反映されたアバターオブジェクト６を含む動画を容易に共有できる。
On the other hand, content data including information on the rotation direction of the distributor is smaller in size than content data including the position information group of the distributor. Further, the viewer's
［拡張現実］
上記の実施形態では、視聴者は、仮想空間１１に配置されたアバターオブジェクト６が配信者と同様の動きを行なう様子を視認する。次に説明する実施形態において、視聴者は、現実空間（に対応する動画像）に配置されたアバターオブジェクト６が配信者と同様の動きを行なう様子を視認する。
[Augmented reality]
In the above embodiment, the viewer visually recognizes that the avatar object 6 arranged in the
図２４は、ある実施形態に従う処理の概要を表す図である。図２４に示される例において、ユーザ５Ｂが関連付けられるコンピュータ２００Ｂは、携帯型の情報処理端末（例えばスマートフォン）として機能する。また、コンピュータ２００Ｂはさらに、カメラ２４３１と、モーションセンサ２４３３と、ディスプレイ２４３５とを備える。
FIG. 24 is a diagram illustrating an outline of processing according to an embodiment. In the example shown in FIG. 24, the
図２４の状態（Ａ）において、ユーザ５Ｂは、コンピュータ２００Ｂに搭載されるカメラ２４３１でウサギ２４２１を撮影する。コンピュータ２００Ｂは、生成された動画像をディスプレイ２４３５に出力する。コンピュータ２００Ｂはさらに、カメラ２４３１により生成された動画像をコンピュータ２００Ａに送信する。
In the state (A) of FIG. 24, the
図２４の状態（Ｂ）において、コンピュータ２００Ａは、受信した動画像をＨＭＤ１２０Ａのモニタ１３０Ａに表示する。これにより、ユーザ５Ａは、ユーザ５Ｂが撮影しているウサギ２４２１を視認する。
In the state (B) of FIG. 24, the
ユーザ５Ａは、ＨＭＤ１２０Ａを装着し、右コントローラ３００ＲＡと左コントローラ３００ＬＡとを保持している。ユーザ５Ａはさらに、モーションセンサ１５２１〜１５２３を装着している。
The
ユーザ５Ａは、受信した動画像を視認しながら、動きを交えつつ発話する。一例として、ユーザ５Ａは、あたかもウサギ２４２１を触るジェスチャをしながら「ウサギの背中を優しく撫でて下さい」と発話する。
The
コンピュータ２００Ａは、ユーザ５Ａのジェスチャに対応する位置情報群と、音声データと、ユーザ５Ａの寸法データ１４３９とをコンピュータ２００Ｂに送信する。
The
図２４の状態（Ｃ）において、コンピュータ２００Ｂは、仮想空間１１Ｂに仮想カメラ１４Ｂと、ユーザ５Ａに対応するアバターオブジェクト６Ａとを配置している。コンピュータ２００Ｂは、受信した位置情報群と寸法データ１４３９とに基づいて、ユーザ５Ａの関節の回転方向を取得する（上述のステップＳ２１３０の処理）。コンピュータ２００Ｂはさらに、関節の回転方向と、位置情報とに基づいてアバターオブジェクト６Ａを動かす（上述のステップＳ２１４０の処理）。
In the state (C) of FIG. 24, the
コンピュータ２００Ｂは、モーションセンサ２４３３の出力（コンピュータ２００Ｂの位置および傾き）に基づいて仮想カメラ１４Ｂの位置および傾きを変更する。コンピュータ２００Ｂは、仮想カメラ１４Ｂの撮影範囲である視認領域１５Ｂに対応する視界画像１７Ｂを生成する。ある局面において、仮想カメラ１４Ｂは、アバターオブジェクト６Ａのみを撮影するように設定されている。他の局面において、仮想空間１１Ｂに配置されるアバターオブジェクト６Ａ以外のオブジェクト（例えばアバターオブジェクト６Ａが立っている地面オブジェクト）および仮想空間１１Ｂに展開されるパノラマ画像１３Ｂが透明に設定されていてもよい。その結果、コンピュータ２００Ｂは、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａを任意の位置および角度から撮影した映像を生成できる。
The
図２４の状態（Ｄ）において、コンピュータ２００Ｂは、カメラ２４３１により生成される動画像（つまり、現実空間に対応する動画像）において平面を検出する。この処理は、公知のアプリケーション（例えば、ＡＲｋｉｔ）により実現され得る。
In the state (D) of FIG. 24, the
コンピュータ２００Ｂは、検出した平面上にアバターオブジェクト６Ａの映像を重畳し、重畳された動画像をディスプレイ２４３５に出力する。これにより、ユーザ５Ｂは、アバターオブジェクト６Ａがあたかも平面上で動いているように感じ得る。コンピュータ２００Ｂはさらに、受信した音声データを出力する。
The
当該構成によれば、コンピュータ２００Ｂは、現実世界の情報に対して、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａをリアルタイムに付加できる。これにより、例えば、ユーザ５Ａは、ユーザ５Ｂが現実世界において困っている事柄に対してジェスチャも交えた分かり易い指示をユーザ５Ｂに与えることができる。他の例として、ユーザ５Ｂが観光地を撮影し、ユーザ５Ａが観光地のリポートを仮想的に行なうことができる。
According to this configuration, the
［制御構造］
図２５は、コンピュータ２００Ｂが、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａを含む映像を出力する処理の一例を表すフローチャートである。
[Control structure]
FIG. 25 is a flowchart illustrating an example of processing in which the
ステップＳ２５１０にて、コンピュータ２００Ｂのプロセッサ２１０Ｂは、カメラ２４３１の撮影により生成された画像をコンピュータ２００Ａに送信する。ステップＳ２５２０にて、プロセッサ２１０Ｂは、ユーザ５Ｂからアバターオブジェクト６Ａの種類の選択を受け付ける。
In step S2510, processor 210B of
ステップＳ２５３０にて、コンピュータ２００Ａのプロセッサ２１０Ａは、画像をモニタ１３０Ａまたはディスプレイ４３０Ａに表示する。ステップＳ２５４０にて、プロセッサ２１０Ａは、予め取得しておいたユーザ５Ａの寸法データ１４３９Ａをコンピュータ２００Ｂに送信する。ステップＳ２５５０にて、プロセッサ２１０Ａは、ユーザ５Ａに装着されたモーションセンサから現在の位置情報を取得する。プロセッサ２１０Ａはさらに、マイク１７０Ａから音声データを取得する。プロセッサ２１０Ａは、現在の位置情報と音声データとをコンピュータ２００Ｂに送信する。
In step S2530, processor 210A of
その後、プロセッサ２１０Ｂは、上述のステップＳ２１３０およびＳ２１４０の処理を実行することにより、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａを生成する。
Thereafter, the processor 210B generates the
ステップＳ２５６０にて、プロセッサ２１０Ｂは、モーションセンサ２４３３の出力に基づいて仮想空間１１Ｂに配置される仮想カメラ１４Ｂの位置および傾きを変更する。例えば、プロセッサ２１０Ｂは、仮想空間１１Ｂの予め定められた位置（例えば中心１２Ｂ）に仮想カメラ１４Ｂを配置する。プロセッサ２１０Ｂは、モーションセンサ２４３３の出力から算出されるコンピュータ２００Ｂの位置および傾きの変化を、仮想カメラ１４Ｂの位置および傾きに反映する。
In step S2560, processor 210B changes the position and inclination of
ステップＳ２５７０にて、プロセッサ２１０Ｂは、仮想カメラ１４Ｂによりアバターオブジェクト６Ａを撮影する。
In step S2570, processor 210B
ステップＳ２５８０にて、プロセッサ２１０Ｂは、カメラ２４３１により撮影した画像に、仮想カメラ１４Ｂにより撮影したアバターオブジェクト６Ａを重畳する。プロセッサ２１０Ｂは、アバターオブジェクト６Ａが重畳された画像をディスプレイ２４３５に出力する。プロセッサ２１０Ｂはさらに、受信した音声データを出力する。
In step S2580, processor 210B superimposes the
コンピュータ２００Ａおよびコンピュータ２００Ｂは、図２５に示される処理のうち、ステップＳ２５２０およびＳ２５４０を除く処理を繰り返し実行する。その結果、ユーザ５Ａの動きが反映されたアバターオブジェクト６Ａが、ディスプレイ２４３５に表示される現実世界に表れる。
The
なお、図２５に示される例では、コンピュータ２００Ａとコンピュータ２００Ｂとは直接情報を送受信しているが、サーバ６００を介して情報を送受信してもよい。
In the example shown in FIG. 25, the
また、図２５に示される例ではコンピュータ２００ＢがステップＳ２１３０の処理（回転方向を推定する処理）を実行するように構成されているが、当該処理の実行主体はコンピュータ２００Ｂに限られない。例えば、図２２に示される処理のようにサーバ６００が回転方向の推定を行なってもよいし、コンピュータ２００Ａが回転方向の推定を行なってもよい。コンピュータ２００Ａは、現在の位置情報と回転方向の推定結果とをコンピュータ２００Ｂに送信してもよいし、上述のようにアバターオブジェクト６Ａにユーザ５Ａの重心移動を反映しない場合は回転方向の推定結果のみをコンピュータ２００Ａに送信してもよい。
In the example shown in FIG. 25, the
また、図２５に示される例ではステップＳ２５４０でコンピュータ２００Ａが寸法データ１４３９Ａをコンピュータ２００Ｂに送信しているが、コンピュータ２００Ｂが予め寸法データ１４３９Ａを取得している場合もあり得る。その場合、コンピュータ２００Ａは、ステップＳ２５４０においてユーザ５Ａまたはコンピュータ２００Ａの識別情報をコンピュータ２００Ｂに送信し得る。コンピュータ２００Ｂは、受信した識別情報に従いユーザ５Ａに対応する寸法データ１４３９Ａを特定し得る。
In the example shown in FIG. 25, the
なお、上述の例において、ユーザ５は頭部、腰部、両手、および両足の計６カ所にモーションセンサを装着しているが、モーションセンサの数は６個に限られない。ユーザ５は、少なくとも１カ所にモーションセンサを装着していればよい。
In the above example, the
〔実施形態２〕
［寸法データの自動取得］
本実施形態では、上記の実施形態で説明した寸法データの取得を、自動的に行う構成を説明する。図２６は、ある実施の形態に従う、寸法データの自動取得を説明するための図である。
[Embodiment 2]
[Automatic acquisition of dimension data]
In the present embodiment, a configuration for automatically acquiring the dimension data described in the above embodiment will be described. FIG. 26 is a diagram for explaining automatic acquisition of dimension data according to an embodiment.
プロセッサ２１０Ａは、ユーザ５Ａの動きを、仮想空間に配置されているアバターオブジェクト６Ａに反映させるためのプログラムを実行すると、寸法データの自動取得を開始する。プロセッサ２１０Ａは、ユーザ５Ａに対し、所定位置（第１位置）への移動を促す。以降、該所定位置を「ホームポジション」と呼称する。
When the processor 210A executes a program for reflecting the movement of the
ユーザがホームポジションを認識することができるように、ホームポジションは現実空間において明示されていることが好ましい。図２６（Ａ）は、ホームポジションを明示するマークの一例を示す。図２６（Ａ）に示されるマーク２６４１は、一例として、ユーザ５Ａが起立したとき、ユーザ５Ａの足裏と接触する面（床面など）に、テープを貼付することで形成されてもよい。
The home position is preferably specified in the real space so that the user can recognize the home position. FIG. 26A shows an example of a mark that clearly indicates the home position. As an example, the
ユーザ５Ａに対しホームポジションへの移動を促す方法の一例として、プロセッサ２１０Ａは、マーク２６４１と同様のマークの上に立つキャラクタと、マーク２６４１の上に立つ旨のメッセージとをモニタ１３０Ａに表示する。他の例として、プロセッサ２１０Ａは、マーク２６４１の上に立つ旨の音声をスピーカ１８０Ａから出力してもよい。
As an example of a method for prompting the
プロセッサ２１０Ａは、ユーザ５Ａがホームポジションにいること、すなわち、ユーザ５Ａがマーク２６４１の上に立っている状態であることを検知する。一例として、該状態の検知は、ユーザ５Ａの頭部の位置が、ストレージ２３０に予め格納されている範囲内にあるか否かを、プロセッサ２１０Ａが判定することにより実現される。この場合、ユーザ５Ａの頭部の位置は、ＨＭＤセンサ４１０により、ＨＭＤ１２０Ａの位置をトラッキングすることにより検出されてもよいし、ＨＭＤ１２０Ａが備えるモーションセンサが検出する位置情報に基づいて検出されてもよい。また、上記の範囲としては、ホームポジションにユーザ５Ａが立っているときの頭部の位置を中心とした範囲を設定すればよい。
The processor 210A detects that the
プロセッサ２１０Ａは、ユーザ５Ａがホームポジションにいることを検知すると、ユーザ５Ａに対し、図２６の（Ｂ）に示される姿勢を取るように促す。図２６（Ｂ）は、ユーザ５Ａが、ホームポジションにおいて、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。実施形態１では、図２６（Ｂ）に示される状態を第２姿勢と呼称していたが、本実施形態では、該状態を第１姿勢と呼称する。
When the processor 210A detects that the
ユーザ５Ａに対し第１姿勢を取るように促す方法の一例として、プロセッサ２１０Ａは、第１姿勢のキャラクタと、同様の姿勢をとる旨のメッセージとを表示する。他の例として、プロセッサ２１０Ａは、第１姿勢をとる旨の音声をスピーカ１８０Ａから出力してもよい。
As an example of a method for prompting the
図２６に示される例では、ユーザ５Ａは、位置センサとして、ＨＭＤ１２０Ａ、右コントローラ３００ＲＡ、左コントローラ３００ＬＡ、モーションセンサ１５２１〜１５２３に加え、モーションセンサ２６５１〜２６５４を装着している。モーションセンサ２６５１〜２６５４は、モーションセンサ１５２１〜１５２３と同様の機能を有する。モーションセンサ２６５１はユーザ５Ａの右肘に装着されている。モーションセンサ２６５２はユーザ５Ａの左肘に装着されている。モーションセンサ２６５３はユーザ５Ａの右膝に装着されている。モーションセンサ２６５４はユーザ５Ａの左膝に装着されている。
In the example shown in FIG. 26, the
プロセッサ２１０Ａは、ユーザ５Ａが、ホームポジションにおいて第１姿勢をとっていることを検知する。本実施形態において、「ユーザ５Ａがホームポジションにおいて第１姿勢をとっている」とは、ユーザ５Ａがマーク２６４１の上において、第１姿勢をとったまま所定時間（例えば、３秒間）静止している状態を指す。ユーザ５Ａが、ホームポジションにおいて第１姿勢をとっていることの検知は、プロセッサ２１０Ａがこの状態を特定することで実現される。なお、ユーザ５Ａがホームポジションにいることの特定方法は、既に説明しているため、ここでは説明を繰り返さない。
The processor 210A detects that the
一例として、プロセッサ２１０Ａは、ユーザ５Ａに装着された各モーションセンサが検出する位置情報に基づき、第１姿勢に対応する頭部、腰部、両手、両足両肘、両膝の位置情報（第１位置情報）を特定（取得）する。第１位置情報は、実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。続いて、プロセッサ２１０Ａは、第１姿勢に対応するユーザ５Ａの各部位の位置関係に基づき、ユーザ５Ａの姿勢が第１姿勢であると特定する。具体的には、プロセッサ２１０Ａは、ユーザ５Ａの足、膝、手、および肘が、マーク２６４１が形成された面に対して略垂直方向に並んでいると特定したとき、ユーザ５Ａの姿勢が第１姿勢であると特定する。そして、プロセッサ２１０Ａは、第１姿勢における、ユーザ５Ａの各部の加速度を算出する。該加速度は、ユーザ５Ａに装着された各モーションセンサが検出する位置情報の経時変化に基づき算出することができる。該加速度が、所定時間継続して、所定の誤差範囲内に収まっていれば、プロセッサ２１０Ａは、ユーザ５Ａが第１姿勢をとったまま所定時間静止していると特定する。
As an example, the processor 210A, based on the position information detected by each motion sensor attached to the
プロセッサ２１０Ａは、第１姿勢を検知すると、特定した第１位置情報からユーザ５Ａの寸法データ１４３９Ａ（図１８参照）を算出する。具体的には、プロセッサ２１０Ａは、図１８に示される寸法データ１４３９Ａのうち、ユーザ５Ａの身長、肩幅、足の長さ（第１寸法データ）を算出する。プロセッサ２１０Ａは、第１位置情報における一方の手の位置から他方の手の位置までの距離を肩幅として算出し得る。また、プロセッサ２１０Ａは、足の位置から頭部の位置までの高さを身長として算出し得る。プロセッサ２１０Ａは、足の位置から腰部の位置までの高さを脚の長さとして算出し得る。
When detecting the first posture, the processor 210A calculates the dimension data 1439A (see FIG. 18) of the
プロセッサ２１０Ａは、第１位置情報から寸法データを算出すると、ユーザ５Ａに対し図２６の（Ｃ）に示される第２姿勢を取るように促す。図２６（Ｃ）は、ユーザ５Ａが、ホームポジションにおいて、正面を向き、両手を水平に広げ、起立している状態を表す。実施形態１では、図２６（Ｃ）に示される状態を第１姿勢と呼称していたが、本実施形態では、該状態を第２姿勢と呼称する。
After calculating the dimension data from the first position information, the processor 210A prompts the
ユーザ５Ａに対し第２姿勢を取るように促す方法の一例として、プロセッサ２１０Ａは、第２姿勢のキャラクタと、同様の姿勢をとる旨のメッセージとをモニタ１３０Ａに表示する。他の例として、プロセッサ２１０Ａは、第２姿勢をとる旨の音声をスピーカ１８０Ａから出力してもよい。
As an example of a method for prompting the
プロセッサ２１０Ａは、ユーザ５Ａが、ホームポジションにおいて第２姿勢をとっていることを検知する。なお、本実施形態において、「ユーザ５Ａがホームポジションにおいて第２姿勢をとっている」とは、ユーザ５Ａがマーク２６４１の上において、第２姿勢をとったまま所定時間静止している状態を指す。ユーザ５Ａが、ホームポジションにおいて第２姿勢をとっていることの検知は、プロセッサ２１０Ａがこの状態を特定することで実現される。なお、ユーザ５Ａがホームポジションにいることの特定方法は、既に説明しているため、ここでは説明を繰り返さない。
The processor 210A detects that the
一例として、プロセッサ２１０Ａは、ユーザ５Ａに装着された各モーションセンサが検出する位置情報に基づき、第２姿勢に対応する頭部、腰部、両手、両足両肘、両膝の位置情報（第３位置情報）を特定する。第３位置情報は、第１位置情報と同様に、実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。続いて、プロセッサ２１０Ａは、第２姿勢に対応するユーザ５Ａの各部位の位置関係に基づき、ユーザ５Ａの姿勢が第２姿勢であると特定する。具体的には、プロセッサ２１０Ａは、ユーザ５Ａの両手および両肘が、マーク２６４１が形成された面に対して平行方向に並んでいると特定したとき、ユーザ５Ａの姿勢が第２姿勢であると特定する。そして、プロセッサ２１０Ａは、上述した、第１姿勢をとったまま所定時間静止していることの特定と同様の方法で、ユーザ５Ａが第２姿勢をとったまま所定時間静止していることを特定する。
As an example, the processor 210A, based on the position information detected by each motion sensor attached to the
プロセッサ２１０Ａは、第２姿勢を検知すると、特定した第１位置情報および第３位置情報からユーザ５Ａの寸法データ１４３９Ａを算出する。具体的には、プロセッサ２１０Ａは、図１８に示される寸法データ１４３９Ａのうち、ユーザ５Ａの腕の長さ（第２寸法データ）を算出する。プロセッサ２１０Ａは、第３位置情報における一方の手の位置から他方の手の位置までの距離を算出し、該距離から肩幅を差し引いた値の半分を腕の長さとして算出し得る。腕の長さの算出において、第１位置情報に基づいて算出した肩幅を排除することができるので、第１位置情報および第３位置情報を用いることで、より高精度な寸法データの算出を実現することができる。
When the processor 210A detects the second posture, the processor 210A calculates the dimension data 1439A of the
また、プロセッサ２１０Ａは、第１位置情報から算出した、身長および脚の長さを、第３位置情報に基づいて補正してもよい。一例として、プロセッサ２１０Ａは、第３位置情報からも身長を算出し、第１位置情報から算出した身長と、第３位置情報から算出した身長との平均値を、ユーザ５Ａの身長としてもよい。同様に、プロセッサ２１０Ａは、第３位置情報からも脚の長さを算出し、第１位置情報から算出した脚の長さと、第３位置情報から算出した脚の長さとの平均値を、ユーザ５Ａの脚の長さとしてもよい。
In addition, the processor 210A may correct the height and leg length calculated from the first position information based on the third position information. As an example, the processor 210A may calculate the height from the third position information, and may use an average value of the height calculated from the first position information and the height calculated from the third position information as the height of the
なお、寸法データ１４３９Ａの内容は図１８に示される例に限定されない。一例として、寸法データ１４３９Ａは、さらに、手から肘までの長さ、肘から肩までの長さ、足から膝までの長さ、膝から腰部までの長さなどを含んでもよい。 The content of the dimension data 1439A is not limited to the example shown in FIG. As an example, the dimension data 1439A may further include a length from the hand to the elbow, a length from the elbow to the shoulder, a length from the foot to the knee, a length from the knee to the waist, and the like.
プロセッサ２１０Ａは、第１位置情報から、手から肘までの長さ、足から膝までの長さ、および膝から腰部までの長さを算出し得る。具体的には、プロセッサ２１０Ａは、右手の位置から右肘の位置までの距離を、右手から右肘までの長さとして算出し得る。プロセッサ２１０Ａは、左手から左肘までの長さも、同様に算出し得る。プロセッサ２１０Ａは、右足の位置から右膝の位置までの距離を、右足から右膝までの長さとして算出し得る。プロセッサ２１０Ａは、左足から左膝までの長さも、同様に算出し得る。プロセッサ２１０Ａは、右膝の位置から腰部の位置までの距離を、右膝から腰部までの長さとして算出し得る。プロセッサ２１０Ａは、左膝から腰部までの長さも、同様に算出し得る。 The processor 210A may calculate the length from the hand to the elbow, the length from the foot to the knee, and the length from the knee to the waist from the first position information. Specifically, the processor 210A may calculate the distance from the right hand position to the right elbow position as the length from the right hand to the right elbow. The processor 210A can similarly calculate the length from the left hand to the left elbow. The processor 210A may calculate the distance from the position of the right foot to the position of the right knee as the length from the right foot to the right knee. The processor 210A can similarly calculate the length from the left foot to the left knee. The processor 210A may calculate the distance from the position of the right knee to the position of the waist as the length from the right knee to the waist. The processor 210A can similarly calculate the length from the left knee to the waist.
また、プロセッサ２１０Ａは、第１位置情報および第３位置情報から、肘から肩までの長さを算出し得る。具体的には、プロセッサ２１０Ａは、腕の長さから、右手から右肘までの長さを差し引いた値を、右肘から右肩までの長さとして算出し得る。プロセッサ２１０Ａは、左肘から左肩までの長さも、同様に算出し得る。 In addition, the processor 210A can calculate the length from the elbow to the shoulder from the first position information and the third position information. Specifically, the processor 210A can calculate a value obtained by subtracting the length from the right hand to the right elbow from the length of the arm as the length from the right elbow to the right shoulder. The processor 210A can similarly calculate the length from the left elbow to the left shoulder.
プロセッサ２１０Ａは、第１位置情報から算出した、手から肘までの長さ、足から膝までの長さ、膝から腰部までの長さを、第３位置情報に基づいて補正してもよい。この補正の方法は、上述した身長および脚の長さの補正の方法と同様であるため、ここでは説明を繰り返さない。 The processor 210A may correct the length from the hand to the elbow, the length from the foot to the knee, and the length from the knee to the waist calculated from the first position information based on the third position information. Since this correction method is the same as the above-described method for correcting the height and leg length, description thereof will not be repeated here.
図２７は、ある実施の形態に従う、寸法データ１４３９の自動取得処理を表すフローチャートである。ステップＳ２７５０にて、プロセッサ２１０は、ユーザ５Ａの動きを、仮想空間に配置されているアバターオブジェクト６Ａに反映させるためのプログラムを実行し、仮想空間１１に仮想カメラ１４を配置する。プロセッサ２１０はさらに、仮想カメラ１４の撮影範囲に対応する視界画像１７をモニタ１３０に出力する。
FIG. 27 is a flowchart showing an automatic acquisition process of
ステップＳ２７５１にて、プロセッサ２１０は、ユーザ５にホームポジションに立つように指示する。例えば、プロセッサ２１０は、当該指示が記されたオブジェクトを仮想空間１１に配置することでステップＳ２７５１の処理を実現する。
In step S2751, the
ステップＳ２７５２にて、プロセッサ２１０は、ユーザ５がホームポジションに立ったことを検知する。プロセッサ２１０は、ユーザ５がホームポジションに立ったことを検知すると、ステップＳ２７５３にて、ユーザ５に第１姿勢になるように指示する。例えば、プロセッサ２１０は、当該指示が記されたオブジェクトを仮想空間１１に配置することでステップＳ２７５３の処理を実現する。
In step S2752, the
ステップＳ２７５４にて、プロセッサ２１０は、第１位置情報を取得し、ユーザ５が第１姿勢となったことを検知する。プロセッサ２１０は、ユーザ５が第１姿勢となったことを検知すると、ステップＳ２７５５にて、第１位置情報から寸法データを算出する。
In step S2754, the
ステップＳ２７５６にて、プロセッサ２１０は、ユーザ５に第２姿勢になるように指示する。例えば、プロセッサ２１０は、当該指示が記されたオブジェクトを仮想空間１１に配置することでステップＳ２７５６の処理を実現する。
In step S2756,
ステップＳ２７５７にて、プロセッサ２１０は、第３位置情報を取得し、ユーザ５が第２姿勢となったことを検知する。プロセッサ２１０は、ユーザ５が第２姿勢となったことを検知すると、ステップＳ２７５８にて、第１位置情報および第３位置情報から寸法データを算出する。
In step S2757, the
上記によれば、プロセッサ２１０がアプリケーションを実行すれば、ユーザ５の寸法データの取得が自動的に行われる。ユーザ５は、自身の寸法データを入力するために、現実空間における所定位置で２つの姿勢をとるだけでよい。以上より、ユーザ５は、寸法データの入力を１人で容易に行うことができる。
According to the above, when the
また、上記によれば、プロセッサ２１０が、ユーザ５に対し、ホームポジションへの移動、第１姿勢をとること、および、第２姿勢を取ることを指示する。これにより、ユーザ５は、寸法データの入力において、次に何をすべきかを認識することができる。以上より、ユーザ５は、寸法データの入力を１人で、さらに容易に行うことができる。
Further, according to the above, the
プロセッサ２１０は、ステップＳ２７５８の処理の実行後に、ユーザ５に装着された各モーションセンサから、ユーザの現在の姿勢（第３姿勢）に対応する現在の位置情報（第２位置情報）を取得し、該現在の位置情報と、算出した寸法データとに基づいて、アバターオブジェクト６を制御する。この制御の一例として、プロセッサ２１０は、ユーザの現在の姿勢を取るようにアバターオブジェクト６を動かしてもよい。また、プロセッサ２１０は、ステップＳ２７５８の処理の実行後に、図２１のフローチャートに示される処理を実行してもよい。
The
上記によれば、ユーザ５は、寸法データの入力のみならず、ユーザ５の動きのアバターオブジェクト６への反映も、１人で容易に行うことができる。
According to the above, the
また、図２１に示されるステップＳ２１４０においてアバターオブジェクト６を動かすと同時に、ユーザ５の表情の変化を、アバターオブジェクト６の表情に反映させてもよい。この処理は、フェイストラッキング機能を有する装置をユーザ５の顔の正面に固定し、撮影したユーザ５の顔画像と、モーションセンサから得られた現在の位置情報および回転方向とをタイムスタンプで同期することで実現される。
Further, at the same time as moving the avatar object 6 in step S <b> 2140 shown in FIG. 21, the change in the facial expression of the
また、プロセッサ２１０は、ステップＳ２７５５およびＳ２７５８にて算出したユーザ５の寸法データと、アバターオブジェクト６の寸法データとを用いて、ユーザ５の寸法データと、アバターオブジェクト６の寸法データとの比率を算出してもよい。プロセッサ２１０は、該比率を、アバターオブジェクト６の制御に用いてもよい。このようにしても、プロセッサ２１０は、ユーザ５Ａの寸法データと、アバターオブジェクト６の寸法データとのずれを考慮して、アバターオブジェクト６を制御することができる。よって、両寸法データが大きく異なる場合、例えば、アバターオブジェクト６が二頭身のキャラクタであっても、ユーザ５の動きを、アバターオブジェクト６に自然に反映させることができる。なお、アバターオブジェクト６の寸法データは、例えば、予めストレージ２３０に記憶しておけばよい。
In addition, the
また、上述した例では、図２６（Ｂ）に示される姿勢を第１姿勢、図２６（Ｃ）に示される姿勢を第２姿勢としていたが、図２６（Ｃ）に示される姿勢を第１姿勢、図２６（Ｂ）に示される姿勢を第２姿勢としてもよい。 In the example described above, the posture shown in FIG. 26B is the first posture and the posture shown in FIG. 26C is the second posture. However, the posture shown in FIG. The posture shown in FIG. 26B may be set as the second posture.
また、プロセッサ２１０は、図２７に示すステップＳ２７５１、Ｓ２７５３、およびＳ２７５６の処理のうち、少なくとも１つを実行しない構成であってもよい。一例として、プロセッサ２１０は、これらのステップの処理をすべて実行しない、すなわち、ユーザ５に対する指示を行わない構成であってもよい。
The
また、プロセッサ２１０は、図２７に示すステップＳ２７５６〜Ｓ２７５８の処理を実行しない構成であってもよい。すなわち、プロセッサ２１０は、第１姿勢のみに基づいて、ユーザ５の寸法データを算出する構成であってもよい。この構成によれば、ユーザ５の寸法データとして、身長、肩幅、脚の長さ、手から肘までの長さ、足から膝までの長さ、膝から腰部までの長さなどを取得することができる。また、この例において、第１姿勢は、図２６（Ｃ）に示される姿勢であってもよい。この場合、ユーザ５の寸法データとして、身長、腕の長さ、脚の長さ、頭部から肩までの高さ、手から肘までの長さ、肘から肩までの長さ、足から膝までの長さ、膝から腰部までの長さなどを取得することができる。
Further, the
また、図２７に示す例では、第１位置情報からの寸法データの算出（ステップＳ２７５５）、並びに、第１位置情報および第３位置情報からの寸法データの算出（ステップＳ２７５８）は、それぞれ、第１姿勢の検知（ステップＳ２７５４）および第２姿勢の検知（ステップＳ２７５７）の後に行われるものとして記載したが、この例に限定されない。一例として、寸法データの算出処理は、それぞれ、第１姿勢および第２姿勢の検知処理と同じタイミングで行われてもよい。具体的には、プロセッサ２１０は、第１位置情報または第３位置情報を取得した時点で、第１姿勢または第２姿勢の検知を行いながら、寸法データの算出を開始してもよい。この例において、第１姿勢または第２姿勢を検知できなかった場合、プロセッサ２１０は、寸法データの算出を中止してもよい。第１姿勢または第２姿勢を検知できなかった場合とは、例えば、所定時間が経過する前に、ユーザ５が第１姿勢または第２姿勢と異なる姿勢となった場合が挙げられる。
In the example shown in FIG. 27, the calculation of the dimension data from the first position information (step S2755) and the calculation of the dimension data from the first position information and the third position information (step S2758) are performed respectively. Although described as being performed after the detection of one posture (step S2754) and the detection of the second posture (step S2757), it is not limited to this example. As an example, the dimension data calculation process may be performed at the same timing as the first attitude detection process and the second attitude detection process, respectively. Specifically, the
また、上述した例では、第１位置情報および第３位置情報に基づき、第１姿勢および第２姿勢の特定を行なっていたが、第１姿勢および第２姿勢の特定は、この方法に限定されない。例えば、カメラが撮影したユーザ５を含む画像と基準画像とを比較し、両画像におけるユーザ５の姿勢について、誤差が所定範囲内であれば、ユーザ５が第１姿勢または第２姿勢をとっていると特定してもよい。該カメラは、ユーザ５の全身を撮影可能な位置に設け、コンピュータ２００と有線または無線により接続すればよい。また、基準画像としては、予め、ユーザ５に第１姿勢および第２姿勢をとらせて撮影を行い、取得した画像を用いればよい。また、予め取得した基準画像は、ストレージ２３０に記憶しておけばよい。また、この方法で第１姿勢および第２姿勢を特定する例の場合、プロセッサ２１０は、第１姿勢および第２姿勢の特定中、または特定後に、第１位置情報および第３位置情報を取得すればよい。
In the above-described example, the first posture and the second posture are specified based on the first position information and the third position information. However, the specification of the first posture and the second posture is not limited to this method. . For example, the image including the
また、モーションセンサを用いた位置検出に代えて、高精度のジャイロセンサを用いた動き検出を行うことにより、寸法データの取得や、ユーザ５の動きのアバターオブジェクト６への反映を実現してもよい。
Also, instead of position detection using a motion sensor, motion detection using a high-precision gyro sensor can be used to acquire dimension data and reflect the movement of the
［付記事項］
以上に開示された技術的特徴は、以下のように要約され得る。
[Additional Notes]
The technical features disclosed above can be summarized as follows.
（項目１） 位置センサを装着したユーザの動きを、仮想空間に配置されているアバタに反映するためのプログラムを説明した。本開示のある局面によれば、プログラムは、コンピュータに、ユーザが第１位置にいることを検知するステップ（Ｓ２７５２）と、第１位置にいることを検知した場合、ユーザが第１姿勢をとっていることを検知するステップ（Ｓ２７５４）と、第１姿勢をとっていることを検知した場合、位置センサから取得した、第１姿勢に応じた第１位置情報に基づいて、ユーザの第１寸法データを算出するステップ（Ｓ２７５５）と、第１寸法データの算出後に位置センサから取得した第２位置情報と、第１寸法データとに基づいて、アバタを制御するステップ（Ｓ２１４０）とを実行させる。 (Item 1) The program for reflecting the movement of the user wearing the position sensor on the avatar arranged in the virtual space has been described. According to an aspect of the present disclosure, the program causes the computer to detect that the user is at the first position (S2752), and when detecting that the user is at the first position, the user takes the first posture. The first dimension of the user based on the first position information corresponding to the first posture acquired from the position sensor when detecting that the first posture is detected (S2754). A step of calculating data (S2755) and a step of controlling the avatar based on the second position information acquired from the position sensor after the calculation of the first dimension data and the first dimension data (S2140) are executed.
（項目２） （項目１）において、プログラムは、コンピュータに、ユーザに、前記第１位置への移動を促す出力を行うステップ（Ｓ２７５１）をさらに実行させる。 (Item 2) In (Item 1), the program causes the computer to further execute a step (S2751) of performing an output prompting the user to move to the first position.
（項目３） （項目１）または（項目２）において、プログラムは、コンピュータに、ユーザが第１位置にいることを検知した場合、ユーザに、第１姿勢をとることを促す出力を行うステップ（Ｓ２７５３）をさらに実行させる。 (Item 3) In (Item 1) or (Item 2), when the program detects that the user is in the first position, the program outputs an output prompting the user to take the first posture ( S2753) is further executed.
（項目４） （項目１）から（項目３）のいずれかにおいて、プログラムは、コンピュータに、ユーザが第１姿勢と異なる第２姿勢をとっていることを検知するステップ（Ｓ２７５７）と、第２姿勢をとっていることを検知した場合、第１位置情報、および、位置センサから取得した、第２姿勢に応じた第３位置情報に基づいて、ユーザの第２寸法データを算出するステップ（Ｓ２７５８）とをさらに実行させ、アバタを制御するステップでは、第１寸法データおよび第２寸法データの算出後に取得した第２位置情報と、第１寸法データおよび第２寸法データとに基づいて、アバタを制御する。 (Item 4) In any one of (Item 1) to (Item 3), the program causes the computer to detect that the user is taking a second posture different from the first posture (S2757); When it is detected that the posture is taken, the step of calculating the second dimension data of the user based on the first position information and the third position information corresponding to the second posture acquired from the position sensor (S2758) ) And controlling the avatar, the avatar is controlled based on the second position information obtained after the calculation of the first dimension data and the second dimension data, and the first dimension data and the second dimension data. Control.
（項目５） （項目４）において、プログラムは、コンピュータに、第１位置情報を取得した場合、ユーザに、第２姿勢をとることを促す出力を行うステップ（Ｓ２７５６）をさらに実行させる。 (Item 5) In (Item 4), when the program acquires the first position information, the program further executes a step (S2756) of performing an output to prompt the user to take the second posture.
（項目６） （項目１）から（項目５）のいずれかにおいて、第２位置情報は、第１寸法データの算出後の第３姿勢に応じた位置情報であり、アバタを制御するステップでは、第３姿勢を取るようにアバタを動かす。 (Item 6) In any one of (Item 1) to (Item 5), the second position information is position information according to the third posture after the calculation of the first dimension data, and in the step of controlling the avatar, Move the avatar to take the third posture.
（項目７） （項目１）から（項目６）のいずれかにおいて、アバタを制御するステップでは、第１寸法データの算出後に取得した第２位置情報と、第１寸法データとに基づいて算出した、ユーザの関節の回転方向に基づいてアバタを動かす。 (Item 7) In any one of (Item 1) to (Item 6), the step of controlling the avatar is calculated based on the second position information acquired after the calculation of the first dimension data and the first dimension data. The avatar is moved based on the rotation direction of the user's joint.
（項目８） 情報処理装置を説明した。本開示のある局面によると、情報処理装置（コンピュータ２００）は、（項目１）に係るプログラムを記憶する記憶部（ストレージ２３０）と、該プログラムを実行することにより、情報処理装置の動作を制御する制御部（プロセッサ２１０）と、を備えている。 (Item 8) The information processing apparatus has been described. According to an aspect of the present disclosure, the information processing device (computer 200) controls the operation of the information processing device by executing a storage unit (storage 230) that stores the program according to (Item 1) and the program. And a control unit (processor 210).
（項目９） プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０）およびメモリ（２２０）を備えるコンピュータ（２００）により実行される。該方法は、プロセッサが（項目１）に係る各ステップを実行する方法である。 (Item 9) A method for executing a program has been described. According to an aspect of the present disclosure, the program is executed by a computer (200) including a processor (210) and a memory (220). The method is a method in which the processor executes each step according to (Item 1).
上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augumented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the embodiment described above, the virtual space (VR space) in which the user is immersed by the HMD has been described as an example. However, a transmissive HMD may be adopted as the HMD. In this case, an augmented reality (AR) space or mixed reality (AR) space or mixed reality (AR) is generated by outputting a visual field image obtained by synthesizing a part of an image constituting the virtual space to the real space visually recognized by the user via the transmissive HMD. A virtual experience in an MR (Mixed Reality) space may be provided to the user. In this case, instead of the operation object, an action on the target object in the virtual space may be generated based on the movement of the user's hand. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space and define the position of the target object in the virtual space in relation to the coordinate information in the real space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and can execute processing corresponding to the above-described collision control or the like between the user's hand and the target object. . As a result, it is possible to act on the target object based on the movement of the user's hand.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
５ ユーザ、６ アバターオブジェクト、１０ サーバ、１１ 仮想空間、１３ パノラマ画像、１４ 仮想カメラ、１５ 視界領域、１６ 基準視線、１７ 視界画像、１００ ＨＭＤシステム、１１０ ＨＭＤセット、１３０ モニタ、１４０ 注視センサ、１５０ 第１カメラ、１６０ 第２カメラ、１７０ マイク、１８０ スピーカ、１９０，４１０ センサ、２００ コンピュータ、２１０，６１０ プロセッサ、２２０，６２０
メモリ、２３０，６３０ ストレージ、２４０，６４０ 入出力インターフェイス、２５０，６５０ 通信インターフェイス、２６０，６６０ バス、３００ コントローラ、３００Ｌ 左コントローラ、３００Ｒ 右コントローラ、４２０，１５２１，１５２２，１５２３，２４３３，２６５１，２６５２，２６５３，２６５４ モーションセンサ、４３０，２４３５ ディスプレイ、５１０ コントロールモジュール、５２０ レンダリングモジュール、５３０ メモリモジュール、５４０ 通信制御モジュール、６００ サーバ、７００ 外部機器、１４２１ 仮想カメラ制御モジュール、１４２２ 視界領域決定モジュール、１４２３ 基準視線特定モジュール、１４２４ 顔器官検出モジュール、１４２５ 動き検出モジュール、１４２６ 仮想空間定義モジュール、１４２７ 仮想オブジェクト生成モジュール、１４２８ 操作オブジェクト制御モジュール、１４２９ アバター制御モジュール、１４３１ 空間情報、１４３２ オブジェクト情報、１４３３ ユーザ情報、１４３４ 顔情報、１４３５ 口テンプレート、１４３６ 目テンプレート、１４３７ 眉テンプレート、１４３８ 視界画像生成モジュール、１４３９ 寸法データ、１５３１ ベルト、２４２１ ウサギ、２４３１ カメラ、２６４１ マーク
5 user, 6 avatar object, 10 server, 11 virtual space, 13 panoramic image, 14 virtual camera, 15 field of view, 16 reference line of sight, 17 field of view image, 100 HMD system, 110 HMD set, 130 monitor, 140 gaze sensor, 150 First camera, 160 Second camera, 170 Microphone, 180 Speaker, 190,410 Sensor, 200 Computer, 210,610 Processor, 220,620
Memory, 230, 630 Storage, 240, 640 I / O interface, 250, 650 Communication interface, 260, 660 Bus, 300 controller, 300L Left controller, 300R Right controller, 420, 1521, 1522, 1523, 2433, 2651, 2552 2653, 2654 Motion sensor, 430, 2435 display, 510 control module, 520 rendering module, 530 memory module, 540 communication control module, 600 server, 700 external device, 1421 virtual camera control module, 1422 field of view determination module, 1423 reference line of sight Identification module, 1424 Facial organ detection module, 1425 Motion detection module, 1426 Virtual
Claims (9)
前記プログラムはコンピュータに、
前記ユーザが第１位置にいることを検知するステップと、
前記第１位置にいることを検知した場合、前記ユーザが第１姿勢をとっていることを検知するステップと、
前記第１姿勢をとっていることを検知した場合、前記位置センサから取得した、前記第１姿勢に応じた第１位置情報に基づいて、前記ユーザの第１寸法データを算出するステップと、
前記第１寸法データの算出後に前記位置センサから取得した第２位置情報と、前記第１寸法データとに基づいて、前記アバタを制御するステップとを実行させる、プログラム。 A program for reflecting the movement of a user wearing a position sensor on an avatar arranged in a virtual space,
The program is stored on a computer.
Detecting that the user is in a first position;
Detecting that the user is in the first posture when detecting that the user is in the first position;
Calculating the first dimension data of the user based on the first position information corresponding to the first attitude acquired from the position sensor when detecting that the first attitude is taken;
A program for executing the step of controlling the avatar based on the second position information acquired from the position sensor after the calculation of the first dimension data and the first dimension data.
前記ユーザに、前記第１位置への移動を促す出力を行うステップをさらに実行させる、請求項１記載のプログラム。 The program is stored in the computer.
The program according to claim 1, further causing the user to perform an output of prompting the user to move to the first position.
前記ユーザが前記第１位置にいることを検知した場合、前記ユーザに、前記第１姿勢をとることを促す出力を行うステップをさらに実行させる、請求項１または２に記載のプログラム。 The program is stored in the computer.
3. The program according to claim 1, wherein when detecting that the user is in the first position, the program further causes the user to perform an output for prompting the user to take the first posture. 4.
前記ユーザが前記第１姿勢と異なる第２姿勢をとっていることを検知するステップと、
前記第２姿勢をとっていることを検知した場合、前記第１位置情報、および、前記位置センサから取得した、前記第２姿勢に応じた第３位置情報に基づいて、ユーザの第２寸法データを算出するステップとをさらに実行させ、
前記アバタを制御するステップでは、前記第１寸法データおよび前記第２寸法データの算出後に取得した前記第２位置情報と、前記第１寸法データおよび前記第２寸法データとに基づいて、前記アバタを制御する、請求項１から３のいずれか１項に記載のプログラム。 The program is stored in the computer.
Detecting that the user is taking a second posture different from the first posture;
When it is detected that the second posture is taken, based on the first position information and the third position information corresponding to the second posture acquired from the position sensor, the second dimension data of the user And further executing a step of calculating
In the step of controlling the avatar, the avatar is controlled based on the second position information acquired after the calculation of the first dimension data and the second dimension data, and the first dimension data and the second dimension data. The program according to any one of claims 1 to 3, which is controlled.
前記第１位置情報を取得した場合、前記ユーザに、前記第２姿勢をとることを促す出力を行うステップをさらに実行させる、請求項４に記載のプログラム。 The program is stored in the computer.
5. The program according to claim 4, wherein when the first position information is acquired, the program further causes the user to perform an output for prompting the user to take the second posture.
前記アバタを制御するステップでは、前記第３姿勢をとるように前記アバタを動かす、請求項１から５のいずれか１項に記載のプログラム。 The second position information is position information corresponding to the third posture of the user after the calculation of the first dimension data,
The program according to claim 1, wherein in the step of controlling the avatar, the avatar is moved so as to take the third posture.
前記第１寸法データの算出後に取得した前記第２位置情報と、前記第１寸法データとに基づいて算出した、前記ユーザの関節の回転方向に基づいて前記アバタを動かす、請求項１から６のいずれか１項に記載のプログラム。 In the step of controlling the avatar,
The avatar is moved based on the rotation direction of the joint of the user calculated based on the second position information acquired after the calculation of the first dimension data and the first dimension data. The program according to any one of the above items.
前記情報処理装置は、
請求項１に記載のプログラムを記憶する記憶部と、
該プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備えている、情報処理装置。 An information processing apparatus,
The information processing apparatus includes:
A storage unit for storing the program according to claim 1;
An information processing apparatus comprising: a control unit that controls the operation of the information processing apparatus by executing the program.
前記コンピュータは、プロセッサおよびメモリを備え、
前記プロセッサが請求項１に記載の各ステップを実行する方法。 A method for a computer to execute a program comprising:
The computer includes a processor and a memory,
The method by which the processor performs the steps of claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019007355A JP2019160295A (en) | 2019-01-18 | 2019-01-18 | Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019007355A JP2019160295A (en) | 2019-01-18 | 2019-01-18 | Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018042370A Division JP6470859B1 (en) | 2018-03-08 | 2018-03-08 | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019160295A true JP2019160295A (en) | 2019-09-19 |
Family
ID=67997020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019007355A Pending JP2019160295A (en) | 2019-01-18 | 2019-01-18 | Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019160295A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554280A (en) * | 2022-01-14 | 2022-05-27 | 影石创新科技股份有限公司 | Method and device for generating shadow-body-splitting video, electronic equipment and storage medium |
-
2019
- 2019-01-18 JP JP2019007355A patent/JP2019160295A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554280A (en) * | 2022-01-14 | 2022-05-27 | 影石创新科技股份有限公司 | Method and device for generating shadow-body-splitting video, electronic equipment and storage medium |
| CN114554280B (en) * | 2022-01-14 | 2024-03-19 | 影石创新科技股份有限公司 | Method and device for generating video of video division, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
| US10262461B2 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
| JP6263252B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6470859B1 (en) | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar | |
| US10546407B2 (en) | Information processing method and system for executing the information processing method | |
| US10459599B2 (en) | Method for moving in virtual space and information processing apparatus for executing the method | |
| US20180196506A1 (en) | Information processing method and apparatus, information processing system, and program for executing the information processing method on computer | |
| JP6242473B1 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
| US20190005731A1 (en) | Program executed on computer for providing virtual space, information processing apparatus, and method of providing virtual space | |
| JP2020004284A (en) | System, program, method, and information processing device | |
| JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| US10564801B2 (en) | Method for communicating via virtual space and information processing apparatus for executing the method | |
| JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
| US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
| US20180348986A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
| US20180374275A1 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
| US20180299948A1 (en) | Method for communicating via virtual space and system for executing the method | |
| JP7160669B2 (en) | Program, Information Processing Apparatus, and Method | |
| JP2020004388A (en) | System, program, method, and information processing device | |
| JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| JP2021101358A (en) | Method for providing virtual space, program for executing method in computer, information processing unit for executing program | |
| JP6820299B2 (en) | Programs, information processing equipment, and methods | |
| JP6554139B2 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP2019160295A (en) | Program for reflecting movement of user on avatar, information processing device for executing program, and method for distributing video including avatar | |
| US11882172B2 (en) | Non-transitory computer-readable medium, information processing method and information processing apparatus |