JP2019106192A - Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device - Google Patents
Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device Download PDFInfo
- Publication number
- JP2019106192A JP2019106192A JP2019006453A JP2019006453A JP2019106192A JP 2019106192 A JP2019106192 A JP 2019106192A JP 2019006453 A JP2019006453 A JP 2019006453A JP 2019006453 A JP2019006453 A JP 2019006453A JP 2019106192 A JP2019106192 A JP 2019106192A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- hmd
- interest
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本開示は仮想現実体験(以下「仮想体験」ともいう。)の提供に関し、より特定的には
、ヘッドマウントデバイス(Head Mounted Device:HMD)によって提供される仮想
現実空間にファッションショーを展開する技術に関する。
The present disclosure relates to providing a virtual reality experience (hereinafter also referred to as “virtual experience”), and more specifically, a technology for deploying a fashion show in a virtual reality space provided by a head mounted device (HMD). About.
インターネットを用いて、仮想の試着を体験できる技術が知られている。例えば、特開
2002−32640号公報(特許文献1)は、「インターネット上に専門店の仮想店舗
、仮想マーケットを設け」、「顧客の趣向、データを登録し、かつ店舗側よりアンケート
形式で顧客の好み、容姿等のデータを収集して個人別のファイルを作」り、「これらのデ
ータを総合して人工現実感を創って顧客が着衣して歩いたり、走ったりする姿を多方面か
ら見る事を可能にする」技術を開示している([要約]の[解決手段]参照)。
A technology is known that can experience virtual try-on using the Internet. For example, Japanese Patent Application Laid-Open No. 2002-32640 (Patent Document 1) is provided with "a virtual store of a specialty store and a virtual market on the Internet", "customer preferences, data registered, and a customer in a questionnaire form from the store side. Collecting data on tastes, appearances etc. to create individual files, create "artificial reality by combining these data", and see from various directions how customers wear and walk and run Discloses a technology that makes it possible to see (see [Summary], [Solution]).
衣類、小物その他のファッションアイテムは、ファッションショーで公開されることも
ある。ファッションショーは、スマートフォンその他の端末でも見ることができ、さらに
、ファッションショーで公開される衣類を購入することもできる。したがって、購入され
る衣類が人気のある衣類と推定される。
Clothing, accessories and other fashion items may also be published at fashion shows. The fashion show can also be viewed on a smartphone or other terminal, and can also buy clothing that will be published at the fashion show. Therefore, the clothes to be purchased are presumed to be popular clothes.
一方、ファッションショーを端末で見る場合、画面に制約があり、端末のユーザはファ
ッションショーに没入することができない。また、現実のファッションショーの会場の収
容人数は限られている。したがって、会場の収容人数の制約を受けることなく、ファッシ
ョンショーに没入できる技術が必要とされている。
On the other hand, when viewing a fashion show on a terminal, the screen is restricted, and the user of the terminal can not immerse in the fashion show. In addition, the capacity of the venue for the real fashion show is limited. Therefore, there is a need for technology that can immerse in fashion shows without being restricted by the capacity of the venue.
また、端末を用いてファッションショーを見ているユーザについては、当該ファッショ
ンショーに対する関心度を把握できない場合がある。例えば、ユーザが端末からモデルが
着用している衣類を購入した場合、当該衣類に対する関心度はあると推定される。その一
方、ユーザが衣類を購入しない場合、ファッションショーの後に購入する場合もあり、購
入しないことが低関心度とは限らない。したがって、ファッションショーを見ているユー
ザの関心度を把握する技術が必要とされている。
In addition, for a user who is watching a fashion show using a terminal, it may not be possible to grasp the degree of interest in the fashion show. For example, when the user purchases clothes worn by a model from a terminal, it is estimated that there is a degree of interest in the clothes. On the other hand, if the user does not purchase the clothes, the user may purchase after the fashion show, and not having the degree of interest may not always be the low interest level. Therefore, there is a need for a technique for grasping the degree of interest of the user watching a fashion show.
本開示は上述のような背景に鑑みなされたものであって、ある局面における目的は、フ
ァッションショーを見ているユーザの関心度を把握する技術を提供することである。
The present disclosure has been made in view of the background as described above, and an object in one aspect is to provide a technology for grasping the degree of interest of a user watching a fashion show.
ある実施の形態に従うと、ヘッドマウントデバイスを介して情報を提供するためにコン
ピュータによって実行される方法が提供される。この方法は、仮想空間を定義するステッ
プと、一つ以上の衣類オブジェクトを装着したモデルオブジェクトを当該仮想空間に配置
するステップと、当該モデルオブジェクトを当該ヘッドマウントデバイスに表示するステ
ップと、当該ヘッドマウントデバイスのユーザによる当該一つ以上の衣類オブジェクトに
対する動作を検出するステップと、当該動作に基づいて、当該ヘッドマウントデバイスに
表示される当該一つ以上の衣類オブジェクトまたは当該モデルオブジェクトに対する当該
ユーザの関心度を判別するステップとを含む。
According to an embodiment, a computer implemented method is provided for providing information via a head mounted device. The method comprises the steps of: defining a virtual space; disposing a model object fitted with one or more clothing objects in the virtual space; displaying the model object on the head mount device; Detecting an action on the one or more clothes objects by the user of the device, and based on the actions, the degree of interest of the user on the one or more clothes objects displayed on the head mount device or the model object And determining.
ある実施の形態に従うと、ヘッドマウントデバイスのユーザのファッションショーに対
する関心度を精度よく判別できる。
According to an embodiment, the degree of interest in the fashion show of the user of the head mounted device can be accurately determined.
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解
されるこの発明に関する次の詳細な説明から明らかとなるであろう。
The above and other objects, features, aspects and advantages of the present invention will become apparent from the following detailed description of the present invention taken in conjunction with the accompanying drawings.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同
一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがっ
て、それらについての詳細な説明は繰り返さない。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description about them will not be repeated.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明
する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である
。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用
のシステムとして提供される。
[Configuration of HMD system]
The configuration of a head-mounted device (HMD)
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ16
0と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ1
40と、スピーカ115と、第1カメラ116と、第2カメラ117と、マイク119と
を含む。コントローラ160は、モーションセンサ130を含み得る。
The
0 and the
40, a
ある局面において、コンピュータ200は、インターネットその他のネットワーク19
に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュー
タと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わり
に、センサ114を含み得る。
In one aspect, the
, And can communicate with the
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153
とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。プロ
セッサ151は、命令を実行する。メモリ152は、RAM(Random Access Memory)
その他の揮発性メモリである。通信インターフェイス153は、コンピュータ200、ユ
ーザ端末201A,201N等と通信する。ストレージ154は、サーバ150がコンピ
ュータ200その他の外部の装置から受信したデータまたはプロセッサ151によって生
成されたデータを保持する。ストレージ154は、例えば、ハードディスク、SSD(So
lid State Disc)その他の不揮発性の記憶装置によって実現され得る。
The
And. The
Other volatile memory. The
lid State Disc) may be implemented by other non-volatile storage devices.
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間2をユーザ190
に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモ
ニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユ
ーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
The
Can be provided to More specifically, the
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において
、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配
置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視
認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は
、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能な
メニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け
渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユー
ザに対応するアバターオブジェクトが、仮想空間2に提示される。
The
なお、オブジェクトとは、仮想空間2に存在する仮想の物体である。ある局面において
、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身
に着ける仮想アクセサリおよび仮想衣類、ユーザに関する情報が示されたパネルを模した
仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さら
に、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタで
あり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。
ユーザ190は、予め決められたオブジェクトの中から好みのオブジェクトを仮想空間2
に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するよ
うにしてもよい。
The object is a virtual object existing in the
The
, Or an object created by oneself may be presented in the
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末
が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得
る。
In one embodiment, the
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左
目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112
は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合
、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にの
み認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
May be configured to integrally display an image for the right eye and an image for the left eye. In this case, the
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方
向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実
現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現さ
れる。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを
含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に
赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることに
より各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各
回転角に基づいて、ユーザ190の視線方向を検知することができる。
The
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話
)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコン
ピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて
発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる
。
The
より具体的には、ユーザ190がマイク119に向かって発話すると、当該ユーザ19
0の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200
は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ15
0は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコ
ンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音
声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これによ
り、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くこ
とができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110の
スピーカ115から出力される。
More specifically, when the
Voice data corresponding to the zero utterance is input to the
The voice data is output to the
0 outputs the audio data received from the
第1カメラ116は、ユーザ190の顔の下部を撮影するようにHMD110の筐体に
設けられている。より具体的には、第1カメラ116は、ユーザ190の鼻、頬、および
口などを撮影する。第2カメラ117は、ユーザ190の目および眉などを撮影するよう
にHMD110の筐体に設けられている。本実施の形態において、HMD110のユーザ
190側の筐体をHMD110の内側、HMD110のユーザ190とは逆側の筐体をH
MD110の外側と定義する。ある局面において、第1カメラ116は、HMD110の
外側に配置され、第2カメラ117は、HMD110の内側に配置され得る。第1カメラ
116および第2カメラ117が生成した画像は、コンピュータ200に入力される。
The
It defines as the outside of MD110. In one aspect, the
コンピュータ200は、他のユーザのコンピュータ200から受信した音声データに応
じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ1
12に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブ
ジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2
内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このよ
うに、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想
空間2内で複数のユーザ間での会話(チャット)が実現される。
The
Display on 12 For example, in one aspect, the
Express
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外
線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は
、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセ
ンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを
検出する。
The
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。こ
の場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて
、画像解析処理を実行することにより、HMD110の位置および傾きを検出することが
できる。
In another aspect, the
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わり
に、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD11
0自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁
気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、H
MDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および
傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサ
は、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD11
0は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さら
に、角度の時間的変化に基づいて、HMD110の傾きを算出する。
In another aspect, the
0 can detect its own position and tilt. For example, when the
Instead of the
In 0, the temporal change of the angle around three axes of the
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表
示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可
能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提
示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した
画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過
率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
The
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、
サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するため
の他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複
数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に
基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザ
が共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ
200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユ
ーザが会話を楽しむことができる。
The
The
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付
ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成
される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の
一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ
200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力す
るように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供
する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって
与えられる操作を受け付ける。
The
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、
ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速
度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手
の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に
送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けら
れている。ある実施の形態において、現実空間における安全のため、コントローラ160
は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないもの
に装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユ
ーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信
号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。
モーションセンサ130とコンピュータ200とは、有線により、または無線により互い
に接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(
登録商標)その他の公知の通信手法が用いられる。
The
The movement of the
It is desirable to be worn on the hand of the
The
Other known communication methods may be used.
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えて
もよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ
番組を表示することができる。
In another aspect, the
さらに他の局面において、HMDシステム100は、インターネットに接続するための
通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In yet another aspect, the
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、
一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コ
ンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレ
ージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各
構成要素は、それぞれ、バス15に接続されている。
[Computer hardware configuration]
A
It is a block diagram showing an example of the hardware constitutions of
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め
定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納され
ているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10
は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FP
GA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
CPU (Central Processing Unit), MPU (Micro Processor Unit), FP
It is realized as a field-programmable gate array (GA) or other device.
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば
、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータ
と、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11
は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
Is realized as a random access memory (RAM) or other volatile memory.
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、
たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、そ
の他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、H
MDシステム100において仮想空間2を提供するためのプログラム、シミュレーション
プログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通
信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間
2を規定するためのデータおよびオブジェクトなどを含む。
The
For example, it is realized as a ROM (Read-Only Memory), a hard disk drive, a flash memory, or another non-volatile storage device. The program stored in the
It includes a program for providing the
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装
置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵された
ストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを
使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメン
ト施設のように複数のHMDシステム100が使用される場面において、プログラムやデ
ータの更新を一括して行なうことが可能になる。
In another aspect, the
ある実施の形態において、入出力インターフェース13は、HMD110、HMDセン
サ120またはモーションセンサ130との間で信号を通信する。ある局面において、入
出力インターフェース13は、USB(Universal Serial Bus)インターフェース、D
VI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multi
media Interface)その他の端子を用いて実現される。なお、入出力インターフェース1
3は上述のものに限られない。
In one embodiment, input /
VI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multi
media Interface) It is realized using other terminals. Input /
3 is not limited to the above.
ある実施の形態において、入出力インターフェース13は、さらに、コントローラ16
0と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130か
ら出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、
プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、
音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令
を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In one embodiment, input /
It can communicate with 0. For example, the input /
The instruction output from the
The
通信インターフェース14は、ネットワーク19に接続されて、ネットワーク19に接
続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ2
00など)と通信する。ある局面において、通信インターフェース14は、たとえば、L
AN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi
(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Com
munication)その他の無線通信インターフェースとして実現される。なお、通信インター
フェース14は上述のものに限られない。
The
Communicate with 00). In one aspect, the
AN (Local Area Network) or other wired communication interface, or WiFi
(Wireless Fidelity), Bluetooth (registered trademark), NFC (Near Field Com)
munication) is implemented as another wireless communication interface. The
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12
に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含ま
れる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレ
ーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コント
ローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロ
セッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号
をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示
する。
In one aspect,
Are loaded into the
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられ
る構成が示されているが、他の局面において、コンピュータ200は、HMD110に内
蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、ス
マートフォン)がコンピュータ200として機能してもよい。
In the example illustrated in FIG. 2, the
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であって
もよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供す
ることもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーショ
ンを楽しむことができる。
In addition, the
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定さ
れている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方
向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3
つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つ
である。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前
後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標
系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平
行である。z軸は現実空間の前後方向に平行である。
In one embodiment, in the
Have one reference direction (axis). In the present embodiment, the global coordinate system is one of viewpoint coordinate systems. Therefore, the horizontal direction, the vertical direction (vertical direction), and the front-rear direction in the global coordinate system are defined as an x-axis, a y-axis, and a z-axis, respectively. More specifically, in the global coordinate system, the x-axis is parallel to the horizontal direction of the real space. The y-axis is parallel to the vertical direction of the real space. The z axis is parallel to the front and back direction of the real space.
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、H
MD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を
検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標
値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内にお
けるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、
経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出で
きる。
In one aspect, the
When the infrared rays emitted from the light sources of the
Each value detected over time can be used to detect temporal changes in the position and inclination of the
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120
によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の
3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD
110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設
定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2におい
て物体を見る際の視点座標系に対応する。
The global coordinate system is parallel to the real space coordinate system. Therefore,
The respective inclinations of the
Based on the inclination of 110, the uvw visual field coordinate system is set to the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従う
HMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ12
0は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾
きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD
110に設定する。
[Uvw view coordinate system]
The uvw view coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually illustrating the uvw visual field coordinate system set in the
0 detects the position and tilt of the
Set to 110.
図3に示されるように、HMD110は、HMD110を装着したユーザ190の頭部
を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD1
10は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸
、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りに
それぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw
視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として
設定する。
As shown in FIG. 3, the
10 is to tilt the horizontal direction, vertical direction, and longitudinal direction (x-axis, y-axis, z-axis) defining the global coordinate system around each axis by an inclination around each axis of the
The pitch direction (u axis), the yaw direction (v axis), and the roll direction (w axis) of the visual field coordinate system are set.
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認
している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD
110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(
y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方
向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
In one aspect, when the
Set to 110. In this case, the horizontal direction (x axis) and
The y axis) and the longitudinal direction (z axis) coincide with the pitch direction (u axis), the yaw direction (v axis), and the roll direction (w axis) of the uvw visual field coordinate system in the
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD11
0の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの
変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、
uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロ
ール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピ
ッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系に
おけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野
座標系におけるロール方向周りのHMD110の傾き角度を表す。
After the uvw visual field coordinate system is set to the
Based on the movement of 0, the inclination (the amount of change of the inclination) of the
The pitch angle (θu), the yaw angle (θv), and the roll angle (θw) of the
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110
が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HM
D110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾
きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置お
よび傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系
の位置および傾きが変化する。
The
Sets the uvw visual field coordinate system in the
The relationship between D110 and the uvw view coordinate system of the
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得さ
れる赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など
)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する
相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づい
て、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を
決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う
仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360
度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮
想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定され
る。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予
め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画
、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞ
れ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間
2をユーザ190に提供する。
[Virtual space]
The
It has a totally celestial spherical structure covering the whole of the direction of power. In FIG. 4, the celestial sphere in the upper half of the
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される
。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標
系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前
後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX
軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向
)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバ
ル座標系のz軸と平行である。
In one aspect, in the
The axis (horizontal direction) is parallel to the x axis of the global coordinate system, the Y axis (vertical direction) of the XYZ coordinate system is parallel to the y axis of the global coordinate system, and the Z axis (longitudinal direction) of the XYZ coordinate system is It is parallel to the z-axis of the global coordinate system.
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、
仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の
動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD1
10の位置および向きの変化が、仮想空間2において同様に再現される。
When the
It is arranged at the
Changes in the position and orientation of 10 are similarly reproduced in the
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮
想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)にお
けるHMD110のuvw視野座標系に連動するように規定されている。したがって、H
MD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、
仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動し
て、仮想空間2において移動することもできる。
As in the case of the
When the inclination of the
The
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザ1
90が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1
の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて
、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、H
MD110を装着したユーザ190の視界に対応する。
Since the orientation of the
The line of sight (reference line of sight 5), which is a reference when the image 90 is viewed by the
It depends on the direction of The
It corresponds to the field of view of the
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体
を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユ
ーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のu
vw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある
局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190
の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみな
すことができる。
The gaze direction of the
The vw vision coordinate system is linked to the uvw vision coordinate system of the
Can be regarded as the viewing direction of the
[ユーザの視線]
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施
の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
[User's gaze]
The determination of the gaze direction of the
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検
出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、
視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合
、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対し
て視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角
度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, the
The eyes R1 and L1 are detected. In another aspect, when the
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視セ
ンサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点で
ある注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値
を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特
定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視
線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目
Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として
検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向であ
る。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けてい
る方向に相当する。
When the
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2にお
いて視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2におい
て視界領域23をY方向から見たXZ断面を表す図である。
[View area]
The
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24
は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッ
サ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24とし
て規定する。
As shown in FIG. 6, the
Is defined by the reference line of
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25
は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想
空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する
。
As shown in FIG. 7, the
Is defined by the reference line of
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づい
て、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供
する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。
ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ
1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、
モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユ
ーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、
仮想空間2における所望の方向を視認することができる。
In one aspect, the
When the
The view image displayed on the
A desired direction in the
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想
空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム10
0は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
While wearing the
0 can give the user 190 a high sense of immersion into the
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空
間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、
プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HM
D110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域
23)を特定する。
In one aspect, the
The
The image area (that is, the
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画
像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むこ
とが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視
差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮
想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されること
によって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるよ
うに構成されているものとして、本開示に係る技術思想を例示する。
According to an embodiment, the
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形
態に従うコントローラ160の概略構成を表す図である。
[controller]
An example of the
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コ
ントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800
は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作さ
れる。ある局面において、右コントローラ800と左コントローラとは、別個の装置とし
て対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右
手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面
において、コントローラ160は両手の操作を受け付ける一体型のコントローラであって
もよい。以下、右コントローラ800について説明する。
As shown in FIG. 8A, in one aspect, the
Is operated by the right hand of the
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グ
リップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば
、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって
保持され得る。
The
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33
は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は
、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面に
おいて、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ
130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラそ
の他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、
モーションセンサ130を備えなくてもよい。
The
Is disposed on the side of the
The
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤
外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラ
ムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コ
ントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使
用され得る。図8に示される例では、二列に配置された赤外線LED35が示されている
が、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用さ
れてもよい。
The
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,
37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手
の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位
置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、
たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
The
37 is configured as a push-type button.
For example, it includes an operation for moving an object placed in the
ある局面において、右コントローラ800および左コントローラは、赤外線LED35
その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを
含むが、これらに限定されない。他の局面において、右コントローラ800と左コントロ
ーラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この
場合、右コントローラ800および左コントローラは、電池を必要としない。
In one aspect, the
It includes a battery for driving other members. Batteries include rechargeable batteries, button batteries, dry battery batteries and the like, but are not limited thereto. In other aspects,
図8の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して
仮想空間2に配置されるハンドオブジェクト810の一例を示す。たとえば、ユーザ19
0の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向
が規定される。たとえば、入力操作が、右コントローラ800のボタン34に対して行な
われると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタ
ン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェク
ト810の人差し指を伸ばした状態とすることもできる。たとえば、ハンドオブジェクト
810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人
差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定され
る平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
Part (B) of FIG. 8 illustrates an example of the
With respect to the
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において
、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある
実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
[Control unit of HMD]
The control device of the
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空
間制御モジュール230と、メモリモジュール240と、通信制御モジュール250と、
フェイストラッキングモジュール260と、動作検出モジュール271と、感情判断モジ
ュール272とを備える。
As shown in FIG. 9, the
A
表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール22
1と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特
定モジュール224と、傾き特定モジュール225と、視点特定モジュール226とを含
む。
The
1, a view
仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール2
31と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール23
3とを含む。
The virtual
31, a virtual
And 3.
ある実施の形態において、表示制御モジュール220、仮想空間制御モジュール230
、フェイストラッキングモジュール260、動作検出モジュール271、および、感情判
断モジュール272は、プロセッサ10によって実現される。他の実施の形態において、
複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュール230、フ
ェイストラッキングモジュール260、動作検出モジュール271、および、感情判断モ
ジュール272として作動してもよい。メモリモジュール240は、メモリ11またはス
トレージ12によって実現される。通信制御モジュール250は、通信インターフェース
14によって実現される。
In one embodiment,
The
A plurality of
ある局面において、表示制御モジュール220は、HMD110のモニタ112におけ
る画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1
を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は
、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。
視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に
表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像
生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて
、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画
像データは、通信制御モジュール250によってHMD110に出力される。基準視線特
定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を
特定する。
In one aspect, the
To control the behavior, orientation, etc. of the
The view
傾き特定モジュール225は、HMDセンサ120の出力に基づいて、HMD110の
傾きを特定する。他の局面において、傾き特定モジュール225は、モーションセンサと
して機能するセンサ114の出力に基づいて、HMD110の傾きを特定する。
The
視点特定モジュール226は、注視センサ140からの信号に基づいて、仮想空間2に
おけるユーザ190の視線を検出する。視点特定モジュール226は、検出したユーザ1
90の視線と仮想空間2の天球とが交わる視点位置(XYZ座標系における座標値)を検
出する。より具体的には、視点特定モジュール226は、仮想カメラ1の位置および傾き
に基づいて、uvw座標系で規定されるユーザ190の視線をXYZ座標系に変換して視
点位置を検出する。
The
A viewpoint position (coordinate value in the XYZ coordinate system) at which the line of sight of 90 and the celestial sphere of the
フェイストラッキングモジュール260は、HMD110を装着したユーザ190の顔
の動きまたは表情を検出する。より具体的には、フェイストラッキングモジュール260
は、顔器官検出モジュール261と、トラッキングモジュール262とを含む。顔器官検
出モジュール261は、第1カメラ116および第2カメラ117からそれぞれ出力され
る画像データによって生成されるユーザ190の顔の画像から、ユーザ190の顔を構成
する器官(例えば、口,目,眉)を検出する。トラッキングモジュール262は、顔器官
検出モジュール261によって検出された各器官ごとの特徴点(の位置)を、例えば間欠
的に(離散的に)検出する。トラッキングモジュール262は、ユーザ190の表情を検
出することになる。顔器官検出モジュール261およびトラッキングモジュール262の
制御内容は後述する。
The
Includes a face organ detection module 261 and a
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。
仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することによ
り、HMDシステム100における仮想空間2を規定する。
The virtual
The virtual
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデ
ータを生成する。オブジェクトは、たとえば、他アバターオブジェクト、仮想パネル、仮
想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によ
って生成されたデータは、視界画像生成モジュール223に出力される。
The virtual
手オブジェクト制御モジュール233は、手オブジェクトを仮想空間2に配置する。手
オブジェクトは、たとえば、コントローラ160を保持したユーザ190の右手あるいは
左手に対応する。ある局面において、手オブジェクト制御モジュール233は、右手ある
いは左手に対応する手オブジェクトを仮想空間2に配置するためのデータを生成する。ま
た、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の
操作に応じて、手オブジェクトを動かすためのデータを生成する。手オブジェクト制御モ
ジュール233によって生成されたデータは、視界画像生成モジュール223に出力され
る。
The hand object control module 233 places the hand object in the
他の局面において、ユーザ190の体の一部の動き(たとえば、左手、右手、左足、右
足、頭などの動き)がコントローラ160に関連付けられている場合、仮想空間制御モジ
ュール230は、ユーザ190の体の一部に対応する部分オブジェクトを仮想空間2に配
置するためのデータを生成する。仮想空間制御モジュール230は、ユーザ190が体の
一部を用いてコントローラ160を操作すると、部分オブジェクトを動かすためのデータ
を生成する。これらのデータは、視界画像生成モジュール223に出力される。
In another aspect, if movement of a portion of the body of the user 190 (eg, movement of a left hand, right hand, left foot, right foot, head, etc.) is associated with the
プロセッサ10は、ネットワーク19を介して他のユーザのコンピュータ200から音
声データを受信すると、当該音声データに対応する音声(発話)をスピーカ115から出
力する。
When the
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供す
るために使用されるデータを保持している。当該データは、仮想空間2においてファッシ
ョンショーが行われる会場を表わすデータと、当該ファッションショーに登場するモデル
を示すデータと、当該モデルに着用される衣類を表わすデータとを含む。ある局面におい
て、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ
情報243と、顔情報244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを
保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテン
ツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、
たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、
オブジェクト情報242は、コントローラ160を操作するユーザ190の手に相当する
手オブジェクトを仮想空間2に配置するためのデータと、各ユーザのアバターオブジェク
トを仮想空間2に配置するためのデータと、仮想パネルなどのその他のオブジェクトを仮
想空間2に配置するためのデータとを含む。
The
For example, the game may include content representing a scene similar to a real society. further,
The
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機
能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用す
るアプリケーションプログラムなどを保持している。メモリモジュール240に格納され
ているデータおよびプログラムは、HMD110のユーザ190によって入力される。あ
るいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(
たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロ
ードされたプログラムあるいはデータをメモリモジュール240に格納する。
The
For example, the program or data is downloaded from the
顔情報244は、顔器官検出モジュール261がユーザ190の顔器官を検出するため
に予め記憶されたテンプレートを含む。ある実施形態において、顔情報244は、口テン
プレート245と、目テンプレート246と、眉テンプレート247とを含む。各テンプ
レートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート245
は、口の画像であり得る。なお、各テンプレートは複数の画像を含んでもよい。顔情報2
44は、基準データ248をさらに含む。基準データ248は、ユーザ190が無表情で
ある状態において、トラッキングモジュール262によって検出されるデータである。
The
May be an image of the mouth. Each template may include a plurality of images. Face
44 further includes
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報
通信装置と通信し得る。
[HMDシステムの制御構造]
図10を参照して、HMDシステム100の制御構造について説明する。図10は、あ
る実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケン
スチャートである。
[Control structure of HMD system]
The control structure of the
図10に示されるように、ステップS1010にて、コンピュータ200のプロセッサ
10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間
2を定義する。
As shown in FIG. 10, in step S1010, the
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。たとえば、
プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予
め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向
ける。
In step S1020, the
The
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、
初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データ
は、通信制御モジュール250によってHMD110に出力される。
In step S1030, the
View image data for displaying an initial view image is generated. The generated view image data is output by the
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受
信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ
190は、視界画像を視認すると仮想空間2を認識し得る。
In step S1032, the
ステップS1034にて、HMDセンサ120は、HMD110から発信される複数の
赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知デー
タとして、コンピュータ200に出力される。
In step S1034, the
ステップS1040にて、プロセッサ10は、HMD110の動き検知データに含まれ
る位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する
。
In step S1040, the
ステップS1050にて、プロセッサ10は、アプリケーションプログラムを実行し、
アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提
示する。このとき提示されるオブジェクトは、他アバターオブジェクトを含む。
In step S1050, the
The object is presented to the
ステップS1060にて、コントローラ160は、モーションセンサ130から出力さ
れる信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出デー
タをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコン
トローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて
検出されてもよい。
In step S1060,
ステップS1065にて、プロセッサ10は、コントローラ160から取得した検出デ
ータに基づいて、ユーザ190によるコントローラ160の操作を検出する。
In step S1065, the
ステップS1070にて、プロセッサ10は、手オブジェクトを仮想空間2に提示する
ための視界画像データを生成する。
In step S1070, the
ステップS1080にて、プロセッサ10は、ユーザ190によるコントローラ160
の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジ
ュール250によってHMD110に出力される。
In step S1080, the
Generating view image data based on the operation of The generated view image data is output by the
ステップS1092にて、HMD110は、受信した視界画像データに基づいて視界画
像を更新し、更新後の視界画像をモニタ112に表示する。
In step S1092, the
[フェイストラッキング]
以下、図11〜図13を参照して、ユーザの表情(顔の動き)を検出するための具体例
について説明する。図11〜図13では、一例として、ユーザ190の口の動きを検出す
る具体例について説明する。なお、図11〜図13で説明される検出方法は、ユーザ19
0の口の動きに限られず、ユーザ190の顔を構成する他の器官(例えば、目、眉、鼻、
頬)の動きの検出にも適用され得る。
[Face tracking]
Hereinafter, with reference to FIGS. 11 to 13, a specific example for detecting a user's facial expression (movement of a face) will be described. In FIGS. 11 to 13, a specific example of detecting the movement of the mouth of the
Other organs that constitute the face of the user 190 (eg, eyes, eyebrows, nose,
It can be applied to detection of movement of the cheek).
図11は、ユーザの顔画像50から口を検出する制御について説明する図である。第1
カメラ116により生成された顔画像50は、ユーザ190の鼻と口とを含む。
FIG. 11 is a diagram for describing control for detecting a mouth from the
The
顔器官検出モジュール261は、顔情報244に格納される口テンプレート245を利
用したパターンマッチングにより、顔画像50から口領域51を特定する。ある局面にお
いて、顔器官検出モジュール261は、顔画像50において、矩形上の比較領域を設定し
、この比較領域の大きさ、位置および角度をそれぞれ変えながら、比較領域の画像と、口
テンプレート245の画像との類似度を算出する。顔器官検出モジュール261は、予め
定められたしきい値よりも大きい類似度が算出された比較領域を、口領域51として特定
する。
The face organ detection module 261 specifies the
顔器官検出モジュール261は、さらに、算出した類似度がしきい値よりも大きい比較
領域の位置と、他の顔器官(例えば、目、鼻)の位置との相対関係に基づいて、当該比較
領域が口領域に相当するか否かを判断する。
The face organ detection module 261 further determines the comparison area based on the relative relationship between the position of the comparison area whose calculated similarity is greater than the threshold and the position of the other face organs (for example, the eyes and the nose). Whether or not to correspond to the mouth area is determined.
トラッキングモジュール262は、顔器官検出モジュール261が検出した口領域51
から、より詳細な口の形状を検出する。
The
To detect more detailed mouth shape.
図12は、トラッキングモジュール262が口の形状を検出する処理を説明する図(そ
の1)である。図12を参照して、トラッキングモジュール262は、口領域51に含ま
れる口の形状(唇の輪郭)を検出するための複数の輪郭検出線52を設定する。複数の輪
郭検出線52は、顔の高さ方向に直交する方向に、予め定められた間隔で設定される。
FIG. 12 is a diagram (part 1) for explaining the process in which the
トラッキングモジュール262は、複数の輪郭検出線52の各々に沿った口領域51の
輝度値の変化を検出し、輝度値の変化が急激な位置を輪郭点として特定し得る。より具体
的には、トラッキングモジュール262は、隣接画素との輝度差(すなわち、輝度値変化
)が予め定められた閾値以上である画素を、輪郭点として特定する。画素の輝度値は、例
えば、画素のRBG値を予め規定された重み付けで積算することにより得られる。
The
トラッキングモジュール262は、口領域51に対応する画像から2種類の輪郭点を特
定する。トラッキングモジュール262は、口(唇)の外側の輪郭に対応する輪郭点53
と、口(唇)の内側の輪郭に対応する輪郭点54とを特定する。ある局面において、トラ
ッキングモジュール262は、1つの輪郭検出線52上に3つ以上の輪郭点が検出された
場合には、両端の輪郭点を外側の輪郭点53として特定し得る。この場合、トラッキング
モジュール262は、外側の輪郭点53以外の輪郭点を、内側の輪郭点54として特定し
得る。また、トラッキングモジュール262は、1つの輪郭検出線52上に2つ以下の輪
郭点が検出された場合には、検出された輪郭点を外側の輪郭点53として特定し得る。
The
And a
図13は、トラッキングモジュール262が口の形状を検出する処理を説明するための
図(その2)である。図13では、外側の輪郭点53は白丸、内側の輪郭点54はハッチ
ングされた丸としてそれぞれ示されている。
FIG. 13 is a diagram (part 2) for explaining the process in which the
トラッキングモジュール262は、内側の複数の輪郭点54間を補完することにより、
口形状55を特定する。この場合、輪郭点54は、口の特徴点といえる。ある局面におい
て、トラッキングモジュール262は、スプライン補完などの非線形の補完方法を用いて
、口形状55を特定する。なお、他の局面において、トラッキングモジュール262は、
外側の複数の輪郭点53間を補完することにより口形状55を特定してもよい。さらに他
の局面において、トラッキングモジュール262は、想定される口形状(人の上唇と下唇
とによって形成され得る所定の形状)から、大きく逸脱する輪郭点を除外し、残った輪郭
点によって口形状55を特定してもよい。このようにして、トラッキングモジュール26
2は、ユーザの口の動作(形状)を特定する。なお、口形状55の検出方法は上記に限ら
れず、トラッキングモジュール262は、他の手法により口形状55を検出してもよい。
また、トラッキングモジュール262は、同様にして、ユーザの目および眉の動作を検出
し得る。なお、トラッキングモジュール262は、頬、鼻などの器官の形状を検出可能に
構成されてもよい。
The
The
The
2 specifies the movement (shape) of the user's mouth. Note that the method of detecting the
Also,
図14を参照して、フェイストラッキングデータの構造について説明する。図14は、
フェイストラッキングのためにストレージ12に格納されたデータの一例を表す図である
。フェイストラッキングデータは、各器官の形状を構成する複数の特徴点のuvw視野座
標系における位置座標を表す。例えば、図14に示されるポイントm1,m2,・・・は
、口形状55を構成する内側の輪郭点54に対応する。ある局面において、フェイストラ
ッキングデータは、第1カメラ116の位置を基準(原点)としたuvw視野座標系にお
ける座標値である。他の局面において、フェイストラッキングデータは、各器官ごとに予
め定められた特徴点を基準(原点)とした座標系における座標値である。一例として、ポ
イントm1,m2,・・・は、内側の輪郭点54のうち口角に対応するいずれか一方の特
徴点を原点とした座標系における座標値である。
The structure of face tracking data will be described with reference to FIG. Figure 14
It is a figure showing an example of the data stored in
コンピュータ200は、生成されたフェイストラッキングデータをサーバ150に送信
する。サーバ150は、コンピュータ200と通信する他のコンピュータ200にこのデ
ータを転送する。他のコンピュータ200は、受信したフェイストラッキングデータを、
当該フェイストラッキングデータをもたらしたコンピュータ200のユーザ190に対応
するアバターオブジェクトに反映する。ユーザ190と通信する他のユーザは、表情が反
映されたアバターオブジェクトを視認することができる。
The
The face tracking data is reflected on an avatar object corresponding to the
図15および図16を参照して、ユーザ190の感情の変化について説明する。図15
は、ユーザ190が無表情時に取得される顔の特徴点を表す。図16は、ユーザ190が
驚いたときに取得される顔の特徴点を表す。図15および図16に示される特徴点Pは、
トラッキングモジュール262によって取得されるユーザ190の顔の特徴点を表す。
The change in emotion of the
Represents a feature point of the face acquired when the
It represents feature points of the face of the
ある局面において、プロセッサ10は、第1カメラ116および第2カメラ117によ
ってユーザ190の顔を撮影する。プロセッサ10は、取得した画像に基づいてフェイス
トラッキングデータを生成する。このとき生成されたフェイストラッキングは基準データ
248として機能する。プロセッサ10は、生成した基準データ248をメモリモジュー
ル240に保存する。
In one aspect, the
図15に示される特徴点Pは、基準データ248に対応する。一方、図16に示される
特徴点Pは、ユーザ190が仮想空間2に没入している間に随時取得されるフェイストラ
ッキングデータに対応する。
The feature point P shown in FIG. 15 corresponds to the
図16に示される例において、ユーザ190は驚いているため、図15と比較して目の
特徴点Pが顔の高さ方向に広がり、眉の特徴点Pが上方向に移動している。このように、
基準データに対するフェイストラッキングデータの変動量は、仮想空間2に展開されるコ
ンテンツに対するユーザ190の関心の度合いを表す。
In the example shown in FIG. 16, since the
The variation amount of the face tracking data with respect to the reference data represents the degree of interest of the
そこで、プロセッサ10は、基準データに対するフェイストラッキングデータの変動量
が予め定められた変動量を上回った場合に、ユーザ190の関心度を予め定められた程度
(高、中、低)に分類し得る。
Thus, the
ある局面において、プロセッサ10は、各々の特徴点ごとに基準データに対するフェイ
ストラッキングデータの変動量を算出し、その総和に基づいて上記の判断を行なう。他の
局面において、プロセッサ10は、感情による変化の度合いが大きい予め定められた特徴
点(例えば、口角に対応する特徴点)についてのみ変動量を算出し、その総和に基づいて
上記判断を行なう。
In one aspect, the
上記によれば、プロセッサ10は、ユーザ190がコンテンツ(例えば、アバターのフ
ァッション等)に関心を示したときに自動撮影により画像を生成できる。
According to the above, the
[技術思想]
まず、本開示に係る技術思想について説明する。本実施の形態によれば、ファッション
ショーが仮想現実空間(例えば仮想空間2)で再現される。HMD110を装着したユー
ザ190は、仮想空間2においてモデルが着用している衣類を予め定められた時間見ると
、その衣類の詳細情報を見ることができる。現実空間における既存のファッションショー
では、例えばスマートフォンで購入される衣類が人気のある衣類と評価され得る。これに
対して、本実施の形態によれば、ファッションショーが仮想空間2で展開されるので、仮
想空間2を共有し同じファッションショーを見ているユーザの視線が集まる衣類は、詳細
の情報までは見られない場合であっても、人気のある衣類として判定され得る。例えば、
各ユーザからの視線が一定時間継続して詳細な情報まで視認された衣類、ユーザによって
購入された衣類、HMD110を装着したユーザの表情を把握するための上記技術を利用
した表情から衣類に対する好感度が高い衣類等が、人気のある衣類として判別され得る。
[Technical thought]
First, the technical idea according to the present disclosure will be described. According to the present embodiment, the fashion show is reproduced in the virtual reality space (for example, the virtual space 2). When the
Garment in which the line of sight from each user continues to be visible for a certain period of time, clothing that has been viewed to detailed information, clothing purchased by the user, and a preference for clothing based on the above-mentioned technology for grasping the user's facial expression wearing the
また、仮想現実によれば、各ユーザそれぞれに特化したリコメンドが可能となるため、
モデルへの視線が一定時間止まったが購入に至らなかった衣類を、別のコーディネートで
モデルに着せることにより、別のタイミングで、同じモデルを改めてファッションショー
に登場させることができ、改めてユーザに対するリコメンドを行なうこともできる。
Also, according to virtual reality, it is possible to make recommendations specific to each user.
The same model can be reappeared in a fashion show at another timing by putting on clothes in a different coordinate with clothes that the gaze to the model has stopped for a certain period of time but has not resulted in purchasing, and the same model can be reappeared in a fashion show. You can also
また、ある程度各ユーザの個人の好みの情報が蓄積されると、その人に適したファッシ
ョンショーをつくることもできる。あるいは、ファッションショーに登場するモデルを、
自分自身の3Dモデルとすることもできる。この場合、ユーザ190は、関心度の高い衣
類を仮想空間2で試着した状態となり、ユーザ190は、そのような状態にある3Dモデ
ルを視認することにより、購入した場合の見え方を予め確認することができる。
In addition, when personal preference information of each user is accumulated to a certain extent, it is possible to create a fashion show suitable for the person. Or, a model that appears in a fashion show,
It can also be your own 3D model. In this case, the
[関心度の導出]
図17を参照して、サーバ150がユーザ190による衣類に対する関心度を導出する
方法について説明する。図17は、サーバが実行する処理の一部を表わすフローチャート
である。
[Determining degree of interest]
A method for the
ステップS1710にて、サーバ150のプロセッサ151は、仮想空間2を定義する
。
In step S1710, the
ステップS1720にて、プロセッサ151は、モデルが衣類を着用したファッション
ショー画像を生成する。
In step S1720, the
ステップS1730にて、プロセッサ151は、仮想空間2にファッションショー画像
を投影する。投影された画像が、HMD110のモニタ112によって表示されると、ユ
ーザ190は、ファッションショーを見ることができる。ユーザ190がHMD110の
モニタ112を見ている間、その視線は注視センサ140によって検知され得る。
In step S1730, the
ステップS1740にて、プロセッサ151は、センサから出力された信号に基づいて
、HMD110のユーザの視線が衣類に向けられていることを検知する。
In step S1740,
ステップS1750にて、プロセッサ151は、センサから送られた信号に基づいて、
衣類に対する視線が一定時間以上継続しているか否かを判断する。プロセッサ151は、
視線が一定時間以上継続していると判断すると(ステップS1750にてYES)、制御
をステップS1770に切り替える。そうでない場合には(ステップS1750にてNO
)、プロセッサ151は、制御をステップ1760に切り替える。
At step S1750,
It is determined whether the line of sight on the clothing continues for a predetermined time or more. The
If it is determined that the line of sight continues for a predetermined time or more (YES in step S1750), the control is switched to step S1770. If not (NO in step S1750
ステップS1760にて、プロセッサ151は、衣類の詳細情報を提示する。ユーザ1
90の視線が一定時間以上継続しているということは、ユーザ190がその衣類に関心を
持っていると推定され得る。そこで、その衣類の詳細情報がユーザ190に提示される。
なお、詳細情報が提示されるトリガは、視線が継続している時間に限られない。例えば、
ユーザ190の操作に基づいて、あるいは、他のユーザがその衣類を推薦していることに
基づいて、詳細情報が提示されてもよい。
In step S1760,
The fact that the 90 lines of sight continue for a certain period of time or longer may be presumed that the
In addition, the trigger in which detailed information is shown is not restricted to the time when the gaze is continuing. For example,
The detailed information may be presented based on the operation of the
ステップS1770にて、プロセッサ151は、モデルが着用する衣類を変更するか否
かを判断する。例えば、プロセッサは、当該衣類が購入されたか否かに基づいて、当該衣
類を変更するか否かを判断する。この場合、多くの視線が集まったものの購入されなかっ
た衣類は、変更され得る。
In step S1770, the
ステップS1780にて、プロセッサ151は、視線(動作情報)に基づいて関心度を
導出する。一例として、関心度は、視線が継続した時間に応じて分類される。より具体的
には、例えば、当該時間が1秒未満の場合、そのユーザの関心度は低いと認定される。当
該時間が1秒以上5秒未満の場合、関心度は中程度と認定される。当該時間が5秒以上の
場合、関心度は高いと認定される。なお、視線が継続したい時間は上記の例に限られず、
他の時間間隔が使用されてもよい。
In step S1780, the
Other time intervals may be used.
ステップS1790にて、プロセッサ151は、関心度を出力する。
図18〜図20を参照して、仮想空間2に展開されるファッションショーの光景につい
て説明する。図18は、HMD110のモニタ112に表示される画像の一例を表わす図
である。HMD110のモニタ112に表示される画像の一例を表わす図である。この画
像は、サーバ150から送られるデータに基づいて表示される。
In step S1790, the
The sights of the fashion show developed in the
モニタ112は、複数のモデルの各々を表わすモデルオブジェクト1810と、聴衆を
表わす聴衆オブジェクト1820と、ステージ1830と、モデルオブジェクト1840
とを表示する。モデルオブジェクト1810は、実在するモデルのオブジェクトおよび仮
想のモデルのオブジェクトのいずれであってもよい。モデルオブジェクト1810は、ス
テージ1830の後方に控えており、予め定められた衣類を着ており、予め定められた順
序でステージ1830を歩いて聴衆オブジェクト1820,1820の間を進む。モデル
オブジェクト1840は、衣類オブジェクト1841を着用している。モデルオブジェク
ト1840は、ステージ1830の先端まで来ると、再びステージ1830の後方に戻り
、次のモデルオブジェクトと交代する。
The
And display. The
図19は、モニタ112が仮想空間2において詳細情報1900を示した状態を表わす
図である。モデルオブジェクト1840がステージ1830の中央にいる間に、ユーザ1
90の視線がモデルオブジェクト1840に向けられている時間が予め定められた時間よ
りも長くなると、モニタ112は、ポップアップオブジェクトとして、詳細情報1900
を提示する。
FIG. 19 is a diagram showing a state in which the
If the time during which the 90 lines of sight are directed to the
To present.
詳細情報1900は、モデルオブジェクト1840が着ている衣類の詳細な説明と、他
のユーザによるお薦め度とを含む。さらに、詳細情報1900は、HMD110を装着し
ているユーザ190による命令の入力を受け付けるメニューオブジェクト(「購入する」
、「戻る」、「もっと見る」)を含む。ユーザ190は、視線をいずれかのメニューオブ
ジェクトに一定時間向けることにより、あるいは、コントローラ160で操作することに
より、いずれかの指示をコンピュータ200に与えることができる。コンピュータ200
が「購入する」の指示を受け付けると、モデルオブジェクト1840が着ている衣類を注
文するための情報の入力画面が提示される。別の局面において、当該衣類に関連付けられ
ている小物(例えば、カバン、靴、帽子、スカート、コート等)あるいはモデルオブジェ
クト1840に関連付けられている他の衣類または小物が推奨されてもよい。
The
, "Return", "Show more"). The
When the user receives the "purchase" instruction, an input screen of information for ordering the clothes worn by the
図20は、モデルオブジェクト1840が着ている衣類の購入を受け付ける画面を表わ
す図である。ユーザ190が図19に示される画面において、メニューオブジェクト「購
入する」を選択すると、モニタ112は、図20の画面を表示する。より詳しくは、モニ
タ112は、オブジェクト2000をさらに表示する。オブジェクト2000は、ファッ
ションショーのアカウントにアクセスするためのユーザIDおよびパスワードの入力を受
け付ける。ユーザ1Dは、モデルオブジェクト1840が着ている衣類の購入を希望する
ユーザ190を識別する。パスワードは、当該ユーザIDを保護する。ユーザ190が、
予め規定されたユーザIDおよびパスワードを入力して確定を押下すると、オブジェクト
2000は、衣類を購入するために必要な情報の入力画面を表わすオブジェクトに切り替
わる。
FIG. 20 is a diagram showing a screen for accepting the purchase of the clothes worn by the
When the user ID and password defined in advance are input and the confirmation is pressed, the
[構成の概要]
(1) ある局面において、プロセッサ151は、仮想空間2を定義し、一つ以上の衣
類オブジェクト1841を装着したモデルオブジェクト1840を仮想空間2に配置する
。HMD110は、モデルオブジェクト1840をHMD110に表示する。プロセッサ
151は、HMD110のユーザ190による一つ以上の衣類オブジェクト1841に対
する動作を検出し、当該動作に基づいて、HMD110に表示される一つ以上の衣類オブ
ジェクト1841またはモデルオブジェクト1840に対するユーザ190の関心度を判
別する。
[Configuration Summary]
(1) In one aspect, the
(2) 別の局面において、プロセッサ151は、HMD110のユーザ190の視線
を検出し、HMD110のユーザ190の視線がオブジェクト(例えば、モデルオブジェ
クト1840全体、あるいは、衣類オブジェクト1841)に注がれていることに基づい
て、ユーザ190の関心度を判別する。関心度は、視線が向けられたオブジェクトに対す
る関心の度合いを表わす。関心度は、例えば、ファッションショーを視聴しているユーザ
が当該オブジェクトを予め定められた一定時間以上注視したか否かという情報として、当
該オブジェクトを注視した時間の長さとして、あるいは、当該オブジェクトを見た回数と
して、定義される。例えば、ユーザの視線が一定時間向けられたオブジェクトは、当該ユ
ーザによる関心があると推定され、予め規定された値が関心度としてカウントされ得る。
他方、ユーザが視線を向けたものの直ぐに視線を逸らしたオブジェクトは、当該ユーザに
よる関心度が低いと推定され、関心度はゼロとされる。別の局面において、例えば、オブ
ジェクトに対する視線が注がれた回数が多いオブジェクトは、ユーザの関心度が高いと推
定される。
(2) In another aspect, the
On the other hand, it is assumed that the object that the user turned his or her gaze but immediately turned off looks at a low degree of interest by the user, and the degree of interest is zero. In another aspect, for example, an object that has been frequently gazed at the object is estimated to be highly interesting to the user.
(3) 別の局面において、プロセッサ151は、HMD110のユーザ190の頭部
以外の身体の動作を検出する。HMD110は、サーバ150からの信号に基づいて、H
MD110のユーザ190の頭部以外の身体(例えば、手、足等)に対応する身体オブジ
ェクト(手オブジェクト、足オブジェクト等)であって身体の動作の検出結果に連動して
仮想空間2において動作する身体オブジェクトを表示する。プロセッサ151は、身体オ
ブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作を検出し、身体オ
ブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作の検出結果に基づ
いて、ユーザ190の関心度を判別する。
(3) In another aspect, the
A body object (a hand object, a foot object, etc.) corresponding to a body (for example, a hand, a foot, etc.) other than the head of the
(4) 別の局面において、プロセッサ151は、HMD110のユーザ190の表情
を検出し、HMD110のユーザ190の表情の検出結果に基づいて、HMD110に表
示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対す
るユーザ190の関心度を判別する。例えば、ユーザ190が衣類オブジェクト1841
あるいはモデルオブジェクト1840に驚いて目を大きくした場合、あるいは、口を大き
く開けた場合、プロセッサ151は、ユーザ190の関心度が高いと推定し、予め定めら
れた値を関心度とする。あるいは、プロセッサ151は、当該ユーザ190に対する関心
度を「高」と分類する。このような場合、プロセッサ151は、さらに、ユーザ190が
音声を発したかどうかを、関心度の程度を判定するために考慮し得る。この場合に推定さ
れる関心度の精度は、表情の変化のみに基づいて推定される関心度より高くなるので、よ
り詳細な解析が可能となる。さらに、プロセッサ151は、ユーザ190の発話内容を解
析し、ポジティブ表現や感嘆詞など特定の語が発話内容に含まれていれば、衣類オブジェ
クト1841またはモデルオブジェクト1840に対する関心があると判定し得る。特定
の語も考慮されるので、関心度の精度がさらに高くなり得る。
(4) In another aspect, the
Alternatively, in the case where the
(5) 別の局面において、プロセッサ151は、HMD110のユーザ190によっ
て発せられる音声を検出し、音声が発せられていることに基づいて、HMD110に表示
される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1840に対する
ユーザ190の関心度を判別する。例えば、プロセッサ151は、音声がユーザ190に
よって発せられたか否かでユーザ190の関心度の程度を判別し得る。あるいは、プロセ
ッサ151は、ユーザ190により発話された音声の内容を解析し、ポジティブな語(例
えば、「きれい」、「かわいい」、「素敵」等)、あるいは、感嘆表現(「おお!」)の
ようにファッションに対する好感を表わす用語として予め規定された特定の語が含まれて
いれば、ユーザ190は音声が発せられたタイミングで表示されていた衣類オブジェクト
1841あるいはモデルオブジェクト1840に対する関心が高いと判定し、衣類オブジ
ェクト1841あるいはモデルオブジェクト1840に対する関心度を「高」に分類する
。別の例として、プロセッサ151は、音声内容を解析し、解析結果から得られる抑揚に
基づき感情を判定し得る。この場合、当該感情がポジティブな感情であることが判定され
ると、そのタイミングでHMD110に表示されている衣類オブジェクト1841あるい
はモデルオブジェクト1840にユーザ190は関心を持っていると判定する。さらに別
の例として、プロセッサ151は、ユーザ190の発話に基づく音声の内容を解析し、音
声の内容が衣類オブジェクト1841あるいはモデルオブジェクト1840を指定してい
ると判定すると(例えば、「あの帽子、かわいい!」等)、衣類オブジェクト1841あ
るいはモデルオブジェクト1840に対するユーザ190の関心度が高いと判定する。
(5) In another aspect, the
(6) 別の局面において、プロセッサ151は、一つ以上の衣類オブジェクト184
1に対する動作が予め定められた時間継続していることに基づいて、一つ以上の衣類オブ
ジェクト1841に関する情報(例えば、当該衣類の素材、当該衣類にマッチするカバン
その他の小物、他ユーザの評価等)を仮想空間2に提示する。
(6) In another aspect, the
Information related to one or more clothing objects 1841 (for example, materials of the clothing, bags and other accessories matching the clothing, evaluations of other users, etc.) based on the fact that the operation for 1 continues for a predetermined time ) Is presented to
(7) 別の局面において、プロセッサ151は、ユーザ190の視線が注がれている
オブジェクトの購入を受け付けるインターフェイスオブジェクト(例えば、オブジェクト
2000)をHMD110に提示する。
(7) In another aspect, the
(8) 別の局面において、プロセッサ151は、ユーザ190の視線が注がれた後に
購入されなかったオブジェクトを、当該オブジェクトが提示されていた態様とは別の態様
で再度提示する。例えば、あるモデルオブジェクトに着用されたが購入されなかった衣類
オブジェクト1841は、別のモデルオブジェクトに着用されて仮想空間2のファッショ
ンショーに再度提示され得る。衣類の印象は着用するモデルによっても変わり得るので、
このようにすると、衣類オブジェクト1841の関心度を高めることができる。
(8) In another aspect, the
In this way, the degree of interest of the
(9) 別の局面において、プロセッサ151は、複数の衣類オブジェクト1841の
各々を装着したモデルオブジェクト1840を仮想空間2に配置し、各衣類オブジェクト
1841に対するユーザ190の関心度をそれぞれストレージ154に蓄積する。
(9) In another aspect, the
(10) 別の局面において、プロセッサ151は、複数のモデルオブジェクト184
0を順次仮想空間2に配置し、各モデルオブジェクトに対するユーザ190の関心度をそ
れぞれストレージ154に蓄積する。
(10) In another aspect, the
0 is sequentially arranged in the
(11) 別の局面において、プロセッサ151は、他ユーザによる関心度に基づいて
、HMD110に表示されている衣類オブジェクト1841の表示態様を変更する。たと
えば、衣類オブジェクト1841を着用するモデルが変更される。あるいは、衣類オブジ
ェクト1841が登場するシーンでは、他の衣類オブジェクトが登場するシーンで使用さ
れる照明パターン(色、輝度、点滅の有無など)と異なる照明パターンが使用され得る。
このようにすると、衣類オブジェクトの見え方が変わるので、ユーザに対する関心度を高
めることができる。
(11) In another aspect, the
In this way, the appearance of the clothing object changes, so the degree of interest to the user can be increased.
(12) 別の局面において、プロセッサ151は、ユーザ190の関心度の判別結果
に基づいて、複数の衣類のうちユーザ190に提示する衣服の情報を決定し、決定された
衣服の情報を含むインターフェイスオブジェクトを仮想空間2に提示する。仮想カメラ1
による映像のデータがHMD110に送られると、モニタ112は、当該決定された衣類
の情報(素材その他の属性情報、おすすめのカバンその他当該衣類に関連する小物の情報
、他ユーザのコメント等)を表示するので、ユーザ190は、それらの情報を確認でき、
適宜他の小物を購入することもできる。
(12) In another aspect, the
When the data of the video according to is sent to the
Other accessories can also be purchased as appropriate.
(13) 別の局面において、プロセッサ151は、衣類を装着したモデルが登場する
内容を含む複数のパノラマ動画をコンピュータのメモリ(例えば、ストレージ154)に
記憶させ、仮想空間2を定義し、メモリからパノラマ動画を読み出して、仮想空間2にお
いてパノラマ動画を展開することにより、HMD110にパノラマ動画を表示する。さら
に、プロセッサ151は、HMD110のユーザ190の動作を検出し、動作の検出結果
に基づいて、HMD110に表示されるパノラマ動画に含まれる衣類またはモデルに対す
るユーザ190の関心度を判別し、ユーザ190の関心度の判別結果に基づいて、衣類の
購入を受け付けるインターフェイスオブジェクト(例えば、オブジェクト2000)を仮
想空間2に提示する。
(13) In another aspect, the
(14) 別の局面において、プロセッサ151は、ユーザ190の関心度の判別結果
に基づいて、HMD110に表示されるパノラマ動画の進行を制御する。
(14) In another aspect, the
[データ構造]
図21および図22を参照して、サーバ150のデータ構造について説明する。図21
および図22は、サーバ150のストレージ154におけるデータの格納の一態様を表わ
す図である。
[data structure]
The data structure of the
And FIG. 22 is a diagram showing an aspect of storage of data in the
図21を参照して、ストレージ154は、テーブル2110,2120,2130を含
む。テーブル2110は、衣類ID2111と、画像データ2112と、衣類詳細データ
2113と、関連小物リンク2114と、ブランド2115とを含む。テーブル2120
は、モデルID2121と、画像データ2122と、モデル詳細データ2123と、関連
リンク2124とを含む。テーブル2130は、モデルID2131と、衣類ID213
2と、注文履歴2133とを含む。
Referring to FIG. 21,
Includes a
2 and an
テーブル2110において、衣類ID2111は、VRファッションショーにおいてモ
デルオブジェクト1810,1840が着用する衣類を識別する。画像データ2112は
、当該衣類を表示するためのデータである。衣類詳細データ2113は、当該衣類の詳細
な情報であり、例えば、当該衣類の素材、お薦め度等を含む。関連小物リンク2114は
、当該衣類に関連付けられる小物の画像を表示するためのリンクである。小物は、例えば
、コート、スカート、靴、ハンドバック、ブローチ、ネックレス、化粧品等を含む。ブラ
ンド2115は、当該衣類のブランドを表わす。
In the table 2110, the
テーブル2120において、モデルID2121は、ファッションショーに登場するモ
デルを識別する。より具体的には、モデルID2121は、モデルオブジェクト1810
,1840に対応する。画像データ2122は、当該モデルを仮想空間2で表示するため
のデータである。モデル詳細データ2123は、当該モデルの詳細を説明するデータであ
る。当該データは、例えば、当該モデルの氏名、身長その他の属性データを含み得る。関
連リンク2124は、当該モデルに関連付けられている情報にアクセスするためのリンク
である。関連リンク2124は、例えば、当該モデルが過去のファッションショーで着用
していた衣類へのリンクを含む。
In table 2120,
, 1840.
テーブル2130において、モデルID2131は、モデルを識別する。衣類ID21
32は、当該モデルが着用した衣類を識別する。注文履歴2133は、衣類ID2132
で識別される衣類に対してユーザによる注文の有無を表わす。
In table 2130,
32 identifies the clothes worn by the model. The
Indicates the presence or absence of an order by the user for the clothing identified in
図22を参照して、ストレージ154は、テーブル2210,2220,2230をさ
らに含む。
Referring to FIG. 22,
テーブル2210は、履歴ID2211と、ユーザID2212と、ターゲットID2
213と、動作2214とを含む。履歴ID2211は、テーブル2210を構成する各
レコードを識別する。ユーザID2212は、仮想空間2にて展開されたファッションシ
ョーを視聴したユーザを識別する。ターゲットIDは、当該ユーザの視線が向けられた対
象を識別する。例えば、ターゲットIDとして、衣類IDや各小物のIDが使用される。
動作2214は、当該ユーザが行なった動作を表わす。動作2214は、例えば、HMD
110を装着したユーザの注視時間、当該ユーザのコントローラ160による操作、ユー
ザの表情または音声等を含むがその他の動作が含まれてもよい
テーブル2220は、取引ID2221と、ユーザID2222と、動作2223と、
日時2224とを含む。取引ID2221は、ユーザとの間に実際に発生した商取引を識
別する。商取引は、例えば、注文、予約等を含む。ユーザID2222は、当該取引を行
なったユーザを識別する。動作2223は、当該ユーザによって行われた動作を識別する
。当該動作は、注文、予約等の行為を含む。日時2224は、動作2223が行なわれた
日時を表わす。
The table 2210 includes
213 and
An
The table 2220 may include other operations such as a gaze time of the user wearing the 110, an operation by the
Date and
テーブル2230は、モデルID2231と、衣類ID2232と、関心度2233と
、人数2234とを含む。モデルID2231は、モデルオブジェクト1810からステ
ージの前方に出てきた一人のモデルを識別する。衣類ID2232は、その時にモデルが
着用していた衣類を識別する。関心度2233は、モデルID2231によって特定され
るモデルと、衣類ID2232によって特定される衣類との組み合わせに対する関心度の
レベルを表わす。関心度2233は、一例として、3段階(高、中、低)で示されている
が、さらに詳細に分けられてもよい。あるいは、関心度2233の大きさは、例えば、0
〜100のように数値化されてもよい。数値化としては、例えば、最も長い時間注視され
ていた時間を100とし、その時間に対する他ユーザによる注視の時間が百分率で示され
得る。
The table 2230 includes a
It may be digitized as 100. As quantification, for example, the longest watched time may be set to 100, and the time of the gaze by another user to that time may be shown as a percentage.
[制御構造]
図23を参照して、仮想空間2におけるファッションショーの開催および衣類の注文に
ついて説明する。図23は、ユーザ190、HMD110に接続されたコンピュータ20
0、およびサーバ150が実行する処理の一部を表わすフローチャートである。なお、サ
ーバ150が有するデータ(例えば、ファッションショーを仮想空間に展開するためのア
プリケーションプログラム、コンテンツデータ等)および機能(演算機能、通信機能等)
をHMD110が備える場合には、当該処理は、HMD110のプロセッサによって実行
されてもよい。
Control structure
The holding of a fashion show in the
0 is a flowchart showing a part of processing executed by the
When the
ステップS2310にて、ユーザ190は、HMD110を装着する。
ステップS2315にて、プロセッサ10は、ユーザ190の指示に基づいて、VRフ
ァッションショーアプリを起動する。
In step S2310, the
In step S2315, the
ステップS2320にて、プロセッサ151は、コンピュータ200から送られた信号
に基づいて、ユーザ190によるVRファッションショーへのログインを受け付ける。V
Rファッションショーの映像は、ライブ映像および録画のいずれであってもよい。例えば
、VRファッションショーが録画データを用いたオンデマンド形式で開催される場合には
、サーバ150は、初期コーディネートバージョンに基づくVRファッションショーを展
開するためのデータを、HMD110に送信する。
In step S2320,
The video of the R fashion show may be either live video or video recording. For example, when the VR fashion show is held in an on-demand format using video recording data, the
ステップS2325にて、プロセッサ151は、コンピュータ200から送られる信号
に基づいて、モデルが着ている衣類に対する視線を検出する。例えば、ユーザ190が仮
想空間2に表示されるモデルオブジェクト1840を注視した場合、注視センサからの信
号がコンピュータ200を介してサーバ150に送られる。サーバ150は、注視センサ
からの信号を受信すると、計測を開始し、その信号を受信しなくなるまで、計測を続ける
。なお、モデルが着ている衣類に対するユーザの関心度の検出手法は、注視に限られない
。例えば、ユーザ190がコントローラを手に装着している場合には、ユーザの手が当該
モデルを指示したとき、サーバ150は、当該コントローラからの信号に基づいて、ユー
ザ190が当該モデルの衣類に関心を抱いていると判断してもよい。あるいは、ユーザ1
90がモデルに対して歓声を上げたことに基づいて、サーバ150は、ユーザ190が当
該モデルの衣類に関心を抱いていると判断してもよい。さらに別の局面において、HMD
190がユーザ190の顔を撮影可能なカメラを備えている場合には、ユーザの表情の変
化に基づいて、サーバ150は、ユーザ190が当該モデルの衣類に関心を抱いていると
判断してもよい。
In step S2325,
Based on 90 cheering on the model,
If the
ステップS2330にて、プロセッサ151は、予め定められた一定時間、ユーザ19
0の視線が衣類に向けられていることを検知する。
In step S2330, the
It detects that the line of sight of 0 is directed to the clothes.
ステップS2335にて、プロセッサ151は、仮想空間2におけるモデルオブジェク
ト1840の近傍に、詳細情報を提示する。仮想カメラ1は、詳細情報が提示された視界
画像を取得し、サーバ150は、視界画像のデータをコンピュータ200に送信する。モ
ニタ112がそのデータに基づいて画像を表示すると、ユーザ190は、モデルオブジェ
クト1840の近傍に詳細情報が展開されたことを視認する。
In step S2335, the
ステップS2340にて、プロセッサ151は、視線が向けられている時間に応じた関
心度を取得する。ある局面において、一人のユーザ190がファッションショーを楽しん
でいる場合には、プロセッサ151は、ユーザ190の視線が向けられている時間と、予
め定められた基準時間との比率を関心度として算出する。
In step S2340, the
ステップS2350にて、プロセッサ151は、ストレージ154に関心度を保存する
。
In step S2350, the
ステップS2355にて、プロセッサ151は、ユーザ190から衣類の注文があった
か否かを判断する。プロセッサ151は、ユーザ190から衣類の注文があったと判断す
ると(ステップS2355にてYES)、制御をステップS2360に切り替える。そう
でない場合には(ステップS2355にてNO)、プロセッサ151は、制御をステップ
S2370に切り替える。
In step S2355, the
ステップS2360にて、プロセッサ151は、ユーザ190の操作に基づいてコンピ
ュータ200から送られた情報を用いて、注文処理および課金処理を実行する。コンピュ
ータ200から送られる情報は、ユーザ190の識別番号、注文された商品の識別番号(
モデルオブジェクト1840が着ていた衣類の識別番号)、クレジットカード番号等を含
む。注文処理は、ユーザ190によって選択された衣類の識別番号および発注を表わすコ
ードを当該衣類の供給者に送信することを含む。課金処理は、ユーザ190に衣類の代金
を請求すること、衣類の仕入れ代金を供給者に支払うことを含む。
In step S2360,
The identification number of the clothing worn by the model object 1840), a credit card number, and the like. The order process includes transmitting the identification number of the garment selected by the
ステップS2370にて、プロセッサ151は、注文に至らなかった旨を履歴DBに記
録する。例えば、プロセッサ151は、テーブル2130において、当該衣類についての
注文履歴2133の値を0とする。
In step S2370, the
ステップS2375にて、プロセッサ151は、仮想空間2において次のモデルが別の
衣類を着用した画像を生成する。仮想カメラ1がその画像を撮影すると、データがサーバ
150からコンピュータ200に送信され、HMD110は、当該データに基づいて、モ
ニタ112にその画像を表示する。
In step S2375, the
ステップS2380にて、プロセッサ151は、次のモデルによるVRファッションシ
ョーを続行するか否かを判断する。プロセッサ151は、次のモデルによるVRファッシ
ョンショーを続行すると判断すると(ステップS2380にてYES)、制御をステップ
S2325に戻す。そうでない場合には(ステップS2380にてNO)、プロセッサ1
51は、処理を終了する。
In step S2380, the
51 ends the process.
図24を参照して、別のコーディネイトによるファッションショーが行われる局面につ
いて説明する。図24は、当該局面において行なわれる処理の一部を表わすフローチャー
トである。なお、前述の処理と同一の処理には同一のステップ番号を付してある。したが
って、同一の処理の説明は繰り返さない。
Referring to FIG. 24, a phase in which another coordinated fashion show is performed will be described. FIG. 24 is a flowchart showing a part of the process performed in the aspect. The same step number is attached to the same process as the above-mentioned process. Therefore, the description of the same process will not be repeated.
ステップS2410にて、プロセッサ151は、履歴DBから注文されなかった衣類の
データを読み出してモデルに着用させる。より具体的には、例えば、プロセッサ151は
、テーブル2130の注文履歴2133を参照して、その値が0であるレコードを抽出す
る。当該レコードは、モデルID2131と、衣類ID2132とを含む。プロセッサ1
51は、抽出されたレコードで特定されるモデルID2131とは異なるモデルIDを、
例えば、降順であるいは昇順で特定し、特定したモデルIDにより識別されるモデルに衣
類ID2132で特定される衣類を着用させた画像を生成する。サーバ150は、当該画
像を表示するためのデータをコンピュータ200に送信する。モニタ112は、そのデー
タに基づいて、当該画像を表示する。これにより、他のモデルでは注文されなかった衣類
は、別のモデルによって再度仮想空間2に提示されるので、当該別のモデルとのコーディ
ネイトが実現される。
In step S2410, the
51 is a model ID different from the
For example, identification is performed in descending order or in ascending order, and an image is generated in which the model identified by the identified model ID is caused to wear the clothing identified by the
ステップS2470にて、プロセッサ151は、次のモデルがその衣類を着用した画像
を生成する。
In step S2470, the
(構成1) ある実施の形態に従うと、HMD110を介して情報を提供するためにコ
ンピュータによって実行される方法が提供される。この方法は、プロセッサ10,151
等によって実現され得る。この方法は、仮想空間2を定義するステップと、一つ以上の衣
類オブジェクト1841を装着したモデルオブジェクト1840を仮想空間2に配置する
ステップと、モデルオブジェクト1840をHMD110に表示するステップと、HMD
110のユーザ190による一つ以上の衣類オブジェクト1841に対する動作を検出す
るステップと、動作に基づいて、HMD110に表示される一つ以上の衣類オブジェクト
1841またはモデルオブジェクト1840に対するユーザ190の関心度を判別するス
テップとを含む。
And so on. This method comprises the steps of: defining a
Detecting an action on one or
(構成2) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは
、HMD110のユーザ190の視線を検出するステップを含む。ユーザ190の関心度
を判別するステップは、HMD110のユーザ190の視線がオブジェクト(例えば、モ
デルオブジェクト1840、衣類オブジェクト1841等)に注がれていることに基づい
て、ユーザ190の関心度を判別することを含む。
(Configuration 2) According to an embodiment, in addition to the above configuration, the step of detecting an operation includes the step of detecting the line of sight of the
(構成3) ある実施の形態に従うと、上記方法は、上記構成に加えて、HMD110
のユーザ190の頭部以外の身体(例えば、手、足等)の動作を検出するステップをさら
に含む。表示するステップは、HMD110のユーザ190の頭部以外の身体に対応する
身体オブジェクトであって身体の動作の検出結果に連動して仮想空間2において動作する
身体オブジェクトをHMD110に表示することを含む。動作を検出するステップは、身
体オブジェクトによる一つ以上の衣類オブジェクト1841を指定する操作(例えば、仮
想空間2において衣類オブジェクト1841を指さしたり、つかんだりする動作)を検出
するステップを含む。ユーザ190の関心度を判別するステップは、身体オブジェクトに
よる一つ以上の衣類オブジェクト1841を指定する操作の検出結果に基づいて、ユーザ
190の関心度を判別することを含む。
(Configuration 3) According to an embodiment, the method further comprises, in addition to the above configuration, an
Detecting the movement of the body (e.g., hands, feet, etc.) of the
(構成4) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは
、HMD110のユーザ190の表情を検出するステップを含む。ユーザ190の関心度
を判別するステップは、HMD110のユーザ190の表情の検出結果に基づいて、HM
D110に表示される一つ以上の衣類オブジェクト1841またはモデルオブジェクト1
840に対するユーザ190の関心度を判別することを含む。
(Configuration 4) According to an embodiment, in addition to the above configuration, the step of detecting an operation includes the step of detecting an expression of the
One or
Determining the user's 190 interest in 840;
(構成5) ある実施の形態に従うと、上記構成に加えて、動作を検出するステップは
、HMD110のユーザ190によって発せられる音声(例えば、驚きの声、歓声等)を
検出するステップを含む。ユーザ190の関心度を判別するステップは、音声が発せられ
ていることに基づいて、HMD110に表示される一つ以上の衣類オブジェクト1841
またはモデルオブジェクト1840に対するユーザ190の関心度を判別することを含む
。その発声が予め規定された発声である場合、あるいは、音量が予め規定された音量より
も大きい場合、関心度が高いと判定され得る。
(Configuration 5) According to an embodiment, in addition to the above configuration, the step of detecting an operation includes the step of detecting a voice (for example, a surprise voice, cheers, etc.) emitted by the
Or determining the interest level of the
(構成6) ある実施の形態に従うと、上記方法は、上記構成に加えて、一つ以上の衣
類オブジェクト1841に対する動作が予め定められた時間継続していることに基づいて
、一つ以上の衣類オブジェクト1841に関する情報(例えば、詳細情報1900)を仮
想空間2に提示するステップをさらに含む。
Configuration 6 According to an embodiment, the method further comprises, in addition to the above configuration, one or more garments based on the action on the one or
(構成7) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190
の視線が注がれているオブジェクトの購入を受け付けるインターフェイスオブジェクト(
例えば、オブジェクト2000)を提示するステップをさらに含む。
(Configuration 7) According to an embodiment, the method further comprises, in addition to the above configuration, a
Interface object that accepts purchase of an object whose gaze is on
For example, the step of presenting the object 2000) is further included.
(構成8) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ190
の視線が注がれた後に購入されなかったオブジェクトを、当該オブジェクトが提示されて
いた態様とは別の態様で再度提示するステップをさらに含む。
(Configuration 8) According to an embodiment, the method further comprises, in addition to the above configuration, a
The method further includes the step of re-presenting the object which was not purchased after the gaze of the object was poured, in a manner different from the manner in which the object was presented.
(構成9) ある実施の形態に従うと、上記構成に加えて、モデルオブジェクト184
0を仮想空間2に配置するステップは、複数の衣類オブジェクト1841の各々を装着し
たモデルオブジェクト1840を仮想空間2に配置するステップを含む。上記方法は、各
衣類オブジェクト1841に対するユーザ190の関心度をそれぞれ蓄積するステップを
さらに含む。
(Configuration 9) According to an embodiment, in addition to the above configuration, a model object 184
Placing 0 in the
(構成10) ある実施の形態に従うと、上記構成に加えて、モデルオブジェクト18
40を仮想空間2に配置するステップは、複数のモデルオブジェクト1840を順次仮想
空間2に配置するステップを含む。上記方法は、各モデルに対するユーザ190の関心度
をそれぞれ記憶装置(例えば、メモリ11,152、ストレージ12,154等)に蓄積
するステップをさらに含む。
(Configuration 10) According to an embodiment, in addition to the above configuration, a
The step of arranging 40 in
(構成11) ある実施の形態に従うと、上記方法は、上記構成に加えて、他ユーザに
よる関心度に基づいて、HMD110に表示されている衣類オブジェクト1841の表示
態様を変更するステップをさらに含む。
(Configuration 11) According to an embodiment, the method further includes, in addition to the above configuration, changing the display mode of the
(構成12) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ19
0の関心度の判別結果に基づいて、複数の衣類のうちユーザ190に提示する衣服の情報
を決定するステップと、決定された衣服の情報を含むインターフェイスオブジェクトを仮
想空間2に提示するステップとをさらに含む。
(Composition 12) According to an embodiment, the method further comprises, in addition to the above composition, a
Determining the information of clothes to be presented to the
(構成13) ある実施の形態に従うと、HMD110を介して情報を提供するために
コンピュータによって実行される方法が提供される。この方法は、衣類を装着したモデル
が登場する内容を含む複数のパノラマ動画をコンピュータのメモリに記憶させるステップ
と、仮想空間2を定義するステップと、メモリからパノラマ動画を読み出して、仮想空間
2においてパノラマ動画を展開することにより、HMD110にパノラマ動画を表示する
ステップと、HMD110のユーザ190の動作を検出するステップと、動作の検出結果
に基づいて、HMD110に表示されるパノラマ動画に含まれる衣類またはモデルに対す
るユーザ190の関心度を判別するステップと、ユーザ190の関心度の判別結果に基づ
いて、衣類の購入を受け付けるインターフェイスオブジェクトを仮想空間2に提示するス
テップとを含む。
(構成14) ある実施の形態に従うと、上記方法は、上記構成に加えて、ユーザ19
0の関心度の判別結果に基づいて、HMD110に表示されるパノラマ動画の進行を制御
するステップを含む。
(Configuration 14) According to an embodiment, the method further comprises, in addition to the above configuration, a
The step of controlling the progress of the panoramic video displayed on the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えら
れるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され
、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図され
る。
It should be understood that the embodiments disclosed herein are illustrative and non-restrictive in every respect. The scope of the present invention is indicated not by the above description but by the claims, and is intended to include all the modifications within the meaning and scope equivalent to the claims.
1 仮想カメラ、2 仮想空間、5 基準視線、10,151 プロセッサ、11,1
52 メモリ、12,154 ストレージ、13 入出力インターフェース、14 通信
インターフェース、15 バス、19 ネットワーク、20,2000 オブジェクト、
21 中心、22 仮想空間画像、23 視界領域、24,25 領域、30 グリップ
、31 フレーム、32 天面、33,34,36,37 ボタン、38 アナログステ
ィック、50 顔画像、51 口領域、52 輪郭検出線、53,54 輪郭点、55
口形状、100 システム、110 HMD、112 モニタ、114,120 センサ
、115 スピーカ、116 第1カメラ、117 第2カメラ、119 マイク、13
0 モーションセンサ、140 注視センサ、150 サーバ、153 通信インターフ
ェイス、160 コントローラ、184,1810,1840 モデルオブジェクト。
1 virtual camera, 2 virtual space, 5 reference line of sight, 10, 151 processors, 11, 1
52 memory, 12,154 storage, 13 input / output interface, 14 communication interface, 15 bus, 19 network, 20, 2000 objects,
21 center, 22 virtual space images, 23 view areas, 24, 25 areas, 30 grips, 31 frames, 32 top planes, 33, 34, 36, 37 buttons, 38 analog sticks, 50 face images, 51 mouth areas, 52 contours Detection line, 53, 54 contour point, 55
Mouth shape, 100 system, 110 HMD, 112 monitor, 114, 120 sensor, 115 speaker, 116 first camera, 117 second camera, 119 microphone, 13
0 motion sensor, 140 gaze sensor, 150 server, 153 communication interface, 160 controller, 184, 1810, 1840 model object.
Claims (16)
る方法であって、
仮想空間を定義するステップと、
一つ以上の衣類オブジェクトを装着したモデルオブジェクトを前記仮想空間に配置する
ステップと、
前記モデルオブジェクトを前記ヘッドマウントデバイスに表示するステップと、
前記ヘッドマウントデバイスのユーザによる前記一つ以上の衣類オブジェクトに対する
動作を検出するステップと、
前記動作に基づいて、前記ヘッドマウントデバイスに表示される前記一つ以上の衣類オ
ブジェクトまたは前記モデルオブジェクトに対する前記ユーザの関心度を判別するステッ
プとを含む、方法。 A computer implemented method for providing information via a head mounted device, the method comprising:
Defining a virtual space;
Placing in the virtual space a model object fitted with one or more clothing objects;
Displaying the model object on the head mounted device;
Detecting an action by the user of the head mounted device on the one or more clothing objects;
Determining the degree of interest of the user for the one or more clothing objects displayed on the head mounted device or the model object based on the operation.
るステップを含み、
前記ユーザの関心度を判別するステップは、前記ヘッドマウントデバイスのユーザの視
線がオブジェクトに注がれていることに基づいて、前記ユーザの関心度を判別することを
含む、請求項1に記載の方法。 The detecting the motion includes detecting a gaze of a user of the head mounted device.
2. The method according to claim 1, wherein the step of determining the degree of interest of the user comprises determining the degree of interest of the user based on the gaze of the user of the head mounted device being focused on an object. Method.
ステップをさらに含み、
前記表示するステップは、前記ヘッドマウントデバイスのユーザの頭部以外の身体に対
応する身体オブジェクトであって前記身体の動作の検出結果に連動して前記仮想空間にお
いて動作する身体オブジェクトを前記ヘッドマウントデバイスに表示することを含み、
前記動作を検出するステップは、前記身体オブジェクトによる前記一つ以上の衣類オブ
ジェクトを指定する操作を検出するステップを含み、
前記ユーザの関心度を判別するステップは、前記身体オブジェクトによる前記一つ以上
の衣類オブジェクトを指定する操作の検出結果に基づいて、前記ユーザの関心度を判別す
ることを含む、請求項1に記載の方法。 The method further includes detecting movement of a body other than the head of a user of the head mounted device.
The displaying step is a body object corresponding to a body other than the head of a user of the head mounted device, the head mounted device a body object operating in the virtual space in conjunction with a detection result of the movement of the body Including displaying on
The detecting the motion may include detecting an operation of designating the one or more clothing objects by the body object.
The method according to claim 1, wherein the step of determining the degree of interest of the user includes determining the degree of interest of the user based on a detection result of an operation of specifying the one or more clothing objects by the body object. the method of.
るステップを含み、
前記ユーザの関心度を判別するステップは、前記ヘッドマウントデバイスのユーザの表
情の検出結果に基づいて、前記ヘッドマウントデバイスに表示される前記一つ以上の衣類
オブジェクトまたは前記モデルオブジェクトに対する前記ユーザの関心度を判別すること
を含む、請求項1に記載の方法。 The detecting the motion includes detecting an expression of a user of the head mounted device.
The step of determining the degree of interest of the user may include the user's interest in the one or more clothing objects or the model object displayed on the head mounted device based on a detection result of the user's expression of the head mounted device. The method of claim 1, comprising determining the degree.
れる音声を検出するステップを含み、
前記ユーザの関心度を判別するステップは、前記音声が発せられていることに基づいて
、前記ヘッドマウントデバイスに表示される前記一つ以上の衣類オブジェクトまたは前記
モデルオブジェクトに対する前記ユーザの関心度を判別することを含む、請求項1に記載
の方法。 The step of detecting the action includes the step of detecting voice emitted by the user of the head mounted device.
The step of determining the degree of interest of the user determines the degree of interest of the user for the one or more clothing objects or the model object displayed on the head mounted device based on the sound being emitted. The method of claim 1, comprising:
ことに基づいて、前記一つ以上の衣類オブジェクトに関する情報を前記仮想空間に提示す
るステップをさらに含む、請求項1〜5のいずれかに記載の方法。 The method according to claim 1, further comprising: presenting information on the one or more clothing objects in the virtual space based on the action on the one or more clothing objects continuing for a predetermined time. The method according to any one of 5.
ブジェクトを提示するステップをさらに含む、請求項6に記載の方法。 The method according to claim 6, further comprising: presenting an interface object that accepts a purchase of an object for which the user's gaze is focused.
が提示されていた態様とは別の態様で再度提示するステップをさらに含む、請求項7に記
載の方法。 The method according to claim 7, further comprising the step of re-presenting an object that has not been purchased after the user's gaze was poured, in a manner different from the manner in which the object was presented.
トの各々を装着したモデルオブジェクトを前記仮想空間に配置するステップを含み、
前記方法は、各前記衣類オブジェクトに対する前記ユーザの前記関心度をそれぞれ蓄積
するステップをさらに含む、請求項1〜8のいずれかに記載の方法。 Placing the model object in the virtual space includes placing in the virtual space a model object fitted with each of a plurality of clothing objects.
The method according to any of the preceding claims, wherein the method further comprises the step of storing the degree of interest of the user for each clothing object respectively.
クトを順次前記仮想空間に配置するステップを含み、
前記方法は、各前記モデルオブジェクトに対する前記ユーザの前記関心度をそれぞれ蓄
積するステップをさらに含む、請求項1〜8のいずれかに記載の方法。 Placing the model object in the virtual space includes placing a plurality of model objects in the virtual space sequentially.
The method according to any of the preceding claims, wherein the method further comprises the step of storing the degree of interest of the user for each of the model objects respectively.
衣類オブジェクトの表示態様を変更するステップをさらに含む、請求項1〜10のいずれ
かに記載の方法。 The method according to any one of claims 1 to 10, further comprising the step of changing the display mode of the clothing object displayed on the head mount device based on the degree of interest by another user.
服の情報を決定するステップと、
前記決定された衣服の情報を含むインターフェイスオブジェクトを前記仮想空間に提示
するステップとをさらに含む、請求項1〜5のいずれかに記載の方法。 Determining information of clothes to be presented to the user among a plurality of clothes based on the determination result of the degree of interest of the user;
Presenting an interface object including the information of the determined clothes to the virtual space.
る方法であって、
衣類を装着したモデルが登場する内容を含む複数のパノラマ動画を前記コンピュータの
メモリに記憶させるステップと、
仮想空間を定義するステップと、
前記メモリから前記パノラマ動画を読み出して、前記仮想空間において前記パノラマ動
画を展開することにより、前記ヘッドマウントデバイスに前記パノラマ動画を表示するス
テップと、
前記ヘッドマウントデバイスのユーザの動作を検出するステップと、
前記動作の検出結果に基づいて、前記ヘッドマウントデバイスに表示される前記パノラ
マ動画に含まれる衣類またはモデルに対する前記ユーザの関心度を判別するステップと、
前記ユーザの関心度の判別結果に基づいて、衣類の購入を受け付けるインターフェイス
オブジェクトを前記仮想空間に提示するステップとを含む、方法。 A computer implemented method for providing information via a head mounted device, the method comprising:
Storing, in the memory of the computer, a plurality of panoramic videos including content in which a model wearing clothes appears
Defining a virtual space;
Displaying the panoramic video on the head mounted device by reading the panoramic video from the memory and expanding the panoramic video in the virtual space;
Detecting user activity of the head mounted device;
Determining the degree of interest of the user for clothing or a model included in the panoramic video displayed on the head mounted device, based on the detection result of the motion;
Presenting in the virtual space an interface object for accepting the purchase of clothes based on the determination result of the interest level of the user.
パノラマ動画の進行を制御するステップとを含む、請求項13に記載の方法。 Controlling the progression of the panoramic video displayed on the head mounted device based on the determination result of the interest level of the user.
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 A memory storing the program according to claim 15;
And a processor for executing the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006453A JP2019106192A (en) | 2019-01-17 | 2019-01-17 | Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019006453A JP2019106192A (en) | 2019-01-17 | 2019-01-17 | Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017227909A Division JP6470387B1 (en) | 2017-11-28 | 2017-11-28 | Method executed by computer to provide information via head-mounted device, program causing computer to execute the method, and information processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019106192A true JP2019106192A (en) | 2019-06-27 |
Family
ID=67061413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019006453A Pending JP2019106192A (en) | 2019-01-17 | 2019-01-17 | Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019106192A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021036424A (en) * | 2019-08-20 | 2021-03-04 | ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル | System and method for interaction-level-based telemetry and tracking within digital reality |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033536A (en) * | 2015-07-29 | 2017-02-09 | イマージョン コーポレーションImmersion Corporation | Crowd-based haptics |
WO2017127571A1 (en) * | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
JP6470387B1 (en) * | 2017-11-28 | 2019-02-13 | 株式会社コロプラ | Method executed by computer to provide information via head-mounted device, program causing computer to execute the method, and information processing apparatus |
-
2019
- 2019-01-17 JP JP2019006453A patent/JP2019106192A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033536A (en) * | 2015-07-29 | 2017-02-09 | イマージョン コーポレーションImmersion Corporation | Crowd-based haptics |
WO2017127571A1 (en) * | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
JP6470387B1 (en) * | 2017-11-28 | 2019-02-13 | 株式会社コロプラ | Method executed by computer to provide information via head-mounted device, program causing computer to execute the method, and information processing apparatus |
Non-Patent Citations (2)
Title |
---|
HOMECAMP INC ホームキャンプ: "kabukiペディア VR shopping", YOUTUBE[ONLINE][VIDEO], JPN7021003401, 28 July 2016 (2016-07-28), ISSN: 0004582620 * |
藤井涼 (CNET JAPAN編集部): "VRヘッドセットで会話しながらショッピング--KABUKIが新たな買い物提案", [ONLINE], JPN7021003402, 27 July 2016 (2016-07-27), ISSN: 0004582619 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021036424A (en) * | 2019-08-20 | 2021-03-04 | ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル | System and method for interaction-level-based telemetry and tracking within digital reality |
JP7054545B2 (en) | 2019-08-20 | 2022-04-14 | ザ カラニー ホールディング エスエーアールエル | Systems and methods for telemetry and tracking based on interaction levels within digital reality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6244593B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6276882B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
US10341612B2 (en) | Method for providing virtual space, and system for executing the method | |
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
US10545339B2 (en) | Information processing method and information processing system | |
JP6298561B1 (en) | Program executed by computer capable of communicating with head mounted device, information processing apparatus for executing the program, and method executed by computer capable of communicating with head mounted device | |
JP6263252B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
US11074737B2 (en) | Information processing apparatus and method | |
JP6392911B2 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
US20190005732A1 (en) | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program | |
JP7394158B2 (en) | Program and method executed on a computer and information processing apparatus for providing a virtual space via a head-mounted device | |
JP6321263B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6947661B2 (en) | A program executed by a computer capable of communicating with the head mount device, an information processing device for executing the program, and a method executed by a computer capable of communicating with the head mount device. | |
JP6470387B1 (en) | Method executed by computer to provide information via head-mounted device, program causing computer to execute the method, and information processing apparatus | |
JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
JP2019032844A (en) | Information processing method, device, and program for causing computer to execute the method | |
JP2018124981A (en) | Information processing method, information processing device and program causing computer to execute information processing method | |
JP2019106192A (en) | Method executed by computer to provide information via head mount device, program causing the computer to execute the method, and information processing device | |
JP2018192238A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP2018190196A (en) | Information processing method, information processing device, program causing computer to execute information processing method | |
JP6826082B2 (en) | Programs, information processing equipment, and methods | |
JP2021101358A (en) | Method for providing virtual space, program for executing method in computer, information processing unit for executing program | |
JP6856572B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
CN114025854A (en) | Program, method, and terminal device | |
JP2019192175A (en) | Program, information processing device, and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220308 |