JP2019192026A - 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置 - Google Patents

情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置 Download PDF

Info

Publication number
JP2019192026A
JP2019192026A JP2018085581A JP2018085581A JP2019192026A JP 2019192026 A JP2019192026 A JP 2019192026A JP 2018085581 A JP2018085581 A JP 2018085581A JP 2018085581 A JP2018085581 A JP 2018085581A JP 2019192026 A JP2019192026 A JP 2019192026A
Authority
JP
Japan
Prior art keywords
user
content
viewpoint position
moved
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018085581A
Other languages
English (en)
Inventor
秀行 増井
Hideyuki Masui
秀行 増井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2018085581A priority Critical patent/JP2019192026A/ja
Publication of JP2019192026A publication Critical patent/JP2019192026A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザに対し能動的に情報を提示することができる情報処理装置等を提供する。【解決手段】情報処理装置2は、想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶する記憶部と、前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付ける入力部と、前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示する表示部と、前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定する判定部と、前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する位置変更部とを備えることを特徴とする。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置に関する。
コンピュータ上に構築した仮想的な世界を表示するVR(Virtual Reality)表示技術がある。例えば特許文献1では、複数の店舗が並ぶショッピングモールを模擬した仮想空間の画像を表示する表示装置であって、ユーザからの操作入力に従って視点を移動し、当該視点に応じて各店舗を表示して、店頭に陳列されている商品の画像、商品情報などを表示する仮想空間表示装置等が開示されている。
特開2012−234355号公報
しかしながら、特許文献1に係る発明は仮想空間内でのユーザの視点位置に応じて情報を提示するのみで、ユーザに対し能動的に情報を提示するに至っていない。
一つの側面では、ユーザに対し能動的に情報を提示することができる情報処理装置等を提供することを目的とする。
一つの側面では、情報処理装置は、仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶する記憶部と、前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付ける入力部と、前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示する表示部と、前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定する判定部と、前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する位置変更部とを備えることを特徴とする。
一つの側面では、ユーザに対し能動的に情報を提示することができる。
VR表示システムの構成例を示す模式図である。 サーバ及び端末の構成例を示すブロック図である。 ユーザDB及び商品DBのレコードレイアウトの一例を示す説明図である。 VRコンテンツの表示例を示す説明図である。 入店時のキャラクタの接近動作を説明するための説明図である。 商品案内を説明するための説明図である。 VR表示システムが実行する処理手順の一例を示すフローチャートである。 実施の形態2に係るVRコンテンツの表示例を示す説明図である。 実施の形態2に係る入店時のキャラクタの接近動作を説明するための説明図である。 実施の形態2に係るVR表示システムが実行する処理手順の一例を示すフローチャートである。 上述した形態のサーバ及び端末の動作を示す機能ブロック図である。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、VR表示システムの構成例を示す模式図である。本実施の形態では、仮想空間に複数の仮想店舗が配置されたVRコンテンツを表示するシステムであって、各店舗で所定のキャラクタ(図4等参照)が案内を行うVR表示システムについて説明する。VR表示システムは、コンテンツ配信装置1、情報処理装置2、HMD(Head Mounted Display)3、コントローラ4、及びヘッドホン5を有する。サーバ1及び情報処理装置2は、インターネット等のネットワークNを介して通信接続されている。
コンテンツ配信装置1は、本システムでユーザに提供するVRコンテンツを管理する管理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態でコンテンツ配信装置1はサーバ装置であるものとし、以下の説明では簡潔のためサーバ1と読み替える。サーバ1は、複数の仮想店舗(空間コンテンツ)を配置した仮想空間において、ユーザが商品の閲覧、購入等を行うことが可能なオンラインショッピングサービスを提供する。具体的には後述するように、本システムでは複数の仮想店舗それぞれに、店員を模したキャラクタオブジェクトが配置されており、仮想空間内でユーザが店舗に入店した場合、当該キャラクタがユーザに対して店舗内や商品の案内を行う。サーバ1は、当該仮想空間を構築するために必要な種々のコンテンツデータを記憶し、情報処理装置2に配信する。
情報処理装置2は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の端末装置である。本実施の形態で情報処理装置2はパーソナルコンピュータであるものとし、以下の説明では端末2と読み替える。端末2は、サーバ1からコンテンツの配信を受け、仮想空間に係る画像の表示制御、音声の入出力制御等を行う。
HMD3は、ユーザが頭部に装着するウェアラブルデバイスであり、ユーザに仮想空間を体験させるためのVR画像を表示するディスプレイ装置である。HMD3は端末2と同期し、端末2からの画像制御に従ってVR画像を表示する。
コントローラ4は、ユーザが仮想空間内での動作を制御するためのデバイスであり、HMD3と同様に、端末2と同期している。コントローラ4はユーザからの操作入力を受け付け、端末2に操作内容を送信する。端末2は当該操作内容に従い、HMD3に表示させるVR画像を制御する。
ヘッドホン5は、音声を再生するための音声出力デバイスであり、HMD3、コントローラ4と同様に端末2と同期している。ヘッドホン5は、端末2からの音声出力制御に従い、VR画像の表示内容に則した音声を出力する。
図2は、サーバ1及び端末2の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムを読み出して実行することにより、サーバ1に係る種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための処理回路等を含み、端末2等と情報の送受信を行う。
補助記憶部14は大容量メモリ、ハードディスク等であり、制御部11が処理を実行するために必要なプログラム、その他のデータを記憶している。また、補助記憶部14は、ユーザDB141、商品DB142、仮想空間データ143、オブジェクトデータ144、及び対話データ145を記憶している。ユーザDB141は、本システムを利用する各ユーザの情報を格納するデータベースである。商品DB142は、仮想空間内の各店舗でユーザが購入可能な商品の情報を格納するデータベースである。仮想空間データ143及びオブジェクトデータ144は、本システムで構築される仮想空間と、当該仮想空間に配置される各種オブジェクトのデータである。対話データ145は、サーバ1を対話エンジンとして機能させるために必要なデータである。後述するように、サーバ1は対話エンジンとして機能し、仮想空間内の各店舗に配置される店員キャラクタにユーザとの対話を行わせる。
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
また、本実施の形態においてサーバ1は上記の構成に限られず、例えば可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。
端末2は、制御部21、主記憶部22、通信部23、補助記憶部24、表示部25、入力部26を備える。
制御部21は、一又は複数のCPU、MPU等の演算処理装置を有し、補助記憶部24に記憶されたプログラムを読み出して実行することにより、端末2に係る種々の情報処理、制御処理等を行う。主記憶部22は、RAM等の一時記憶領域であり、制御部21が演算処理を実行するために必要なデータを一時的に記憶する。通信部23は、通信を行うためのアンテナ、処理回路等を含み、サーバ1、HMD3等と情報の送受信を行う。補助記憶部24は、ROM(Read Only Memory)等の不揮発性メモリであり、制御部21が処理を実行するために必要なプログラム、その他のデータを記憶している。表示部25は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の表示装置であり、制御部21から与えられた画像を表示する。入力部26は、例えばメカニカルキー等の入力インターフェイスであり、ユーザからの操作入力を受け付ける。
図3は、ユーザDB141及び商品DB142のレコードレイアウトの一例を示す説明図である。ユーザDB141は、ユーザID列、氏名列、入店履歴列、購入履歴列を含む。ユーザID列は、各ユーザを識別するための識別情報を記憶している。氏名列は、ユーザIDと対応付けて、ユーザの氏名を記憶している。入店履歴列は、ユーザIDと対応付けて、仮想空間内の各店舗へのユーザの入店履歴を記憶している。購入履歴列は、ユーザIDと対応付けて、ユーザによる商品の購入履歴を記憶している。
商品DB142は、商品ID列、商品名列、商品情報列、店舗列を含む。商品ID列は、各商品を識別するための識別情報を記憶している。商品名列は、商品IDと対応付けて、商品名を記憶している。商品情報列は、商品IDと対応付けて、各商品の詳細な情報を記憶している。後述するように、本システムでは、仮想空間内の各店舗で店員を模したキャラクタが商品情報をユーザに案内する。店舗列は、商品IDと対応付けて、仮想空間内で該当商品を提供する店舗の情報を記憶している。
図4は、VRコンテンツの表示例を示す説明図である。図4では、仮想空間内でのユーザの現在位置である視点位置と、ユーザの視線方向とに応じて表示されるVR画像とを概念的に図示してある。以下で、本実施の形態の概要について説明する。
図4の上側に、本システムの仮想空間の俯瞰図を示す。本システムでユーザに提示されるVRコンテンツは、ショッピングモールのように複数の店舗が並ぶ空間であり、仮想空間上の複数の領域それぞれに、店舗を模したオブジェクトは配置されている。図4に示す例では、店舗A〜Cの3店舗が配置されている。
例えばサーバ1は、端末2からログインを受け付け、端末2からの要求に応じて、VRコンテンツに係る画像を生成するために必要な種々のコンテンツデータを配信する。端末2は当該コンテンツの情報に基づき、図4下側に示すVR画像をHMD3に表示させる。
例えば端末2は、まず所定の開始地点をユーザの視点位置として、当該位置から仮想空間を見た場合のVR画像をHMD3に表示する。図4上側に、ユーザの視点位置を黒丸で示す。図4の場合、例えばHMD3は、店舗A〜Cを画像領域に含むVR画像を表示する。
なお、上記の表示手法は一例であり、本実施の形態はこれに限定されるものではない。例えば端末2は、前回ユーザがログアウトした際の最終の視点位置を新たな開始地点としてVR画像を表示させるようにしてもよい。すなわち端末2は、ユーザの視点位置に係る情報を取得し、当該視点位置に応じたVR画像を表示可能であればよい。
例えば端末2は、ユーザが操作するコントローラ4から、ユーザの視点位置を移動させる移動入力を受け付ける。また、端末2は、例えばHMD3に内蔵されているジャイロセンサ(不図示)の検知結果等を参照するなどして、ユーザの視線方向を判定する。端末2は、コントローラ4からの移動入力に従ってユーザの視点位置を移動させる。そして端末2は、移動後の視点位置と、視線方向とに基づいて表示領域を特定し、VRコンテンツ内の所定範囲の画像をHMD3に表示させる。上記の処理によって、ユーザは仮想空間内を探索する。
図5は、入店時のキャラクタの接近動作を説明するための説明図である。図5では、仮想空間においてユーザが店舗に入店する様子と、店舗入店時のVR画像の表示例を示している。
上述の如く、端末2はユーザによる移動入力に基づいてユーザの視点位置を移動させる。そして端末2は、ユーザの視点位置が、仮想空間内の各店舗の領域外から領域内に移動したか否かを判定する。例えば端末2は、各店舗の入口に相当する位置座標に移動したか否かを判定する。図5の上側に、ユーザの視点位置が店舗Aの入口に移動する様子を図示してある。端末2は、ユーザの視点位置が各店舗A〜Cの入口に相当する位置座標に移動したか否かを継続的に判定する。
図5の下側に、店舗入口に移動して店舗内を見た場合のVR画像の表示例を図示してある。ユーザの視点位置が店舗入口に移動した場合、端末2は、商品に相当するオブジェクトを所定位置に配置した店舗内のVR画像をHMD3に表示させる。図5の例では、商品に相当するオブジェクトとして、車両が配置されたVR画像を図示してある。なお、店舗内に配置される商品は車両に限定されない。また、店舗内に配置される商品は1つに限定されないことは勿論である。
本実施の形態で端末2は、商品以外に、所定のキャラクタのオブジェクトを店舗内に表示する。当該キャラクタは、店舗の店員に相当するキャラクタであり、予め構築済みの対話エンジンを利用して、入店客であるユーザとの間で対話を行うキャラクタである。対話機能に必要なデータは、サーバ1に予めセットされており、サーバ1はキャラクタを介してユーザと対話を行う対話エンジンとして機能する。端末2はサーバ1と通信を行い、ユーザとキャラクタとの間の対話に係る画像表示や音声の出力を行う。
本実施の形態では、各店舗に対応して、各店舗の領域内に位置する仮想空間上の座標にキャラクタが配置されている。なお、一店舗に一のキャラクタのみではなく、複数のキャラクタ(店員)を配置してよい。ユーザは仮想空間内の店舗で商品を購入可能なだけでなく、店員に相当するキャラクタとの間で対話を行い、店舗内や商品の案内を受けながらショッピングを行うことができる。
ここで端末2は、ユーザの視点が店舗入口に移動したと判定した場合、当該キャラクタの位置座標(座標値)を、ユーザの視点位置に応じて経時的に変更する。具体的には、端末2は、当該キャラクタがユーザの視点位置に接近するように座標値を変更する。例えば図5下側に示すように、ユーザの入店前には、キャラクタは店舗奥の所定位置に配置されている。そしてユーザの視点位置が店舗内に入った場合、端末2は、店舗奥のキャラクタをユーザの視点位置へと接近させる。これにより、端末2は、店舗奥のキャラクタがユーザへと駆け寄ってくるVR画像をHMD3に表示する。つまり、店員であるキャラクタがユーザを出迎える。
キャラクタがユーザの視点位置に接近後、端末2は、キャラクタがユーザを案内するようにVR画像の表示制御、及び音声出力を行う。例えば端末2は、挨拶のような定型の画像及び音声を出力すると共に、図5でキャラクタの横に示されているように、所定のメニューをキャラクタの近傍に表示する。当該メニューは、キャラクタが案内可能な情報の選択肢である。端末2は、コントローラ4からメニューの指定入力を受け付け、指定されたメニューの情報の案内画像及び音声を出力する。図5に示す例では、例えば端末2は、メニューへの操作入力に応じて、店舗のアウトライン(品揃え)、ユーザが希望する商品の配置場所(陳列場所)等を案内する画像、音声を出力する。
なお、上記ではコントローラ4に基づく操作入力に従ってユーザとキャラクタとの間の対話を行っているが、ユーザから音声入力を受け付け、入力された音声に基づいて対話を行ってもよいことは勿論である。
図6は、商品案内を説明するための説明図である。図6では、キャラクタが個別の商品を案内する様子を図示してある。
上述の如く、本実施の形態では店舗内のキャラクタがユーザに対する案内を行う。例えば端末2は、店舗内の所定位置に配置された商品(オブジェクト)から所定範囲内にユーザの視点位置が移動した場合、つまりユーザが商品に近づいた場合、個別の商品の情報を、キャラクタを介してユーザに案内する。
例えば端末2は、ユーザの視点の位置座標が商品から所定範囲内の位置座標である場合、サーバ1から当該商品の情報を取得する。そして端末2は、取得した商品情報に基づき、キャラクタが当該商品を案内するVR画像及び音声をそれぞれHMD3及びヘッドホン5に出力する。例えば商品が車両である場合、端末2は、VR画像には車両の特長を説明するポップアップ画面をキャラクタ横に表示すると共に、当該特長を説明するキャラクタの案内音声をヘッドホン5に出力する。
商品を気に入った場合、ユーザは、例えばコントローラ4を操作して購入する商品を指定し、商品の購入を申し込む。これにより端末2は、商品の購入申込を受け付ける。端末2は、商品の購入申込情報をサーバ1に送信し、購入代金の決済を行う。これにより、ユーザは仮想空間を利用したショッピングを行うことができる。
このように、ユーザはVRコンテンツ内の各店舗で、店員に相当するキャラクタから案内を受けながら商品を購入することができる。ここで端末2は、既にユーザが入店したことがある店舗に再度ユーザが入店した場合、図5で図示した入店時のキャラクタの接近動作を行わない。例えば端末2は、ユーザの視点が店舗内に移動したと判定した場合、サーバ1と通信を行ってユーザの入店履歴を参照し、再入店であるか否かを判定する。再入店であると判定した場合、端末2はキャラクタを接近させず、店舗奥に配置したままとする。これにより、ユーザは同じ説明(案内)を店舗入口で受けることなく、スムーズに店舗内でのショッピングを行うことができる。
以上より、本システムでは仮想空間内での商品購入を行うに際して、店員に相当するキャラクタとの対話によって種々の案内を受けることができる。これにより、実際の店舗と同じような接客を受けることができる。
図7は、VR表示システムが実行する処理手順の一例を示すフローチャートである。図7に基づき、本システムが実行する処理内容について説明する。
端末2の制御部21はサーバ1から仮想空間に係るコンテンツデータの配信を受け、仮想店舗(空間コンテンツ)を仮想空間上の複数の領域夫々に配置したVRコンテンツに係る画像をHMD3に表示する(ステップS11)。制御部21は、仮想空間内におけるユーザの視点位置及び視線方向を移動させる移動入力をコントローラ4から受け付ける(ステップS12)。制御部21は当該移動入力に従って視点位置及び視線方向を移動させ、その視点位置及び視線方向に応じたVR画像をHMD3に表示する。
制御部21は、ユーザの視点位置がいずれかの店舗の入口に相当する位置に移動したか否かを判定する(ステップS13)。すなわち制御部21は、ユーザの視点位置が店舗の領域外から領域内に移動したか否かを判定する。店舗の入口に相当する位置に移動していないと判定した場合(S13:NO)、制御部21は処理をステップS12に戻す。
店舗の入口に相当する位置に移動したと判定した場合(S13:YES)、制御部21は、当該店舗の入口に相当する位置に移動したことがあるか否か、すなわち再入店であるか否かを判定する(ステップS14)。例えば制御部21は、サーバ1と通信を行い、ユーザの入店履歴に基づいて再入店か否かを判定する。再入店であると判定した場合(S14:YES)、制御部21は処理をステップS17に移行する。再入店でないと判定した場合(S14:NO)、制御部21は、店舗内に配置された、店員に相当するキャラクタ(オブジェクト)がユーザの視点位置に接近するようキャラクタの座標値を経時的に変更し、キャラクタがユーザへと駆け寄ってくるVR画像を表示する(ステップS15)。
キャラクタをユーザの視点位置に接近させた後、制御部21は、ユーザが入店した店舗に関する情報の配信をサーバ1から受け、キャラクタを介して当該情報をユーザに案内する画像及び音声を出力する(ステップS16)。例えば制御部21は、上述の如く、挨拶のような定型の画像及び音声を再生した後、キャラクタの横に表示されるメニューを指定する指定入力を受け付け、指定されたメニューの情報を案内する画像及び音声をHMD3及びヘッドホン5に出力する。
制御部21は、店舗内でユーザの視点位置を移動させる移動入力を受け付ける(ステップS17)。制御部21は、当該移動入力によりユーザが店舗から離れたか否かを判定する(ステップS18)。店舗から離れたと判定した場合(S18:YES)、制御部21は処理をステップS12に戻す。
店舗から離れていないと判定した場合(S18:NO)、制御部21は、店舗内の所定位置に配置された商品(オブジェクト)から所定範囲内にユーザの視点位置が移動したか否か、つまりユーザが商品に接近したか否かを判定する(ステップS19)。商品に接近していないと判定した場合(S19:NO)、制御部21は処理をステップS17に戻す。商品に接近したと判定した場合(S19:YES)、制御部21は、キャラクタが当該商品の情報を案内する画像及び音声を出力する(ステップS20)。例えば制御部21は、上述の如く、ユーザによる操作入力に従ってサーバ1から取得した商品情報を画像及び音声で出力する。制御部21はさらに、ユーザの操作入力に従って商品の購入申込を受け付け(ステップS21)、処理をステップS17に戻す。
なお、上記ではショッピングを行う場合を一例に説明を行ったが、本実施の形態はこれに限定されるものではない。例えば上述の店舗に相当するVRコンテンツ内の空間コンテンツを美術館とし、商品に相当するオブジェクトを美術品としてもよい。このように、本システムではユーザの視点位置の移動に合わせて所定のオブジェクト(キャラクタ)による案内を行うことができればよく、そのコンテンツの内容は特に限定されない。
また、上記ではHMD3を用いてVR画像の表示を行ったが、本実施の形態はこれに限定されるものではなく、例えばパーソナルコンピュータ等である端末2の表示部25に仮想空間に係る画像を表示させてもよい。また、例えば端末2をスマートフォンとして、スマートフォンを所定のゴーグルに装着して当該スマートフォンがVR画像を表示するようにしてもよい。
また、上記ではサーバ1から端末2へVRコンテンツのデータを配信し、端末2においてVR画像の画像処理を行ったが、サーバ1において画像処理も含む一連の処理を行い、端末2(あるいはHMD3)側では画像表示のみを行うものとしてもよい。すなわち、サーバ1が端末2からユーザの視点位置及び視線方向に関する情報を取得し、当該視点位置及び視線方向に応じてVRコンテンツ内の表示領域を特定し、当該表示領域に対応するVR画像を生成してHMD3(表示装置)に配信する。そしてサーバ1は、ユーザの視点位置が店舗内に移動したか否かを判定し、ユーザの視点位置が店舗内に移動したと判定した場合、キャラクタの位置座標を変更する。当該構成であっても、上記と同様の効果を奏する。
また、上記では再入店時にキャラクタを接近させないものとしたが、本実施の形態はこれに限定されるものではない。例えば端末2は、再入店か否かに応じて、キャラクタに別々の案内を行わせるようにしてもよい。例えば端末2は、初入店時には初回入店者用の案内を行い、再入店時には、ユーザの過去の商品の閲覧履歴や購入履歴に応じて推奨商品を店舗入口で案内する。このように、端末2は、再入店か否かの判定結果に応じてVR画像の表示制御が可能であればよく、その内容はキャラクタの接近の有無に限定されない。
また、上記では端末2がVR画像の生成、表示制御を行うものとして説明したが、当該処理をサーバ1が行ってもよい。すなわち、VRコンテンツの表示制御を行う処理主体はクラウド上のサーバ装置であってもよく、ローカル端末であってもよい。このように、情報処理装置2として機能するハードウェア上の処理主体は特に限定されない。
以上より、本実施の形態1によれば、VRコンテンツ内の仮想店舗(空間コンテンツ)にユーザの視点位置が移動した場合、当該店舗内に配置された店員キャラクタ(オブジェクト)がユーザの視点に接近し、店舗の案内を行う。これにより、ユーザに対して能動的に情報を提示することができ、VRを用いたオンラインショッピングを好適に行うことができる。
また、本実施の形態1によれば、再入店時にはキャラクタの接近動作を行わせないことで、ユーザは同じ案内を受けることなく、快適にショッピングを行うことができる。
また、本実施の形態1によれば、ユーザの視点位置が商品に近づいた場合に、個別の商品の案内を行うことで、ユーザは余計な操作入力(商品を指定する操作)を行うことなく、より好適にショッピングを行うことができる。
(実施の形態2)
本実施の形態では、複数のユーザが仮想空間を共有する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図8は、実施の形態2に係るVRコンテンツの表示例を示す説明図である。図8では、仮想空間における2名のユーザa、bの視点位置を示す俯瞰図と、ユーザaのHMD3に表示される、他のユーザbに相当するアバター(第2のオブジェクト)を表示したVR画像とを図示している。
本実施の形態では、上述の仮想空間を複数のユーザが共有し、各々のユーザがショッピングを行う。サーバ1は、各ユーザの端末2から各々の視点位置に係る情報を取得し、他のユーザの端末2に視点位置の情報を送信する。各ユーザの端末2は、サーバ1から他のユーザの視点位置の情報と、当該他のユーザの識別情報(ユーザID)とを取得する。
端末2は、他のユーザの視点位置に相当する位置座標に、当該他のユーザに対応するオブジェクトを表示する。当該オブジェクトは、他のユーザを表すアバターである。各ユーザは、自身のアバターをサーバ1に登録してある。サーバ1は、各ユーザの識別情報と対応付けて、各ユーザのアバターの画像データをユーザDB141に記憶している。
図8の下側に示すVR画像では、ユーザaのHMD3に表示されるVR画像を図示している。ユーザaの視点位置及び視線方向に応じて、ユーザaの視点から視認可能な範囲内にユーザbの視点が位置する場合、図8に示すように、ユーザaのHMD3はユーザbのアバターを表示する。
例えば端末2は、本システムの一つの機能としてチャット機能を備え、他のユーザとアバターを介して対話を行う。例えばユーザaの端末2は、不図示のマイクからユーザaによる音声入力を受け付け、サーバ1を介してユーザbの端末2へ音声を送信する。同様に、端末2はユーザbの端末2から音声を受信し、ユーザbにより入力された音声を再生する。このように、ユーザa、bはVRコンテンツを共有し、行動を共にしてショッピングを行うことができる。
図9は、実施の形態2に係る入店時のキャラクタの接近動作を説明するための説明図である。図9では、ユーザa、bが店舗Aに入店する場合に、先に入店したユーザbに対してキャラクタが接近する様子を図示している。
実施の形態1と同様に、ユーザの視点が店舗入口に移動した場合、店員であるキャラクタが接近して案内を行う。この場合に、各ユーザの端末2は別々に表示制御を行ってキャラクタを表示する(つまり、ユーザaには自身にキャラクタが接近し、ユーザbには自身にキャラクタが接近するように見える)ようにしてもよいが、本実施の形態では、店舗内のキャラクタも共通して表示する。
この場合に、本実施の形態では、視点位置が先に店舗入口に移動(到達)し、先に入店したユーザに対して優先的に案内を行う。例えば図9に示すように、ユーザbの視点位置が先に店舗Aの領域内に移動した場合、ユーザbに対してキャラクタが接近し、ユーザbに正対する形で案内を開始する。一方で、ユーザbよりも後に入店したユーザaにはキャラクタが接近せず、例えばユーザbへの案内が終了するまでユーザaに対する案内は行われない。
この場合にユーザaの端末2は、ユーザbの現在の視点位置と、キャラクタの現在位置とをサーバ1から取得し、各位置にユーザbのアバターと、キャラクタとを表示する。これによりユーザaのHMD3には、図9に示すように、ユーザb及びキャラクタが対話している様子が表示される。
なお、入店時における上述の処理は一例であって、本実施の形態はこれに限定されるものではない。例えば複数のユーザの視点が所定時間内(例えば5秒以内)に店舗入口に到達した場合、サーバ1は当該複数のユーザを集団客と識別し、当該複数のユーザそれぞれに対して一のキャラクタが共通して案内を行うよう各端末2を制御してもよい。また、例えばサーバ1は、友人として登録されている各ユーザの識別情報を紐付けて管理しておくことで、集団客か否かを判定するようにしてもよい。このように、キャラクタが各ユーザに順番に案内を行うのではなく、同時に案内を行ってもよい。
図10は、実施の形態2に係るVR表示システムが実行する処理手順の一例を示すフローチャートである。図10に基づき、本実施の形態におけるVR表示システムの処理内容について説明する。
ステップS11の処理を実行後、端末2の制御部21は以下の処理を実行する。制御部21は、サーバ1を介して、仮想空間における他のユーザの視点の位置と、当該他のユーザの識別情報とを取得する(ステップS201)。制御部21は、当該他のユーザに対応するアバター(第2のオブジェクト)を、仮想空間における当該他のユーザの視点位置に表示する(ステップS202)。制御部21は、処理をステップS12に移行する。
ステップS14でNOの場合、制御部21は、ユーザの視点位置が他のユーザの視点位置よりも先に店舗入口に移動したか否かを判定する(ステップS203)。先に移動したと判定した場合(S203:YES)、制御部21は、ユーザの視点位置にキャラクタが接近するVR画像を表示し(ステップS15)、キャラクタによる案内を出力する(ステップS16)。一方で、先に移動していないと判定した場合(S203:NO)、制御部21はステップS15、16の処理をスキップし、ステップS17に移行する。この場合、図9に示したように、制御部21は他のユーザのアバターにキャラクタが接近し、当該アバターに対してキャラクタが案内を行う様子がHMD3に表示されることになる。
以上より、本実施の形態2によれば、他のユーザと仮想空間を共有することができる。
また、本実施の形態2によれば、各ユーザの入店の前後関係に基づいてキャラクタの接近動作を行わせることで、キャラクタを共有した仮想空間(仮想店舗)を適切に表現することができる。
(実施の形態3)
図11は、上述した形態のサーバ1及び端末2の動作を示す機能ブロック図である。制御部11が補助記憶部14に記憶されているプログラムを実行することにより、サーバ1は以下のように動作する。第1配信部111は、仮想空間上の複数の領域夫々に空間コンテンツを有するコンテンツを、該コンテンツを表示するユーザの端末装置に配信する。取得部112は、前記コンテンツ内において前記ユーザによる移動入力に従って移動される前記ユーザの視点位置を取得する。第2配信部113は、前記空間コンテンツの領域外から領域内に前記ユーザの視点位置が移動した場合、前記空間コンテンツに対応するオブジェクトを介して前記ユーザに提示する前記空間コンテンツの案内を配信する。
また、制御部21が補助記憶部24に記憶されているプログラムを実行することにより、端末2は以下のように動作する。記憶部114は、仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶する。入力部115は、前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付ける。表示部116は、前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示する。判定部117は、前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定する。位置変更部118は、前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する。
本実施の形態3は以上の如きであり、その他は実施の形態1及び2と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 サーバ(コンテンツ配信装置)
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
2 端末(情報処理装置)
21 制御部
22 主記憶部
23 通信部
24 補助記憶部
25 表示部
26 入力部
3 HMD
4 コントローラ

Claims (12)

  1. 仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶する記憶部と、
    前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付ける入力部と、
    前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示する表示部と、
    前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定する判定部と、
    前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する位置変更部と
    を備えることを特徴とする情報処理装置。
  2. 前記判定部は、同じ前記空間コンテンツの領域内に前記ユーザの視点位置が再度移動したか否かを判定し、
    前記位置変更部は、判定結果に応じて前記オブジェクトの座標値を変更する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記オブジェクトの座標値の変更後、該オブジェクトを介して前記空間コンテンツの案内を出力する出力部を備える
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記空間コンテンツは、前記仮想空間上の複数の領域夫々に配置された仮想店舗であり、
    前記判定部は、前記仮想店舗の入口に前記ユーザの視点位置が移動したか否かを判定し、
    前記仮想店舗の入口に移動したと判定した場合、前記位置変更部は、店員に相当する前記オブジェクトが前記ユーザの視点位置に接近するように座標値を変更する
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 前記判定部は、前記仮想店舗内の所定位置に配置された商品から所定範囲内に前記ユーザの視点位置が移動したか否かを判定し、
    前記所定範囲内に移動したと判定した場合、前記出力部は、前記オブジェクトを介して前記商品の案内を出力する
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記コンテンツ内における他のユーザの視点位置を取得する取得部を備え、
    前記表示部は、前記ユーザ及び他のユーザの視点位置に応じて、前記他のユーザに対応する第2のオブジェクトを表示する
    ことを特徴とする請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記判定部は、前記ユーザ及び他のユーザの視点位置が前記空間コンテンツの領域内に移動したか否かを判定し、
    前記空間コンテンツの領域内に移動したと判定した場合、前記表示部は、前記ユーザ及び他のユーザに対して共通の前記オブジェクトを表示する
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記判定部は、前記ユーザの視点位置が前記他のユーザの視点位置よりも先に前記空間コンテンツの領域内に移動したか否かを判定し、
    前記ユーザの視点位置が先に移動したと判定した場合、前記位置変更部は、前記ユーザの視点位置に対して前記オブジェクトが接近するように座標値を変更する
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶部に記憶し、
    前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付け、
    前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示部に表示し、
    前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定し、
    前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する
    処理をコンピュータに実行させることを特徴とする情報処理方法。
  10. 仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶部に記憶し、
    前記コンテンツ内のユーザの視点位置の移動入力と、前記ユーザの視線方向の入力とを受け付け、
    前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の所定範囲を表示部に表示し、
    前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定し、
    前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する
    処理をコンピュータに実行させることを特徴とするプログラム。
  11. 表示装置と、通信網を介して前記表示装置に接続されたコンテンツ配信装置とを有するコンテンツ表示システムであって、
    前記コンテンツ配信装置は、
    仮想空間上の所定領域に区切られた空間コンテンツと、前記空間コンテンツ内の座標位置に配置されたオブジェクトとを有するコンテンツを記憶する記憶部と、
    前記コンテンツ内のユーザの視点位置及び視線方向を取得する取得部と、
    前記ユーザの視点位置及び視線方向に応じて、前記コンテンツ内の表示領域を特定して前記表示装置にコンテンツ画像を配信する配信部と、
    前記ユーザの視点位置が前記空間コンテンツの領域外から領域内に移動したか否かを判定する判定部と、
    前記領域内に移動したと判定した場合、前記オブジェクトの座標値を前記ユーザの視点位置に応じて経時的に変更する位置変更部と
    を備えることを特徴とするコンテンツ表示システム。
  12. 仮想空間上の複数の領域夫々に空間コンテンツを有するコンテンツを、該コンテンツを表示するユーザの端末装置に配信する第1配信部と、
    前記コンテンツ内において前記ユーザによる移動入力に従って移動される前記ユーザの視点位置を取得する取得部と、
    前記空間コンテンツの領域外から領域内に前記ユーザの視点位置が移動した場合、前記空間コンテンツに対応するオブジェクトを介して前記ユーザに提示する前記空間コンテンツの案内を配信する第2配信部と
    を備えることを特徴とするコンテンツ配信装置。
JP2018085581A 2018-04-26 2018-04-26 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置 Pending JP2019192026A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018085581A JP2019192026A (ja) 2018-04-26 2018-04-26 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018085581A JP2019192026A (ja) 2018-04-26 2018-04-26 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置

Publications (1)

Publication Number Publication Date
JP2019192026A true JP2019192026A (ja) 2019-10-31

Family

ID=68390351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085581A Pending JP2019192026A (ja) 2018-04-26 2018-04-26 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置

Country Status (1)

Country Link
JP (1) JP2019192026A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177609A (ja) * 2019-04-19 2020-10-29 株式会社ドワンゴ オンライン販売システム、オンライン販売方法、コンピュータプログラム
JP6842582B1 (ja) * 2020-03-31 2021-03-17 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2022048945A (ja) * 2020-09-15 2022-03-28 ヒョスン・ティーエヌエス・インコーポレーテッド デジタルデスク及びこれを用いた映像制御方法
WO2022158572A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2022158576A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2024004357A1 (ja) * 2022-07-01 2024-01-04 株式会社Nttドコモ レコメンデーション表示制御装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177609A (ja) * 2019-04-19 2020-10-29 株式会社ドワンゴ オンライン販売システム、オンライン販売方法、コンピュータプログラム
JP6842582B1 (ja) * 2020-03-31 2021-03-17 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2021163288A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2021163470A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7465228B2 (ja) 2020-03-31 2024-04-10 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7124046B2 (ja) 2020-09-15 2022-08-23 ヒョスン・ティーエヌエス・インコーポレーテッド デジタルデスク及びこれを用いた映像制御方法
US11647154B2 (en) 2020-09-15 2023-05-09 Hyosung TNS Inc. Digital desk and image control method using same
JP2022048945A (ja) * 2020-09-15 2022-03-28 ヒョスン・ティーエヌエス・インコーポレーテッド デジタルデスク及びこれを用いた映像制御方法
WO2022158576A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022113022A (ja) * 2021-01-22 2022-08-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022113062A (ja) * 2021-01-22 2022-08-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2022158572A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP7233455B2 (ja) 2021-01-22 2023-03-06 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
JP7312202B2 (ja) 2021-01-22 2023-07-20 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
WO2024004357A1 (ja) * 2022-07-01 2024-01-04 株式会社Nttドコモ レコメンデーション表示制御装置

Similar Documents

Publication Publication Date Title
JP2019192026A (ja) 情報処理装置、情報処理方法、プログラム、コンテンツ表示システム及びコンテンツ配信装置
US10839605B2 (en) Sharing links in an augmented reality environment
US9996874B2 (en) Character personal shopper system
AU2017240823B2 (en) Virtual reality platform for retail environment simulation
US20170323266A1 (en) Message service method using character, user terminal for performing same, and message application including same
US9852550B2 (en) System and method of markerless injection of ads in AR
US20220138994A1 (en) Displaying augmented reality responsive to an augmented reality image
US11875563B2 (en) Systems and methods for personalized augmented reality view
US10692113B2 (en) Method for providing customized information through advertising in simulation environment, and associated simulation system
EP4002107A1 (en) Data binding method, apparatus, and device of mini program, and storage medium
KR100997873B1 (ko) 가상 poi를 이용한 맵의 광고 방법 및 시스템
US20190325509A1 (en) Systems and methods for generating virtual items
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
JP2017156514A (ja) 電子看板システム
WO2022131148A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US11640700B2 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
US20210374199A1 (en) A data communication system and method for use of the data communication system
JP2020042433A (ja) 情報提供システム、ユーザ携帯装置、情報提供装置、コンピュータプログラム及び情報提供方法
CN114063785A (zh) 信息输出方法、头戴式显示设备及可读存储介质
WO2018033954A1 (ja) ショッピング支援システム及びショッピング支援方法
US9971501B2 (en) Method and system for providing adaptive arrangement and representation of user interface elements
Wang et al. Mobile screen-based user interface design guideline for panoramic VR in shopping scene
KR20110131680A (ko) 3차원 가상현실 기술을 이용한 가상 인터넷 쇼핑몰 서비스 시스템
Lo et al. Interactive virtual reality touring system: a case study of Shulin Ji’an Temple in Taiwan
Pothumani et al. Extended VEoT framework–Implemented in a Smart Boutique