JP2019160112A - 映像表示システム、映像表示方法及び映像表示プログラム - Google Patents

映像表示システム、映像表示方法及び映像表示プログラム Download PDF

Info

Publication number
JP2019160112A
JP2019160112A JP2018048808A JP2018048808A JP2019160112A JP 2019160112 A JP2019160112 A JP 2019160112A JP 2018048808 A JP2018048808 A JP 2018048808A JP 2018048808 A JP2018048808 A JP 2018048808A JP 2019160112 A JP2019160112 A JP 2019160112A
Authority
JP
Japan
Prior art keywords
line
sight
information
sight information
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018048808A
Other languages
English (en)
Other versions
JP6898878B2 (ja
Inventor
家栄 曹
Kaei Sou
家栄 曹
直弥 加島
Naoya Kashima
直弥 加島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Priority to JP2018048808A priority Critical patent/JP6898878B2/ja
Publication of JP2019160112A publication Critical patent/JP2019160112A/ja
Application granted granted Critical
Publication of JP6898878B2 publication Critical patent/JP6898878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】三次元コンテンツの視聴中の画像シーンを見たユーザによるオブジェクトの購入及びユーザ利便性を向上すること。【解決手段】仮想現実空間内においてプレイヤ15が視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段を備えるヘッドマウントディスプレイ20と、オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルとを備え、視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定し、該決定した特定オブジェクト属性に属する商品情報をヘッドマウントディスプレイ20に表示する映像表示システム。【選択図】図1

Description

本発明は、ディスプレイを用いてオブジェクトを含むコンテンツ映像を仮想現実空間として見ることができる映像表示システム、映像表示方法及び映像表示プログラムに係り、特に、三次元(VR)ディスプレイを用いて立体視可能な三次元コンテンツ視聴中にプレイヤの視線情報に基づいてプレイヤの関心が高いオブジェクト(例えば、商品)を決定し、この関心が高いオブジェクトの属性に属する情報を表示することができる映像表示システム、映像表示方法及び映像表示プログラムに関する。
近年、三次元ヘッドマウントディスプレイ(頭部装着ディスプレイ、Head Mounted Display、HMDともいう)を用いて立体視可能なゲーム等の仮想現実空間である三次元コンテンツを視聴することが行われている。この三次元コンテンツは、プレイヤが視聴中に、例えば、ゲーム背景やキャラクタを三次元画像として効果音と共に鑑賞することができるため、臨場感のある仮想現実空間を楽しむことができ、このコンテンツ中には商品等の多数のオブジェクトが登場する。
この仮想現実空間が記載された文献としては、次の特許文献1が挙げられ、この特許文献1には、仮想現実空間内においてプレイヤが所定時間以上注視したカップ等の物体であるオブジェクトに設定されている複数階層のメニュー、例えば「ミルク」「砂糖」「入れる」「飲む」「動かす」等のサブメニューを表示し、このサブメニューによってアクション対象となる操作の情報表示を行い、所定時間以上の注視により当該サブメニューを実行する技術が記載されている。
また、下記の特許文献2には、仮想現実空間を利用したバーチャルデパートによる商品販売システムであって、各仮想店舗における棚を商品情報データベースの棚配置情報における棚の配置に従ってユーザのクライアント装置に提示すること、購入された商品に関する品質等の情報を提示すること、現実の店舗が所定の期間先に陳列する予定商品情報を提示すること、割引率やタイムセールを提示すること、ユーザが料理を指定した場合にその料理に必要な食品(食材)の陳列場所を提示することによって、商品の販売促進を行う技術が記載されている。
特開2017−58971号公報 特開2003−30469号公報
上述の特許文献1に記載された技術は、仮想現実空間内においてプレイヤが所定時間以上注視した物体であるオブジェクトに予め設定されたアクションをサブメニューとして表示させる効果に留まる。
また、特許文献2に記載された技術は、仮想現実空間内において現実のデパートによる商品販売と同様な仮想現実を自宅でも提供することによる商品販売を促進することができる効果に留まる。
本発明の目的は、仮想現実空間における商品の購入及びユーザ利便性を向上することができる映像表示システム、映像表示方法及び映像表示プログラムを提供することである。
非限定的な観点によると、本発明は、コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報を表示する制御手段を含む映像表示システムであって、
前記仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルとを備え、
前記制御手段が、前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定し、該決定した特定オブジェクト属性に属する商品情報をディスプレイに表示することを主な特徴とする。
非限定的な観点によると、本発明は、仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルと、コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報を表示する制御手段とを備えるコンピュータシステムの映像表示方法であって、
先の制御手段に、前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定させる手順と、該手順により決定した特定オブジェクト属性に属する商品情報をディスプレイに表示させる手順とを実行させることを特徴とする。
非限定的な観点によると、本発明は、仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルと、コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報の制御手段とを備えたコンピュータシステムの映像表示プログラムであって、
先の制御手段に、前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定させる手順と、該手順により決定した特定オブジェクト属性に属する商品情報をディスプレイに表示させる手順とを実行させることを特徴とする。
本発明による映像表示システム、映像表示方法及び映像表示プログラムは、ユーザに適した情報を表示することができる。
本発明の対象となる三次元ヘッドマウントディスプレイを用いてコンテンツを視聴する全体構成例を示す図である。 本実施例による三次元コンテンツを提供するハードウェア構成例を示す図である。 本実施例による仮想現実による初期店舗内表示例を示す図である。 本実施例による仮想現実による他商品提示窓を含む店舗内表示例を示す図である。 本実施例による仮想現実による特定商品店舗内表示例を示す図である。 本実施例による仮想現実による特定商品店舗内表示例を示す図である。 本実施例によるオブジェクト情報テーブル例を示す図である。 本実施例による映像表示方法の動作例を示すフローチャート図である。 他の実施例によるオブジェクト情報テーブル例を示す図である。
以下、本発明の一実施例によるヘッドマウントディスプレイ(HMD)を用いて立体視可能な三次元コンテンツ視聴中にプレイヤの視線情報に基づいてプレイヤの関心が高いオブジェクト(例えば、商品)を決定し、この関心が高いオブジェクトの属性に属する情報を表示することができる映像表示システム、映像表示方法及び映像表示プログラムの一実施例を図面を参照して説明する。
[構成]
本発明の対象とする映像表示システムは、三次元映像等の仮想現実空間用のコンテンツをプレイヤに対して表示するものであって、このシステムは、例えば、図1に示す如く、三次元の画像等のコンテンツデータ及びHMD用アプリケーションソフトウェアをインストールしたコンピュータ10と、該コンピュータ10の通常の画像出力先であるディスプレイ12と、該コンピュータ10を操作するための入力デバイスであるキーボード13と、プレイヤ15の頭部に装着され、プレイヤ(ユーザとも呼ぶ)15が仮想現実空間内において注視している視線情報を(例えば、目尻や角膜反射を基準点とし、虹彩や瞳孔を動点とし、基準点に対する動点の位置関係により視線を検出手法により)検出する視線情報センサ20a(図2)及びプレイヤ15頭部の3次元の動きを検出する6軸センサ20b(図2)を備えたヘッドマウントディスプレイ20と、該コンテンツデータがゲームの際にはゲーム専用のコントローラ23とを備える。
また、本実施例においてはヘッドマウントディスプレイ20がハードウェアである視線情報センサ20aを備える例であるが、後述するRayScripを使用してソフトウェア的に視線情報を検出しても良く必須ではない。また、本実施例においてはコンピュータとヘッドマウントディスプレイを含む構成を映像表示システムと呼ぶが、図1に示した構成に限られるものではなく、例えば、ヘッドマウントディスプレイとゲーム専用機器とを含む構成、本実施例の動作を実行するためのデータ及びプログラムを格納した記憶媒体を含む構成も映像表示システムである。
上述のコンピュータ10は、図2に示す如く、ヘッドマウントディスプレイ20及びゲーム専用のコントローラ23に接続され、一般のパーソナルコンピュータ同様に、CPU51、メモリ52、HDD(ハードディスク装置)50、通信部53、ヘッドマウントディスプレイ20に映像を提供する表示制御部55と、音響効果音等を発生する音声処理部58、GPU(図示せず)、各種インフェース等のハードウェアにより構成され、該HDD50等の記憶手段に記憶したOS及び各種アプリケーションソフトウェア並びに各種データに基づいてCPU51がデータ処理を実行する。
このコンピュータ10は、本実施例の場合、記憶手段に三次元の画像等のコンテンツデータを含むHMD用アプリケーションソフトウェアがインストールされ、コンピュータ10及びヘッドマウントディスプレイ20が協働してプレイヤ15に対して三次元画像コンテンツデータであるプレイヤ視野画像21(図1)を表示し、プレイヤ15が頭部を動かすことやキーボード13等を操作することによって三次元画像に含まれる物体に対して接近や遠ざかり・見回し等を行うことができるように構成されている。本実施例によるヘッドマウントディスプレイ20は、プレイヤ15が仮想現実空間内において注視している視線情報を検出する視線情報センサ20aと、プレイヤ15頭部の3次元の動きを検出する6軸センサ20bを備える。
本実施例における記憶手段であるHDD50は、仮想現実空間を表示制御する映像表示プログラムにデータとして含まれ、仮想現実空間内に出現するオブジェクト(例えば、商品)毎に一意に付与されたオブジェクトコード(例えば、ID0001等)と、このオブジェクトコードが付与されたオブジェクトが有する属性と、このオブジェクトの属性に属する商品情報(例えば、製造メーカ名・固有商品名・多数ユーザによる評価・価格その他)を格納するオブジェクト情報テーブルを格納している。
なお、オブジェクトの「属性」とは、一般には、あるもの(物体、事象事例)に共通して備わっているとされる性質や特徴のことであって、本実施例によるオブジェクトが商品の場合、一般商品名・商品の対象性別・商品分野・性質・性能・形状・機能その他が挙げられ、オブジェクトの「情報」とは、製造メーカ元・商品ブランド名・顧客による評価・販売価格・ポイント率・店舗URL等が挙げられるが、この「属性」は情報の一部であることから「情報」と言い換えることもできる。
このオブジェクト情報テーブルの具体例は、例えば図7に示す如く、一意の識別子であるオブジェクトコード毎に、属性1が「帽子」、属性2が「レディス」、属性3が「ファッション」〜情報1が「メーカA」、情報2が星示しで表す「評価」、情報3が「ショップ名」、情報4が「価格」、情報5が商品の「写真」、情報6が店舗等のURLの如く格納されている。すなわち、本実施例によるオブジェクト情報テーブルは、オブジェクトの属性に属する商品情報を格納している。
このオブジェクト情報テーブルのテーブル構成は図7に示す1オブジェクトに対して複数別個に設定されるものに限られるものではなく、例えば図9に示した如き、1つのオブジェクトに対して属性が大中小と多段階に区分され、小属性中に複数の属性種が含まれるように構成しても良い、この図9に示す例は、大属性「アルコール飲料」に含まれる中属性「ワイン」の小属性として、「産地」「ワイナリ」「種別」「生産年」「名称」「価格」その他の属性(情報とも呼ぶ)が含まれるものであっても良く、オブジェクトコード毎に当該オブジェクトの属性に属する商品情報や属性を格納するものであれば良い。
本実施例における映像表示システムは、三次元映像等の仮想現実空間用のコンテンツとして複数種の商品を販売する仮想店舗を表示するものであって、例えば、図3に示す如く、仮想店舗の3つの棚に、婦人用の商品として、2つの帽子3a及び3b、2つの鞄4a及び4b、3つの靴3c〜3eの如く複数の商品(オブジェクト)を陳列した婦人用品の仮想現実空間を表示し、この仮想現実空間内においてユーザが顧客として仮想店舗内の商品を見たり購入するショッピング例を想定するが、この例に限定されるものではない。
[動作]
さて、本実施例による映像表示システムは、図3に示した婦人用品店舗の仮想現実空間においてユーザが店舗内を歩き回り、複数の商品を見たり購入するものを想定する。特に本実施例においてはユーザが特定の商品(コンテンツ)に視線を所定時間以上向けたとき(注視したとき)、ヘッドマウントディスプレイ20の視線情報センサ20aがユーザの(目尻や角膜反射を基準点とし、虹彩や瞳孔を動点とし、基準点に対する動点の位置関係により)視線情報を検出する視線情報機能、又は、ユニティ・テクノロジーズ社から販売されているゲーム開発プラットフォーム(ゲームエンジン)である製品「Unity」の簡易プログラムであるRayScript(レイ スプクリスト:例えば、仮想のレーザービームをrayに沿って原点から発してシーンに衝突するまで進ませ、オブジェクト情報についてRaycastHITからどの座標かを返すシューティングゲームに使用されるスプリクト)を用いてユーザが注視しているオブジェクトを検出する視線情報機能を備え、次のように動作する。
この本実施例による映像表示システムによる映像表示プログラム及び方法は、図8に示す如く、三次元の画像等の仮想現実空間用のゲームコンテンツの場合、ゲームのスタートに続いて制御手段であるCPU51がオブジェクト情報テーブルを参照して次の各ステップを実行する。
(1)ステップS101:
ゲーム開始に続いて過去のゲーム履歴やユーザ設定等のゲームデータの読み込みを行うステップ。
(2)ステップS102:
該ステップS101により読み込んだゲームデータに基づいてゲームを開始又は再開するゲームデータの読み取りを行うステップ。
(3)ステップS105:
該ステップS102により読み込んだゲームデータに基づき、例えば図3に示した如き、仮想店舗の3つの棚に、婦人用の商品として、2つの帽子3a及び3b、2つの鞄4a及び4b、3つの靴3c〜3eの如く複数の商品(オブジェクト)を陳列した婦人用品の仮想現実空間を表示し、この仮想現実空間内においてユーザが顧客として仮想店舗内の商品を見たり購入するショッピングゲームを進行するステップ。
(4)ステップS107:
該ステップS105によるゲーム進行中にユーザ操作によりゲームを中断又は終了する操作を行った否かを判定し、中断又は終了と判定したときにゲームを中断又は終了するステップ。
(5)ステップS109:
このステップS107においてゲームの中断又は終了操作が行っていないと判定したとき、前述の視線情報検出機能によりユーザが特定のオブジェクト(商品)に視線を向けているか/注視しているか否かの注視判定を行い、特定のオブジェクト(商品)に視線を向けているか/注視している視線情報を検出していないと判定したときに先のステップS105に戻るステップ。
このユーザが特定のオブジェクト(商品)に視線を向けているか/注視しているか否かの視線情報有無の判定は、例えば、図3に示す店舗内の仮想現実空間であり、中段の棚に陳列されている同一属性の2つの鞄4a及び4bに対して破線円で示すユーザ視線70a及び70bが向けられている場合に視線情報有りと判定する。判定手法としては、図3〜図5を参照した次の注視判定手法が挙げられる。
(a)複数の鞄4a及び4bを交互に向けた視線の動きが、同一属性群(鞄×レディス×ファッション)のオブジェクトを見る視線軌道が所定回数以上と判定したとき、ユーザの関心が高い特定の属性群オブジェクトと判定する注視履歴判定手法。すなわち、図5に示す仮想現実店舗において同一属性群(「鞄」且つ「レディス」且つ「ファッション」の属性の組み合わせ)の3商品をユーザが矢印のように見回したか否かを判定し、同一属性群の複数商品をユーザが見回したと判定したとき、ユーザの関心が高い特定の属性群オブジェクトと判定する注視履歴判定手法。
(b)複数の2つの鞄4a及び4bを交互に向けた視線が所定回数以上、同一属性(同一属性群=鞄×レディス×ファッション)のオブジェクトを見ていると判定したとき、又は相対的に多いと判定したとき、ユーザの関心が高い特定の属性群オブジェクトと判定する注視回数判定手法。
(c)同一属性の鞄に対してユーザ視線70aが所定時間(例えば、3秒)以上注視した注視時間を累積し、所定の蓄積時間(例えば、10秒)を越えたとき、又は相対的に長い蓄積時間のオブジェクトに関心が高いと判定する注視時間判定手法。
(d)同一属性の鞄に対してユーザが接近してオブジェクトの詳細を見る回数及び時間が所定値以上のときに判定する判定手法。
この注視判定手法は、前述のものに限られるものではなく、仮想現実空間が図6に示すワインショップであり、複数のワイン5a〜5dに対してQRタグが貼り付けられ、又は商品の説明として説明書9が立てられ、ユーザがQRタグを読んで商品の詳細情報を検索したり、説明書9を拡大して読んだりすることを注視判定手法としても良く、QRタグはAR(拡張現実)タグであっても良い。また、注視履歴判定手法・注視回数判定手法・注視時間判定手法に用いる判定情報(視線軌道情報・注視回数情報・時間判定情報)はコンピュータシステムのワークメモリに一時データとして格納され、カウントアップ又は累積される。
(6)ステップS111:
先のステップS109においてユーザが特定のオブジェクト(商品)に視線を向けている/注視していると判定したとき、先のステップS109により特定したオブジェクトの商品情報をオブジェクト情報テーブルから読み出してユーザに表示するステップ。
(7)ステップS113:
先のステップS111により表示した商品情報に対してユーザが何らかのアクション(例えば、商品購入・商品詳細表示)が成された否かを判定し、アクションがされていないと判定したときにステップS105に戻るステップ。
(8)ステップS115:
先のステップS111により表示した商品情報に対してユーザが何らかのアクション(例えば、商品購入・商品詳細表示)がされたと判定したとき、所定のアクションを実行し、ステップS105に戻るステップ。
この所定のアクションとは、例えば、婦人用鞄が特定の商品と判定されたとき、例えば、同一属性群(「鞄」且つ「レディス」且つ「ファッション」の属性の組み合わせ)のオブジェクトの商品情報をオブジェクト情報テーブルから読み出し、図4に示す如く、同一属性群の他商品をユーザにサブメニュー表示することや、図5に示した同一属性群の商品を取り扱っている他の鞄ショップの仮想現実空間に移行することが挙げられる。
なお、本実施例では、ユーザの視線情報に基づいて商品情報を表示する例を示したが、商品情報に限らず各種のコンテンツを表示してもよい。例えば、映像表示システムは、ユーザの視線情報に基づいて、ゲーム内に広告コンテンツを表示してもよい。一例としては、映像表示システムは、ユーザが過去に視線を滞在させた時間が長いオブジェクトが属する分類と同一又は類似する分類に属する商品の広告コンテンツを、ゲーム内のスペースに表示させてもよい。一態様としては、映像表示システムは、ユーザがゲーム内の「オレンジジュース」に視線を滞在させた時間が長い場合に、「オレンジジュース」が属する分類「清涼飲料水」と同一の分類に属する「アップルジュース」や、「オレンジジュース」が属する分類「清涼飲料水」と類似する分類「炭酸飲料水」に属する「サイダー」などの広告コンテンツを、MMORPG(Massively Multiplayer Online Role−Playing Game)内のメニュー画面や各種の空きスペースに表示してもよい。
また、本実施例では、ユーザの視線情報に基づいて商品情報や広告コンテンツをゲーム内に表示する例を示したが、ゲーム内に限らず各種の領域に表示してもよい。例えば、ユーザのVRゲーム内における視線情報に基づいて、EC(E−Commerce)サイトやECモールの表示領域に商品情報を表示してもよい。一例としては、ユーザの視線情報に基づいて、インターネットショッピングサイトのレコメンド領域に商品情報を表示してもよい。
このように本実施例による映像表示システム、映像表示方法及びプログラムは、仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルとを設け、視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定し、の決定した特定オブジェクト属性に属する商品情報をディスプレイに表示することによって、仮想現実空間における商品の購入及びユーザ利便性を向上することができる。
3a〜3b 帽子、3c〜3e 靴、4a〜4f 鞄、5a〜5d ワイン、
10 コンピュータ、12 ディスプレイ、13 キーボード、15 プレイヤ、
20 ヘッドマウントディスプレイ、20a 視線情報センサ、
20b 6軸センサ、23 コントローラ、21 プレイヤ視野画像、
50 ハードディスク装置、51 CPU、52 メモリ、53 通信部、
55 表示制御部、58 音声処理部、

Claims (8)

  1. コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報を表示する制御手段を含む映像表示システムであって、
    前記仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、
    前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルとを備え、
    前記制御手段が、前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定し、該決定した特定オブジェクト属性に属する商品情報をディスプレイに表示することを特徴とする映像表示システム。
  2. 前記制御手段が、前記視線情報検出手段を用いて検出した視線情報のオブジェクトに対する動きの履歴に基づいて特定のオブジェクトを決定することを特徴とする請求項1に記載の映像表示システム。
  3. 前記動きの履歴が、前記視線情報検出手段を用いて検出した視線情報のオブジェクトに対して視線が向けられた時間であり、
    前記制御手段が、前記視線情報のオブジェクトに対して視線が向けられた時間を集計し、該集計した時間が所定時間を越えた又は相対的に長いオブジェクトの属性に属する商品情報を表示することを特徴とする請求項2に記載の映像表示システム。
  4. 前記動きの履歴が、前記視線情報検出手段を用いて検出した視線情報のオブジェクトに対して視線が向けられた回数であり、
    前記制御手段が、前記視線情報のオブジェクトに対して視線が向けられた回数を集計し、該集計した回数が所定値を越えたとき又は相対的に多いオブジェクトの属性に属する商品情報を表示することを特徴とする請求項2に記載の映像表示システム。
  5. 前記オブジェクトに対応するタグが付与され、
    前記制御手段が、前記視線情報検出手段を用いて検出した視線情報のオブジェクトに基づいて読み取ったタグ読み取り回数であり、
    前記制御手段が、前記視線情報のオブジェクトから読み取ったタグ読み取り回数を集計し、該集計した読み取り回数が所定値を越えとき又は相対的に多いオブジェクトの属性に属する商品情報を表示することを特徴とする請求項2に記載の映像表示システム。
  6. 前記視線情報検出手段が、ゲームエンジンの簡易プログラムであるRayScript及びRaycastHITを用い、RayScriptにより仮想のレーザービームをrayに沿って原点から発してオブジェクトに衝突するまで進ませ、RaycastHITにより前記衝突したオブジェクトの座標を制御手段に返すことにより、ユーザが視線を向けているオブジェクトへの視線情報を検出することを特徴とする請求項1から5の何れかに記載の映像表示システム。
  7. 仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルと、コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報を表示する制御手段とを備えるコンピュータシステムの映像表示方法であって、
    前記制御手段に、
    前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定させる手順と、
    該手順により決定した特定オブジェクト属性に属する商品情報をディスプレイに表示させる手順とを実行させることを特徴とする映像表示方法。
  8. 仮想現実空間内においてユーザが視線を向けているオブジェクトへの視線情報を検出する視線情報検出手段と、前記オブジェクトの属性に属する商品情報を格納するオブジェクト情報テーブルと、コンテンツに登場するオブジェクトを含む複数の画像シーンをユーザが仮想現実空間として目視可能にディスプレイに表示し、前記オブジェクトに関する情報の制御手段とを備えたコンピュータシステムの映像表示プログラムであって、
    前記制御手段に、
    前記視線情報検出手段を用いて検出した視線情報に基づいて特定のオブジェクトを決定させる手順と、
    該手順により決定した特定オブジェクト属性に属する商品情報をディスプレイに表示させる手順とを実行させることを特徴とする映像表示プログラム。


JP2018048808A 2018-03-16 2018-03-16 映像表示システム、映像表示方法及び映像表示プログラム Active JP6898878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018048808A JP6898878B2 (ja) 2018-03-16 2018-03-16 映像表示システム、映像表示方法及び映像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018048808A JP6898878B2 (ja) 2018-03-16 2018-03-16 映像表示システム、映像表示方法及び映像表示プログラム

Publications (2)

Publication Number Publication Date
JP2019160112A true JP2019160112A (ja) 2019-09-19
JP6898878B2 JP6898878B2 (ja) 2021-07-07

Family

ID=67994892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018048808A Active JP6898878B2 (ja) 2018-03-16 2018-03-16 映像表示システム、映像表示方法及び映像表示プログラム

Country Status (1)

Country Link
JP (1) JP6898878B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6842582B1 (ja) * 2020-03-31 2021-03-17 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2022008144A (ja) * 2020-06-24 2022-01-13 南亞塑膠工業股▲分▼有限公司 クラウド型サイバーモールシステム
JP7039753B1 (ja) 2021-07-01 2022-03-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
WO2022114177A1 (ja) * 2020-11-30 2022-06-02 株式会社Jvcケンウッド 表示装置、表示方法及びプログラム
KR102407595B1 (ko) * 2022-02-25 2022-06-10 주식회사 비노버스 메타버스 기반 와이너리 체험 서비스 제공 방법, 장치 및 시스템
JP7089128B1 (ja) 2021-07-01 2022-06-21 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
WO2022158573A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2022158576A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
CN114879851A (zh) * 2022-07-11 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统
JP7141556B1 (ja) 2022-03-09 2022-09-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
WO2022249620A1 (ja) * 2021-05-26 2022-12-01 ソフトバンク株式会社 Xrモール生成装置、xrモール生成装置の制御方法およびxrモール生成プログラム
WO2022259978A1 (ja) * 2021-06-08 2022-12-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2022259977A1 (ja) * 2021-06-08 2022-12-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2023009040A (ja) * 2022-03-09 2023-01-19 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP2023078306A (ja) * 2022-03-09 2023-06-06 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
WO2023181382A1 (ja) * 2022-03-25 2023-09-28 シャープNecディスプレイソリューションズ株式会社 情報処理装置、表示システム、情報処理方法
JP7445708B2 (ja) 2022-06-29 2024-03-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013535A (ja) * 2012-07-05 2014-01-23 Toshiba Tec Corp 商品購入支援装置及び仮想試着装置並びに商品購入支援プログラム
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US20150084858A1 (en) * 2013-09-26 2015-03-26 Casio Computer Co., Ltd. Display device, content display method, and a non-transitory computer-readable storage medium
US20150213498A1 (en) * 2014-01-29 2015-07-30 Fujitsu Limited Method and apparatus for providing product information
WO2015185579A1 (en) * 2014-06-02 2015-12-10 Apelab Sarl A method and system for providing interactivity within a virtual environment
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
US20160171773A1 (en) * 2014-12-10 2016-06-16 Fujitsu Limited Display control method, information processing apparatus, and storage medium
WO2016210354A1 (en) * 2015-06-24 2016-12-29 Magic Leap, Inc. Augmented reality devices, systems and methods for purchasing
JP2017123006A (ja) * 2016-01-06 2017-07-13 株式会社ジョリーグッド 携帯情報端末及びプログラム
JP2017146942A (ja) * 2016-02-19 2017-08-24 富士通株式会社 画像表示装置、表示制御方法および表示制御プログラム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013535A (ja) * 2012-07-05 2014-01-23 Toshiba Tec Corp 商品購入支援装置及び仮想試着装置並びに商品購入支援プログラム
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US20150260990A1 (en) * 2012-09-27 2015-09-17 Kyocera Corporation Display device and control method
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
US20150084858A1 (en) * 2013-09-26 2015-03-26 Casio Computer Co., Ltd. Display device, content display method, and a non-transitory computer-readable storage medium
US20150213498A1 (en) * 2014-01-29 2015-07-30 Fujitsu Limited Method and apparatus for providing product information
JP2015141572A (ja) * 2014-01-29 2015-08-03 富士通株式会社 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
WO2015185579A1 (en) * 2014-06-02 2015-12-10 Apelab Sarl A method and system for providing interactivity within a virtual environment
JP2017526030A (ja) * 2014-06-02 2017-09-07 アプラブ ソシエテ ア レスポンサビリテ リミテApelab Sarl 仮想環境内の相互作用を提供するための方法とシステム
US20150379770A1 (en) * 2014-06-27 2015-12-31 David C. Haley, JR. Digital action in response to object interaction
US20160171773A1 (en) * 2014-12-10 2016-06-16 Fujitsu Limited Display control method, information processing apparatus, and storage medium
JP2016110565A (ja) * 2014-12-10 2016-06-20 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
WO2016210354A1 (en) * 2015-06-24 2016-12-29 Magic Leap, Inc. Augmented reality devices, systems and methods for purchasing
JP2017123006A (ja) * 2016-01-06 2017-07-13 株式会社ジョリーグッド 携帯情報端末及びプログラム
JP2017146942A (ja) * 2016-02-19 2017-08-24 富士通株式会社 画像表示装置、表示制御方法および表示制御プログラム

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2021163288A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2021163470A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7465228B2 (ja) 2020-03-31 2024-04-10 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP6842582B1 (ja) * 2020-03-31 2021-03-17 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7201743B2 (ja) 2020-06-24 2023-01-10 南亞塑膠工業股▲分▼有限公司 クラウド型サイバーモールシステム
JP2022008144A (ja) * 2020-06-24 2022-01-13 南亞塑膠工業股▲分▼有限公司 クラウド型サイバーモールシステム
US11580591B2 (en) 2020-06-24 2023-02-14 Nan Ya Plastics Corporation Cloud-based cyber shopping mall system
WO2022114177A1 (ja) * 2020-11-30 2022-06-02 株式会社Jvcケンウッド 表示装置、表示方法及びプログラム
JP7233454B2 (ja) 2021-01-22 2023-03-06 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
WO2022158573A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022113062A (ja) * 2021-01-22 2022-08-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022113023A (ja) * 2021-01-22 2022-08-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
WO2022158576A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP7233455B2 (ja) 2021-01-22 2023-03-06 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
JP7285879B2 (ja) 2021-05-26 2023-06-02 ソフトバンク株式会社 Xrモール生成装置、xrモール生成装置の制御方法およびxrモール生成プログラム
WO2022249620A1 (ja) * 2021-05-26 2022-12-01 ソフトバンク株式会社 Xrモール生成装置、xrモール生成装置の制御方法およびxrモール生成プログラム
JP2022181630A (ja) * 2021-05-26 2022-12-08 ソフトバンク株式会社 Xrモール生成装置、xrモール生成装置の制御方法およびxrモール生成プログラム
WO2022259977A1 (ja) * 2021-06-08 2022-12-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022187811A (ja) * 2021-06-08 2022-12-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022187812A (ja) * 2021-06-08 2022-12-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP7233469B2 (ja) 2021-06-08 2023-03-06 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
WO2022259978A1 (ja) * 2021-06-08 2022-12-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP7233470B2 (ja) 2021-06-08 2023-03-06 株式会社Nttコノキュー 処理装置、処理方法及び処理プログラム
JP2023006919A (ja) * 2021-07-01 2023-01-18 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7039753B1 (ja) 2021-07-01 2022-03-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP2023008793A (ja) * 2021-07-01 2023-01-19 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7089128B1 (ja) 2021-07-01 2022-06-21 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
KR102407595B1 (ko) * 2022-02-25 2022-06-10 주식회사 비노버스 메타버스 기반 와이너리 체험 서비스 제공 방법, 장치 및 시스템
JP2023008792A (ja) * 2022-03-09 2023-01-19 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP2023009040A (ja) * 2022-03-09 2023-01-19 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7248853B2 (ja) 2022-03-09 2023-03-29 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7141556B1 (ja) 2022-03-09 2022-09-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP2023078306A (ja) * 2022-03-09 2023-06-06 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7387932B2 (ja) 2022-03-09 2023-11-28 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
WO2023181382A1 (ja) * 2022-03-25 2023-09-28 シャープNecディスプレイソリューションズ株式会社 情報処理装置、表示システム、情報処理方法
JP7445708B2 (ja) 2022-06-29 2024-03-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
CN114879851A (zh) * 2022-07-11 2022-08-09 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统

Also Published As

Publication number Publication date
JP6898878B2 (ja) 2021-07-07

Similar Documents

Publication Publication Date Title
JP6898878B2 (ja) 映像表示システム、映像表示方法及び映像表示プログラム
US11854148B2 (en) Virtual content display opportunity in mixed reality
CN107924522B (zh) 用于购买的增强现实设备、系统和方法
US9734636B2 (en) Mixed reality graduated information delivery
US8606645B1 (en) Method, medium, and system for an augmented reality retail application
US10074129B2 (en) Virtual reality system including smart objects
US8516396B2 (en) Object organization based on user interactions within a virtual environment
US9053483B2 (en) Personal audio/visual system providing allergy awareness
US20170116667A1 (en) Apparatus and method for providing a virtual shopping space
EP4088247A1 (en) Systems for identifying products within audio-visual content
US20110137727A1 (en) Systems and methods for determining proximity of media objects in a 3d media environment
US20220113844A1 (en) Methods and systems for object selection
JP6197952B2 (ja) 商品情報出力方法、商品情報出力プログラムおよび制御装置
JP7453732B2 (ja) システム、プログラム及び処理方法
CN110709879A (zh) 广告信息处理系统、广告显示区域评价方法以及广告信息处理用程序
US20200019992A1 (en) System and method for providing information
US20240013287A1 (en) Real time visual feedback for augmented reality map routing and item selection
JP2023008860A (ja) ユーザが設定した閾値に基づいたデジタルウィッシュリストのコンテンツの自動購入
CN114967922A (zh) 信息展示方法、装置、电子设备及存储介质
WO2015173872A1 (ja) 商品情報表示システム、制御装置、制御プログラムおよび制御方法
WO2023157112A1 (ja) 陳列支援システム、陳列支援方法、および記録媒体
TW201832156A (zh) 利用立體影像展示商品並提供互動式操作廣告效果的方法及販賣機
Erik et al. Unveiling the Hidden Aspects of Service Innovation: Using Eye Tracking to Understand and Enhance Customer Experience

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210611

R150 Certificate of patent or registration of utility model

Ref document number: 6898878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250