JP2019194870A - 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 - Google Patents

情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 Download PDF

Info

Publication number
JP2019194870A
JP2019194870A JP2019105146A JP2019105146A JP2019194870A JP 2019194870 A JP2019194870 A JP 2019194870A JP 2019105146 A JP2019105146 A JP 2019105146A JP 2019105146 A JP2019105146 A JP 2019105146A JP 2019194870 A JP2019194870 A JP 2019194870A
Authority
JP
Japan
Prior art keywords
content
virtual space
information processing
user
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019105146A
Other languages
English (en)
Other versions
JP6994005B2 (ja
JP2019194870A5 (ja
Inventor
健登 中島
Kento Nakajima
健登 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2019105146A priority Critical patent/JP6994005B2/ja
Publication of JP2019194870A publication Critical patent/JP2019194870A/ja
Publication of JP2019194870A5 publication Critical patent/JP2019194870A5/ja
Application granted granted Critical
Publication of JP6994005B2 publication Critical patent/JP6994005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間を活用した広告効果が向上可能な情報処理方法を提供する。【解決手段】端末機器を備えたシステムにおける情報処理方法は、360度コンテンツである仮想空間を定義する仮想空間データを生成し、第一URLアドレスに対応するウェブページからのアクセスに基づいて、端末機器に仮想空間データを提供する。仮想空間は、メインコンテンツと、サブコンテンツと、を含み、メインコンテンツは、仮想空間の水平方向において、仮想空間のうち上記アクセスに基づいて端末機器に最初に提示される方向である正面方向に、少なくとも一部が配置され、サブコンテンツは、メインコンテンツの周辺、または、対向する方向に提示される。メインコンテンツおよびサブコンテンツの少なくとも一方には、第二URLアドレスが関連付けら、第二URLアドレスには、ユーザにより端末機器に入力される課金指示が受け付けられる課金コンテンツが関連付けられている。【選択図】図13

Description

本開示は、情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置に関する。
特許文献1には、ヘッドマウントディスプレイを用いてユーザが没入する仮想空間に含まれるオブジェクトに広告を表示させることが開示されている。
特許第5961736号公報
特許文献1は、仮想空間内のオブジェクトに広告を表示させる際の表示方法に関するものであるが、仮想空間を活用した広告効果の向上については改善の余地がある。
本発明は、仮想空間を活用した広告効果が向上可能な情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置を提供することを目的とする。
本開示が示す一態様によれば、情報処理方法であって、
前記情報処理方法は、端末機器を備えたシステムにおいて実行され、
(a)360度コンテンツである仮想空間を定義する仮想空間データを生成するステップと、
(b)第一URL(Uniform Resource Locator)アドレスに対応するウェブページからのアクセスに基づいて、前記端末機器に前記仮想空間データを提供するステップと、を含み、
前記仮想空間は、メインコンテンツと、サブコンテンツを含み、
前記メインコンテンツは、前記仮想空間の水平方向における、前記仮想空間のうち前記アクセスに基づいて前記端末機器に最初に提示される方向である正面方向に、少なくとも一部が配置され、
前記サブコンテンツは、前記メインコンテンツの周辺、または、前記仮想空間において前記メインコンテンツと対向する方向に提示され、
前記メインコンテンツおよび前記サブコンテンツの少なくとも一方には、第二URLアドレスが関連付けられており、
前記第二URLアドレスには、ユーザにより前記端末機器に入力される課金指示が受け付けられる課金コンテンツが関連付けられており、
前記情報処理方法は、
(c)前記ユーザによる、前記第二URLアドレスが関連付けられた前記メインコンテンツまたは前記サブコンテンツに対する入力を受け付けるステップと、
(d)前記入力に基づいて、前記第二URLアドレスに対応するウェブページへのアクセスを受け付け、前記課金コンテンツを定義するデータを前記端末機器あるいは前記ユーザに関連付けられた他の端末機器に提供するステップと、をさらに含む。
本開示によれば、仮想体験コンテンツにおける広告効果を高めることが可能な情報処理方法を提供することができる。
本発明の実施形態(以下、単に本実施形態という。)に係る仮想体験コンテンツ配信システムを示す概略図である。 ユーザ端末である携帯端末を示す概略図である。 携帯端末のハードウェア構成を示す図である。 ヘッドマウントデバイス(HMD)を含むユーザ端末の構成を示す概略図である。 HMDを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 外部コントローラの具体的な構成の一例を示す図である。 視野画像をHMDに表示する処理を示すフローチャートである。 仮想空間の一例を示すxyz空間図である。 (a)は、図9に示す仮想空間のyx平面図である。(b)は、図9に示す仮想空間のzx平面図である。 HMDに表示された視野画像の一例を示す図である。 図1に示すサーバのハードウェア構成を示す図である。 本実施形態に係る仮想体験コンテンツ配信システムの動作を説明するためのシーケンス図である。 本実施形態に係る仮想体験コンテンツ配信システムの動作を説明するためのシーケンス図である。 360度コンテンツを構成する仮想空間を示す図である 360度コンテンツを構成する仮想空間の別の例を示す図である 状態(a)は、HMDと外部コントローラを装着したユーザを示す図である。状態(b)は、仮想カメラと、操作オブジェクト(手オブジェクト)を含む仮想空間を示す図である。 本実施形態に係る仮想体験コンテンツ配信システムの動作を説明するためのシーケンス図である。
[本開示が示す実施形態の説明]
本開示が示す実施形態の概要を説明する。
(1)情報処理方法であって、
前記情報処理方法は、端末機器を備えたシステムにおいて実行され、
(a)360度コンテンツである仮想空間を定義する仮想空間データを生成するステップと、
(b)第一URL(Uniform Resource Locator)アドレスに対応するウェブページからのアクセスに基づいて、前記端末機器に前記仮想空間データを提供するステップと、を含み、
前記仮想空間は、メインコンテンツと、サブコンテンツを含み、
前記メインコンテンツは、前記仮想空間の水平方向における、前記仮想空間のうち前記アクセスに基づいて前記端末機器に最初に提示される方向である正面方向に、少なくとも一部が配置され、
前記サブコンテンツは、前記メインコンテンツの周辺、または、前記仮想空間において前記メインコンテンツと対向する方向に提示され、
前記メインコンテンツおよび前記サブコンテンツの少なくとも一方には、第二URLアドレスが関連付けられており、
前記第二URLアドレスには、ユーザにより前記端末機器に入力される課金指示が受け付けられる課金コンテンツが関連付けられており、
前記情報処理方法は、
(c)前記ユーザによる、前記第二URLアドレスが関連付けられた前記メインコンテンツまたは前記サブコンテンツに対する入力を受け付けるステップと、
(d)前記入力に基づいて、前記第二URLアドレスに対応するウェブページへのアクセスを受け付け、前記課金コンテンツを定義するデータを前記端末機器あるいは前記ユーザに関連付けられた他の端末機器に提供するステップと、をさらに含む。
この方法によれば、仮想空間を活用して広告効果を向上させることができる。すなわち、広告商品に関するメインコンテンツおよびサブコンテンツを仮想空間で構成されるものとして提供することで、従来のWeb広告よりも当該商品の購入率(いわゆる、コンバージョン率)を高めることができる。
(2)前記仮想空間の水平方向における前記メインコンテンツの幅が、前記仮想空間のうち前記端末機器に提示される視野の幅よりも大きくてもよい。
この方法によれば、例えばメインコンテンツを360度コンテンツらしく楽しむことができ、広告効果をさらに高めることができる。
(3)(d)前記端末機器に応じた前記視野の幅を特定するステップと、
(e)前記視野の幅に応じて、前記メインコンテンツの幅を異ならせるステップと、をさらに含んでいてもよい。
この方法によれば、端末機器に応じたメインコンテンツ/サブコンテンツの提示を可能にし、効果的な広告提示を行うことができる。
(4)前記端末機器がヘッドマウントデバイスである場合には、前記視野の幅よりも前記メインコンテンツの幅を大きくし、
前記端末機器がタッチスクリーンを備える機器である場合には、前記視野の幅よりも前記メインコンテンツの幅を小さくしてもよい。
タッチスクリーンを備える端末機器、例えばスマートフォンやタブレット型端末では、ユーザは二次元動画(メインコンテンツ)の視聴に慣れているため、サブコンテンツも初期視野に含まれた方がよい可能性がある。すなわち、スマートフォンやタブレット型端末にメインコンテンツを表示させる場合には当該メインコンテンツの幅を狭くすることでユーザがメインコンテンツ周辺のサブコンテンツに気づきやすいようにさせつつ、これらの端末よりも視野の広いヘッドマウントデバイスにメインコンテンツを表示させる場合には当該メインコンテンツの幅を広くしてユーザの没入感を損なわないようにする。
(5)前記端末機器がヘッドマウントデバイスである場合には、前記仮想空間が前記メインコンテンツに関連するオブジェクトを含むようにしてもよい。
この方法によれば、オブジェクトをヘッドマウントデバイスに表示させることで、例えば360度動画であるメインコンテンツの利点とオブジェクトの利点との双方を活用することができ、ユーザの購買意欲を高めることができる。
(6)前記仮想空間は、前記メインコンテンツに関連する商品オブジェクトと、前記商品オブジェクトと関連付けられた商品に対する前記ユーザからの注文を受け付ける受付オブジェクトとを含み、
(f)前記受付オブジェクトに前記商品オブジェクトが関連付けられた場合に、前記商品の前記注文を受け付けるステップをさらに含んでいてもよい。
この方法によれば、注文の受付手続きを簡素化することでコンバージョン率をさらに向上させることができる。
(7)(g)前記ユーザの身体の一部の動きに応じて、前記仮想空間に含まれる操作オブジェクトを移動させるステップと、
(h)前記操作オブジェクトの動きに応じて、前記商品オブジェクトを移動させるステップと、
(i)前記商品オブジェクトの移動に基づいて、前記商品オブジェクトと前記受付オブジェクトとを関連付けるステップと、をさらに含んでいてもよい。
(8)本開示の一実施形態に係る情報処理プログラムは、上記(1)から(7)のいずれかに記載の情報処理方法をコンピュータに実行させるための情報処理プログラムである。
上記によれば、仮想空間を活用して広告効果を向上させることができる情報処理プログラムを提供することができる。
(9)端末機器を備えた情報処理システムであって、
当該情報処理システムは、項目(1)から(7)のうちいずれかに記載の情報処理方法を実行するように構成された、情報処理システムである。
上記によれば、仮想空間を活用して広告効果を向上させることができる情報処理システムを提供することができる。
(10)プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は項目(1)から(7)のうちいずれかに記載の情報処理方法を実行する、情報処理装置である。
上記によれば、仮想空間を活用して広告効果を向上させることができる情報処理装置を提供することができる。情報処理装置は、端末機器またはサーバのいずれか一方である点に留意されたい。
[本開示が示す実施形態の詳細]
以下、本開示が示す実施形態について図面を参照しながら説明する。本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
本実施形態に係る360度コンテンツ配信システムの構成の概略について図1を参照して説明する。図1は、360度コンテンツ配信システムS(以下、単に配信システムSという。)の概略図である。図1に示すように、配信システムSは、例えば、複数のユーザ端末1,100(端末機器の一例)と、360度コンテンツを配信するサーバ2を備える。ユーザ端末1,100は、インターネット等の通信ネットワーク3を介してサーバ2に通信可能に接続されている。360度コンテンツとは、ユーザ端末1,100のユーザに仮想体験を提供するための映像コンテンツ等であって、複数のオブジェクトを含む仮想空間または全天球画像等の360度空間画像を含む仮想空間として提供されてもよい。360度空間画像を含む仮想空間では、仮想空間の中心位置に仮想カメラが配置されると共に、仮想空間の表面上に360度空間画像が表示される。本実施形態において、「画像」とは、静止画像と複数のフレーム画像から構成された動画像(映像)の両方を含む。本実施形態において、仮想空間とは、VR(Virtual Reality)空間と、AR(Argumented Reality)空間と、MR(Mixed Reality)空間と、を含むものである。
次に、図2を参照してユーザ端末1の構成について説明する。図2は、ユーザ端末1を示す概略図である。図2に示すように、ユーザ端末1は、タッチスクリーン10を備える端末機器であり、例えば、スマートフォン、PDA(Personal Digital
Assistant)、タブレットまたはファブレット型コンピュータ等の携帯可能な端末であってもよいし、パーソナルコンピュータ、ビデオゲーム機器等であってもよい。
図3に示されるように、ユーザ端末1は、ハードウェア構成として、互いにバス接続されたプロセッサ11、主記憶12、補助記憶13、送受信部14、表示部15および入力部16を備えている。プロセッサ11は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)および/またはGPU(Graphics Processing Unit)で構成されている。主記憶12は、例えばDRAM(Dynamic Random Access Memory)などで構成されており、補助記憶13は、例えばHDD(Hard Disk Drive)などで構成されている。プロセッサ11(制御部18)は、主記憶12または補助記憶13に記憶されるプログラムを読み込んで実行することにより、ユーザ端末1の動作を制御する。送受信部14はプロセッサ11の制御によりユーザ端末1と通信ネットワーク3との接続を確立する。入力部16は、タッチスクリーン10である表示部15に対するユーザの操作を検知して、ユーザ端末1に対して何らかの操作があったことを検知する。
次に、図4を参照してユーザ端末100の構成について説明する。図4は、ユーザ端末100を示す概略図である。図4に示すように、ユーザ端末100は、ユーザUの頭部に装着されたヘッドマウントデバイス(HMD)110と、ヘッドフォン116と、マイク118と、位置センサ130と、外部コントローラ320と、制御装置120とを備える。
HMD110は、表示部112と、HMDセンサ114と、注視センサ140とを備えている。表示部112は、HMD110を装着したユーザUの視界(視野)を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザUは、表示部112に表示された視野画像のみを見ることで仮想空間に没入することができる。表示部112は、ユーザUの左目に画像を提供するように構成された左目用表示部とユーザUの右目に画像を提供するように構成された右目用表示部から構成されてもよい。HMD110は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。
HMDセンサ114は、HMD110の表示部112の近傍に搭載される。HMDセンサ114は、地磁気センサ、加速度センサ、傾きセンサ(角速度センサやジャイロセンサ等)のうちの少なくとも1つを含み、ユーザUの頭部に装着されたHMD110の各種動きを検出することができる。
注視センサ140は、ユーザUの視線方向を検出するアイトラッキング機能を有する。注視センサ140は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザUの右目に例えば赤外光を照射して、右目(特に、角膜や虹彩)から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザUの左目に例えば赤外光を照射して、左目(特に、角膜や虹彩)から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。
ヘッドフォン116は、ユーザUの左耳と右耳にそれぞれ装着されている。ヘッドフォン116は、制御装置120から音声データ(電気信号)を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク118は、ユーザUから発声された音声を収集し、当該収集された音声に基づいて音声データ(電気信号)を生成するように構成されている。マイク118は、音声データを制御装置120に送信するように構成されている。
位置センサ130は、例えば、ポジション・トラッキング・カメラにより構成され、HMD110と外部コントローラ320の位置を検出するように構成されている。位置センサ130は、制御装置120に無線または有線により通信可能に接続されており、HMD110に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。位置センサ130は、外部コントローラ320に設けられた図示しない複数の検知点の位置、傾きおよび/または発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ130は、赤外線センサや複数の光学カメラを含んでもよい。
外部コントローラ320は、例えば、仮想空間内に表示される手指オブジェクトの動作を制御するために使用される。外部コントローラ320は、ユーザUが右手に持って使用する右手用外部コントローラと、ユーザUが左手に持って使用する左手用外部コントローラを有してもよい。
制御装置120は、位置センサ130から取得された情報に基づいて、HMD110の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるHMD110を装着したユーザUの位置を正確に対応付けることができる。制御装置120は、位置センサ130から取得された情報に基づいて、外部コントローラ320の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間内に表示される手指オブジェクトの位置と現実空間における外部コントローラ320とHMD110との間の相対関係位置を正確に対応付けることができる。
制御装置120は、注視センサ140から送信された情報に基づいて、ユーザUの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。制御装置120は、特定された注視点に基づいて、ユーザUの視線方向を特定することができる。ユーザUの視線方向は、ユーザUの両目の視線方向であって、ユーザUの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。
次に、図5を参照して、HMD110の位置や傾きに関する情報を取得する方法について説明する。図5は、HMD110を装着したユーザUの頭部を示す図である。HMD110を装着したユーザUの頭部の動きに連動したHMD110の位置や傾きに関する情報は、位置センサ130および/またはHMD110に搭載されたHMDセンサ114により検出可能である。図5に示すように、HMD110を装着したユーザUの頭部を中心として、3次元座標(uvw座標)が規定される。ユーザUが直立する垂直方向をv軸として規定し、v軸と直交しHMD110の中心を通る方向をw軸として規定し、v軸およびw軸と直交する方向をu軸として規定する。位置センサ130および/またはHMDセンサ114は、各uvw軸回りの角度(すなわち、v軸を中心とする回転を示すヨー角、u軸を中心とした回転を示すピッチ角、w軸を中心とした回転を示すロール角で決定される傾き)を検出する。制御装置120は、検出された各uvw軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。
次に、図6を参照して、制御装置120のハードウェア構成について説明する。図6は、制御装置120のハードウェア構成を示す図である。図6に示すように、制御装置120は、制御部121と、記憶部123と、I/O(入出力)インターフェース124と、通信インターフェース125と、バス126とを備える。制御部121と、記憶部123と、I/Oインターフェース124と、通信インターフェース125は、バス126を介して互いに通信可能に接続されている。
制御装置120は、HMD110とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、HMD110に内蔵されていてもよい。制御装置120の一部の機能がHMD110に搭載されるとともに、制御装置120の残りの機能がHMD110とは別体の他の装置に搭載されてもよい。
制御部121は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えばCPU、MPUおよび/またはGPUであって、ROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されている。
プロセッサが図13、図14、および図18に示す各処理を実行するための制御プログラムをRAM上に展開し、RAMとの協働で制御プログラムを実行することで、制御部121は、制御装置120の各種動作を制御してもよい。制御部121は、メモリに格納された360度コンテンツのデータを読み出すことで、HMD110の表示部112に360度コンテンツの視野画像を表示する。これにより、ユーザUは、表示部112に表示された360度コンテンツに没入することができる。
記憶部(ストレージ)123は、例えば、HDD、SSD(Solid State Drive)、USBフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部123は、本実施形態に係る情報処理方法をコンピュータに実行させる制御プログラムを格納してもよい。記憶部123には、ユーザUの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。記憶部123には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
I/Oインターフェース124は、位置センサ130と、HMD110と、外部コントローラ320と、ヘッドフォン116と、マイク118とをそれぞれ制御装置120に通信可能に接続するように構成されており、例えば、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High―Definition Multimedia
Interface)端子等により構成されている。制御装置120は、位置センサ130と、HMD110と、外部コントローラ320と、ヘッドフォン116と、マイク118とのそれぞれと無線接続されていてもよい。
通信インターフェース125は、制御装置120をLAN(Local Area Network)、WAN(Wide Area Network)またはインターネット等の通信ネットワーク3に接続させるように構成されている。通信インターフェース125は、通信ネットワーク3を介してサーバ2等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク3を介して通信するための通信規格に適合するように構成されている。
次に、図7を参照して外部コントローラ320の具体的構成の一例について説明する。外部コントローラ320は、ユーザUの身体の一部(頭部以外の部位であり、本実施形態においてはユーザUの手)の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ320は、ユーザUの右手によって操作される右手用外部コントローラ320R(以下、単にコントローラ320Rという。)と、ユーザUの左手によって操作される左手用外部コントローラ320L(以下、単にコントローラ320Lという。)と、を有する。コントローラ320Rは、ユーザUの右手の位置や右手の手指の動きを示す装置である。また、コントローラ320Rの動きに応じて仮想空間内に存在する右手オブジェクト400R(図17参照)が移動する。コントローラ320Lは、ユーザUの左手の位置や左手の手指の動きを示す装置である。また、コントローラ320Lの動きに応じて仮想空間内に存在する左手オブジェクト400L(図17参照)が移動する。コントローラ320Rとコントローラ320Lは略同一の構成を有するので、以下では、図7を参照してコントローラ320Rの具体的構成についてのみ説明する。以降の説明では、便宜上、コントローラ320L,320Rを単に外部コントローラ320と総称する場合がある。
図7に示すように、コントローラ320Rは、操作ボタン302と、複数の検知点304と、図示しないセンサと、図示しないトランシーバとを備える。検知点304とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン302は、ユーザUからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン302は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面322上に2つのプッシュ式ボタン302a,302bが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ324の前面部分にトリガー式ボタン302eが設けられると共に、グリップ324の側面部分にトリガー式ボタン302fが設けられる。トリガー式ボタン302e,302fは、人差し指と中指によってそれぞれ操作されることが想定されている。アナログスティックは、所定のニュートラル位置から360度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面322上にアナログスティック320iが設けられており、親指を用いて操作されることが想定されている。
コントローラ320Rは、グリップ324の両側面から天面322とは反対側の方向へ延びて半円状のリングを形成するフレーム326を備える。フレーム326の外側面には、複数の検知点304が埋め込まれている。複数の検知点304は、例えば、フレーム326の円周方向に沿って一列に並んだ複数の赤外線LEDである。位置センサ130は、複数の検知点304の位置、傾きまたは発光強度に関する情報を検出した後に、制御装置120は、位置センサ130によって検出された情報に基づいて、コントローラ320Rの位置や姿勢(傾き・向き)に関する情報を取得する。
コントローラ320Rのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザUがコントローラ320Rを動かしたときに、コントローラ320Rの向きや動きに応じた信号(例えば、磁気、角速度、又は加速度に関する情報を示す信号)を出力する。制御装置120は、センサから出力された信号に基づいて、コントローラ320Rの位置や姿勢に関する情報を取得する。
コントローラ320Rのトランシーバは、コントローラ320Rと制御装置120との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザUの操作入力に対応する操作信号を制御装置120に送信してもよい。また、トランシーバは、検知点304の発光をコントローラ320Rに指示する指示信号を制御装置120から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置120に送信してもよい。
次に、図8から図11を参照することで視野画像をHMD110に表示するための処理について説明する。図8は、視野画像をHMD110に表示する処理を示すフローチャートである。図9は、仮想空間200の一例を示すxyz空間図である。図10の状態(a)は、図9に示す仮想空間200のyx平面図である。図10の状態(b)は、図9に示す仮想空間200のzx平面図である。図11は、HMD110に表示された視野画像Vの一例を示す図である。
図8に示すように、ステップS1において、制御部121(図6参照)は、仮想カメラ300と、各種オブジェクトとを含む仮想空間200を示す仮想空間データを生成する。図9に示すように、仮想空間200は、中心位置210を中心とした全天球として規定される(図9では、上半分の天球のみが図示されている)。仮想空間200では、中心位置210を原点とするxyz座標系が設定されている。仮想カメラ300は、HMD110に表示される視野画像V(図11参照)を特定するための視軸Lを規定している。仮想カメラ300の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動するように決定される。HMD110を装着したユーザUの現実空間における移動に連動して、制御部121は、仮想カメラ300を仮想空間200内で移動させてもよい。
次に、ステップS2において、制御部121は、仮想カメラ300の視野CV(図10参照)を特定する。具体的には、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の状態を示すデータに基づいて、HMD110の位置や傾きに関する情報を取得する。次に、制御部121は、HMD110の位置や傾きに関する情報に基づいて、仮想空間200内における仮想カメラ300の位置や向きを特定する。次に、制御部121は、仮想カメラ300の位置や向きから仮想カメラ300の視軸Lを決定し、決定された視軸Lから仮想カメラ300の視野CVを特定する。仮想カメラ300の視野CVは、HMD110を装着したユーザUが視認可能な仮想空間200の一部の領域に相当する(換言すれば、HMD110に表示される仮想空間200の一部の領域に相当する)。視野CVは、図10の状態(a)に示すxy平面において、視軸Lを中心とした極角αの角度範囲として設定される第1領域CVaと、図10の状態(b)に示すxz平面において、視軸Lを中心とした方位角βの角度範囲として設定される第2領域CVbとを有する。制御部121は、注視センサ140から送信されたユーザUの視線方向を示すデータに基づいて、ユーザUの視線方向を特定し、ユーザUの視線方向に基づいて仮想カメラ300の向きを決定してもよい。
このように、制御部121は、位置センサ130および/またはHMDセンサ114からのデータに基づいて、仮想カメラ300の視野CVを特定することができる。HMD110を装着したユーザUが動くと、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の動きを示すデータに基づいて、仮想カメラ300の視野CVを変化させることができる。すなわち、制御部121は、HMD110の動きに応じて、視野CVを変化させることができる。同様に、ユーザUの視線方向が変化すると、制御部121は、注視センサ140から送信されたユーザUの視線方向を示すデータに基づいて、仮想カメラ300の視野CVを移動させてもよい。すなわち、制御部121は、ユーザUの視線方向の変化に応じて、視野CVを変化させてもよい。
次に、ステップS3において、制御部121は、HMD110の表示部112に表示される視野画像Vを示す視野画像データを生成する。具体的には、制御部121は、仮想空間200を規定する仮想空間データと、仮想カメラ300の視野CVとに基づいて、視野画像データを生成する。
次に、ステップS4において、制御部121は、視野画像データに基づいて、HMD110の表示部112に視野画像Vを表示する(図11参照)。このように、HMD110を装着しているユーザUの動きに応じて、仮想カメラ300の視野CVが変化し、HMD110の表示部112に表示される視野画像Vが変化するので、ユーザUは仮想空間200に没入することができる。
仮想カメラ300は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部121は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。制御部121は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部121は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザUは、左目用視野画像と右目用視野画像との間の視差により、視野画像を3次元的に視認することができる。本明細書では、説明の便宜上、仮想カメラ300の数は一つとするが、本開示の実施形態は、仮想カメラの数が2つの場合でも適用可能である。
次に、図1に示すサーバ2のハードウェア構成について図12を参照して説明する。図12は、サーバ2のハードウェア構成を示す図である。図12に示すように、サーバ2は、制御部23と、記憶部22と、通信インターフェース21と、バス24とを備える。制御部23と、記憶部22と、通信インターフェース21は、バス24を介して互いに通信可能に接続されている。制御部23は、メモリとプロセッサを備えており、メモリは、例えば、ROMおよびRAM等から構成されるとともに、プロセッサは、例えば、CPU、MPUおよび/またはGPUにより構成される。
記憶部(ストレージ)22は、図13に示す処理を実行するための制御プログラムや360度コンテンツを格納するように構成されており、大容量のHDD等である。通信インターフェース21は、サーバ2を通信ネットワーク3に接続させるように構成されている。
次に、図13〜図18を参照して本実施形態に係る配信システムSの動作処理を以下に説明する。図13および図14は、配信システムSの動作処理を説明するためのシーケンス図である。
最初に、例えばスマートフォンなどのユーザ端末1にランディングページとして360度コンテンツが配信される場合の配信システムSの動作処理を、図13〜図15を参照して説明する。ランディングページとは、公告からの流入用に設けられる専用ウェブページ、すなわち、様々なネット広告やリンクをクリックした際に表示されるウェブページである。図13以降の説明ではユーザ端末1は、HMD110以外の端末機器、例えばスマートフォンであるとする。
図13に示すように、ステップS10−1において、例えばスマートフォンであるユーザ端末1の制御部18は、タッチスクリーン10上に表示されたウェブページを見ているユーザが、入力部16を介して、当該ウェブページ内のリンクLK1(図2参照)を選択したか否かを判断する。リンクLK1は、サーバ2から配信される360度コンテンツ(広告コンテンツ)のリンク元としての第一URL(Uniform Resource Locator)アドレスに対応するリンクである。
ユーザが第一URLアドレスに対応するリンクLK1を選択した、すなわち、第一URLアドレスへのアクセスがあったと判定された場合には(ステップS10−1のYES)、ステップS12−1において、ユーザ端末1の制御部18は、通信ネットワーク3を介して、第一URLアドレスに関連付けられた360度コンテンツの視聴を要求するための視聴要求信号をサーバ2に送信する。視聴要求信号は、ユーザ端末1の端末情報と、アドレス情報(ユーザ端末1のIPアドレスと、サーバ2のIPアドレス)と、ユーザのID情報とを含んでもよい。
次に、ステップS14において、サーバ2の制御部23は、視聴要求信号をユーザ端末1から受信し、視聴要求信号を送信したユーザ端末1の種類を特定する。具体的には、制御部23は、視聴要求信号を送信した端末機器(ここでは、ユーザ端末1)の端末情報に基づいて、当該端末機器が、HMDであるか、HMD以外の端末機器(例えばスマートフォン、パーソナルコンピュータ等)を判定する。本例では、制御部23は、ユーザ端末1の端末情報に基づいて、視聴要求信号を送信した端末機器はスマートフォン(すなわち、HMD以外の端末機器)であると特定する。
次に、ステップS16において、制御部23は、ユーザ端末1がHMD以外の端末機器であるとの判定に基づいて、360度コンテンツの表示条件を決定する。
視聴要求信号を送信した端末機器の種類に基づいて360度コンテンツの表示条件(コンテンツ表示条件)を決定する手法の一例について、図15を参照して説明する。図15は、360度コンテンツを構成する仮想空間200を示す図である。図15は、視聴要求信号を送信した端末機器が、タッチスクリーンを備えたユーザ端末1(例えば、スマートフォン)である場合の仮想空間200を示す図である。
本実施形態における360度コンテンツは、360度空間画像を含む仮想空間200として構成されている。すなわち、仮想空間200の表面上に360度空間画像が表示される。360度空間画像が表示される仮想空間200の表面上には、360度コンテンツの少なくとも一部を構成するメインコンテンツC1が表示されるメインコンテンツ表示領域R1が設けられている。メインコンテンツC1は、第一URLアドレスに関連付けられたコンテンツであって、例えば広告用のコンテンツである。広告コンテンツとは、広告画像である。広告画像は、広告動画であってもよく、例えば、サッカーなどのスポーツゲームの試合動画や通販番組であってもよい。広告画像は、例えば、広告バナーとして表示されてもよいし、リンク先を示してもよい。広告画像は、Showcaseとして三次元的に表示されてもよい。仮想空間200の表面上においてメインコンテンツ表示領域R1(および後述のサブコンテンツ表示領域R2,R3)が設けられている部分以外の領域についても、背景として360度空間画像(あるいは動画)が表示されてもよい。
360度空間画像が表示される仮想空間200の表面上には、メインコンテンツC1に関連するサブコンテンツC2,C3がそれぞれ表示されるサブコンテンツ表示領域R2,R3が設けられている。サブコンテンツは、例えば、メインコンテンツC1である広告動画に関連する広告コンテンツであり、例えば、視聴者コメントが表示されるテキスト欄C2や、メインコンテンツC1に関連する各種の商品を購入するためのリンクC3(後述の、第二URLアドレスに対応するリンクLK2を含む)等が含まれる。サブコンテンツ表示領域R2,R3は、メインコンテンツ表示領域R1の周辺、例えば、メインコンテンツ表示領域R1の左右方向に配置されている。
サブコンテンツ表示領域R2,R3は、メインコンテンツ表示領域R1と対向する方向の仮想空間200の表面上に設けられていてもよい。この場合、サブコンテンツ表示領域R2,R3は、仮想空間200水平方向においてメインコンテンツ表示領域R1に対して180度の位置に設けられることが好ましい。例えば、メインコンテンツ表示領域R1が全天球の上半分側に設けられている場合は、サブコンテンツ表示領域R2,R3は、全天球の上半分側であってメインコンテンツ表示領域R1に対向する位置に設けられる。
コンテンツ表示条件は、仮想空間200内に配置された仮想カメラ300の視野CVに関連した条件を含む。コンテンツ表示条件は、ユーザ端末1に最初に提示される視野CV内にメインコンテンツ表示領域R1の少なくとも一部が配置されるように規定される。すなわち、メインコンテンツC1は、仮想空間200の水平方向において、仮想空間200のうち第一URLアドレスへのアクセスに基づいてユーザ端末1,100に最初に提示される方向である正面方向に、少なくとも一部が配置される。また、コンテンツ表示条件は、特に、仮想カメラ300の視野CVのうち、図10の状態(b)に示すxz平面において、視軸Lを中心とした方位角βの角度範囲として設定される第2領域CVbの大きさ、すなわち、仮想空間200の水平方向(xz方向)における幅W1(図15参照)を規定する条件である。視野CVの幅W1は、視聴要求信号を送信した端末機器の種類に応じて変更可能であり、制御部23は、端末機器の種類に基づいてコンテンツ表示条件として視野CVの幅W1を決定する。
ステップS14において視聴要求信号を送信した端末機器がHMD以外の端末機器(本例ではスマートフォンであるユーザ端末1)であると特定された場合は、図15に示すように、仮想カメラ300の視野CVの幅W1は比較的広く規定される。例えば、視野CVの幅W1は、メインコンテンツ表示領域R1の水平方向の幅W2よりも広くなるように設定される。これにより、メインコンテンツC1が全て視野CV内に含まれるとともに、サブコンテンツC2,C3の少なくとも一部も視野CV内に含まれる。
次に、図14のステップS18において、サーバ2の制御部23は、第一URLアドレスに関連付けられたメインコンテンツC1のデータとメインコンテンツC1に関連するサブコンテンツC2,C3のデータと、コンテンツ表示条件(例えば、視野CVの幅W1を規定する条件)をユーザ端末1に送信する。次に、ステップS20−1において、ユーザ端末1の制御部18は、通信ネットワーク3を介して、メインコンテンツC1のデータと、サブコンテンツC2,C3のデータと、コンテンツ表示条件を受信し、コンテンツ表示条件に基づいてメインコンテンツC1およびサブコンテンツC2,C3を表示部15(タッチスクリーン10)に表示する。このようにして、ユーザ端末1のユーザは、メインコンテンツC1の視聴を開始することができる。
次に、ステップS22−1において、ユーザ端末1の制御部18は、表示部15に表示されているコンテンツを視聴したユーザが、入力部16を介して、第二URLアドレスに対応するリンク(例えば、サブコンテンツC3に設定されたリンクLK2)を選択したか否かを判断する。本例では、リンクLK2は、複数のサブコンテンツC3のうちの一つに設定されるものとするが、メインコンテンツC1やサブコンテンツC2に設定されるものであってもよい。第二URLアドレスは、課金コンテンツのリンク元としてのアドレスである。課金コンテンツとは、ユーザによりユーザ端末1に入力される課金指示が受け付けられるコンテンツである。ユーザが第二URLアドレスのリンクLK2を選択した、すなわち、第二URLアドレスへのアクセスがあったと判定された場合(ステップS22−1のYES)、ステップS24−1において、ユーザ端末1の制御部18は、通信ネットワーク3を介して、第二URLアドレスに関連付けられた課金コンテンツの視聴を要求するための視聴要求信号をサーバ2に送信する。
次に、ステップS26において、サーバ2の制御部23は、課金コンテンツの視聴要求信号をユーザ端末1から受信し、記憶部22に記憶された様々な課金コンテンツのうち、視聴要求信号に関連付けられた課金コンテンツを決定する。次に、ステップS28−1において、サーバ2の制御部23は、ステップS26で決定した課金コンテンツを定義するデータを、通信ネットワーク3を介してユーザ端末1に送信する。次に、ステップS30−1において、課金コンテンツを定義するデータを受信したユーザ端末1の制御部18は、課金コンテンツを表示部15に表示する。このようにして、ユーザ端末1のユーザは、課金コンテンツの視聴を開始することができる。
次に、端末機器がHMD110である場合、すなわち、HMD110にランディングページとして360度コンテンツが配信される場合の配信システムSの動作処理を、図13、図14を再び参照するとともに、図16を参照して説明する。
図13に示すように、ステップS10−2において、ユーザ端末100(HMD110)の制御部121は、ユーザUが、例えば図11に示す視野画像V内の第一URLアドレスのリンクLK1を選択したか否かを判断する。ユーザUは、外部コントローラ320を用いてリンクLK1を選択してもよく、後述のハンドデバイスオブジェクトHR,HLを用いてリンクLK1を選択してもよい。ユーザUがリンクLK1を選択した、すなわち、第一URLアドレスへのアクセスがあったと判定された場合には(ステップS10−2のYES)、ステップS12−2において、HMD110の制御部121は、通信ネットワーク3を介して、第一URLアドレスに関連付けられた360度コンテンツの視聴を要求するための視聴要求信号をサーバ2に送信する。HMD110の制御部121から送信される視聴要求信号は、HMD110の端末情報と、アドレス情報(HMD110のIPアドレスと、サーバ2のIPアドレス)と、ユーザUのID情報(ユーザUのID情報に関連付けられたHMD110以外の端末機器の情報を含む)とを含んでもよい。
次に、ステップS14において、サーバ2の制御部23は、視聴要求信号をHMD110から受信し、当該視聴要求信号に基づいて第一URLアドレスにアクセスした端末機器がHMD110であることを特定する。次に、ステップS16において、制御部23は、端末機器がHMD110であると特定されたことに基づき、360度コンテンツの表示条件を決定する。
図16は、視聴要求信号を送信した端末機器がHMD110である場合の仮想空間200Aを示す図である。図15に示す仮想空間200と同様に、360度コンテンツを構成する仮想空間200Aの表面上には、メインコンテンツC1が表示されるメインコンテンツ表示領域R1と、サブコンテンツC2,C3が表示されるサブコンテンツ表示領域R2,R3が配置されている。また、図16に示す仮想空間200Aには、メインコンテンツC1に関連する商品オブジェクトG1,G2や、商品購入のためのオブジェクトであるカートオブジェクトCT(受付オブジェクトの一例)が含まれている。仮想空間200Aは、HMD110のユーザUの仮想手としてユーザUが操作可能な左手オブジェクト400Lと右手オブジェクト400Rを含んでもよい。商品オブジェクトG1,G2は、例えば、メインコンテンツC1に関連する広告商品の3次元オブジェクトである。メインコンテンツC1がサッカーの試合動画である場合には、商品オブジェクトとして、例えば、試合中のチームのユニフォームに対応するユニフォームオブジェクトG1や公式スポンサーのスニーカーに対応するスニーカーオブジェクトG2等が仮想空間200内に配置され得る。カートオブジェクトCTには、所定の課金コンテンツが関連付けられている。
次に、仮想空間200Aに含まれる左手オブジェクト400Lおよび右手オブジェクト400Rについて図17を参照して説明する。図17の状態(a)は、HMD110とコントローラ320L,320Rを装着したユーザUを示す図である。図17の状態(b)は、仮想カメラ300と、左手オブジェクト400L(操作オブジェクトの一例)と、右手オブジェクト400R(操作オブジェクトの一例)と、商品オブジェクトG1,G2と、カートオブジェクトCTとを含む仮想空間200Aを示す図である。なお、図17の状態(b)においては、メインコンテンツ表示領域R1やサブコンテンツ表示領域R2,R3の図示は省略する。
図17に示すように、仮想空間200Aは、仮想カメラ300と、左手オブジェクト400Lと、右手オブジェクト400Rと、商品オブジェクトG1,G2と、カートオブジェクトCTとを含む。制御部121は、これらのオブジェクトを含む仮想空間200Aを規定する仮想空間データを生成している。上述したように、仮想カメラ300は、ユーザUが装着しているHMD110の動きに連動する。つまり、仮想カメラ300の視野は、HMD110の動きに応じて更新される。また、左手オブジェクト400Lと右手オブジェクト400Rは、それぞれコリジョンエリアCAを有する。コリジョンエリアCAは、手オブジェクト400と商品オブジェクトG1,G2やカートオブジェクトCTとのコリジョン判定(当たり判定)に供される。例えば、手オブジェクト400のコリジョンエリアCAと商品オブジェクトG1,G2のコリジョンエリアとが接触することで、手オブジェクト400と商品オブジェクトG1,G2とが接触したことが判定される。図17に示すように、コリジョンエリアCAは、例えば、手オブジェクト400の中心位置を中心とした直径Rを有する球により規定されてもよい。以下の説明では、コリジョンエリアCAは、手オブジェクト400の中心位置を中心とした直径Rの球状に形成されているものとする。
なお、カートオブジェクトCTにもコリジョンエリアが設定され、商品オブジェクトG1,G2のコリジョンエリアとの関係に基づいて、商品オブジェクトG1,G2とカートオブジェクトCTとの接触を判定してもよい。これにより、手オブジェクト400によって商品オブジェクトG1,G2の挙動が操作された場合(カートオブジェクトCTに投げ入れられるなど)にも、商品オブジェクトG1,G2に基づいてカートオブジェクトCTに容易に作用を与え、各種判定に供することができる。
商品オブジェクトG1,G2は、左手オブジェクト400L,右手オブジェクト400Rによって移動させることができる。例えば、手オブジェクト400と商品オブジェクトG1が接触した状態でコントローラ320を操作して手オブジェクト400の指を曲げることにより掴む動作を行う。この状態で手オブジェクト400を移動させると、手オブジェクト400の移動に追随するように、商品オブジェクトG1を移動させることができる。また、移動中に手オブジェクト400の掴む動作を解除すると、手オブジェクト400の移動速度、加速度、および、重力等を考慮して商品オブジェクトG1を仮想空間200内において移動させることができる。これにより、ユーザはコントローラ320を用いて、商品オブジェクトG1,G2を掴んだり投げたりといった直感的な操作によって、意のままに操ることができる。
再び、図13に戻り、ステップS16において視聴要求信号を送信した端末機器がHMD110であると判定された場合は、図16に示すように、コンテンツ表示条件として、仮想カメラ300の視野CVの水平方向の幅W1Aは、視聴要求信号を送信した端末機器がユーザ端末1である場合(仮想空間200)の視野CVの幅W1と比べて、狭く規定される。例えば、仮想空間200Aにおける視野CVの幅W1Aは、メインコンテンツ表示領域R1の幅W2よりも狭く設定され、視野CVに基づく初期状態の視野画像においてメインコンテンツC1の水平方向の全幅の一部のみ視野画像内には含まれる。
ステップS16において視聴要求信号を送信した端末機器がHMD110であると判定された場合は、図14に示すステップS18において、制御部23は、第一URLアドレスに関連付けられたメインコンテンツC1のデータと、メインコンテンツC1に関連するサブコンテンツC2,C3のデータと、コンテンツ表示条件(例えば、視野CVの幅W1Aを規定する条件)をHMD110に送信する。次に、ステップS20−2において、HMD110の制御部121は、通信ネットワーク3を介して、メインコンテンツC1のデータと、サブコンテンツC2,C3のデータと、コンテンツ表示条件を受信し、コンテンツ表示条件に基づいてメインコンテンツC1の視野画像を表示部112に表示する。上述の通り、HMD110の場合はユーザ端末1の場合に比べて視野CVの幅W1Aが狭く設定されており初期状態の視野画像においてはメインコンテンツC1周辺のサブコンテンツC2,C3は、表示部112には表示されない。このようにして、HMD110のユーザUは、360度コンテンツの視聴を開始することができる。図8のフローチャートで既に説明したように、360度コンテンツの視野画像は、HMD110の動き(位置や傾き)に応じて更新され、ユーザUは、首を左右に動かすことで、メインコンテンツC1周辺のサブコンテンツC2,C3や商品オブジェクトG1,G2、カートオブジェクトCTを視認することができる。
次に、ステップS22−2において、HMD110の制御部121は、ユーザUが、例えば、サブコンテンツC3中に設定された第二URLアドレスのリンクLK2を選択したか否かを判断する。ユーザUがリンクLK2を選択した、すなわち、第二URLアドレスへのアクセスがあったと判定された場合(ステップS22−2のYES)、ステップS24−2において、HMD110の制御部121は、通信ネットワーク3を介して、第二URLアドレスに関連付けられた課金コンテンツの視聴を要求するための視聴要求信号をサーバ2に送信する。
次に、ステップS26において、サーバ2の制御部23は、課金コンテンツの視聴要求信号をHMD110から受信し、視聴要求信号に関連付けられた課金コンテンツを決定する。次に、ステップS28において、サーバ2の制御部23は、ステップS26で決定した課金コンテンツを、通信ネットワーク3を介してHMD110に送信する。次に、ステップS30−2において、課金コンテンツを受信したHMD110の制御部121は、課金コンテンツを表示部112に表示する。このようにして、HMD110のユーザUは、課金コンテンツの視聴を開始することができる。
次に、HMD110のユーザUが、仮想空間200A内の商品オブジェクトG1,G2を用いて、メインコンテンツC1に関連付けられた商品をユーザUの追加の意思表示なしに、いわゆる、ワンクリック方式で購入(注文)する場合の動作処理について図18のシーケンス図を参照して説明する。
図17に示すように、HMD110のユーザUは、仮想空間200Aに含まれる左手オブジェクト400,右手オブジェクト400Rを用いて、仮想空間200A内の商品オブジェクトG1,G2を掴むなどして商品オブジェクトG1,G2を観察し、これらの商品オブジェクトG1,G2に対応する実際の商品の購入(注文)を検討することができる。
図18のステップ32において、HMD110の制御部121は、ユーザUが、商品オブジェクトG1,G2の少なくとも一方をカートオブジェクトCTに関連付ける動作を行ったか否かを判定する。カートオブジェクトCTに関連付ける動作とは、例えば、手オブジェクト400を用いて商品オブジェクトG1,G2の少なくとも一方を掴み、その商品オブジェクトをカートオブジェクトCTに投げ入れる動作を指す。ユーザUは、手オブジェクト400とは別の手段により商品オブジェクトG1,G2をカートオブジェクトCTに関連付けることもできる。ユーザUが、例えば商品オブジェクトであるユニフォームオブジェクトG1を掴んでカートオブジェクトCTに投げ入れたと判定された場合には(ステップS32のYES)、ステップS34において、HMD110の制御部121は、ユニフォームオブジェクトG1に対応する実際のユニフォームに対するユーザUからの注文を受け付ける注文受付信号をサーバ2へ送信する。
次に、ステップS36において、サーバ2の制御部23は、注文受付信号をHMD110から受信し、注文受付信号に関連付けられた商品(ユニフォーム)のユーザUからの注文を受け付ける。注文受付は、例えば、一般的な電子コマースの方法を用いることができる。次に、ステップS38において、サーバ2の制御部23は、商品の注文受付完了信号を、HMD110に送信する。なお、ユーザ端末1がHMD110のユーザUのID情報と関連付けられている場合、すなわち、ユーザ端末1がHMD110のユーザUが所有するスマートフォンやパーソナルコンピュータである場合には、ステップS38において、サーバ2の制御部23は、注文受付完了信号をユーザ端末1へも送信しうる。次に、ステップS40−2において、サーバ2から注文受付完了信号を受信したHMD110の制御部121は、商品の注文受付完了情報を表示部112に表示する。また、注文受付完了信号がユーザ端末1へも送信される場合には、ステップS40−1において、ユーザ端末1の制御部18は、商品の注文受付完了情報を表示部15に表示する。このようにして、HMD110のユーザUは、商品オブジェクトG1に関連付けられた実際のユニフォームの注文が受け付けられたことを、装着中のHMD110および/またはユーザU自らが所有するユーザ端末1により確認することができる。
以上説明したように、本実施形態によれば、ユーザ端末1,100による第一URLアドレスに対応するウェブページからのアクセスに基づいて、第一URLアドレスに関連するメインコンテンツC1およびメインコンテンツC1に関連するサブコンテンツC2を含む360度コンテンツをユーザ端末1,100に提供する。また、メインコンテンツC1またはサブコンテンツC2,C3には、課金コンテンツが関連付けられた第二URLアドレスのリンクが設定されており、第二URLアドレスに対応するウェブページへのアクセスに基づいて、課金コンテンツを定義するデータがユーザ端末1,100に送信される。これにより、仮想空間を活用して広告効果を向上させることができる。すなわち、広告商品に関するメインコンテンツC1およびサブコンテンツC2,C3を仮想空間で構成されるものとして提供することで、従来のWeb広告よりも当該商品の購入率(いわゆる、コンバージョン率)を高めることができる。
また、制御部23は、メインコンテンツC1の少なくとも一部が、仮想空間200,200Aの水平方向において、仮想空間200,200Aのうち第一URLアドレスへのアクセスに基づいてユーザ端末1,100に最初に提示される方向である正面方向に配置されるように、視野CVを規定する。これにより、ユーザ端末1,100のユーザに対して最初にメインコンテンツC1を提示することができ、広告効果をさらに高めることができる。
また、第一URLアドレスにアクセスした端末機器がHMD110である場合には、制御部23は、仮想空間200Aの水平方向におけるメインコンテンツC1の幅W2が、視野CVの幅W1Aよりも大きくなるように、メインコンテンツC1の形状あるいは視野CVの幅W1Aを設定する。これにより、HMD110で360度コンテンツを視聴する場合には、メインコンテンツC1を360度コンテンツらしく楽しむことができ、広告効果をさらに高めることができる。
また、第一URLアドレスにアクセスした端末機器の視野CVの幅W1,W1Aに応じて、メインコンテンツC1の幅W2を異ならせても良い。これにより、端末機器に応じたメインコンテンツC1/サブコンテンツC2,C3の提示を可能にし、効果的な広告提示を行うことができる。なお、上記の実施形態では、第一URLアドレスにアクセスした端末機器の種類に応じて、視野CVの幅W1,W1Aを異ならせる手法を例示しているが、視野CVの幅W1,W1Aを変更する代わりに、仮想空間200,200Aの水平方向におけるメインコンテンツ表示領域R1の幅W2を変更してもよい。
具体的には、端末機器がHMD110である場合には、視野CVの幅W1AよりもメインコンテンツC1の幅W2を大きくし、端末機器がタッチスクリーンを備える機器(例えば、スマートフォンなどのユーザ端末1)である場合には、視野CVの幅W1よりもメインコンテンツC1の幅W2を小さくすることが好ましい。
タッチスクリーンを備える端末機器、例えばスマートフォンやタブレット型のユーザ端末1の場合は、ユーザは二次元動画の視聴に慣れているため、メインコンテンツC1だけでなく広告コンテンツとしてのサブコンテンツC2,C3も初期視野に含まれた方がいい可能性がある。すなわち、スマートフォンやタブレット型端末にメインコンテンツC1を表示させる場合にはメインコンテンツC1の幅を視野CVの幅よりも狭くすることでユーザがメインコンテンツC1周辺のサブコンテンツC2,C3に気づきやすいようにさせる。一方で、これらの端末機器よりも視野の広いHMD110にメインコンテンツC1を表示させる場合には当該メインコンテンツC1の幅を視野CVの幅よりも広くしてユーザUの没入感を損なわないようにする。
また、端末機器がHMD110である場合には、仮想空間200Aは、メインコンテンツC1に関連するオブジェクト(例えば、広告商品に関連する商品オブジェクトG1,G2)を含み得る。商品オブジェクトG1,G2をHMD110の表示部112に表示させることで、例えば360度動画であるメインコンテンツC1の利点と商品オブジェクトG1,G2の利点との双方を活用することができ、ユーザUの購買意欲を高めることができる。
また、端末機器がHMD110である場合には、仮想空間200Aは、メインコンテンツC1に関連する商品オブジェクトG1,G2と、商品オブジェクトG1,G2に関連付けられた商品に対するユーザUからの注文を受け付ける受付オブジェクトCTを含み、制御部121は、受付オブジェクトCTに商品オブジェクトG1,G2が関連付けられた場合には、商品の注文を受け付ける。このように、商品の注文手続きを単純化することでコンバージョン率をさらに向上させることができる。
また、サーバ2の制御部23(もしくはユーザ端末1の制御部18、ユーザ端末100の制御部121)によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ(プロセッサ)に実行させるための制御プログラムが記憶部22(もしくは、主記憶12(補助記憶13)、記憶部123)またはROMに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク(HDD、フロッピーディスク)、光ディスク(CD−ROM,DVD−ROM、Blu−ray(登録商標)ディスク等)、光磁気ディスク(MO等)、フラッシュメモリ(SDカード、USBメモリ、SSD等)等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体がサーバ2(もしくは、ユーザ端末1,100)に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部22(もしくは、主記憶12(補助記憶13)、記憶部123)に組み込まれる。そして、記憶部22(もしくは、主記憶12(補助記憶13)、記憶部123)に組み込まれた制御プログラムがRAM上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部23(もしくは、制御部18、制御部121)は本実施形態に係る情報処理方法を実行する。
また、制御プログラムは、通信ネットワーク3上のコンピュータから通信インターフェースを介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部22(もしくは、主記憶12(補助記憶13)、記憶部123)に組み込まれる。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
本実施形態の説明では、図15および図16に示すように、360度空間画像が表示される仮想空間200の表面上にメインコンテンツ表示領域R1およびサブコンテンツ表示領域R2,R3が設けられているが、この例に限られない。例えば、仮想空間200内の所定位置に配置されるオブジェクトの表面上に、メインコンテンツやサブコンテンツを表示するためのコンテンツ表示領域を設けてもよい。また、メインコンテンツやサブコンテンツが3次元的に表示される場合には、これらのコンテンツは、オブジェクトの内部に表示されてもよい。この場合、コンテンツ表示領域は、オブジェクトの内部に設けられる。また、コンテンツを表示するオブジェクトは、透明であってもよい(すなわち、各オブジェクトに対してテクスチャマッピング処理が実行されない)。
本実施形態において、仮想空間は、ユーザにVR(Virtual Reality)、AR(Argumented Reality)及びMR(Mixed Reality)といった、仮想体験を提供するために用いられる。仮想空間がVRを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がARまたはMRを提供する場合、背景には現実空間が使用される。この場合、HMD110が透過型の表示装置(光学シースルーまたはビデオシースルー型の表示装置)を備えることにより、現実空間が背景として使用され得る。仮想空間がMRに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。
仮想空間がARまたはMRに適用される場合には、上述のハンドデバイスオブジェクトHR,HLの代わりにユーザの手が用いられてもよい。この場合、ユーザは、自らの手により、仮想空間内の3次元商品オブジェクトG1,G2をつかむことができる。
1:ユーザ端末(端末機器の一例)
2:サーバ
3:通信ネットワーク
10:タッチスクリーン
11:プロセッサ
15:表示部
18:制御部
21:通信インターフェース
22:記憶部
23:制御部
24:バス
100:ユーザ端末(端末機器の一例)
110:ヘッドマウントデバイス(HMD)
112:表示部
114:センサ
116:ヘッドフォン
118:マイク
120:制御装置
121:制御部
123:記憶部(ストレージ)
124:I/Oインターフェース
125:通信インターフェース
130:位置センサ
140:注視センサ
200,200A:仮想空間
300:仮想カメラ
320:外部コントローラ
400(400L,400R):手オブジェクト(左手オブジェクト、右手オブジェクト)
C1:メインコンテンツ
C2,C3:サブコンテンツ
CT:カートオブジェクト(商品購入オブジェクトの一例)
CV:視野
CVa:第1領域
CVb:第2領域
G1,G2:商品オブジェクト
L:視軸
LK1:第一URLアドレスのリンク
LK2:第二URLアドレスのリンク
P0:中心位置
R1:メインコンテンツ表示領域
R2,R3:サブコンテンツ表示領域
S:360度コンテンツ配信システム(配信システム)
W1,W1A:視野CVの水平方向の幅
W2:メインコンテンツ表示領域の水平方向の幅

Claims (10)

  1. 情報処理方法であって、
    前記情報処理方法は、端末機器を備えたシステムにおいて実行され、
    (a)360度コンテンツである仮想空間を定義する仮想空間データを生成するステップと、
    (b)第一URL(Uniform Resource Locator)アドレスに対応するウェブページからのアクセスに基づいて、前記端末機器に前記仮想空間データを提供するステップと、を含み、
    前記仮想空間は、メインコンテンツと、サブコンテンツを含み、
    前記メインコンテンツは、前記仮想空間の水平方向における、前記仮想空間のうち前記アクセスに基づいて前記端末機器に最初に提示される方向である正面方向に、少なくとも一部が配置され、
    前記サブコンテンツは、前記メインコンテンツの周辺、または、前記仮想空間において前記メインコンテンツと対向する方向に提示され、
    前記メインコンテンツおよび前記サブコンテンツの少なくとも一方には、第二URLアドレスが関連付けられており、
    前記第二URLアドレスには、ユーザにより前記端末機器に入力される課金指示が受け付けられる課金コンテンツが関連付けられており、
    (c)前記ユーザによる、前記第二URLアドレスが関連付けられた前記メインコンテンツまたは前記サブコンテンツに対する入力を受け付けるステップと、
    (d)前記入力に基づいて、前記第二URLアドレスに対応するウェブページへのアクセスを受け付け、前記課金コンテンツを定義するデータを前記端末機器あるいは前記ユーザに関連付けられた他の端末機器に提供するステップと、をさらに含む、情報処理方法。
  2. 前記仮想空間の水平方向における前記メインコンテンツの幅が、前記仮想空間のうち前記端末機器に提示される視野の幅よりも大きい、請求項1に記載の情報処理方法。
  3. (d)前記端末機器に応じた前記視野の幅を特定するステップと、
    (e)前記視野の幅に応じて、前記メインコンテンツの幅を異ならせるステップと、をさらに含む、請求項1または2に記載の情報処理方法。
  4. 前記端末機器がヘッドマウントデバイスである場合には、前記視野の幅よりも前記メインコンテンツの幅を大きくし、
    前記端末機器がタッチスクリーンを備える機器である場合には、前記視野の幅よりも前記メインコンテンツの幅を小さくする、請求項3に記載の情報処理方法。
  5. 前記端末機器がヘッドマウントデバイスである場合には、前記仮想空間が前記メインコンテンツに関連するオブジェクトを含むようにする、請求項1から4のいずれか一項に記載の情報処理方法。
  6. 前記仮想空間は、前記メインコンテンツに関連する商品オブジェクトと、前記商品オブジェクトと関連付けられた商品に対する前記ユーザからの注文を受け付ける受付オブジェクトと、を含み、
    (f)前記受付オブジェクトに前記商品オブジェクトが関連付けられた場合に、前記商品の前記注文を受け付けるステップをさらに含む、請求項1から5のいずれか一項に記載の情報処理方法。
  7. (g)前記ユーザの身体の一部の動きに応じて、前記仮想空間に含まれる操作オブジェクトを動かすステップと、
    (h)前記操作オブジェクトの動きに応じて、前記商品オブジェクトを移動させるステップと、
    (i)前記商品オブジェクトの移動に基づいて、前記商品オブジェクトと前記受付オブジェクトとを関連付けるステップと、をさらに含む、請求項6に記載の情報処理方法。
  8. 請求項1から7のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  9. 前記端末機器を備えた情報処理システムであって、請求項1から7のうちいずれか一項に記載の情報処理方法を実行するように構成された、情報処理システム。
  10. プロセッサと、
    コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
    前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項1から7のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。
JP2019105146A 2019-06-05 2019-06-05 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 Active JP6994005B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019105146A JP6994005B2 (ja) 2019-06-05 2019-06-05 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019105146A JP6994005B2 (ja) 2019-06-05 2019-06-05 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017100939A Division JP6538107B2 (ja) 2017-05-22 2017-05-22 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置

Publications (3)

Publication Number Publication Date
JP2019194870A true JP2019194870A (ja) 2019-11-07
JP2019194870A5 JP2019194870A5 (ja) 2021-01-21
JP6994005B2 JP6994005B2 (ja) 2022-01-14

Family

ID=68469433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019105146A Active JP6994005B2 (ja) 2019-06-05 2019-06-05 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置

Country Status (1)

Country Link
JP (1) JP6994005B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
CN113674397A (zh) * 2021-04-23 2021-11-19 阿里巴巴新加坡控股有限公司 一种数据处理方法及装置
JP2022042980A (ja) * 2020-08-28 2022-03-15 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境での相互作用を可能にするシステム及び方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042967A (ja) * 2007-08-08 2009-02-26 Nikon Corp 情報入力表示システム、情報端末および表示装置
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
JP2014228916A (ja) * 2013-05-20 2014-12-08 株式会社ディエムアイ 体験型電子商取引サイトシステム
JP2015064476A (ja) * 2013-09-25 2015-04-09 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法
JP2015515701A (ja) * 2012-04-25 2015-05-28 コピン コーポレーション Asrおよびht入力を有する補助ディスプレイとしてのヘッドセットコンピュータ(hsc)
JP2017045296A (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009042967A (ja) * 2007-08-08 2009-02-26 Nikon Corp 情報入力表示システム、情報端末および表示装置
JP2015515701A (ja) * 2012-04-25 2015-05-28 コピン コーポレーション Asrおよびht入力を有する補助ディスプレイとしてのヘッドセットコンピュータ(hsc)
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
JP2014228916A (ja) * 2013-05-20 2014-12-08 株式会社ディエムアイ 体験型電子商取引サイトシステム
JP2015064476A (ja) * 2013-09-25 2015-04-09 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法
JP2017045296A (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP2022042980A (ja) * 2020-08-28 2022-03-15 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境での相互作用を可能にするシステム及び方法
JP7464989B2 (ja) 2020-08-28 2024-04-10 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境での相互作用を可能にするシステム及び方法
CN113674397A (zh) * 2021-04-23 2021-11-19 阿里巴巴新加坡控股有限公司 一种数据处理方法及装置
CN113674397B (zh) * 2021-04-23 2024-06-11 阿里巴巴创新公司 一种数据处理方法及装置

Also Published As

Publication number Publication date
JP6994005B2 (ja) 2022-01-14

Similar Documents

Publication Publication Date Title
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018030453A1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、及びコンピュータ
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP2019192173A (ja) プログラム、情報処理装置、および方法
JP6994005B2 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6117414B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6538107B2 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6298874B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6416338B1 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6289703B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2019192203A (ja) プログラム、情報処理装置、および方法
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018109940A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6449922B2 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092656A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019192176A (ja) プログラム、情報処理装置、および方法
JP2018018499A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6994005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150