JP2021105879A - プログラム、情報処理装置及び方法 - Google Patents

プログラム、情報処理装置及び方法 Download PDF

Info

Publication number
JP2021105879A
JP2021105879A JP2019237325A JP2019237325A JP2021105879A JP 2021105879 A JP2021105879 A JP 2021105879A JP 2019237325 A JP2019237325 A JP 2019237325A JP 2019237325 A JP2019237325 A JP 2019237325A JP 2021105879 A JP2021105879 A JP 2021105879A
Authority
JP
Japan
Prior art keywords
user
content
virtual space
data
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019237325A
Other languages
English (en)
Other versions
JP6793807B1 (ja
Inventor
量生 川上
Kazuo Kawakami
量生 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019237325A priority Critical patent/JP6793807B1/ja
Priority to CN202080063745.6A priority patent/CN114402274B/zh
Priority to US17/762,613 priority patent/US20220343604A1/en
Priority to PCT/JP2020/039218 priority patent/WO2021131266A1/ja
Priority to JP2020187240A priority patent/JP7389009B2/ja
Application granted granted Critical
Publication of JP6793807B1 publication Critical patent/JP6793807B1/ja
Publication of JP2021105879A publication Critical patent/JP2021105879A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想空間でコンテンツを視聴しているユーザに、他のユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高める。【解決手段】第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップと、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップと、コンテンツに予め関連付けられるオブジェクト、または、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを仮想空間に配置する第3ステップと、を実行する。第3ステップにおいて、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置及び予め関連付けられるオブジェクトの位置にかかわらない位置に、予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる。【選択図】図6

Description

本開示は、コンテンツを視聴するためのプログラム、情報処理装置及び方法に関する。
従来からVR(仮想現実、バーチャル・リアリティ)技術を用いて教育用コンテンツを再生することが提案されている。例えば、特許文献1には、講師側の機器と生徒側の機器との間で講義を行う学習システムにおいて、録音・録画されるデータを三次元仮想空間内に描画する学習システムが開示されている。
特開2009−145883号公報
しかしながら、特許文献1のような通信制授業では、生徒はそれぞれ個別の場所で1人で授業を受けているため、他の生徒の状況がわからない。このため、授業に参加している臨場感が乏しく、また、一緒に授業を受けている他の生徒とコミュニケーションを取ることができない。これにより、授業に対するモチベーションを維持することが難しく、また、授業に対して受動的になりやすい。
本開示は、上記事情に鑑みてなされたものであり、仮想空間においてコンテンツを視聴しているユーザに、他のユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高めることを目的とする。
一実施の形態によると、コンテンツを視聴するためのコンピュータにおいて実行されるプログラムが提供される。コンピュータは、プロセッサと、メモリとを備え、プログラムは、プロセッサに、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップと、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップと、コンテンツに予め関連付けられるオブジェクト、または、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを仮想空間に配置する第3ステップと、を実行させ、第3ステップにおいて、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置及び予め関連付けられるオブジェクトの位置にかかわらない位置に、予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる。
一実施の形態によると、コンテンツを視聴するための情報処理装置が提供される。情報処理装置は、制御部と、記憶部とを備え、制御部は、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップと、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップと、コンテンツに予め関連付けられるオブジェクト、または、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを仮想空間に配置する第3ステップと、を実行させ、第3ステップにおいて、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置及び予め関連付けられるオブジェクトの位置にかかわらない位置に、予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる。
一実施の形態によると、コンテンツを視聴するためのコンピュータにおいて実行される方法が提供される。コンピュータは、プロセッサと、メモリとを備え、方法は、プロセッサが、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップと、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップと、コンテンツに予め関連付けられるオブジェクト、または、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを仮想空間に配置する第3ステップと、を実行させ、第3ステップにおいて、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置及び予め関連付けられるオブジェクトの位置にかかわらない位置に、予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる。
上述のコンテンツを視聴するためのプログラム、情報処理装置及び方法によれば、仮想空間においてコンテンツを視聴しているユーザに、他のユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高めることができるとともに、仮想空間において最適な位置でコンテンツを視聴することができる。
本発明の第1の実施形態におけるコンテンツ視聴システム1の全体の構成を示す図である。 本発明の第1の実施形態におけるコンテンツ配信サーバの構成を示す図である。 本発明の第1の実施形態におけるコンテンツ視聴装置の構成を示す図である。 本発明の第1の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。 本発明の第1の実施形態におけるコンテンツを配信する際の配信制御情報を示す図である。 本発明の第1の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートである。 本発明の第1の実施形態におけるユーザ端末の表示画面の一例を示す図である。 本発明の第2の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。 本発明の第2の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートである。 本発明の第2の実施形態におけるコンテンツ視聴装置に表示される画面の一例を示す図である。 本発明の第3の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。 本発明の第3の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートである。 本発明の第3の実施形態におけるコンテンツ視聴装置に表示される画面の一例を示す図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
(第1の実施形態)
本開示の第1の実施形態である、VR技術を用いて教育用コンテンツを視聴する際に、当該コンテンツを過去に視聴したユーザに対応するオブジェクトを仮想空間に配置するコンテンツ視聴システム1について説明する。
<1 コンテンツ視聴システムの構成>
まず、図1を用いて本実施形態に係るコンテンツ視聴システム1の構成、及びその概要について説明する。
コンテンツ視聴システム1は、コンテンツをユーザ端末に配信するためのシステムである。図1に示すように、コンテンツ視聴システム1は、コンテンツ配信サーバ10と、ユーザ端末(図1ではユーザ端末20Aおよびユーザ端末20Bを示しているが、以下、総称して「ユーザ端末20」ということもある)とを含む。コンテンツ配信サーバ10とユーザ端末20とは、例えばインターネットなどのネットワークNWを介して互いに通信可能に接続されている。ネットワークNWの通信回線は、有線でもよいし無線でもよい。
コンテンツ配信サーバ10は、ユーザが指定している教育用コンテンツを、ユーザ端末20に配信するサーバ装置である。具体的に、コンテンツ配信サーバ10は、仮想空間において講義データをコンテンツとして生成し、生成したコンテンツを、ネットワークNWを介してユーザ端末20に配信する。例えば、この講義データは、コンテンツ配信サーバ10に蓄積された画像などである。詳細は後述する。
ユーザ端末20は、ユーザに装着しているヘッドマウントデバイスなど、仮想空間においてコンテンツを表示するための画像表示装置であり、ユーザの顔の向きに合わせてコンテンツを連動させて360度の視界を表現する。また、ユーザ端末20は、インターネットなどのネットワークNWを介してコンテンツ配信サーバ10に接続可能な装置である。詳細は後述する。ヘッドマウントデバイスは、表示部を備える所謂ヘッドマウントディスプレイであってもよく、表示部を有するスマートフォン等の端末を装着可能なヘッドマウント機器であってもよい。
<1.1 コンテンツ配信サーバの構成>
図2は、コンテンツ配信サーバ10の機能的な構成を示す図である。図2に示すように、コンテンツ配信サーバ10は、コンテンツをユーザ端末に配信するためのシステムであり、通信部101と、記憶部102と、制御部103と、を備える。
通信部101は、ネットワークNWを介してユーザ端末20と通信を行う。通信部101はユーザ端末20へ、視聴可能なコンテンツリストや、ユーザが指定したコンテンツを送信する。また、ユーザ端末20はユーザ端末20から、ユーザの視聴リクエスト信号や、ユーザがコンテンツを視聴している際の入力操作を示す信号を受信する。また、通信部101は、必要に応じてユーザがユーザ端末20からコンテンツ配信サーバ10へログインを行うためのログインID情報の受信を行ってもよい。
記憶部102は、コンテンツを生成するためのデータ及びプログラムを記憶し、具体的には、講義データ1021と、ユーザ情報データ1022とを記憶している。講義データ1021は、例えば事前に録画した画像を保持するためのデータベースであり、ユーザ情報データ1022は、ユーザ端末20を使用するユーザの情報を保持するためのデータベースである。詳細は後述する。
制御部103は、ユーザ端末20から送信される視聴リクエストに応じて、記憶部102に記憶されているデータを仮想空間にコンテンツとして生成し、通信部101及びネットワークNWを介してユーザ端末20へ配信する。具体的に、制御部103は、コンテンツ配信サーバ10のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。
受信制御モジュール1031は、コンテンツ配信サーバ10が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。具体的に、受信制御モジュール1031は、ユーザ端末20からのユーザの入力を受信する処理を制御する。当該ユーザの入力は、視聴しようとするコンテンツの指定と、コンテンツを視聴している際のモーションデータと、音声データの入力などを含む。
送信制御モジュール1032は、コンテンツ配信サーバ10が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。具体的に、送信制御モジュール1032は、ユーザ端末20への視聴可能なコンテンツリストの送信処理、及びコンテンツの配信処理を制御する。
仮想空間提供モジュール1033は、コンテンツを視聴するための仮想空間を特定する処理を行う。仮想空間は、例えば、背景、ユーザが選択可能なメニューの画像等を含む。当該仮想空間は、例えば、全天球状の構造を有する。仮想空間では3次元の座標軸が規定され、仮想空間に配置される各オブジェクトの位置は、仮想空間に規定されるXYZ座標系における座標値として規定される。
ある態様において、仮想空間では、中心を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)及び前後方向は、それぞれX軸、Y軸及びZ軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のX軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のY軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のZ軸と平行である。
仮想視点設定モジュール1034は、ユーザが仮想空間においてコンテンツを視聴している際の注視点を設定する処理を行う。仮想視点(仮想カメラともいう)は、仮想空間のXYZ座標値を用いて設定される。ユーザ端末20は、モーションセンサ等を備えることにより、ユーザの頭部の動きを検出する。例えば、ユーザがヘッドマウントディスプレイとしてのユーザ端末20を装着する場合に、ユーザ端末20は、ユーザ端末20の動きを、ユーザの頭部の動きとして検出する。ユーザの頭部の動きに応じて、仮想空間における仮想視点からの視界は変化する。これにより、ユーザは、仮想視点から、仮想空間におけるコンテンツの360度全方位を見ることができる。
オブジェクト配置モジュール1035は、コンテンツを構成する三次元オブジェクトを仮想空間に配置する。ある実施形態において、オブジェクトは、例えば、過去にコンテンツを視聴したユーザに対応しているオブジェクトと、教育用コンテンツにおいて教授を行うアバターオブジェクトと、コンテンツを視聴しているユーザに対応するオブジェクトとを含む。オブジェクトの配置位置は、仮想空間のXYZ座標値を用いて定義される。
<1.2 ユーザ端末の構成>
図3は、ユーザ端末20の機能的な構成を示す図である。図3に示すように、ユーザ端末20は、ユーザが仮想空間においてコンテンツを視聴するための装置であり、メモリ201と、記憶部202と、プロセッサ203と、通信部204と、検知部205と、入力部206と、表示部207とを備える。例えば、ユーザ端末20は、ユーザの頭に装着しているヘッドマウントデバイスである。
メモリ201は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
記憶部202は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。
プロセッサ203は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
通信部204は、ネットワークNWを介してコンテンツ配信サーバ10と通信を行う。通信部204はコンテンツ配信サーバ10から、視聴可能なコンテンツリストや、ユーザが指定したコンテンツを受信する。また、通信部204はコンテンツ配信サーバ10へ、ユーザの視聴リクエスト信号や、ユーザがコンテンツを視聴している際の入力信号を送信する。また、通信部204は、必要に応じてユーザがユーザ端末20からコンテンツ配信サーバ10へログインを行うためのログインID情報の送信を行ってもよい。
なお、通信部204は、インストールされた専用のアプリケーションソフトウェアによってコンテンツ配信サーバ10にアクセスしてもよいし、別途提供される動作環境(API(アプリケーションプログラミングインタフェース)、プラットフォーム等)を利用してコンテンツ配信サーバ10にアクセスしてもよい。
検知部205は、重力センサとジャイロセンサと加速度センサ等から構成され、ユーザ端末20の回転や傾きや振動を検知する。なお、検知部205はユーザ端末の変位を検知できるものであれば他の種類のセンサを用いてもよい。
入力部206は、ユーザからの入力操作を受け付けるための入力装置である。当該入力操作は、視聴しようとするコンテンツの指定と、コンテンツを視聴している際のモーションデータ、音声データなどの入力を含む。例えば、入力部206は、ユーザの発話を集音するためのマイクを有してよい。また、ユーザ端末20は、ユーザが把持するコントローラと通信可能に構成されていてもよい。例えば、ユーザが手で把持するコントローラが、モーションセンサ、ボタン等を備えることとし、当該コントローラの動きを、ユーザの手の動きとして検出してもよい。例えば、ユーザ端末20が、ユーザが把持するコントローラの位置をトラッキングすることにより、当該コントローラの動きをモーションデータとして取得することができる。
表示部207は、コンテンツ配信サーバ10から配信されるコンテンツを表示する。一例では、表示部207は、ユーザの両目の前方に位置するようにユーザ端末20の本体に配置され、右目用の画像及び左目用の画像は表示部207にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を三次元の画像として認識し、仮想空間に没入することができる。
表示部207は、例えば、非透過型又は透過型の表示装置として実現されるものであり、有機EL(有機エレクトロルミネッセンス)又はLCD(液晶ディスプレイ)等を用いてよい。また、網膜投影型デバイスを適用してもよい。
<2 コンテンツについて>
以下、本開示の第1の実施形態に係るコンテンツ配信サーバ10から配信されるコンテンツを構成するデータについて図4、図5を用いて説明する。
図4は、第1の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。コンテンツ配信サーバ10の記憶部102には、講義データ1021と、ユーザ情報データ1022とが記憶されている。
講義データ1021は、例えば事前に録画した画像を保持するためのデータベースであり、例えば、項目「名称」、「学年」、「視聴回数」及び「形式」を含む。具体的に、項目「名称」は、講義データの内容を示す情報であり、項目「学年」は、当該講義データの受講が推奨されるユーザの学年であり、項目「視聴回数」は、当該講義データが視聴されている回数を示す情報であり、項目「形式」は、当該講義データの表示形式を示す情報である。一例として、「英語001」という講義データは、仮想空間で再生できるスライドデータと、当該スライドデータをユーザに提示しながら教授を行う講師役アバターに関するデータとを含む。また、講義データの表示形式としては、動画であってもよいし、講師役アバターに関するデータを含まなくてもよい。
ユーザ情報データ1022は、ユーザ端末20を使用するユーザの情報を保持するためのデータベースであり、例えば、項目「ユーザID」、「学年」、「性別」、「地域」及び「視聴履歴」を含む。具体的に、項目「ユーザID」は、それぞれのユーザを識別する情報であり、項目「学年」、「性別」や「地域」は、ユーザの属性を示す情報であり、項目「視聴履歴」は、ユーザがコンテンツを視聴した日時、視聴した講義データの名称などを示す情報である。
図5は、第1の実施形態におけるコンテンツを配信する際の配信制御情報を示す図である。コンテンツ配信サーバ10は、第1ユーザから視聴リクエストを受信した後、XYZ座標系が規定される仮想空間を生成する。当該仮想空間において、ユーザが視聴しようとする講義データを、第1の所定座標により示される再生位置において再生する。
また、仮想空間内において、講義データの再生位置に応じて、講義データを視聴している際の第1ユーザの注視点である仮想視点を、第2の所定座標により示される視聴位置に配置する。ある態様において、当該仮想視点において、第1ユーザに対応する第1オブジェクト(例えば、アバターオブジェクト)を配置する。
また、仮想空間内において、当該講義データを過去に視聴した第2ユーザに対応する第2オブジェクト(例えば、アバターオブジェクト)を、第3の所定座標に示される位置に配置する。具体的には、当該第2オブジェクトの配置位置は、第2ユーザが当該講義データを視聴したときの仮想空間内での仮想視点の位置にかかわらない位置である。ある態様において、講師役アバターである第3オブジェクトを、仮想空間において第4の所定座標に示される位置に配置する。ある態様において、仮想空間に、第1ユーザの仮想視点の位置に基づいて、コンテンツに含まれるオブジェクト(例えば、コンテンツの一部となる生徒役アバター)を配置する。
<3 処理フロー>
以下、本開示の第1の実施形態に係るコンテンツ配信システム1の動作について、図6及び図7を参照しながら説明する。図6は、第1の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートであり、図7は、第1の実施形態におけるユーザ端末の表示画面の一例を示す図である。
図6のフローチャートは、コンテンツ配信サーバ10と、ユーザ端末20の各動作の関連状態を示している。なお、図6及び図7には、コンテンツを視聴している第1ユーザに対応する第1オブジェクト、及び講師役アバターである第3オブジェクトを仮想空間に配置するものとして説明するが、配置しないこととしてもよい。また、図6の説明では、コンテンツ配信サーバ10において仮想空間を生成する例を説明するが、これに限らずユーザ端末20で仮想空間を生成し、コンテンツ配信サーバ10では仮想空間を生成せず、ユーザ端末20に各オブジェクトの情報を送信することとしてもよい。
ステップS611において、コンテンツ配信サーバ10は、視聴可能なコンテンツリストをユーザ端末20へ送信する。当該視聴可能なコンテンツリストは、コンテンツ配信サーバ10の記憶部102に記憶されている講義データによって生成される。
ステップS622において、ユーザ端末20は、コンテンツ配信サーバ10から視聴可能なコンテンツリストを受信し、ユーザは、視聴しようとするコンテンツを指定して視聴リクエストをコンテンツ配信サーバ10に送信する。
ステップS613において、コンテンツ配信サーバ10は、ユーザ端末20から視聴リクエストを受信するとともに、仮想空間を生成し、当該仮想空間のXYZ座標系を規定する。例えば、仮想空間は、図7に示す教室のような背景を含んでよい。
ステップS614において、コンテンツ配信サーバ10は、仮想空間内に講義データの再生位置を設定し、第3オブジェクトを、予め定められた位置に配置する。第3オブジェクトは、例えば図7に示すように、講義データをユーザに提示しながら教授を行う講師役アバターA3である。
講義データは、第1の所定座標により示される再生位置に基づいて再生される。
講義データは、例えば、動画データであるとしてもよい。例えば、第1の再生位置に、モニタ、ボードなどのオブジェクトが配置され、当該オブジェクトにおいて講義データに対応する動画が再生される。
また、講義データは、オブジェクトの動作、音声の再生が規定されたデータであるとしてもよい。
講義データを第1ユーザに提示するための再生位置は、第1ユーザの仮想視点からの視聴が妨げられない位置としてもよい。例えば、生成された仮想空間において、第1ユーザの仮想視点の初期位置が規定されるとする。当該仮想視点の初期位置から見て前方の位置に講義データの再生位置が規定されることとしてもよい。
第3オブジェクト(すなわち、講師役アバター)の配置位置は、講義データの再生位置に応じて予め定められることとしてもよい。例えば、第3オブジェクトは、第1ユーザの仮想視点から見て、講義データが再生されるオブジェクトの近傍(右側または左側)に配置される。例えば、第1ユーザの仮想視点から見て、講義データの視聴が一定範囲以上妨げられない位置に第3オブジェクトを配置することとしてもよい。
また、講義データとは、第3オブジェクトを動作させることを含むこととしてもよい。例えば、第3オブジェクトをモーションデータ、音声データの少なくともいずれかに基づいて動かすことにより仮想空間において講義データを再生してもよい。
ステップS615において、コンテンツ配信サーバ10は仮想空間内において、講義データを視聴している際の第1ユーザの注視点である仮想視点を所定座標の位置に配置し、当該仮想視点の位置に基づいて、図7に示すように、第1ユーザに対応する第1オブジェクトA1を配置する。例えば、第1ユーザの仮想視点の位置に、第1オブジェクトA1を配置することとしてもよいし、第1ユーザの仮想視点の位置を、第1オブジェクトA1の後方に設定する(第1ユーザの視界に第1オブジェクトA1が含まれる)こととしてもよい。
第1ユーザの仮想視点の配置位置は、講義データの再生位置又は第3オブジェクトA3の配置位置に応じて予め定められる。例えば、第1ユーザの仮想視点は、他のユーザに対応するオブジェクトによって視聴が妨げられない位置に配置される。具体的には、講義データの再生領域の中央付近に対向する位置に配置されることとしてもよいし、第3オブジェクトA3の正面に対向する位置に配置されることとしてもよいし。これにより、自分にとって最適な位置で授業を受けることができる。つまり、仮想空間の教室における授業を、現実世界における授業と同様に、教師と生徒との関係で行うこととし、教師に相当するオブジェクト(講師役アバター)の正面に、授業を受ける生徒(第1ユーザ)の仮想視点および生徒に相当するアバター(第1オブジェクトA1)を配置する。この他に、仮想空間の教室において、講師役アバターではなく、黒板やディスプレイなど授業内容を生徒に認識させるためのオブジェクトの正面に、生徒(第1ユーザ)の仮想視点、生徒に相当するアバター(第1オブジェクトA1)を配置することとしてもよい。すなわち、過去にコンテンツを視聴していた生徒もまた、当該生徒自身がコンテンツを視聴する時点においては、当該生徒に対応する仮想視点およびアバターが、講師役アバター、または、黒板やディスプレイなどのオブジェクトの正面に相対するように配置されていた、といえる。
ステップS616において、コンテンツ配信サーバ10は仮想空間内において、当該講義データを過去に視聴した第2ユーザに対応する第2オブジェクトを、第3の所定座標に示される位置に配置する。当該第2オブジェクトの配置位置は、第2ユーザが当該講義データを視聴したときの仮想空間内での仮想視点の位置にかかわらない位置である。例えば、過去に第2ユーザが第1ユーザの仮想視点の位置から講義データを視聴していた場合においても、第1ユーザが講義データを視聴する際に、当該仮想視点の位置とは異なる位置に第2オブジェクトを配置する。
第2オブジェクトの配置位置は、講義データの再生位置又は第1ユーザの仮想視点の位置(または第1オブジェクトA1)の配置位置に応じて適宜に設定され、例えば、図8に示すように、第2オブジェクトA2は、第1オブジェクトA1の両側に配置される。例えば、講義データの第1の再生位置と、第1ユーザの仮想視点の位置とに基づいて、第1ユーザが講義データを視聴するのを妨げないよう、第1の再生位置の座標と、第1ユーザの仮想視点の座標とを結ぶ線分を含む一定範囲が設定されるとする。第2オブジェクトA2は、当該一定範囲の外部に配置されることとしてもよい。また、第1ユーザが他のユーザと講義データを視聴しているかのような感覚を与えるため、第1ユーザの仮想視点の位置から一定範囲内に第2オブジェクトを配置することとしてもよい。これにより、第1ユーザに対し、講義データの視聴に適した位置からの視聴を可能としつつ、過去に講義データを視聴したユーザに対応するアバターによって視聴を過度に遮られることもなく、他のユーザとともに講義データを視聴しているかのような感覚を提供することができる。
ステップS617において、コンテンツ配信サーバ10は、講義データ及び配信制御情報をユーザ端末20に送信する。当該配信制御情報は、仮想空間情報、講義データの再生位置情報、及び第1、第2、第3オブジェクトの配置制御情報を含む。
ステップS628において、ユーザ端末20は、コンテンツ配信サーバ10から講義データ及び配信制御情報を受信してコンテンツを表示する。
なお、上記の図6の例では、コンテンツ配信サーバ10において仮想空間を生成してオブジェクトを配置しているが、コンテンツ配信サーバ10では仮想空間を生成せず、ユーザ端末20において仮想空間を生成して各オブジェクトを配置することとしてもよい。
なお、講義データを過去に視聴した他のユーザに対応するオブジェクトについては、当該他のユーザの動きによらず、ユーザ端末20の制御によって適宜動作させることとしてもよい。また、コンテンツ配信サーバ10またはユーザ端末20が、当該他のユーザに対応するオブジェクトの動きを、当該他のユーザのモーションデータ、音声データにかかわらず自動的に生成することとしてもよい。
また、当該他のユーザに対応するオブジェクトを、別のユーザのモーションデータ、音声データにより動かすこととしてもよい。例えば、別のユーザのモーションが大きく、発生量も大きい場合に、当該別のユーザのモーションデータを、当該他のユーザに対応するオブジェクトに反映させることとしてもよい。
<4 効果の説明>
以上のように、本開示の第1の実施形態に係るコンテンツ配信システム1によれば、第1ユーザは仮想空間においてコンテンツを視聴している際に、過去に当該コンテンツを視聴した第2ユーザに対応する第2オブジェクトが仮想空間における所定位置に配置されるので、第1ユーザに、第2ユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高めることができる。
また、時間を隔ててコンテンツを視聴する各ユーザは、常に自分にとって最適な位置(つまり、講師役アバター、または、黒板やディスプレイなど授業内容を生徒に認識させるためのオブジェクトの正面)で授業を受けることができるので、授業として破綻が起こらず、より理想的で効果が高い態様で授業を行うことができる。
(第2の実施形態)
本開示の第2の実施形態である、VR技術を用いて教育用コンテンツを視聴する際に、当該コンテンツを過去に視聴したユーザに対応するオブジェクトを仮想空間に配置して、過去に視聴したユーザに対応するオブジェクトを動作させるコンテンツ視聴システム1について説明する。なお、第2の実施形態では、第1の実施形態に係るコンテンツ配信システム1を用いて説明する。
<1 コンテンツ視聴システムの構成>
本開示の第2の実施形態におけるコンテンツ視聴システム1、コンテンツ配信サーバ10、ユーザ端末20の構成は、第1の実施形態と同様であるので、繰り返して説明しない。
<2 コンテンツについて>
以下、本開示の第2の実施形態に係るコンテンツ配信サーバ10から配信されるコンテンツを構成するデータについて図8、図5を用いて説明する。
図8は、第2の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。コンテンツ配信サーバ10の記憶部102には、講義データ1021と、ユーザ情報データ1023とが記憶されている。
第2の実施形態における講義データ1021は、第1の実施形態と同様であるので、繰り返して説明しない。
第2の実施形態におけるユーザ情報データ1023は、第1の実施形態におけるユーザ情報データ1022のほか、項目「視聴時の入力データ」、すなわちユーザがコンテンツを視聴している際に記録した入力データを含む。当該入力データは、例えば、ユーザのモーションデータ及び音声データなどである。
当該ユーザの入力データは、将来他のユーザが当該コンテンツを視聴する際に読み出され得るデータである。過去に当該コンテンツを視聴したユーザが入力したモーションデータ及び音声データなどに基づき、当該ユーザに対応するオブジェクトを動作させる。
第2の実施形態におけるコンテンツを配信する際の配信制御情報は、第1の実施形態におけるコンテンツを配信する際の配信制御情報と同様であるので、繰り返して説明しない。
<3 処理フロー>
以下、本開示の第2の実施形態に係るコンテンツ配信システム1の動作について、図9及び図10を参照しながら説明する。図9は、第2の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートであり、図10は、第2の実施形態におけるユーザ端末の表示画面の一例を示す図である。
図9のフローチャートは、コンテンツ配信サーバ10と、ユーザ端末20の各動作の関連状態を示している。なお、図9及び図10には、コンテンツを視聴している第1ユーザに対応する第1オブジェクト、及び講師役アバターである第3オブジェクトを仮想空間に配置するものとして説明するが、配置しないこととしてもよい。
ステップS911ないしステップS915、ステップS922の動作は、第1の実施形態におけるステップS611ないしステップS615、ステップS622と同様であるので、繰り返して説明しない。
ステップS916において、コンテンツ配信サーバ10は仮想空間内において、当該講義データを過去に視聴した第2ユーザに対応する第2オブジェクトを、第3の所定座標に示される位置に配置するとともに、第2ユーザが当該コンテンツを視聴した際に記録した入力データに基づき第2オブジェクトを動作させる。当該第2オブジェクトの配置位置は、第2ユーザが当該講義データを視聴したときの仮想空間内での仮想視点の位置にかかわらない位置である。
第2オブジェクトの配置位置は、講義データの再生位置又は第1オブジェクトA1の配置位置に応じて適宜に設定され、例えば、図10に示すように、第2オブジェクトA2a、A2bは、第1オブジェクトA1の位置(すなわち、第1ユーザの仮想視点の位置)から講義データを視聴する方向を前方とした場合に、第1オブジェクトA1の側方に配置される。
第2ユーザの入力データは、第2ユーザが当該コンテンツを視聴した際に入力したモーションデータ及び音声データなどを含む。例えば、第2ユーザが英語の講義を視聴した際に「Hello! I’m Jack.」という音声データを入力した場合、第1ユーザが当該講義データを視聴している際に、図10に示すように、第2オブジェクトA2aを配置するとともに、過去に記録した「Hello! I’m Jack.」と話させるように動作させる。
ステップS917において、コンテンツ配信サーバ10は、講義データ及び配信制御情報をユーザ端末20に送信する。当該配信制御情報は、仮想空間情報、講義データの再生位置情報、及び第1、第2、第3オブジェクトの配置制御情報、第2オブジェクトの動作情報を含む。
ステップS928において、ユーザ端末20は、コンテンツ配信サーバ10から講義データ及び配信制御情報を受信して表示する。
ステップS929において、第1ユーザがコンテンツを視聴している際の入力データを記録する。
好ましくは、第3オブジェクト(講師役アバター)の動きに対して第2ユーザが入力したモーションデータ、音声データの少なくともいずれかを読み出して、第3オブジェクトを、第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かしてよい。
例えば、図10に示すように、第3オブジェクトA3の動きに対して第2ユーザが入力した音声データ「Hello! I’m Jack.」に基づき、第3オブジェクトA3を動かす。
好ましくは、第1ユーザがコンテンツを視聴している際、第1ユーザがモーションデータ、音声データの少なくともいずれかを入力することに応答して、第2オブジェクトを第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かしてよい。当該第2オブジェクトを動かすための第2ユーザのモーションデータ、音声データの少なくともいずれかは、当該第2ユーザが第3オブジェクトA3(講師役アバター)との相互作用をする際に記録されたモーションデータ、音声データである。
例えば、図10に示すように、第2ユーザがコンテンツを視聴していた際、講師役アバターA3の発話「Hi! I’m Mary.」に対して、「Hello! I’m Jack.」という音声データを入力したとする。第1ユーザが同じコンテンツを視聴し、「Hi! I’m TOM.」という音声データを入力した場合に、第1ユーザの入力に応答して、第2ユーザに対応する第2オブジェクトA2aを、「Hello! I’m Jack.」と話させるように動作させる。
好ましくは、ステップS916において、複数の第2ユーザのうち、モーションデータ、音声データが所定の条件を満たすユーザを特定し、特定したユーザに対応する特定オブジェクトを、第1ユーザの仮想視点の位置から所定距離内に配置する。また、当該特定オブジェクトを、当該ユーザのモーションデータ、音声データの少なくともいずれかにより動かしてよい。
例えば、図10に示すように、音声データを入力した第2ユーザに対応する第2オブジェクトA2aを、音声データを入力していない第2ユーザに対応する第2オブジェクトA2bよりも、第1ユーザに対応する第1オブジェクトA1に近い位置に配置する。また、第2オブジェクトA2aを、第2ユーザが入力した「Hello! I’m Jack.」という音声データにより動かす。
好ましくは、第3オブジェクト(講師役アバター)の動きに対して第2ユーザが入力したモーションデータ、音声データの少なくともいずれかを読み出して、第1オブジェクトを、第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かしてよい。
例えば、図示していないが、第3オブジェクトA3の動きに対して第2ユーザが入力した音声データ「Hello! I’m Jack.」に基づき、第1オブジェクトA1を動かすこととしてもよい。例えば、講師役アバター(第3オブジェクトA3)と、生徒役のアバター(第2オブジェクトA2a、第1オブジェクトA1等)とで、定型の会話文を音声により読み上げるコンテンツである場合、講師役アバターの発声に続いて、過去にコンテンツを視聴した生徒役のアバターの発声を第2ユーザが視聴するだけではなく、過去にコンテンツを視聴した生徒役のアバターに代わって、コンテンツを視聴中の第2ユーザが、会話文の音声での読み上げを行うことができることとしてもよい。
<4 効果の説明>
以上のように、本開示の第2の実施形態に係るコンテンツ配信システム1によれば、第1ユーザは仮想空間においてコンテンツを視聴している際に、過去に当該コンテンツを視聴した第2ユーザに対応する第2オブジェクトが仮想空間における所定位置に配置されるので、第1ユーザに、第2ユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高めることができるとともに、仮想空間において最適な位置でコンテンツを視聴することができる。また、第2ユーザがコンテンツを視聴していた際に入力したモーションデータ、音声データなどに基づき第2オブジェクトを動作させるので、第1ユーザと第2ユーザとの間の双方向コミュニケーションを構築することができる。
(第3の実施形態)
本開示の第3の実施形態である、VR技術を用いて教育用コンテンツを視聴する際に、当該コンテンツを過去に視聴したユーザに対応するオブジェクトを、当該ユーザの属性に応じて仮想空間に配置するコンテンツ視聴システム1について説明する。なお、第3の実施形態では、第1の実施形態に係るコンテンツ配信システム1を用いて説明する。
<1 コンテンツ視聴システムの構成>
本開示の第3の実施形態におけるコンテンツ視聴システム1、コンテンツ配信サーバ10、ユーザ端末20の構成は、第1の実施形態と同様であるので、繰り返して説明しない。
<2 コンテンツについて>
以下、本開示の第3の実施形態に係るコンテンツ配信サーバ10から配信されるコンテンツを構成するデータについて図11、図5を用いて説明する。
図11は、第3の実施形態におけるコンテンツ配信サーバに記憶されているデータの構造の一例を表す図である。コンテンツ配信サーバ10の記憶部102には、講義データ1021と、ユーザ情報データ1024とが記憶されている。
第3の実施形態における講義データ1021は、第1の実施形態と同様であるので、繰り返して説明しない。
第3の実施形態におけるユーザ情報データ1024は、第1の実施形態におけるユーザ情報データ1022のほか、項目「フレンド」、すなわちユーザとフレンド登録している他のユーザのID情報や、項目「知名度」、すなわちユーザの知名度情報を含む。当該知名度情報は、例えば、他のユーザにフレンド登録されている回数のランキングであり、フレンド登録されている回数が多ければ多いほど、知名度が高い。
第3の実施形態におけるコンテンツを配信する際の配信制御は、第1の実施形態におけるコンテンツを配信する際の配信制御と同様であるので、繰り返して説明しない。
<3 処理フロー>
以下、本開示の第3の実施形態に係るコンテンツ配信システム1の動作について、図12及び図13を参照しながら説明する。図12は、第3の実施形態におけるコンテンツ視聴システム1の処理の流れの一例を示すフローチャートであり、図13は、第3の実施形態におけるユーザ端末の表示画面の一例を示す図である。
図12のフローチャートは、コンテンツ配信サーバ10と、ユーザ端末20の各動作の関連状態を示している。なお、図12及び図13には、コンテンツを視聴している第1ユーザに対応する第1オブジェクト、及び講師役アバターである第3オブジェクトを仮想空間に配置するものとして説明するが、配置しないこととしてもよい。
ステップS1211ないしステップS1215、ステップS1222の動作は、第1の実施形態におけるステップS611ないしステップS615、ステップS622と同様であるので、繰り返して説明しない。
ステップS1216において、コンテンツ配信サーバ10は仮想空間内において、当該講義データを過去に視聴した第2ユーザに対応する第2オブジェクトを、第2ユーザの属性に応じて所定座標の位置に配置する。具体的には、第1ユーザとフレンド登録している第2ユーザ、または、知名度が所定条件を満たす第2ユーザに対応する特定オブジェクトを、第1ユーザの仮想視点の位置から所定距離内に配置する。
例えば、図13に示すように、第1ユーザとフレンド登録している第2ユーザに対応するオブジェクトF2を、フレンド登録していない第2ユーザに対応するオブジェクトA2よりも、第1ユーザに対応しているオブジェクトA1に近い位置に配置する。
ステップS1217において、コンテンツ配信サーバ10は、講義データ及び配信制御情報をユーザ端末20に送信する。当該配信制御情報は、仮想空間情報、講義データの再生位置情報、及び第1、第2、第3オブジェクトの配置制御情報を含む。
ステップS1228の動作は、第1の実施形態におけるステップS628と同様であるので、繰り返して説明しない。
<4 効果の説明>
以上のように、本開示の第3の実施形態に係るコンテンツ配信システム1によれば、第1ユーザは仮想空間においてコンテンツを視聴している際に、過去に当該コンテンツを視聴した第2ユーザに対応する第2オブジェクトが仮想空間における所定位置に配置されるので、第1ユーザに、第2ユーザと一緒にコンテンツを視聴しているという感覚を持たせて、臨場感を高めることができるとともに、仮想空間において最適な位置でコンテンツを視聴することができる。また、第2ユーザの属性に応じて、第1ユーザとフレンド登録している第2ユーザ、または、知名度が所定条件を満たす第2ユーザに対応する特定オブジェクトを、第1ユーザの仮想視点の位置から所定距離内に配置するので、第1ユーザと第2ユーザとの間の双方向コミュニケーションを促進することができる。
これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
<変形例>
(1)上記の各実施形態において、第1ユーザの仮想視点の位置の周囲であって、第1ユーザによる講義データの視聴を妨げない位置に、他のユーザのアバターを配置することとしている。当該他のユーザのアバターは、当該他のユーザが過去に講義データを視聴した際のモーションデータ、音声データにより動かされる。
ここで、第1ユーザの仮想視点の周囲に配置するアバターについて、当該アバターを動かすためのモーションデータ、音声データが所定の条件を満たすユーザを特定し、当該特定したユーザのモーションデータ、音声データにより当該アバターを動かすこととしてもよい。例えば、音声データの声量、発声の頻度が一定以上であるユーザを特定し、当該ユーザの音声データ、モーションデータにより、第1ユーザの仮想視点の周囲のアバターを動かすこととしてもよい。
これにより、例えば、よく発生したり、よく動いたりするユーザとともに講義を受けているかのような体験をユーザに提供することができる。
(2)上記の各実施形態において、講義データは、講師役のオブジェクトと、視聴するユーザとの相互作用により講義が進行する第1パートと、視聴するユーザ同士の相互作用により講義が進行する第2パートとを含むこととしてもよい。例えば、第1パートでは、講師役のオブジェクトが発声または動きをし、視聴するユーザが、講師役のオブジェクトの発声または動きに対して発生または動きを行う。例えば、英語の講義であれば、会話練習をする場合に、講師役のオブジェクトが、会話の一方の話者を務め、視聴するユーザが、会話の他方の話者を務めることがある。
一方、第2パートでは、第1パートでなされた会話のスクリプトを、ユーザ同士で行うことを含む。例えば、第1ユーザと、過去に視聴をした第2ユーザに対応するオブジェクトとで、会話の練習を行う。このとき、第2パートで第2ユーザが発生する音声は、当該第2ユーザが第1パートで講師役のオブジェクトとの会話練習をした場合の音声を使用してもよい。
また、講師役のオブジェクトを、講義データを視聴するユーザのモーションデータ、音声データにより動かすこととしてもよい。
(3)上記の各実施形態において、仮想空間提供モジュール1033、仮想視点設定モジュール1034、オブジェクト配置モジュール1035をコンテンツ配信サーバに配置することを説明したが、上記モジュールのすべてあるいは一部は、ユーザ端末に配置することとしてもよい。
そのように配置することにより、上記の各実施形態による効果は実現できるとともに、サーバに蓄積されているコンテンツはそれぞれのユーザが視聴をするたびに上書きをする必要がなく、汎用性を保ち、メンテナンスの必要性を小さくして運用ができる。
(4)上記の各実施形態において、過去にユーザがコンテンツを視聴したか否かにかかわらず、予め、コンテンツに所定のオブジェクト(例えば、アバター)が含まれることとし、仮想空間における配置個所を当該コンテンツに関連付けることとしてもよい。すなわち、当該コンテンツを、複数のユーザのいずれかが初めて視聴する場合においても、所定のオブジェクト(アバター)が上記の配置個所において配置された状態で、当該ユーザがコンテンツを視聴することができる。ここで、各実施形態において、ユーザが当該コンテンツを視聴する場合、当初からコンテンツに関連付けられている当該所定のオブジェクトを、予め規定されている配置個所にかかわらず、別の場所に配置することとしてもよい。
<付記>
以上の各実施形態で説明した事項を以下に付記する。
(付記1)
コンテンツを視聴するためのコンピュータにおいて実行されるプログラムであって、コンピュータは、プロセッサと、メモリとを備え、プログラムは、プロセッサに、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップ(S613、S615)と、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップS614)と、コンテンツに予め関連付けられるオブジェクト、または、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを仮想空間に配置する第3ステップ(S616)と、を実行させ、第3ステップ(S616)において、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置及び予め関連付けられるオブジェクトの位置にかかわらない位置に、予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる。
(付記2)
(付記1)において、第1ステップ(S613、S615)において、仮想空間内で第1ユーザの視聴対象となるオブジェクトの配置個所に基づいて、第1ユーザの仮想視点を設定し、第3ステップ(S616)において、第2オブジェクトを、第1ユーザの仮想視点を含む所定範囲内とは異なる位置に配置する。
(付記3)
(付記2)において、第1ステップにおいて(S613、S615)、所定範囲は、第1ユーザの仮想視点と、コンテンツが再生される位置とにより規定される。
(付記4)
(付記1)から(付記3)のいずれかにおいて、コンテンツは、教育用コンテンツであり、プログラムは、さらに、プロセッサに、仮想空間において、教育用コンテンツを第1ユーザに提示するための第3オブジェクトを配置する第4ステップ(S614)を実行させ、第1ステップ(S613、S615)において、仮想空間内で第3オブジェクトが配置される位置に基づいて、第1ユーザの仮想視点を設定する。
(付記5)
(付記4)において、第3オブジェクトは、教育用コンテンツにおいて教授を行うアバターオブジェクトであり、第2ステップにおいて(S914)、アバターオブジェクト をモーションデータ、音声データの少なくともいずれかに基づいて動かすことによりコンテンツを仮想空間において再生させ、プログラムは、さらに、プロセッサに、教育用コンテンツの再生又は アバターオブジェクトの動きに応じて第1ユーザから入力されるモーションデータ、音声データの少なくともいずれかを記録する第5ステップ(S916)を実行させ、記録される第1ユーザの入力結果は、他のコンピュータのユーザがコンテンツを視聴する際に読み出され得るデータである。
(付記6)
(付記5)において、プログラムは、プロセッサに、さらに、第2オブジェクトを、第2ユーザがコンテンツを視聴した際に記録された第2ユーザの入力内容に基づき動作させる第6ステップ(S916)と、を実行させる。
(付記7)
(付記5)または(付記6)において、第2ステップにおいて(S914)、アバターオブジェクトの動きに対して第2ユーザが入力したモーションデータ、音声データの少なくともいずれかを読み出して、アバターオブジェクトを、第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かす。
(付記8)
(付記7)において、教育用コンテンツは、教授を行う講師役のユーザ と、教育用コンテンツを視聴する視聴役のユーザとの相互作用により構成される第1パートと、視聴役のユーザ同士の相互作用により構成される第2パートとを含み、第2ステップ(S914)において、第2パートを第1ユーザに視聴させる際、第1ユーザがモーションデータ、音声データの少なくともいずれかを入力することに応答して第2オブジェクトを第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かし、第2パートにおいて当該第2オブジェクトを動かすための第2ユーザのモーションデータ、音声データの少なくともいずれかは、当該第2ユーザが第1パートにおいて講師役のユーザとの相互作用をする際に記録されたモーションデータ、音声データである。
(付記9)
(付記6)において、第3ステップ(S916)において、過去にコンテンツを視聴したユーザのうち、モーションデータ、音声データが所定の条件を満たすユーザを特定し、特定したユーザに対応する特定オブジェクトを、第1ユーザの仮想視点の位置から所定距離内に配置し、第6ステップにおいて(S916)、特定オブジェクトを、当該ユーザのモーションデータ、音声データの少なくともいずれかにより動かす。
(付記10)
(付記6)において、第3ステップ(S1216)において、過去にコンテンツを視聴したユーザのうち、ユーザとフレンド登録しているユーザ、または、ユーザの知名度が所定条件を満たすユーザを特定し、特定したユーザに対応する特定オブジェクトを、第1ユーザの仮想視点の位置から所定距離内に配置する。
(付記11)
(付記10)において、第1ユーザに対応する第1オブジェクトを、第1ユーザの第1ユーザの仮想視点の位置に基づいて配置する。
(付記12)
(付記1)から(付記11)のいずれかにおいて、仮想空間において、第1ユーザの仮想視点の位置に基づいて、コンテンツに予め関連付けられるオブジェクトを配置する。
(付記13)
コンテンツを視聴するための情報処理装置であって、情報処理装置は、制御部と、記憶部とを備え、制御部は、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップ(S613、S615)と、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップ(S614)と、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトを仮想空間に配置する第3ステップ(S616)と、を実行させ、第3ステップ(S616)において、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置にかかわらない位置に、当該第2オブジェクトを配置させる。
(付記14)
コンテンツを視聴するためのコンピュータにおいて実行される方法であって、コンピュータは、プロセッサと、メモリとを備え、方法は、プロセッサが、第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、仮想空間内で、第1ユーザに対応する仮想視点を設定する第1ステップ(S613、S615)と、仮想空間内で、指定されたコンテンツの再生を開始する第2ステップ(S614)と、コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトを仮想空間に配置する第3ステップ(S616)と、を実行させ、第3ステップ(S616)において、第1ユーザがコンテンツを視聴する際、第2ユーザがコンテンツを視聴したときの仮想空間内での仮想視点の位置にかかわらない位置に、当該第2オブジェクトを配置させる。
1 コンテンツ配信システム、10 コンテンツ配信サーバ、101 通信部、102 記憶部、103 制御部、20 ユーザ端末、201 メモリ、202 記憶部、203 プロセッサ、204 通信部、205 検知部、206 入力部、207 表示部

Claims (14)

  1. コンテンツを視聴するためのコンピュータにおいて実行されるプログラムであって、前記コンピュータは、プロセッサと、メモリとを備え、
    前記プログラムは、前記プロセッサに、
    第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、前記仮想空間内で、前記第1ユーザに対応する仮想視点を設定する第1ステップと、
    前記仮想空間内で、前記指定されたコンテンツの再生を開始する第2ステップと、
    前記コンテンツに予め関連付けられるオブジェクト、または、前記コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを前記仮想空間に配置する第3ステップと、を実行させ、
    前記第3ステップにおいて、前記第1ユーザが前記コンテンツを視聴する際、前記第2ユーザが前記コンテンツを視聴したときの前記仮想空間内での仮想視点の位置及び前記予め関連付けられるオブジェクトの位置にかかわらない位置に、前記予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる、プログラム。
  2. 前記第1ステップにおいて、前記仮想空間内で前記第1ユーザの視聴対象となるオブジェクトの配置個所に基づいて、前記第1ユーザの前記仮想視点を設定し、
    前記第3ステップにおいて、前記第2オブジェクトを、前記第1ユーザの前記仮想視点を含む所定範囲内とは異なる位置に配置する、請求項1に記載のプログラム。
  3. 前記第3ステップにおいて、前記所定範囲は、前記第1ユーザの前記仮想視点と、前記コンテンツが再生される位置とにより規定される、請求項2に記載のプログラム。
  4. 前記コンテンツは、教育用コンテンツであり、
    前記プログラムは、さらに、前記プロセッサに、
    前記仮想空間において、前記教育用コンテンツを前記第1ユーザに提示するための第3オブジェクトを配置する第4ステップを実行させ、
    前記第1ステップにおいて、前記仮想空間内で前記第3オブジェクトが配置される位置に基づいて、前記第1ユーザの前記仮想視点を設定する、請求項1から3のいずれかに記載のプログラム。
  5. 前記第3オブジェクトは、前記教育用コンテンツにおいて教授を行うアバターオブジェクトであり、
    前記第2ステップにおいて、前記第3オブジェクトをモーションデータ、音声データの少なくともいずれかに基づいて動かすことにより前記コンテンツを前記仮想空間において再生させ、
    前記プログラムは、さらに、前記プロセッサに、
    前記教育用コンテンツの再生又は前記アバターオブジェクトの動きに応じて前記第1ユーザから入力されるモーションデータ、音声データの少なくともいずれかを記録する第5ステップを実行させ、
    前記記録される前記第1ユーザの入力結果は、他のコンピュータのユーザが前記コンテンツを視聴する際に読み出され得るデータである、請求項4に記載のプログラム。
  6. 前記プログラムは、前記プロセッサに、さらに、
    前記第2オブジェクトを、前記第2ユーザが前記コンテンツを視聴した際に記録された前記第2ユーザの入力内容に基づき動作させる第6ステップと、を実行させる、請求項5に記載のプログラム。
  7. 前記第2ステップにおいて、前記第3オブジェクトの動きに対して前記第2ユーザが入力したモーションデータ、音声データの少なくともいずれかを読み出して、前記第3オブジェクトを、前記第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かす、請求項5または6に記載のプログラム。
  8. 前記教育用コンテンツは、前記教授を行う前記第3オブジェクトと、前記教育用コンテンツを視聴する視聴役のユーザとの相互作用により構成される第1パートと、前記視聴役のユーザ同士の相互作用により構成される第2パートとを含み、
    前記第2ステップにおいて、前記第2パートを前記第1ユーザに視聴させる際、前記第1ユーザがモーションデータ、音声データの少なくともいずれかを入力することに応答して前記第2オブジェクトを前記第2ユーザのモーションデータ、音声データの少なくともいずれかにより動かし、
    前記第2パートにおいて当該第2オブジェクトを動かすための前記第2ユーザのモーションデータ、音声データの少なくともいずれかは、当該第2ユーザが前記第1パートにおいて前記第3オブジェクトとの相互作用をする際に記録されたモーションデータ、音声データである、請求項7に記載のプログラム。
  9. 前記第3ステップにおいて、過去に前記コンテンツを視聴したユーザのうち、モーションデータ、音声データが所定の条件を満たすユーザを特定し、特定したユーザに対応する特定オブジェクトを、前記第1ユーザの前記仮想視点の位置から所定距離内に配置し、
    前記第6ステップにおいて、前記特定オブジェクトを、当該ユーザのモーションデータ、音声データの少なくともいずれかにより動かす、請求項6に記載のプログラム。
  10. 前記第3ステップにおいて、過去に前記コンテンツを視聴したユーザのうち、ユーザとフレンド登録しているユーザ、または、ユーザの知名度が所定条件を満たすユーザを特定し、特定したユーザに対応する特定オブジェクトを、前記第1ユーザの前記仮想視点の位置から所定距離内に配置する、請求項6に記載のプログラム。
  11. 前記第1ユーザに対応する第1オブジェクトを、前記第1ユーザの前記仮想視点の位置に基づいて配置する、請求項1から10のいずれかに記載のプログラム。
  12. 前記仮想空間において、前記第1ユーザの前記仮想視点の位置に基づいて、前記コンテンツに予め関連付けられるオブジェクトを配置する、請求項1から11のいずれかに記載のプログラム。
  13. コンテンツを視聴するための情報処理装置であって、前記情報処理装置は、制御部と、記憶部とを備え、
    前記制御部は、
    第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、前記仮想空間内で、前記第1ユーザに対応する仮想視点を設定する第1ステップと、
    前記仮想空間内で、前記指定されたコンテンツの再生を開始する第2ステップと、
    前記コンテンツに予め関連付けられるオブジェクト、または、前記コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを前記仮想空間に配置する第3ステップと、を実行させ、
    前記第3ステップにおいて、前記第1ユーザが前記コンテンツを視聴する際、前記第2ユーザが前記コンテンツを視聴したときの前記仮想空間内での仮想視点の位置及び前記予め関連付けられるオブジェクトの位置にかかわらない位置に、前記予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる、情報処理装置。
  14. コンテンツを視聴するためのコンピュータにおいて実行される方法であって、前記コンピュータは、プロセッサと、メモリとを備え、
    前記方法は、前記プロセッサが、
    第1ユーザがコンテンツを指定する操作に応答して仮想空間を生成し、前記仮想空間内で、前記第1ユーザに対応する仮想視点を設定する第1ステップと、
    前記仮想空間内で、前記指定されたコンテンツの再生を開始する第2ステップと、
    前記コンテンツに予め関連付けられるオブジェクト、または、前記コンテンツを過去に視聴した第2ユーザに対応する第2オブジェクトの少なくともいずれかを前記仮想空間に配置する第3ステップと、を実行させ、
    前記第3ステップにおいて、前記第1ユーザが前記コンテンツを視聴する際、前記第2ユーザが前記コンテンツを視聴したときの前記仮想空間内での仮想視点の位置及び前記予め関連付けられるオブジェクトの位置にかかわらない位置に、前記予め関連付けられるオブジェクトまたは当該第2オブジェクトを配置させる、方法。
JP2019237325A 2019-12-26 2019-12-26 プログラム、情報処理装置及び方法 Active JP6793807B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019237325A JP6793807B1 (ja) 2019-12-26 2019-12-26 プログラム、情報処理装置及び方法
CN202080063745.6A CN114402274B (zh) 2019-12-26 2020-10-19 程序、信息处理装置以及方法
US17/762,613 US20220343604A1 (en) 2019-12-26 2020-10-19 Program, information processing device, and method
PCT/JP2020/039218 WO2021131266A1 (ja) 2019-12-26 2020-10-19 プログラム、情報処理装置及び方法
JP2020187240A JP7389009B2 (ja) 2019-12-26 2020-11-10 プログラム、情報処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019237325A JP6793807B1 (ja) 2019-12-26 2019-12-26 プログラム、情報処理装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020187240A Division JP7389009B2 (ja) 2019-12-26 2020-11-10 プログラム、情報処理装置及び方法

Publications (2)

Publication Number Publication Date
JP6793807B1 JP6793807B1 (ja) 2020-12-02
JP2021105879A true JP2021105879A (ja) 2021-07-26

Family

ID=73544814

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019237325A Active JP6793807B1 (ja) 2019-12-26 2019-12-26 プログラム、情報処理装置及び方法
JP2020187240A Active JP7389009B2 (ja) 2019-12-26 2020-11-10 プログラム、情報処理装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020187240A Active JP7389009B2 (ja) 2019-12-26 2020-11-10 プログラム、情報処理装置及び方法

Country Status (4)

Country Link
US (1) US20220343604A1 (ja)
JP (2) JP6793807B1 (ja)
CN (1) CN114402274B (ja)
WO (1) WO2021131266A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6793807B1 (ja) * 2019-12-26 2020-12-02 株式会社ドワンゴ プログラム、情報処理装置及び方法
JPWO2022270630A1 (ja) 2021-06-25 2022-12-29

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145883A (ja) * 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
JP2009301477A (ja) * 2008-06-17 2009-12-24 Yahoo Japan Corp コンテンツ編集装置、方法及びプログラム
JP2010066790A (ja) * 2008-09-08 2010-03-25 Taito Corp コンテンツ編集サーバ及びコンテンツ編集プログラム
KR20110105516A (ko) * 2010-03-19 2011-09-27 (주) 써니그라피 양방향 상호작용 가능한 강의시스템 및 이를 이용한 강의 수행, 녹화, 재생방법
US20160049003A1 (en) * 2014-08-12 2016-02-18 Utherverse Digital Inc. Method, system and apparatus of recording and playing back an experience in a virtual worlds system
JP2017021799A (ja) * 2015-07-07 2017-01-26 学校法人幾徳学園 情報提示システム、情報提示装置及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090325138A1 (en) * 2008-06-26 2009-12-31 Gary Stephen Shuster Virtual interactive classroom using groups
JP6290467B1 (ja) * 2017-02-01 2018-03-07 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US10365784B2 (en) * 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP2018124981A (ja) * 2017-10-25 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018125003A (ja) * 2018-02-07 2018-08-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6463535B1 (ja) * 2018-04-27 2019-02-06 株式会社コロプラ プログラム、情報処理装置、および方法
JP2018170013A (ja) * 2018-05-24 2018-11-01 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP6793807B1 (ja) * 2019-12-26 2020-12-02 株式会社ドワンゴ プログラム、情報処理装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145883A (ja) * 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
JP2009301477A (ja) * 2008-06-17 2009-12-24 Yahoo Japan Corp コンテンツ編集装置、方法及びプログラム
JP2010066790A (ja) * 2008-09-08 2010-03-25 Taito Corp コンテンツ編集サーバ及びコンテンツ編集プログラム
KR20110105516A (ko) * 2010-03-19 2011-09-27 (주) 써니그라피 양방향 상호작용 가능한 강의시스템 및 이를 이용한 강의 수행, 녹화, 재생방법
US20160049003A1 (en) * 2014-08-12 2016-02-18 Utherverse Digital Inc. Method, system and apparatus of recording and playing back an experience in a virtual worlds system
JP2017021799A (ja) * 2015-07-07 2017-01-26 学校法人幾徳学園 情報提示システム、情報提示装置及びプログラム

Also Published As

Publication number Publication date
JP6793807B1 (ja) 2020-12-02
JP2021105707A (ja) 2021-07-26
JP7389009B2 (ja) 2023-11-29
CN114402274B (zh) 2024-04-26
CN114402274A (zh) 2022-04-26
US20220343604A1 (en) 2022-10-27
WO2021131266A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US20180324229A1 (en) Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
AU2019262848B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
WO2021106803A1 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2021131266A1 (ja) プログラム、情報処理装置及び方法
KR102283301B1 (ko) 확장 현실(xr) 기반의 실시간 커뮤니케이션 플랫폼 제공 장치 및 방법
JP2021006977A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US20190005831A1 (en) Virtual Reality Education Platform
JP2019200257A (ja) 学習支援システム及びプログラム
JP2023164439A (ja) 授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
JP7465737B2 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
JP7465736B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP6754908B1 (ja) 視聴端末、視聴方法、視聴システム及びプログラム
TWM608010U (zh) 基於虛擬實境的情境式學習系統
JP7047168B1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
JP7011746B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
JP6733027B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP2021009348A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
TWM651143U (zh) 虛擬實境(vr)書籍導讀系統
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
Yildirim Suitability of presence questionnaires with different virtual reality experiences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201110

R150 Certificate of patent or registration of utility model

Ref document number: 6793807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250