JP2020080154A - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP2020080154A
JP2020080154A JP2019203843A JP2019203843A JP2020080154A JP 2020080154 A JP2020080154 A JP 2020080154A JP 2019203843 A JP2019203843 A JP 2019203843A JP 2019203843 A JP2019203843 A JP 2019203843A JP 2020080154 A JP2020080154 A JP 2020080154A
Authority
JP
Japan
Prior art keywords
information
student
teacher
displayed
type user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019203843A
Other languages
English (en)
Inventor
建史 金谷
Tatefumi Kanaya
建史 金谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ten Up Co Ltd
Original Assignee
Ten Up Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ten Up Co Ltd filed Critical Ten Up Co Ltd
Publication of JP2020080154A publication Critical patent/JP2020080154A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】仮想空間を利用して、生徒に対して効率的な学習システムを提供すること。【解決手段】所定のテーマに関する情報を提供する第1種ユーザと、前記情報を提供される第2種ユーザによって使用される情報処理システムにおいて、前記情報を前記第1種ユーザから前記第2種ユーザに対して提供する仮想空間を構築する構築手段と、前記第1種ユーザに相当するアバタが配置された前記仮想空間に基づく画像を、前記第2種ユーザに対して表示する第1制御を実行する第1制御手段と、前記情報の少なくとも一部を音声情報で前記第2種ユーザに対して提供する制御を実行する第2制御手段と、を備える情報処理システム。【選択図】図3

Description

本発明は、情報処理システムに関する。
従来より、学生にとって学習の環境は、非常に重要であり、教師は生徒に対して、効率的な学習を行わせるために様々な工夫を行うのが通常である。この点、近年の情報技術の発達に伴い、例えば、遠隔地にいる生徒に対する、いわゆるサテライト授業のような形で、様々な技術が学習に利用されている(例えば、特許文献1参照)。
例えば、この特許文献1に記載の技術には、遠隔における学習システムにおいて講師や生徒の顔を撮影し、相互に表示することで、生徒の学習の効果を向上させる技術が記載されている。
特開2003−280506号公報
しかしながら、上述の特許文献1に記載の技術を含む従来技術では、あくまでも実際の講師や生徒の顔が画面上に表示させることができるに過ぎず、遠隔地における学習システムとして十分なものではなかった。
本発明は、このような状況に顧みてなされたものであり、仮想空間を利用して、生徒に対して効率的な学習システムを提供することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理システムは、
所定のテーマに関する情報を提供する第1種ユーザと、前記情報を提供される第2種ユーザによって使用される情報処理システムにおいて、
前記情報を前記第1種ユーザから前記第2種ユーザに対して提供する仮想空間を構築する構築手段と、
前記第1種ユーザに相当するアバタが配置された前記仮想空間に基づく画像を、前記第2種ユーザに対して表示する第1制御を実行する第1制御手段と、
前記情報の少なくとも一部を音声情報で前記第2種ユーザに対して提供する制御を実行する第2制御手段と、
を備える。
本発明によれば、仮想空間を利用して、生徒に対して効率的な学習システムを提供することができる。
本発明の一実施形態に係る情報処理システムの一例を示す図である。 図1の情報処理システムのうち、サーバのハードウェア構成を示すブロック図である。 図1の情報処理システムのうちのサーバ、教師端末、及び生徒端末の機能的構成の一例を示す機能ブロック図である。 図3の生徒端末に表示される本サービスに係る画像の一例を示す図である。 図3の生徒端末に表示される画像の一例であり、図4とは異なる例を示す図である。 図3の教師端末に表示される画像の一例を示す図である。 図3の生徒端末に表示される画像の一例であり、図6とは異なる例を示す図である。 図3の教師端末に表示されるUI(User Interface)の一例を示す図である。 図3の教師端末に表示されるUIの一例を示す図である。 360度画像写真の一例を示す図である。 VRモードが選択されているときに生徒端末に表示される画面と、画面モードが選択されているときに生徒端末に表示される画面との夫々を示す図である。
以下、本発明の実施形態について図面を用いて説明する。
なお、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えば生徒を示すアバタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えば生徒を示すアバタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えば生徒を示すアバタ)の夫々の動作に対応した映像(即ち動画)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
図1は、本発明の第1実施形態に係る情報処理システムの概要を示す図である。
まず、本発明の実施形態を説明するに先立ち、本発明の一実施形態に係る情報処理システムの適用対象となるサービス(以下、「本サービス」と呼ぶ)について簡単に説明する。
本サービスとは、教師Tがn人(nは1以上の任意の整数値)の生徒S1乃至Snに対して、仮想空間を利用して、授業を提供する学習支援サービスである。
なお、生徒S1乃至Snの夫々をここに区別する必要がない場合、これらをまとめて「生徒S」と呼ぶ。
具体的には例えば、まず、教師Tと生徒Sとの夫々は、教師端末2と生徒端末3との夫々を用い、インターネット等のネットワークNを介して本サービスの提供者が管理するサーバに接続する。
サーバ1は、所定の基準(例えば教師Tからの要望)に応じて仮想空間を構築し、そこに教師Tや生徒Sの夫々に対応するアバタの3Dモデル等のオブジェクトを配置する。
サーバ1は、当該仮想空間に関する各種情報や画像等を教師端末2及び生徒端末3に送信する。
教師端末2及び生徒端末3では、これらの各種情報や画像を取得して、それを基に当該仮想空間に関する画像等を、教師T又は生徒Sに提示する。
ここで、サーバ1は、適宜、教師端末2から教師Tにより入力された各種情報、具体的に例えば、生徒Sに提示する資料に関する情報や当該資料に関する説明のための音声等を、取得する。
本サービスでは、例えば、このような方法により、仮想空間を利用した授業を提供する。続いて、本サービスの提供の前提となる情報処理システムについて、図1を参照しつつ、説明する。
本サービスに係る図1の情報処理システムは、サーバ1、教師端末2と、n台(nは1以上の任意の整数値)の生徒端末3−1乃至3−nとで構成される。サーバ1、教師端末2、及び生徒端末3は、所定のネットワークNを介して相互に接続されている。
なお、ネットワークNは、その形態は特に限定されず、例えば、Bluetooth(登録商標)、Wi−Fi、LAN(Local Area Network)、インターネット等を採用することができる。
また、以下、生徒端末3−1乃至3−nの夫々を個々に区別する必要がない場合、これらをまとめて「生徒端末3」と呼ぶ。
サーバ1は、本サービスの提供者により管理される。サーバ1は、教師端末2や生徒端末3から各種情報を受信し、また、仮想空間(授業を行う教室)に関する各種処理等を実行する。
教師端末2は、授業を行う教師Tにより利用される。また、教師端末2は、例えば、ディスプレイやマイク等を備えたPC(パーソナルコンピュータ)等で構成される。
生徒端末3は、授業の受講を希望するn人の生徒S1乃至Snにより利用される。生徒端末3は、例えば、HMD(Head Mounted Display)等で構成される。ただし、生徒Sの人数と生徒端末3の数は、必ずしも同一である必要はなく、任意である。
即ち、生徒S1乃至Snは、頭部等に装着した生徒端末3を介して、各種情報のVR(Virtual Reality)表示や、AR(Augmented Reality)表示による提供を受けることで、本サービスの提供を受けることができる。
図2は、図1の情報処理システムのうちサーバ1のハードウェア構成の一例を示すブロック図である。
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、リムーバブルメディア21とを備えている。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14には、また、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。なお、ドライブ20には、また、リムーバブルメディア21も接続されている。
CPU11は、ROM12に記憶されているプログラム、又は記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部16は、ディスプレイ、スピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードやマウス等で構成され、各種情報を入力する。
記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(図1の例では、教師端末2及び生徒端末3)との間で通信を行う。
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
ここで、図1の情報処理システムのうち教師端末2及び生徒端末3のハードウェア構成は、サーバ1のハードウェア構成と、基本的に同様の構成とすることができるため、ここでは、異なるハードウェア構成の部分のみを説明する。
教師端末2の図示せぬ入力部は、キーボード、マウス、マイク等で構成され、例えば、授業中の教師Tの音声等を入力することができる。
上述の通り、生徒端末3は、例えば、HMD等を含んで構成される。生徒端末3の図示せぬ出力部は、VR技術やAR技術等を利用して、画像等を表示することができる。
また、生徒端末3は図示せぬセンサ部を含んで構成される。具体的に例えば、図示せぬセンサ部は、傾斜センサ、加速度センサ、角速度センサ等の各種センサ等で構成される。図示せぬセンサ部は、例えば、生徒Sの姿勢(手を挙げた動き等)等に関する各種検出情報を取得することができる。
また、生徒端末3は図示せぬ撮像部を含んで構成される。具体的に例えば、図示せぬ撮像部は、例えばデジタルカメラと同様に、レンズと、CCDやCMOS等による光学素子と、その制御部等により構成される。図示せぬ撮像部は、例えば、教師Tによる板書や、自身のテストに対する解答等を撮像することができる。
なお、生徒端末3の図示せぬ入力部についても、マイク等を含んで構成されていてもよい。
このようなサーバ1、教師端末2及び生徒端末3の各種ハードウェアと各種ソフトウェアとの協働により、後述するVR表示処理の実行が可能となる。
VR表示処理とは、サーバ1で仮想空間等を構築し、構築された仮想空間等に関する情報を教師端末2及び生徒端末3に送信する。教師端末2及び生徒端末3の夫々は、取得した情報に基づいて、当該仮想空間等に関する画像等を教師T及び生徒Sの夫々に対してVR表示等する一連の処理を言う。
図3は、図1及び図2のサーバ1や教師端末2や生徒端末3の機能的構成のうち、VR表示処理を実現するための機能的構成の一例を示す機能ブロックである。
図3に示すように、上述のVR表示処理において、サーバ1のCPU11においては、仮想空間管理部101と、教材音声管理部102と、発信管理部103と、解析部104とが機能する。
教師端末2のCPU202においては、入力情報管理部211と、出力情報管理部212とが機能する。
生徒端末3のCPU302においては、姿勢情報取得部311と、出力情報管理部312と、入力情報管理部313とが機能する。
なお、サーバ1の記憶部18の一領域には、図示せぬオブジェクトDBが設けられている。オブジェクトDBには、教師Tや生徒Sの夫々に対応し得る3Dオブジェクトに関する情報(以下、「アバタ情報」と呼ぶ)や、授業が行われる教室のモデルに対応するマップに関する情報(以下、「マップ情報」と呼ぶ)等が格納されている。
即ち、後述する仮想空間管理部101等は、各種処理を実行するに際して、このアバタ情報及びマップ情報を、適宜、オブジェクトDBから取得して利用することができる。
続いて、まずは、サーバ1、教師端末2及び生徒端末3のうち、サーバ1の機能的構成の一例から、順次説明していく。
仮想空間管理部101は、仮想空間の管理に関する各種処理を実行する。また、仮想空間管理部101は、上述の通り、図示せぬオブジェクトDBからアバタ情報及びマップ情報を取得する。
なお、仮想空間管理部101には、仮想空間構築部111とオブジェクト配置部112とが設けられる。
仮想空間構築部111は、講義内容や講義に係る教材に関する情報を第1種ユーザから第2種ユーザに対して提供する仮想空間を構築する。
即ち、仮想空間構築部111は、仮想空間管理部101で取得されたマップ情報から採用するマップを決定し、仮想空間を構築する。
ここで、仮想空間構築部111は、任意に採用するマップを決定することができるが、後述の通り、例えば、教師Tからの要望に基づいて、採用するマップを決定してもよい。
オブジェクト配置部112は、仮想空間管理部101で取得されたアバタ情報のうち教師T及び生徒Sの夫々に対応するアバタを選択し、仮想空間構築部111で決定されたマップ上に、当該アバタの夫々を配置する。
なお、オブジェクト配置部112は、教師T又は生徒Sの動作や姿勢を考慮して、配置するアバタの向きや角度を決定してもよい。
具体的には例えば、生徒Sが質問を希望して、後述する挙手ボタンをタッチした場合、オブジェクト配置部112は、対応する生徒Sのアバタを、手を挙げた状態で、配置してもよい。
また例えば、センサ等を用いて、生徒Sの動作や姿勢に関する情報を取得して、オブジェクト配置部112は、これらの情報に加味して、配置するオブジェクトの姿勢等を変更してもよい。
また、オブジェクト配置部112は、仮想空間(例えば図4の教室の仮想空間)のマップと、教師T及び生徒Sに対応するオブジェクトの当該仮想空間内の立ち位置等に関する情報(以下、「教室情報」と呼ぶ)を、通信部19を介して、教師端末2及び生徒端末3へ送信する。
つまり、上述の教室情報は、必ずしも教師T又は生徒Sに表示される画像そのものである必要はない。
即ち、例えば、オブジェクト配置部112は、圧縮した画像のみを送信し、教師端末2及び生徒端末3は、教師端末2及び生徒端末3に予め保存された表示用の高画質の画像を表示してもよい。
また例えば、オブジェクト配置部112は、仮想空間のマップを特定するための情報(マップの種類と対応するマップのID等)と、教師T及び生徒Sの位置や姿勢を特定するための情報(マップ内の座標やオブジェクトの姿勢を特定する情報等)とを送信してもよい。この場合、例えば、教師端末2又は生徒端末3は、これらの情報に基づいて、仮想空間に係る画像を再構築して、教師T又は生徒Sに表示することができる。
これにより、サーバ1と教師端末2又は生徒端末3とのデータ通信量を削減することができる。
また、オブジェクト配置部112は、後述する教材情報及び音声情報等に基づいて、異なるオブジェクト等を配置してもよい。即ち、オブジェクト配置部112は、教材情報に基づき、教材をオブジェクトとして仮想空間に配置することができる。具体的には例えば、板書の画像が教材として提供された場合、オブジェクト配置部112は、板書の画像を教室のホワイトボードの位置に配置する。この場合、例えば、生徒端末3は、板書の画像を仮想空間におけるオブジェクトとして生徒Sに表示することができる。
しかし、上述の処理では、HMDにおけるホワイトボードの表示領域の広さ(大きさ)は、仮想空間における生徒Sとホワイトボードとの距離に依存する。即ち、HMDによるVR表示において、ホワイトボードと離れた場合にはホワイトボードは小さく表示され、ホワイトボードに接近した場合には、ホワイトボードは大きく表示される。これは、他の教材(例えば机に置かれた教科書やノート)でも同様である。従って、生徒Sが教材を注視する場合、HMD上に拡大して表示するのが好適である。この様な場合に、生徒端末3の出力情報管理部312により拡大して表示する機能の詳細は、図4や図5を用いて後述する。
ここで、後述する通り、教師端末2において、教材音声情報が入力されると、その情報は、教材情報及び音声情報の夫々として、教師端末2からサーバ1へと送信されてくる。
そこで、サーバ1の教材音声管理部102は、教師端末2から送信されてきた教材情報及び音声情報を、通信部19を介して取得する。
発信管理部103は、生徒Sの発信希望及び教師Tの発信許可に関する各種管理を実行する。なお、発信管理部103が実行する管理の詳細については、図6等を用いて後述する。
解析部104は、教師T及び生徒Sにより行われた授業や、生徒Sの成績や姿勢情報との関連性について解析する。なお、解析部104が実行する解析の詳細については、後述する。
続いて、サーバ1、教師端末2及び生徒端末3のうち、教師端末2の機能的構成の一例を説明する。
教師端末2の入力情報管理部211は、教師Tからの各種入力情報を管理し、その情報を、適宜、サーバ1へと送信する。
即ち、例えば、入力情報管理部211は、教師Tから授業で使用する教材に関する情報を取得して、管理する。
具体的には例えば、教師Tは、例えば後述する図6の教師Tに表示される画面を介して、教師Tは教材音声DBに格納された教科書の特定のページを指定する。入力情報管理部211は、教師Tにより指定された教材が教科書の何ページであるか等の情報を取得することができる。他には例えば、教師端末2の入力部201を構成する図示せぬ撮像部から、教師Tによる板書の画像データを教材として取得する。なお、上記の例では、板書の画像データを取得するとしたが、教師Tがペンタブレット等を用いて板書としてペンの位置を取得するものであってもよいことは、いうまでもない。
また例えば、入力情報管理部211は、教師Tの音声に関する情報を取得して、管理する。
具体的に例えば、入力情報管理部211は、教師端末2の入力部201を構成する図示せぬマイクから、教師Tによる講義に係る説明の音声等を取得をするよう管理する。次に、入力情報管理部211は、通信部203を介して、音声を送信するよう管理する。送信された音声は、ネットワークNやサーバ1を介して(又はサーバ1を介さず直接)、生徒端末3へ提供され、後述する生徒端末3の出力情報管理部312に提供される。これにより、生徒Sに講義に係る説明の音声を提供することができる。
出力情報管理部212は、出力部204に出力される各種出力情報を取得して、管理する。
具体的に例えば、出力情報管理部212は、生徒端末3からサーバ1を介して(又は直接)提供された、生徒Sの発言に係る音声を提供された場合において、出力部204を制御し、生徒Sによる発言に係る音声を出力する制御を行う。
さらに、サーバ1、教師端末2及び生徒端末3のうち、生徒端末3の機能的構成の一例を説明する。
生徒端末3の姿勢情報取得部311は、図示せぬセンサ部で取得された各種検出情報に基づいて、生徒端末3を利用する生徒Sの動作や姿勢に関する情報を姿勢情報として取得する。
具体的に例えば、姿勢情報取得部311は、入力部301を構成するセンサ部により、生徒Sの姿勢に関する情報を取得する。即ち例えば、生徒SのHMDが備える加速度センサやジャイロセンサ、マーカ及びマーカの位置を取得するセンサ等から、HMDの位置や角度の情報を取得することができる。この情報を解析することにより、HMDの角度やその変化の情報を取得することができる。ここで、HMDの向きや角度は、生徒Sの姿勢の1つである頭の向きを示す。即ち、姿勢情報取得部311は、HMDの角度を含む生徒Sの姿勢に関する情報を姿勢情報として取得し、出力情報管理部312に供給することができる。
また例えば、姿勢情報取得部311は、センサ部を構成する挙手ボタンにより、生徒Sの姿勢に関する情報を取得する。具体的には例えば、生徒Sは、後述する発言の許可を得ようとする場合において、挙手ボタンを押す。姿勢情報取得部311は、挙手ボタンが押されたことに基づき、生徒Sの姿勢として挙手の姿勢を取ったものとして姿勢情報を取得することができる。
出力情報管理部312は、出力部304に出力される各種出力情報を取得して、管理する。
具体的に例えば、出力情報管理部312は、サーバ1から供給された仮想空間に係る情報と、姿勢情報取得部311から供給された姿勢情報とに基づいて、生徒SのHMDに表示されるべき画像を生成し、生徒SのHMDに表示する制御を行う。即ち例えば、姿勢情報取得部311から生徒Sが右を向いた旨を示す姿勢情報が提供された場合、出力情報管理部312は、仮想空間において生徒Sが右を向いた際に見えるべき画像を生成又は取得し、生徒SのHMDに表示する制御を行う。これにより、生徒SのHMDには生徒Sの向いた方向に対応した仮想空間の画像が表示され、生徒Sに教室の風景がVR表示される。
また例えば、姿勢情報取得部311から生徒Sがホワイトボード注視した旨を示す姿勢情報が提供された場合、出力情報管理部312は、ホワイトボードに表示されるべき教師Tによる板書等の教材を、仮想空間における机や教材として表示するのではなく、教室内のVR表示から教材の表示に切り替えることが出来る。即ち例えば、教室内のVR表示から、通常のディスプレイのように、HMDの大部分に教材のみを表示することが出来る。即ち、教材のうちの一部をさらに拡大して表示することができる。教材を拡大して表示する例の詳細は、図4及び図5等を用いて後述する。
入力情報管理部313は、生徒Sからの各種入力情報を管理し、その情報を、適宜、サーバ1へと送信する。
具体的には例えば、入力情報管理部313は、入力部301を構成するマイクを介して、生徒Sの音声に関する情報を取得して、管理することができる。また例えば、入力情報管理部313は、生徒端末3の入力部301を構成する図示せぬ撮像部から、生徒Sによる答案の画像データを取得することができる。なお、上記の例では、答案の画像データを取得するとしたが、生徒Sがペンタブレット等を用いて答案としてペンの位置を取得するものであってもよいことは、いうまでもない。
以上、サーバ1、教師端末2及び生徒端末3の機能的構成の一例を説明した。
図4は、図3の生徒端末3に表示される本サービスに係る画像の一例を示す図である。
図4の例では、教師Tに対応するアバタATと、生徒S1及び生徒S2に対応するアバタAS1及びAS2が、向き合って配置された教室の画像が表示されている。つまり、図4の例では、1人の教師Tが複数人の生徒Sに対して、仮想空間の教室で授業をしている情景が示されている。
なお、後述するが図4の例では、図示せぬ生徒S1乃至S6の合計6人の夫々に対応するアバタAS1乃至AS6が表示され得るが、ここでは、アバタAS1及びAS2のみが表示されている。
また、図4の例では、図示せぬ生徒S5の視点から見た授業の情景が、生徒端末3に画像として表示されているが、当然ながら、例えば、生徒S1の視点から見た情景を生徒端末3に画像として表示する等も可能である。
ここで、図4を見ると、例えば、ホワイトボードに「y=x+1」と「y=2x−1」との数式が表示されている。このように、仮想空間上のホワイトボード等を利用することで、教師Tは、実際に黒板を用いて授業をするような感覚で授業を行うこともできる。また、授業を受ける生徒S1及びS2も違和感なく授業を受けることが可能になる。
また、上述の通り、図4の例では、アバタAS1及びAS2のみが表示され、生徒S3乃至S6に対応するアバタAS3乃至AS6については、表示されていない。これは、生徒S5の視点からホワイトボード等を見た場合に、単に実際の授業の情景を模して画像を生成した場合、前の生徒Sが視界に入り込み黒板が見えづらいといった状況が想定されるところ、そのような状況を回避すべく生徒S5の前方に位置する生徒Sに対応するアバタを表示しない設定としているものである。これにより、本サービスの提供者は、授業を受ける生徒Sに対して、より利便性の高い授業を提供することができる。
ここで、生徒Sは、授業を受ける中で、例えば、ホワイトボードの文字が見えにくいような場合がある。本サービスでは、例えば、このような場合に生徒Sをサポートするための視点切り替え機能が含まれ得る。
具体的に例えば、生徒端末3は、姿勢情報取得部311で取得された姿勢情報等により、生徒端末3を利用する生徒Sが、ホワイトボートを注視していることが確認された場合、教室全体の表示からホワイトボードのみを拡大した画像に切り替えて表示することができる。
このように、生徒Sの動作や姿勢等に応じて、生徒端末3に表示される画像を切り替える機能が、視点切り替え機能である。続いて、この視点切り替え機能の具体的な例を、図5を参照しつつ説明する。
図5は、図3生徒端末3に表示される画像の一例であり、図4とは異なる例を示す図である。なお、図5に示す画像は、例えば、生徒Sが、ホワイトボードを注視した場合に、生徒端末3に拡大して表示される。即ち、図5は、図4の生徒Sがホワイトボードを注視した場合に、ホワイトボードの視認性を向上させて表示されるHMDの画面の例である。
具体的には例えば、図4の画面の例が生徒Sに提示されている場合において、生徒Sがホワイトボードの方向をみた場合、以下のように図5の画面が生徒端末3に拡大して表示される。即ち例えば、まず、姿勢情報取得部311が生徒端末3のHMDがホワイトボードの方向に向いているという姿勢情報を取得し、出力情報管理部312に姿勢情報を提供される。次に、姿勢情報を提供された出力情報管理部312は、生徒Sがホワイトボードを注視していると判定する。これにより、出力情報管理部312は、図4の画面の例の画像から、図5の画面の例の画像に切り替える制御をするよう管理する。即ち、出力情報管理部312は、生徒Sの姿勢に応じて、視点を切り替えるよう出力の管理を行う。
図5を見ると、HMDの画面にはホワイトボードのみが表示され、「y=x+1」と「y=2x−1」との数式が記載されている。ここで、図5の数式は、図4の数式よりも大きく表示されている。数式等の文字を読み書きする場合においては適度に大きく表示されることが好適である。即ち、図5のHMDの画面の例では、単に仮想空間におけるホワイトボード上に表示される場合と比較して、数式が拡大されて表示されている。
ここで、上述の通り、本サービスにおいて、授業を行う教師Tは、例えば、授業のための資料の切り替えや生徒Sへの質問等、授業の進行状況に応じて様々な事項の管理を行いたいというのが通常である。そこで、次に、図6を参照しつつ、授業に際して教師Tが行うことができる事項や操作等について簡単に説明する。
即ち、図6は、図3の教師端末2に表示される画像(管理画面)の一例を示す図である。
図6の例では、図6の中央部に、教師Tの視点から見た教室の画像が表示されている。教師Tは、このように教室全体の様子を俯瞰しながら授業を行うことで、まるで実際の教室で授業を行っているかのような感覚で、仮想空間上の授業を行うことができる。
また、図6の左部には、上から資料1乃至4といった教師Tが授業に利用する予定の資料が順番に表示されている。教師Tは、ここに表示されている資料のうち、任意のタイミングで任意の資料を選択することで、生徒Sの夫々に対して、資料を提示することができる。
また例えば、教師Tは、画面左側の資料をクリック等の操作をして資料を選択することで、その資料をホワイトボード等に表示することができてもよい。
そして、図6の右部を見ると、6人の生徒Sの夫々について、上から順に生徒A乃至Fの名前が表示され、その下には、「発言を許可」、「発言を終了」、「入室を許可」、「退場」というボタンが表示されている。なお、生徒A乃至Fの夫々は、生徒の名前である。即ち、以下、生徒Aという名前の生徒Sを「生徒A」と呼ぶ。そのため、画面等に表示される「生徒A」は、生徒Sの名前として「生徒A」が表示されているものといえる。
ここで、図6の右部において、生徒B及び生徒Dの名前の左には、小さく手のアイコンが表示されている。これは、生徒B及び生徒Dから発言を希望する旨の入力がなされていることを示している。
このとき、サーバ1の発信管理部103は、上述の生徒A乃至生徒Fからの発言を希望する旨の入力を受け付け、管理する。即ち、発信管理部103は、図6の例では、生徒B及び生徒Dからの発言を希望する旨の入力を受け付け、管理している。
このように複数の生徒S(図6の例では生徒A乃至F)から発言を希望する旨の入力がなされた場合、教師Tは、そのうちの1人を指名して、発言を許可することができる。図6の例において、教師Tは、生徒Bを選択して、右下に表示された「発言を許可」のボタンをクリック等することで生徒Bの発言を許可することができる。
また、このとき、サーバ1の発信管理部103は、教師Tにより生徒A乃至生徒Fからの発言を許可する旨を受け付け、管理する。即ち、発信管理部103は、図6の例では、生徒Bに対して発言を許可する旨の情報を受け付け、管理している。
そして、図6の上部を見ると、「ROOM no.03」、「○×先生」及び「数学 第2回」の表示がされている。即ち、管理画面には、教室の番号や、先生の名前や、教科や授業のタイトルを表示されている。
そして、図6の下部を見ると、左から順に「時間 16:22」の文字列と、「開始」、「休憩」、「再開」、「終了」というボタンと、「現在授業中です」の文字列とが表示されている。
ここで、「時間 16:22」の表記は授業を開始してから16分22秒経過している旨を示している。また、教師Tは時間の右のボタンの夫々に対しクリック等の操作をすることができる。教師Tは、「開始」のボタンを操作することにより講義を開始したり、「休憩」のボタンを操作することにより講義を休憩したり、「再開」のボタンを操作することにより講義の再開をしたり、「終了」のボタンを操作することにより講義を終了することができる。また、「現在授業中です」の文字列は、現在授業中である旨を示しており、この場合、教師Tは授業の休憩をしたり、授業の終了をしたりすることができる。
続いて、図7を参照しつつ、上述した、教師Tに発言を許可された生徒Sが発言をする場合の例を説明する。
図7は、図3の生徒端末に表示される画像の一例であり、図6とは異なる例を示す図である。
図7の例では、図6の例で示したように、生徒B及び生徒Dから発言を希望する旨の入力がなされ、その結果、教師Tにより生徒Bの発言が許可されているものとする。
図7を見ると、生徒A乃至Fに対応する6つのアバタと、教師Tに対応するアバタが表示され、そのうちの一人の生徒(生徒B)が挙手をして表示されている。
そして、図7の左部に位置する教師Tに対応するアバタは、挙手をしている生徒(生徒B)を指差して表示されている。このように、本サービスでは、仮想空間上で行われる授業であっても、実際に教室で授業を受けているかのような画像がリアリティをもって表示されるため、授業を受ける生徒が、より臨場感を持って授業を受けることができる。
また、上述の生徒Bに対応するアバタは、「3です。」というメッセージが表示されている。これはつまり、発言を許可された生徒Bが、教師Tからの質問に対して、「3です。」と解答したことを意味している。このように本サービスでは、授業の状況に応じて、内容に変化を加えることも可能であり、リアルタイムに進行する。
なお、図7の例では、吹き出しに×マークが示された生徒は、発言が許可されていないことを示している。
図8及び図9は、図3の教師端末に表示されるUIの一例を示す図である。
図8及び図9に示すUIは、表示領域R11乃至R17を含むように構成されている。
表示領域R11には、生徒一覧として、そのとき教室内に存在する(即ち授業に参加している)1以上の生徒Sの一覧が表示される。なお、図8の例では1人の生徒S(生徒H)が参加しており、図9の例では2人の生徒S(生徒HG)が参加している。
表示領域R12には、「資料一覧」と「360度背景一覧」とのうち選択された一方が表示される。「資料一覧」と「360度背景一覧」とは、タブによる切替表示が可能である。
表示領域R12に表示させる内容として「資料一覧」が選択された場合には、表示領域R12には、教師Tが授業に利用する予定の資料の一覧がファイル名とともに表示される。教師Tは、表示領域R12に表示されている資料のうち、任意のタイミングで任意の資料を選択することで、生徒Sの夫々に資料を提示することができる。なお、図8の例では、ファイル名が「第1回板書.pdf」とするm枚(mは6以上の整数値)の資料の一部(資料1乃至6)が表示されている。
「資料一覧」に表示された資料は、教師Tが授業中の任意のタイミングで自由に出し入れすることができる。資料の出し入れは、教師Tによるドラックする操作によって容易に行うことができる。これにより、教師Tは、生徒Sが求める授業を自由に行うことができる。
表示領域R12に表示させる内容として「360度背景一覧」が選択された場合には、表示領域R12には、360度の様子を見渡すことができる撮像画像のデータ(以下、「360度画像写真」と呼ぶ)の一覧が表示される。教師Tは、表示領域R12に表示されている360度画像写真のうち、任意のタイミングで任意の360度画像写真を選択することで、後述する表示領域R13の背景を、教室の画像から360度画像写真に変更することができる。これにより、生徒Sは、教室にいたはずの自分が360度画像写真により示される場所に瞬間移動したような臨場感を体感することができるとともに、授業の理解度を高めることができる。「360度背景一覧」に表示された360度画像写真は、教師Tが授業中の任意のタイミングで自由に出し入れすることができる。360度画像写真の出し入れは、教師Tによるドラックする操作によって容易に行うことができる。なお、360度画像写真の具体例については、図10以降を参照して後述する。
表示領域R13には、教師Tの視点から見た、生徒Sに対応するアバタASを含む教室の様子を示す画像が表示されている。これにより、教師Tは、表示領域R13に表示された教室の様子を俯瞰しながら授業を行うことができる。例えば生徒Sが実際に向いている方向を、アバタASを介して教師端末2に表示させることもできる。その結果、教師Tは、あたかも実際の教室で授業を行っているかのような感覚で仮想空間上の授業を行うことができる。
ここで、図8の例では1人の生徒S(生徒H)に対応するアバタAS1が表示領域R13に表示されており、図9の例では2人の生徒S(生徒H及びG)の夫々に対応するアバタAS1及びAS2が表示領域R13に表示されている。このように、生徒Sに対応するアバタASが仮想空間上に複数存在している場合には、教師Tは、任意のアバタAS(図9の例ではアバタAS2)に、丸印で示されるカーソルMを合わせることで、そのアバタASに対応する生徒Sに関する情報を教師端末2に表示させることができる。また、教師Tは、教師端末2に表示された生徒一覧のうち任意の生徒Sを指定すると、その生徒Sに対応するアバタASにカーソルMが表示される。これにより、教師Tは、生徒S及びアバタASの夫々を容易に特定することができるので、仮想空間上の教室にアバタASが大勢いる場合であっても、誰に何を伝えたのかを容易に管理することができる。即ち、通常の授業であれば、授業を行う先生は、生徒の顔と名前を覚えたりすることができる。しかしながら、VR技術を用いた授業の場合、生徒SのアバタASは変更されたり、場合によっては複数の生徒Sで同じ容姿のアバタASが利用されたりする可能性がある。この機能により、本サービスを利用する先生は、生徒Sと生徒Sにより利用されるアバタASと、生徒Sの情報とを容易に関連付けて授業を行うことができる。
表示領域R14には、授業情報が表示される。授業情報には、表示領域R13に表示されている教室で行われている授業の授業名と、各種設定を行うためのチェックボタンとが含まれる。なお、図8及び図9の例では「教室」に関する設定と、「先生」に関する設定とを夫々行うためのチェックボタンが表示されている。またその下には「授業を終了する」と表記されたボタンが表示されている。
これにより、教師Tは、「教室」に関する設定として、表示領域R13に教室を表示させるか否かについての設定と、表示領域R12に資料を表示させるか否かについての設定との夫々を行うことができる。なお、図8及び図9の例では、表示領域R13に教室を表示させる旨の設定と、表示領域R12に資料を表示させる旨の設定とが夫々なされている。
また、教師Tは、「先生」(即ち教師T)に関する設定として、図示せぬマイクをミュートにするか否かについての設定を行うことができる。なお、図8及び図9の例では、マイクをミュートにする旨の設定がなされている。マイクをミュートに設定することにより、双方向の音声のみを切ることができる。本サービスは、遠隔地からオンラインで利用できることを前提としているが、双方向の音声のみを切ることにより、遠隔地のみならず、近くにいるユーザ同士がオフラインで本サービスを利用することができるようになる。これにより、例えば同一の施設内で本サービスを利用することもできるので、本サービスの利用シーンを増やすことができる。
また、教師Tは、授業の終了時に「授業を終了する」と表記されたボタンをクリック等する操作を行うだけで、授業を終了させることができる。
表示領域R15には、授業を受ける生徒Sが視認できるホワイトボードの編集画面が表示される。教師Tが図示せぬタッチペンを用いて表示領域R15にフリーハンドで文字等を描くと、その内容がリアルタイムで表示領域R13のホワイトボードに反映される。
例えば、教師Tは、表示領域R12の「資料一覧」から所望の1の資料を選択することで、選択した資料をホワイトボードに表示させることができる。これにより、教師Tは、リアル空間で行われる従来の授業を行う感覚で仮想空間上の授業を行うことができる。
図8の例では、タッチペンで「School」と手描きされた文字が表示領域R15に表示されているので、表示領域R13に表示されたホワイトボードにも「School」の文字がリアルタイムで反映される。なお、図9の例ではホワイトボードに何も描かれていない。
また、ホワイトボードの編集画面に描かれた文字等は、データ化して生徒Sに提示することができる。これにより、生徒Sは、ホワイトボードに描かれた文字等をノートに書き写す必要がなくなるので、教師Tの授業を聴くことに集中することができる。
表示領域R16には、表示領域R15の編集画面にフルーハンドで文字等を描くときに用いられる描画ツールが表示される。なお、図8及び図9の例では、描画ツールとして、文字等を描くときに用いるペンの色と、描いた文字等の全部削除又は一部削除するための消しゴムとを選択することができる。
表示領域R17には、表示領域R12に表示された資料のうち、表示領域R15に表示させる(即ち生徒Sに視認させる)ものを選択する操作を行うためのボタンが表示されている。なお、図8及び図9の例では、資料が選択されていないため、表示領域R15に資料が表示されていない。
次に、図10を参照して、360度画像写真の具体例について説明する。
図10は、360度画像写真の一例を示す図である。
図8及び図9に示すUIの表示領域R12に360度背景一覧として表示された、1以上の360度画像写真のうちいずれかが選択されると、選択された360度画像写真を背景とする画像が表示領域R13に表示される。これにより、生徒Sは、あたかも360度画像写真に示される場所に自分がいるような感覚を体感することができるので、臨場感溢れる授業を実現させることができる。
なお、表示領域R13に表示される画像は、図8及び図9に示すような教室を背景とするものと、後述する図10に示すような360度画像写真を背景とするものとを自由に切り替えて行き来することができる。具体的には、教師Tは、表示領域R13に表示される画像の右下に表示された切替ボタンB1をクリック等することで、表示領域R13に表示される画像の背景を、教室と360度画像写真とで切り替えることができる。
図10に示す360度画像写真は、例えば図9の表示領域R13に表示される画像の一例であり、生徒Hの視点から見たレストランの様子を示している。即ち、生徒Hの視点から見たレストランには、客席に着席している生徒Gに対応する顧客のアバタAS2と、その客席の隣に立つ教師Tに対応する店員のアバタATとが存在する。また、客席の隣の壁には、有名人のサイン色紙と、レストランのメニューが記載された黒板とが貼り付けてある。また、生徒Hの手元には、レストランのメニューが置かれている。
このようなシチュエーションを利用することで、臨場感に溢れた英会話の授業を行うことが可能となる。具体的には例えば、英会話の内容として、「壁に貼り付けられた色紙には誰のサインが描かれているのですか」、「隣の客席に置かれている料理は何ですか」といった、背景の様子を活かした臨機応変な英会話の授業を楽しむこともできる。即ち例えば、従来の英会話の授業では、会話のシチュエーションを想定した上で、教室等によって行われる。しかしながら、本サービスにおいては、生徒S及び先生は、実際にそのシチュエーションに置かれたかのような体験が可能となる。その結果、生徒Sに対する授業の効果が高まったり、授業の内容そのものが魅力的なものと評価され得る。
次に、図11を参照して、生徒端末3に表示される画面のモード切替機能について説明する。
図11は、VRモードが選択されているときに生徒端末に表示される画面と、画面モードが選択されているときに生徒端末に表示される画面との夫々を示す図である。
本サービスでは、仮想空間上の授業を受ける生徒Sの目の疲労を配慮したサービスとして、生徒端末3に表示される画面を、VRモードと画面モードとで自由に切り替えることができる。
図11(A)には、VRモードが選択されているときに生徒端末3に表示される画面の一例が示されている。
VRモードが選択されると、図11(A)の右側に示す右目用の画像と、図11(A)の左側に示す左目用の画像とが視差を生じさせた状態で表示される。この画像をHMDに表示させることで生徒SはVR環境で教師Tの授業を受けることができる。ただし、VR環境で授業を受けている生徒Sが、目に疲労を感じる場合がある。
この場合、生徒Sは、図11(A)に示す画面の右下に配置されたモード切替ボタンBをクリック等する操作を行う。これにより、図11(A)に示すVRモードから、図11(B)に示す画面モードに表示を切り替えることができる。これにより、生徒Sは、生徒端末3に表示される画像を視認しながら、適宜向き等を変える操作を指で行うことで、教師Tの授業を継続して受けることができる。
また、画面モードで授業を受けていた生徒Sは、目の疲労が回復したと判断した場合には、再度モード切替ボタンBをクリック等する操作を行う。これにより、図11(B)に示す画面モードから、図11(A)に示すVRモードに表示を切り替えることができる。これにより、生徒Sは、HMDを介して得ることができる仮想空間上の授業を継続して受けることができる。
また、画面モードで授業を受けている場合であっても、図8を用いて上述したように、生徒Sが実際に向いている方向を、アバタASを介して教師端末2に表示させることができる。
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の教師Tは、本サービスにおいて、以下のことを行うことができる。
(1)教師Tは、上述の仮想空間を任意に設計することができる。即ち、サーバ1は、教師Tからの要望に基づいて、生徒Sの人数や教室の種類(例えば、モダンな洋風の教室等)等を決定し、上述の仮想空間を構築することができる。
(2)教師Tは、授業の開始日時を設定することができる。即ち、サーバ1は、教師Tからの要望に応じて、授業開始の(本サービスを提供する)日時の設定ができる。また、サーバ1は、教師からの要望に応じて、授業開始の時間に対応した仮想空間(例えば、夕日が差し込んだ教室等)を構築してもよい。
(3)教師Tは、授業開始時間に、生徒Sへチャイムを鳴らすことができる。即ち、サーバ1は、生徒端末3へチャイムを鳴らす指示を送信してもよい。なお、このチャイムは、必ずしも仮想空間の提供と合わせて行われる必要はなく、単に生徒端末3のスピーカ等から別途鳴らす仕様としてもよい。
(4)教師Tは、生徒Sの座席を指定してもよい。即ち、サーバ1は、教師Tの要望に応じて、生徒Sの夫々に対応するオブジェクトを配置する場所を変更してもよい。
(5)教師Tは、問題に対する解答等の発言を希望する生徒Sに挙手を促すことができる。即ち、教師Tは挙手した生徒Sから、発言を許可する生徒Sを選択することができる。
(6)教師Tは、ホワイトボードへのスライドのアップロードをすることができる。即ち、教師Tは、板書や教科書等のページ番号教材を指定することに限らず、自作のスライドを教材としてホワイトボードにアップロードすることができる。
(7)教師Tは、生徒Sが仮想空間に配置された教室に出入りを行うことを管理することができる。即ち、入退室管理を行うことができる。
(8)教師Tは、生徒Sの理解度を管理することができる。即ち、サーバ1は、生徒端末3で取得された生徒Sの夫々の姿勢情報等から生徒Sの理解度を評価することができ、教師Tは、自由にそれらを管理することができてもよい。
(9)教師Tは、生徒Sの夫々に対して、資料の配布をすることができる。即ち、教師Tは、教師端末2を介して、適宜、授業に必要な資料をサーバ1等にアップロードすることができる。そして、サーバ1は、アップロードされた資料を、生徒端末3の夫々に提示することができる。
(10)教師Tは、適宜、生徒Sの夫々に対して、テストを行うことができる。即ち、サーバ1は、教師Tにより事前にアップロード等されたテストを、上述の仮想空間の提示と同時に行い、生徒Sに対してテストを受けさせることができる。
また、この場合、教師Tは、生徒Sのテストの結果を管理することができ、例えば、ランキング等で並び替えることができる。
(11)教師Tは、生徒Sの夫々の動き等に合わせて、自身のアバタを任意に変更等することができる。例えば、生徒Sが女性であれば、教師Tは自身に対応するアバタを容姿の整った男性のアバタを採用する等行うことができる。さらに言えば、教師Tは、人気のある俳優やアニメ等のキャラクターを模したアバタ―を、自身に対応するアバタとして採用してもよい。
また、本サービスに付随するサービスについて、さらに補足する。具体的に例えば、生徒Sは、本サービスにおいて、以下のことを行うことができる。
(1)上述の通り、生徒Sは、講義中に教師Tの横等に表示されている黒板を視認することが可能であるが、例えば、一定の動作を行う(一定の角度で下を向く等)ことで、黒板等に表示されている内容を拡大して表示する等することができる。
(2)生徒Sは、上述のHMD等を付けたまま仮想空間から現実の空間へと視点を切り替えることができる。即ち、生徒端末3は、生徒Sからの要望に応じて、表示する画像を仮想空間に関する画像と、実空間上の画像(例えば、図示せぬカメラにより撮像された画像等)と切り替えることができるものとしてもよい。
(3)生徒端末3の音声入力は、通常OFFに設定し、授業中に生徒S同士が会話をできない仕様としてもよい。これにより、実際の授業と近い授業を、仮想空間上でも再現することができる。
(4)上述の通り、生徒端末3は、図示せぬセンサ部で生徒Sの姿勢に関する情報等を取得することで、生徒Sが何も持たずに生徒Sが挙手したことを認識することができるものとしてもよい。
(5)上述の通り、教師Tは、自身に表示された管理画面を見ながら、挙手した生徒Sのうち1人の生徒Sを指名することができるものとしてもよい。この場合、指名された生徒Sは、音声入力がONに設定され、自由に発言ができるようになる仕様としてもよい。
また上述の実施形態では、特に言及していないが、教師端末2及び生徒端末3は、教師端末2に表示される管理画面及び生徒端末3に表示される管理画面の夫々において、例えば、直感的に分かりやすい画像(アイコン等)を表示するアシスト機能が搭載されてもよい。
さらに言えば、特に教師端末2は、教師端末2に表示される管理画面において、例えば、教師Tに感情移入を容易にする画像(アイコン等)を表示するリズム表示機能が搭載されてもよい。
また、ここで、本サービスと従来行われていた通常の授業との違いについて、補足する。
(1)本サービスにおいては、授業の録画が可能であり、教師T及び生徒Sは、どこからでも見直すことが可能である(録画した授業を360度見渡すことが可能)。
(2)本サービスでは、生徒Sの行動履歴(姿勢情報や入力された音声情報等)を取得することが可能であり、授業中の生徒Sの動作や視線等に関する情報を収集することができる。
(3)例えば、授業中の生徒Sの動作や視線等に関する情報と、上述のテストの結果を含む生徒Sの学力に関する情報とを解析することで、学力と授業中の動作や視線等との関係性を明らかにすることができる可能性がある。
具体的には、例えば、上述の(3)に示す情報には以下のような利用が想定される。
例えば、テスト時の生徒Sの視線に関する情報を収集して、集計する。その結果、テストの結果の良い生徒Sが見ている場所や、見ている順番等を解析し、次回以降の授業に生かすことで、新規の学習指導の方法を開発することができる可能性がある。
例えば、授業を行う教師Tの表情や動きに関するデータを収集し、その授業を受けた生徒Sの夫々の理解度に関するデータを収集し、どのような教師Tの教え方が生徒Sの理解度に影響を与えるかを解析することで、新規の学習指導の方法を開発することができる可能性がある。
例えば、教師Tが授業をする際に使用する教材のどこを生徒Sが見ているかを解析することで、より効果の高い教材を作成するために利用できる可能性がある。
また例えば、上述の実施形態において、本サービスにより教師T及び生徒Sは授業を行うことができるとして説明を行ったが、特にこれに限定されない。即ち、例えば、議長と議員による会議であってもよい。更に言えば、全員が議員から構成される遠隔ビデオ会議やプレゼンテーションを行う会議であってもよい。
また例えば、上述の実施形態において、教師端末2はディスプレイやマイク等を備えたPC等で構成されるとしていたが、特にこれに限定さない。即ち、教師端末2は例えばVR表示やAR表示が可能なHMD等を備えていてもよい。
また例えば、上述の実施形態において、本サービスの提供に係る情報処理システムは、サーバと教師端末2と生徒端末3とで構成されるとしていたが、特にこれに限定さない。即ち、教師Tや生徒S等のユーザに対し、仮想空間の画像を提供できれば足る。即ち、1つのサーバにより複数の仮想空間の画像を生成してもよく、ユーザの端末により生成されてもよい。
また例えば、上述の実施形態において、生徒端末3は図示せぬセンサ部を含んで構成され、センサ部は傾斜センサ、加速度センサ、角速度センサ等の各種センサ等で構成されるものとして説明を行ったが、特にこれに限定されない。即ち、例えば、生徒Sは全身の関節の各所等にモーションキャプチャに係るマーカを着用し、周囲に配置された撮像部により生徒Sの全身の姿勢を取得できるようになっていてもよい。これにより、解析部104により解析する、生徒Sの姿勢に関する情報が増え解析から得られる情報を増やすことができる。
また例えば、上述の実施形態において、生徒端末3はHMDを含んで構成されるものとして説明を行ったが、特にこれに限定されない。即ち、例えば、生徒端末3はHMDを含まず、ディスプレイを備えたPCにより構成されていてもよい。
また例えば、上述の実施形態において、発言を許可された生徒Sが発言する場合、吹き出しが表示され、発言を許可されていない他の生徒Sが発言する場合吹き出しに×が表示されるものとして説明を行ったが、特にこれに限定されない。即ち、例えば、VR空間上には特に何も表示されず、発言を許可された生徒Sが発言した音声のみ教師Tや他の生徒Sに対して提供され、発言を許可されていない他の生徒Sが発言した音声は教師Tやその他の生徒Sに対して提供されないように制御されていれば足りる。
また例えば、上述の実施形態において、教材はホワイトボードに表示されるものとして説明を行ったが、特にこれに限定されない。即ち、例えば、教材は教科書や資料集のような通常紙媒体が用いられる教材に限らない。具体的には例えば、上記の教科書や資料集に加え、1つの写真等の画像や3Dモデルとしてモデリングされた教材等、を教材とすることができる。即ち例えば、教材として、重要文化財や建造物等を3Dモデルとした教材を用いることができる。
また例えば、上述の実施形態において、生徒Sが授業に参加しやすい環境とするために生徒端末3で表示される画像の表示方法として、前方に位置するユーザを表示させないことを例として説明したが、特にこれに限定されない。
即ち例えば、複数の生徒Sの夫々全員が、教室の中心に着席することが出来る。具体的には例えば、複数の生徒Sのうち第1の生徒Sに対して提供する仮想空間は、第1の生徒Sが教室の中心に自席を備える仮想空間とする。ここで、第2の生徒Sに対して提供する仮想空間は第1の生徒Sに提供した仮想空間と同一である必要はない。即ち、第2の生徒Sに対して提供する仮想空間は、第2の生徒Sが教室の中心に自席を備える仮想空間とすることが出来る。これにより、複数の生徒Sの夫々は、座席の位置により講義に参画しづらい等の影響を受けないことができる。
更に言えば、複数の生徒Sの夫々に提供する仮想空間に配置される教師Tのアバタの夫々は、同一の姿勢に限定されず、生徒Sの夫々に対して、最適な姿勢のアバタを配置してもよい。
具体的に例えば、教室での授業の場合、教師Tは特定の生徒Sの方向のみを向いて授業を行うことになる。これに対して、本サービスでは、複数の生徒Sに利用される生徒端末3の夫々が、利用する生徒Sの方を教師Tが視線を向けている状態の画像を、夫々の生徒Sに対して表示することができる。これにより、本サービスの提供を受ける生徒Sの夫々は、教師Tに常に注意を払われているように感じ得るため、より学習効果が高まる可能性がある。
更に言えば、生徒端末3の夫々に表示される画像において、教師Tは、視線だけでなく、さらにその他の姿勢であってもよい。
具体的に例えば、教師Tの姿勢は、生徒Sの顔覗き込むといった姿勢であってもよい。また、この姿勢は、生徒端末3を利用する生徒Sの動作や姿勢、癖等に基づいて決定されてもよい。これにより、生徒Sは、教師Tとより近い関係性で授業に取り組むことが出来る。
また例えば、上述の実施形態において、生徒Sの姿勢情報に基づき、視点を切り替えるよう出力の管理を行うことにより、ホワイトボードを拡大してHMDに表示するとして説明を行ったが、特にこれに限定されない。
即ち、例えば、生徒Sの姿勢情報に基づき、注視した他のオブジェクトを拡大表示したりしてもよい。また例えば、生徒Sの姿勢情報に基づき、オブジェクトの全体を俯瞰する等、適切な大きさで表示することができる。
また例えば、仮想空間に配置された3Dモデルの全体を閲覧したり、細部を閲覧したり、内部から閲覧したりするよう、視覚情報の表示形態を変更する制御を行うことができる。具体的には例えば、生徒Sは建造物の3Dモデルの内部における景色に対応したVR表示を行ったり、建造物の3Dモデルの全体を鳥瞰するようにVR表示を行ったりすることができる。即ち、姿勢情報に基づき、教材等を視認性が向上するように表示することができる。
更に言えば、上述の実施形態(特に図6)において、サーバ1は、単に教師Tにより選択された資料をホワイトボード等に表示するものとして説明を行ったが、特にこれに限定されない。即ち、例えば、サーバ1は、教師Tにより選択されたマップに基づいて仮想空間を構築することができてよい。
具体的には例えば、江戸城を題材にした歴史の授業を行っている場合等に、教師Tが仮想空間を構築するマップとして江戸城を再現した3Dモデルをマップとして選択することができる。そして、サーバ1は、このようにして選択された江戸城に対応する3Dマップに基づいて仮想空間を構築することができる。
これにより、生徒Sは、実際にその授業の内容に対応した仮想空間において、仮想的な体験をしながら授業を受けることができるため、さらに学習効果が向上する可能性がある。
また、サーバ1は、教師Tにより選択されるマップの候補を管理画面において提示してよい。即ち例えば、サーバ1は、前述のように図6において資料が順番に表示されているのと同様に、マップを順番に表示してよい。また例えば、図示はしないが、図6において資料が順番に表示されている部分において、「資料」と「マップ」との夫々のタブが構築されて表示されてよい。この場合、教師Tは「資料」と「マップ」との夫々のタブを切り替えて表示し、夫々を選択することができる。
更に言えば、上述の教師Tにより選択されるマップの候補は、授業の題材に限らず、個別の学習ブースを備えた教室や運動場等、任意のマップであってよい。
また例えば、教師T、及び生徒Sの夫々は、本サービスのユーザ向けの専用のアプリケーションソフトウェア(以下、「専用アプリ」と呼ぶ)がインストールされた教師端末2、及び生徒端末3の夫々を用いて本サービスを利用することができる。
また、教師T、及び生徒Sの夫々は、教師端末2、及び生徒端末3の夫々のブラウザ機能により表示される、本サービスのユーザ向けの専用のWebサイト(以下、「専用サイト」と呼ぶ)から本サービスを利用することもできる。この場合、生徒Sは、専用アプリをインストールすることなく気軽にVR環境を体験することができる。
また例えば、上述の仮想空間上に存在するアバタや教室のモデルといった3Dモデルを示すデータは、ダウンロードすることができないようにすることができる。これにより、教師Tや生徒Sは、自分のアバタを安心して仮想空間上の教室に存在させる(即ち授業に参加する)ことができる。
即ち、3Dモデルは、通常であれば教師端末2や生徒端末3にダウンロードしてから実行することになる。この場合、ダウンロード時にダウンロード元のURL(Uniform Resource Locator)が判明してしまう。
そこで、本サービスでは、例えばブラウザに仮想空間上の教室が表示されていない場合には、ダウンロードを行うためのアクセスを拒否することもできる。また例えば、3Dモデルのファイルを所定のアルゴリズムにより改変することで、所定の形式ではファイルを開けないようにすることもできる。
また例えば、上述の実施形態では、ホワイトボードの編集画面に描かれた文字等はデータ化して生徒Sに提示することができるとしたが、共有される情報(データ)はホワイトボードに限定されない。
即ち例えば、本サービスでは、VR空間で起った事象を録画し再現できるようにすることで、リアルタイム以外の人も過去に行われた優れた授業やイベントをいつでも体験することができる。
具体的には例えば、サーバ1は、授業の録画として、先生の行動の内容(発言の音声や、ホワイトボード及び資料の提示内容、タイミング等)や、他の生徒の行動の内容(発言の音声や視線、姿勢等)を記録することができる。即ち、複数の端末間で利用される情報(例えば、音声データやアバタの存在する座標や視線を示すベクトル等のデータ)が記録される。
更に、サーバ1は、記録された授業の録画を、授業が行われた後で、ユーザ(授業に参加していない先生や生徒、及び授業に参加した先生や生徒)に提供することができる。即ち、他のユーザは、授業が行われた後であっても、授業の内容をそのまま体験することができる。
これまで、実際の教育現場において、授業研究のため一つの教室に集まり、授業の様子を共有するといったことが行われていた。また例えば、授業を欠席した生徒のために補講が行われていた。また例えば、単に映像として録画された授業を共有するビデオ授業が存在していた。一方、本サービスでは、授業が行われた後であっても、ユーザは、授業の内容をそのまま体験することができる。即ち、ユーザは、既に行われた授業の内容を正確且つ効率的に体験することができる。
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図3の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の例に限定されない。また、機能ブロックの存在場所も、図3に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、スマートフォンやパーソナルコンピュータ、又は各種デバイス等であってもよい。
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上を換言すると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システム(例えば、図1の情報処理システム)は、
所定のテーマに関する情報(例えば、講義内容や講義に係る教材に関する情報)を提供する第1種ユーザ(例えば、教師T)と、前記情報を提供される第2種ユーザ(例えば、生徒S)によって使用される情報処理システムにおいて、
前記情報を前記第1種ユーザから前記第2種ユーザに対して提供する仮想空間を構築する構築手段(例えば、図3の仮想空間構築部111)と、
前記第1種ユーザに相当するアバタが配置された前記仮想空間に基づく画像を、前記第2種ユーザに対して表示する第1制御を実行する第1制御手段(例えば、図3の出力情報管理部312)と、
前記情報の少なくとも一部を音声情報で前記第2種ユーザに対して提供する制御を実行する第2制御手段(例えば、図3の教材音声管理部102)を備え、
前記第1制御手段は、前記情報の少なくとも一部を視覚情報で前記第2種ユーザに提供するための第2制御を実行する、
情報処理システムであれば足りる。
更に、前記第2種ユーザの姿勢を特定可能な情報を姿勢情報として取得する姿勢取得手段(例えば、図3の姿勢情報取得部311)、
をさらに備え、
前記第1制御手段は、前記第2制御として、前記姿勢情報に基づいて、視覚情報の表示形態を変更する制御を実行することができる。
更に、前記第2種ユーザからの情報の発信を前記第1種ユーザが許可する旨を示す許可情報を取得する第1取得手段(例えば、図3の発信管理部103)と、
前記第1取得手段により前記許可情報が取得された後、前記第2種ユーザから発信された情報を、音声情報又は視覚情報で少なくとも前記第1種ユーザに提供する制御を実行する第3制御手段(例えば、図3の教材音声管理部102)と、
をさらに備えることができる。
更に、前記第2種ユーザは複数人存在し、
前記第1取得手段は、複数人の前記第2種ユーザのうち、情報の発信が前記第1種ユーザにより許可されたものを特定可能な許可ユーザ情報をさらに取得し、
前記第3制御手段は、前記許可ユーザ情報により特定される前記第2種ユーザから発信された情報を、前記複数人の第2種ユーザに提供する制御をさらに実行することができる。
更に、前記第2種ユーザが情報の発信を希望している旨を示す発信希望情報を取得する第2取得手段(例えば、図3の発信管理部103)と、
前記発信希望情報を前記第1種ユーザに提供する制御を実行する第4制御手段(例えば、図3の発信管理部103)と、
をさらに備えることができる。
1・・・サーバ、2・・・教師端末、3・・・生徒端末、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・表示部、17・・・入力部、18・・・記憶部、19・・・通信部、20・・・ドライブ、21・・・リムーバブルメディア、101・・・仮想空間管理部、102・・・教材音声管理部、103・・・発信管理部、104・・・解析部、201・・・入力部、202・・・CPU、203・・・通信部、204・・・出力部、211・・・入力情報管理部、212・・・出力情報管理部、301・・・入力部、302・・・CPU、303・・・通信部、304・・・出力部、321・・・姿勢情報取得部、312・・・出力情報管理部、313・・・入力情報管理部

Claims (5)

  1. 所定のテーマに関する情報を提供する第1種ユーザと、前記情報を提供される第2種ユーザによって使用される情報処理システムにおいて、
    前記情報を前記第1種ユーザから前記第2種ユーザに対して提供する仮想空間を構築する構築手段と、
    前記第1種ユーザに相当するアバタが配置された前記仮想空間に基づく画像を、前記第2種ユーザに対して表示する第1制御を実行する第1制御手段と、
    前記情報の少なくとも一部を音声情報で前記第2種ユーザに対して提供する制御を実行する第2制御手段を備え、
    前記第1制御手段は、前記情報の少なくとも一部を視覚情報で前記第2種ユーザに提供するための第2制御を実行する、
    情報処理システム。
  2. 前記第2種ユーザの姿勢を特定可能な情報を姿勢情報として取得する姿勢取得手段をさらに備え、
    前記第1制御手段は、前記第2制御として、前記姿勢情報に基づいて、視覚情報の表示形態を変更する制御を実行する、
    請求項1に記載の情報処理システム。
  3. 前記第2種ユーザからの情報の発信を前記第1種ユーザが許可する旨を示す許可情報を取得する第1取得手段と、
    前記第1取得手段により前記許可情報が取得された後、前記第2種ユーザから発信された情報を、音声情報又は視覚情報で少なくとも前記第1種ユーザに提供する制御を実行する第3制御手段と、
    をさらに備える請求項1又は2に記載の情報処理システム。
  4. 前記第2種ユーザは複数人存在し、
    前記第1取得手段は、複数人の前記第2種ユーザのうち、情報の発信が前記第1種ユーザにより許可されたものを特定可能な許可ユーザ情報をさらに取得し、
    前記第3制御手段は、前記許可ユーザ情報により特定される前記第2種ユーザから発信された情報を、前記複数人の第2種ユーザに提供する制御をさらに実行する、
    請求項3に記載の情報処理システム。
  5. 前記第2種ユーザが情報の発信を希望している旨を示す発信希望情報を取得する第2取得手段と、
    前記発信希望情報を前記第1種ユーザに提供する制御を実行する第4制御手段と、
    をさらに備える請求項3又は4に記載の情報処理システム。
JP2019203843A 2018-11-09 2019-11-11 情報処理システム Pending JP2020080154A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018211383 2018-11-09
JP2018211383 2018-11-09

Publications (1)

Publication Number Publication Date
JP2020080154A true JP2020080154A (ja) 2020-05-28

Family

ID=70801871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019203843A Pending JP2020080154A (ja) 2018-11-09 2019-11-11 情報処理システム

Country Status (1)

Country Link
JP (1) JP2020080154A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4020139A1 (en) 2020-12-28 2022-06-29 Yokogawa Electric Corporation Apparatus, method and program for changing the display mode of a region based on gaze
JP2023058477A (ja) * 2021-10-13 2023-04-25 株式会社電通 授業支援システム、授業支援方法、授業支援プログラム
WO2023080121A1 (ja) * 2021-11-02 2023-05-11 株式会社ドワンゴ 端末、処理方法、通信システム、プログラムおよび記録媒体
JP2023068455A (ja) * 2021-11-02 2023-05-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 教育支援装置、教育支援方法及び教育支援プログラム
JP7528621B2 (ja) 2020-08-05 2024-08-06 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7530754B2 (ja) 2020-06-30 2024-08-08 東芝システムテクノロジー株式会社 教育支援システム、方法およびプログラム
JP7663915B2 (ja) 2021-02-08 2025-04-17 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7530754B2 (ja) 2020-06-30 2024-08-08 東芝システムテクノロジー株式会社 教育支援システム、方法およびプログラム
JP7528621B2 (ja) 2020-08-05 2024-08-06 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
EP4020139A1 (en) 2020-12-28 2022-06-29 Yokogawa Electric Corporation Apparatus, method and program for changing the display mode of a region based on gaze
US11635811B2 (en) 2020-12-28 2023-04-25 Yokogawa Electric Corporation Apparatus, method and storage medium to provide maintenance management with altered display based on a user's visual line
JP7663915B2 (ja) 2021-02-08 2025-04-17 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
JP2023058477A (ja) * 2021-10-13 2023-04-25 株式会社電通 授業支援システム、授業支援方法、授業支援プログラム
JP7442611B2 (ja) 2021-10-13 2024-03-04 株式会社電通 イベント支援システム、イベント支援方法、イベント支援プログラム
WO2023080121A1 (ja) * 2021-11-02 2023-05-11 株式会社ドワンゴ 端末、処理方法、通信システム、プログラムおよび記録媒体
JP2023068455A (ja) * 2021-11-02 2023-05-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 教育支援装置、教育支援方法及び教育支援プログラム

Similar Documents

Publication Publication Date Title
US11756280B2 (en) Flippable and multi-faced VR information boards
JP2020080154A (ja) 情報処理システム
US11871109B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
De Lucia et al. Development and evaluation of a virtual campus on Second Life: The case of SecondDMI
JP2009145883A (ja) 学習システム、記憶媒体及び学習方法
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US11320895B2 (en) Method and apparatus to compose a story for a user depending on an attribute of the user
CN114846808B (zh) 内容发布系统、内容发布方法以及存储介质
Krueger An easy entry artificial reality
US20240096227A1 (en) Content provision system, content provision method, and content provision program
Decortis et al. Mediating effects of active and distributed instruments on narrative activities
KR101747896B1 (ko) 양방향 유아 교육 서비스 장치 및 양방향 유아 교육 서비스 방법
Tabački Into the Nebula: Embodied perception of scenography in virtual environments
Schäfer Improving essential interactions for immersive virtual environments with novel hand gesture authoring tools
Rasool et al. Designing interfaces for creative learning environments using the transreality storyboarding framework
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Billinghurst Shared space: explorations in collaborative augmented reality
JP6864041B2 (ja) 情報記憶方法および情報記憶システム
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Knierim Enhancing interaction in mixed reality: the impact of modalities and interaction techniques on the user experience in augmented and virtual reality
Pendit Conceptual Model of Mobile Augmented Reality for Cultural Heritage Site towards Enjoyable Informal Learning (MARCHSTEIL)
Myers et al. Introduction: from broken systems towards extended possibilities of XR technologies
Bala et al. Virtual Library: A Guide to Digital Resources for Education using Metaverse
Meling Virtual Reality as a Digital Collaboration Tool
KR20220048350A (ko) 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121