JP2021087128A - Class system, viewing terminal, information processing method, and program - Google Patents

Class system, viewing terminal, information processing method, and program Download PDF

Info

Publication number
JP2021087128A
JP2021087128A JP2019215521A JP2019215521A JP2021087128A JP 2021087128 A JP2021087128 A JP 2021087128A JP 2019215521 A JP2019215521 A JP 2019215521A JP 2019215521 A JP2019215521 A JP 2019215521A JP 2021087128 A JP2021087128 A JP 2021087128A
Authority
JP
Japan
Prior art keywords
lesson
content
virtual space
learning content
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019215521A
Other languages
Japanese (ja)
Other versions
JP6727388B1 (en
Inventor
大樹 下村
Daiki Shimomura
大樹 下村
恵美子 吉原
Emiko YOSHIHARA
恵美子 吉原
智志 井口
Tomoshi Iguchi
智志 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2019215521A priority Critical patent/JP6727388B1/en
Application granted granted Critical
Publication of JP6727388B1 publication Critical patent/JP6727388B1/en
Publication of JP2021087128A publication Critical patent/JP2021087128A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To enhance education effect by seamlessly performing a class and a practice in correspondence education.SOLUTION: A class system for taking a class conducted in an immersive virtual space connects a communication class server 10 and a student terminal 30. The communication class server 10 comprises a delivery unit 103 that delivers class content for viewing a class being conducted in the virtual space and practical learning content for displaying in the virtual space a prescribed environment associated with the class. The student terminal 30 comprises a VR function unit 301 that disposes and controls in the virtual space an avatar of a student that uses the student terminal 30, receives the class content and practical learning content, and displays the class content or the practical learning content from the avatar's point of view. In the class system, the class content and the practical learning content are switched with prescribed timing.SELECTED DRAWING: Figure 4

Description

本発明は、授業システム、視聴端末、情報処理方法およびプログラムに関する。 The present invention relates to a lesson system, a viewing terminal, an information processing method and a program.

近年、情報通信技術(ICT)を利用した教育システムが広まっている。 In recent years, educational systems using information and communication technology (ICT) have become widespread.

例えば、特許文献1には、学習者が装着したヘッドマウントディスプレイ(HMD)に3次元映像を出力し、仮想現実の環境で語学教育を実施する教育装置が開示されている。 For example, Patent Document 1 discloses an educational device that outputs a three-dimensional image to a head-mounted display (HMD) worn by a learner and conducts language education in a virtual reality environment.

特開2004−61783号公報Japanese Unexamined Patent Publication No. 2004-61783

特許文献1の装置を用いると、HMDとヘッドホンにより実世界から隔離された状態で語学学習を行うことで、臨場感のある体験を可能とし、教育効果を高めることができる。 By using the device of Patent Document 1, it is possible to enable a realistic experience and enhance the educational effect by performing language learning in a state of being isolated from the real world by the HMD and headphones.

教師と生徒が同じ空間にいる集合型授業では、授業中の教師の指示に基づいて特許文献1の装置を使うことで授業と演習とを密接にリンクさせて教育効果を高める効果が期待できる。しかしながら、通信教育では、生徒が自ら授業を選択して視聴するため、授業と演習とをリンクさせて視聴するか否かは生徒に任せられていた。 In a group lesson in which the teacher and the student are in the same space, the effect of enhancing the educational effect can be expected by closely linking the lesson and the exercise by using the device of Patent Document 1 based on the instruction of the teacher in the lesson. However, in correspondence education, students select and watch lessons themselves, so it is up to the students to link the lessons and exercises and watch them.

本発明は、上記に鑑みてなされたものであり、通信教育において、授業と実践をシームレスに実施することで、教育効果を高めることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to enhance the educational effect by seamlessly implementing lessons and practices in correspondence education.

本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で授業を受けるための授業システムであって、前記通信授業用サーバは、前記仮想空間内の教室で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを配信する配信部を有し、前記視聴端末は、当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、前記授業コンテンツと前記実地学習コンテンツを受信する受信部と、前記アバターの視点で前記授業コンテンツまたは前記実地学習コンテンツを表示する表示部を有し、所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられる。 The lesson system of one aspect of the present invention is a lesson system for connecting a communication lesson server and a viewing terminal to take a lesson in an immersive virtual space, and the correspondence lesson server is the virtual one. The viewing terminal has a distribution unit that distributes lesson content for viewing lessons conducted in a classroom in the space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space. An avatar control unit that arranges and controls the avatar of a student who uses the viewing terminal in the virtual space, a receiving unit that receives the lesson content and the on-the-job learning content, and the lesson content or the lesson content from the viewpoint of the avatar. It has a display unit for displaying the on-the-job learning content, and the lesson content and the on-the-job learning content are switched at a predetermined timing.

本発明によれば、通信教育において、授業と実践をシームレスに実施することで、教育効果を高めることができる。 According to the present invention, in correspondence education, the educational effect can be enhanced by seamlessly implementing lessons and practices.

図1は、本実施形態の授業コンテンツの配信システムの全体的な構成例を示すブロック図である。FIG. 1 is a block diagram showing an overall configuration example of the lesson content distribution system of the present embodiment. 図2は、授業コンテンツの配信元の教室を概念的に示す図である。FIG. 2 is a diagram conceptually showing the classroom from which the lesson content is distributed. 図3は、通信授業用サーバの構成例を示す機能ブロック図である。FIG. 3 is a functional block diagram showing a configuration example of a correspondence class server. 図4は、生徒用端末の構成例を示す機能ブロック図である。FIG. 4 is a functional block diagram showing a configuration example of a student terminal. 図5は、コンテンツを切り替える処理の流れを示すシーケンス図である。FIG. 5 is a sequence diagram showing a flow of processing for switching contents. 図6は、生徒が仮想空間内で授業を受ける様子を示す図である。FIG. 6 is a diagram showing a student taking a lesson in a virtual space. 図7は、実地学習コンテンツの一例を示す図である。FIG. 7 is a diagram showing an example of on-the-job learning content. 図8は、実地学習コンテンツに授業コンテンツの一部をはめ込んだ一例を示す図である。FIG. 8 is a diagram showing an example in which a part of the lesson content is fitted into the on-the-job learning content.

[システム構成]
以下、本発明の一実施形態の授業システムについて図面を用いて説明する。
[System configuration]
Hereinafter, the lesson system according to the embodiment of the present invention will be described with reference to the drawings.

本実施形態の授業システムは、没入感のある仮想空間内で行われる授業を受けるための授業システムである。図1に示す授業システムは、通信授業用サーバ10および複数の生徒用端末30を備える。通信授業用サーバ10および複数の生徒用端末30は、通信回線20に接続されている。通信授業用サーバ10と複数の生徒用端末30とは離れた位置に配置される。複数の生徒用端末30のそれぞれも離れた位置に配置されてもよい。通信回線20は、インターネット等の任意の通信回線である。なお、図1では、6台の生徒用端末30を図示しているが、生徒用端末30の台数は任意である。 The lesson system of this embodiment is a lesson system for taking lessons conducted in an immersive virtual space. The lesson system shown in FIG. 1 includes a correspondence lesson server 10 and a plurality of student terminals 30. The correspondence class server 10 and the plurality of student terminals 30 are connected to the communication line 20. The correspondence class server 10 and the plurality of student terminals 30 are arranged at positions apart from each other. The plurality of student terminals 30 may also be arranged at distant positions. The communication line 20 is an arbitrary communication line such as the Internet. Although 6 student terminals 30 are shown in FIG. 1, the number of student terminals 30 is arbitrary.

生徒用端末30は、VR機能を有する任意のコンピュータ機器を用いることができる。生徒用端末30は、生徒が装着して仮想空間内を見るためのヘッドマウントディスプレイ(HMD)と、生徒からの入力を受け付けて仮想空間内に配置される生徒アバターを操作するためのコントローラ、および生徒の解答を入力するマイクロホンを接続する。 As the student terminal 30, any computer device having a VR function can be used. The student terminal 30 includes a head-mounted display (HMD) for the student to wear and view the inside of the virtual space, a controller for receiving input from the student and operating the student avatar arranged in the virtual space, and a controller. Connect a microphone to enter the student's answer.

生徒用端末30は、通信授業用サーバ10から仮想空間内で授業を視聴するための情報を受信してHMDに表示する。HMDは、生徒の頭の動きを検知し、頭の動きに応じて仮想空間を撮影する仮想カメラの撮影方向を変化させる。つまり、生徒は、頭を動かすことで、仮想空間内のあらゆる方向を見ることができる。生徒がコントローラを操作すると、仮想空間内の生徒アバターは、入力された操作に応じて動作する。例えば、生徒がコントローラを持つ手を上げると、生徒アバターも手を上げる。 The student terminal 30 receives information for viewing a lesson in the virtual space from the correspondence lesson server 10 and displays it on the HMD. The HMD detects the movement of the student's head and changes the shooting direction of the virtual camera that shoots the virtual space according to the movement of the head. That is, students can move their heads to see in any direction within the virtual space. When the student operates the controller, the student avatar in the virtual space operates according to the input operation. For example, when a student raises his hand holding the controller, so does the student avatar.

通信授業用サーバ10には、教室ディスプレイ11、中継カメラ12、教師用端末13、マイクロホン14、およびスピーカ15が接続される。スピーカ15は、ヘッドホン(イヤホン)を含む。通信授業用サーバ10は、接続された機器から受信した情報を元に、仮想空間内で行われる授業の授業コンテンツを作成し、生徒用端末30に配信する。 A classroom display 11, a relay camera 12, a teacher terminal 13, a microphone 14, and a speaker 15 are connected to the communication class server 10. The speaker 15 includes headphones (earphones). The communication lesson server 10 creates lesson contents of the lesson to be held in the virtual space based on the information received from the connected device, and distributes the lesson contents to the student terminal 30.

図2に示すように、教師40は、教室ディスプレイ11の前に立ち、教室ディスプレイ11と教師用端末13を用いて授業を行う。教室ディスプレイ11は、電子黒板と称される大画面ディスプレイである。教師40は、通信授業用サーバ10に記憶されている授業用データを教室ディスプレイ11に表示させて授業を行う。教師40の発話に合わせて授業用データが遷移して表示されて授業が進行する。なお、教室ディスプレイ11の代わりに黒板またはホワイトボードを用いてもよい。 As shown in FIG. 2, the teacher 40 stands in front of the classroom display 11 and gives a lesson using the classroom display 11 and the teacher terminal 13. The classroom display 11 is a large screen display called an electronic blackboard. The teacher 40 displays the lesson data stored in the correspondence lesson server 10 on the classroom display 11 to give a lesson. The lesson data is transitioned and displayed according to the utterance of the teacher 40, and the lesson progresses. A blackboard or a whiteboard may be used instead of the classroom display 11.

中継カメラ12は、教師40による授業を撮影する。中継カメラ12としては、例えば、教室内の周方向全域を撮影する360度カメラ(全天球カメラともいう)を用いることができる。授業を撮影したパノラマ動画(360度動画または全天球動画ともいう)は、通信授業用サーバ10に送信されて、授業コンテンツとして蓄積される。通信授業用サーバ10は、パノラマ動画を生徒用端末30に配信する。生徒用端末30は、パノラマ動画を仮想空間内に投影する。中継カメラ12で視差のあるパノラマ動画を撮影し、HMDで視差のある映像を表示することで、生徒は、HMDを装着して仮想空間内に入り込み、仮想空間内に投影された立体的なパノラマ動画を見渡すことができる。これにより、生徒は、没入感のあるリアルな教室で授業を受けているように感じることができる。 The relay camera 12 captures the lesson by the teacher 40. As the relay camera 12, for example, a 360-degree camera (also referred to as an omnidirectional camera) that captures the entire circumferential direction in the classroom can be used. The panoramic video (also referred to as 360-degree video or spherical video) of the lesson is transmitted to the correspondence lesson server 10 and stored as lesson content. The correspondence lesson server 10 delivers the panoramic video to the student terminal 30. The student terminal 30 projects a panoramic moving image into the virtual space. By shooting a panoramic video with parallax with the relay camera 12 and displaying the image with parallax with the HMD, the student wears the HMD and enters the virtual space, and the three-dimensional panorama projected in the virtual space. You can see the video. This allows students to feel as if they are taking lessons in an immersive and realistic classroom.

中継カメラ12は、教室の前方の任意の角度(例えば180度)を撮影するカメラを用いてもよい。中継カメラ12で撮影されていない教室の後方部分は、仮想空間内に床、壁、および天井のオブジェクトを配置してコンピュータグラフィックスで構築するとよい。生徒が仮想空間内で教室の後方を向いたとき、生徒は、何も映っていない空間ではなく、CGの教室を見ることになり、没入感が損なわれない。 As the relay camera 12, a camera that captures an arbitrary angle (for example, 180 degrees) in front of the classroom may be used. The rear part of the classroom, which is not photographed by the relay camera 12, may be constructed by computer graphics by arranging floor, wall, and ceiling objects in the virtual space. When the student turns to the back of the classroom in the virtual space, the student sees the CG classroom instead of the empty space, and the immersive feeling is not impaired.

教師用端末13は、教師40が授業を進行する際に利用する端末である。教師40は、教師用端末13を操作し、教室ディスプレイ11に表示する授業用データを選択してもよい。また、教師40は、授業中に教師用端末13を操作し、実地学習コンテンツを生徒用端末30へ送信する切替タイミングを設定してもよい。実地学習コンテンツとは、授業に関連した所定の環境を生徒用端末30において表示するためのデータである。切替タイミングでは、配信するコンテンツが授業コンテンツから実地学習コンテンツに切り替えられる。生徒用端末30は、実地学習コンテンツを受信し、実地学習コンテンツを表示する生徒は、授業を受けていた教室から所定の環境に転移したように感じる。生徒は、実地学習コンテンツを表示した環境において、授業コンテンツで習ったことを実践する。 The teacher terminal 13 is a terminal used by the teacher 40 when proceeding with the lesson. The teacher 40 may operate the teacher terminal 13 and select the lesson data to be displayed on the classroom display 11. Further, the teacher 40 may operate the teacher terminal 13 during the lesson and set a switching timing for transmitting the on-the-job learning content to the student terminal 30. The on-the-job learning content is data for displaying a predetermined environment related to the lesson on the student terminal 30. At the switching timing, the content to be delivered is switched from the lesson content to the on-the-job learning content. The student terminal 30 receives the on-the-job learning content, and the student who displays the on-the-job learning content feels as if he / she has moved from the classroom where he / she was taking the lesson to a predetermined environment. Students practice what they have learned in class content in an environment that displays hands-on learning content.

なお、実地学習コンテンツへの切替タイミングは、教師40が授業を行いながら設定するだけでなく、授業を撮影後に、撮影した授業の動画を見ながら設定してもよい。なお、以上の各動作は、教師が用いる教師用端末13を用いる態様以外にも種々の態様が可能である。例えば、遠隔授業放送のプロデューサやディレクター、あるいは番組の配信者が操作する端末その他を用いてももちろんよい。この点は以下に説明する教師用端末13を用いる各動作において共通である。 The timing of switching to the on-the-job learning content may be set not only by the teacher 40 while performing the lesson, but also by watching the video of the lesson taken after the lesson is taken. It should be noted that each of the above operations can be performed in various modes other than the mode in which the teacher terminal 13 used by the teacher is used. For example, a terminal or the like operated by a producer or director of a distance learning broadcast, or a distributor of a program may be used, of course. This point is common to each operation using the teacher terminal 13 described below.

マイクロホン14は、教師40の発した音声を収音する。収音された音声データは、通信授業用サーバ10に送信される。通信授業用サーバ10は、動画に合わせて音声データを生徒用端末30へ配信する。 The microphone 14 collects the sound emitted by the teacher 40. The collected voice data is transmitted to the correspondence class server 10. The correspondence lesson server 10 distributes audio data to the student terminal 30 in accordance with the moving image.

スピーカ15は、例えば、撮影スタッフからの授業の進行に関する指示などを出力して教師40に伝える。 The speaker 15 outputs, for example, an instruction regarding the progress of the lesson from the shooting staff and conveys it to the teacher 40.

[サーバの構成]
図3を参照し、通信授業用サーバ10の構成例について説明する。図3に示す通信授業用サーバ10は、入出力部101、記憶部102、配信部103、および解答受信部104を備える。
[Server configuration]
A configuration example of the correspondence class server 10 will be described with reference to FIG. The communication class server 10 shown in FIG. 3 includes an input / output unit 101, a storage unit 102, a distribution unit 103, and an answer receiving unit 104.

入出力部101は、教室ディスプレイ11、中継カメラ12、教師用端末13、マイクロホン14、およびスピーカ15と接続し、授業用データを教室ディスプレイ11や教師用端末13に出力したり、動画データ、音声データ、および操作を入力したりする。入出力部101が入力した動画データや音声データは授業コンテンツとして記憶部102に記憶される。 The input / output unit 101 is connected to the classroom display 11, the relay camera 12, the teacher terminal 13, the microphone 14, and the speaker 15, and outputs the lesson data to the classroom display 11 and the teacher terminal 13, video data, and audio. Enter data and operations. The moving image data and audio data input by the input / output unit 101 are stored in the storage unit 102 as lesson content.

記憶部102は、教室で行われる授業を撮影した授業コンテンツと授業で使用される実地学習コンテンツを記憶する。1つの授業コンテンツにつき、複数の実地学習コンテンツを用いてもよい。 The storage unit 102 stores the lesson content obtained by photographing the lesson performed in the classroom and the on-the-job learning content used in the lesson. A plurality of on-the-job learning contents may be used for one lesson content.

記憶部102は、授業内において実地学習コンテンツデータを配信する切替タイミングを記憶する。切替タイミングは、授業が始まってからの経過時間である。授業コンテンツの動画データのタイムスタンプを用いてもよい。記憶部102は、実地学習コンテンツから授業コンテンツに切り替える切替タイミングも記憶する。実地学習コンテンツの再生が終了した時点を授業コンテンツへの切替タイミングとしてもよい。 The storage unit 102 stores the switching timing for distributing the on-the-job learning content data in the lesson. The switching timing is the elapsed time from the start of the lesson. The time stamp of the video data of the lesson content may be used. The storage unit 102 also stores the switching timing for switching from the on-the-job learning content to the lesson content. The time when the playback of the on-the-job learning content is completed may be the timing for switching to the lesson content.

記憶部102は、実地学習コンテンツでの生徒の解答を記憶してもよい。例えば、生徒が実地学習コンテンツを見ながら発話した英会話を記憶する。後日、教師は、記憶部102に記憶された生徒の解答を評価し、その評価を生徒に通知してもよい。 The storage unit 102 may store the student's answer in the hands-on learning content. For example, memorize the English conversation that the student uttered while watching the on-the-job learning content. At a later date, the teacher may evaluate the student's answer stored in the memory unit 102 and notify the student of the evaluation.

配信部103は、生徒用端末30の求めに応じて、授業コンテンツデータを配信する。配信部103は、授業コンテンツデータを生徒用端末30にストリーミング配信してもよいし、授業コンテンツデータを生徒用端末30にダウンロードさせてもよい。 The distribution unit 103 distributes the lesson content data in response to the request of the student terminal 30. The distribution unit 103 may stream the lesson content data to the student terminal 30 or download the lesson content data to the student terminal 30.

配信部103は、配信するコンテンツを切り替えるタイミングになると、配信するコンテンツを授業コンテンツから実地学習コンテンツに切り替えたり、実地学習コンテンツから授業コンテンツに切り替えたりする。 When it is time to switch the content to be distributed, the distribution unit 103 switches the content to be distributed from the lesson content to the on-the-job learning content, or switches from the on-the-job learning content to the lesson content.

解答受信部104は、実地学習コンテンツを学習中の生徒の解答を受信して記憶部102に記憶させる。解答受信部104は、生徒の解答に応じて、次に配信する実地学習コンテンツを選択してもよい。 The answer receiving unit 104 receives the answers of the students who are learning the on-the-job learning content and stores them in the storage unit 102. The answer receiving unit 104 may select the on-the-job learning content to be delivered next according to the student's answer.

[生徒用端末の構成]
図4を参照し、生徒用端末30の構成例について説明する。図4に示す生徒用端末30は、VR機能部301、入力部302、および解答送信部303を備える。生徒用端末30には、HMD31、コントローラ32、およびマイクロホン33が接続される。
[Student terminal configuration]
A configuration example of the student terminal 30 will be described with reference to FIG. The student terminal 30 shown in FIG. 4 includes a VR function unit 301, an input unit 302, and an answer transmission unit 303. The HMD 31, the controller 32, and the microphone 33 are connected to the student terminal 30.

VR機能部301は、通信授業用サーバ10から授業コンテンツデータや実地学習コンテンツを受信し、HMD31で検出した生徒の頭の動きに基づいて仮想空間内の仮想カメラを制御し、生徒の頭の方向の映像をHMD31に表示させる。また、VR機能部301は、HMD31やコントローラ32から入力した情報に基づいて生徒アバターの姿勢や動きを制御し、生徒アバターを仮想空間内に配置してレンダリングする。 The VR function unit 301 receives lesson content data and on-the-job learning content from the correspondence lesson server 10, controls a virtual camera in the virtual space based on the movement of the student's head detected by the HMD 31, and directs the student's head. Is displayed on the HMD 31. Further, the VR function unit 301 controls the posture and movement of the student avatar based on the information input from the HMD 31 and the controller 32, and arranges and renders the student avatar in the virtual space.

入力部302は、HMD31で検出した生徒の頭の動き、コントローラ32での操作、およびマイクロホン33で集音した生徒の音声を入力する。生徒の動き情報や操作は、VR機能部301へ送信されて、生徒アバターの制御に用いられる。生徒の音声は、解答送信部303を介して通信授業用サーバ10へ送信される。 The input unit 302 inputs the student's head movement detected by the HMD 31, the operation by the controller 32, and the student's voice collected by the microphone 33. The student's movement information and operations are transmitted to the VR function unit 301 and used to control the student avatar. The student's voice is transmitted to the correspondence lesson server 10 via the answer transmission unit 303.

解答送信部303は、実地学習コンテンツを学習中の生徒の解答を通信授業用サーバ10へ送信する。 The answer transmission unit 303 transmits the answers of the students who are learning the on-the-job learning content to the correspondence class server 10.

生徒用端末30は、生徒アバターの姿勢や動きを制御するためのモーションデータを通信授業用サーバ10へ送信してもよい。 The student terminal 30 may transmit motion data for controlling the posture and movement of the student avatar to the communication class server 10.

通信授業用サーバ10および生徒用端末30には、例えば、中央演算処理装置(CPU)、メモリ、ストレージ、通信装置、および入出力装置を備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、通信授業用サーバ10および生徒用端末30が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。 For the communication class server 10 and the student terminal 30, for example, a general-purpose computer system including a central processing unit (CPU), memory, storage, communication device, and input / output device can be used. In this computer system, the correspondence class server 10 and the student terminal 30 are realized by the CPU executing a predetermined program loaded in the memory. This program can be recorded on a computer-readable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be distributed via a network.

[コンテンツ切替処理]
図5のシーケンス図を参照し、授業コンテンツと実地学習コンテンツを切り替える処理について説明する。
[Content switching process]
The process of switching between the lesson content and the on-the-job learning content will be described with reference to the sequence diagram of FIG.

ステップS11にて、通信授業用サーバ10は、生徒用端末30への授業コンテンツの配信を開始する。授業コンテンツは、教師40が空港での英会話の授業を進める様子を撮影したパノラマ動画であるとする。生徒用端末30は、パノラマ動画を仮想空間内に投影する。生徒の装着したHMD31には、生徒の頭の向きに応じた映像が表示される。 In step S11, the correspondence lesson server 10 starts delivering the lesson content to the student terminal 30. It is assumed that the lesson content is a panoramic video of the teacher 40 proceeding with an English conversation class at the airport. The student terminal 30 projects a panoramic moving image into the virtual space. An image corresponding to the orientation of the student's head is displayed on the HMD 31 worn by the student.

図6は、生徒が仮想空間内で授業を受ける様子を示す図である。仮想空間内には、教師40と教室ディスプレイ11が撮影されたパノラマ動画が投影されている。図6では、パノラマ動画内の教室の壁、床、および天井を省略している。机オブジェクト510は、仮想空間内の生徒アバターの前に配置した3次元オブジェクトである。図6では、生徒アバターを省略しているが、生徒アバターは、仮想空間内の中継カメラ12に相当する位置に配置される。生徒用端末30は、生徒アバターの視点位置に基づき、パノラマ動画に生徒アバターや机オブジェクト510などの仮想空間内のオブジェクトを合成した画像をレンダリングして、HMD31に供給する。 FIG. 6 is a diagram showing a student taking a lesson in a virtual space. A panoramic video of the teacher 40 and the classroom display 11 is projected in the virtual space. In FIG. 6, the walls, floor, and ceiling of the classroom in the panoramic video are omitted. The desk object 510 is a three-dimensional object placed in front of the student avatar in the virtual space. Although the student avatar is omitted in FIG. 6, the student avatar is arranged at a position corresponding to the relay camera 12 in the virtual space. The student terminal 30 renders an image in which objects in the virtual space such as the student avatar and the desk object 510 are combined with the panoramic moving image based on the viewpoint position of the student avatar, and supplies the image to the HMD 31.

授業が進行して切替タイミングになると、例えば新たに習う会話文の説明が終わると、ステップS12にて、通信授業用サーバ10は、生徒用端末30に配信するコンテンツを授業コンテンツから実地学習コンテンツに切り替える。例えば、通信授業用サーバ10は、実地学習コンテンツに切替タイミング(例えば授業開始からの経過時間)を対応付けておき、授業開始からの経過時間が切替タイミングになるとコンテンツの切り替えを実行する。 When the lesson progresses and the switching timing comes, for example, when the explanation of the conversation sentence to be newly learned is finished, in step S12, the correspondence lesson server 10 changes the content to be delivered to the student terminal 30 from the lesson content to the on-the-job learning content. Switch. For example, the correspondence lesson server 10 associates the switching timing (for example, the elapsed time from the start of the lesson) with the on-the-job learning content, and executes the content switching when the elapsed time from the start of the lesson reaches the switching timing.

ステップS13にて、通信授業用サーバ10は、授業コンテンツの配信を一時停止し、実地学習コンテンツの配信を開始する。 In step S13, the correspondence lesson server 10 suspends the distribution of the lesson content and starts the distribution of the on-the-job learning content.

例えば、授業が空港での英会話に関する内容の場合、実地学習コンテンツは、授業で習った英会話を使う空港内を表示するコンテンツである。実地学習コンテンツは、臨場感を出すために、実際の現場において360度カメラで撮影したパノラマ動画であるとよい。空港カウンターの前に360度カメラを設置し、空港カウンターの前にいる客の視点で空港内の周方向全域を撮影する。スタジオに空港カウンターのセットを組んで撮影してもよい。実地学習コンテンツは、パノラマ動画に限らずパノラマ静止画であってもよい。実地学習コンテンツに静止画を用いる場合は、より臨場感を出すために、空港の環境音を加えるとよい。 For example, when the lesson is about English conversation at the airport, the on-the-job learning content is the content that displays the inside of the airport where the English conversation learned in the lesson is used. The on-the-job learning content is preferably a panoramic video taken with a 360-degree camera at the actual site in order to give a sense of reality. A 360-degree camera is installed in front of the airport counter, and the entire circumferential direction inside the airport is photographed from the viewpoint of the customer in front of the airport counter. You may set up an airport counter in the studio and shoot. The on-the-job learning content is not limited to the panoramic video, but may be a panoramic still image. When using still images for on-the-job learning content, it is advisable to add the environmental sound of the airport in order to give a more realistic feeling.

あるいは、実地学習コンテンツは、実写に限らずコンピュータグラフィックスであってもよい。この場合、通信授業用サーバ10は、レンダリング後の画像を生徒用端末30へ配信してもよいし、生徒用端末30が仮想空間をレンダリングしてもよい。 Alternatively, the on-the-job learning content is not limited to the live-action film, but may be computer graphics. In this case, the correspondence class server 10 may deliver the rendered image to the student terminal 30, or the student terminal 30 may render the virtual space.

実地学習コンテンツが配信されると、生徒用端末30では、教室を撮影したパノラマ動画に代わって空港を撮影したパノラマ動画が表示される。仮想空間には空港内のパノラマ動画が投影されるので、生徒は周囲を見渡すと空港内にいるように感じられる。 When the on-the-job learning content is delivered, the student terminal 30 displays a panoramic video of the airport instead of the panoramic video of the classroom. Since the panoramic video of the airport is projected on the virtual space, the students feel as if they are inside the airport when looking around.

図7に実地学習コンテンツの一例を示す。図7の例は、空港カウンターのスタッフ41と会話の練習をするための実地学習コンテンツである。実地学習コンテンツでは、生徒はカウンター前の客を演じて、授業で習った会話文を用いて、仮想空間内に投影されたパノラマ動画内のスタッフ41と会話の練習を行う。例えば、実地学習コンテンツでは、スタッフ41が問いかけた後にしばらく無音区間を設けておき、生徒はスタッフ41の問いかけに対する返答を行う。実写のスタッフ41の代わりに、実写の空港内の映像にコンピュータグラフィックスで描画したスタッフアバターを合成してもよい。 FIG. 7 shows an example of on-the-job learning content. The example of FIG. 7 is on-the-job learning content for practicing conversation with the staff 41 of the airport counter. In the hands-on learning content, the student plays a guest in front of the counter and practices conversation with the staff 41 in the panoramic video projected in the virtual space using the conversational sentences learned in the lesson. For example, in the hands-on learning content, a silent section is provided for a while after the staff 41 asks a question, and the student responds to the question of the staff 41. Instead of the live-action staff 41, a staff avatar drawn by computer graphics may be combined with the live-action airport image.

ステップS14にて、マイクロホン33で集音された生徒の音声は解答として生徒用端末30へ送信され、ステップS15にて、生徒用端末30から通信授業用サーバ10へ送信されて、ステップS16にて、通信授業用サーバ10に記録される。 In step S14, the student's sound collected by the microphone 33 is transmitted to the student terminal 30 as an answer, in step S15, is transmitted from the student terminal 30 to the correspondence lesson server 10, and in step S16. , Recorded on the correspondence class server 10.

実地学習コンテンツの配信が終わると、ステップS17にて、通信授業用サーバ10は、生徒用端末30に配信するコンテンツを実地学習コンテンツのから授業コンテンツに切り替える。 When the distribution of the on-the-job learning content is completed, in step S17, the correspondence lesson server 10 switches the content to be delivered to the student terminal 30 from the on-the-job learning content to the lesson content.

ステップS18にて、通信授業用サーバ10は、実地学習コンテンツの配信を停止し、授業コンテンツの配信を再開する。 In step S18, the correspondence lesson server 10 stops the distribution of the on-the-job learning content and resumes the distribution of the lesson content.

[変形例]
生徒用端末30が授業コンテンツと実地学習コンテンツを切り替えてもよい。例えば、生徒用端末30は、授業コンテンツ、実地学習コンテンツ、および切替タイミングを通信授業用サーバ10からダウンロードしておく。生徒用端末30は、授業コンテンツを再生し、切替タイミングになったら実地学習コンテンツに切り替える。あるいは、生徒用端末30は、切替タイミングを事前に受信しておく。生徒用端末30は、授業の開始時に授業コンテンツの配信を通信授業用サーバ10に要求し、切替タイミングになったら実地学習コンテンツの配信を通信授業用サーバ10に要求する。
[Modification example]
The student terminal 30 may switch between the lesson content and the on-the-job learning content. For example, the student terminal 30 downloads the lesson content, the on-the-job learning content, and the switching timing from the correspondence lesson server 10. The student terminal 30 reproduces the lesson content and switches to the on-the-job learning content at the switching timing. Alternatively, the student terminal 30 receives the switching timing in advance. The student terminal 30 requests the communication lesson server 10 to deliver the lesson content at the start of the lesson, and requests the correspondence lesson server 10 to deliver the on-the-job learning content at the switching timing.

通信授業用サーバ10は、生徒の解答を分析し、配信する実地学習コンテンツを切り替えてもよい。例えば、通信授業用サーバ10が解答を受信していない場合、同じ実地学習コンテンツを繰り返して配信し、解答を受信したときは次の実地学習コンテンツを配信する。また、解答内容に応じて、次に配信する実地学習コンテンツを分岐させてもよい。実地学習コンテンツに区切り(チャプター)を付与しておき、解答内容に応じてチャプターを飛ばしたり、チャプターを戻したりしてもよい。 The correspondence lesson server 10 may analyze the student's answer and switch the on-the-job learning content to be distributed. For example, when the correspondence lesson server 10 has not received the answer, the same on-the-job learning content is repeatedly delivered, and when the answer is received, the next on-the-job learning content is delivered. In addition, the on-the-job learning content to be delivered next may be branched according to the answer content. A break (chapter) may be added to the on-the-job learning content, and the chapter may be skipped or the chapter may be returned according to the answer content.

生徒からの解答を受け付ける時間を示すタイムバーを仮想空間内に表示してもよい。例えば、時間の経過に伴ってタイムバーを短くし、タイムバーが無くなると時間切れとみなす。時間切れの場合、実地学習コンテンツの同じ箇所を繰り返して配信してもよいし、次に進めてもよい。 A time bar showing the time to accept answers from students may be displayed in the virtual space. For example, the time bar is shortened with the passage of time, and when the time bar disappears, it is considered that the time has expired. If the time runs out, the same part of the on-the-job learning content may be delivered repeatedly, or it may proceed to the next step.

図8に示すように、実地学習コンテンツの中に授業コンテンツの一部をはめ込み合成してもよい。図8の例では、枠520内に、教室ディスプレイ11と教師40が写った授業コンテンツの一部が表示されている。例えば、枠520内の教室ディスプレイ11に授業で学習した会話の例文が表示されていると、生徒の会話の助けになる。教師40の音声が実地学習コンテンツで学習中の生徒に聞こえてもよい。例えば、教師40が次の会話文を発話し、生徒は教師40の発話に続けて会話文を復唱する。 As shown in FIG. 8, a part of the lesson content may be fitted and synthesized in the on-the-job learning content. In the example of FIG. 8, a part of the lesson content in which the classroom display 11 and the teacher 40 are shown is displayed in the frame 520. For example, if the classroom display 11 in the frame 520 displays an example sentence of the conversation learned in the lesson, it helps the student's conversation. The audio of the teacher 40 may be heard by the student learning in the hands-on learning content. For example, the teacher 40 utters the following conversational sentence, and the student repeats the conversational sentence following the utterance of the teacher 40.

複数の生徒が同時に同じ授業コンテンツを視聴できてもよい。この場合、授業コンテンツを視聴するときは、同一の仮想空間内に複数の生徒アバターを配置し、実地学習コンテンツを視聴するときは、生徒は個別の仮想空間内に生徒アバターを配置する。より具体的に説明すると、授業コンテンツを複数の生徒で視聴するときは、授業が行われる仮想空間内の同一の教室内に、複数の生徒アバターと机オブジェクト510を並べて表示する。生徒が教室を見渡すと他の生徒アバターを見ることができる。授業コンテンツから実地学習コンテンツに切り替わると、他の生徒アバターの表示をオフにして、生徒は個別の仮想空間内で実地学習コンテンツを用いて学習を進める。 Multiple students may be able to view the same lesson content at the same time. In this case, when viewing the lesson content, a plurality of student avatars are placed in the same virtual space, and when viewing the hands-on learning content, the students place the student avatars in individual virtual spaces. More specifically, when the lesson content is viewed by a plurality of students, the plurality of student avatars and the desk object 510 are displayed side by side in the same classroom in the virtual space where the lesson is held. When students look around the classroom, they can see other student avatars. When switching from lesson content to hands-on learning content, the display of other student avatars is turned off, and students proceed with learning using the hands-on learning content in individual virtual spaces.

なお、実地学習コンテンツにおいても、同一の仮想空間内に複数の生徒アバターを配置してもよい。例えば、ある生徒アバターが航空会社のスタッフの役割を演じ、別の生徒アバターが客の役割を演じる。通信授業用サーバ10は、各生徒の役割に応じた実地学習コンテンツを配信する。具体的には、スタッフの役割を演じる生徒には、空港カウンターの内側から撮影したパノラマ動画を実地学習コンテンツとして配信し、客の役割を演じる生徒には、空港カウンターの前から撮影したパノラマ動画を実地学習コンテンツとして配信する。実地学習コンテンツを投影した仮想空間内では、スタッフを演じる生徒アバターと客を演じる生徒アバターとが会話する。他の生徒は、2人の生徒アバターが会話する様子を教室ディスプレイ11で見ることができてもよい。 In addition, even in the hands-on learning content, a plurality of student avatars may be arranged in the same virtual space. For example, one student avatar plays the role of an airline staff and another student avatar plays the role of a guest. The correspondence lesson server 10 delivers on-the-job learning content according to the role of each student. Specifically, the panoramic video taken from the inside of the airport counter will be distributed as on-the-job learning content to the students who play the role of the staff, and the panoramic video taken from the front of the airport counter will be distributed to the students who play the role of the customer. Delivered as hands-on learning content. In the virtual space where the on-the-job learning content is projected, the student avatar who plays the staff and the student avatar who plays the customer talk. Other students may be able to see the two student avatars talking on the classroom display 11.

本実施形態の授業システムは、語学以外の授業に用いることもできる。例えば、社会で裁判の学習をするときに、通信授業用サーバ10は、裁判所内を撮影した実地学習コンテンツを用意しておき、切替タイミングで生徒を裁判所内の被告席や裁判官の席から撮影した実地学習コンテンツを配信する。図8のように、枠520内に授業コンテンツを表示し、教師40が生徒の視点から見える様子を説明してもよい。生徒アバターは、同一の仮想空間内において、裁判官、弁護士、あるいは被告人などの役割を演じて模擬裁判を行ってもよい。 The lesson system of this embodiment can also be used for lessons other than language. For example, when learning a trial in society, the correspondence lesson server 10 prepares on-the-job learning content in which the inside of the court is photographed, and photographs the student from the defendant's seat or the judge's seat in the court at the switching timing. Deliver on-the-job learning content. As shown in FIG. 8, the lesson content may be displayed in the frame 520 to explain how the teacher 40 can be seen from the student's point of view. The student avatar may perform a mock trial by playing the role of a judge, a lawyer, or a accused in the same virtual space.

授業コンテンツの配信は、教師が行っている授業をリアルタイムに配信するリアルタイム遠隔授業モードと、事前に撮影または制作した授業を配信するタイムシフト遠隔授業モードのいずれで行ってもよい。 The lesson content may be distributed in either the real-time distance lesson mode in which the lesson taught by the teacher is distributed in real time or the time shift distance lesson mode in which the lesson taken or produced in advance is distributed.

リアルタイム遠隔授業モードは、教師が現在リアルタイムに行っている授業が通信授業用サーバ10を介して各生徒用端末30へ配信されて視聴されるモードである。複数の生徒が同時に同じ授業コンテンツを視聴する。すなわち、複数の生徒アバターが同じ仮想空間内に存在する。授業コンテンツを実地学習コンテンツに切り替えたときに、複数の生徒アバターが実地学習コンテンツを表示する同じ仮想空間内にいると、例えば、英会話の練習などを実地学習コンテンツの環境に没入して行えないことがある。そこで、授業コンテンツから実地学習コンテンツに切り替えた際には、生徒アバターを個別の仮想空間内に配置する。あるいは、教師が生徒を指名し、その生徒が実地学習コンテンツの環境で会話している様子を他の生徒が見ることができるようにしてもよい。指名された生徒に対してのみ実地学習コンテンツが配信される。他の生徒アバターは仮想空間の教室に存在する。実地学習コンテンツの環境で会話している生徒アバターの映像が教室ディスプレイ11に投影され、他の生徒アバターは、その映像を見ることができる。 The real-time distance lesson mode is a mode in which the lesson that the teacher is currently conducting in real time is delivered to each student terminal 30 via the correspondence lesson server 10 and viewed. Multiple students watch the same lesson content at the same time. That is, a plurality of student avatars exist in the same virtual space. If multiple student avatars are in the same virtual space that displays the hands-on learning content when the lesson content is switched to the hands-on learning content, for example, English conversation practice cannot be done by immersing yourself in the environment of the hands-on learning content. There is. Therefore, when switching from lesson content to hands-on learning content, student avatars are placed in individual virtual spaces. Alternatively, the teacher may nominate a student so that other students can see the student talking in an environment of hands-on learning content. On-the-job learning content is delivered only to designated students. Other student avatars exist in the classroom in virtual space. An image of a student avatar talking in an environment of hands-on learning content is projected on the classroom display 11, and other student avatars can see the image.

タイムシフト遠隔授業モードは、リアルタイムではなく、あらかじめ撮影および制作された授業コンテンツが予めサーバに蓄積され、個々の生徒用端末30からの送信要求に応じて任意の時間に要求のあった生徒用端末30へ配信されて視聴されるモードである。この場合、授業コンテンツを視聴中の生徒アバターの動作等を通信授業用サーバ10に蓄積しておく。別のタイミングで同じ授業コンテンツを視聴する生徒に蓄積した生徒アバターの動作等を配信し、授業コンテンツの仮想空間内の教室にクラスメイトの生徒アバターとして配置する。これにより、空間的にも時間的にも離間した別々な生徒があたかも一緒に同時に同じ授業を受けているかのような疑似的な効果が得られる。 In the time-shift distance lesson mode, lesson contents shot and produced in advance are stored in the server in advance instead of in real time, and the student terminal is requested at an arbitrary time in response to the transmission request from the individual student terminal 30. This mode is distributed to 30 and viewed. In this case, the operation of the student avatar while viewing the lesson content and the like are stored in the correspondence lesson server 10. The movements of the student avatars accumulated to the students who watch the same lesson content at different timings are distributed and placed as classmate student avatars in the classroom in the virtual space of the lesson content. As a result, it is possible to obtain a pseudo effect as if different students who are separated in space and time are taking the same lesson together at the same time.

以上説明したように、本実施形態の授業システムは、通信授業用サーバ10と生徒用端末30とを接続して没入感のある仮想空間内で行われる授業を受けるための授業システムである。通信授業用サーバ10は、仮想空間内で行われる授業を視聴するための授業コンテンツと授業に関連した所定の環境を仮想空間内に表示するための実地学習コンテンツを配信する配信部103を有する。生徒用端末30は、当該生徒用端末30を使用する生徒のアバターを仮想空間内に配置して制御するとともに、授業コンテンツと実地学習コンテンツを受信し、アバターの視点で授業コンテンツまたは実地学習コンテンツを表示するVR機能部301を有する。授業システムでは、所定のタイミングで、授業コンテンツと実地学習コンテンツとが切り替えられる。これにより、授業コンテンツと実地学習コンテンツとを連続してシームレスに学習でき、授業コンテンツで習ったことをすぐに実地学習コンテンツで実践できるので、2つの環境による相乗効果により教育効果の向上が期待できる。 As described above, the lesson system of the present embodiment is a lesson system for connecting the correspondence lesson server 10 and the student terminal 30 to take a lesson conducted in an immersive virtual space. The correspondence lesson server 10 has a distribution unit 103 that distributes lesson contents for viewing a lesson conducted in the virtual space and on-the-job learning contents for displaying a predetermined environment related to the lesson in the virtual space. The student terminal 30 arranges and controls the student's avatar using the student terminal 30 in the virtual space, receives the lesson content and the on-the-job learning content, and outputs the lesson content or the on-the-job learning content from the viewpoint of the avatar. It has a VR function unit 301 to display. In the lesson system, the lesson content and the on-the-job learning content are switched at a predetermined timing. As a result, the lesson content and the on-the-job learning content can be continuously and seamlessly learned, and what is learned in the lesson content can be immediately put into practice in the on-the-job learning content. Therefore, the synergistic effect of the two environments can be expected to improve the educational effect. ..

なお、本発明にかかる構成が特に英語など語学教育において大きな効果を有する理由を説明する。日本人は特に長い期間学校教育で英語の授業を受けているにもかかわらずなかなか英語での会話ができない理由として、個々の日本人は英語を話さなければならない環境、状況に置かれることが少ないからである。例えば学校の教室において、さあ英語で会話をしましょう、といわれてもそのような環境ではないので、頭の切り替え、いわば「英語脳」への切り替えが困難であり、学習の効果が上がらないと考えられる。これに対して、例えば英語を話す国々へ留学をしたり、ワーキングホリデーとして滞在したりすれば、周囲はすべて英語を話す人々ばかりである。そのため、日常のすべての生活は英語を話さなければ成立しないので、必要に迫られて英語を話し、「英語脳」への切り替えもスムーズに行われるものと考えられる。本発明の構成によれば、上に説明した「英語脳」へ切り替えができる環境へ、例えば日本の自宅に居ながらにして遷移することができるので、従来にない学習効果を得ることができる。上に挙げた裁判所の環境へ遷移する場合も同様であって、360度全周の画像で環境を視聴し、且つ、生徒がアバターとして任意の場所、例えば裁判長席に座ることができるので、非常にリアリティがあり、あたかも実際に裁判所を見学したかのような実感が得られる。また語学学習の例では、英語の文法など事前の学習を仮想的な教室の中で行い、その後、瞬間的に空港のような英語環境に切り替えて実地の訓練ができるので、学習効果がさらに高まる。この点は例えば実際に空港で実地訓練を行おうとすると、空港の中に教室を設けることは困難であるので、実際の場所での学習や訓練を上回る効果を、本発明の実施構成は上げることが可能となる。 The reason why the configuration according to the present invention has a great effect on language education such as English will be described. The reason why Japanese people cannot speak English easily even though they have been taking English classes in school for a long time is that individual Japanese people are rarely placed in an environment or situation where they have to speak English. Because. For example, in a school classroom, it is not such an environment to talk in English, so it is difficult to switch heads, so to speak, to "English brain", and learning effect must be improved. Conceivable. On the other hand, for example, if you study abroad in an English-speaking country or stay as a working holiday, all the people around you are English-speaking people. Therefore, all daily life cannot be achieved without speaking English, so it is thought that the need will be urgent to speak English and switch to the "English brain" smoothly. According to the configuration of the present invention, it is possible to make a transition to an environment in which the above-described "English brain" can be switched, for example, while staying at home in Japan, so that an unprecedented learning effect can be obtained. The same applies to the transition to the court environment mentioned above, because the environment can be viewed with a 360-degree image of the entire circumference, and the student can sit anywhere as an avatar, for example, in the presiding judge's seat. It's very realistic and gives you the feeling of actually visiting the court. In addition, in the example of language learning, prior learning such as English grammar is performed in a virtual classroom, and then it is possible to instantly switch to an English environment like an airport for on-the-job training, further enhancing the learning effect. .. In this respect, for example, when actually conducting on-the-job training at an airport, it is difficult to set up a classroom in the airport. Therefore, the implementation configuration of the present invention should improve the effect beyond learning and training in an actual place. Is possible.

10…通信授業用サーバ 101…入出力部 102…記憶部 103…配信部 104…解答受信部 11…教室ディスプレイ 12…中継カメラ 13…教師用端末 14…マイクロホン 15…スピーカ 20…通信回線 30…生徒用端末 301…VR機能部 302…入力部 303…解答送信部 31…HMD 32…コントローラ 33…マイクロホン 10 ... Communication class server 101 ... Input / output unit 102 ... Storage unit 103 ... Distribution unit 104 ... Answer reception unit 11 ... Classroom display 12 ... Relay camera 13 ... Teacher terminal 14 ... Microphone 15 ... Speaker 20 ... Communication line 30 ... Student Terminal 301 ... VR function unit 302 ... Input unit 303 ... Answer transmission unit 31 ... HMD 32 ... Controller 33 ... Microphone

本発明の一態様の授業システムは、通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で授業を受けるための授業システムであって、前記通信授業用サーバは、前記仮想空間内の教室で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを配信する配信部を有し、前記視聴端末は、当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、前記授業コンテンツと前記実地学習コンテンツを受信する受信部と、前記アバターの視点で前記授業コンテンツまたは前記実地学習コンテンツを表示する表示部を有し、所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられ、複数の生徒が同じ授業を受ける場合、前記授業コンテンツを視聴するときは、前記複数の生徒のアバターを同一の仮想空間内に配置し、前記実地学習コンテンツを視聴するときは前記複数の生徒のアバターを個別の仮想空間内に配置するThe lesson system of one aspect of the present invention is a lesson system for connecting a communication lesson server and a viewing terminal to take a lesson in an immersive virtual space, and the correspondence lesson server is the virtual one. The viewing terminal has a distribution unit that distributes lesson content for viewing lessons conducted in a classroom in the space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space. An avatar control unit that arranges and controls the avatar of a student who uses the viewing terminal in the virtual space, a receiving unit that receives the lesson content and the on-the-job learning content, and the lesson content or the lesson content from the viewpoint of the avatar. When a display unit for displaying the on-the-job learning content is provided, the lesson content and the on-the-job learning content are switched at a predetermined timing, and a plurality of students take the same lesson, when viewing the lesson content, The avatars of the plurality of students are arranged in the same virtual space, and when the on-the-job learning content is viewed, the avatars of the plurality of students are arranged in individual virtual spaces .

Claims (9)

通信授業用サーバと視聴端末とを接続して没入感のある仮想空間内で授業を受けるための授業システムであって、
前記通信授業用サーバは、
前記仮想空間内の教室で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを配信する配信部を有し、
前記視聴端末は、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
前記授業コンテンツと前記実地学習コンテンツを受信する受信部と、
前記アバターの視点で前記授業コンテンツまたは前記実地学習コンテンツを表示する表示部を有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられる
授業システム。
It is a lesson system for connecting a communication lesson server and a viewing terminal to take lessons in an immersive virtual space.
The correspondence class server is
It has a distribution unit that distributes lesson content for viewing lessons conducted in the classroom in the virtual space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space.
The viewing terminal is
An avatar control unit that arranges and controls the avatars of students who use the viewing terminal in the virtual space,
A receiver that receives the lesson content and the on-the-job learning content,
It has a display unit that displays the lesson content or the on-the-job learning content from the viewpoint of the avatar.
A lesson system in which the lesson content and the on-the-job learning content can be switched at a predetermined timing.
請求項1に記載の授業システムであって、
前記実地学習コンテンツは前記所定の環境において周方向全域を撮影したパノラマ動画またはパノラマ静止画である
授業システム。
The lesson system according to claim 1.
The on-the-job learning content is a lesson system that is a panoramic moving image or a panoramic still image taken in the entire circumferential direction in the predetermined environment.
請求項1または2に記載の授業システムであって、
前記授業コンテンツは語学を学習するための授業であり、
前記実地学習コンテンツは前記授業コンテンツで学習した内容を実践して練習するための環境である
授業システム。
The lesson system according to claim 1 or 2.
The lesson content is a lesson for learning a language,
The on-the-job learning content is a lesson system that is an environment for practicing and practicing the content learned in the lesson content.
請求項1ないし3のいずれかに記載の授業システムであって、
前記通信授業用サーバは、前記視聴端末から前記生徒の解答を受信し、当該解答に基づいて次に配信する前記実地学習コンテンツを選択する
授業システム。
The lesson system according to any one of claims 1 to 3.
The correspondence lesson server is a lesson system that receives an answer from the student from the viewing terminal and selects the on-the-job learning content to be distributed next based on the answer.
請求項1ないし4のいずれかに記載の授業システムであって、
前記表示部は、前記実地学習コンテンツを表示中に、前記仮想空間内に前記授業コンテンツの一部を表示する
授業システム。
The lesson system according to any one of claims 1 to 4.
The display unit is a lesson system that displays a part of the lesson content in the virtual space while displaying the on-the-job learning content.
請求項1ないし5のいずれかに記載の授業システムであって、
複数の生徒が同じ授業を受ける場合、前記授業コンテンツを視聴するときは、前記複数の生徒のアバターを同一の仮想空間内に配置し、前記実地学習コンテンツを視聴するときは前記複数の生徒のアバターを個別の仮想空間内に配置する
授業システム。
The lesson system according to any one of claims 1 to 5.
When a plurality of students take the same lesson, the avatars of the plurality of students are arranged in the same virtual space when viewing the lesson content, and the avatars of the plurality of students are arranged when viewing the hands-on learning content. A lesson system that arranges avatars in individual virtual spaces.
没入感のある仮想空間内で授業を受けるための視聴端末であって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するアバター制御部と、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信する受信部と、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示する表示部を有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられる
視聴端末。
It is a viewing terminal for taking classes in an immersive virtual space.
An avatar control unit that arranges and controls the avatars of students who use the viewing terminal in the virtual space,
A receiving unit that receives lesson content for viewing a lesson conducted in the virtual space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space.
It has a display unit that displays the lesson content or the pre-practical learning content from the viewpoint of the avatar.
A viewing terminal that can switch between the lesson content and the on-the-job learning content at a predetermined timing.
没入感のある仮想空間内で授業を受けるための視聴端末による情報処理方法であって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御するステップと、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信するステップと、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示するステップを有し、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられる
情報処理方法。
It is an information processing method using a viewing terminal for taking lessons in an immersive virtual space.
A step of arranging and controlling a student's avatar using the viewing terminal in the virtual space, and
A step of receiving lesson content for viewing a lesson conducted in the virtual space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space.
It has a step of displaying the lesson content or the pre-on-the-job learning content from the viewpoint of the avatar.
An information processing method in which the lesson content and the on-the-job learning content are switched at a predetermined timing.
没入感のある仮想空間内で授業を受けるための視聴端末としてコンピュータを動作させるプログラムであって、
当該視聴端末を使用する生徒のアバターを前記仮想空間内に配置して制御する処理と、
前記仮想空間内で行われる授業を視聴するための授業コンテンツと前記授業に関連した所定の環境を前記仮想空間内に表示するための実地学習コンテンツを受信する処理と、
前記アバターの視点で前記授業コンテンツまたは前実地学習コンテンツを表示する処理をコンピュータに実行させ、
所定のタイミングで、前記授業コンテンツと前記実地学習コンテンツとが切り替えられる
プログラム。
A program that operates a computer as a viewing terminal for taking lessons in an immersive virtual space.
A process of arranging and controlling a student's avatar using the viewing terminal in the virtual space, and
A process of receiving lesson content for viewing a lesson conducted in the virtual space and on-the-job learning content for displaying a predetermined environment related to the lesson in the virtual space.
A computer is made to execute a process of displaying the lesson content or the pre-practical learning content from the viewpoint of the avatar.
A program that switches between the lesson content and the on-the-job learning content at a predetermined timing.
JP2019215521A 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program Active JP6727388B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019215521A JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215521A JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020111602A Division JP2021086145A (en) 2020-06-29 2020-06-29 Class system, viewing terminal, information processing method, and program

Publications (2)

Publication Number Publication Date
JP6727388B1 JP6727388B1 (en) 2020-07-22
JP2021087128A true JP2021087128A (en) 2021-06-03

Family

ID=71664038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215521A Active JP6727388B1 (en) 2019-11-28 2019-11-28 Class system, viewing terminal, information processing method and program

Country Status (1)

Country Link
JP (1) JP6727388B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7367632B2 (en) * 2020-07-31 2023-10-24 トヨタ自動車株式会社 Lesson system, lesson method, and program
CN117121474A (en) * 2021-04-16 2023-11-24 松下知识产权经营株式会社 Image display system, observation device, information processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244522A (en) * 1996-03-05 1997-09-19 Canon Inc Method and device for undergoing virtual building
JP3840113B2 (en) * 2002-01-15 2006-11-01 キヤノン株式会社 Image reproduction apparatus and information processing method
JP2009145883A (en) * 2007-11-20 2009-07-02 Rissho Univ Learning system, storage medium, and learning method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244522A (en) * 1996-03-05 1997-09-19 Canon Inc Method and device for undergoing virtual building
JP3840113B2 (en) * 2002-01-15 2006-11-01 キヤノン株式会社 Image reproduction apparatus and information processing method
JP2009145883A (en) * 2007-11-20 2009-07-02 Rissho Univ Learning system, storage medium, and learning method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"1週間分の教材?", バーチャル英会話・体験記[ONLINE], JPN6020001609, 27 November 2015 (2015-11-27), ISSN: 0004197939 *
"3D仮想空間とアバターによる「バーチャル英会話教室の取組」", NTT技術ジャーナル[ONLINE], JPN6020001608, October 2010 (2010-10-01), ISSN: 0004197938 *
"immerse×GSE", YOUTUBE[ONLINE][VIDEO], JPN7020000127, 20 August 2019 (2019-08-20), ISSN: 0004197940 *

Also Published As

Publication number Publication date
JP6727388B1 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
CN107103801B (en) Remote three-dimensional scene interactive teaching system and control method
CN106875764B (en) Virtual reality foreign language learning system based on network and control method
JP6739611B1 (en) Class system, viewing terminal, information processing method and program
Larsson et al. The actor-observer effect in virtual reality presentations
CN110349456B (en) Intelligent control system, remote control terminal and classroom terminal of interactive classroom
US20220404907A1 (en) Method And Apparatus For Real-time Data Communication in Full-Presence Immersive Platforms
JP6727388B1 (en) Class system, viewing terminal, information processing method and program
JP2021086145A (en) Class system, viewing terminal, information processing method, and program
JP2021006977A (en) Content control system, content control method, and content control program
JP2023181234A (en) Content distribution server, content creation device, educational terminal, content distribution program, and educational program
KR101757420B1 (en) The system for remote video communication and lecture based on interaction using transparent display
WO2021131266A1 (en) Program, information processing device, and method
US20240056492A1 (en) Presentations in Multi-user Communication Sessions
JP7465737B2 (en) Teaching system, viewing terminal, information processing method and program
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
JP6766228B1 (en) Distance education system
KR20220126660A (en) Method and System for Providing Low-latency Network for Metaverse Education Platform with AR Face-Tracking
KR20140087777A (en) Multimedia learning system and method using mobile terminal
Torrejon et al. Panoramic audio and video: towards an immersive learning experience
JP2021086146A (en) Content control system, content control method, and content control program
JP2021006886A (en) Content control system, content control method, and content control program
JP2005321443A (en) Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon
JP6733027B1 (en) Content control system, content control method, and content control program
WO2023233849A1 (en) Information processing device, information processing method, and recording medium
AU2021103720A4 (en) Virtual reality learning and amusement system based on artificial intelligence (ai) and iot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191128

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250