JP2019086602A - Learning support system and learning support method - Google Patents

Learning support system and learning support method Download PDF

Info

Publication number
JP2019086602A
JP2019086602A JP2017213365A JP2017213365A JP2019086602A JP 2019086602 A JP2019086602 A JP 2019086602A JP 2017213365 A JP2017213365 A JP 2017213365A JP 2017213365 A JP2017213365 A JP 2017213365A JP 2019086602 A JP2019086602 A JP 2019086602A
Authority
JP
Japan
Prior art keywords
student
attribute information
teacher
processing unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017213365A
Other languages
Japanese (ja)
Other versions
JP6419924B1 (en
Inventor
眞粧美 福島
Masami Fukushima
眞粧美 福島
聖仁 中山
Kiyohito Nakayama
聖仁 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uno Labo Co Ltd
Original Assignee
Uno Labo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uno Labo Co Ltd filed Critical Uno Labo Co Ltd
Priority to JP2017213365A priority Critical patent/JP6419924B1/en
Application granted granted Critical
Publication of JP6419924B1 publication Critical patent/JP6419924B1/en
Publication of JP2019086602A publication Critical patent/JP2019086602A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To present an optimal teacher who suits a student.SOLUTION: A learning supporting system for supporting learning by means of a computer includes: storage means (student DB 611) for storing attribute information of students; determination means (teaching processing unit 605) which determines progress of learning of each student; search means (teaching processing unit 605) which searches, when a new student is registered, the storage means for a student having attribute information similar to the new student; specification means (teaching processing unit 605) which specifies a teacher evaluated to be relatively high, from among teachers in charge of the student having the attribute information similar to the new student acquired by the search means; and presentation means (object processing unit 608) which presents the teacher specified by the specification means.SELECTED DRAWING: Figure 4

Description

本発明は、学習支援システムおよび学習支援方法に関するものである。   The present invention relates to a learning support system and a learning support method.

特許文献1には、先生用端末に対して質問を発行してLANを介してメール送信する質問送信手段と、先生用端末から回答を受信する回答受信手段とを有する生徒用端末と、生徒用端末から質問を受信する質問受信手段と、生徒用端末に対して回答を、LANを介してメール送信する回答送信手段とを有する先生用端末から構成される技術が開示されている。   Patent Document 1 includes a student terminal having question transmitting means for issuing a question to a teacher's terminal and sending an e-mail via LAN, and an answer receiving means for receiving an answer from the teacher's terminal; A technique is disclosed that includes a teacher terminal having a question receiving unit that receives a question from a terminal, and an answer transmitting unit that sends an answer to a student terminal via a mail via a LAN.

このような技術によれば、LAN上におけるCAIにおいて先生と生徒間で対話が可能な学習支援システムを実現することができる。   According to such a technology, it is possible to realize a learning support system in which a dialogue can be made between a teacher and a student in CAI on a LAN.

特開平09−185598号公報JP-A-09-185598

しかしながら、特許文献1に開示された技術では、教師と生徒との相性がよくない場合には、学習が思うように進展しないという問題点がある。   However, in the technique disclosed in Patent Document 1, there is a problem that learning does not progress as expected when the teacher and the student do not have a good compatibility.

本発明は、生徒にあった最適な教師を提示することが可能な学習支援システムおよび学習支援方法を提供することを目的としている。   An object of the present invention is to provide a learning support system and a learning support method capable of presenting the most suitable teacher to a student.

上記課題を解決するために、本発明は、コンピュータによって学習を支援する学習支援システムにおいて、生徒の属性情報を格納する格納手段と、前記生徒のそれぞれの学習の進捗状態を判定する判定手段と、新たな前記生徒を登録する場合、当該新たな前記生徒に類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索手段と、前記検索手段によって取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒を担当する教師の中から、評価が相対的に高いと判定された前記教師を特定する特定手段と、前記特定手段によって特定された前記教師を提示する提示手段と、を有することを特徴とする。
このような構成によれば、生徒にあった最適な教師を提示することが可能となる。
In order to solve the above problems, according to the present invention, in a learning support system that supports learning by a computer, storage means for storing student attribute information, and determination means for determining the progress of learning of each student, In the case of registering a new student, the search means for searching the storage means for the student having the attribute information similar to the new student, and the new student similar to the new student acquired by the search means Among the teachers in charge of the students having the attribute information, a specification means for specifying the teacher whose evaluation is determined to be relatively high, and a presentation means for presenting the teacher specified by the specification means. It is characterized by having.
According to such a configuration, it is possible to present the most suitable teacher for the student.

また、本発明は、前記生徒の前記属性情報は、前記生徒の表層的な属性を示す表層属性情報と、深層的な属性を示す深層属性情報とを有し、前記検索手段は、前記表層属性情報と前記深層属性情報の少なくとも一方と比較して、前記新たな前記生徒に類似する前記属性情報を有する前記生徒を検索する、ことを特徴とする。
このような構成によれば、生徒の表層属性情報と深層属性情報とに基づいて、より最適な教師を提示することができる。
Further, according to the present invention, the attribute information of the student includes surface attribute information indicating a surface attribute of the student, and deep layer attribute information indicating a deep attribute, and the search means includes the surface attribute The student having the attribute information similar to the new student is searched in comparison with at least one of information and the deep layer attribute information.
According to such a configuration, it is possible to present a more optimal teacher based on the surface layer attribute information and the deep layer attribute information of the student.

また、本発明は、前記格納手段は、前記教師の表層的な属性を示す前記表層属性情報と、深層的な属性を示す前記深層属性情報と有し、前記教師は、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とによって学習内容を前記生徒に教授し、前記コンピュータは、前記表層属性情報に基づいてアバターを描画するとともに前記音声を合成し、前記深層属性情報に基づいた方法により教授を行う、ことを特徴とする。
このような構成によれば、教師も表層属性情報と深層属性情報とを有することにより、教師を生徒に合わせて改変することができる。
Further, in the present invention, the storage means includes the surface layer attribute information indicating a surface layer attribute of the teacher and the deep layer attribute information indicating a deep layer attribute, and the teacher is drawn by the computer. The learning contents are taught to the students by the avatar and the voice synthesized by the computer, and the computer renders the avatar based on the surface layer attribute information and synthesizes the voice and is based on the deep layer attribute information It is characterized by teaching by a method.
According to such a configuration, the teacher can also modify the teacher according to the student by having the surface layer attribute information and the deep layer attribute information.

また、本発明は、前記教師は、前記生徒に対して所定のメソッドに基づいて学習内容を教授し、前記メソッドを学習効率の高低によって選別する選別手段を有する、ことを特徴とする。
このような構成によれば、メソッドを選別することで、学習効率を一層高めることができる。
Further, the present invention is characterized in that the teacher has a sorting means for teaching the learning content to the student based on a predetermined method, and selecting the method according to the level of the learning efficiency.
According to such a configuration, it is possible to further enhance the learning efficiency by selecting methods.

また、本発明は、前記メソッドの内容を改変する改変手段を有し、前記選別手段は前記改変手段によって改変された前記メソッドの中から学習効果の高い前記メソッドを選別する、ことを特徴とする。
このような構成によれば、メソッドを改変することで、メソッドの進化により、学習効率を一層高めることができる。
Also, the present invention is characterized by having modifying means for modifying the contents of the method, and the sorting means sorting out the method with high learning effect from the methods modified by the modifying means. .
According to such a configuration, it is possible to further improve the learning efficiency by the method evolution by modifying the method.

また、本発明は、コンピュータによって学習を支援する学習支援方法において、生徒の属性情報を格納手段に格納する格納ステップと、前記生徒のそれぞれの学習の進捗状態を判定する判定ステップと、新たな前記生徒を登録する場合、当該新たな前記生徒に類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索ステップと、前記検索ステップにおいて取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒を担当する教師の中から、評価が相対的に高いと判定された前記教師を特定する特定ステップと、前記特定ステップにおいて特定された前記教師を提示する提示ステップと、を有することを特徴とする。
このような方法によれば、生徒にあった最適な教師を提示することが可能となる。
Further, according to the present invention, in a learning support method for supporting learning by a computer, a storage step of storing attribute information of a student in a storage means, a determination step of determining a progress state of each learning of the student, new When registering a student, a search step of searching the storage means for the student having the attribute information similar to the new student, and the attribute information similar to the new student acquired in the search step And identifying the teacher whose evaluation is determined to be relatively high among the teachers in charge of the students having a student, and presenting the teacher identified in the specifying step. It is characterized by
According to such a method, it is possible to present the most suitable teacher for the students.

本発明によれば、生徒にあった最適な教師を提示することが可能な学習支援システムおよび学習支援方法を提供することが可能となる。   According to the present invention, it is possible to provide a learning support system and a learning support method capable of presenting an optimal teacher suited to a student.

本発明の実施形態に係る学習支援システムの構成例を示す図である。It is a figure showing an example of composition of a learning support system concerning an embodiment of the present invention. 図1に示すクライアント装置の詳細な構成例を示す図である。It is a figure which shows the example of a detailed structure of the client apparatus shown in FIG. 図1に示すサーバ装置の詳細な構成例を示す図である。It is a figure which shows the detailed structural example of the server apparatus shown in FIG. 図3に示すサーバ装置のハードウエアとソフトウエアとが協働することで実現される機能ブロックである。It is a functional block implemented by the hardware and software of the server apparatus shown in FIG. 3 cooperating with each other. 生徒の属性情報の一例を示す図である。It is a figure which shows an example of the attribute information of a student. 図5に示す生徒の属性情報の詳細を示す図である。It is a figure which shows the detail of the attribute information of the student shown in FIG. 教師の属性情報の一例を示す図である。It is a figure which shows an example of a teacher's attribute information. 図7に示す教師の属性情報の詳細を示す図である。It is a figure which shows the detail of the attribute information of the teacher shown in FIG. 新たな生徒を登録する際に実行される処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process performed when registering a new student. 教師のアバターの一例を示す図である。It is a figure which shows an example of a teacher's avatar. 教師から生徒へのティーチングを行う際に実行される処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process performed when teaching from a teacher to a student. 図11の教師およびメソッドのモディファイ処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the modification process of the teacher of FIG. 11, and a method. 教師から生徒へのコーチングを行う際に実行される処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing performed when coaching from a teacher to a student.

次に、本発明の実施形態について説明する。   Next, an embodiment of the present invention will be described.

(A)本発明の実施形態の構成の説明
図1は、本発明の実施形態に係る学習支援システムの構成例を示す図である。図1に示すように、学習支援システム1は、位置情報入力デバイス10、HMD(Head Mount Display)20、音声入出力デバイス30、クライアント装置40、および、サーバ装置60を有し、クライアント装置40とサーバ装置60はネットワーク50によって通信可能な状態で接続されている。
(A) Description of Configuration of an Embodiment of the Present Invention FIG. 1 is a diagram showing an example of a configuration of a learning support system according to an embodiment of the present invention. As shown in FIG. 1, the learning support system 1 includes a position information input device 10, a head mount display (HMD) 20, a voice input / output device 30, a client device 40, and a server device 60. The server device 60 is connected by the network 50 in a communicable state.

位置情報入力デバイス10は、例えば、生徒が手首等に装着するリストバンド型のデバイスとして構成される。位置情報入力デバイス10は、例えば、加速度センサによって手首の動きを検出し、生徒によって机上または空間に描画される情報を取得し、クライアント装置40に供給する。なお、位置情報入力デバイス10としては、例えば、ジョイスティック、ポインティング・スティック、タッチパッド、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、および、ジョイパッドを用いることもできる。   The position information input device 10 is configured, for example, as a wristband type device worn by a student on a wrist or the like. The position information input device 10 detects, for example, the movement of the wrist by an acceleration sensor, acquires information drawn on a desk or a space by a student, and supplies the information to the client device 40. As the position information input device 10, for example, a joystick, a pointing stick, a touch pad, a data glove, a trackball, a pen tablet, a mouse, a light pen, and a joypad can also be used.

HMD20は、生徒が頭部に装着して使うディスプレイであり、クライアント装置40から供給される映像を両目に対して異なる画像として表示する。また、HMD20は、加速度センサを有しており、頭部の方向を検出し、検出結果に応じた画像をクライアント装置40から供給することで、いわゆる、バーチャルリアリティ(VR)ディスプレイとして機能する。なお、HMD20は、完全に目を覆って外部の様子を見ることができない「非透過型」であっても、あるいは、ディスプレイをハーフミラーにして外部を見られるようにしたり、外部を写す小さなビデオカメラの映像が見られるようにした「透過型」であったりしてもよい。また、クライアント装置40に撮像素子を設け、この撮像素子によってHMD20の方向を検出するようにしてもよい。   The HMD 20 is a display that the student wears on his / her head and displays an image supplied from the client device 40 as different images for both eyes. The HMD 20 also has an acceleration sensor, detects the direction of the head, and supplies an image according to the detection result from the client device 40, thereby functioning as a so-called virtual reality (VR) display. In addition, even if HMD20 is "non-transmission type" which can not completely cover the eyes and can not see the appearance of the outside, or the display is made a half mirror so that the outside can be seen or a small video that shoots the outside It may be "transmissive" in which the image of the camera can be viewed. Further, an imaging element may be provided in the client device 40, and the direction of the HMD 20 may be detected by this imaging element.

音声入出力デバイス30は、音声を入力および出力するためのデバイスであり、例えば、マイクロフォンおよびスピーカまたはヘッドフォン等によって構成される。音声入出力デバイス30は、生徒の発話した音声を電気信号に変換してクライアント装置40に供給する。また、音声入出力デバイス30は、クライアント装置40から供給される電気信号を音声に変換して出力する。なお、HMD20によって検出される頭部の動きに応じて、ヘッドフォンから出力される音声の音量および位相を右耳と左耳で変化させることで、立体音響を実現するようにしてもよい。   The audio input / output device 30 is a device for inputting and outputting audio, and is configured by, for example, a microphone and a speaker or headphones. The voice input / output device 30 converts the voice uttered by the student into an electrical signal and supplies the electrical signal to the client device 40. Also, the voice input / output device 30 converts the electrical signal supplied from the client device 40 into voice and outputs it. In addition, according to the movement of the head detected by HMD20, you may make it implement | achieve three-dimensional sound by changing the volume and the phase of the audio | voice output from headphones with a right ear and a left ear.

ネットワーク50は、例えば、インターネットまたはLAN(Local Area Network)によって構成され、クライアント装置40とサーバ装置60の間で、パケット形式のデータを授受することで情報を送受信することができる。   The network 50 is configured by, for example, the Internet or a LAN (Local Area Network), and can transmit and receive information by exchanging packet format data between the client device 40 and the server device 60.

サーバ装置60は、例えば、ワークステーション等のコンピュータによって構成され、クライアント装置40からの要求に応じて、画像、音声、テキストデータを供給するとともに、クライアント装置40から供給される情報を処理する。   The server device 60 is constituted by, for example, a computer such as a work station, supplies images, sounds, text data, and processes information supplied from the client device 40 in response to a request from the client device 40.

図2は、図1に示すクライアント装置40の詳細な構成例を示す図である。図2に示すように、クライアント装置40は、CPU(Central Processing Unit)41、ROM(Read Only Memory)42、RAM(Read Access Memory)43、HDD(Hard Disk Drive)44、GPU(Graphics Processing Unit)45、I/F(Interface)46、および、バス47を有している。   FIG. 2 is a view showing a detailed configuration example of the client device 40 shown in FIG. As shown in FIG. 2, the client device 40 includes a central processing unit (CPU) 41, a read only memory (ROM) 42, a read access memory (RAM) 43, a hard disk drive (HDD) 44, and a graphics processing unit (GPU). 45, an I / F (Interface) 46, and a bus 47.

ここで、CPU41は、ROM42、RAM43、および、HDD44に格納されているプログラムに基づいて演算処理を実行したり、装置の各部を制御したりする。   Here, the CPU 41 executes arithmetic processing or controls each part of the apparatus based on programs stored in the ROM 42, the RAM 43, and the HDD 44.

ROM42は、CPU41が実行する基本的なプログラムおよびデータを格納する半導体記憶装置である。RAM43は、CPU41が実行するプログラムを一時的に格納するとともに、プログラムを実行する際に生じるデータを一時的に格納する半導体記憶装置である。   The ROM 42 is a semiconductor storage device that stores basic programs and data executed by the CPU 41. The RAM 43 is a semiconductor storage device that temporarily stores a program to be executed by the CPU 41 and also temporarily stores data generated when the program is executed.

HDD44は、CPU41が実行する基本的なプログラムおよびデータを格納する磁気記憶装置である。   The HDD 44 is a magnetic storage device that stores basic programs and data executed by the CPU 41.

GPU45は、CPU41から供給される描画データに基づいて描画処理を実行し、得られた画像をHMD20に供給して表示させる。   The GPU 45 executes drawing processing based on drawing data supplied from the CPU 41, and supplies the obtained image to the HMD 20 for display.

I/F46は、位置情報入力デバイス10、HMD20、および、音声入出力デバイス30から供給されるデータを入力するとともに、音声入出力デバイス30に対して音声データを供給する。また、I/F46は、ネットワーク50を介してサーバ装置60との間でデータを送受信する。   The I / F 46 inputs data supplied from the position information input device 10, the HMD 20, and the voice input / output device 30, and supplies voice data to the voice input / output device 30. The I / F 46 also transmits and receives data to and from the server device 60 via the network 50.

バス47は、CPU41、ROM42、RAM43、HDD44、GPU45、および、I/F46を相互に電気的に接続し、これらの間でデータの授受を可能とするための信号線群である。   The bus 47 is a signal line group for electrically connecting the CPU 41, the ROM 42, the RAM 43, the HDD 44, the GPU 45, and the I / F 46 to each other and enabling data exchange between them.

図3は、図1に示すサーバ装置60の詳細な構成例を示す図である。図3に示すように、サーバ装置60は、CPU61、ROM62、RAM63、HDD64、I/F65、および、バス66を有している。   FIG. 3 is a diagram showing a detailed configuration example of the server device 60 shown in FIG. As shown in FIG. 3, the server device 60 includes a CPU 61, a ROM 62, a RAM 63, an HDD 64, an I / F 65, and a bus 66.

ここで、CPU61は、ROM62、RAM63、および、HDD64に格納されているプログラムに基づいて演算処理を実行したり、装置の各部を制御したりする。   Here, the CPU 61 executes arithmetic processing or controls each part of the apparatus based on programs stored in the ROM 62, the RAM 63, and the HDD 64.

ROM62は、CPU61が実行する基本的なプログラムおよびデータを格納する半導体記憶装置である。RAM63は、CPU61が実行するプログラムを一時的に格納するとともに、プログラムを実行する際に生じるデータを一時的に格納する半導体記憶装置である。   The ROM 62 is a semiconductor storage device that stores basic programs and data executed by the CPU 61. The RAM 63 is a semiconductor storage device that temporarily stores a program to be executed by the CPU 61 and also temporarily stores data generated when the program is executed.

HDD64は、CPU61が実行する基本的なプログラムおよびデータを格納する磁気記憶装置である。   The HDD 64 is a magnetic storage device that stores basic programs and data executed by the CPU 61.

I/F65は、ネットワーク50を介してクライアント装置40との間でデータを送受信する。   The I / F 65 transmits and receives data to and from the client device 40 via the network 50.

バス66は、CPU61、ROM62、RAM63、HDD64、および、I/F65を相互に電気的に接続し、これらの間でデータの授受を可能とするための信号線群である。   The bus 66 is a signal line group for electrically connecting the CPU 61, the ROM 62, the RAM 63, the HDD 64, and the I / F 65 to each other and enabling data exchange between them.

図4は、図3に示すサーバ装置60において、ROM62およびHDD64に格納されているプログラムがCPU61によって実行されることで実現される機能ブロックである。図4に示す例は、位置情報処理部601、音声認識処理部602、音声合成処理部603、画像生成処理部604、ティーチング処理部605、コーチング処理部606、テキスト処理部607、オブジェクト処理部608、ティーチングDB(Data Base)609、コーチングDB610、生徒DB611、および、教師DB612を有している。   FIG. 4 is a functional block realized by the CPU 61 executing the programs stored in the ROM 62 and the HDD 64 in the server device 60 shown in FIG. An example shown in FIG. 4 is a position information processing unit 601, a speech recognition processing unit 602, a speech synthesis processing unit 603, an image generation processing unit 604, a teaching processing unit 605, a coaching processing unit 606, a text processing unit 607, an object processing unit 608. , A teaching DB (Data Base) 609, a coaching DB 610, a student DB 611, and a teacher DB 612.

ここで、位置情報処理部601は、クライアント装置40の位置情報入力デバイス10から入力され、クライアント装置40およびネットワーク50を介して伝送された位置情報を入力し、生徒の手首の動きを検出する処理を実行する。   Here, the position information processing unit 601 receives position information input from the position information input device 10 of the client device 40 and transmitted via the client device 40 and the network 50, and detects the movement of the student's wrist. Run.

音声認識処理部602は、クライアント装置40の音声入出力デバイス30から入力され、クライアント装置40およびネットワーク50を介して伝送された音声データを入力し、音声認識処理によってテキストデータに変換する処理を実行する。   The voice recognition processing unit 602 receives voice data input from the voice input / output device 30 of the client device 40 and transmitted via the client device 40 and the network 50 and executes processing of converting the voice data into text data by voice recognition processing. Do.

音声合成処理部603は、テキスト処理部607から供給されるテキストデータと、音声の属性情報に基づいて音声データ(例えば、WAVデータ)に変換し、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40では、音声データを音声入出力デバイス30に供給することで音声として出力する。なお、テキスト処理部607から供給される属性情報には、音声の基本周波数、性別、抑揚、発話の速度、フォルマント成分の配置、および、音声の大小に関する情報も供給され、これらの情報に基づいて音声を合成することで、話者の特徴や感情を含む音声を再現することができる。   The voice synthesis processing unit 603 converts the data into voice data (for example, WAV data) based on the text data supplied from the text processing unit 607 and voice attribute information, and supplies the voice data to the client device 40 via the network 50. The client device 40 supplies voice data to the voice input / output device 30 to output it as voice. Note that the attribute information supplied from the text processing unit 607 is also supplied with information related to the fundamental frequency of voice, gender, intonation, utterance speed, arrangement of formant components, and size of voice, and based on these pieces of information. By synthesizing the voice, it is possible to reproduce the voice including the features and emotions of the speaker.

画像生成処理部604は、オブジェクト処理部608から供給されるデータ(例えば、オブジェクトに関するデータ)に基づいてポリゴンデータを生成する処理を実行し、得られたポリゴンデータを、ネットワーク50を介してクライアント装置40に送信する。クライアント装置40では、ポリゴンデータを受信し、GPU45によって描画処理、レイアウト処理、および、レンダリング処理等によって画像を生成し、HMD20に供給して表示させる。   The image generation processing unit 604 executes processing for generating polygon data based on data (for example, data related to an object) supplied from the object processing unit 608, and the obtained polygon data is transmitted to the client device via the network 50. Send to 40 In the client device 40, polygon data is received, and an image is generated by the GPU 45 by drawing processing, layout processing, rendering processing and the like, and supplied to the HMD 20 for display.

ティーチング処理部605は、位置情報処理部601から供給される生徒の手首の位置およびテキスト処理部607から供給される生徒の発話に関する情報を入力し、ティーチングDB609に格納されているティーチングデータに基づいてオブジェクト処理部608に対してオブジェクト(例えば、教師のアバター)を描画するための情報を供給し、テキスト処理部607に対してオブジェクトに発話させるためのテキストデータを供給する。これにより、生徒に対して、所望の内容を教授するとともに、生徒からの反応を取得し、反応に応じた情報を生徒に対して提示する動作を実行することができる。   The teaching processing unit 605 inputs the position of the student's wrist supplied from the position information processing unit 601 and the information on the student's utterance supplied from the text processing unit 607, and based on the teaching data stored in the teaching DB 609 Information for drawing an object (for example, a teacher's avatar) is supplied to the object processing unit 608, and text data for causing the object to utter is supplied to the text processing unit 607. In this way, it is possible to teach a student the desired content, obtain a reaction from the student, and execute an operation of presenting information corresponding to the reaction to the student.

コーチング処理部606は、位置情報処理部601から供給される生徒の手首の位置およびテキスト処理部607から供給される生徒の発話に関する情報を入力するとともに、テキスト処理部607から供給される生徒の発話に関する情報を入力し、コーチングDB6410に格納されているコーチングデータに基づいてオブジェクト処理部608に対してオブジェクト(例えば、教師のアバター)を描画するための情報を供給し、テキスト処理部607に対してアバターに発話させるためのテキストデータを供給する。これにより、生徒から、より深い心理レベルでの意見や感想を聞き出し、聞き出した意見や感想を敷衍することができる。   The coaching processing unit 606 inputs the position of the student's wrist supplied from the position information processing unit 601 and the information on the student's utterance supplied from the text processing unit 607, and the student's utterance supplied from the text processing unit 607 Information related to the object is input to the object processing unit 608 based on the coaching data stored in the coaching DB 6410, and information for drawing an object (for example, a teacher avatar) is supplied to the text processing unit 607. Provide text data to make the avatar speak. In this way, it is possible to hear from students the opinions and impressions at a deeper psychological level, and to spread the opinions and impressions heard.

テキスト処理部607は、音声認識処理部602から供給されるテキストデータに対して、自然言語解析処理としての形態素解析処理、構文解析処理、意味解析処理、および、文脈解析処理を実行し、得られた処理結果をティーチング処理部605およびコーチング処理部606に供給する。また、テキスト処理部607は、ティーチング処理部605およびコーチング処理部606から供給されるテキストデータに対して、必要に応じて、形態素解析処理、構文解析処理、意味解析処理、および、文脈解析処理を施し、テキストデータの変換処理等を実行して音声合成処理部603に供給する。   The text processing unit 607 executes morphological analysis processing as syntactic language analysis processing, syntactic analysis processing, semantic analysis processing, and context analysis processing on text data supplied from the speech recognition processing unit 602 and is obtained. The processing result is supplied to the teaching processing unit 605 and the coaching processing unit 606. In addition, the text processing unit 607 performs morphological analysis processing, syntactic analysis processing, semantic analysis processing, and context analysis processing on the text data supplied from the teaching processing unit 605 and the coaching processing unit 606 as necessary. , And performs conversion processing of text data and the like, and supplies it to the speech synthesis processing unit 603.

オブジェクト処理部608は、ティーチング処理部605およびコーチング処理部606に供給から供給される情報に基づいて教師のアバターを生成し、画像生成処理部604に供給する。また、オブジェクト処理部608は、ティーチング処理部605およびコーチング処理部606に供給から供給される情報に基づいて、教示する内容を示すオブジェクト(例えば、問題文、画像、動画、および、立体画像)を生成し、画像生成処理部604に供給する。   The object processing unit 608 generates the avatar of the teacher based on the information supplied from the supply to the teaching processing unit 605 and the coaching processing unit 606, and supplies the avatar to the image generation processing unit 604. In addition, the object processing unit 608 also generates an object (for example, a problem sentence, an image, a moving image, and a stereoscopic image) indicating the content to be taught based on the information supplied from the supply to the teaching processing unit 605 and the coaching processing unit 606. It generates and supplies it to the image generation processing unit 604.

ティーチングDB609は、生徒に対して教授する学習内容を格納するデータベースである。コーチングDB610は、生徒に対して実施するコーチングに関する情報を格納するデータベースである。   The teaching DB 609 is a database that stores learning content to be taught to students. The coaching DB 610 is a database that stores information on coaching to be performed on students.

生徒DB611は、生徒に関する属性情報を格納したデータベースである。教師DB612は、教師に関する属性情報を格納したデータベースである。   The student DB 611 is a database storing attribute information on students. The teacher DB 612 is a database storing attribute information on teachers.

図5は、図4に示す生徒DB611に格納される生徒の属性情報の一例を示す図である。図5に示すように、生徒の属性情報としては、個人的属性情報と集団的属性情報とを有する。ここで、個人的属性情報は、個々の生徒のそれぞれの属性情報であり、表層属性情報と深層属性情報とを有する。表層属性情報とは外観から観察できる表面的な属性に関する情報であり、深層属性情報とは外観からは観察できない深層的な属性に関する情報である。また、複数の深層属性情報を包含する属性として集団的深層属性情報を有する。なお、集団的深層属性情報は、複数の深層属性情報を包含するとともに、時間の経過とともにその内容が変化する属性情報である。   FIG. 5 is a view showing an example of student attribute information stored in the student DB 611 shown in FIG. As shown in FIG. 5, the student attribute information includes personal attribute information and collective attribute information. Here, the personal attribute information is attribute information of each student, and has surface attribute information and deep attribute information. The surface layer attribute information is information on surface attributes which can be observed from the appearance, and the deep layer attribute information is information on deep attributes which can not be observed from the appearance. Also, collective deep layer attribute information is included as an attribute including a plurality of deep layer attribute information. The collective deep layer attribute information is attribute information that includes a plurality of deep layer attribute information and whose contents change with the passage of time.

図6は、図5に示す生徒の属性情報の一例を示す図である。図6の左側に示すように、生徒の属性情報を構成する表層属性は、例えば、年齢、性別、身長、体重、偏差値、および、IQ(Intelligence Quotient)を有している。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   FIG. 6 is a view showing an example of the student attribute information shown in FIG. As shown on the left side of FIG. 6, surface layer attributes constituting student attribute information include, for example, age, gender, height, weight, deviation value, and IQ (Intelligence Quotient). Of course, these are only examples and may have attribute information other than these.

また、図6の右側に示すように、深層属性情報としては、興味、所属、問題、使命、懐疑、および、畏怖等を有している。なお、興味とは興味の対象を示し、所属とは生徒が所属していると考える地域または団体を示し、問題とは生徒が抱える問題意識を示し、使命とは生徒が思い描く自身の使命を示し、懐疑とは生徒が抱える懐疑の対象を示し、畏怖とは生徒が思い描く畏怖の対象を示す。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   Further, as shown in the right side of FIG. 6, the deep layer attribute information includes interest, affiliation, problems, mission, skepticism, fear and the like. The term “interest” indicates the subject of interest, “affiliation” indicates the area or group that the student thinks belongs to, “problem” indicates the sense of problems that the student has, and “mission” indicates the student's own mission drawn by the student. The skepticism indicates the object of skepticism held by the student, and the awe indicates the object of awe that the student imagines. Of course, these are only examples and may have attribute information other than these.

図7は、図4に示す教師DB612に格納される属性情報の一例を示す図である。図7に示すように、教師の属性情報としては、生徒と同様に、個人的属性情報と集団的深層属性情報とを有する。ここで、個人的属性情報は、個々の教師のそれぞれの属性情報であり、表層属性情報と深層属性情報とを有する。表層属性情報とは外観から観察できる表面的な属性を示す情報であり、深層属性情報とは外観からは観察できない深層的な属性を示す情報である。また、複数の深層属性情報を包含する属性として集団的深層属性情報を有する。なお、集団的深層属性情報は、複数の深層属性情報を包含するとともに、時間の経過とともにその内容が変化する属性情報である。   FIG. 7 is a diagram showing an example of attribute information stored in the teacher DB 612 shown in FIG. As shown in FIG. 7, the teacher attribute information includes personal attribute information and collective deep attribute information as in the case of the student. Here, the personal attribute information is attribute information of each teacher, and has surface attribute information and deep attribute information. The surface layer attribute information is information indicating a superficial attribute that can be observed from the appearance, and the deep layer attribute information is information indicating a deep layer attribute that can not be observed from the appearance. Also, collective deep layer attribute information is included as an attribute including a plurality of deep layer attribute information. The collective deep layer attribute information is attribute information that includes a plurality of deep layer attribute information and whose contents change with the passage of time.

図8は、図7に示す教師の属性情報の一例を示す図である。図8に示すように、教師の属性情報を構成する表層属性情報は、例えば、年齢、性別、身長、体重、声の基本周波数、話すスピード、および、アバターを有している。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   FIG. 8 is a view showing an example of the attribute information of the teacher shown in FIG. As shown in FIG. 8, surface layer attribute information constituting teacher attribute information includes, for example, age, gender, height, weight, fundamental frequency of voice, speaking speed, and avatar. Of course, these are only examples and may have attribute information other than these.

また、深層属性情報としては、第1深層属性情報〜第3深層属性情報を有している。ここで、第1深層属性情報は、興味、所属、問題、使命、懐疑、および、畏怖等を有している。なお、興味とは教師の興味の対象を示し、所属とは教師が所属していると考える地域または団体を示し、問題とは教師が抱える問題意識を示し、使命とは教師が思い描く自身の使命を示し、懐疑とは教師が抱える懐疑の対象を示し、畏怖とは教師が思い描く畏怖の対象を示す。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   The deep layer attribute information includes first to third deep layer attribute information. Here, the first deep attribute information has interest, affiliation, problems, mission, skepticism, fear and the like. The term “interest” indicates the subject of the teacher's interest, “affiliation” indicates the area or group that the teacher considers to belong to, “problem” indicates the sense of problems that the teacher has, and “mission” is his or her own mission that the teacher envisions The skepticism indicates the target of skepticism held by the teacher, and the awe indicates the target of the awe that the teacher envisions. Of course, these are only examples and may have attribute information other than these.

第2深層属性情報としては、教示の際の優先順位等を示し、理解重視、基礎重視、応用重視、進度重視、記憶重視、および、試験重視を有している。ここで、理解重視は生徒の理解を重視し、基礎重視は生徒の基礎力を重視し、応用重視は生徒の応用力を重視し、進度重視は学習の進度を重視し、記憶重視は生徒の記憶の定着を重視し、および、試験重視は生徒の試験結果を重視することを示す。なお、これらを、例えば、10を最大とする、1〜10の間の数値として示すようにしてもよい。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   The second depth attribute information indicates the priority in teaching, etc., and has emphasis on understanding, emphasis on basics, emphasis on applications, emphasis on progress, emphasis on memories, and emphasis on tests. Here, emphasis on understanding emphasizes students' understanding, emphasis on basics emphasizes students' basic power, emphasis on applied emphasis on students' applied power, emphasis on progress emphasizes learning progress, and emphasis on memories is student's Emphasis is placed on retention of memory, and emphasis on exams indicates emphasis on student exam results. Note that these may be shown as numerical values between 1 and 10, for example, with 10 as the maximum. Of course, these are only examples and may have attribute information other than these.

第3深層属性情報としては、第1メソッド〜第6メソッドを有している。なお、これらのメソッドは教える際の方法を示している。第1メソッドとしては、例えば、語学の場合には単語の発音記号を先に教える方法を示し、第2メソッドとしては、例えば、単語を教えて発音記号は後から教える方法を示す。なお、メソッドとしては、教え方の非常に細かな方法であってもよいし、もう少し大まかな方法であってもよい。もちろん、これらは一例であって、これら以外の属性情報を有していてもよい。   The third depth attribute information includes first to sixth methods. Note that these methods show how to teach. As a first method, for example, in the case of a language, a method of teaching a phonetic symbol of a word first is shown, and as a second method, for example, a method of teaching a word and a phonetic symbol is taught later. The method may be a very detailed method of teaching, or may be a slightly rough method. Of course, these are only examples and may have attribute information other than these.

(B)本発明の実施形態の動作の説明
つぎに、本発明の実施形態の動作について説明する。図9は、新たな生徒を登録する際にサーバ装置60において実行される処理の一例を示すフローチャートである。例えば、新たな生徒が図1に示す図1に示す学習支援システム1に登録する際には、図9に示す処理が開始される。図9に示す処理が開始されると、以下のステップが実行される。
(B) Description of Operation of the Embodiment of the Present Invention Next, the operation of the embodiment of the present invention will be described. FIG. 9 is a flowchart showing an example of processing executed by the server device 60 when registering a new student. For example, when a new student registers in the learning support system 1 shown in FIG. 1 shown in FIG. 1, the process shown in FIG. 9 is started. When the process shown in FIG. 9 is started, the following steps are performed.

ステップS10では、新たに登録する生徒の年齢、性別、身長等の表層属性情報を入力する。より詳細には、図4に示すティーチング処理部605は、ティーチングDB609から新たな生徒の登録用のテキストデータ(例えば、表層属性情報の各項目を入力するように促すテキストデータ)を読み出し、テキスト処理部607を介して音声合成処理部603に供給する。この結果、音声合成処理部603によって、テキストデータが音声データに変換され、ネットワーク50を介してクライアント装置40に供給される。クライアント装置40は、受信した音声データを音声入出力デバイス30に供給する。音声入出力デバイス30は、新たな生徒の登録用のテキストデータに対応する音声を発生して出力する。なお、このとき、オブジェクト処理部608が登録用のアバター(例えば、ガイダンス役のアバター)を生成して、画像生成処理部604およびネットワーク50を介してクライアント装置40に供給し、HMD20にVR(Virtual Reality)画像として音声に同期して表示するようにしてもよい。生徒は、アバター画像による音声のガイダンスに応じて、位置情報入力デバイス10を操作することで、例えば、年齢、性別、身長、および、体重等を位置情報として入力する。このようにして入力された表層属性情報を示す位置情報は、クライアント装置40からネットワーク50を介してサーバ装置60に供給される。   In step S10, surface attribute information such as age, sex, height and the like of a newly registered student is input. More specifically, the teaching processing unit 605 shown in FIG. 4 reads out text data for registration of a new student (for example, text data prompting to input each item of surface layer attribute information) from the teaching DB 609, and performs text processing The voice synthesis processor 603 is supplied via the unit 607. As a result, text data is converted into voice data by the voice synthesis processing unit 603, and is supplied to the client device 40 via the network 50. The client device 40 supplies the received voice data to the voice input / output device 30. The voice input / output device 30 generates and outputs voice corresponding to the new student's registration text data. At this time, the object processing unit 608 generates an avatar for registration (for example, an avatar of a guidance combination), supplies it to the client device 40 via the image generation processing unit 604 and the network 50, and sends VR (Virtual Device) to the HMD 20. Reality) Images may be displayed in synchronization with audio. The student operates, for example, the age, sex, height, weight, and the like as position information by operating the position information input device 10 according to the guidance of the voice by the avatar image. The position information indicating the surface layer attribute information input in this manner is supplied from the client device 40 to the server device 60 via the network 50.

ステップS11では、サーバ装置60の位置情報処理部601は、クライアント装置40から供給された位置情報を処理して属性情報を取得し、ティーチング処理部605に供給する。ティーチング処理部605は、供給された表層属性情報を生徒DB611に新たな生徒の属性情報として登録する。   In step S 11, the position information processing unit 601 of the server device 60 processes the position information supplied from the client device 40 to acquire attribute information, and supplies the attribute information to the teaching processing unit 605. The teaching processing unit 605 registers the supplied surface layer attribute information in the student DB 611 as attribute information of a new student.

ステップS12では、オブジェクト処理部608は、ステップS11で生徒DB611に登録された表層属性情報を参考にして生徒のアバターを生成し、生徒DB611に登録する。なお、このようにして生成された生徒のアバターは、オブジェクト処理部608から画像生成処理部604に供給し、ネットワーク50およびクライアント装置40を介してHMD20に表示し、必要に応じて修正等を行うようにしてもよい。例えば、頭髪の色、顔の表情、身長、体重等を、位置情報入力デバイス10から入力される情報に基づいて修正するようにしてもよい。   In step S12, the object processing unit 608 generates the avatar of the student with reference to the surface layer attribute information registered in the student DB 611 in step S11, and registers the avatar in the student DB 611. The student avatar generated in this manner is supplied from the object processing unit 608 to the image generation processing unit 604, displayed on the HMD 20 via the network 50 and the client device 40, and subjected to correction or the like as necessary. You may do so. For example, the color of the hair, the facial expression, the height, the weight, and the like may be corrected based on the information input from the position information input device 10.

ステップS13では、ティーチング処理部605は、ティーチングDB609に登録されている学力テストに関するデータ(画像データおよびテキストデータ等)を読み出し、テキスト処理部607およびオブジェクト処理部608に供給する。オブジェクト処理部608は、学力テストを実施するためのオブジェクト(例えば、問題に関するオブジェクト)データと、それを説明するアバターとを生成し、画像生成処理部604に供給する。画像生成処理部604は、オブジェクト処理部608から供給されるオブジェクトデータに基づいてポリゴンを生成するとともにレンダリング処理等を実行し、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、供給された情報をHMD20に表示させる。これにより、学力テストの問題と教師のアバターがHMD20に表示される。また、テキスト処理部607は、問題を説明するためのテキストデータを音声合成処理部603に供給する。音声合成処理部603は、テキスト処理部607から供給されるテキストデータに基づいて音声合成処理を実行し、得られた音声データを、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、供給された音声情報を、音声入出力デバイス30を介して出力する。これにより、学力テストの問題と、教師のアバターの音声が音声入出力デバイス30から出力される。より詳細には、例えば、教師のアバターが「y=1/4×xのグラフを書いて下さい。」と発話するとともに、「y=1/4×xのグラフを書いて下さい。」が文字として表示される。また、HMD20には生徒の正面に仮想の方眼紙が表示される。生徒は、手を動かして求められている曲線を仮想の方眼紙に対して描画することができる。また、理科の場合には、教師のアバターが「酸素を発生させる実験を行って下さい。」と発話するとともに、「酸素を発生させる実験を行って下さい。」が文字として表示される。また、HMD20には生徒の正面に、試験管およびフラスコ等の実験器具と、過酸化水素水、塩酸、硫酸、アンモニア水、二酸化マンガン、白金、および、ホウ酸等の薬品が表示される。生徒は、手を動かして実験器具を配置するとともに、薬品を選択して投入することで、酸素を発生させる実行を行うことができる。なお、このような学力テストは、学科毎に行うことができる。 In step S13, the teaching processing unit 605 reads out data (image data, text data, etc.) related to the achievement test registered in the teaching DB 609, and supplies the data to the text processing unit 607 and the object processing unit 608. The object processing unit 608 generates object (for example, an object relating to a problem) data for performing a performance test and an avatar for explaining the data, and supplies the data to the image generation processing unit 604. The image generation processing unit 604 generates a polygon based on the object data supplied from the object processing unit 608 and executes rendering processing and the like, and supplies this to the client device 40 via the network 50. The client device 40 causes the HMD 20 to display the supplied information. As a result, the problem of the academic ability test and the avatar of the teacher are displayed on the HMD 20. Also, the text processing unit 607 supplies text data for explaining the problem to the speech synthesis processing unit 603. The speech synthesis processing unit 603 executes speech synthesis processing based on the text data supplied from the text processing unit 607, and supplies the obtained speech data to the client device 40 via the network 50. The client device 40 outputs the supplied voice information via the voice input / output device 30. As a result, the question of the achievement test and the voice of the teacher avatar are output from the voice input / output device 30. For more details, for example, the teacher's avatar utters "Please write a graph of y = 1/4 × x 2 " and "Please write a graph of y = 1/4 × x 2 ". Is displayed as a letter. In addition, a virtual graph paper is displayed on the HMD 20 in front of the student. The student can move the hand and draw a curve that has been determined on a virtual graph paper. In addition, in the case of science, the avatar of the teacher utters "Please perform an experiment to generate oxygen", and "Please perform an experiment to generate oxygen" is displayed as characters. In addition, on the HMD 20, laboratory equipment such as test tubes and flasks, and chemicals such as hydrogen peroxide water, hydrochloric acid, sulfuric acid, ammonia water, manganese dioxide, platinum, and boric acid are displayed in front of the student. Students can move their hands to place the labware and select and inject medicines to perform oxygen generation. Such an academic ability test can be conducted for each department.

ステップS14では、ティーチング処理部605は、ステップS13で実施された学力テストの結果を取得して採点する。そして、採点した結果と、ティーチングDB609に格納されている全ての生徒に対する学力テストの結果に基づいて、新たに登録する生徒の偏差値を計算する。例えば、前述した数学のテストの例では、描画された曲線が完全に正しい場合には10点とし、形状(下に凸の曲線)のみが正しい場合には5点とし、何も描けない場合には0点として採点する。また、理科の実験の例では、全ての実験の手順が正しい場合には10点とし、手順の一部が間違っていても薬品の選択が正しい場合には5点とし、実験の手順も薬品の選択も間違っている場合には0点として採点することができる。以上のようにして採点した結果を合計することで偏差値を求めることができる。   In step S14, the teaching processing unit 605 acquires and scores the result of the achievement test performed in step S13. Then, the deviation value of the newly registered student is calculated based on the graded result and the result of the achievement test for all the students stored in the teaching DB 609. For example, in the example of the mathematical test described above, if the drawn curve is completely correct, it is 10 points, if only the shape (convex curve downward) is 5 points, if nothing can be drawn Is scored as 0. Also, in the science experiment example, if the procedure of all experiments is correct, it is 10 points, and if the selection of drugs is correct even if some of the procedures are wrong, it is 5 points. If the selection is also wrong, it can be scored as zero. The deviation value can be determined by summing the results of scoring as described above.

ステップS15では、ティーチング処理部605は、ステップS14で算出した偏差値を、生徒DB611に表層属性情報の「偏差値」として登録する。例えば、新たに登録する生徒の偏差値として、「数学=65」、「英語=55」、「国語=67」、「社会=71」、および、「理科=72」が登録される。なお、学力テストだけでなく、IQテストも同様にして実施し、IQテストの結果を表層属性情報として、生徒DB611に登録するようにしてもよい。   In step S15, the teaching processing unit 605 registers the deviation value calculated in step S14 in the student DB 611 as the "deviation value" of the surface layer attribute information. For example, “Mathematics = 65”, “English = 55”, “Japanese language = 67”, “Social = 71”, and “Science = 72” are registered as deviation values of newly registered students. Not only the achievement test but also the IQ test may be performed in the same manner, and the result of the IQ test may be registered in the student DB 611 as surface layer attribute information.

ステップS16では、ティーチング処理部605は、ティーチングDB609に登録されている心理テストに関する情報を読み出し、テキスト処理部607およびオブジェクト処理部608に供給する。オブジェクト処理部608は、心理テストを実施するためのオブジェクトと、それを説明するアバターとを生成し、画像生成処理部604に供給する。画像生成処理部604は、オブジェクト処理部608から供給されるオブジェクト情報に基づいてポリゴンを生成するとともにレンダリング処理等を実行し、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、供給された情報をHMD20に表示する。これにより、心理テストの問題と教師のアバターがHMD20に表示される。また、テキスト処理部607は、問題を説明するためのテキストデータと、音声の属性情報を音声合成処理部603に供給する。音声合成処理部603は、テキスト処理部607から供給されるテキストデータと、属性情報とに基づいて音声合成処理を実行し、得られた音声データを、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、供給された音声情報を、音声入出力デバイス30を介して出力する。これにより、心理テストの問題と教師のアバターの音声が音声入出力デバイス30から出力される。より詳細には、例えば、HMD20の生徒の眼前に、複数の壊れかけた古城が表示され、複数の古城のそれぞれには、例えば、科学者、数学者、国文学者、社会学者等が住んでおり、今日は城主が不在とのナレーションがある。生徒は、これらの古城の1つを選択して、中に入ることを許されるとのナレーションがある。この結果、生徒が選んだ古城が、深層属性の「興味」を示すと判断される。例えば、「科学者」が住む古城を選択した場合には、興味の対象は「科学」であると判断される。なお、以上は一例であって、これ以外にも種々の心理テストを実行することができる。   In step S16, the teaching processing unit 605 reads out information related to the psychological test registered in the teaching DB 609, and supplies the information to the text processing unit 607 and the object processing unit 608. The object processing unit 608 generates an object for performing a psychological test and an avatar for explaining the object, and supplies the object to the image generation processing unit 604. The image generation processing unit 604 generates a polygon based on the object information supplied from the object processing unit 608 and executes rendering processing and the like, and supplies this to the client device 40 via the network 50. The client device 40 displays the supplied information on the HMD 20. As a result, the psychological test problem and the avatar of the teacher are displayed on the HMD 20. Also, the text processing unit 607 supplies text data for explaining the problem and voice attribute information to the voice synthesis processing unit 603. The speech synthesis processing unit 603 executes speech synthesis processing based on the text data supplied from the text processing unit 607 and the attribute information, and supplies the obtained speech data to the client device 40 via the network 50. . The client device 40 outputs the supplied voice information via the voice input / output device 30. As a result, the sound of the psychological test question and the avatar of the teacher is output from the sound input / output device 30. More specifically, for example, a plurality of ruined castles are displayed in front of HMD 20 students, and each of the plurality of castles is, for example, a scientist, a mathematician, a national literary, a sociologist, etc. , Today there is a narration with the absence of the lord. There is a narration that the students are allowed to enter by selecting one of these castles. As a result, it is judged that the old castle selected by the student shows the "interest" of the deep attribute. For example, in the case of selecting an old castle where "scientist" lives, it is determined that the subject of interest is "science". In addition, the above is an example and can perform various psychological tests besides this.

ステップS17では、ティーチング処理部605は、ステップS16で実施した心理テストの結果を、生徒DB611に深層属性情報として登録する。例えば、新たに登録する生徒の「興味」として「科学」が登録され、「所属」として「学校の科学部」が登録され、「問題」として「暗記科目が苦手」が登録され、「使命」として「将来は不治の病の薬を作る」が登録され、「懐疑」として「今の勉強方法が正しいのか」が登録され、「畏怖」として「元大学教授の祖父」が登録される。なお、以上は一例であって、これら以外を登録するようにしてもよい。また、「言葉」として登録するのではなく、例えば、数値で登録するようにしてもよい。例えば、深層属性として「外向性」および「内向性」を登録する場合、外向的傾向が強い場合には大きい値を、内向的傾向が強い場合には小さい値を登録するようにしてもよい。もちろん、外向性または内向性以外にも、社交性、神経質、粘着質、顕示質、分裂質、および、循環質等の指標を数値として登録するようにしてもよい。なお、深層属性情報は、固定ではなく、例えば、社会の変化に応じて、新たな深層属性情報を導入するようにしてもよい。一例として、集団への帰属意識が評価される社会状況である場合には帰属意識を深層属性情報として追加し、逆に評価されない社会状況である場合には独立意識を深層属性情報として追加するようにしてもよい。すなわち、集団的深層属性とは、社会に共通する深層的な心理属性であるので、社会の変化や流行等に伴って変化する属性と考えられるからである。   In step S17, the teaching processing unit 605 registers the result of the psychological test performed in step S16 in the student DB 611 as deep layer attribute information. For example, "Science" is registered as "interest" of the newly registered student, "Science of School" is registered as "Affiliation", "We are not good at memorized subjects" as "Problem", and "Mission" As "the medicine of incurable disease in the future is made" is registered, "is the current way of study correct" is registered as "skeptical", and "the grandfather of the former university professor" is registered as "fear". The above is only an example, and other than these may be registered. Also, instead of registering as "words", for example, numerical values may be registered. For example, in the case of registering "outwardness" and "inwardity" as the deep layer attribute, a large value may be registered when the outward tendency is strong, and a small value may be registered when the inward tendency is strong. Of course, in addition to the extroversion or the introversion, indices such as sociability, nervousness, adhesive, manifestation, schizophrenia, and circulatory quality may be registered as numerical values. The deep layer attribute information is not fixed. For example, new deep layer attribute information may be introduced according to the change of society. As an example, if the belongingness to a group is a social condition to be evaluated, the belongingness is added as deep attribute information, and if it is a social condition not to be evaluated to the contrary, an independent consciousness is added as deep attribute information You may That is, since the group deep attribute is a deep psychological attribute common to the society, it is considered to be an attribute which changes with the change of the society or the fashion.

ステップS18では、ティーチング処理部605は、ステップS11で登録した表層属性情報、ステップS15で登録した学力テストの結果、および、ステップS17で登録した心理テストの結果である深層属性情報と類似する属性を有する既存の生徒を生徒DB611から特定する。例えば、前述した種々の属性情報のそれぞれに対して重み値を設定し、重み値と各属性情報との積を合算した値を類似度として算出する。そして、類似度が大きい順に既存の生徒をソートし、ソートされた上位の生徒を類似する生徒として特定する。例えば、類似度を0〜100の値とする場合に、類似度が大きい順に生徒をソートし、上位の100名を選択することができる。なお、前述した重み値は、後述する処理における教師の評価を指標として、例えば、回帰分析等に基づく学習処理によって重み付けを変更し、類似度の判定精度を向上させるようにしてもよい。   In step S18, the teaching processing unit 605 performs an attribute similar to the surface layer attribute information registered in step S11, the result of the academic ability test registered in step S15, and the deep layer attribute information which is the result of the psychological test registered in step S17. The existing student who has it is specified from student DB611. For example, a weight value is set for each of the various types of attribute information described above, and a value obtained by adding the product of the weight value and each attribute information is calculated as the similarity. Then, the existing students are sorted in descending order of the degree of similarity, and the sorted upper students are identified as similar students. For example, when the degree of similarity is set to a value of 0 to 100, students can be sorted in descending order of the degree of similarity, and the top 100 people can be selected. The weighting value may be changed by, for example, learning processing based on regression analysis or the like using the evaluation of a teacher in processing described later as an index, and the determination accuracy of the degree of similarity may be improved.

ステップS19では、ティーチング処理部605は、ステップS18で類似すると判定した生徒と相性が良いと判断される教師を特定する。例えば、前述の例では、類似度が高いと判定された上位100人の生徒を、偏差値が上昇している順番にソートする。そして、上位に位置する生徒が教師との相性がよい生徒として判断することができる。そして、類似度が高い生徒を担当する教師を相性の良い教師として特定することができる。例えば、相性が良いと推定される4人の教師を特定する。なお、偏差値の上昇傾向から相性を判断するのではなく、それ以外の指標値、例えば、生徒がリラックス(安心)できる、理解しやすい、話がしやすい等の指標によって、相性の良否を判定するようにしてもよい。   In step S19, the teaching processing unit 605 identifies a teacher who is determined to be compatible with the student determined to be similar in step S18. For example, in the above-described example, the top 100 students determined to have a high degree of similarity are sorted in the order in which the deviation values are rising. Then, the student positioned in the upper rank can be judged as a student having good affinity with the teacher. Then, a teacher in charge of a student with a high degree of similarity can be identified as a compatible teacher. For example, identify four teachers who are estimated to be compatible. It should be noted that the quality of the compatibility is judged not by judging the compatibility from the rising tendency of the deviation value, but by other index values, for example, an index that the student can relax (relief), is easy to understand, talks easily, etc. You may do it.

ステップS20では、ティーチング処理部605は、ステップS19で特定した教師に関するデータを教師DB612から取得し、テキスト処理部607およびオブジェクト処理部608に供給する。例えば、ステップS19で特定した4人の教師に関するデータを教師DB612から選択し、テキスト処理部607およびオブジェクト処理部608に供給する。この結果、HMD20には、図10に示すような4人の教師のアバター画像および属性情報が表示される。生徒は、位置情報入力デバイス10を操作することで、所望の教師を選択し、当該教師の話を聞くことができる。もちろん、会話ができるようにしてもよい。このようなアバター画像を表示し、所望の教師の話し方等を聞くことで、生徒は自分が理想とする教師を特定することができる。例えば、生徒は図10において「××先生」を理想の教師として選択する。   In step S20, the teaching processing unit 605 acquires data on the teacher specified in step S19 from the teacher DB 612, and supplies the data to the text processing unit 607 and the object processing unit 608. For example, data on the four teachers specified in step S 19 is selected from the teacher DB 612 and supplied to the text processing unit 607 and the object processing unit 608. As a result, on the HMD 20, avatar images and attribute information of four teachers as shown in FIG. 10 are displayed. By operating the position information input device 10, a student can select a desired teacher and listen to the teacher's story. Of course, you may be able to talk. By displaying such an avatar image and listening to the desired teacher's speech etc., the student can specify the teacher as his / her ideal. For example, the student selects "XX teacher" as an ideal teacher in FIG.

ステップS21では、ステップS20で選択した教師を担当教師として設定する。より詳細には、ティーチング処理部605は、ステップS20で選択した教師を、当該生徒の担当教師として生徒DB611に登録する。   In step S21, the teacher selected in step S20 is set as a teacher in charge. More specifically, the teaching processing unit 605 registers the teacher selected in step S20 in the student DB 611 as a teacher in charge of the student.

以上に説明したように、図9に示すフローチャートの処理により、生徒の表層属性情報および深層属性情報を登録するとともに、類似度が高い表層属性情報および深層属性情報を有する既存の生徒を特定し、特定した生徒と相性が良いと推定される教師を特定することができる。   As described above, the surface layer attribute information and the deep layer attribute information of the student are registered and the existing student having the surface layer attribute information and the deep layer attribute information having high similarity is specified by the process of the flowchart shown in FIG. It is possible to identify a teacher who is estimated to be compatible with the identified student.

つぎに、図11を参照して、ティーチング処理について説明する。図11に示すフローチャートの処理が開始されると、以下のステップが実行される。なお、以下のフローチャートは、例えば、生徒が授業(ティーチング)を受けるためにHMD20を装着するとともに、位置情報入力デバイス10および音声入出力デバイス30を装着した場合に実行される。   Next, the teaching process will be described with reference to FIG. When the process of the flowchart shown in FIG. 11 is started, the following steps are performed. The following flowchart is executed, for example, when the student wears the HMD 20 to receive a lesson (teaching) and wears the position information input device 10 and the voice input / output device 30.

ステップS30では、ティーチング処理部605は、生徒にとって初回のティーチングであるか否かを判定し、初回であると判定した場合(ステップS30:Y)にはステップS31に進み、それ以外の場合(ステップS30:N)にはステップS32に進む。例えば、生徒が初めて授業を受ける場合にはYと判定されてステップS31に進む。   In step S30, the teaching processing unit 605 determines whether it is the first teaching for the student. If it is determined that it is the first teaching (step S30: Y), the process proceeds to step S31, otherwise (step S30) In step S30: N), the process proceeds to step S32. For example, when a student takes a lesson for the first time, it is determined as Y and the process proceeds to step S31.

ステップS31では、ティーチング処理部605は、生徒が選択した教科(例えば、国語、社会、理科、数学、英語等)と、選択した教科のその時点における偏差値、生徒の深層属性情報と、選択した教師の深層属性情報に基づいてカリキュラムを生成する。例えば、生徒が選択した教科が「英語」であり、その時点の偏差値が「50」であり、生徒の深層属性情報の興味が「科学」であり、教師の第2深層属性情報の基礎重視の配点が高く、第2メソッド(例えば、文法重視)の配点が高いとする。その場合、生徒の英語の成績は普通であり、生徒は論理的な思考能力が高く、また、教師は基礎重視で、かつ、文法重視であることから、文法を論理的に教授するカリキュラムを生成する。なお、以上は一例であって、これ以外の方法でカリキュラムを生成するようにしてもよい。   In step S31, the teaching processing unit 605 selects the subject selected by the student (for example, Japanese language, society, science, mathematics, English, etc.), the deviation value of the selected subject at that time, and the deep layer attribute information of the student. Create a curriculum based on the teacher's deep attribute information. For example, the subject selected by the student is "English", the deviation value at that time is "50", the interest of the student's deep layer attribute information is "science", and the teacher emphasizes the second deep layer attribute information Of the second method (eg, emphasis on grammar) is high. In that case, the student's English grades are normal, the students have high logical thinking ability, and the teacher emphasizes the basics and emphasizes the grammar, so create a curriculum that teaches the grammar logically. Do. In addition, the above is an example and you may make it produce a curriculum by methods other than this.

ステップS32では、ティーチング処理部605は、例えば、ティーチングDB609に格納されている当該生徒のカリキュラムから前回終了した箇所を特定する。例えば、当該生徒が英語の文法の授業を受けている場合に、5文型のうち、第2文型の基礎問題まで前回の授業で進んだ場合には、応用問題から開始する。なお、このように、生徒がHMD20等を装着することで、前回からの授業が自動的に再開されるようにしたので、前回の授業の内容を記憶する必要がなく、迅速に授業を開始することができる。   In step S32, the teaching processing unit 605 specifies, for example, a portion which has been ended last time from the curriculum of the student stored in the teaching DB 609. For example, if the student is in English grammar class, it will start from the applied problem if it has progressed to the second sentence basic problem of the 5 sentence patterns in the previous class. In this way, as the student wears the HMD 20, etc., the class from the previous time is automatically resumed, so there is no need to memorize the contents of the previous class, and the class will be started promptly. be able to.

ステップS33では、HMD20に教師のアバターが表示される。より詳細には、ティーチング処理部605は、生徒を特定するための情報(例えば、ID情報)に基づいて生徒DB611を検索して生徒を特定し、特定した生徒によって選択されている教師に関する情報を教師DB612から取得する。例えば、図10において、××先生が選択された場合には、××先生に対応する情報が教師DB612から取得される。このとき、アバターと声の属性情報(声の基本周波数、話すスピード、抑揚等)も取得される。   In step S33, the avatar of the teacher is displayed on the HMD 20. More specifically, the teaching processing unit 605 searches the student DB 611 based on information (for example, ID information) for specifying a student to specify a student, and information on a teacher selected by the specified student is Acquired from the teacher DB 612. For example, in FIG. 10, when the xx teacher is selected, information corresponding to the xx teacher is acquired from the teacher DB 612. At this time, avatar and voice attribute information (basic frequency of voice, speaking speed, intonation, etc.) are also acquired.

ステップS34では、ティーチング処理部605は、学習内容を表示する処理を実行する。より詳細には、ティーチング処理部605は、ティーチングDB609から当該生徒の学習内容に関する情報を取得し、テキスト処理部607およびオブジェクト処理部608に供給する。この結果、オブジェクト処理部608は、教師のアバターを表示(動作)させるための情報と、例えば、学習内容に関する情報(例えば、英語の場合には例文)とを生成し、画像生成処理部604に供給する。画像生成処理部604は、オブジェクト処理部608から供給される情報に基づいてポリゴン処理およびレンダリング処理等を実行し、得られた画像情報を、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、受信したポリゴン情報に基づいて描画処理を実行し、HMD20に供給して表示させる。また、テキスト処理部607は、教師のアバターに発話させるためのテキストデータと、教師の音声の属性情報とを生成し、音声合成処理部603に供給する。音声合成処理部603は、テキスト処理部607から供給されるテキストデータに基づいて音声データを合成し、ネットワーク50を介してクライアント装置40に供給する。クライアント装置40は、受信した音声データを音声入出力デバイス30から出力する。これにより、例えば、図10に示す××先生のアバターがVR画像として合成されて、HMD20に表示されるとともに、仮想の黒板に××先生が英語の例文(例えば、「She is painting the wall blue.」)を表示することができる。なお、生徒の記憶への定着を促進するために、例文に応じたアバター(壁を青色に塗っている女性のアバター)と、例文(She is painting the wall blue.)と、文型(第5文型(SOVC))を表示するようにしてもよい。   In step S34, the teaching processing unit 605 executes a process of displaying the learning content. More specifically, the teaching processing unit 605 acquires information on the learning content of the student from the teaching DB 609, and supplies the information to the text processing unit 607 and the object processing unit 608. As a result, the object processing unit 608 generates information for displaying (operating) the avatar of the teacher and, for example, information related to the learning content (for example, an example sentence in the case of English). Supply. The image generation processing unit 604 executes polygon processing, rendering processing, and the like based on the information supplied from the object processing unit 608, and supplies the obtained image information to the client device 40 via the network 50. The client device 40 executes drawing processing based on the received polygon information, and supplies the HMD 20 for display. Further, the text processing unit 607 generates text data for causing the avatar of the teacher to utter and attribute information of the teacher's voice, and supplies the generated text data to the voice synthesis processing unit 603. The speech synthesis processing unit 603 synthesizes speech data based on the text data supplied from the text processing unit 607, and supplies the speech data to the client device 40 via the network 50. The client device 40 outputs the received voice data from the voice input / output device 30. Thus, for example, the avatar of the XX teacher shown in FIG. 10 is synthesized as a VR image and displayed on the HMD 20, and the XX blackboard example sentence (eg, "She is painting the wall blue") on the virtual blackboard. Can be displayed. In addition, in order to promote the retention in the student's memory, an avatar (female avatar painting a wall in blue), an example sentence (She is painting the wall blue.), And a sentence pattern (fifth sentence pattern) (SOVC)) may be displayed.

ステップS35では、ティーチング処理部605は、生徒の反応を取得する。例えば、ティーチング処理部605は、音声認識処理部602によって、生徒の発話する音声の周波数特性の変化等から、生徒の反応(感情等)を取得する。例えば、周波数が通常よりも低下した場合には飽きていると判定することができる。また、ティーチング処理部605は、位置情報処理部601によって、生徒の動きを検出することで、生徒の反応を取得する。なお、生徒の表情をカメラ等で撮像し、撮像された画像に写った生徒の表情から生徒の反応を取得するようにしてもよい。なお、このときに取得したこれらの情報に基づいて、生徒の反応を、「活発」、「普通」、および、「鈍い」の3つに分類することができる。あるいは、最も活発な状態を10とする10段階評価で評価するようにしてもよい。   In step S35, the teaching processing unit 605 acquires a student response. For example, the teaching processing unit 605 causes the voice recognition processing unit 602 to acquire a reaction (emotion or the like) of the student based on a change in frequency characteristics of the voice uttered by the student. For example, when the frequency is lower than normal, it can be determined that the user is bored. In addition, the teaching processing unit 605 causes the position information processing unit 601 to detect the movement of the student, thereby acquiring the reaction of the student. The student's expression may be captured by a camera or the like, and the student response may be acquired from the student's expression captured in the captured image. In addition, based on these pieces of information acquired at this time, the reaction of the student can be classified into three of “active”, “normal”, and “dull”. Alternatively, it may be evaluated by a 10-step evaluation with 10 being the most active state.

ステップS36では、ティーチング処理部605は、理解度テストを実施する。例えば、いまの例では、英語の第5文型に関する理解度テストを実行する。より詳細には、ティーチング処理部605は、ティーチングDB609から理解度テストに関する情報を取得し、テキスト処理部607とオブジェクト処理部608に供給する。この結果、HMD20に理解度テストの問題と教師のアバターが表示されるとともに、音声入出力デバイス30から音声によるガイダンスが出力される。生徒は、位置情報入力デバイス10を操作したり、音声入出力デバイス30に対して発話したりすることで、理解度テストに対して解答することができる。   In step S36, the teaching processing unit 605 performs an understanding level test. For example, in the present example, the comprehension test on the fifth sentence pattern in English is performed. More specifically, the teaching processing unit 605 acquires information on the understanding level test from the teaching DB 609, and supplies the information to the text processing unit 607 and the object processing unit 608. As a result, the HMD 20 displays the comprehension test question and the teacher's avatar, and the voice input / output device 30 outputs voice guidance. The student can answer the comprehension test by operating the position information input device 10 or speaking to the voice input / output device 30.

ステップS37では、ティーチング処理部605は、教師の評価の入力を受ける。より詳細には、ティーチング処理部605は、ティーチングDB609から教師の評価に関する情報を取得し、テキスト処理部607とオブジェクト処理部608に供給する。この結果、HMD20に教師を評価するための情報(例えば、5段階評価をするための入力ボックス)が表示されるとともに、音声入出力デバイス30から音声によるガイダンスが出力される。生徒は、位置情報入力デバイス10を操作したり、音声入出力デバイス30に対して発話したりすることで、教師の評価をすることができる。   In step S37, the teaching processing unit 605 receives an input of evaluation of a teacher. More specifically, the teaching processing unit 605 acquires information on the evaluation of the teacher from the teaching DB 609, and supplies the information to the text processing unit 607 and the object processing unit 608. As a result, the HMD 20 displays information for evaluating a teacher (for example, an input box for performing 5-step evaluation), and a voice guidance is output from the voice input / output device 30. The student can evaluate the teacher by operating the position information input device 10 or speaking to the voice input / output device 30.

ステップS38では、ティーチング処理部605は、生徒の反応、理解度テストの結果、および、教師の評価を、生徒DB611に登録する。例えば、生徒の反応として「鈍い」が、理解度テストの結果として「偏差値50」が、また、教師の評価として「5段階評価で3」が当該生徒の現在の教師に対する評価として登録される。なお、理解度テスト、教師の評価、および、生徒の反応は毎回取得する必要はなく、必要に応じた頻度で取得し、登録するようにしてもよい。   In step S38, the teaching processing unit 605 registers the student reaction, the result of the understanding level test, and the evaluation of the teacher in the student DB 611. For example, "slow" as a student's reaction, "deviation 50" as a result of comprehension test, and "3 in 5 grades" as a teacher's evaluation are registered as the student's current teacher's evaluation . The comprehension test, the teacher's evaluation, and the student's response do not have to be acquired each time, and may be acquired and registered as often as necessary.

ステップS39では、ティーチング処理部605は、ステップS38で登録された生徒の反応、理解度テストの結果、および、教師の評価に基づいて、教師およびメソッドをモディファイする処理を実行する。なお、この処理の詳細は、図12を参照して後述する。   In step S39, the teaching processing unit 605 executes a process of modifying the teacher and the method based on the student's response registered in step S38, the result of the understanding level test, and the evaluation of the teacher. The details of this process will be described later with reference to FIG.

以上の処理によれば、教師から生徒へのティーチング処理を実行することができる。   According to the above process, the teaching process from the teacher to the student can be executed.

つぎに、図12を参照して、図11のステップS39に示す教師およびメソッドのモディファイ処理の詳細について説明する。図12の処理が開始されると以下のステップが実行される。   Next, with reference to FIG. 12, the details of the teacher and method modifying process shown in step S39 of FIG. 11 will be described. When the process of FIG. 12 is started, the following steps are performed.

ステップS50では、ティーチング処理部605は、表層属性情報および深層属性情報を変えたA/Bモデルを作成する。例えば、一例として、表層属性情報の声の基本周波数を変更したり、話すスピードを変更したり、アバターを変更したりすることができる。このとき、一度に全てを変更するのではなく、一部を変更した教師を1組作成(A/Bモデルを作成)とする。また、授業中に話す、たとえ話や、世間話の題材に影響を与える第1深層属性情報を、前述の場合と同様にA/Bテストに応じて変更するようにしてもよい。   In step S50, the teaching processing unit 605 creates an A / B model in which the surface layer attribute information and the deep layer attribute information are changed. For example, as one example, it is possible to change the fundamental frequency of the voice of the surface attribute information, change the speaking speed, and change the avatar. At this time, instead of changing all at once, one set of teachers who have changed a part is created (A / B model is created). In addition, the first deep attribute information that affects the subject of parables and talks during class may be changed according to the A / B test as in the above-mentioned case.

ステップS51では、ティーチング処理部605は、ステップS50で作成したA/Bモデルを交互に提示するように設定する。この結果、例えば、音声の基本周波数が数ヘルツ高い教師Aと、基本周波数が数ヘルツ低い教師Bが交互に提示されるように設定される。また、授業中に話す、たとえ話や、世間話の題材に影響を与える第1深層属性情報の一部を変更した教師を1組作成し、これらをA/Bモデルとして設定するようにしてもよい。   In step S51, the teaching processing unit 605 sets so as to alternately present the A / B model created in step S50. As a result, for example, a teacher A whose fundamental frequency of speech is several hertz higher and a teacher B whose fundamental frequency is lower several hertz are alternately presented. Also, if you create a set of teachers who changed part of the first deep attribute information that speaks in class, that affects parables and talks, and set these as A / B models. Good.

ステップS52では、ティーチング処理部605は、図11のステップS38で格納した生徒の反応、理解度テストの結果、および、教師の評価に基づいて、前回設定したA/Bモデルを選択する処理を実行する。例えば、生徒の反応、理解度テストの結果、および、教師の評価のそれぞれに対して重み関数を乗算して合算して得られる値を、A/Bモデルのそれぞれについて算出し、値が最も高いモデルを選択することができる。なお、3つ以上のモデルを用いて評価を行うようにしてもよいことは言うまでもない。   In step S52, the teaching processing unit 605 executes a process of selecting the previously set A / B model based on the student's reaction stored in step S38 of FIG. 11, the result of the understanding level test, and the teacher's evaluation. Do. For example, for each of the A / B models, the value obtained by calculating the value obtained by adding the weight function to each of the student's response, the comprehension test result, and the teacher's evaluation is added and calculated. You can select a model. Needless to say, the evaluation may be performed using three or more models.

ステップS53では、ティーチング処理部605は、図8に示す第3深層属性において、効果が高いメソッドを特定する。より詳細には、同一の生徒に適用した場合に効果が相対的に高い(理解度テストの結果が相対的に高い)メソッドを特定する。一例として、英語の場合には、発音記号を教えてから実際の発音を教える第1メソッドと、発音記号は教えずに発音を教える第2メソッドを比較した場合に、第1メソッドの方が第2メソッドに比べて理解度テストの結果がよい場合には第1メソッドを選択する。   In step S53, the teaching processing unit 605 specifies a method with high effect in the third deep layer attribute shown in FIG. More specifically, a method with relatively high effect (relatively high comprehension test result) when applied to the same student is identified. As an example, in the case of English, the first method is the first method when comparing the first method that teaches the actual pronunciation after teaching the phonetic symbols and the second method that teaches the pronunciation without teaching the phonetic symbols. If the result of the comprehension test is better than the 2 methods, select the 1st method.

ステップS54では、ティーチング処理部605は、メソッドを改変する処理を実行する。例えば、先程の英語の例では、発音記号を教えてから実際の発音を教える第1メソッドを、例えば、類似する複数の子音または母音を差異の対立構造として教えるメソッドとして改変する。なお、改変の方法としては、教える順番を変更する方法や、教える視点を変更する方法や、教える優先順位を変更する方法等がある。もちろん、これ以外の変更方法であってもよい。要は、教える内容を固定化するのではなく、変更することにより、より効果的なメソッドを得ることが目的であるので、小さな変化でもよい。   In step S54, the teaching processing unit 605 executes a process of modifying a method. For example, in the previous English example, the first method of teaching phonetic symbols and then teaching the actual pronunciation is modified, for example, as a method of teaching similar consonants or vowels as an alternative structure of difference. As a method of modification, there are a method of changing the order of teaching, a method of changing the viewpoint of teaching, a method of changing the priority of teaching, and the like. Of course, other change methods may be used. The point is that the purpose is to obtain a more effective method by changing the content of teaching instead of fixing it, so it may be a small change.

ステップS55では、ティーチング処理部605は、改変したメソッドをコピーする。より詳細には、ステップS54で改変したメソッドを、別のメソッドとしてコピーする。例えば、前述の例では、発音記号を教えてから実際の発音を教える第1メソッドを、例えば、類似する複数の子音または母音を差異の対立構造として教えるメソッドとして改変し、これを、例えば、第7メソッド(新たなメソッド)としてコピーする。   In step S55, the teaching processing unit 605 copies the modified method. More specifically, the method modified in step S54 is copied as another method. For example, in the above-mentioned example, the first method of teaching the phonetic symbols and then teaching the actual pronunciation is modified, for example, as a method of teaching similar consonants or vowels as an alternative structure of differences, for example, 7 Copy as a method (new method).

ステップS56では、ティーチング処理部605は、改変前後のメソッドの中から効果が低いメソッドを特定する。例えば、前述の例では、改変前の第1メソッドと、改変後の第7メソッドとを比較し、効果が相対的に低いメソッドとして第1メソッドを特定する。なお、改変前後のメソッドで、明らかに効果が低いメソッドが存在する場合には、当該メソッドを選択し、効果が略同じである場合には、例えば、乱数等に基づいて、アトランダムにいずれかを選択するようにしてもよい。   In step S56, the teaching processing unit 605 identifies a method with low effectiveness from among the methods before and after modification. For example, in the above-mentioned example, the first method before modification and the seventh method after modification are compared, and the first method is specified as a method with relatively low effect. In addition, when there is a method whose effect is obviously low among the methods before and after modification, the method is selected, and when the effects are substantially the same, for example, based on a random number or the like, either at random May be selected.

ステップS57では、ティーチング処理部605は、ステップS56で特定された効果の低いメソッドを削除する。   In step S57, the teaching processing unit 605 deletes the method with low effect specified in step S56.

ステップS58では、ティーチング処理部605は、改変前後のメソッドの中から効果が高いメソッドを特定する。例えば、前述の例では、改変前の第1メソッドと、改変後の第2メソッドとを比較し、効果が相対的に高いメソッドとして第7メソッドを特定する。なお、改変前後のメソッドで、効果が略同じである場合には、ステップS58の処理では、特定は行わない。ステップS58の処理は、効果が明らかに高いメソッドを特定する処理であるので、効果が明確でない場合には特定しない。   In step S58, the teaching processing unit 605 identifies a method with high effect from among the methods before and after modification. For example, in the above-mentioned example, the first method before modification and the second method after modification are compared, and the seventh method is specified as a method having a relatively high effect. If the effect is substantially the same in the methods before and after the modification, the specification is not performed in the process of step S58. Since the process of step S58 is a process of identifying a method whose effect is obviously high, it is not specified when the effect is not clear.

ステップS59では、ティーチング処理部605は、ステップS58で特定された効果の高いメソッドを拡散する処理を実行する。より詳細には、図8に示すように、メソッドは第3深層属性情報に属し、また、図7に示すように、深層属性情報はそれぞれの教師の個人的属性情報に属する。このため、ある教師に属する(改変によって生じた)メソッドが効果的であると判明した場合には、当該メソッドを他の教師の深層属性情報に対しても拡散(コピー)することで、有効なメソッドを集団的深層属性情報として共有化することができる。ステップS59の処理が終了すると、元の処理に復帰(リターン)する。   In step S59, the teaching processing unit 605 executes processing to diffuse the highly effective method identified in step S58. More specifically, as shown in FIG. 8, the method belongs to the third deep layer attribute information, and as shown in FIG. 7, the deep layer attribute information belongs to the personal attribute information of each teacher. Therefore, if it is found that a method belonging to a certain teacher (generated by modification) is effective, it is effective by spreading (copying) the method to other teachers' deep layer attribute information as well. Methods can be shared as collective deep attribute information. When the process of step S59 ends, the process returns to the original process (return).

以上の処理によれば、教師の表層属性情報および深層属性情報をA/Bテストによって、個々の生徒に対して最適なものに進化させることができる。また、メソッドについても、改変、コピー(複写)、選択(淘汰)することで、より効果的なメソッドに進化させることができる。   According to the above processing, it is possible to evolve the teacher's surface attribute information and deep layer attribute information to an optimum one for each student by the A / B test. Also, the method can be evolved into a more effective method by modifying, copying (copying) and selecting (淘汰).

つぎに、図13を参照して、教師が生徒に対して、コーチングを行う場合に実行される処理について説明する。なお、コーチングとは、対話によって生徒の自己実現や目標達成を導き出す方法である。教師は、生徒の話を傾聴し、感じたことを伝えて承認し、質問することで、自発的な行動を促すことができる。   Next, with reference to FIG. 13, a process performed when the teacher coaches a student will be described. In addition, coaching is a method to lead students' self-actualization and achievement of goals through dialogue. The teacher can encourage spontaneous behavior by listening to the students' stories, telling and approving what they felt, and asking questions.

ステップS70では、コーチング処理部606は、コーチングのテーマを決定する。なお、コーチングのテーマを決定する方法としては、例えば、HMD20または音声入出力デバイス30を介してテーマの一覧を提示し、提示された中から選択してもらうことができる。あるいは、生徒と教師の会話の中で、所定のキーワードが出現した場合には、それをきっかけとしてコーチングのテーマを決定することができる。例えば、生徒から「将来は〇〇に関する職業を目指している。」等の発言があれば、「将来の進路」をコーチングのテーマとすることができる。   In step S70, the coaching processing unit 606 determines the theme of coaching. In addition, as a method of determining the theme of coaching, for example, a list of the subjects can be presented via the HMD 20 or the voice input / output device 30, and can be selected from those presented. Alternatively, when a predetermined keyword appears in the conversation between the student and the teacher, the theme of coaching can be determined by using it as a trigger. For example, if a student makes a statement such as "I am aiming for a career about OO in the future," "future course" can be the theme of coaching.

ステップS71では、コーチング処理部606は、ステップS70で特定したテーマに対応する質問をコーチングDB610から取得する。例えば、前述した「将来の進路」であれば、「どういう職業にあこがれを持っているのですか?」、「その職業にあこがれを持つ理由はなんですか?」、「身近な人でその職業に就いている人はいますか?」、「あなたにとって働く目的や理由は何ですか?」等のような深層属性情報の「興味」、「(未来の)所属」、「問題(意識)」、「使命」、「懐疑」、および、「畏怖」を導き出すような質問を検索によって特定する。   In step S71, the coaching processing unit 606 acquires a question corresponding to the theme specified in step S70 from the coaching DB 610. For example, in the case of the "future course" mentioned above, "What kind of occupation do you have a longing for?", "What is the reason for having a longing for that occupation?" Are there any people in charge? “Interesting”, “(future) affiliation”, “problems (consciousness)”, etc. of deep attribute information such as “What is the purpose or reason for working for you?” Identify questions that lead to "mission", "skeptical", and "fear" by searching.

ステップS72では、音声認識処理部602は、生徒の発言を取得する。より詳細には、生徒によって発話され、音声入出力デバイス30によって音声データに変換され、クライアント装置40およびネットワーク50を介して伝送された音声データを取得する。この結果、生徒が発話した「将来は、英語を使った職業に就きたい。」が取得される。   In step S72, the speech recognition processing unit 602 acquires the remarks of the student. More specifically, voice data uttered by a student, converted into voice data by the voice input / output device 30, and transmitted through the client device 40 and the network 50 is acquired. As a result, "I want to get a job using English" acquired by the student is acquired.

ステップS73では、音声認識処理部602は、ステップS72において、ネットワーク50を介して取得した音声データに対して音声認識処理を施し、テキスト処理部607によってテキスト化を実行する。前述した例では、発話された音声データ「将来は、英語を使った職業に就きたい。」がテキスト化される。   In step S73, the voice recognition processing unit 602 performs voice recognition processing on voice data acquired via the network 50 in step S72, and the text processing unit 607 executes textification. In the above-described example, the spoken voice data "I want to get a job using English in the future" is converted into text.

ステップS74では、コーチング処理部606は、ステップS73でテキスト化された生徒の発言を取得し、発言に対応する質問をコーチングDB610から取得する。例えば、前述の「将来は、英語を使った職業に就きたい。」が生徒の発言である場合、「何故、英語なのでしょうか?」が選択される。なお、このような会話の内容は、予め会話の内容を想定し、想定した会話に基づいて、コーチングの技法に基づいて、適切な会話を格納しておくことで実現できる。コーチングは、生徒の深層に埋もれた意見や感情を引き出すための会話であり、自由な会話(日常会話等)に比較すると、教師側は受動的であるので、準備すべき質問の数も少なくて済む。   In step S74, the coaching processing unit 606 acquires the remarks of the student converted into texts in step S73, and acquires a question corresponding to the remark from the coaching DB 610. For example, if the above-mentioned "I would like to get an occupation using English" is the student's statement, "Why English?" Is selected. The content of such a conversation can be realized by assuming the content of the conversation in advance and storing an appropriate conversation based on the assumed conversation and based on the coaching technique. Coaching is a conversation to draw out deep opinions and emotions of the students, and compared with free conversation (everyday conversation etc.), the teachers are passive, so the number of questions to be prepared is small. It's over.

ステップS75では、コーチング処理部606は、ステップS74で取得した質問をテキスト処理部607に供給し、音声合成処理部603によって音声化して出力する。この結果、ステップS74で取得された質問が、クライアント装置40の音声入出力デバイス30から出力される。   In step S75, the coaching processing unit 606 supplies the question acquired in step S74 to the text processing unit 607, and the speech synthesis processing unit 603 converts the question into speech and outputs it. As a result, the question acquired in step S74 is output from the voice input / output device 30 of the client device 40.

ステップS76では、コーチング処理部606は、コーチングによって結論に到達したか否かを判定し、到達したと判定した場合(ステップS76:Y)にはステップS77に進み、それ以外の場合(ステップS76:N)にはステップS72に戻って前述の場合と同様の処理を繰り返す。例えば、特定のキーワード(例えば、「そうか。」、「確かに。」、「なるほど。」等)を生徒が発話した場合、生徒の感情が高ぶっていると音声から推定される場合(例えば、音声の基本周波数が通常よりも高くなっている場合)、生徒が終了の意思表示をした場合(例えば、位置情報入力デバイス10から所定のコマンドを入力した場合)等には、結論に到達したと判定してステップS77に進むことができる。   In step S76, the coaching processing unit 606 determines whether the conclusion has been reached by coaching. If it is determined that the conclusion has been reached (step S76: Y), the process proceeds to step S77, otherwise (step S76: In N), the process returns to step S72, and the same process as described above is repeated. For example, when a student utters a specific keyword (for example, "Sorry.", "Surely.", "I see.", Etc.), it is estimated from speech that the student's emotions are high (eg, The conclusion has been reached, for example, when the fundamental frequency of the voice is higher than normal) or when the student indicates the intention to finish (for example, when a predetermined command is input from the position information input device 10) It can be determined and the process can proceed to step S77.

ステップS77では、コーチング処理部606は、ステップS76で到達した結論を格納する。例えば、「将来は、英語を使う職業に就きたいと思っていたが、人の役に立ちたいという思いが根本にあるので、医師または看護師になることを目指す。」を結論として生徒DB611に格納する。   In step S77, the coaching processing unit 606 stores the conclusion reached in step S76. For example, "I would like to get a job that uses English in the future, but I want to be a doctor or a nurse because I have a fundamental desire to help people." .

ステップS78では、コーチング処理部606は、コーチングを行った生徒と類似する属性を有するとともに、過去に同じテーマでコーチングを行った生徒を生徒DB611から検索し、その結論を取得する。より詳細には、例えば、当該生徒と類似する深層属性情報を有するとともに、前述の例では「将来の進路」をテーマとしてコーチングを行ったことがある生徒を特定し、そのコーチングの結論を取得する。なお、深層属性情報の類否については、例えば、図6に示す深層属性情報のそれぞれと重み値との積和演算によって得られた値を比較することで類否を判断することができる。もちろん、これ以外の方法を用いてもよい。   In step S78, the coaching processing unit 606 searches the student DB 611 for a student having coached on the same theme in the past while having an attribute similar to that of the student who has performed coaching, and acquires the conclusion. More specifically, for example, while having deep attribute information similar to the student, in the above example, identify a student who has been coached on the theme of "future course" and obtain the coaching conclusion . The similarity of the deep layer attribute information can be determined, for example, by comparing the values obtained by the product-sum operation of each of the deep layer attribute information shown in FIG. 6 and the weight value. Of course, other methods may be used.

ステップS79では、コーチング処理部606は、結論の妥当性をフィードバックする。より詳細には、まず、ステップS78で取得した複数の結論と、今回の結論を比較する。その結果、複数の結論に含まれている結論と同じまたは同様の結論である場合には妥当である旨をフィードバックする。なお、Skip−gram等の手法を用いて、ある結論に類似する結論を推定するモデルを構築し、このような推定結果に基づいて、結果の妥当性を判断するようにしてもよい。また、将来の進路のようなテーマの場合、その進路に進んだ生徒(先輩)の実情報を登録し、その登録結果と比較するようにしてもよい。例えば、テーマが将来の進路である場合、実際に看護師や医師になった生徒の現時点での深層属性情報(例えば、仕事に対する満足度、働きやすさ、働きがい、給料の多寡、ワークライフバランス等を示す属性)について調査して登録し、このような深層属性情報との比較を行うようにしてもよい。このような比較により、例えば、進路に関しては、その分野において成功している人と、生徒との深層属性情報の比較を行うことで、生徒の才能や適性を的確に判断することができる。   In step S79, the coaching processing unit 606 feeds back the validity of the conclusion. More specifically, first, the present conclusion is compared with the plurality of conclusions acquired in step S78. As a result, it feeds back that it is valid if the conclusion is the same as or similar to the conclusion included in multiple conclusions. Note that a model that estimates a conclusion similar to a certain conclusion may be constructed using a technique such as Skip-gram, and the validity of the result may be determined based on such an estimation result. Further, in the case of a theme such as a future course, real information of a student (senior) who has advanced to the course may be registered and compared with the registration result. For example, when the theme is the future course, deep attribute information (for example, satisfaction with work, ease of work, good work, high salary, work life balance, etc.) of students who have actually become nurses and doctors (Attribute indicating “f”) may be registered, and comparison with such deep layer attribute information may be performed. With such comparison, for example, with regard to the course, the student's ability and aptitude can be accurately determined by comparing deep attribute information between a student who is successful in the field and the student.

以上のフローチャートによれば、生徒に対してコーチングを行うことで、例えば、将来の進路をより明確化し、モチベーションを高めることで、学習への意識を高めることができる。また、コーチングによって得られた結果を、深層属性情報として登録することで、生徒の属性をより正確に判断することができる。また、コーチングとして、サーバ装置60によって合成されたアバターを用いることで、利害関係を有する生身の人間と対峙する場合に比較し、予断が無い思考および判断を行うことで、より確からしい結論を得ることができる。   According to the above-described flowchart, by coaching students, for example, it is possible to increase awareness of learning by further clarifying the course of the future and enhancing motivation. Further, by registering the result obtained by the coaching as deep layer attribute information, it is possible to more accurately determine the student's attribute. In addition, by using avatars synthesized by the server device 60 as coaching, a more probable conclusion is obtained by making an unexpected thought and judgment as compared to when confronted with a living human being who has an interest. be able to.

また、コーチングの際に教師側が使用する質問を、図12に基づいて説明した、ティーチングに関するメソッドの改変処理と同様の処理によって、改変して最適化を図るようにしてもよい。   Further, the question used by the teacher during the coaching may be optimized by optimizing it by the same processing as the method modification processing related to teaching described based on FIG.

(C)変形実施形態の説明
以上の各実施形態は一例であって、本発明が上述した場合のみに限定されるものでないことはいうまでもない。例えば、以上の例では、位置情報処理部601、音声認識処理部602、音声合成処理部603、画像生成処理部604、ティーチング処理部605、コーチング処理部606、テキスト処理部607、オブジェクト処理部608、ティーチングDB609、コーチングDB610、生徒DB、および、教師DB612は、全てサーバ装置60に配置するようにしたが、これらをクライアント装置40に配置したり、これらをクライアント装置40およびサーバ装置60に分散して配置したりするようにしてもよい。
(C) Description of Modified Embodiments It goes without saying that each of the above-described embodiments is an example, and the present invention is not limited only to the case described above. For example, in the above example, the position information processing unit 601, the voice recognition processing unit 602, the voice synthesis processing unit 603, the image generation processing unit 604, the teaching processing unit 605, the coaching processing unit 606, the text processing unit 607, the object processing unit 608 , The teaching DB 609, the coaching DB 610, the student DB, and the teacher DB 612 are all disposed in the server device 60, but these are disposed in the client device 40, or are distributed to the client device 40 and the server device 60. May be arranged.

また、以上の実施形態では、教師は、コンピュータによる処理によって生成したアバターおよび合成音声を使用するようにしたが、例えば、コンピュータによる教示を好まない生徒等に対しては、生身の人間による教師を割り当てるようにしてもよい。また、初期登録時およびコーチングの際には生身の人間による教師を割り当てるようにしてもよい。すなわち、図7および図8に示す教師の属性としては、生身の教師の属性データを含むようにしてもよい。   Also, in the above embodiments, the teacher uses avatars and synthetic speech generated by computer processing. For example, a teacher who is a living human may be used for a student who does not like computer teaching. It may be allocated. Also, at the time of initial registration and at the time of coaching, a teacher by a live human may be assigned. That is, the attribute of the teacher shown in FIG. 7 and FIG. 8 may include attribute data of a teacher of life.

また、以上の実施形態では、生徒側に配置される装置は、位置情報入力デバイス10、HMD20、音声入出力デバイス30、および、クライアント装置40としたが、これらに代えて、または、これらの一部を、携帯端末(例えば、スマートフォン)を用いるようにしてもよい。例えば、スマートフォンをヘッドマウント用のゴーグルに装着することで、HMD20、音声入出力デバイス30、および、クライアント装置40と代替することができる。もちろん、VR画像ではなく、2次元画像または映像を用いるようにしてもよい。   Further, in the above embodiments, the devices disposed on the student side are the position information input device 10, the HMD 20, the voice input / output device 30, and the client device 40, but instead of these or one of them A mobile terminal (for example, a smartphone) may be used as the unit. For example, by attaching a smartphone to goggles for head mounting, the HMD 20, the voice input / output device 30, and the client device 40 can be substituted. Of course, a two-dimensional image or video may be used instead of a VR image.

また、以上の実施形態では、ティーチングでは、勉強を教えるようにしたが、これ以外の内容を教えるようにしてもよい。例えば、社員教育として業務内容や、顧客に対する対応等をティーチングするようにしてもよい。本実施形態では、VR映像を用いてティーチングを行うことから、例えば、社員教育では、実際の顧客のVR映像を用いることで、よりリアリティーが高い研修を行うことができる。   Further, in the above embodiment, in the teaching, learning is taught, but other contents may be taught. For example, as the employee education, the contents of work, the correspondence to the customer, etc. may be taught. In this embodiment, since teaching is performed using a VR image, for example, in employee education, training with higher reality can be performed by using a VR image of an actual customer.

また、以上の実施形態では、教師の評価としては、学習の進捗状況等に基づいて判定するようにしたが、これ以外の方法によって判定するようにしてもよい。例えば、生徒自身ではなく、生徒の保護者が、生徒の学習に対しての取り組み方の変化等に基づいて判定するようにしてもよい。   Further, in the above embodiment, the teacher's evaluation is made based on the progress of learning, etc., but it may be made by other methods. For example, it may be determined not by the student itself but by the guardian of the student based on a change in the approach to learning of the student.

また、生徒自身が教師の属性(表層属性情報および深層属性情報)を自由に改変できるようにし、このようにして改変された教師を、例えば、他の生徒と有償/無償で交換可能としてもよい。これにより、生徒がより教え方がうまい教師を創造することができるとともに、このようにして創造された教師を複数の生徒が共有することができる。   In addition, students may be allowed to freely change the teacher's attributes (surface attribute information and deep attribute information), and thus the teacher who has been altered in this way may be exchangeable with other students for a fee / free of charge. . This allows the students to create teachers who are better at teaching, and allows a plurality of students to share the teacher thus created.

また、メソッドの改変は、生徒が関与できるようにしてもよい。例えば、自分にあったメソッドを生徒自身が見つけることができるようにしてもよい。なお、このような改変によって得られたメソッドを、他の生徒と有償/無償で交換可能としてもよい。   Also, modification of the method may allow students to be involved. For example, the student may be able to find his own method. In addition, the method obtained by such modification may be exchangeable with other students for a fee / free of charge.

また、以上の実施形態では、教師と生徒がともに1名の場合を例に挙げて説明したが、教師および/または生徒が複数名であってもよい。例えば、教師が1名で、その教師と相性がよい生徒が複数名集まって授業を進めるようにしてもよい。また、教師が複数名で、それらの教師と相性がよい生徒が複数名集まって授業を進めるようにしてもよい。すなわち、教師と生徒の人数の比率は相互に単数および複数を問わない。   Further, in the above embodiment, the case where both the teacher and the student are one is described as an example, but a plurality of teachers and / or students may be provided. For example, there may be one teacher and a plurality of students who are compatible with the teacher may be together to advance the class. Also, there may be a plurality of teachers, and a plurality of students who are compatible with the teachers may gather to advance the class. That is, the ratio of the number of teachers and students may be single or plural.

また、学力テストとしては、自宅でVRによる受験が可能としてもよい。具体的には、会場に赴くことなく、生徒の都合がよい場所(例えば、自宅、学校、図書館等)で受験できるようにしてもよい。また、試験直後に、担当教師による答え合わせを行うことで、間違えを早期に訂正するとともに、記憶の定着を図るようにしてもよい。   Also, as an academic ability test, it may be possible to take an examination by VR at home. Specifically, it may be possible to take an examination at a place convenient to the student (for example, a home, a school, a library, etc.) without visiting the venue. Further, immediately after the examination, by making the answer by the teacher in charge, the error may be corrected early and the memory may be fixed.

また、以上の実施形態では、参考書等については詳細に記載していないが、例えば、参考書、辞書、教材等を複数種類登録しておき、登録された参考書等の中から、自分のレベルに合致した、あるいは、学校で使用している教科書に合致した参考書等を選択可能としてもよい。   Moreover, in the above embodiment, although the reference book etc. are not described in detail, for example, multiple types of reference books, dictionaries, teaching materials etc. are registered, and from among the registered reference books etc. It may be possible to select reference books and the like that match the level or match the textbook used in the school.

また、図9,図11〜図19に示すフローチャートは一例であって、本発明がこれらのフローチャートに限定されるものではない。   The flowcharts shown in FIGS. 9 and 11 to 19 are merely examples, and the present invention is not limited to these flowcharts.

1 :学習支援システム
10 :位置情報入力デバイス
20 :HMD
30 :音声入出力デバイス
40 :クライアント装置
41 :CPU
42 :ROM
43 :RAM
44 :HDD
46 :I/F
47 :バス
50 :ネットワーク
60 :サーバ装置
61 :CPU
62 :ROM
63 :RAM
64 :HDD
65 :I/F
66 :バス
601 :位置情報処理部
602 :音声認識処理部
603 :音声合成処理部
604 :画像生成処理部
605 :ティーチング処理部
606 :コーチング処理部
607 :テキスト処理部
608 :オブジェクト処理部
609 :ティーチングDB
610 :コーチングDB
611 :生徒DB
612 :教師DB
1: Learning support system 10: Position information input device 20: HMD
30: voice input / output device 40: client device 41: CPU
42: ROM
43: RAM
44: HDD
46: I / F
47: bus 50: network 60: server device 61: CPU
62: ROM
63: RAM
64: HDD
65: I / F
66: bus 601: position information processing unit 602: speech recognition processing unit 603: speech synthesis processing unit 604: image generation processing unit 605: teaching processing unit 606: coaching processing unit 607: text processing unit 608: object processing unit 609: teaching DB
610: Coaching DB
611: Student DB
612: Teacher DB

上記課題を解決するために、本発明は、コンピュータによって学習を支援する学習支援システムにおいて、コンピュータによって学習を支援する学習支援システムにおいて、生徒の測定可能な表層的な属性を示す表層属性情報と、前記表層属性情報以外の深層的な属性を示す深層属性情報とを格納する第1格納手段と、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とを有する仮想的な教師を提示し、提示された前記仮想的な教師を介して学習内容を前記生徒に教授する教授手段と、前記仮想的な教師の前記アバターの種類、前記合成される音声の特徴、および、教授内容および教授方法を示す属性情報を格納する第2格納手段と、前記生徒のそれぞれの学習の進捗状態を判定する判定手段と、新たな前記生徒を登録する場合、当該新たな前記生徒の前記表層属性情報と、前記深層属性情報とを参照して、類似する前記属性情報を有する前記生徒を前記第1格納手段から検索する検索手段と、前記検索手段によって取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒に対して提示される前記仮想的な教師の中から、評価が相対的に高いと判定された前記仮想的な教師に関する前記属性情報を前記第2格納手段から特定する特定手段と、前記特定手段によって特定された前記属性情報に基づいて、新たな前記生徒に対して前記仮想的な教師を前記教授手段に提示させる制御を行う制御手段と、を有し、前記教授手段による前記教授内容または前記教授方法を改変する改変手段を有し、前記教授手段は、前記改変手段によって改変された前記教授内容または前記教授方法のうち、学習効果が高いものについては、他の前記生徒に対しても使用する、ことを特徴とする。
このような構成によれば、生徒にあった最適な教師を提示することが可能となる。
In order to solve the above problems, the present invention is a learning support system that supports learning by a computer, and in the learning support system that supports learning by a computer, surface attribute information indicating surface attributes that can be measured by students ; Presenting a virtual teacher having first storage means for storing deep layer attribute information indicating deep layer attributes other than the surface layer attribute information, avatar drawn by the computer, and voice synthesized by the computer Teaching means for teaching the learning contents to the students through the virtual teacher, the type of the avatar of the virtual teacher, the feature of the synthesized speech, the teaching contents and the teaching a second storage means for storing attribute information indicating the method, a determination unit configured to determine progress status of each of the learning of the student, When registering the student Do has, search the a new surface layer attribute information of the student, with reference to said deep attribute information, searching for the students with the attribute information similar to the first storing means It is determined that the evaluation is relatively high among the virtual teachers presented to the student having the attribute information similar to the new student obtained by the search means and the means. the specifying means for specifying the attribute information about the virtual teacher from said second storage means, based on said attribute information specified by the specifying means, the said virtual teacher for the new the student a control means for performing control to be presented to the teaching means, and has a changing means for modifying the teaching contents or the teaching method according to the teaching means, said teaching means, said changing means Thus among the modified the teaching contents or the teaching methods, for those learning effect is high, also be used for other of the student, and wherein the.
According to such a configuration, it is possible to present the most suitable teacher for the student.

また、本発明は、前記深層属性情報は、複数の前記生徒の前記深層属性情報を包含する共通する属性としての集団的深層属性情報を有し、前記集団的深層属性情報は、時間の経過に伴ってその内容が変化する、ことを特徴とする。
Further, according to the present invention, the deep layer attribute information includes collective deep layer attribute information as a common attribute including the deep layer attribute information of a plurality of the students, and the collective deep layer attribute information includes the passage of time. It is characterized in that the content changes along with it .

また、本発明は、前記教授手段は、特定のテーマに対する複数の質問を前記生徒に対して連続して提示することで、前記生徒の深層に埋もれた意見や感情を引き出すいわゆるコーチングを実行することを特徴とする請求項1または2に記載の学習支援システム。
Further, according to the present invention, the teaching means executes so-called coaching for drawing out opinions and feelings buried deep in the student by sequentially presenting a plurality of questions on a specific subject to the student. The learning support system according to claim 1 or 2, characterized by

また、本発明は、前記教授手段は、前記コーチングの結果として得られた結果と、他の前記生徒の結果とを比較することで、妥当性を判断する、ことを特徴とする。
Further, the present invention is characterized in that the teaching means judges validity by comparing the result obtained as a result of the coaching with the result of the other students .

また、本発明は、コンピュータによって学習を支援する学習支援方法において、生徒の測定可能な表層的な属性を示す表層属性情報と、前記表層属性情報以外の深層的な属性を示す深層属性情報とを格納手段に格納する第1格納ステップと、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とを有する仮想的な教師を提示し、提示された前記仮想的な教師を介して学習内容を前記生徒に教授する教授ステップと、前記仮想的な教師の前記アバターの種類、前記合成される音声の特徴、および、教授内容および教授方法を示す属性情報を前記格納手段に格納する第2格納ステップと、前記生徒のそれぞれの学習の進捗状態を判定する判定ステップと、新たな前記生徒を登録する場合、当該新たな前記生徒の前記表層属性情報と、前記深層属性情報とを参照して、類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索ステップと、前記検索ステップにおいて取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒に対して提示される前記仮想的な教師の中から、評価が相対的に高いと判定された前記仮想的な教師に関する前記属性情報を前記格納手段から特定する特定ステップと、前記特定ステップにおいて特定された前記属性情報に基づいて、新たな前記生徒に対して前記仮想的な教師を前記教授ステップに提示させる制御を行う制御ステップと、を有し、前記教授ステップによる前記教授内容または前記教授方法を改変する改変ステップを有し、前記教授ステップは、前記改変ステップにおいて改変された前記教授内容または前記教授方法のうち、学習効果が高いものについては、他の前記生徒に対しても使用する、ことを特徴とする。
このような方法によれば、生徒にあった最適な教師を提示することが可能となる。
Further, according to the present invention, in a learning support method for supporting learning by a computer, surface attribute information indicating surface attributes that can be measured by a student, and deep attribute information indicating deep attributes other than the surface attribute information. Presenting a virtual teacher having a first storing step stored in the storing means, an avatar drawn by the computer, and a voice synthesized by the computer, and learning through the virtual teacher presented A second step of storing in the storage means a teaching step of teaching contents to the students, a type of the avatar of the virtual teacher, a feature of the synthesized speech, and attribute information indicating teaching contents and teaching methods and storing step, and each of the determining step the progress of learning of the student, when registering a new the student, the new piece of the Said surface layer attribute information adversaries, with reference to the deep attribute information, a search step of searching the student with the attribute information similar from said storing means, said new said student acquired in the search step Identifying, from the storage means, the attribute information related to the virtual teacher whose evaluation is judged to be relatively high among the virtual teachers presented to the student having the attribute information similar to And a control step of performing control to cause the new student to present the virtual teacher to the teaching step based on the attribute information specified in the specifying step ; There is a modification step for modifying the teaching content or the teaching method according to the teaching step, the teaching step being modified in the modification step Among the teaching contents or the teaching methods it was, for those learning effect is high, also be used for other of the student, and wherein the.
According to such a method, it is possible to present the most suitable teacher for the students.

上記課題を解決するために、本発明は、コンピュータによって学習を支援する学習支援システムにおいて、生徒の測定可能な表層的な属性を示す表層属性情報と、前記表層属性情報以外の深層的な属性を示す深層属性情報とを格納する第1格納手段と、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とを有する仮想的な教師を提示し、提示された前記仮想的な教師を介して学習内容を前記生徒に教授する教授手段と、前記仮想的な教師の前記アバターの種類、前記合成される音声の特徴、および、教授方法を示す属性情報を格納する第2格納手段と、前記生徒のそれぞれの学習の進捗状態を判定する判定手段と、新たな前記生徒を登録する場合、当該新たな前記生徒の前記表層属性情報と、前記深層属性情報とを参照して、類似する前記属性情報を有する前記生徒を前記第1格納手段から検索する検索手段と、前記検索手段によって取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒に対して提示される前記仮想的な教師の中から、評価が相対的に高いと判定された前記仮想的な教師に関する前記属性情報を前記第2格納手段から特定する特定手段と、前記特定手段によって特定された前記属性情報に基づいて、新たな前記生徒に対して前記仮想的な教師を前記教授手段に提示させる制御を行う制御手段と、を有し、前記教授手段による前記教授方法のうち効果が高い前記教授方法を特定して改変する改変手段を有し、前記教授手段は、前記改変手段によって改変された前記教授方法のうち、学習効果が高いものについては、他の前記生徒に対しても使用する、ことを特徴とする。
このような構成によれば、生徒にあった最適な教師を提示することが可能となる。
In order to solve the above problems, the present invention provides a learning support system for supporting learning by a computer, comprising surface attribute information indicating measurable surface attributes of a student and deep attributes other than the surface attribute information. Presenting a virtual teacher having a first storage means for storing deep attribute information to indicate, an avatar drawn by the computer, and a voice synthesized by the computer; Second teaching means for teaching learning contents to the students via the second learning means, type of the avatar of the virtual teacher, characteristics of the synthesized speech, and attribute information indicating a teaching method ; A determination unit that determines a progress state of each learning of the student, and, when registering a new student, the surface attribute information of the new student, and Searching means for searching the first storage means for the student having similar attribute information with reference to the layer attribute information, and the new attribute information similar to the new student acquired by the searching means Specifying means for specifying, from the second storage means, the attribute information regarding the virtual teacher whose evaluation is determined to be relatively high among the virtual teachers presented to the students having the virtual teacher; based on said attribute information specified by the specifying means, and a control means for performing control to be presented to the teaching means the virtual teacher for the new the student, the teaching according to the teaching means has changing means for modifying to identify the effect is high the teaching method of the method, the teaching means, among the teaching methods that have been modified by the modification means are learning effect is higher For, also used for other of the student, and wherein the.
According to such a configuration, it is possible to present the most suitable teacher for the student.

また、本発明は、コンピュータによって学習を支援する学習支援方法において、生徒の測定可能な表層的な属性を示す表層属性情報と、前記表層属性情報以外の深層的な属性を示す深層属性情報とを格納手段に格納する第1格納ステップと、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とを有する仮想的な教師を提示し、提示された前記仮想的な教師を介して学習内容を前記生徒に教授する教授ステップと、前記仮想的な教師の前記アバターの種類、前記合成される音声の特徴、および、教授方法を示す属性情報を前記格納手段に格納する第2格納ステップと、前記生徒のそれぞれの学習の進捗状態を判定する判定ステップと、新たな前記生徒を登録する場合、当該新たな前記生徒の前記表層属性情報と、前記深層属性情報とを参照して、類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索ステップと、前記検索ステップにおいて取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒に対して提示される前記仮想的な教師の中から、評価が相対的に高いと判定された前記仮想的な教師に関する前記属性情報を前記格納手段から特定する特定ステップと、前記特定ステップにおいて特定された前記属性情報に基づいて、新たな前記生徒に対して前記仮想的な教師を前記教授ステップに提示させる制御を行う制御ステップと、を有し、前記教授ステップによる前記教授方法のうち効果が高い前記教授方法を特定して前記教授方法を改変する改変ステップを有し、前記教授ステップは、前記改変ステップにおいて改変された前記教授方法のうち、学習効果が高いものについては、他の前記生徒に対しても使用する、ことを特徴とする。
このような方法によれば、生徒にあった最適な教師を提示することが可能となる。
Further, according to the present invention, in a learning support method for supporting learning by a computer, surface attribute information indicating surface attributes that can be measured by a student, and deep attribute information indicating deep attributes other than the surface attribute information. Presenting a virtual teacher having a first storing step stored in the storing means, an avatar drawn by the computer, and a voice synthesized by the computer, and learning through the virtual teacher presented A second storing step of storing, in the storage means, a teaching step of teaching contents to the student, a type of the avatar of the virtual teacher, a feature of the synthesized speech, and attribute information indicating a teaching method A determination step of determining a progress state of each learning of the student, and when registering a new student, the surface layer of the new student A search step of searching the storage unit for the student having similar attribute information with reference to the sex information and the deep layer attribute information, and the new search similar to the new student acquired in the search step And identifying, from the storage means, the attribute information related to the virtual teacher whose evaluation is determined to be relatively high among the virtual teachers presented to the student having the attribute information. , on the basis of the said attribute information specified in the specifying step, and a control step of performing control to present the virtual teacher to the teaching steps for the new the student, the by the teaching step to identify the effect is high the teaching method of teaching methods have altered step of modifying the teaching methods, the teaching step, the modified scan Of the modified the teaching methods in-up, for those learning effect is high, also be used for other of the student, and wherein the.
According to such a method, it is possible to present the most suitable teacher for the students.

Claims (6)

コンピュータによって学習を支援する学習支援システムにおいて、
生徒の属性情報を格納する格納手段と、
前記生徒のそれぞれの学習の進捗状態を判定する判定手段と、
新たな前記生徒を登録する場合、当該新たな前記生徒に類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索手段と、
前記検索手段によって取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒を担当する教師の中から、評価が相対的に高いと判定された前記教師を特定する特定手段と、
前記特定手段によって特定された前記教師を提示する提示手段と、
を有することを特徴とする学習支援システム。
In a learning support system that supports learning by computer,
Storage means for storing student attribute information;
Determining means for determining the progress of each learning of the students;
Retrieval means for retrieving from the storage means the student having the attribute information similar to the new student when registering the new student;
From the teacher in charge of the student having the attribute information similar to the new student acquired by the search means, an identification means for specifying the teacher judged to have a relatively high evaluation;
Presentation means for presenting the teacher identified by the identification means;
A learning support system characterized by having.
前記生徒の前記属性情報は、前記生徒の表層的な属性を示す表層属性情報と、深層的な属性を示す深層属性情報とを有し、
前記検索手段は、前記表層属性情報と前記深層属性情報の少なくとも一方と比較して、前記新たな前記生徒に類似する前記属性情報を有する前記生徒を検索する、
ことを特徴とする請求項1に記載の学習支援システム。
The attribute information of the student includes surface attribute information indicating a surface attribute of the student and deep attribute information indicating a deep attribute.
The search means searches for the student having the attribute information similar to the new student by comparing with at least one of the surface layer attribute information and the deep layer attribute information.
The learning support system according to claim 1, characterized in that:
前記格納手段は、前記教師の表層的な属性を示す前記表層属性情報と、深層的な属性を示す前記深層属性情報と有し、
前記教師は、前記コンピュータによって描画されるアバターと、前記コンピュータによって合成される音声とによって学習内容を前記生徒に教授し、
前記コンピュータは、前記表層属性情報に基づいてアバターを描画するとともに前記音声を合成し、前記深層属性情報に基づいた方法により教授を行う、
ことを特徴とする請求項1または2に記載の学習支援システム。
The storage means includes the surface layer attribute information indicating a superficial attribute of the teacher and the deep layer attribute information indicating a deep layer attribute.
The teacher teaches learning contents to the students by an avatar drawn by the computer and a voice synthesized by the computer.
The computer renders an avatar based on the surface layer attribute information and synthesizes the voice and performs teaching by a method based on the deep layer attribute information.
The learning support system according to claim 1 or 2, characterized in that:
前記教師は、前記生徒に対して所定のメソッドに基づいて学習内容を教授し、
前記メソッドを学習効率の高低によって選別する選別手段を有する、
ことを特徴とする請求項1乃至3のいずれか1項に記載の学習支援システム。
The teacher teaches learning contents to the students based on a predetermined method.
Having a sorting means for sorting the method according to the level of learning efficiency,
The learning support system according to any one of claims 1 to 3, characterized in that:
前記メソッドの内容を改変する改変手段を有し、
前記選別手段は前記改変手段によって改変された前記メソッドの中から学習効果の高い前記メソッドを選別する、
ことを特徴とする請求項4に記載の学習支援システム。
Having modifying means for modifying the contents of the method;
The selection means selects the method having a high learning effect from the methods modified by the modification means.
The learning support system according to claim 4, characterized in that:
コンピュータによって学習を支援する学習支援方法において、
生徒の属性情報を格納手段に格納する格納ステップと、
前記生徒のそれぞれの学習の進捗状態を判定する判定ステップと、
新たな前記生徒を登録する場合、当該新たな前記生徒に類似する前記属性情報を有する前記生徒を前記格納手段から検索する検索ステップと、
前記検索ステップにおいて取得された前記新たな前記生徒に類似する前記属性情報を有する前記生徒を担当する教師の中から、評価が相対的に高いと判定された前記教師を特定する特定ステップと、
前記特定ステップにおいて特定された前記教師を提示する提示ステップと、
を有することを特徴とする学習支援方法。
In a learning support method for supporting learning by a computer,
A storage step of storing student attribute information in storage means;
A determination step of determining the progress of each learning of the students;
A search step of searching the storage means for the student having the attribute information similar to the new student when registering the new student;
Identifying the teacher whose evaluation is determined to be relatively high among the teachers in charge of the student having the attribute information similar to the new student acquired in the search step;
Presenting the teacher identified in the identifying step;
A learning support method characterized by having:
JP2017213365A 2017-11-05 2017-11-05 Learning support system and learning support method Active JP6419924B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017213365A JP6419924B1 (en) 2017-11-05 2017-11-05 Learning support system and learning support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017213365A JP6419924B1 (en) 2017-11-05 2017-11-05 Learning support system and learning support method

Publications (2)

Publication Number Publication Date
JP6419924B1 JP6419924B1 (en) 2018-11-07
JP2019086602A true JP2019086602A (en) 2019-06-06

Family

ID=64098731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017213365A Active JP6419924B1 (en) 2017-11-05 2017-11-05 Learning support system and learning support method

Country Status (1)

Country Link
JP (1) JP6419924B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021005052A (en) * 2019-06-27 2021-01-14 株式会社ドワンゴ Lesson content distribution method, lesson content distribution system, terminals, and program
JP2021005058A (en) * 2019-06-27 2021-01-14 株式会社ドワンゴ Remote education system
JP2021006886A (en) * 2019-06-28 2021-01-21 株式会社ドワンゴ Content control system, content control method, and content control program
JP2021006977A (en) * 2019-06-28 2021-01-21 株式会社ドワンゴ Content control system, content control method, and content control program
JP2021022157A (en) * 2019-07-26 2021-02-18 株式会社ベネッセコーポレーション Program, method for processing information, and information processor
JP2021063900A (en) * 2019-10-11 2021-04-22 大日本印刷株式会社 Information processing device, control method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377797A (en) * 2018-11-08 2019-02-22 北京葡萄智学科技有限公司 Virtual portrait teaching method and device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194985A (en) * 2000-01-12 2001-07-19 Nec Corp Method for dynamic adjustment of the degree of difficulty of teaching material
JP2003131549A (en) * 2001-10-24 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> Device for assisting design of learning course, program for the same and recording medium with the program recorded thereon
JP2003177661A (en) * 2001-12-11 2003-06-27 Toyota Auto Body Co Ltd Learner support device and learner support method
JP2003263097A (en) * 2002-03-12 2003-09-19 Fujitsu Ltd Teaching material preparation support method, teaching material use managing method, server, and program
JP2004279808A (en) * 2003-03-17 2004-10-07 Univ Saga Telelearning system
JP2006030513A (en) * 2004-07-15 2006-02-02 Hitachi Ltd Education support device and education information managing server
JP2006139130A (en) * 2004-11-12 2006-06-01 Nomura Research Institute Ltd System and method for curriculum analysis
JP2010146562A (en) * 2008-12-19 2010-07-01 Xerox Corp System and method for recommending educational resource
JP2014102664A (en) * 2012-11-20 2014-06-05 Talkie System Co Ltd Content creation, recording, reproduction system
US20150206441A1 (en) * 2014-01-18 2015-07-23 Invent.ly LLC Personalized online learning management system and method
JP2017097030A (en) * 2015-11-18 2017-06-01 株式会社ジャストシステム Learning support device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194985A (en) * 2000-01-12 2001-07-19 Nec Corp Method for dynamic adjustment of the degree of difficulty of teaching material
JP2003131549A (en) * 2001-10-24 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> Device for assisting design of learning course, program for the same and recording medium with the program recorded thereon
JP2003177661A (en) * 2001-12-11 2003-06-27 Toyota Auto Body Co Ltd Learner support device and learner support method
JP2003263097A (en) * 2002-03-12 2003-09-19 Fujitsu Ltd Teaching material preparation support method, teaching material use managing method, server, and program
JP2004279808A (en) * 2003-03-17 2004-10-07 Univ Saga Telelearning system
JP2006030513A (en) * 2004-07-15 2006-02-02 Hitachi Ltd Education support device and education information managing server
JP2006139130A (en) * 2004-11-12 2006-06-01 Nomura Research Institute Ltd System and method for curriculum analysis
JP2010146562A (en) * 2008-12-19 2010-07-01 Xerox Corp System and method for recommending educational resource
JP2014102664A (en) * 2012-11-20 2014-06-05 Talkie System Co Ltd Content creation, recording, reproduction system
US20150206441A1 (en) * 2014-01-18 2015-07-23 Invent.ly LLC Personalized online learning management system and method
JP2017097030A (en) * 2015-11-18 2017-06-01 株式会社ジャストシステム Learning support device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丹治翔: "「先生が何も教えない学習塾 人工知能で教材が成長 人間の役割は?」", WITHNEWS, JPN6017048622, 21 December 2015 (2015-12-21), pages 2017 - 12, ISSN: 0003768026 *
石臥薫子: "「AI先生は究極の「個別指導のプロ」だった 「何がわからないのか」を即座に解析」", AERA DOT., JPN6017048625, 4 September 2017 (2017-09-04), pages 2017 - 12, ISSN: 0003768028 *
金澤雅子: "小学校のテスト結果をAIで分析、最大6万種類の個別教材を提供 DNPから", ITMEDIA, JPN6017048624, 19 July 2017 (2017-07-19), pages 2017 - 12, ISSN: 0003768027 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021005052A (en) * 2019-06-27 2021-01-14 株式会社ドワンゴ Lesson content distribution method, lesson content distribution system, terminals, and program
JP2021005058A (en) * 2019-06-27 2021-01-14 株式会社ドワンゴ Remote education system
JP2021006886A (en) * 2019-06-28 2021-01-21 株式会社ドワンゴ Content control system, content control method, and content control program
JP2021006977A (en) * 2019-06-28 2021-01-21 株式会社ドワンゴ Content control system, content control method, and content control program
JP2021022157A (en) * 2019-07-26 2021-02-18 株式会社ベネッセコーポレーション Program, method for processing information, and information processor
JP2021063900A (en) * 2019-10-11 2021-04-22 大日本印刷株式会社 Information processing device, control method, and program

Also Published As

Publication number Publication date
JP6419924B1 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
Bashori et al. Web-based language learning and speaking anxiety
JP6419924B1 (en) Learning support system and learning support method
Poupore Measuring group work dynamics and its relation with L2 learners’ task motivation and language production
Trinh et al. Robocop: A robotic coach for oral presentations
Liew et al. Does speaker’s voice enthusiasm affect social cue, cognitive load and transfer in multimedia learning?
KR20160077200A (en) Computing technologies for diagnosis and therapy of language-related disorders
Garcia-Garcia et al. Multimodal affective computing to enhance the user experience of educational software applications
Aylett et al. Speech synthesis for the generation of artificial personality
Campoy-Cubillo et al. Assessing multimodal listening
Hoque et al. Rich nonverbal sensing technology for automated social skills training
Hu et al. Storytelling agents with personality and adaptivity
Zhai et al. A systematic review on cross-culture, humor and empathy dimensions in conversational chatbots: the case of second language acquisition
Brunkan Relationships of a circular singer arm gesture to acoustical and perceptual measures of singing: A motion capture study
Simones A framework for studying teachers’ hand gestures in instrumental and vocal music contexts
Flood The secret multimodal life of IREs: Looking more closely at representational gestures in a familiar questioning sequence
Hardison et al. Multimodal second-language communication: Research findings and pedagogical implications
CN108564073A (en) A kind of classroom environment middle school student Emotion identification method and device
CN117541444B (en) Interactive virtual reality talent expression training method, device, equipment and medium
Kallioniemi et al. Berlin kompass: Multimodal gameful empowerment for foreign language learning
De Wit et al. The design and observed effects of robot-performed manual gestures: A systematic review
KR20220128897A (en) Speaking Test System and Method with AI Avatar
Levasseur Nonverbal communication in the applied voice studio
Doumanis Evaluating humanoid embodied conversational agents in mobile guide applications
JP2019078989A (en) Multilingual learning system and language ability measurement system
DeMara et al. Towards interactive training with an avatar-based human-computer interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171116

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181010

R150 Certificate of patent or registration of utility model

Ref document number: 6419924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350