JP2021018408A - Learning system, learning class providing method and program - Google Patents

Learning system, learning class providing method and program Download PDF

Info

Publication number
JP2021018408A
JP2021018408A JP2019190680A JP2019190680A JP2021018408A JP 2021018408 A JP2021018408 A JP 2021018408A JP 2019190680 A JP2019190680 A JP 2019190680A JP 2019190680 A JP2019190680 A JP 2019190680A JP 2021018408 A JP2021018408 A JP 2021018408A
Authority
JP
Japan
Prior art keywords
student
lecture
concentration
result information
determination result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019190680A
Other languages
Japanese (ja)
Other versions
JP2021018408A5 (en
Inventor
山田　浩司
Koji Yamada
浩司 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foresight Co Ltd
Original Assignee
Foresight Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foresight Co Ltd filed Critical Foresight Co Ltd
Priority to JP2019190680A priority Critical patent/JP2021018408A/en
Publication of JP2021018408A publication Critical patent/JP2021018408A/en
Publication of JP2021018408A5 publication Critical patent/JP2021018408A5/ja
Priority to JP2023061908A priority patent/JP7492294B2/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To realize a learning system effective for enhancing student's academic ability.SOLUTION: A learning system for providing a class including video and speech comprises: a concentration determination section for determining whether or not a student is concentrating on the class on the basis of an image obtained to capture the student taking the class, and recording concentration determination result information based on a determined result; an understanding determination section for determining whether or not the student understands content of the class on the basis of the image and the concentration determination result information, and recording understanding determination result information based on a determined result; and a class control section for controlling the class on the basis of the concentration determination result information and the understanding determination result information.SELECTED DRAWING: Figure 1

Description

本発明は、計算機システムを利用して学習を支援する技術に関する。 The present invention relates to a technique for supporting learning by using a computer system.

特許文献１には、各学習者の受講する講義の内容及び難易度が最適化されており、自身の学習到達度に適合しない講義の受講を自動的に且つ可及的に排除する学習システムが開示されている。 Patent Document 1 provides a learning system in which the content and difficulty level of lectures taken by each learner are optimized, and the attendance of lectures that do not match their own learning achievement is automatically and as much as possible. It is disclosed.

特許文献１の学習システムは、難易度が異なる複数の講義を用意するとともに、各講義を複数の小講義に分割し、小講義毎に各学習者に対して小テストを課し、その各小テストの結果を参照して各学習者に受講させる講義の難易度が適切であるか否かを判定し、各学習者が受講する講義の最適化を自動的に行う。 The learning system of Patent Document 1 prepares a plurality of lectures having different difficulty levels, divides each lecture into a plurality of small lectures, imposes a quiz on each learner for each small lecture, and makes each small lecture. By referring to the test results, it is judged whether or not the difficulty level of the lecture to be taken by each learner is appropriate, and the lecture to be taken by each learner is automatically optimized.

また、特許文献２には、講義映像における任意の時間的範囲の内容について、受講者の理解度を評価する装置が開示されている。 Further, Patent Document 2 discloses a device for evaluating the degree of understanding of a student regarding the content of an arbitrary time range in a lecture video.

特許文献２の装置は、講義映像を視聴する受講者が撮影された受講者映像について、任意の時間的範囲に映された受講者の講義に対する反応を認識する受講者反応認識部と、認識された受講者の反応が肯定的または否定的である程度に基づいて、受講者の講義に対する理解度を推定する理解度推定部と、講義映像が受講者に提示される際に再生が制御された内容を表す再生制御情報を取得する再生制御情報取得部と、推定された理解度と、理解度が推定された受講者映像の時間的範囲と、再生制御情報とに基づいて、受講者の理解が理解度である講義映像の時間的範囲に関する情報を求める講義映像分析部と、を備える。 The device of Patent Document 2 is recognized as a student reaction recognition unit that recognizes the reaction of the student to the lecture projected in an arbitrary time range with respect to the student image taken by the student who watches the lecture video. The comprehension estimation unit that estimates the level of understanding of the student's lecture based on the positive or negative reaction of the student, and the content whose playback is controlled when the lecture video is presented to the student. Based on the playback control information acquisition unit that acquires the playback control information representing the above, the estimated comprehension level, the time range of the student video for which the comprehension level is estimated, and the playback control information, the student's understanding can be understood. It is equipped with a lecture video analysis department that requests information on the time range of lecture video, which is the degree of understanding.

特開２０１６−２０９７４号公報Japanese Unexamined Patent Publication No. 2016-20974 特開２０１８−１５５８２５号公報JP-A-2018-155825

特許文献１の学習システムは、小テストの結果を基に講義の難易度を最適化する。しかしながら、学習者の学力を向上させるためには講義の難易度を調整するだけでは十分ではない。例えば、学習者が講義に集中していなければ、適切な難易度の講義も十分に効果を発揮しない。ことが考えられる。 The learning system of Patent Document 1 optimizes the difficulty level of the lecture based on the result of the quiz. However, adjusting the difficulty of the lecture is not enough to improve the learner's academic ability. For example, if the learner is not focused on the lecture, a lecture of appropriate difficulty will not be effective enough. Is possible.

特許文献２の装置は、受講者の反応から理解度を推定する。この推定した理解度は、受講者の理解度向上および講義映像の品質改善のために利用できると述べられている。しかしながら、推定した理解度をどのように利用して受講者の理解度向上および講義映像の品質改善を実現するのか述べられていない。 The device of Patent Document 2 estimates the degree of understanding from the reaction of the student. It is stated that this estimated comprehension can be used to improve the comprehension of the students and improve the quality of the lecture video. However, it is not stated how to use the estimated comprehension level to improve the comprehension level of the students and the quality of the lecture video.

本開示のひとつの目的は、受講者の学力向上に効果的な学習システムを実現する技術を提供することである。 One purpose of the present disclosure is to provide a technique for realizing an effective learning system for improving the academic ability of students.

本発明のひとつの実施態様に従う学習システムは、映像と音声を含む講義を提供する学習システムであって、前記講義を受講する受講者を撮影するするために取得された画像に基づいて、前記受講者が前記講義に集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する集中判定部と、前記画像と前記集中判定結果情報とに基づいて、前記受講者が前記講義の内容を理解しているか否かに関する判定を行い、該判定の結果に基づく理解判定結果情報を記録する理解判定部と、前記集中判定結果情報および前記理解判定結果情報に基づいて前記講義を制御する講義制御部と、を有する。 A learning system according to one embodiment of the present invention is a learning system that provides a lecture including video and audio, and is based on an image acquired for photographing a student who takes the lecture. Based on the centralized judgment unit that makes a judgment as to whether or not the person is concentrating on the lecture and records the concentrated judgment result information based on the judgment result, and the image and the concentrated judgment result information, the student Determines whether or not the lecture is understood, and records the understanding determination result information based on the result of the determination, and the centralized determination result information and the understanding determination result information. It has a lecture control unit that controls lectures.

本発明によれば、講義を受ける受講者が集中しているか否かと講義を理解しているか否かという２つの状態情報に基づいて講義を制御するので、受講者の学力向上に効果的な講義を提供することができる。 According to the present invention, since the lecture is controlled based on two state information, whether or not the students who take the lecture are concentrated and whether or not the lecture is understood, the lecture is effective for improving the academic ability of the students. Can be provided.

学習システムの機能構成を示すブロック図である。It is a block diagram which shows the functional structure of a learning system. 学習システムのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of a learning system. 集中判定処理のフローチャートである。It is a flowchart of centralized judgment processing. 講義制御処理のフローチャートである。It is a flowchart of a lecture control process. 補習処理のフローチャートである。It is a flowchart of a supplementary lesson process. 集中促進処理のフローチャートである。It is a flowchart of concentration promotion processing. 補強行動検出処理のフローチャートである。It is a flowchart of the reinforcement action detection process. 補強行動促進処理のフローチャトである。It is a flow chat of reinforcement action promotion processing. 集中継続時間調整処理のフローチャートである。It is a flowchart of the centralized duration adjustment process. 集中継続時間計測処理のフローチャートである。It is a flowchart of the centralized duration measurement process.

以下、本発明の実施形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本実施形態の学習システムは、講師を模した姿を有する仮想的な人物（以下「アバター講師」ともいう）により、受講者に、映像および音声で構成された講義コンテンツを提供する計算機システムである。学習すべき内容を複数の単位に分割し、各単位に対して講義コンテンツが準備されいてる。学習システムはカメラおよびマイクを備え、受講者の画像および音声から受講者の状態を取得することができる。学習システムは、受講者の状態に応じて、提供する講義コンテンツを選択し、また講義コンテンツの提供を制御することにより、受講者の効果的な学習を支援する。また、学習システムは、講義コンテンツの合間および講義コンテンツの途中でアバター講師から受講者に呼びかけ、また受講者の反応を検知することにより、アバター講師と受講者とのインタラクティブな疑似的対話を実現する。 The learning system of this embodiment is a computer system that provides lecture contents composed of video and audio to students by a virtual person (hereinafter, also referred to as "avatar instructor") who imitates an instructor. .. The content to be learned is divided into multiple units, and lecture content is prepared for each unit. The learning system is equipped with a camera and a microphone, and can acquire the student's status from the student's image and sound. The learning system supports the effective learning of the student by selecting the lecture content to be provided according to the state of the student and controlling the provision of the lecture content. In addition, the learning system realizes an interactive pseudo-dialogue between the avatar instructor and the student by calling the student from the avatar instructor in between the lecture contents and in the middle of the lecture content and detecting the reaction of the student. ..

図１は、学習システムの機能構成を示すブロック図である。図２は、学習システムのハードウェア構成を示すブロック図である。 FIG. 1 is a block diagram showing a functional configuration of a learning system. FIG. 2 is a block diagram showing a hardware configuration of the learning system.

図１を参照すると、学習システム１０は、集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、集中継続時間調整部１６、および記憶部１７を有している。記憶部１７には、サービスを実行するのに必要な予め準備されたデータが記録されている。集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、および集中継続時間調整部１６は、それぞれが実行する処理がソフトウェアプログラムにより規定され、プロセッサがそのソフトウェアプログラムを実行することにより実現される。 With reference to FIG. 1, the learning system 10 includes a concentration determination unit 11, an understanding determination unit 12, a lecture control unit 13, a reinforcement behavior detection unit 14, a reinforcement behavior promotion unit 15, a concentration duration adjustment unit 16, and a storage unit 17. Have. The storage unit 17 records the data prepared in advance necessary for executing the service. In the centralized judgment unit 11, the understanding judgment unit 12, the lecture control unit 13, the reinforcing action detecting unit 14, the reinforcing action promoting unit 15, and the concentrated duration adjusting unit 16, the processing to be executed by each is defined by the software program, and the processor is used. It is realized by executing the software program.

図２を参照すると、学習システム１０は、サーバ２０と、インターネット等の通信ネットワーク経由でサーバ２０に接続可能なパーソナルコンピュータやスマートホン等の情報端末とで構成されている。受講者９０は、情報端末３０上のブラウザ３３を用いてサーバ２０に接続し、サーバ２０から提供されるサービスを利用する。サービスは、学習コンテンツを提供するサービスである。サービスは図１に示した各部により実現される。 Referring to FIG. 2, the learning system 10 is composed of a server 20 and an information terminal such as a personal computer or a smart phone that can be connected to the server 20 via a communication network such as the Internet. The student 90 connects to the server 20 by using the browser 33 on the information terminal 30, and uses the service provided by the server 20. The service is a service that provides learning content. The service is realized by each part shown in FIG.

図２に示すように、サーバ２０は、ハードウェアとして、処理装置２１、メインメモリ２２、記憶装置２３、通信装置２４、入力装置２５、および表示装置２６を有し、それらがバス２７に接続されている。 As shown in FIG. 2, the server 20 has a processing device 21, a main memory 22, a storage device 23, a communication device 24, an input device 25, and a display device 26 as hardware, and these are connected to the bus 27. ing.

記憶装置２３は、書込みおよび読み出しが可能にデータを記憶するものである。図１に示した記憶部１７はこの記憶装置２３によって実現される。処理装置２１は、記憶装置２３に記憶されたデータをメインメモリ２２に読み出し、メインメモリ２２を利用してソフトウェアプログラムの処理を実行するプロセッサである。処理装置２１によって、図１に示した集中判定部１１、理解判定部１２、講義制御部１３、補強行動検出部１４、補強行動促進部１５、および集中継続時間調整部１６が実現される。 The storage device 23 stores data so that it can be written and read. The storage unit 17 shown in FIG. 1 is realized by the storage device 23. The processing device 21 is a processor that reads the data stored in the storage device 23 into the main memory 22 and executes the processing of the software program using the main memory 22. The processing device 21 realizes the concentration determination unit 11, the understanding determination unit 12, the lecture control unit 13, the reinforcement action detection unit 14, the reinforcement action promotion unit 15, and the concentration duration adjustment unit 16 shown in FIG.

通信装置２４は、処理装置２１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワークを介して送信し、また通信ネットワークを介して受信した情報を処理装置２１に伝達する。受信した情報は処理装置２１にてソフトウェアの処理に利用される。 The communication device 24 transmits the information processed by the processing device 21 via a communication network including wired, wireless, or both, and transmits the information received via the communication network to the processing device 21. The received information is used for software processing by the processing device 21.

入力装置２５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報は処理装置２１にてソフトウェア処理に利用される。表示装置２６は、処理装置２１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。入力装置２５および表示装置２６は、主には、受講者９０ではなく管理者（不図示）が利用するために設けられている。 The input device 25 is a device that receives information input by an operator such as a keyboard or a mouse, and the input information is used for software processing by the processing device 21. The display device 26 is a device that displays image or text information on a display screen as a result of software processing by the processing device 21. The input device 25 and the display device 26 are mainly provided for use by an administrator (not shown) instead of the student 90.

図１に戻り、記憶部１７は、講義コンテンツを予め記憶している。本実施形態では、学習すべき内容の単位毎に、標準的な講義（以下「標準講義」ともいう）を収めた標準講義コンテンツと、標準講義を補うための講義（以下「補習講義」ともいう）を収めた補習講義コンテンツとが準備されている。 Returning to FIG. 1, the storage unit 17 stores the lecture content in advance. In this embodiment, standard lecture contents containing standard lectures (hereinafter, also referred to as "standard lectures") and lectures for supplementing standard lectures (hereinafter, also referred to as "supplementary lectures") are provided for each unit of content to be learned. ) Is prepared as supplementary lecture content.

集中判定部１１は、講義を受講する受講者９０が講義に集中しているか否かに関する判定を行い、その判定の結果に基づく集中判定結果情報を記録する。 The concentration determination unit 11 determines whether or not the student 90 who takes the lecture is concentrating on the lecture, and records the concentration determination result information based on the result of the determination.

理解判定部１２は、受講者９０が講義の内容を理解しているか否かに関する判定を行い、その判定の結果に基づく理解判定結果情報を記録する。 The understanding determination unit 12 determines whether or not the student 90 understands the content of the lecture, and records the understanding determination result information based on the result of the determination.

講義制御部１３は、集中判定結果情報および理解判定結果情報に基づいて講義を制御する。こののように、講義を受ける受講者９０が集中しているか否かと講義を理解しているか否かという２つの状態情報に基づいて講義を制御するので、受講者９０の学力向上に効果的な講義を提供することができる。 The lecture control unit 13 controls the lecture based on the centralized determination result information and the understanding determination result information. In this way, since the lecture is controlled based on the two state information of whether or not the students 90 who take the lecture are concentrated and whether or not they understand the lecture, it is effective for improving the academic ability of the students 90. Lectures can be provided.

より具体的な処理について説明する。図２に示すように、情報端末３０にはカメラ３１が備えられている。情報端末３０は、講義を受けている受講者９０の画像をカメラ３１で撮影し、画像データをサーバ２０に送信する。サーバ２０で画像データを用いた処理が行われる。 A more specific process will be described. As shown in FIG. 2, the information terminal 30 is provided with a camera 31. The information terminal 30 takes an image of the student 90 who is taking the lecture with the camera 31, and transmits the image data to the server 20. Processing using the image data is performed on the server 20.

当初には講義制御部１３は標準講義コンテンツを受講者９０に提供している。その際、集中判定部１１は、カメラ３１で撮影された画像に基づいて受講者９０が集中しているか否か判定する。また、理解判定部１２は、カメラ３１で撮影された画像に基づいて受講者９０が講義を理解しているか否か判定する。講義制御部１３は、受講者９０が集中していないとき受講者９０に集中を促すための集中促進処理を実行し、受講者９０が集中しておりかつ講義を理解していないとき講義を補うための補習処理を実行する。補習処理は、講義の内容を補う補習講義を受講者９０に提供するための処理である。講義制御部１３は、一例として、補習講義コンテンツを受講者９０に提供する。このように、受講者９０が集中していないときには集中を促し、受講者９０が集中していながら講義を理解できていないときには講義を補うので、受講者９０の講義の理解を効果的に向上させることができる。 Initially, the lecture control unit 13 provides standard lecture content to the students 90. At that time, the concentration determination unit 11 determines whether or not the students 90 are concentrated based on the image taken by the camera 31. Further, the understanding determination unit 12 determines whether or not the student 90 understands the lecture based on the image taken by the camera 31. The lecture control unit 13 executes a concentration promotion process for encouraging the student 90 to concentrate when the student 90 is not concentrated, and supplements the lecture when the student 90 is concentrated and does not understand the lecture. Perform the supplementary process for The supplementary lesson process is a process for providing the student 90 with a supplementary lesson lecture that supplements the content of the lecture. As an example, the lecture control unit 13 provides the supplementary lecture content to the student 90. In this way, when the student 90 is not concentrated, the concentration is promoted, and when the student 90 is concentrated but the lecture cannot be understood, the lecture is supplemented, so that the understanding of the lecture of the student 90 is effectively improved. be able to.

なお、補習講義は、例えば、標準講義の内容を詳しく説明した講義、標準講義の内容を異なる方法で説明した講義、などであってよい。また、標準講義と同じものを再び提供することを補習講義としてもよい。 The supplementary lecture may be, for example, a lecture in which the contents of the standard lecture are explained in detail, a lecture in which the contents of the standard lecture are explained in different ways, or the like. In addition, providing the same lecture as the standard lecture again may be used as a supplementary lecture.

図１に戻り、補強行動検出部１４は、補強行動検出処理として、受講者９０に講義が提供されているとき、受講者９０が所定の補強行動を行っていることを検出する。ここでいう補強行動は、講義を受けながら行うことで、例えば知識が記憶に残りやすくなるといったように、学習の補強となる行動である。補強行動の具体例として、頷く、声出し、筆記（ノートを取る）といった行動がある。補強行動検出処理の詳細は後述する。 Returning to FIG. 1, the reinforcement action detection unit 14 detects that the student 90 is performing a predetermined reinforcement action when the lecture is provided to the student 90 as the reinforcement action detection process. The reinforcing action referred to here is an action that reinforces learning by performing it while taking a lecture, for example, it becomes easier for knowledge to remain in memory. Specific examples of reinforcement actions include nodding, speaking out, and writing (taking notes). The details of the reinforcement behavior detection process will be described later.

補強行動促進部１５は、補強行動促進処理として、受講者９０が集中しており、かつ、補強行動を行っていないとき、補強行動を推奨する音声、画像、またはテキストの１つ以上を受講者９０に提供し、受講者９０が集中しており、かつ、補強行動を行っているとき、補強行動を行っていることを賞賛する音声、画像、またはテキストの１つ以上を提供する。このようにすることで、受講者９０の行動の状況に応じて所定の補強行動を行うことを受講者９０に促すことができる。補強行動促進処理の詳細については後述する。 The reinforcement action promotion unit 15 receives one or more voices, images, or texts recommending the reinforcement action when the students 90 are concentrated and the reinforcement action is not performed as the reinforcement action promotion process. Provide to 90 and provide one or more audio, images, or texts praising the reinforcement action when the student 90 is concentrated and performing the reinforcement action. By doing so, it is possible to encourage the student 90 to take a predetermined reinforcing action according to the behavioral situation of the student 90. The details of the reinforcement action promotion process will be described later.

より具体的な処理について説明する。図２に示すように、情報端末３０にはカメラ３１とマイク３２が備えられている。 A more specific process will be described. As shown in FIG. 2, the information terminal 30 is provided with a camera 31 and a microphone 32.

補強行動促進部１５は、カメラ３１で撮影された画像に基づいて、受講者９０が頷きを行っていることと、受講者９０が筆記を行っていることを検出し、マイク３２で取得された音声に基づいて、受講者９０が声出しをしていることを検出し、それらの検出結果に基づいて補強行動を行っていることを検出する。例えば、頷き、筆記、声出しという３つの行動のうち、いずれか１つでも実行していれば補強行動を行っているとしてもよい。あるいは、３つの行動のうち２つ以上を実行しているとき、補強行動を行っているとしてもよい。 The reinforcement action promotion unit 15 detects that the student 90 is nodding and that the student 90 is writing based on the image taken by the camera 31, and is acquired by the microphone 32. It is detected that the student 90 is speaking out based on the voice, and that the student 90 is performing the reinforcing action based on the detection result. For example, if any one of the three actions of nodding, writing, and speaking out is performed, the reinforcing action may be performed. Alternatively, when performing two or more of the three actions, the reinforcement action may be performed.

図１に戻り、集中継続時間調整部１６は、集中継続時間調整処理として、受講者９０が集中を継続している集中継続時間を計測し、集中継続時間が所定の閾値を超えたら受講者９０に休息を促し、計測した集中継続時間の情報を記録しておき、過去の集中継続時間に基づいて、上記閾値を更新する。このように、受講者９０に適宜休憩を促すとともに、閾値の更新により受講者９０が集中を持続できる時間を改善することができる。例えば徐々に集中を持続できる時間が長くなるように導くことができる。集中継続時間調整処理の詳細は後述する。 Returning to FIG. 1, the concentration duration adjustment unit 16 measures the concentration duration during which the student 90 continues to concentrate as the concentration duration adjustment process, and when the concentration duration exceeds a predetermined threshold value, the student 90 The rest is urged, the measured concentration duration information is recorded, and the above threshold value is updated based on the past concentration duration. In this way, the student 90 can be urged to take a break as appropriate, and the time during which the student 90 can maintain concentration can be improved by updating the threshold value. For example, it can lead to a longer duration of concentration. The details of the centralized duration adjustment process will be described later.

以下の学習システムが実行する処理をより詳細に説明する。 The processing executed by the following learning system will be described in more detail.

図３は、集中判定処理のフローチャートである。集中判定処理は、受講者９０が集中しているか否か判定する処理であり、集中判定部１１により実行される。 FIG. 3 is a flowchart of the centralized determination process. The concentration determination process is a process for determining whether or not the students 90 are concentrated, and is executed by the concentration determination unit 11.

集中判定部１１にはカメラ３１で撮影された画像データが入力される。集中判定部１１は、ステップ１０１にて、画像データに基づき受講者９０が情報端末３０の前に居るか否か判定する。例えば画像データから人物が検出されたら、受講者９０が情報端末３０の前に居ると反転する。受講者９０が情報端末３０の前に居なければ、集中判定部１１は、ステップ１０２にて不在という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。集中フラグは、受講者９０が集中していることを１で示し、受講者９０が集中していないことを０で示すフラグである。 Image data taken by the camera 31 is input to the concentration determination unit 11. In step 101, the centralized determination unit 11 determines whether or not the student 90 is in front of the information terminal 30 based on the image data. For example, when a person is detected from the image data, it is reversed when the student 90 is in front of the information terminal 30. If the student 90 is not in front of the information terminal 30, the concentration determination unit 11 records the detailed information that the student is absent in step 102, and sets the concentration flag to 0 in step 110. The concentration flag is a flag indicating that the student 90 is concentrated and 0 indicating that the student 90 is not concentrated.

ステップ１０１にて、受講者９０が情報端末３０の前に居ると判定されたら、集中判定部１１は、ステップ１０３にて、受講者９０が所定の良好な体勢で講義を受けているか否か判定する。受講者９０が良好な体勢であるか否かは、一例として、画像データ内の人物の顔領域の位置および動きにより判定する。画像データの所定閾値範囲内に人物の顔の領域があり、その顔の領域が所定閾値以上の大きさであれば、受講者９０は良好な体勢であると判定する。顔領域の位置の閾値および顔領域の大きさの閾値は、受講者９０が情報端末３０の正面でやや前傾姿勢であり、かつふらついていない状態を判別可能な値として、予め受講者９０を撮影した平常時の画像から算出した適当な値を用いればよい。受講者９０が情報端末３０の画面の正面でかつ画面の近く安定していれば、受講者９０は良好な体勢で講義を受けていると推定できる。受講者９０が良好な体勢でないと判定されたら、集中判定部１１は、ステップ１０４にて不良体勢という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。 If it is determined in step 101 that the student 90 is in front of the information terminal 30, the centralized determination unit 11 determines in step 103 whether or not the student 90 is taking a lecture in a predetermined good posture. To do. Whether or not the student 90 is in a good posture is determined by, for example, the position and movement of the face region of the person in the image data. If there is a face area of the person within a predetermined threshold range of the image data and the face area has a size equal to or larger than the predetermined threshold value, the student 90 is determined to be in a good posture. The threshold value of the position of the face area and the threshold value of the size of the face area are set in advance so that the student 90 can determine the state in which the student 90 is in a slightly forward leaning posture in front of the information terminal 30 and is not wobbling. An appropriate value calculated from the captured normal image may be used. If the student 90 is stable in front of the screen of the information terminal 30 and near the screen, it can be estimated that the student 90 is taking a lecture in a good posture. If it is determined that the student 90 is not in a good posture, the concentration determination unit 11 records detailed information of the poor posture in step 104, and sets the concentration flag to 0 in step 110.

ステップ１０３にて、受講者９０が良好な体勢であると判定されたら、集中判定部１１は、ステップ１０５にて、受講者９０の眼が開いているか否か判定する。例えば、画像データから検出された人物の眼が開いていたら、受講者９０の眼が開いていると判定する。受講者９０がまばたきすることを考慮し、連続する画像データに基づいて人物が眼を開けているか否か判定するのが好ましい。例えば、受講者９０の眼が閉じている時間が閾値を超えないこと、および／または、受講者９０の眼が閉じている時間の割合が閾値を超えないことを判断に利用することができる。受講者９０の眼が閉じていたら、集中判定部１１は、ステップ１０６にて居眠りという詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。 If it is determined in step 103 that the student 90 is in a good posture, the concentration determination unit 11 determines in step 105 whether or not the eyes of the student 90 are open. For example, if the eyes of the person detected from the image data are open, it is determined that the eyes of the student 90 are open. Considering that the student 90 blinks, it is preferable to determine whether or not the person has his / her eyes open based on the continuous image data. For example, it can be used for determination that the time when the eyes of the student 90 are closed does not exceed the threshold value and / or the ratio of the time when the eyes of the student 90 are closed does not exceed the threshold value. When the eyes of the student 90 are closed, the concentration determination unit 11 records the detailed information of falling asleep in step 106, and sets the concentration flag to 0 in step 110.

ステップ１０５にて、受講者９０の眼が開いていると判定されたら、集中判定部１１は、ステップ１０７にて、受講者９０が情報端末３０の画面を見ているか否か判定する。受講者９０の視線方向が画面方向の所定範囲内にあれば、受講者９０が情報端末３０の画面を見ていると判定する。受講者９０がまばたきをしたり、ノートを取ったりすることを考慮し、連続する画像データに基づいて人物が画面を見ているか否か判定するのが好ましい。例えば、受講者９０の視線方向が所定範囲内にある時間の割合が閾値以上であることを判断に利用することができる。受講者９０が情報端末３０の画面を見ていないと判定されたたら、集中判定部１１は、ステップ１０８にてよそ見という詳細情報を記録し、ステップ１１０にて集中フラグに０を設定する。 If it is determined in step 105 that the eyes of the student 90 are open, the centralized determination unit 11 determines in step 107 whether or not the student 90 is looking at the screen of the information terminal 30. If the line-of-sight direction of the student 90 is within a predetermined range in the screen direction, it is determined that the student 90 is looking at the screen of the information terminal 30. Considering that the student 90 blinks or takes notes, it is preferable to determine whether or not a person is looking at the screen based on continuous image data. For example, it can be used for determination that the ratio of the time when the line-of-sight direction of the student 90 is within the predetermined range is equal to or more than the threshold value. If it is determined that the student 90 is not looking at the screen of the information terminal 30, the concentration determination unit 11 records the detailed information of looking away in step 108, and sets the concentration flag to 0 in step 110.

ステップ１０７にて受講者９０が情報端末３０の画面を見ていると判定されたら、集中判定部１１は、ステップ１０９にて集中フラグに１を設定する。 If it is determined in step 107 that the student 90 is looking at the screen of the information terminal 30, the concentration determination unit 11 sets the concentration flag to 1 in step 109.

以上のように、集中判定部１１は、カメラ３１で撮影された画像に受講者９０が存在するか否か、画像おける受講者９０の顔領域の位置および大きさと、画像における受講者９０の眼が開いているか否かと、受講者９０の視線の方向とに基づいて、受講者９０が集中しているか否か判定する。これにより、受講者９０が適正な体勢で講義の画面を見ているとき集中していると判定することができる。 As described above, the concentration determination unit 11 determines whether or not the student 90 is present in the image taken by the camera 31, the position and size of the face area of the student 90 in the image, and the eyes of the student 90 in the image. It is determined whether or not the student 90 is concentrated based on whether or not is open and the direction of the line of sight of the student 90. As a result, it can be determined that the student 90 is concentrating when looking at the lecture screen in an appropriate posture.

図４は、講義制御処理のフローチャートである。講義制御処理は、受講者９０が集中しているか否かと講義を理解しているか否かとに基づいて、講義を制御する処理であり、講義制御部１３および理解判定部１２が実行する。理解判定部１２は、受講者９０が講義を理解しているか否かを判定する処理を実行する。 FIG. 4 is a flowchart of the lecture control process. The lecture control process is a process of controlling a lecture based on whether or not the students 90 are concentrated and whether or not they understand the lecture, and is executed by the lecture control unit 13 and the understanding determination unit 12. The understanding determination unit 12 executes a process of determining whether or not the student 90 understands the lecture.

理解判定部１２は、ステップ２０１にて、集中フラグが１であるか否か判定する。集中フラグが１でなければ、すなわち、受講者９０が集中していなければ、講義制御部１３は、ステップ２０２にて集中促進処理を実行する。集中促進処理は、受講者９０に集中を促すための処理である。集中促進処理の詳細は後述する。 In step 201, the understanding determination unit 12 determines whether or not the centralized flag is 1. If the concentration flag is not 1, that is, if the students 90 are not concentrated, the lecture control unit 13 executes the concentration promotion process in step 202. The concentration promotion process is a process for encouraging the student 90 to concentrate. Details of the concentration promotion process will be described later.

ステップ２０１にて集中フラグが１であれば、すなわち受講者９０が集中していれば、理解判定部１２は、ステップ２０３にて、受講者９０が講義を理解しているか否か判定する。このとき、理解判定部１２は、受講者９０を撮影した画像データに基づいて判定を行う。具体的には、画像データから受講者９０の眼と眉との間隔（以下「眼眉間隔」ともいう）を計測し、その眼眉間隔が所定の基準値を下回ったら、受講者９０は講義を理解していないと判定する。受講者９０が講義に集中していることを前提とし、眼と眉の間隔が狭まったら受講者９０が講義に集中しているにもかかわらず理解できないため、理解しようと努力している状態であると推定することができるからである。基準値は予め撮影した受講者９０の平常時の顔の画像から算出しておけばよい。 If the concentration flag is 1 in step 201, that is, if the students 90 are concentrated, the understanding determination unit 12 determines in step 203 whether or not the students 90 understand the lecture. At this time, the understanding determination unit 12 makes a determination based on the image data obtained by photographing the student 90. Specifically, the distance between the eyes and eyebrows of the student 90 (hereinafter, also referred to as “eyebrow distance”) is measured from the image data, and when the distance between the eyes and eyebrows falls below a predetermined reference value, the student 90 understands the lecture. Judge that it is not done. Assuming that the student 90 is concentrating on the lecture, if the distance between the eyes and the eyebrows is narrowed, the student 90 cannot understand even though he is concentrating on the lecture, so he is trying to understand. This is because it can be presumed to exist. The reference value may be calculated from the image of the face of the student 90 taken in advance in normal times.

受講者が講義を理解していないと判定されると、講義制御部１３は、ステップ２０４にて補習処理を実行する。補習処理は、受講者９０の学習内容の理解を促進するために標準講義を補う処理である。補習処理の詳細は後述する。 If it is determined that the student does not understand the lecture, the lecture control unit 13 executes the supplementary lesson process in step 204. The supplementary lesson process is a process of supplementing the standard lecture in order to promote the understanding of the learning contents of the student 90. The details of the supplementary processing will be described later.

なお、受講者９０が講義を理解しているか否かは、受講者９０の頭の中で起こっている事象なので、カメラ３１で撮影した受講者９０の画像等のような外からの観察によって判定することは通常であれば容易でない。例えば、特許文献２では、首を縦に振る、横に振る、笑顔、怪訝な表情などといった動作や表情などの反応に基づいて受講者の理解度を推定する。肯定的な動作や表情が検出されると理解度は高くなる。しかし、受講者が講義に集中しておらず頭の中で講義以外の考え事をしていれば、そのときの肯定的な動作や表情は受講者の講義の理解度を適切に表さないことがありうる。また、受講者にとって講義が易しすぎて集中できない状態であれば、受講者は講義を理解していても肯定的な動作や表情を表さないことがありうる。 Whether or not the student 90 understands the lecture is an event occurring in the student 90's head, so it is determined by observing from the outside such as an image of the student 90 taken by the camera 31. It is usually not easy to do. For example, in Patent Document 2, the degree of understanding of a student is estimated based on the reaction of movements and facial expressions such as shaking the head vertically, shaking horizontally, smiling, and suspicious facial expressions. Comprehension increases when positive movements and facial expressions are detected. However, if the student is not concentrating on the lecture and is thinking about something other than the lecture in his / her mind, the positive movements and facial expressions at that time do not properly represent the student's understanding of the lecture. There can be. In addition, if the lecture is too easy for the student to concentrate on, the student may not show positive movements or facial expressions even if he / she understands the lecture.

この点について、本実施形態では、受講者９０が集中しているときであれば、受講者９０が講義を理解しているか否かを画像データに基づいて判定できることに着目している。本実施形態では、ステップ２０１および２０３のように、理解判定部１２は、受講者９０が集中しているときに、受講者９０が講義を理解しているか否かを判定する。そして、講義制御部１３は、受講者９０が集中していないのであれば集中促進処理を実行し（ステップ２０２）、受講者９０が集中しているにもかかわらず講義を理解していないのであれば補習処理を実行する（ステップ２０４）。 Regarding this point, the present embodiment focuses on the fact that when the students 90 are concentrated, it is possible to determine whether or not the students 90 understand the lecture based on the image data. In the present embodiment, as in steps 201 and 203, the understanding determination unit 12 determines whether or not the student 90 understands the lecture when the student 90 is concentrated. Then, the lecture control unit 13 executes the concentration promotion process if the students 90 are not concentrated (step 202), and the lecture control unit 13 does not understand the lecture even though the students 90 are concentrated. For example, the supplementary process is executed (step 204).

図５は、補習処理のフローチャートである。 FIG. 5 is a flowchart of the supplementary lesson process.

講義制御部１３は、まずステップ３０１にて、受講者９０に補習講義の要否を問い掛ける。具体的には、アバター講師が受講者９０に対して言葉をかける。アバター講師は、例えば、「〜の講義が理解できていないかな。もう少し詳しく説明しようか？」と問いかける。 First, in step 301, the lecture control unit 13 asks the student 90 whether or not a supplementary lecture is necessary. Specifically, the avatar instructor speaks to the student 90. Avatar instructor asks, for example, "I don't understand the lecture of .... Can I explain it in a little more detail?"

そして、ステップ３０２にて、講義制御部１３は、受講者の回答が補習講義を受けるというものか、受けないというものか判定する。例えば、カメラ３１で撮影される受講者９０の画像と、マイク３２で取得される受講者９０の音声かとから、受講者９０の回答を判断することができる。例えば、受講者９０が頷きながら、「はい。お願いします。」と発声したら、受講者９０は補習講義を受けることを希望したと判定できる。一方、受講者９０が顔を横に振りながら、「いいえ。結構です。」と発声したら、受講者９０は保守講義を受けることを希望しないと判定できる。 Then, in step 302, the lecture control unit 13 determines whether the student's answer is to receive the supplementary lecture or not. For example, the answer of the student 90 can be determined from the image of the student 90 taken by the camera 31 and the voice of the student 90 acquired by the microphone 32. For example, if the student 90 nods and says "Yes, please.", It can be determined that the student 90 wants to take the supplementary lecture. On the other hand, if the student 90 shakes his face and says "No, it's fine", it can be determined that the student 90 does not want to take the maintenance lecture.

受講者９０が補習講義を受けると回答したら、講義制御部１３は、ステップ３０３にて、予め用意されていた補習講義を受講者９０に提供する。一例として、補習講義は、アバター講師が映像および音声を含み、標準講義よりも学習内容を詳しく解説する講義である。 When the student 90 replies that he / she will receive the supplementary lecture, the lecture control unit 13 provides the student 90 with the supplementary lecture prepared in advance in step 303. As an example, a supplementary lecture is a lecture in which an avatar instructor includes video and audio and explains the learning content in more detail than a standard lecture.

以上説明したように、講義制御部１３は、受講者９０が集中しておりかつ講義を理解していないと判定されると、受講者９０に補習講義の要否を問い掛け、受講者９０から要と回答されたら、補習講義を提供する。問いかけにより、講義が理解していないという推定を確認するとともに、補習講義を受けたいという受講者９０の意思があるときに補習講義を提供することができるので、補習講義を効果的に提供することができる。 As explained above, when it is determined that the students 90 are concentrated and do not understand the lecture, the lecture control unit 13 asks the students 90 whether or not the supplementary lecture is necessary, and the students 90 need it. If the answer is answered, a supplementary lecture will be provided. By asking questions, it is possible to confirm the presumption that the lecture is not understood and to provide the supplementary lecture when the student 90 wants to take the supplementary lecture, so the supplementary lecture should be provided effectively. Can be done.

図６は、集中促進処理のフローチャートである。 FIG. 6 is a flowchart of the concentration promotion process.

講義制御部１３は、まずステップ４０１にて、集中判定処理にて集中判定部１１が記録した、受講者９０が集中していないことに関する詳細情報を取得する。 First, in step 401, the lecture control unit 13 acquires detailed information regarding the fact that the student 90 is not concentrated, which was recorded by the centralized judgment unit 11 in the centralized judgment process.

次に、講義制御部１３は、ステップ４０２にて、詳細情報が不在を示しているか否か判定する。詳細情報が不在を示していれば、講義制御部１３は、ステップ４０３にて指導Ａを行う。指導Ａは、受講者９０がトイレ等何らかの理由で情報端末３０から離れた場合を想定した指導である。例えば、指導Ａにて、講義制御部１３は、アバター講師による講義を一時中断し、受講者９０が情報端末３０の前に戻ったら再開する。受講者９０が情報端末３０の前に戻ったことは、カメラ３１で撮影される画像データから検知することができる。講義を再開するとき、アバター講師は「続きも集中していきましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。 Next, in step 402, the lecture control unit 13 determines whether or not the detailed information indicates the absence. If the detailed information indicates the absence, the lecture control unit 13 gives instruction A in step 403. Guidance A is a guidance assuming that the student 90 leaves the information terminal 30 for some reason such as a toilet. For example, in guidance A, the lecture control unit 13 suspends the lecture by the avatar instructor and resumes it when the student 90 returns to the front of the information terminal 30. The fact that the student 90 has returned to the front of the information terminal 30 can be detected from the image data captured by the camera 31. When resuming the lecture, the avatar instructor will generate a concentrated arousal voice saying "Let's concentrate on the continuation." Here, it is decided to generate a concentrated arousal voice that encourages the student 90 to concentrate, but the present invention is not limited to this. One or more voices, images, or texts may be provided to encourage the student 90 to concentrate.

ステップ４０２にて詳細情報が不在を示していなければ、講義制御部１３は、ステップ４０４にて、詳細情報が居眠りを示しているか否か判定する。詳細情報が居眠りを示していれば、講義制御部１３は、ステップ４０５にて指導Ｂを行う。指導Ｂは、受講者９０が居眠りを始めた場合を想定した指導である。例えば、指導Ｂにて、講義制御部１３は、アバター講師による講義を一時中断し、アバター講師から「××（受講者９０の名前）さん、顔を洗ってらっしゃい。」という声かけを行い、受講者９０が情報端末３０から離れた後に情報端末３０の前に戻ったら、アバター講師による講義を再開する。講義を再開するとき、アバター講師は「続きも集中していきましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。 If the detailed information does not indicate the absence in step 402, the lecture control unit 13 determines in step 404 whether or not the detailed information indicates doze. If the detailed information indicates doze, the lecture control unit 13 gives instruction B in step 405. Guidance B is a guidance assuming that the student 90 starts to fall asleep. For example, in instruction B, the lecture control unit 13 temporarily suspends the lecture by the avatar instructor, and the avatar instructor calls out, "Mr. XX (name of the student 90), please wash your face." When the student 90 returns to the front of the information terminal 30 after leaving the information terminal 30, the lecture by the avatar instructor is resumed. When resuming the lecture, the avatar instructor will generate a concentrated arousal voice saying "Let's concentrate on the continuation." Here, it is decided to generate a concentrated arousal voice that encourages the student 90 to concentrate, but the present invention is not limited to this. One or more voices, images, or texts may be provided to encourage the student 90 to concentrate.

ステップ４０４にて詳細情報が居眠りを示していなければ、講義制御部１３は、ステップ４０６にて、詳細情報がよそ見を示しているか否か判定する。詳細情報がよそ見を示していれば、講義制御部１３は、ステップ４０７にて指導Ｃを行う。指導Ｃは、受講者９０が講義を聞いてはいるものの集中力が低下している場合を想定した指導である。例えば、指導Ｃにて、講義制御部１３は、アバター講師から「××（受講者９０の名前）さん、講義をちゃんと聞きましょう。」という集中喚起音声を発生する。なお、ここでは、受講者９０に集中を促す集中喚起音声を発生することとしたが、これに限定されることはない。受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供することにしてもよい。 If the detailed information does not indicate a doze in step 404, the lecture control unit 13 determines in step 406 whether or not the detailed information indicates a look away. If the detailed information shows a different look, the lecture control unit 13 gives instruction C in step 407. Guidance C is a guidance assuming that the student 90 is listening to the lecture but his concentration is low. For example, in instruction C, the lecture control unit 13 generates a concentrated arousal voice from the avatar instructor saying "Mr. XX (name of student 90), let's listen to the lecture properly." Here, it is decided to generate a concentrated arousal voice that encourages the student 90 to concentrate, but the present invention is not limited to this. One or more voices, images, or texts may be provided to encourage the student 90 to concentrate.

ステップ４０６にて詳細情報がよそ見を示していなければ、講義制御部１３は、ステップ４０８にて、詳細情報が不良体勢を示しているか否か判定する。詳細情報が不良体勢を示していれば、講義制御部１３は、ステップ４０７にて上記指導Ｃを行う。 If the detailed information does not indicate a look away in step 406, the lecture control unit 13 determines in step 408 whether or not the detailed information indicates a poor posture. If the detailed information indicates a poor posture, the lecture control unit 13 gives the above guidance C in step 407.

以上説明したように、講義制御部１３は、受講者９０が情報端末３０の前に居ないとき、集中促進処理として、講義を中断し、受講者９０が情報端末３０の前に戻ったら講義を再開し、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。また、講義制御部１３は、受講者９０の眼が開いていないとき、集中促進処理として、集中できる状態になるための行動を受講者９０に促す音声、画像、またはテキストの１つ以上を提供して受講者９０が情報端末３０の前に居なくなったら講義を中断し、受講者９０が情報端末３０の前に戻ったら講義を再開し、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。また、講義制御部１３は、受講者９０の視線方向が情報端末３０の画面に向いていないとき、または、受講者９０が良好体勢でないとき、受講者９０に集中を促す音声、画像、またはテキストの１つ以上を提供する。したがって、様々な理由で集中できていない受講者９０にその理由に応じた方法で集中を促すことができる。 As described above, the lecture control unit 13 interrupts the lecture as a concentration promotion process when the student 90 is not in front of the information terminal 30, and gives a lecture when the student 90 returns to the information terminal 30. Resume and provide one or more voices, images, or texts that encourage student 90 to focus. In addition, the lecture control unit 13 provides one or more voices, images, or texts that prompt the student 90 to take an action to be able to concentrate as a concentration promotion process when the eyes of the student 90 are not open. Then, when the student 90 is no longer in front of the information terminal 30, the lecture is interrupted, and when the student 90 returns to the information terminal 30, the lecture is resumed, and the voice, image, or text that encourages the student 90 to concentrate. Provide one or more of. Further, when the line-of-sight direction of the student 90 is not directed to the screen of the information terminal 30, or when the student 90 is not in a good position, the lecture control unit 13 prompts the student 90 to concentrate on voice, image, or text. Provide one or more of. Therefore, it is possible to encourage the students 90 who have not been able to concentrate for various reasons to concentrate in a manner corresponding to the reasons.

図７は、補強行動検出処理のフローチャートである。 FIG. 7 is a flowchart of the reinforcement action detection process.

補強行動検出部１４は、まずステップ５０１にて、カメラ３１で受講者９０を撮影した画像データから受講者９０の頷きを計測する。例えば、時系列の画像データにおける人物の顔領域の位置が上下することを頷き行動と判定することにしてもよい。講義中に一定時間毎に所定回以上の頷き行動が検知されたら、受講者９０は講義を受けながら頷きを行っていると判断することにしてもよい。 First, in step 501, the reinforcement behavior detection unit 14 measures the nod of the student 90 from the image data obtained by photographing the student 90 with the camera 31. For example, moving the position of the face area of a person in time-series image data up and down may be determined as a nodding action. If nodding behavior is detected more than a predetermined number of times at regular intervals during the lecture, it may be determined that the student 90 is nodding while taking the lecture.

次に、補強行動検出部１４は、ステップ５０２にて、マイク３２で取得された音声から、受講者９０の声出しを計測する。例えば、「よし」、「やるぞ」、「わかった」、「なるほど」など所定の言葉を発したことを声出し行動と判定することにしてもよい。講義中の一定時間毎に所定回以上の声出し行動が検知されたら、受講者９０が講義を受けながら声出しを行っていると判断することにしてもよい。 Next, in step 502, the reinforcement behavior detection unit 14 measures the voice of the student 90 from the voice acquired by the microphone 32. For example, uttering a predetermined word such as "OK", "I'll do it", "I understand", or "I see" may be determined as a vocal action. If a predetermined number of vocalization behaviors are detected at regular intervals during the lecture, it may be determined that the student 90 is speaking while receiving the lecture.

次に、補強行動検出部１４は、ステップ５０３にて、画像データから受講者９０の筆記を計測する。例えば、時系列の画像データにおいて人物が下を向いてペンを持った手を動かしたことを筆記行動と判定することにしてもよい。講義中の一定時間毎に筆記行動を行っている時間が一定時間を超えたら、受講者９０が講義を受けながら筆記を行っていると判断することにしてもよい。 Next, in step 503, the reinforcement behavior detection unit 14 measures the writing of the student 90 from the image data. For example, in the time-series image data, it may be determined that a person moves his / her hand holding the pen downward as a writing action. If the time during which the writing action is performed at regular intervals during the lecture exceeds a certain time, it may be determined that the student 90 is writing while receiving the lecture.

次に、補強行動検出部１４は、ステップ５０４にて、受講者９０が頷きと声出しと筆記のうち２つ以上を実行しているか否か判定する。受講者９０が２つ以上を実行していれば、補強行動検出部１４は、ステップ５５にて、補強行動フラグに１を設定する。一方、受講者９０が２つ以上を実行していなければ、補強行動検出部１４は、ステップ５０６にて、補強行動フラグに０を設定する。補強行動フラグは、受講者９０が十分な補強行動を行っているか否かを示すフラグである。補強行動フラグ＝１は受講者９０が十分な補強行動を行っていることを意味し、補強行動フラグ＝０は受講者９０が十分な補強行動を行っていないことを意味する。 Next, in step 504, the reinforcement behavior detection unit 14 determines whether or not the student 90 is performing two or more of nodding, speaking, and writing. If the student 90 is executing two or more, the reinforcement action detection unit 14 sets the reinforcement action flag to 1 in step 55. On the other hand, if the student 90 has not executed two or more, the reinforcement action detection unit 14 sets the reinforcement action flag to 0 in step 506. The reinforcement action flag is a flag indicating whether or not the student 90 is performing sufficient reinforcement action. Reinforcement action flag = 1 means that the student 90 is performing sufficient reinforcement action, and reinforcement action flag = 0 means that the student 90 is not performing sufficient reinforcement action.

図８は、補強行動促進処理のフローチャトである。 FIG. 8 is a flow chart of the reinforcement action promotion process.

補強行動促進部１５は、ステップ６０１にて、集中フラグが１であるか否か判定する。集中フラグが０であれば補強行動促進部１５は、そのまま処理を終了する。集中フラグが１であれば、すなわち、受講者９０が集中していれば、補強行動促進部１５は、ステップ６０２にて、補強行動フラグが１であるか否か判定する。補強行動フラグが１であれば、補強行動促進部１５は、受講者９０が補強行動を行っていることを賞賛するための処理を実行する。本実施形態では、アバター講師が受講者９０の補強行動を褒める声かけをする。 In step 601 the reinforcement action promotion unit 15 determines whether or not the concentration flag is 1. If the concentration flag is 0, the reinforcement action promotion unit 15 ends the process as it is. If the concentration flag is 1, that is, if the students 90 are concentrated, the reinforcement action promotion unit 15 determines in step 602 whether or not the reinforcement action flag is 1. If the reinforcement action flag is 1, the reinforcement action promotion unit 15 executes a process for praising the student 90 for performing the reinforcement action. In the present embodiment, the avatar instructor calls out to praise the reinforcement action of the student 90.

一方、ステップ６０２にて補強行動フラグが０であれば、すなわち受講者９０が集中していなければ、補強行動促進部１５は、ステップ６０４にて、受講者９０に補強行動を推奨するための処理を実行する。本実施形態では、アバター講師が受講者９０に補強行動を行うように促す声かけをする。 On the other hand, if the reinforcement action flag is 0 in step 602, that is, if the students 90 are not concentrated, the reinforcement action promotion unit 15 processes in step 604 to recommend the reinforcement action to the students 90. To execute. In the present embodiment, the avatar instructor calls out to the student 90 to take a reinforcing action.

図９は、集中継続時間調整処理のフローチャートである。 FIG. 9 is a flowchart of the centralized duration adjustment process.

集中継続時間調整部１６は、ステップ７０１にて、集中継続時間計測処理を実行する。集中継続時間計測処理は、受講者９０が集中を継続している時間を計測する処理である。集中継続時間計測処理の詳細は後述する。 In step 701, the concentration duration adjustment unit 16 executes the concentration duration measurement process. The concentration duration measurement process is a process of measuring the time during which the student 90 continues to concentrate. The details of the centralized duration measurement process will be described later.

次に、集中継続時間調整部１６は、集中継続時間が所定の集中継続時間閾値を超えているか否か判定する。集中継続時間閾値は、受講者９０の状態に応じて変動する閾値である。集中継続時間閾値の詳細は後述する。 Next, the concentration duration adjustment unit 16 determines whether or not the concentration duration exceeds a predetermined concentration duration threshold value. The concentration duration threshold is a threshold that fluctuates according to the state of the student 90. The details of the concentration duration threshold will be described later.

集中継続時間が集中継続時間閾値を超えていたら、集中継続時間調整部１６は、ステップ７０３にて、受講者９０に休憩を促す。集中継続時間が集中継続時間閾値を超えていなければ、集中継続時間調整部１６は、ステップ７０１に戻り集中継続時間の計測を続ける。 If the concentration duration exceeds the concentration duration threshold, the concentration duration adjustment unit 16 prompts the student 90 to take a break in step 703. If the concentration duration does not exceed the concentration duration threshold, the concentration duration adjustment unit 16 returns to step 701 and continues to measure the concentration duration.

図１０は、集中継続時間計測処理のフローチャートである。 FIG. 10 is a flowchart of the centralized duration measurement process.

集中継続時間調整部１６は、ステップ８０１にて、集中フラグが１であるか否か判定する。集中フラグが１であれば、すなわち受講者９０が集中していれば、集中継続時間調整部１６は、ステップ８０２にて、タイマをスタートし、集中継続時間の計測を開始する。更に、集中継続時間調整部１６は、ステップ８０３にて、集中フラグが１であるか否か判定する。集中フラグが１であれば、すなわち受講者９０がまだ集中していれば、集中継続時間調整部１６は、集中継続時間の計測を継続する。 In step 801 the concentration duration adjustment unit 16 determines whether or not the concentration flag is 1. If the concentration flag is 1, that is, if the students 90 are concentrated, the concentration duration adjustment unit 16 starts the timer in step 802 and starts measuring the concentration duration. Further, the concentration duration adjustment unit 16 determines in step 803 whether or not the concentration flag is 1. If the concentration flag is 1, that is, if the student 90 is still concentrated, the concentration duration adjustment unit 16 continues to measure the concentration duration.

ステップ８０３にて、集中フラグが０であれば、すなわち受講者９０の集中が途切れたら、集中継続時間調整部１６は、ステップ８０５にて集中継続時間の計測を終了する。更に、集中継続時間調整部１６は、ステップ８０６にて、ステップ８０５で最終的に計測された集中継続時間を履歴情報として記録する。更に、集中継続時間調整部１６は、ステップ８０７にて、集中継続時間の履歴情報に基づいて集中継続時間閾値を更新する。 If the concentration flag is 0 in step 803, that is, when the concentration of the student 90 is interrupted, the concentration duration adjustment unit 16 ends the measurement of the concentration duration in step 805. Further, the concentration duration adjustment unit 16 records the concentration duration finally measured in step 805 as history information in step 806. Further, the concentration duration adjustment unit 16 updates the concentration duration threshold value in step 807 based on the history information of the concentration duration.

集中継続時間調整部１６は、集中持続持続の履歴情報に基づいて閾値を徐々に大きくなるように更新する。 The concentration duration adjustment unit 16 updates the threshold value so as to gradually increase based on the history information of the concentration duration continuation.

あまりに長時間連続して集中して学習を続けると学習効率が低下する。したがって、学習をある程度の時間継続したら休憩を取るのが好ましい。集中して学習を行える時間は個人差があり、訓練により徐々に長くすることができる。集中継続時間閾値を徐々に大きく更新するのは、受講者９０に集中して学習を行える時間を徐々に長くする訓練のためである。集中継続時間閾値の更新方法の一例として、本実施形態では、前回計測された集中継続時間が集中継続時間閾値以上であれば、集中継続時間閾値に所定値を加算して更新し、前回の集中継続時間が集中継続時間閾値未満であれば、集中継続時間をそのままの値とする。 If you continue to concentrate and study for too long, the learning efficiency will decrease. Therefore, it is preferable to take a break after continuing learning for a certain period of time. There are individual differences in the amount of time that students can concentrate on learning, and it can be gradually lengthened by training. The reason why the concentration duration threshold value is gradually updated to a large value is for training that gradually lengthens the time during which the student 90 can concentrate on learning. As an example of the method of updating the concentration duration threshold value, in the present embodiment, if the concentration duration measured last time is equal to or greater than the concentration duration threshold value, a predetermined value is added to the concentration duration threshold value to update the concentration, and the previous concentration is performed. If the duration is less than the concentration duration threshold, the concentration duration is used as is.

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。 The embodiments of the present invention described above are examples for the purpose of explaining the present invention, and the scope of the present invention is not limited to those embodiments. One of ordinary skill in the art can practice the present invention in various other aspects without departing from the gist of the present invention.

なお、本実施形態において、講義の提供は、一例としてアバター講師による講義の映像を表示し音声を出力することであるが、これに限るものではない。例えば、講義に映像および音声だけでなくテキストの表示が含まれていてもよい。また、講義の提供が、現実の講師による講義を録画した講義コンテンツを再生するものであってもよい。また、講義の提供は、映像には講師が姿を現さずテキストだけが表示され、講師は音声だけで登場するものであってもよい。 In the present embodiment, the provision of the lecture is, for example, displaying the video of the lecture by the avatar instructor and outputting the sound, but the present invention is not limited to this. For example, the lecture may include the display of text as well as video and audio. In addition, the lecture may be provided by reproducing the lecture content obtained by recording the lecture by the actual lecturer. In addition, the lecture may be provided so that the instructor does not appear in the video and only the text is displayed, and the instructor appears only by audio.

また、本実施形態では、集中している受講者９０が講義を理解しているか否かの判定に眼眉間隔を利用したが、眼眉間隔は一例であり、これに限定されることはない。受講者９０が撮影された画像データから他の方法で講義を理解してるか否か判定することができる。講義を理解しているか否かを判定するのに、受講者９０が集中している状態を前提とするという上記着想から、例えば、講義が理解できないときには挙手するように予め受講者９０に指示しておき、画像データから受講者９０が挙手したことを検出したら、受講者９０が講義を理解していないと判断することにしてもよい。受講者９０が集中している状態を前提とすれば、講義を理解できないときに挙手することは容易に実行できる。 Further, in the present embodiment, the eye-brow spacing is used to determine whether or not the concentrated student 90 understands the lecture, but the eye-brow spacing is an example and is not limited to this. It is possible to determine whether or not the student 90 understands the lecture by another method from the captured image data. From the above idea that it is assumed that the students 90 are concentrated in determining whether or not they understand the lecture, for example, the students 90 are instructed in advance to raise their hands when they cannot understand the lecture. If it is detected from the image data that the student 90 has raised his hand, it may be determined that the student 90 does not understand the lecture. Assuming that the students 90 are concentrated, it is easy to raise their hands when they cannot understand the lecture.

１０…学習システム、１１…集中判定部、１２…理解判定部、１３…講義制御部、１４…補強行動検出部、１５…補強行動促進部、１６…集中継続時間調整部、１７…記憶部、２０…サーバ、２１…処理装置、２２…メインメモリ、２３…記憶装置、２４…通信装置、２５…入力装置、２６…表示装置、２７…バス、３０…情報端末、３１…カメラ、３２…マイク、３３…ブラウザ、９０…受講者 10 ... Learning system, 11 ... Concentration judgment unit, 12 ... Understanding judgment unit, 13 ... Lecture control unit, 14 ... Reinforcement behavior detection unit, 15 ... Reinforcement behavior promotion unit, 16 ... Concentration duration adjustment unit, 17 ... Memory unit, 20 ... server, 21 ... processing device, 22 ... main memory, 23 ... storage device, 24 ... communication device, 25 ... input device, 26 ... display device, 27 ... bus, 30 ... information terminal, 31 ... camera, 32 ... microphone , 33 ... Browser, 90 ... Students

Claims (4)

映像と音声を含む講義を提供する学習システムであって、
前記講義を受講する受講者を撮影するするために取得された画像に基づいて、前記受講者が前記講義に集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録する集中判定部と、
前記画像と前記集中判定結果情報とに基づいて、前記受講者が前記講義の内容を理解しているか否かに関する判定を行い、該判定の結果に基づく理解判定結果情報を記録する理解判定部と、
前記集中判定結果情報および前記理解判定結果情報に基づいて前記講義を制御する講義制御部と、
前記受講者が集中を継続している集中継続時間を計測し、前記集中継続時間が所定の閾値を超えたら前記受講者に休息を促し、前記集中継続時間の情報を記録し、過去の集中継続時間に基づいて前記閾値を更新する集中継続時間調整部と、
を有する学習システム。 A learning system that provides lectures that include video and audio.
Based on the image acquired to photograph the student taking the lecture, it is determined whether or not the student is concentrating on the lecture, and the concentration determination result information based on the result of the determination is obtained. Concentration judgment unit to record and
An understanding determination unit that determines whether or not the student understands the content of the lecture based on the image and the concentration determination result information, and records the understanding determination result information based on the determination result. ,
A lecture control unit that controls the lecture based on the centralized determination result information and the understanding determination result information.
The concentration duration during which the student continues to concentrate is measured, and when the concentration duration exceeds a predetermined threshold value, the student is urged to take a rest, information on the concentration duration is recorded, and past concentration continuation is performed. A centralized duration adjustment unit that updates the threshold value based on time,
Learning system with. 前記集中時間調整部は、前回の集中継続時間が前記閾値以上であれば前記閾値に所定値を加算し、前記前回の集中継続時間が前記閾値未満であれば前記閾値の値を維持する、
請求項１に記載の学習システム。 The concentration time adjusting unit adds a predetermined value to the threshold value if the previous concentration duration is equal to or greater than the threshold value, and maintains the value of the threshold value if the previous concentration duration is less than the threshold value.
The learning system according to claim 1. 映像と音声を含む講義を提供するための学習講義提供方法であって、
コンピュータが、
前記講義を受講する受講者を撮影するするために取得された画像に基づいて、前記受講者が前記講義に集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録し、
前記画像と前記集中判定結果情報とに基づいて、前記受講者が前記講義の内容を理解しているか否かに関する判定を行い、該判定の結果に基づく理解判定結果情報を記録し、
前記集中判定結果情報および前記理解判定結果情報に基づいて前記講義を制御し、
前記受講者が集中を継続している集中継続時間を計測し、前記集中継続時間が所定の閾値を超えたら前記受講者に休息を促し、前記集中継続時間の情報を記録し、過去の集中継続時間に基づいて前記閾値を更新する、
学習講義提供方法。 It is a learning lecture providing method for providing lectures including video and audio.
The computer
Based on the image acquired to photograph the student taking the lecture, it is determined whether or not the student is concentrating on the lecture, and the concentration determination result information based on the result of the determination is obtained. Record and
Based on the image and the concentration determination result information, it is determined whether or not the student understands the content of the lecture, and the understanding determination result information based on the determination result is recorded.
The lecture is controlled based on the centralized judgment result information and the understanding judgment result information.
The concentration duration during which the student continues to concentrate is measured, and when the concentration duration exceeds a predetermined threshold value, the student is urged to take a rest, information on the concentration duration is recorded, and past concentration continuation is performed. Update the threshold based on time,
How to provide learning lectures. 映像と音声を含む講義を提供するための学習講義提供プログラムであって、
前記講義を受講する受講者を撮影するするために取得された画像に基づいて、前記受講者が前記講義に集中しているか否かに関する判定を行い、該判定の結果に基づく集中判定結果情報を記録し、
前記画像と前記集中判定結果情報とに基づいて、前記受講者が前記講義の内容を理解しているか否かに関する判定を行い、該判定の結果に基づく理解判定結果情報を記録し、
前記集中判定結果情報および前記理解判定結果情報に基づいて前記講義を制御し、
前記受講者が集中を継続している集中継続時間を計測し、前記集中継続時間が所定の閾値を超えたら前記受講者に休息を促し、前記集中継続時間の情報を記録し、過去の集中継続時間に基づいて前記閾値を更新する、
ことをコンピュータに実行させるための学習講義提供プログラム。 It is a learning lecture providing program for providing lectures including video and audio.
Based on the image acquired to photograph the student taking the lecture, it is determined whether or not the student is concentrating on the lecture, and the concentration determination result information based on the result of the determination is obtained. Record and
Based on the image and the concentration determination result information, it is determined whether or not the student understands the content of the lecture, and the understanding determination result information based on the determination result is recorded.
The lecture is controlled based on the centralized judgment result information and the understanding judgment result information.
The concentration duration during which the student continues to concentrate is measured, and when the concentration duration exceeds a predetermined threshold value, the student is urged to take a rest, information on the concentration duration is recorded, and past concentration continuation is performed. Update the threshold based on time,
A program that provides learning lectures to let a computer do things.
JP2019190680A 2019-10-18 2019-10-18 Learning system, learning class providing method and program Pending JP2021018408A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019190680A JP2021018408A (en) 2019-10-18 2019-10-18 Learning system, learning class providing method and program
JP2023061908A JP7492294B2 (en) 2019-10-18 2023-04-06 Learning system, learning lecture delivery method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190680A JP2021018408A (en) 2019-10-18 2019-10-18 Learning system, learning class providing method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019133586A Division JP6636670B1 (en) 2019-07-19 2019-07-19 Learning system, learning lecture providing method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023061908A Division JP7492294B2 (en) 2019-10-18 2023-04-06 Learning system, learning lecture delivery method, and program

Publications (2)

Publication Number Publication Date
JP2021018408A true JP2021018408A (en) 2021-02-15
JP2021018408A5 JP2021018408A5 (en) 2021-07-26

Family

ID=74565997

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019190680A Pending JP2021018408A (en) 2019-10-18 2019-10-18 Learning system, learning class providing method and program
JP2023061908A Active JP7492294B2 (en) 2019-10-18 2023-04-06 Learning system, learning lecture delivery method, and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023061908A Active JP7492294B2 (en) 2019-10-18 2023-04-06 Learning system, learning lecture delivery method, and program

Country Status (1)

Country Link
JP (2) JP2021018408A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7458527B1 (en) 2023-03-17 2024-03-29 Ｌｉｎｅヤフー株式会社 Information processing device, information processing method, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7466251B1 (en) 2023-12-01 2024-04-12 株式会社フォーサイト Learning support system and learning support method
JP7473270B1 (en) 2023-12-01 2024-04-23 株式会社フォーサイト Learning support system and learning support method
JP7495699B1 (en) 2023-12-01 2024-06-05 株式会社フォーサイト Learning support system and learning support method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041887A (en) * 2004-07-27 2006-02-09 Sony Corp Information processing apparatus and method, recording medium, and program
JP2006277192A (en) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International Image display system
JP2011221524A (en) * 2010-03-26 2011-11-04 Sharp Corp Display device and control method thereof, television receiver, program, and recording medium
JP2013097311A (en) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd Learning support device, learning support method and learning support program
JP2014120137A (en) * 2012-12-19 2014-06-30 Samsung R&D Institute Japan Co Ltd Information processing apparatus, information processing method and computer program
JP2016111379A (en) * 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Display device, display system, display method, and program
WO2018097177A1 (en) * 2016-11-24 2018-05-31 株式会社ガイア・システム・ソリューション Engagement measurement system
WO2018168220A1 (en) * 2017-03-14 2018-09-20 日本電気株式会社 Learning material recommendation method, learning material recommendation device, and learning material recommendation program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007069B2 (en) 2002-05-29 2007-11-14 日本電気株式会社 Robot apparatus, control method and program for robot apparatus
JP2004301952A (en) 2003-03-28 2004-10-28 Fujitsu Ltd Method, device and program for managing internet lecture
JP2005338173A (en) 2004-05-24 2005-12-08 Advanced Telecommunication Research Institute International Foreign language reading comprehension learning support device
JP2012069096A (en) 2010-08-25 2012-04-05 Telework Management:Kk Information transmission system, information terminal and information transmission method
JP6915829B2 (en) 2016-09-09 2021-08-04 米澤　朋子 Familiar ambient agent systems and programs
JP6859640B2 (en) 2016-09-21 2021-04-14 富士ゼロックス株式会社 Information processing equipment, evaluation systems and programs
JP6819194B2 (en) 2016-10-05 2021-01-27 富士ゼロックス株式会社 Information processing systems, information processing equipment and programs
JP2018124483A (en) 2017-02-02 2018-08-09 日本電信電話株式会社 Learning support system, learning support device, and learning support method
JP6844288B2 (en) 2017-02-07 2021-03-17 凸版印刷株式会社 Learning support system, support server
CN108399376B (en) 2018-02-07 2020-11-06 华中师范大学 Intelligent analysis method and system for classroom learning interest of students
CN108491781B (en) 2018-03-16 2020-10-23 福州外语外贸学院 Classroom concentration degree evaluation method and terminal

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041887A (en) * 2004-07-27 2006-02-09 Sony Corp Information processing apparatus and method, recording medium, and program
JP2006277192A (en) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International Image display system
JP2011221524A (en) * 2010-03-26 2011-11-04 Sharp Corp Display device and control method thereof, television receiver, program, and recording medium
JP2013097311A (en) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd Learning support device, learning support method and learning support program
JP2014120137A (en) * 2012-12-19 2014-06-30 Samsung R&D Institute Japan Co Ltd Information processing apparatus, information processing method and computer program
JP2016111379A (en) * 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Display device, display system, display method, and program
WO2018097177A1 (en) * 2016-11-24 2018-05-31 株式会社ガイア・システム・ソリューション Engagement measurement system
WO2018168220A1 (en) * 2017-03-14 2018-09-20 日本電気株式会社 Learning material recommendation method, learning material recommendation device, and learning material recommendation program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7458527B1 (en) 2023-03-17 2024-03-29 Ｌｉｎｅヤフー株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2023089080A (en) 2023-06-27
JP7492294B2 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
JP2021018316A (en) Learning system, learning class providing method and program
JP7492294B2 (en) Learning system, learning lecture delivery method, and program
US11241789B2 (en) Data processing method for care-giving robot and apparatus
US11151997B2 (en) Dialog system, dialog method, dialog apparatus and program
US9691296B2 (en) Methods and apparatus for conversation coach
JP2013097311A (en) Learning support device, learning support method and learning support program
US20080124690A1 (en) Training system using an interactive prompt character
CN110091335B (en) Method, system, device and storage medium for controlling learning partner robot
US20210043106A1 (en) Technology based learning platform for persons having autism
US9802125B1 (en) On demand guided virtual companion
KR102011887B1 (en) Supervisory System of Online Lecture by Eye Tracking
US11157074B2 (en) Presenting assessment content to a user
US20170340256A1 (en) Requesting assistance based on user state
CN117541444B (en) Interactive virtual reality talent expression training method, device, equipment and medium
JP2016100033A (en) Reproduction control apparatus
JP2020197778A (en) Information processing device, control method, and program
KR101949997B1 (en) Method for training conversation using dubbing/AR
CN113748449B (en) Evaluation and training system
JP2007030050A (en) Robot control device, robot control system, robot device and robot control method
JP6787601B2 (en) Autism treatment support system, autism treatment support device, and program
Lane 32 Enhancing Informal Learning Experiences with Affect-Aware Technologies
CN111027358A (en) Dictation and reading method based on writing progress and electronic equipment
WO2022263715A1 (en) A method, an apparatus and a computer program product for smart learning platform
KR20220113239A (en) Method, apparatus and program for Managing of Studying
JP7069550B2 (en) Lecture video analyzer, lecture video analysis system, method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230418

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230425

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240508