JP2019168552A

JP2019168552A - Learning system and program for learning system

Info

Publication number: JP2019168552A
Application number: JP2018055220A
Authority: JP
Inventors: 岳志片平; Takashi Katahira
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-03-22
Filing date: 2018-03-22
Publication date: 2019-10-03
Anticipated expiration: 2038-03-22
Also published as: JP6996379B2

Abstract

To accurately grasp an attendance state of each learner.SOLUTION: A learning system includes a plurality of learner terminals and a teacher terminal 11 which are connected through a network. The learner terminal includes a monitoring information acquisition part for acquiring monitoring information for monitoring an attendance state of each learner and a communication part for transmitting monitoring notification based on the acquired monitoring information to the teacher terminal 11. When displaying a list of seat icons corresponding to the plurality of learner terminals on a teacher display 118 and receiving the monitoring notification transmitted by the learner terminals, the teacher terminal 11 includes a screen display control part 110 for displaying by changing display modes of the seat icons corresponding to the learner terminals according to contents of the received monitoring notification and a warning information output part 117 for outputting the warning information selected by the target learner terminal on the basis of the teacher's selection in a warning issuing window in which a plurality of kinds of warning issuing buttons are displayed.SELECTED DRAWING: Figure 2

Description

本発明は、ネットワークを介して接続される複数台の学習者端末と教員端末とを備えた学習システム、及び、学習システム用プログラムに関する。 The present invention relates to a learning system including a plurality of learner terminals and a teacher terminal connected via a network, and a learning system program.

一般に、ネットワークを介して接続される複数台の学習者端末と教員端末とを備え、学習者が学習者端末をそれぞれ操作して語学などを学習する学習システムが知られている。この種の学習システムでは、各学習者が熱心に学習を行っているか否かを教員が把握することが重要となる。このため、従来、教員端末の画面に各学習者端末を操作している学習者の顔画像を学習者座席アイコン上に一覧表示する技術が提案されている（例えば、特許文献１参照）。また、学習者に真面目に学習させるために、学習者端末に接続されているカメラによって撮影される学習者の画像をサーバによって解析し、学習者端末の画面のクリック状態や学習者の目線位置の状態から、学習者が疲れている、または、学習していないと判断した場合に、サーバが学習者端末に対して警告メッセージを送信する技術も提案されている（例えば、特許文献２参照）。 In general, a learning system is known that includes a plurality of learner terminals and a teacher terminal connected via a network, and a learner operates a learner terminal to learn a language or the like. In this type of learning system, it is important for teachers to know whether each learner is eagerly learning. For this reason, conventionally, a technique for displaying a list of face images of learners who operate each learner terminal on the screen of the teacher terminal on the learner seat icon has been proposed (for example, see Patent Document 1). In addition, in order for the learner to learn seriously, the server analyzes the learner's image captured by a camera connected to the learner terminal, and checks the click state of the learner terminal screen and the learner's eye position. A technique has also been proposed in which the server transmits a warning message to the learner terminal when it is determined that the learner is tired or not learning from the state (see, for example, Patent Document 2).

特開２００８−０３２７８７号公報JP 2008-032787 A 特開２００３−３３７５２８号公報JP 2003-337528 A

しかし、特許文献１の技術では、学習者の顔画像を学習者座席アイコン上に一覧表示するため、各学習者の顔画像は相対的に小さくなり、各学習者の詳細な受講（学習）状態を正確に把握することは難しかった。また、特許文献２の技術では、学習者を撮像した画像に基づいて警告メッセージが自動的に出力されるため、本来、警告すべきでない状況（学習者に落ち度がない状況）にもかかわらず、誤った判断によって警告が出力され、学習者の学習意欲を逆に低下させてしまうおそれもあった。 However, in the technique of Patent Document 1, since the learner's face images are displayed in a list on the learner seat icon, each learner's face image becomes relatively small, and each learner's detailed attendance (learning) state It was difficult to grasp accurately. Further, in the technique of Patent Document 2, a warning message is automatically output based on an image obtained by capturing a learner. Therefore, despite the situation that should not be warned (a situation where the learner has no fault), A warning may be output due to an incorrect determination, which may reduce the learner's willingness to learn.

本発明は、上記に鑑みてなされたものであって、各学習者の受講状態を正確に把握することができ、誤った判断による警告の出力を防止して学習者の学習意欲の低下を抑制できる学習システム、及び学習システム用プログラムを提供することを目的とする。 The present invention has been made in view of the above, and can accurately grasp the attendance state of each learner, prevent the output of a warning due to an erroneous determination, and suppress the decrease in the learner's willingness to learn An object of the present invention is to provide a learning system and a learning system program.

上述した課題を解決し、目的を達成するために、本発明に係る学習システムは、ネットワークを介して接続される複数台の学習者端末と教員端末とを備え、学習者端末は、それぞれ学習者の受講状態を監視するための監視情報を取得する監視情報取得部と、取得した監視情報に基づく監視通知を教員端末に送信する送信部と、を備え、教員端末は、複数の学習者端末に対応する座席アイコンを教員ディスプレイに一覧表示し、かつ、学習者端末から送信された監視通知を受信した場合に、受信した監視通知の内容に応じて該学習者端末に対応する座席アイコンの表示態様を変化させて表示する画面表示制御部と、複数種類の警告アイコンが表示された警告出力画面における教員の選択に基づいて、対象の学習者端末に選択された警告情報を出力する警告情報出力部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a learning system according to the present invention includes a plurality of learner terminals and a teacher terminal connected via a network, and each learner terminal is a learner. A monitoring information acquisition unit for acquiring monitoring information for monitoring the attendance state of the student and a transmission unit for transmitting a monitoring notification based on the acquired monitoring information to the teacher terminal. The teacher terminal is connected to a plurality of learner terminals. When the corresponding seat icon is displayed in a list on the teacher display and the monitoring notification transmitted from the learner terminal is received, the display mode of the seat icon corresponding to the learner terminal according to the content of the received monitoring notification The selected warning information is output to the target learner's terminal based on the selection of the teacher on the screen display control unit that changes the display and the warning output screen on which multiple types of warning icons are displayed. And warning information output section for, characterized in that it comprises a.

本発明によれば、学習者端末から送信された監視通知を受信した場合に、受信した監視通知の内容に応じて該学習者端末に対応する座席アイコンの表示態様を変化させて表示するため、各学習者の受講状態を正確に把握することができる。さらに、複数種類の警告が表示された警告出力画面における教員の選択に基づいて、対象の学習者端末に選択された警告を出力するため、監視通知に基づく警告を出力するか否かの最終判断を教員に委ねることができ、誤った判断による警告の出力を防止して学習者の学習意欲の低下を抑制することができる。 According to the present invention, when the monitoring notification transmitted from the learner terminal is received, the display mode of the seat icon corresponding to the learner terminal is changed and displayed according to the content of the received monitoring notification. It is possible to accurately grasp the attendance status of each learner. Furthermore, based on the selection of the teacher on the warning output screen on which a plurality of types of warnings are displayed, the final determination of whether or not to output a warning based on the monitoring notification to output the selected warning to the target learner terminal Can be entrusted to the teacher, and the output of warnings due to incorrect judgments can be prevented to suppress the learner's decline in learning motivation.

図１は、本実施形態に係る学習システムの構成を示す図である。FIG. 1 is a diagram illustrating a configuration of a learning system according to the present embodiment. 図２は、教員端末の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of the teacher terminal. 図３は、学習者端末の構成を示す機能ブロック図である。FIG. 3 is a functional block diagram showing the configuration of the learner terminal. 図４は、教員端末の教員ディスプレイに表示されるＧＵＩ表示内容の一例を示す図である。FIG. 4 is a diagram illustrating an example of GUI display contents displayed on the teacher display of the teacher terminal. 図５は、監視通知の設定を行う監視設定ウインドウの一例を示す図である。FIG. 5 is a diagram illustrating an example of a monitoring setting window for setting monitoring notification. 図６は、学習者の受講状態を監視して、受講状態の良くない学習者に警告を出力する動作の手順を示すフローチャートである。FIG. 6 is a flowchart showing a procedure of an operation of monitoring the learner's attendance state and outputting a warning to a learner who is not well attended. 図７は、監視処理の動作手順を示すフローチャートである。FIG. 7 is a flowchart showing the operation procedure of the monitoring process. 図８は、監視通知を受信した教員端末における座席アイコンの表示態様の一例を示す図である。FIG. 8 is a diagram illustrating an example of a display mode of the seat icon in the teacher terminal that has received the monitoring notification. 図９は、監視通知を受信した教員端末における座席アイコンの表示態様の他の例を示す図である。FIG. 9 is a diagram illustrating another example of the display mode of the seat icon in the teacher terminal that has received the monitoring notification. 図１０は、教員端末における警報発報ウインドウの一例を示す図である。FIG. 10 is a diagram illustrating an example of an alarm notification window in the teacher terminal. 図１１は、警告処理の動作手順を示すフローチャートである。FIG. 11 is a flowchart showing the operation procedure of the warning process. 図１２は、警告表示の設定画面の一例を示す図である。FIG. 12 is a diagram illustrating an example of a warning display setting screen.

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Embodiments according to the present invention will be described below in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. In addition, constituent elements in the following embodiments include those that can be easily replaced by those skilled in the art or those that are substantially the same.

図１は、本実施形態に係る学習システムの構成を示す図である。図２は、教員端末の構成を示す機能ブロック図である。図３は、学習者端末の構成を示す機能ブロック図である。図１に示すように、学習システム１０は、教員端末１１と複数台の学習者端末１３とを備え、各学習者端末１３を利用して学習者がそれぞれ語学などの教科を学習するものである。教員端末１１と複数台の学習者端末１３とは、ネットワーク１５を介して相互に通信可能に接続されている。このネットワーク１５は、有線ネットワークであっても良いし、無線ネットワークであっても良い。 FIG. 1 is a diagram illustrating a configuration of a learning system according to the present embodiment. FIG. 2 is a functional block diagram showing the configuration of the teacher terminal. FIG. 3 is a functional block diagram showing the configuration of the learner terminal. As shown in FIG. 1, the learning system 10 includes a teacher terminal 11 and a plurality of learner terminals 13, and each learner learns a subject such as language using each learner terminal 13. . The teacher terminal 11 and the plurality of learner terminals 13 are connected via a network 15 so that they can communicate with each other. The network 15 may be a wired network or a wireless network.

教員端末１１は、教員が使用して学習者端末１３を利用した学習者の学習を管理すると共に、学習者の受講状態によっては必要に応じて対象の学習者端末１３に警告を出力する。教員端末１１は、図２に示すように、画面表示制御部１１０、通信部１１１、記憶部１１２、制御部１１３、画像入力部１１４、音声入出力部１１５、操作入力部１１６、及び、警告情報出力部１１７を備えて構成される。画面表示制御部１１０は、教員ディスプレイ１１８に接続され、この教員ディスプレイ１１８に表示される各種の画面表示を制御する。通信部１１１は、ネットワーク１５に接続されて、学習者端末１３との間で各種情報の通信（送受信）を行う。 The teacher terminal 11 manages learning of the learner using the learner terminal 13 used by the teacher, and outputs a warning to the target learner terminal 13 as necessary depending on the attendance state of the learner. As shown in FIG. 2, the teacher terminal 11 includes a screen display control unit 110, a communication unit 111, a storage unit 112, a control unit 113, an image input unit 114, a voice input / output unit 115, an operation input unit 116, and warning information. An output unit 117 is provided. The screen display control unit 110 is connected to the teacher display 118 and controls various screen displays displayed on the teacher display 118. The communication unit 111 is connected to the network 15 and performs communication (transmission / reception) of various information with the learner terminal 13.

記憶部１１２は、学習者の発話による音声情報や学習者の顔画像情報などの各種情報、及びソフトウェアなどを記憶する。記憶部１１２は、例えば、ＨＤＤ（Hard Disk Drive）などの記憶装置であるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などであってもよい。制御部１１３は、教員端末１１を構成する各部、ならびに、学習者端末１３の各部を制御する。制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）を含む、電子的な回路などで実現することができる。 The storage unit 112 stores various kinds of information such as voice information by the learner's utterance and learner's face image information, software, and the like. The storage unit 112 is a storage device such as an HDD (Hard Disk Drive), but is a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory). Also good. The control unit 113 controls each part of the teacher terminal 11 and each part of the learner terminal 13. The control unit 113 can be realized by an electronic circuit including a CPU (Central Processing Unit), for example.

画像入力部１１４は、カメラ１１９に接続されて、このカメラ１１９で撮像された画像を入力する。入力された画像は、記憶部１１２に記憶されると共に必要に応じてネットワーク１５を通じて学習者端末１３に出力される。音声入出力部１１５は、ヘッドセット１２０に接続され、ヘッドセット１２０を通じて音声の入出力を行う。具体的には、音声入出力部１１５は、教員が発話した音声情報を入力し、これらの音声情報などをネットワーク１５を通じて学習者端末１３に出力する。また、音声入出力部１１５は、ネットワーク１５を通じて入力され、かつ、学習者が発話した音声情報をヘッドセット１２０に出力する。 The image input unit 114 is connected to the camera 119 and inputs an image captured by the camera 119. The input image is stored in the storage unit 112 and is output to the learner terminal 13 through the network 15 as necessary. The audio input / output unit 115 is connected to the headset 120 and inputs / outputs audio through the headset 120. Specifically, the voice input / output unit 115 inputs voice information uttered by a teacher and outputs the voice information and the like to the learner terminal 13 through the network 15. The voice input / output unit 115 outputs voice information input through the network 15 and spoken by the learner to the headset 120.

操作入力部１１６は、キーボード１２１及びマウス１２２に接続され、キーボード１２１及びマウス１２２を介して、教員の各種操作情報を入力する。操作入力部１１６が受け付けた各種の操作情報は、制御部１１３によって実行される。警告情報出力部１１７は、教員の選択に基づいた警告情報を生成し、この警告情報をネットワーク１５を通じて対象の学習者端末１３に出力する。本実施形態では、警告情報は、少なくとも対象の学習者端末１３の操作を不能（禁止）とする操作ロック情報を含み、この他に警告表示情報、警告音情報、警告振動情報などを含んでもよい。 The operation input unit 116 is connected to the keyboard 121 and the mouse 122, and inputs various operation information of the teacher through the keyboard 121 and the mouse 122. Various operation information received by the operation input unit 116 is executed by the control unit 113. The warning information output unit 117 generates warning information based on the teacher's selection, and outputs the warning information to the target learner terminal 13 through the network 15. In the present embodiment, the warning information includes at least operation lock information that disables (prohibits) the operation of the target learner terminal 13, and may include warning display information, warning sound information, warning vibration information, and the like. .

学習者端末１３は、提示された教材などを学習者がそれぞれ利用して各自の学習を行う。学習者端末１３は、図３に示すように、画面表示制御部１３０、通信部１３１、記憶部１３２、制御部１３３、画像入力部１３４、音声入出力部１３５、操作入出力部１３６、監視情報取得部１３７、及び、判定部１４３を備えて構成される。画面表示制御部１３０は、学習者ディスプレイ１３８に接続され、この学習者ディスプレイ１３８に表示される各種の画面表示を制御する。本実施形態では、画面表示制御部１３０は、上記した警告情報出力部１１７が出力した警告表示情報（警告情報）に基づき、学習者ディスプレイ１３８に所定の文言で示される警告表示を実行する。 Each of the learner terminals 13 learns by using each of the presented teaching materials. As shown in FIG. 3, the learner terminal 13 includes a screen display control unit 130, a communication unit 131, a storage unit 132, a control unit 133, an image input unit 134, a voice input / output unit 135, an operation input / output unit 136, and monitoring information. An acquisition unit 137 and a determination unit 143 are provided. The screen display control unit 130 is connected to the learner display 138 and controls various screen displays displayed on the learner display 138. In the present embodiment, the screen display control unit 130 executes warning display indicated by predetermined words on the learner display 138 based on the warning display information (warning information) output by the warning information output unit 117 described above.

通信部１３１は、ネットワーク１５に接続されて、教員端末１１との間で各種情報の通信（送受信）を行う。本実施形態では、通信部１３１は、監視情報取得部１３７が取得した監視情報に基づく監視通知を教員端末１１にネットワーク１５を通じて送信する送信部として機能する。また、本実施形態では、通信部１３１は、例えばスマートウォッチなどの学習者に装着されるウェアラブル端末１４４と、Bluetooth（登録商標）などの近距離無線通信により通信可能に接続され、ウェアラブル端末１４４との間で各種情報を通信する。ウェアラブル端末１４４は、装着された学習者の心拍を常時、または定期的に計測する心拍センサ１４４Ａと、警告情報出力部１１７から出力された警告振動情報（警告情報）に基づいてウェアラブル端末１４４を振動させる振動モータ１４４Ｂと、通信部１３１と通信可能に接続される通信部１４４Ｃと、を備えている。通信部１３１は、ウェアラブル端末１４４との間で各種情報を通信（送受信）する送受信部として機能し、心拍センサ１４４Ａが計測した心拍情報を入力し、制御部１３３の制御により、警告振動情報を振動モータ１４４Ｂに出力する。 The communication unit 131 is connected to the network 15 and performs communication (transmission / reception) of various information with the teacher terminal 11. In the present embodiment, the communication unit 131 functions as a transmission unit that transmits a monitoring notification based on the monitoring information acquired by the monitoring information acquisition unit 137 to the teacher terminal 11 via the network 15. In the present embodiment, the communication unit 131 is connected to a wearable terminal 144 that is worn by a learner such as a smart watch, and the wearable terminal 144 so as to be communicable by short-range wireless communication such as Bluetooth (registered trademark). Communicate various information between. The wearable terminal 144 vibrates the wearable terminal 144 based on the heartbeat sensor 144A that constantly or periodically measures the heartbeat of the attached learner and the warning vibration information (warning information) output from the warning information output unit 117. A vibration motor 144B to be communicated, and a communication unit 144C that is communicably connected to the communication unit 131. The communication unit 131 functions as a transmission / reception unit that communicates (transmits / receives) various types of information with the wearable terminal 144, inputs heart rate information measured by the heart rate sensor 144A, and vibrates warning vibration information under the control of the control unit 133. Output to the motor 144B.

記憶部１３２は、学習者が学習した学習情報、学習者の発話による音声情報、学習者の顔画像情報などの各種情報、及びソフトウェアなどを記憶する。制御部１３３は学習者端末１３を構成する各部を制御する。制御部１３３は、例えば、ＣＰＵを含む、電子的な回路などで実現することができる。 The storage unit 132 stores learning information learned by the learner, voice information by the learner's utterance, various information such as the learner's face image information, software, and the like. The control unit 133 controls each unit constituting the learner terminal 13. The control unit 133 can be realized by, for example, an electronic circuit including a CPU.

画像入力部１３４は、カメラ１３９に接続されて、このカメラ１３９で撮像された画像（例えば学習者の顔画像）を入力する。入力された画像は、記憶部１３２に記憶されると共に、ネットワーク１５を通じて教員端末１１に出力される。音声入出力部１３５は、ヘッドセット１４０に接続され、ヘッドセット１４０を通じて音声の入出力を行う。具体的には、音声入出力部１３５は、学習者が発話した音声情報を入力し、この音声情報をネットワーク１５を通じて教員端末１１及び他の学習者端末１３に出力する。また、音声入出力部１３５は、ネットワーク１５を通じて入力され、かつ、教員や他の学習者が発話した音声情報、及び教員端末１１から出力された警告音情報（警告情報）をヘッドセット１４０に出力する。 The image input unit 134 is connected to the camera 139 and inputs an image captured by the camera 139 (for example, a learner's face image). The input image is stored in the storage unit 132 and is output to the teacher terminal 11 through the network 15. The audio input / output unit 135 is connected to the headset 140 and inputs and outputs audio through the headset 140. Specifically, the voice input / output unit 135 inputs voice information uttered by the learner, and outputs the voice information to the teacher terminal 11 and the other learner terminals 13 through the network 15. The voice input / output unit 135 also outputs to the headset 140 the voice information input through the network 15 and spoken by the teacher or other learners, and the warning sound information (warning information) output from the teacher terminal 11. To do.

操作入出力部１３６は、キーボード１４１及びマウス１４２に接続され、キーボード１４１及びマウス１４２を介して、学習者の各種操作情報を入力する。操作入出力部１３６が受け付けた各種の操作情報は、制御部１３３によって実行される。また、本実施形態では、マウス１４２は、装着された学習者の心拍を常時、または定期的に計測する心拍センサ１４２Ａと、警告情報出力部１１７から出力された警告振動情報（警告情報）に基づいてマウス１４２を振動させる振動モータ１４２Ｂとを備えている。操作入出力部１３６は、心拍センサ１４２Ａが計測した心拍情報を入力し、制御部１３３の制御により、警告振動情報を振動モータ１４２Ｂに出力する。 The operation input / output unit 136 is connected to the keyboard 141 and the mouse 142, and inputs various operation information of the learner via the keyboard 141 and the mouse 142. Various types of operation information received by the operation input / output unit 136 are executed by the control unit 133. In the present embodiment, the mouse 142 is based on the heartbeat sensor 142A that constantly or periodically measures the heartbeat of the attached learner and the warning vibration information (warning information) output from the warning information output unit 117. And a vibration motor 142B for vibrating the mouse 142. The operation input / output unit 136 inputs the heart rate information measured by the heart rate sensor 142A, and outputs warning vibration information to the vibration motor 142B under the control of the control unit 133.

監視情報取得部１３７は、学習中の学習者を監視して各種の監視情報を取得する。監視情報としては、操作入出力部１３６に入力される各種操作情報、画像入力部１３４に入力される学習者の顔画像情報、音声入出力部１３５に入力される学習者の音声情報、及び、通信部１３１もしくは操作入出力部１３６に入力される心拍情報を取得する。監視情報は、これらをすべて取得する必要はなく、一部であってもよいし、他の情報を別途取得してもよい。 The monitoring information acquisition unit 137 monitors the learning learner and acquires various types of monitoring information. As the monitoring information, various operation information input to the operation input / output unit 136, learner's face image information input to the image input unit 134, learner's voice information input to the voice input / output unit 135, and Heart rate information input to the communication unit 131 or the operation input / output unit 136 is acquired. It is not necessary to acquire all of the monitoring information, and part of the monitoring information may be acquired, or other information may be acquired separately.

判定部１４３は、取得した各種監視情報のレベルが教員端末に監視通知を送信する必要があるか否かを判定する。具体的には、操作入出力部１３６に所定時間（例えば６０秒）各種操作情報の入力がない場合には、判定部１４３は「操作なし」と判定する。また、判定部１４３は、画像入力部１３４に入力される顔画像情報から学習者の目元を抽出し、所定時間（例えば３０秒）目が開かれていない（目線を検知できない）場合には、判定部１４３は「目線なし」と判定する。同様に、判定部１４３は、画像入力部１３４に入力される顔画像情報から学習者の口元を抽出し、所定時間（例えば３０秒）唇の動きがない場合には、判定部１４３は「唇動作なし」と判定する。また、音声入出力部１３５に所定時間（例えば３０秒）音声情報の入力がない場合には、判定部１４３は「音声入力なし」と判定する。また、マウス１４２またはウェアラブル端末１４４で計測された心拍情報が、所定時間（例えば６０秒）学習者の睡眠時の心拍と同等であった場合、判定部は「睡眠時心拍」と判定する。ここで、一般に睡眠時は平常時（起きている時）と比べて心拍数が低下して安定する傾向にある。このため、事前に学習者の平常時の心拍を計測して記憶しておき、この平常時の心拍から睡眠時の心拍を推定することができる。 The determination unit 143 determines whether the level of the acquired various types of monitoring information needs to transmit a monitoring notification to the teacher terminal. Specifically, when no operation information is input to the operation input / output unit 136 for a predetermined time (for example, 60 seconds), the determination unit 143 determines “no operation”. Further, the determination unit 143 extracts the eyes of the learner from the face image information input to the image input unit 134, and when the eye is not opened for a predetermined time (for example, 30 seconds) (the eye cannot be detected), The determination unit 143 determines “no line of sight”. Similarly, the determination unit 143 extracts the learner's mouth from the face image information input to the image input unit 134. If there is no lip movement for a predetermined time (for example, 30 seconds), the determination unit 143 determines that the “lip It is determined that there is no operation. Further, when no voice information is input to the voice input / output unit 135 for a predetermined time (for example, 30 seconds), the determination unit 143 determines “no voice input”. Further, when the heartbeat information measured by the mouse 142 or the wearable terminal 144 is equivalent to the heartbeat during sleep of the learner for a predetermined time (for example, 60 seconds), the determination unit determines “sleep heartbeat”. Here, in general, when sleeping, the heart rate tends to decrease and stabilize compared to normal times (when waking up). For this reason, the normal heartbeat of the learner can be measured and stored in advance, and the heartbeat during sleep can be estimated from the normal heartbeat.

図４は、教員端末の教員ディスプレイに表示されるＧＵＩ表示内容の一例を示す図であり、図５は、監視通知の設定を行う監視設定ウインドウの一例を示す図である。教員ディスプレイ１１８には、図４に示すように、画面表示制御部１１０（図２）によって、複数の座席アイコン２２が配置された座席表示部２１と、この座席表示部２１と並べて配置された監視設定ボタン２３とを少なくとも含むＧＵＩ表示画面２０が表示される。座席表示部２１には、受講している学習者端末１３に対応する座席アイコン２２がすべて一覧表示される。受講する学習者端末１３が多数の場合には、表示されるページを複数に区分けして表示してもよい。座席表示部２１上の座席アイコン２２は、例えば、各学習者端末１３が同一教室内に配置されている場合には、実際の学習者端末１３の配置関係に合わせて表示される。また、例えば、各学習者端末１３がそれぞれ異なる場所に配置されている場合には、受講した順番に合わせて座席アイコン２２が表示される。座席アイコン２２には、対応する学習者端末１３の学習者ディスプレイ１３８に表示されるモニタ画像、各カメラ１３９が撮像した学習者の顔画像、または、学習者端末１３に対応する監視通知など、学習者の各情報が表示される。 FIG. 4 is a diagram showing an example of GUI display contents displayed on the teacher display of the teacher terminal, and FIG. 5 is a diagram showing an example of a monitoring setting window for setting monitoring notification. On the teacher display 118, as shown in FIG. 4, the screen display control unit 110 (FIG. 2) displays a seat display unit 21 on which a plurality of seat icons 22 are arranged, and a monitor arranged side by side with the seat display unit 21. A GUI display screen 20 including at least the setting button 23 is displayed. The seat display unit 21 displays a list of all seat icons 22 corresponding to the learner terminals 13 who have taken the course. When there are a large number of learner terminals 13 to attend, the displayed pages may be divided into a plurality of pages. For example, when the learner terminals 13 are arranged in the same classroom, the seat icon 22 on the seat display unit 21 is displayed according to the actual arrangement relationship of the learner terminals 13. Further, for example, when the learner terminals 13 are arranged at different places, the seat icons 22 are displayed according to the order of attendance. The seat icon 22 includes a monitor image displayed on the learner display 138 of the corresponding learner terminal 13, a learner's face image captured by each camera 139, or a monitoring notification corresponding to the learner terminal 13. Each person's information is displayed.

監視設定ボタン２３をクリックなどによって操作すると、画面表示制御部１１０は、図５に示すような監視設定ウインドウ２４を別途表示する。この監視設定ウインドウ２４には、端末操作の監視を設定するためのチェックボックス２５、音声入力の監視を設定するためのチェックボックス２６、目線の監視を設定するためのチェックボックス２７、唇動作の監視を設定するためのチェックボックス２８、及び、心拍の監視を設定するためのチェックボックス２９が設けられている。各チェックボックス２５〜２９にチェックを入れて選択すると、学習者の監視項目として有効となり、監視情報取得部１３７は、該当する監視情報を取得する。この構成では、授業内容に応じて監視項目を設定することができる。例えば、語学会話練習の授業では、音声入力のチェックボックス２６と、唇動作のチェックボックス２８にチェックを入れ、読解練習の授業では、目線のチェックボックス２７と、心拍のチェックボックス２９にチェックを入れる。これにより、授業内容に合った監視を行うことができ、各学習者の受講状態を正確に把握することができる。 When the monitor setting button 23 is operated by clicking or the like, the screen display control unit 110 separately displays a monitor setting window 24 as shown in FIG. The monitoring setting window 24 includes a check box 25 for setting terminal operation monitoring, a check box 26 for setting voice input monitoring, a check box 27 for setting eye-gaze monitoring, and lip movement monitoring. A check box 28 for setting the heart rate and a check box 29 for setting heart rate monitoring are provided. When the check boxes 25 to 29 are checked and selected, the items become valid as monitoring items for the learner, and the monitoring information acquisition unit 137 acquires the corresponding monitoring information. In this configuration, monitoring items can be set according to the lesson content. For example, in a language conversation practice class, the audio input check box 26 and the lip movement check box 28 are checked, and in a reading practice class, the eye check box 27 and the heart rate check box 29 are checked. . Thereby, the monitoring suitable for the lesson content can be performed, and the attendance state of each learner can be accurately grasped.

次に、動作について説明する。図６は、学習者の受講状態を監視して、受講状態の良くない学習者に警告を出力する動作の手順を示すフローチャートである。図７は、監視処理の動作手順を示すフローチャートである。図８は、監視通知を受信した教員端末における座席アイコンの表示態様の一例を示す図である。図９は、監視通知を受信した教員端末における座席アイコンの表示態様の他の例を示す図である。図１０は、教員端末における警告発報ウインドウの一例を示す図である。図１１は、警告処理の動作手順を示すフローチャートである。図１２は、警告表示の設定画面の一例を示す図である。 Next, the operation will be described. FIG. 6 is a flowchart showing a procedure of an operation of monitoring the learner's attendance state and outputting a warning to a learner who is not well attended. FIG. 7 is a flowchart showing the operation procedure of the monitoring process. FIG. 8 is a diagram illustrating an example of a display mode of the seat icon in the teacher terminal that has received the monitoring notification. FIG. 9 is a diagram illustrating another example of the display mode of the seat icon in the teacher terminal that has received the monitoring notification. FIG. 10 is a diagram illustrating an example of a warning notification window in the teacher terminal. FIG. 11 is a flowchart showing the operation procedure of the warning process. FIG. 12 is a diagram illustrating an example of a warning display setting screen.

まず、図６に示すように、教員は、授業開始前に、教員端末１１の教員ディスプレイ１１８上で監視設定ウインドウ２４を開き、授業で行う監視項目にチェックを入れて監視項目を有効にする（ステップＳ１０１）。具体的には、図５に示すように、教員が必要な監視項目のチェックボックス２５〜２９にチェックを入れて選択することで、チェックが入った監視項目が有効となる。この図５では、すべての監視項目を有効としている。次に、各学習者端末１３の監視処理を実行する（ステップＳ１０２）。 First, as shown in FIG. 6, the teacher opens the monitoring setting window 24 on the teacher display 118 of the teacher terminal 11 before the lesson starts, and checks the monitoring items to be performed in the lesson to enable the monitoring items ( Step S101). Specifically, as shown in FIG. 5, a check item selected by the teacher is checked and selected, thereby enabling the check item that is checked. In FIG. 5, all the monitoring items are valid. Next, the monitoring process of each learner terminal 13 is executed (step S102).

この監視処理は、図７に示すフローチャートによって学習者端末１３ごとに実行される。具体的には、学習者端末１３の制御部１３３は、端末操作が監視項目として設定されているか否かを判別する（ステップＳ２０１）。この判別において、端末操作が監視項目として設定されていない場合（ステップＳ２０１；Ｎｏ）には、処理をステップＳ２０５に移行する。また、端末操作が監視項目として設定されている場合（ステップＳ２０１；Ｙｅｓ）には、判定部１４３は、操作入出力部１３６にキーボード１４１及びマウス１４２の操作情報が入力されるかを監視する（ステップＳ２０２）。 This monitoring process is executed for each learner terminal 13 according to the flowchart shown in FIG. Specifically, the control unit 133 of the learner terminal 13 determines whether or not the terminal operation is set as a monitoring item (step S201). In this determination, when the terminal operation is not set as a monitoring item (step S201; No), the process proceeds to step S205. When the terminal operation is set as a monitoring item (step S201; Yes), the determination unit 143 monitors whether operation information on the keyboard 141 and the mouse 142 is input to the operation input / output unit 136 ( Step S202).

次に、判定部１４３は、操作入出力部１３６に一定時間（例えば６０秒）操作なしか否かを判別する（ステップＳ２０３）。この判別において、一定時間内に操作があれば（ステップＳ２０３；Ｎｏ）、処理をステップＳ２０５に移行し、一定時間、操作なしであれば（ステップＳ２０３；Ｙｅｓ）、制御部１３３は、教員端末１１に「操作なし」の監視通知を行う（ステップＳ２０４）。 Next, the determination unit 143 determines whether or not the operation input / output unit 136 is operated for a predetermined time (for example, 60 seconds) (step S203). In this determination, if there is an operation within a certain time (step S203; No), the process proceeds to step S205, and if there is no operation for a certain time (step S203; Yes), the control unit 133 causes the teacher terminal 11 to Is notified of “no operation” (step S204).

次に、学習者端末１３の制御部１３３は、音声入力が監視項目として設定されているか否かを判別する（ステップＳ２０５）。この判別において、音声入力が監視項目として設定されていない場合（ステップＳ２０５；Ｎｏ）には、処理をステップＳ２０９に移行する。また、音声入力が監視項目として設定されている場合（ステップＳ２０５；Ｙｅｓ）には、判定部１４３は、音声入出力部１３５にヘッドセット１４０を通じて学習者が発話した音声情報が入力されるかを監視する（ステップＳ２０６）。 Next, the control unit 133 of the learner terminal 13 determines whether or not voice input is set as a monitoring item (step S205). In this determination, when the voice input is not set as the monitoring item (step S205; No), the process proceeds to step S209. When voice input is set as a monitoring item (step S205; Yes), the determination unit 143 determines whether voice information spoken by the learner is input to the voice input / output unit 135 through the headset 140. Monitor (step S206).

次に、判定部１４３は、音声入出力部１３５に一定時間（例えば３０秒）音声なしか否かを判別する（ステップＳ２０７）。この判別において、一定時間内に音声があれば（ステップＳ２０７；Ｎｏ）、処理をステップＳ２０９に移行し、一定時間、音声なしであれば（ステップＳ２０７；Ｙｅｓ）、制御部１３３は、教員端末１１に「音声入力なし」の監視通知を行う（ステップＳ２０８）。 Next, the determination unit 143 determines whether there is no sound in the sound input / output unit 135 for a predetermined time (for example, 30 seconds) (step S207). In this determination, if there is a voice within a certain time (step S207; No), the process proceeds to step S209, and if there is no voice for a certain time (step S207; Yes), the control unit 133 causes the teacher terminal 11 to A monitoring notification of “no voice input” is made (step S208).

次に、学習者端末１３の制御部１３３は、目線が監視項目として設定されているか否かを判別する（ステップＳ２０９）。この判別において、目線が監視項目として設定されていない場合（ステップＳ２０９；Ｎｏ）には、処理をステップＳ２１３に移行する。また、目線が監視項目として設定されている場合（ステップＳ２０９；Ｙｅｓ）には、判定部１４３は、画像入力部１３４に入力される顔画像情報を解析して学習者の目線を抽出する（ステップＳ２１０）。そして、判定部１４３は、一定時間（例えば３０秒）、目線なしか否かを判別する（ステップＳ２１１）。この判別において、一定時間内に目線が検出できれば（ステップＳ２１１；Ｎｏ）、処理をステップＳ２１３に移行し、一定時間、目線が検出できなければ（ステップＳ２１１；Ｙｅｓ）、制御部１３３は、教員端末１１に「目線なし」の監視通知を行う（ステップＳ２１２）。 Next, the control unit 133 of the learner terminal 13 determines whether or not the line of sight is set as a monitoring item (step S209). In this determination, when the line of sight is not set as a monitoring item (step S209; No), the process proceeds to step S213. If the eye line is set as the monitoring item (step S209; Yes), the determination unit 143 analyzes the face image information input to the image input unit 134 and extracts the learner's eye line (step) S210). Then, the determination unit 143 determines whether or not there is a line of sight for a certain time (for example, 30 seconds) (step S211). In this determination, if a line of sight can be detected within a certain time (step S211; No), the process proceeds to step S213, and if a line of sight cannot be detected for a certain time (step S211; Yes), the control unit 133 11 is notified of “no line of sight” (step S212).

次に、学習者端末１３の制御部１３３は、唇動作が監視項目として設定されているか否かを判別する（ステップＳ２１３）。この判別において、唇動作が監視項目として設定されていない場合（ステップＳ２１３；Ｎｏ）には、処理をステップＳ２１７に移行する。また、唇動作が監視項目として設定されている場合（ステップＳ２１３；Ｙｅｓ）には、判定部１４３は、画像入力部１３４に入力される顔画像情報を解析して学習者の唇の動きを抽出する（ステップＳ２１４）。そして、判定部１４３は、一定時間（例えば３０秒）、唇の動作なしか否かを判別する（ステップＳ２１５）。この判別において、一定時間内に唇の動作を検出できれば（ステップＳ２１５；Ｎｏ）、処理をステップＳ２１７に移行し、一定時間、唇の動作が検出できなければ（ステップＳ２１５；Ｙｅｓ）、制御部１３３は、教員端末１１に「唇動作なし」の監視通知を行う（ステップＳ２１６）。 Next, the control unit 133 of the learner terminal 13 determines whether or not the lip movement is set as a monitoring item (step S213). In this determination, when the lip motion is not set as a monitoring item (step S213; No), the process proceeds to step S217. When the lip movement is set as a monitoring item (step S213; Yes), the determination unit 143 analyzes the face image information input to the image input unit 134 and extracts the learner's lip movement. (Step S214). Then, the determination unit 143 determines whether there is no lip movement for a certain time (for example, 30 seconds) (step S215). In this determination, if the movement of the lips can be detected within a certain time (step S215; No), the process proceeds to step S217. If the movement of the lips cannot be detected for a certain time (step S215; Yes), the control unit 133 is performed. Performs monitoring notification of “no lip movement” to the teacher terminal 11 (step S216).

次に、学習者端末１３の制御部１３３は、心拍が監視項目として設定されているか否かを判別する（ステップＳ２１７）。この判別において、心拍が監視項目として設定されていない場合（ステップＳ２１７；Ｎｏ）には、処理を終了する。また、心拍が監視項目として設定されている場合（ステップＳ２１７；Ｙｅｓ）には、監視情報取得部１３７は、マウス１４２またはウェアラブル端末１４４で計測された心拍情報を取得する（ステップＳ２１８）。そして、判定部１４３は、学習者の睡眠時の心拍と取得した心拍と同等であるか否かを判別する（ステップＳ２１９）。この判別において、学習者の睡眠時の心拍と取得した心拍とが同等でなければ（ステップＳ２１９；Ｎｏ）、処理をそのまま終了し、学習者の睡眠時の心拍と取得した心拍とが同等であれば（ステップＳ２１９；Ｙｅｓ）、制御部１３３は、教員端末１１に「睡眠時心拍」の監視通知を行い（ステップＳ２２０）、処理を終了する。 Next, the control unit 133 of the learner terminal 13 determines whether or not the heart rate is set as a monitoring item (step S217). In this determination, if the heart rate is not set as a monitoring item (step S217; No), the process is terminated. If the heart rate is set as a monitoring item (step S217; Yes), the monitoring information acquisition unit 137 acquires heart rate information measured by the mouse 142 or the wearable terminal 144 (step S218). Then, the determination unit 143 determines whether or not the learner's sleep heart rate is equal to the acquired heart rate (step S219). In this determination, if the learner's sleep heart rate is not equal to the acquired heart rate (step S219; No), the process ends and the learner's sleep heart rate is equal to the acquired heart rate. If it is (step S219; Yes), the control part 133 will perform the monitoring notification of the "sleep heart rate" to the teacher terminal 11 (step S220), and will complete | finish a process.

再び、図６に戻り、教員端末１１の制御部１３３は、学習者端末１３から監視通知を受信したか否かを判別する（ステップＳ１０３）。この判別において、すべての学習者端末１３から監視通知を受信していない場合（ステップＳ１０３；Ｎｏ）には、処理をステップＳ１０２に戻して監視通知を受信するまで待機する。一方、少なくとも１台の学習者端末１３から監視通知を受信した場合（ステップＳ１０３；Ｙｅｓ）には、画面表示制御部１１０は、教員ディスプレイ１１８上の監視通知を受信した学習者端末１３に対応する座席アイコン２２を、監視通知を加えた表示態様とする（ステップＳ１０４）。 Returning to FIG. 6 again, the control unit 133 of the teacher terminal 11 determines whether or not a monitoring notification is received from the learner terminal 13 (step S103). In this determination, when the monitoring notification is not received from all the learner terminals 13 (step S103; No), the process returns to step S102 and waits until the monitoring notification is received. On the other hand, when the monitoring notification is received from at least one learner terminal 13 (step S103; Yes), the screen display control unit 110 corresponds to the learner terminal 13 that has received the monitoring notification on the teacher display 118. The seat icon 22 is set to a display mode to which a monitoring notification is added (step S104).

具体的には、図８に示すように、座席アイコン２２の表示態様を変更して、座席アイコン２２上に監視通知アイコン３０と警告処理中アイコン４０とを表示する。監視通知アイコン３０は、操作なしアイコン３１、音声入力なしアイコン３２、目線なしアイコン３３、唇動作なしアイコン３４および睡眠時心拍アイコン３５を含み、画面表示制御部１１０は、監視通知されたアイコン（図８では操作なしアイコン３１）を、例えば点滅表示させる。また、警告処理中アイコン４０は、警告表示アイコン４１、音声出力アイコン４２、操作ロックアイコン４３及び振動通知アイコン４４を含み、画面表示制御部１１０は、学習者端末１３に対して既に警告処理を行っている場合には、警告処理中のアイコン（図８では音声出力アイコン４２）を、例えば、点滅表示させる。この構成では、学習者端末１３から送信された監視通知を受信した場合、受信した監視通知の内容に応じて学習者端末１３に対応する座席アイコン２２の表示態様を変化させて表示するため、教員は各学習者の受講状態を正確に把握することができる。また、学習者端末１３に対して既に警告処理を行っている場合には、警告処理中のアイコンの表示態様を変化させて表示するため、教員は警告中であるか否かを容易に把握することができる。 Specifically, as shown in FIG. 8, the display mode of the seat icon 22 is changed, and the monitoring notification icon 30 and the warning processing icon 40 are displayed on the seat icon 22. The monitor notification icon 30 includes a no-operation icon 31, a no-voice input icon 32, a no-line-of-sight icon 33, a no-lip motion icon 34, and a sleep heartbeat icon 35, and the screen display control unit 110 displays an icon (FIG. In FIG. 8, the no-operation icon 31) is displayed in a blinking manner, for example. The warning processing icon 40 includes a warning display icon 41, a voice output icon 42, an operation lock icon 43, and a vibration notification icon 44, and the screen display control unit 110 has already performed warning processing on the learner terminal 13. If it is, the icon during warning processing (the audio output icon 42 in FIG. 8) is displayed blinking, for example. In this configuration, when the monitoring notification transmitted from the learner terminal 13 is received, the display mode of the seat icon 22 corresponding to the learner terminal 13 is changed and displayed according to the content of the received monitoring notification. Can accurately grasp the attendance status of each learner. Further, when the warning process is already performed on the learner terminal 13, since the display mode of the icon during the warning process is changed and displayed, the teacher can easily grasp whether or not the warning is being performed. be able to.

また、座席アイコン２２の表示態様はこれに限るものではなく、例えば、図８の例と同じ状況の場合、図９に示すように、座席アイコン２２→操作なしアイコン５０→音声出力中アイコン５１の１サイクルとして各アイコンを所定時間間隔（例えば１秒間隔）で切替ながら表示することもできる。この表示態様によっても、教員は各学習者の受講状態及び警告中の処理があるか否かを正確に把握することができる。 Further, the display mode of the seat icon 22 is not limited to this. For example, in the same situation as the example of FIG. 8, as shown in FIG. 9, the seat icon 22 → no operation icon 50 → sound output icon 51 Each icon can be displayed as one cycle while being switched at a predetermined time interval (for example, one second interval). Even with this display mode, the teacher can accurately grasp whether or not each learner is attending and whether there is a warning process.

次に、教員が表示態様の変化した座席アイコン２２を選択する（ステップＳ１０５；Ｙｅｓ）と、画面表示制御部１１０は、教員ディスプレイ１１８上に警告発報ウインドウ（警告出力画面）６０を表示する（ステップＳ１０６）。警告発報ウインドウ６０は、図１０に示すように、上記した監視通知アイコン３０と、監視通知タブ６１と、警告発報ボタン（警告アイコン）７０とを含む。 Next, when the teacher selects the seat icon 22 whose display mode has changed (step S105; Yes), the screen display control unit 110 displays a warning notification window (warning output screen) 60 on the teacher display 118 ( Step S106). As shown in FIG. 10, the warning notification window 60 includes the monitoring notification icon 30, the monitoring notification tab 61, and a warning notification button (warning icon) 70 described above.

監視通知タブ６１は、デスクトップタブ６２、音声波形タブ６３、カメラ画像タブ６４及び心拍波形タブ６５を有し、これら各タブには画像情報の表示エリア６６が設けられている。これらの各タブの表示切替は、教員の選択によって自在に行うことができる。画面表示制御部１１０は、監視通知の内容に応じた画像情報を各タブの表示エリア６６に表示する。例えば、「操作なし」の監視通知の場合には、デスクトップタブ６２の表示エリア６６に、学習者ディスプレイ１３８に表示中の現在のデスクトップ画像を表示する。また、「音声入力なし」の監視通知の場合には、音声波形タブ６３の表示エリア６６に、数分前から現在までの学習者端末１３の音声入出力部１３５に入力された音声情報の波形画像を表示する。また、「目線なし」または「唇動作なし」の監視通知の場合には、カメラ画像タブ６４の表示エリア６６に、学習者端末１３の画像入力部１３４に入力された学習者の顔画像が表示される。また、「睡眠時心拍」の監視通知の場合には、心拍波形タブ６５の表示エリア６６に、数分前から現在まで、マウス１４２またはウェアラブル端末１４４で計測された学習者の心拍情報の心拍波形画像を表示する。このように、監視通知の内容に応じた画像情報を各タブの表示エリア６６に表示するため、教員は、監視通知の内容が誤検出であるか否かを判断することができる。警告発報ボタン７０は、対象の学習者端末１３（学習者）に対して警告の出力処理を実行するためのボタンであり、警告表示ボタン７１、音声出力ボタン７２、操作ロックボタン７３、振動通知ボタン７４を含む。表示する警告発報ボタン７０の種類は、４種類に限定されるものではなく、また、表示する警告発報ボタンを選択できるようにしてもよい。 The monitoring notification tab 61 includes a desktop tab 62, an audio waveform tab 63, a camera image tab 64, and a heartbeat waveform tab 65. Each tab has an image information display area 66. The display switching of each tab can be freely performed according to the selection of the teacher. The screen display control unit 110 displays image information corresponding to the contents of the monitoring notification in the display area 66 of each tab. For example, in the case of monitoring notification of “no operation”, the current desktop image being displayed on the learner display 138 is displayed in the display area 66 of the desktop tab 62. In the case of monitoring notification of “no voice input”, the waveform of the voice information input to the voice input / output unit 135 of the learner terminal 13 from several minutes ago to the present in the display area 66 of the voice waveform tab 63. Display an image. In the case of a monitoring notification of “no line of sight” or “no lip movement”, the face image of the learner input to the image input unit 134 of the learner terminal 13 is displayed in the display area 66 of the camera image tab 64. Is done. In the case of monitoring notification of “sleep heart rate”, the heart rate waveform of the learner's heart rate information measured with the mouse 142 or the wearable terminal 144 from a few minutes ago to the present is displayed in the display area 66 of the heart rate waveform tab 65. Display an image. As described above, since the image information corresponding to the content of the monitoring notification is displayed in the display area 66 of each tab, the teacher can determine whether or not the content of the monitoring notification is a false detection. The warning notification button 70 is a button for executing warning output processing for the target learner terminal 13 (learner), and includes a warning display button 71, a voice output button 72, an operation lock button 73, and vibration notification. A button 74 is included. The types of warning notification buttons 70 to be displayed are not limited to four types, and the warning notification buttons to be displayed may be selectable.

次に、教員が警告発報ボタン７０のいずれかを選択して操作した（ステップＳ１０７；Ｙｅｓ）場合、警告情報出力部１１７は、選択された警告情報を生成し、この警告情報を対象の学習者端末１３に出力する警告処理を行う(ステップＳ１０８)。さらに、画面表示制御部１１０は、対象の学習者端末１３に対応する座席アイコン２２上に警告処理中アイコン４０を表示させて処理を終了する。なお、本実施形態では、警告処理後は、警告発報ボタン７０の選択されたボタンの色を明るくハイライトして警告処理中であることを明示する。また、本実施形態では、教員が警告発報ボタン７０を再度操作すると警告処理が終了するものとする。 Next, when the teacher selects and operates one of the warning notification buttons 70 (step S107; Yes), the warning information output unit 117 generates the selected warning information, and learns the warning information as a target. A warning process to be output to the person terminal 13 is performed (step S108). Further, the screen display control unit 110 displays the warning processing icon 40 on the seat icon 22 corresponding to the target learner terminal 13 and ends the process. In this embodiment, after the warning process, the color of the selected button of the warning issue button 70 is highlighted brightly to clearly indicate that the warning process is being performed. Further, in the present embodiment, it is assumed that the warning process ends when the teacher operates the warning notification button 70 again.

上記した警告処理は、図１１に示す手順によって実行される。制御部１１３は、警告表示ボタン７１が選択されたか否かを判別し（ステップＳ３００）、警告表示ボタン７１が選択されなければ（ステップＳ３００；Ｎｏ）、処理をステップＳ３０２に移行する。また、警告表示ボタン７１が選択された場合（ステップＳ３００；Ｙｅｓ）には、警告情報出力部１１７は、予め設定された警告表示情報（警告情報）を対象の学習者端末１３に出力し、この学習者端末１３の画面表示制御部１３０は、学習者ディスプレイ１３８に警告表示情報に基づく警告文言を表示する（ステップＳ３０１）。警告表示情報は、図１２に示すように、例えば、警告表示ボタン７１に設けられたプルダウンを選択することにより設定することができる。この図１２の例では、警告表示ボタン７１を操作（右クリックなど）すると、フォント７１０、ウインドウ位置７１１、ウインドウサイズ７１２及び表示文字列７１３が表示され、表示文字列７１３にカーソル７５を合わせると、更に「授業に集中！」７１３０、「静かに！」７１３１・・などの文字列が表示される。教員は、授業内容に応じて各項目を選択することにより、警告表示情報が設定される。 The warning process described above is executed according to the procedure shown in FIG. The control unit 113 determines whether or not the warning display button 71 is selected (step S300). If the warning display button 71 is not selected (step S300; No), the process proceeds to step S302. When the warning display button 71 is selected (step S300; Yes), the warning information output unit 117 outputs warning display information (warning information) set in advance to the target learner terminal 13, and this The screen display control unit 130 of the learner terminal 13 displays a warning message based on the warning display information on the learner display 138 (step S301). The warning display information can be set, for example, by selecting a pull-down provided on the warning display button 71 as shown in FIG. In the example of FIG. 12, when the warning display button 71 is operated (right click or the like), the font 710, the window position 711, the window size 712, and the display character string 713 are displayed. Furthermore, character strings such as “Concentrate on class!” 7130 and “Be quiet!” 7131... Are displayed. The teacher displays the warning display information by selecting each item according to the lesson content.

次に、制御部１１３は、音声出力ボタン７２が選択されたか否かを判別し（ステップＳ３０２）、音声出力ボタン７２が選択されなければ（ステップＳ３０２；Ｎｏ）、処理をステップＳ３０４に移行する。また、音声出力ボタン７２が選択された場合（ステップＳ３０２；Ｙｅｓ）には、警告情報出力部１１７は、予め設定された警告音情報（警告情報）を学習者端末１３に出力し、この学習者端末１３の音声入出力部１３５は、ヘッドセット１４０に警告音情報に基づく警告音声を出力する（ステップＳ３０３）。警告音情報は、上記した警告表示情報と同様に出力音声ファイルなどを設定することができる。 Next, the control unit 113 determines whether or not the audio output button 72 has been selected (step S302). If the audio output button 72 has not been selected (step S302; No), the process proceeds to step S304. When the voice output button 72 is selected (step S302; Yes), the warning information output unit 117 outputs warning sound information (warning information) set in advance to the learner terminal 13, and this learner The voice input / output unit 135 of the terminal 13 outputs a warning voice based on the warning sound information to the headset 140 (step S303). As the warning sound information, an output audio file or the like can be set similarly to the warning display information described above.

次に、制御部１１３は、操作ロックボタン７３が選択されたか否かを判別し（ステップＳ３０４）、操作ロックボタン７３が選択されなければ（ステップＳ３０４；Ｎｏ）、処理をステップＳ３０６に移行する。また、操作ロックボタン７３が選択された場合（ステップＳ３０４；Ｙｅｓ）には、警告情報出力部１１７は、予め設定された操作ロック情報（警告情報）を学習者端末１３に出力し、この学習者端末１３の制御部１３３は、キーボード１４１及びマウス１４２による端末操作を無効化する（ステップＳ３０５）。操作ロック情報は、上記した警告表示情報と同様に、操作ロックの対象機器（例えばキーボード１４１やマウス１４２）を設定することができる。 Next, the control unit 113 determines whether or not the operation lock button 73 has been selected (step S304). If the operation lock button 73 has not been selected (step S304; No), the process proceeds to step S306. When the operation lock button 73 is selected (step S304; Yes), the warning information output unit 117 outputs the preset operation lock information (warning information) to the learner terminal 13, and this learner The control unit 133 of the terminal 13 invalidates the terminal operation using the keyboard 141 and the mouse 142 (step S305). The operation lock information can set the target device (for example, the keyboard 141 and the mouse 142) of the operation lock, similarly to the warning display information described above.

次に、制御部１１３は、振動通知ボタン７４が選択されたか否かを判別し（ステップＳ３０６）、振動通知ボタン７４が選択されなければ（ステップＳ３０６；Ｎｏ）、処理をそのまま終了する。また、振動通知ボタン７４が選択された場合（ステップＳ３０６；Ｙｅｓ）には、警告情報出力部１１７は、予め設定された警告振動情報（警告情報）を学習者端末１３に出力し、この学習者端末１３の制御部１３３は、マウス１４２及びウェアラブル端末１４４の少なくとも一方を振動させてバイブレーション通知する（ステップＳ３０７）。警告振動情報は、上記した警告表示情報と同様に、振動させる対象機器（例えば、マウス１４２やウェアラブル端末１４４)を設定することができる。 Next, the control unit 113 determines whether or not the vibration notification button 74 has been selected (step S306), and if the vibration notification button 74 has not been selected (step S306; No), the process ends. When the vibration notification button 74 is selected (step S306; Yes), the warning information output unit 117 outputs warning vibration information (warning information) set in advance to the learner terminal 13, and this learner The control unit 133 of the terminal 13 vibrates and notifies at least one of the mouse 142 and the wearable terminal 144 (step S307). The warning vibration information can set a target device (for example, the mouse 142 or the wearable terminal 144) to be vibrated, similarly to the warning display information described above.

以上、説明したように、本実施形態に係る学習システム１０は、ネットワーク１５を介して接続される複数台の学習者端末１３と教員端末１１とを備え、学習者端末１３は、それぞれ学習者の受講状態を監視するための監視情報を取得する監視情報取得部１３７と、取得した監視情報に基づく監視通知を教員端末１１に送信する通信部１３１と、を備え、教員端末１１は、複数の学習者端末１３に対応する座席アイコン２２を教員ディスプレイ１１８に一覧表示し、かつ、学習者端末１３から送信された監視通知を受信した場合に、受信した監視通知の内容に応じて該学習者端末１３に対応する座席アイコン２２の表示態様を変化させて表示する画面表示制御部１１０と、複数種類の警告発報ボタン７０が表示された警告発報ウインドウ６０における教員の選択に基づいて、対象の学習者端末１３に選択された警告情報を出力する警告情報出力部１１７と、を備える。この構成によれば、画面表示制御部１１０は、学習者端末１３から送信された監視通知を受信した場合に、受信した監視通知の内容に応じて該学習者端末１３に対応する座席アイコン２２の表示態様を変化させて表示するため、各学習者の受講状態を正確に把握することができる。さらに、警告情報出力部１１７は、複数種類の警告発報ボタン７０が表示された警告発報ウインドウ６０における教員の選択に基づいて、対象の学習者端末１３に選択された警告情報を出力するため、監視通知に基づく警告を出力するか否かの最終判断を教員に委ねることができ、誤った判断による警告の出力を防止して学習者の学習意欲の低下を抑制することができる。 As described above, the learning system 10 according to the present embodiment includes the plurality of learner terminals 13 and the teacher terminal 11 connected via the network 15, and each of the learner terminals 13 is a learner's terminal. The teacher terminal 11 includes a monitoring information acquisition unit 137 that acquires monitoring information for monitoring the attendance state, and a communication unit 131 that transmits a monitoring notification based on the acquired monitoring information to the teacher terminal 11. When the seat icon 22 corresponding to the learner terminal 13 is displayed in a list on the teacher display 118 and the monitoring notification transmitted from the learner terminal 13 is received, the learner terminal 13 is selected according to the contents of the received monitoring notification. The screen display control unit 110 that changes the display mode of the seat icon 22 corresponding to the display, and a warning notification window 60 in which a plurality of types of warning notification buttons 70 are displayed. Provided definitive based on the selection of teachers, and warning information output unit 117 outputs warning information selected by the learner terminal 13 of the subject, the. According to this configuration, when receiving the monitoring notification transmitted from the learner terminal 13, the screen display control unit 110 sets the seat icon 22 corresponding to the learner terminal 13 according to the content of the received monitoring notification. Since the display mode is changed and displayed, it is possible to accurately grasp the attendance state of each learner. Further, the warning information output unit 117 outputs the selected warning information to the target learner terminal 13 based on the selection of the teacher in the warning notification window 60 on which a plurality of types of warning notification buttons 70 are displayed. Therefore, it is possible to leave the final determination as to whether or not to output a warning based on the monitoring notification to the teacher, and it is possible to prevent a warning from being output due to an incorrect determination and to suppress a decrease in learning motivation of the learner.

また、本実施形態によれば、画面表示制御部１１０は、表示態様を変化させた座席アイコン２２の選択操作に基づいて警告発報ウインドウ６０を教員ディスプレイ１１８に表示するため、対象の学習者端末１３に選択された警告情報を容易に出力することができる。 Further, according to the present embodiment, the screen display control unit 110 displays the warning notification window 60 on the teacher display 118 based on the selection operation of the seat icon 22 whose display mode has been changed. The warning information selected in 13 can be easily output.

また、本実施形態によれば、監視情報取得部１３７は、複数種類の監視情報のうち、選択設定された監視情報を取得するため、授業内容に合った監視を行うことができ、各学習者の受講状態を正確に把握することができる。 Moreover, according to this embodiment, since the monitoring information acquisition part 137 acquires the monitoring information selected and set among multiple types of monitoring information, it can monitor according to the lesson content, and each learner It is possible to accurately grasp the attendance status.

また、本実施形態によれば、警告情報出力部は、警告情報として学習者による対象の学習者端末１３の操作を無効とする操作ロック情報を少なくとも出力するため、学習者への警告を有効に実行することができる。 In addition, according to the present embodiment, the warning information output unit outputs at least operation lock information that invalidates the operation of the target learner terminal 13 by the learner as the warning information, thereby enabling the warning to the learner. Can be executed.

さて、本発明に係る学習システムについて説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。例えば、上記した警告処理を選択して実行した後、所定時間後に終了するかを設定しておき、警告処理を自動的に終了してもよい。また、教員は座席アイコン２２を選択することなく、教員端末１１が特定の監視通知を受信した場合には、自動的に警告発報ウインドウを表示し、所定時間後に、警告情報出力部１１７が警告対象となる学習者端末１３あるいはすべての学習者端末１３に監視通知に対応する警告情報を出力してもよい。この場合には、警告発報ウインドウ６０に自動警告キャンセルボタンを表示して、所定時間内における警告処理の取消も可能にすることが好ましい。ここでいう所定時間とは、特定の監視通知を受信してから警告発報までの待機時間を示し、待機時間は任意に設定できるようにするのが望ましい。 Although the learning system according to the present invention has been described, the present invention may be implemented in various different forms other than the above-described embodiments. For example, after the above warning process is selected and executed, whether to end after a predetermined time is set, and the warning process may be automatically ended. When the teacher terminal 11 receives a specific monitoring notification without selecting the seat icon 22, the teacher automatically displays a warning notification window, and the warning information output unit 117 warns after a predetermined time. Warning information corresponding to the monitoring notification may be output to the target learner terminal 13 or all the learner terminals 13. In this case, it is preferable to display an automatic warning cancel button in the warning notification window 60 so that the warning process can be canceled within a predetermined time. Here, the predetermined time indicates a waiting time from when a specific monitoring notification is received until a warning is issued, and it is desirable that the waiting time can be arbitrarily set.

また、上記した実施形態の学習システムの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the learning system of the above-described embodiment is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.

学習システムの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記した各実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現することができる。 The configuration of the learning system is realized by, for example, a program loaded into a memory as software. In each of the above-described embodiments, the functional blocks realized by cooperation of these hardware or software have been described. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

１０学習システム
１１教員端末
１３学習者端末
１５ネットワーク
２２座席アイコン
２４監視設定ウインドウ
３０監視通知アイコン
４０警告処理中アイコン
６０警告発報ウインドウ（警告出力画面）
７０警告発報ボタン（警告アイコン）
１１０、１３０画面表示制御部
１１１通信部
１１２、１３２記憶部
１１３、１３３制御部
１１４、１３４画像入力部
１１５、１３５音声入出力部
１１６操作入力部
１１７警告情報出力部
１１８教員ディスプレイ
１１９、１３９カメラ
１２０、１４０ヘッドセット
１２１、１４１キーボード
１２２、１４２マウス
１３１通信部（送受信部）
１３６操作入出力部
１３７監視情報取得部
１３８学習者ディスプレイ
１４２Ａ、１４４Ａ心拍センサ
１４２Ｂ、１４４Ｂ振動モータ
１４３判定部
１４４ウェアラブル端末 DESCRIPTION OF SYMBOLS 10 Learning system 11 Teacher terminal 13 Learner terminal 15 Network 22 Seat icon 24 Monitoring setting window 30 Monitoring notification icon 40 Warning processing icon 60 Warning notification window (warning output screen)
70 Alert button (warning icon)
110, 130 Screen display control unit 111 Communication unit 112, 132 Storage unit 113, 133 Control unit 114, 134 Image input unit 115, 135 Audio input / output unit 116 Operation input unit 117 Warning information output unit 118 Teacher display 119, 139 Camera 120 140 Headset 121, 141 Keyboard 122, 142 Mouse 131 Communication unit (transmission / reception unit)
136 Operation Input / Output Unit 137 Monitoring Information Acquisition Unit 138 Learner Display 142A, 144A Heart Rate Sensor 142B, 144B Vibration Motor 143 Determination Unit 144 Wearable Terminal

Claims

With multiple learner terminals and teacher terminals connected via a network,
The learner terminal includes a monitoring information acquisition unit that acquires monitoring information for monitoring a learner's attendance state, and a transmission unit that transmits a monitoring notification based on the acquired monitoring information to the teacher terminal. ,
When the teacher terminal displays a list of seat icons corresponding to the plurality of learner terminals on the teacher display and receives the monitor notification transmitted from the learner terminal, the teacher terminal displays the contents of the received monitor notification. The target learner is selected based on the screen display control unit that changes the display mode of the seat icon corresponding to the learner terminal and the selection of the teacher on the warning output screen on which a plurality of types of warning icons are displayed. And a warning information output unit that outputs the selected warning information to the terminal.

The learning system according to claim 1, wherein the screen display control unit displays the warning output screen on a teacher display based on a selection operation of the seat icon whose display mode is changed.

The learning system according to claim 1, wherein the monitoring information acquisition unit acquires monitoring information selected and set from a plurality of types of monitoring information.

The said warning information output part outputs at least the operation lock information which invalidates operation of the target learner terminal by a learner as said warning information, The Claim 1 characterized by the above-mentioned. Learning system.

Connect multiple learner terminals and teacher terminals via a network,
Causing the learner terminal to execute a monitoring information obtaining step for obtaining monitoring information for monitoring a learner's attendance state and a sending step for sending a monitoring notification based on the obtained monitoring information to the teacher terminal. A learner terminal control program;
When a list of seat icons corresponding to the plurality of learner terminals is displayed on the teacher display and the monitoring notification transmitted from the learner terminal is received, the learner is selected according to the contents of the received monitoring notification. Warning information selected for the target learner's terminal based on the screen display step of changing the display mode of the seat icon corresponding to the terminal and the selection of the teacher on the warning output screen displaying a plurality of types of warnings A teacher information control step for causing the teacher terminal to execute a warning information output step for outputting
A learning system program characterized by comprising: