JP2023003517A - Achievement degree determination program - Google Patents

Achievement degree determination program Download PDF

Info

Publication number
JP2023003517A
JP2023003517A JP2021104636A JP2021104636A JP2023003517A JP 2023003517 A JP2023003517 A JP 2023003517A JP 2021104636 A JP2021104636 A JP 2021104636A JP 2021104636 A JP2021104636 A JP 2021104636A JP 2023003517 A JP2023003517 A JP 2023003517A
Authority
JP
Japan
Prior art keywords
information
degree
answer
user
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021104636A
Other languages
Japanese (ja)
Inventor
綾子 澤田
Ayako Sawada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Assest Co Ltd
Original Assignee
Assest Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Assest Co Ltd filed Critical Assest Co Ltd
Priority to JP2021104636A priority Critical patent/JP2023003517A/en
Publication of JP2023003517A publication Critical patent/JP2023003517A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

To determine an achievement degree of a user who takes a lecture about an educational content.SOLUTION: A concentration degree determination program comprises: an information acquisition step of acquiring answer content information related to an answer content of a user to a question presented in an educational content; and a determination step of determining an achievement degree of the user, in reference to a relation between reference answer content information related to the answer content of the user to the question presented in the educational content and the achievement degree of the user and on the basis of the reference answer content information in accordance with the answer content information acquired in the information acquisition step. The information acquisition step acquires answer content information in which answer contents are categorized on the basis of, feature quantities of analysis images obtained by analyzing image data imaged by an information display device mounted on the head of the user, with the use of a deep learning technique. The determination step refers to the relation between the reference answer content information in which the answer contents are categorized on the basis of, the feature quantities of the analysis images and the achievement degree of the user.SELECTED DRAWING: Figure 1

Description

本発明は、教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムに関する。 The present invention relates to an achievement level determination program for determining the level of achievement of a user who has taken educational content.

近年アダプティブラーニングと呼ばれる教育システムが普及している。アダプティブラーニングは、理解度や興味等に合わせて学習者としてのユーザ一人ひとりにカスタマイズした学習コンテンツを提供するものである。このアダプティブラーニングでは、学習者の得意分野や不得意分野、或いは間違いやすい傾向を分析することができる。また、分析した結果、最適な教育コンテンツやテストの問題を選択してユーザに表示する。これにより、ユーザは自分のレベルに合った教育コンテンツを受講し、テスト問題を解くことができ、学習効率を高めることができ、しかも自分のレベルに合ったテスト問題を解くことで、自信が生まれ、学習意欲の向上にもつながる。 In recent years, an educational system called adaptive learning has spread. Adaptive learning provides learning content customized for each user as a learner according to their level of understanding and interests. This adaptive learning can analyze a learner's strengths and weaknesses, or tendency to make mistakes. Also, as a result of the analysis, the most suitable educational contents and test questions are selected and displayed to the user. As a result, users can take educational content that matches their level, solve test questions, and improve their learning efficiency. , leading to increased motivation to learn.

しかしながら、このアダプティブラーニングの教育コンテンツを受けているユーザが果たしてやる気があるのか、集中しているのか分からない場合がある。仮にユーザが集中力を欠いている場合、学習の能率が大幅に低下してしまう。またユーザが集中していないのは、ユーザに提供している教育コンテンツがそもそもユーザのレベルに合っていなかったり、ユーザにとって興味の湧くものでは無い場合も考えられ、かかる場合にはユーザに提供する教育コンテンツを変更して表示する必要がある。 However, there are cases where it is not known whether the user who is receiving the educational content of this adaptive learning is motivated or concentrated. If the user lacks concentration, the efficiency of learning will be greatly reduced. In addition, it is conceivable that the user is not concentrating because the educational content provided to the user does not match the user's level in the first place, or is not of interest to the user. Educational content needs to be modified and displayed.

しかしながら、教育コンテンツを受講するユーザの集中力を測る方法が従来より提案されていないのが現状であった。 However, the current situation is that no method for measuring the concentration of a user who takes educational content has been proposed.

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムを提供することにある。 Accordingly, the present invention has been devised in view of the above-described problems, and its object is to provide an achievement level determination program for determining the level of achievement of a user who attends educational content.

本発明は、教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムにおいて、教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムにおいて、教育コンテンツ内において出題される問題に対する上記ユーザの解答内容に関する解答内容情報を取得する情報取得ステップと、教育コンテンツ内において出題される問題に対するユーザの解答内容に関する参照用解答内容情報と、ユーザの達成度との連関性を参照し、上記情報取得ステップにおいて取得した解答内容情報に応じた参照用解答内容情報に基づき、ユーザの達成度を判別する判別ステップとを有し、上記情報取得ステップは、ユーザの頭部に装着された情報表示装置により撮像した画像データをディープラーニング技術を利用して解析した解析画像の特徴量に基づいて解答内容を類型化した解答内容情報を取得し、上記判別ステップは、解析画像の特徴量に基づいて解答内容を類型化した上記参照用解答内容情報と、ユーザの達成度との連関性を参照することをコンピュータに実行させることを特徴とする。 The present invention provides an achievement level determination program for determining the level of achievement of a user who attends an educational content, and an achievement level determination program for determining the level of achievement of a user who takes an educational content. With reference to the information acquisition step of acquiring answer content information related to the user's answer content, the reference answer content information related to the user's answer content to the question set in the educational content, and the association with the user's achievement level, the above a determination step of determining the degree of achievement of the user based on reference answer content information corresponding to the answer content information acquired in the information acquisition step, wherein the information acquisition step comprises an information display worn on the user's head; Obtaining answer content information that categorizes the answer content based on the feature amount of the analysis image obtained by analyzing the image data captured by the device using deep learning technology, and the determining step is based on the feature amount of the analysis image. The method is characterized in that the computer is caused to refer to the relationship between the reference answer content information, which is a typed answer content, and the user's achievement level.

特段のスキルが無くても、教育コンテンツを受講するユーザの達成度を高精度に判別することが可能となる。 Even if there is no special skill, it is possible to determine the degree of achievement of the user who takes the educational content with high accuracy.

本発明を適用したシステムの全体構成を示すブロック図である。1 is a block diagram showing the overall configuration of a system to which the present invention is applied; FIG. 探索装置の具体的な構成例を示す図である。It is a figure which shows the specific structural example of a search apparatus. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention. 本発明の動作について説明するための図である。It is a figure for demonstrating the operation|movement of this invention.

以下、本発明を適用した達成度判別プログラムについて、図面を参照しながら詳細に説明をする。 Hereinafter, an achievement degree determination program to which the present invention is applied will be described in detail with reference to the drawings.

図1は、集中度判別プログラムが実装される集中度判別システム1の全体構成を示すブロック図である。集中度判別システム1は、情報取得部9と、情報取得部9に接続された判別装置2と、判別装置2に接続されたデータベース3とを備えている。 FIG. 1 is a block diagram showing the overall configuration of a concentration determination system 1 in which a concentration determination program is installed. The concentration degree discrimination system 1 includes an information acquisition section 9 , a discrimination device 2 connected to the information acquisition section 9 , and a database 3 connected to the discrimination device 2 .

情報取得部9は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部9は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部9は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部9は、作業者の頭部又は眼鏡に一体又は部分的に装着されるユーザ端末や、スマートフォン、タブレット型端末、ウェアラブル端末、デジタルカメラ、ビデオカメラ、その他携帯端末等、映像情報(動画像又は静止画像)を取得できるカメラ等で構成されていてもよい。ユーザの頭部又は眼鏡に一体又は部分的に装着されるユーザ端末の例としては、撮像する映像情報に基づいて生成された情報を透過状態で表示する表示部を備えるものであってもよい。ユーザ端末は、例えば、HMD(ヘッドマウントディスプレイ)の1種類であるホロレンズ(登録商標)であってもよい。ユーザは、ユーザ端末の表示情報をヘッドマウントディスプレイ又はホロレンズ等のような、透過して表示する表示部を介して、作業エリアや評価対象の機器を透過して確認することができる。これにより、VRやAR等を実現できる。情報取得部9は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部9は、後述する判別装置2と一体化されていてもよい。情報取得部9は、検知した情報を判別装置2へと出力する。また情報取得部9は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部9は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部9は、天候についてのータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部9は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また身体センサは人間のみならず動物の生体データを取得するものであってもよい。また情報取得部9は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部9は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。 The information acquisition unit 9 is a device for a person using this system to input various commands and information. The information acquisition unit 9 is not limited to a device for inputting text information, and may be configured by a device such as a microphone that can detect voice and convert it into text information. Further, the information acquisition unit 9 may be configured as an imaging device capable of capturing an image, such as a camera. The information acquisition unit 9 acquires video information (video image or still image) may be configured with a camera or the like. An example of a user terminal that is integrally or partially worn on the user's head or eyeglasses may include a display unit that displays information generated based on captured image information in a transparent state. The user terminal may be, for example, Hololens (registered trademark), which is one type of HMD (head mounted display). The user can check the display information of the user terminal through the work area and the device to be evaluated through a transparent display unit such as a head-mounted display or HoloLens. This makes it possible to realize VR, AR, and the like. The information acquisition unit 9 may be configured by a scanner having a function of recognizing a character string from a paper document. Further, the information acquisition unit 9 may be integrated with the discriminating device 2 to be described later. The information acquisition unit 9 outputs the detected information to the discrimination device 2 . Further, the information acquisition unit 9 may be configured by means for specifying position information by scanning map information. Further, the information acquisition unit 9 may be configured with an illuminance sensor for measuring a temperature sensor, a humidity sensor, and a wind direction sensor. The information acquisition unit 9 may also be configured with a communication interface that acquires weather data from the Meteorological Agency or a private weather forecast company. The information acquisition unit 9 may be composed of a body sensor worn on the body to detect body data, and the body sensor detects, for example, body temperature, heart rate, blood pressure, number of steps, walking speed, and acceleration. It may be configured with a sensor for Also, the body sensor may acquire biological data not only of humans but also of animals. The information acquisition unit 9 may be configured as a device that acquires information such as drawings by scanning or reading from a database. The information acquisition unit 9 may be configured by an odor sensor that detects odors and scents in addition to these.

データベース3は、集中度判別を行う上で必要な様々な情報が蓄積される。集中度判別を行う上で必要な情報としては、過去に表示された教育コンテンツを視認するユーザの画像を撮像した参照用画像情報、過去に表示された教育コンテンツ内において出題される問題に対するユーザの解答内容に関する参照用解答内容情報、過去に表示された教育コンテンツ内において出題される問題に対するユーザの解答時間に関する参照用解答時間情報、過去に表示された教育コンテンツを受講するユーザの属性に関する参照用属性情報、ユーザによる過去に表示された教育コンテンツを受講する頻度に関する参照用頻度情報と、これらに対して実際に判断がなされたユーザの集中度とのデータセットが記憶されている。 The database 3 accumulates various information necessary for determining the degree of concentration. The information necessary for determining the degree of concentration includes reference image information that captures the image of the user viewing the educational content displayed in the past, and the user's response to the questions asked in the educational content displayed in the past. Reference answer content information related to answer content, reference answer time information related to the user's answer time for questions presented in educational content displayed in the past, reference related to attributes of users who take educational content displayed in the past A data set of attribute information, reference frequency information relating to the frequency of taking educational content displayed in the past by the user, and the degree of concentration of the user actually judged on these is stored.

つまり、データベース3には、このような参照用画像情報に加え、参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報の何れか1以上と、ユーザの集中度が互いに紐づけられて記憶されている。 In other words, in addition to such reference image information, the database 3 stores one or more of reference answer content information, reference answer time information, reference attribute information, and reference frequency information, and the user's degree of concentration. They are linked to each other and stored.

判別装置2は、例えば、パーソナルコンピュータ(PC)等を始めとした電子機器で構成されているが、PC以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。 The discrimination device 2 is composed of an electronic device such as a personal computer (PC), for example, but in addition to the PC, it is embodied in any other electronic device such as a mobile phone, a smartphone, a tablet terminal, a wearable terminal, etc. It may be one that is made into.

ユーザは、この判別装置2による探索解を得ることができる。また、この判別装置2がPCやタブレット端末等で構成される場合には、この判別装置2の表示画面上にユーザが受講する教育コンテンツが表示される。この教育コンテンツは、ユーザに対して提供する教育用のプログラムや講義、スライドや図表で構成される。この教育コンテンツは動画像で構成されていてもよいし、静止画像の連続で構成されていてもよい。この教育用コンテンツは、講師や教師の授業や講演を録画し、動画像コンテンツとして配信するものであってもよい。また、この教育コンテンツは幼児や小学生向けに、人気キャラクターが先生の代わりに授業をしてくれるようなもので構成されていてもよい。この教育コンテンツはデータベース3に格納されている中から読み出されるものであってもよいし、遠方に設置された図示しないデータベースからインターネット回線を通じて配信されるものであってもよい。 A user can obtain a search solution by this discriminating device 2 . Further, when the discriminating device 2 is composed of a PC, a tablet terminal, or the like, the educational content that the user takes is displayed on the display screen of the discriminating device 2 . This educational content consists of educational programs, lectures, slides, and charts provided to users. This educational content may be composed of moving images or may be composed of a series of still images. This educational content may be a lecturer or teacher's class or lecture that is recorded and distributed as moving image content. Also, this educational content may be composed of popular characters teaching classes for children and elementary school students in place of the teacher. This educational content may be read out from among those stored in the database 3, or may be distributed via the Internet line from a database (not shown) installed far away.

図2は、判別装置2の具体的な構成例を示している。この判別装置2は、判別装置2全体を制御するための制御部24と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部25と、有線通信又は無線通信を行うための通信部26と、各種判断を行う判別部27と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部28とが内部バス21にそれぞれ接続されている。さらに、この内部バス21には、実際に情報を表示するモニタとしての表示部23が接続されている。 FIG. 2 shows a specific configuration example of the discriminating device 2. As shown in FIG. This discriminating device 2 performs wired or wireless communication with a control unit 24 for controlling the entire discriminating device 2 and an operation unit 25 for inputting various control commands via operation buttons, a keyboard, or the like. A communication unit 26 for searching, a determination unit 27 for making various judgments, and a storage unit 28, represented by a hard disk or the like, for storing a program for performing a search to be executed are connected to the internal bus 21, respectively. . Further, the internal bus 21 is connected with a display unit 23 as a monitor for actually displaying information.

制御部24は、内部バス21を介して制御信号を送信することにより、判別装置2内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部24は、操作部25を介した操作に応じて各種制御用の指令を内部バス21を介して伝達する。 The control section 24 is a so-called central control unit for controlling each component mounted in the discriminating device 2 by transmitting control signals via the internal bus 21 . In addition, the control unit 24 transmits commands for various controls through the internal bus 21 according to operations through the operation unit 25 .

操作部25は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部25は、上記実行命令がユーザから入力された場合には、これを制御部24に通知する。この通知を受けた制御部24は、判別部27を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部25は、前述した情報取得部9として具現化されるものであってもよい。 The operation unit 25 is embodied by a keyboard or a touch panel, and a user inputs an execution command for executing a program. The operation unit 25 notifies the control unit 24 when the execution command is input by the user. Upon receiving this notification, the control unit 24 cooperates with each component including the determination unit 27 to execute desired processing operations. The operation unit 25 may be embodied as the information acquisition unit 9 described above.

判別部27は、探索解を判別する。この判別部27は、判別動作を実行するに当たり、必要な情報として記憶部28に記憶されている各種情報や、データベース3に記憶されている各種情報を読み出す。この判別部27は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。 The determination unit 27 determines the search solution. The determination unit 27 reads various information stored in the storage unit 28 and various information stored in the database 3 as necessary information in executing the determination operation. This determination unit 27 may be controlled by artificial intelligence. This artificial intelligence may be based on any known artificial intelligence technology.

表示部23は、制御部24による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部23は、例えば、液晶ディスプレイ(LCD)等によって実現される。 The display unit 23 is composed of a graphic controller that creates a display image based on control by the control unit 24 . The display unit 23 is implemented by, for example, a liquid crystal display (LCD).

記憶部28は、ハードディスクで構成される場合において、制御部24による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部28には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部24により読み出されて実行されることになる。 When the storage unit 28 is configured with a hard disk, predetermined information is written to each address based on the control by the control unit 24, and this information is read as necessary. The storage unit 28 also stores a program for executing the present invention. This program is read and executed by the control unit 24 .

上述した構成からなる集中度判別システム1における動作について説明をする。 The operation of the concentration degree determination system 1 configured as described above will be described.

集中度判別システム1では、例えば図3に示すように、参照用画像情報と、集中度との3段階以上の連関度が予め設定されていることが前提となる。参照用画像情報は、教育コンテンツを受講するユーザの顔の表情や動作、しぐさをカメラ等で撮像した画像である。実際に教育コンテンツは、判別装置2の表示画面を通じて表示されるものであることから、この判別装置2の表示画面を視認するユーザの顔や身体を撮像するものであればよい。 In the concentration degree determination system 1, as shown in FIG. 3, for example, it is assumed that three or more degrees of association between the reference image information and the degree of concentration are set in advance. The reference image information is an image captured by a camera or the like of the facial expressions, actions, and gestures of the user who is taking the educational content. Since the educational content is actually displayed through the display screen of the discriminating device 2 , it is sufficient to image the face and body of the user viewing the display screen of the discriminating device 2 .

ここでいう集中度は、判別装置2から流される教育コンテンツを受講するユーザがどの程度集中して受講しているかを示す度合いである。この集中度については、専門家や業者が、様々なユーザの顔の画像の表情を分析して、予め集中度を類型化し、或いはランク付けするようにしてもよい。集中度の類型化方法としては、例えば、物凄く集中している、目が活き活きしている、眠そう、退屈そう、見下している、分からなさそう、いろいろな方向に目が行っている(集中していない)等、実際の受講態度も含めた類型で構成するようにしてもよい。また集中度は、物凄く集中している場合から全く集中していない場合まで複数段階(例えば、100段階、10段階等)でランク付けしてもよい。 The degree of concentration referred to here is a degree indicating how much the user who attends the educational content streamed from the discriminating device 2 is concentrating on the course. Concerning the degree of concentration, an expert or a trader may analyze the expressions of various user's facial images to categorize or rank the degree of concentration in advance. As a method of classifying the degree of concentration, for example, the subject is extremely concentrated, the eyes are vivid, the subject is sleepy, the subject looks bored, the subject looks down, the person does not seem to understand, and the subject looks in various directions (not concentrated). It may be configured in a pattern including the actual attendance attitude, such as "No"). Also, the degree of concentration may be ranked in a plurality of stages (eg, 100 stages, 10 stages, etc.) from extremely concentrated to completely unconcentrated.

集中度は、評価者による以前の経験に基づいてそのレベルを判断してもよいし、実際に集中しているか否かユーザにアンケートを調査したり聞き取りを行い、その集中度を判断するようにしてもよい。 The degree of concentration may be determined based on previous experience by the evaluator, or may be determined by conducting a questionnaire survey or interviewing the user as to whether or not the user is actually concentrating. may

これらの参照用画像情報と集中度は、以前において学習させた特徴量に基づいて判別するようにしてもよい。このとき人工知能を活用し、ユーザの画像データと、集中度を学習させておき、実際に参照用画像情報を取得する際には、これらの学習させた画像データと照らし合わせて、その集中度を判別するようにしてもよい。 These reference image information and the degree of concentration may be determined based on previously learned feature amounts. At this time, artificial intelligence is used to learn the user's image data and the degree of concentration. may be determined.

図3の例では、入力データとして例えば参照用画像情報P01~P03であるものとする。このような入力データとしての参照用画像情報P01~P03は、出力としての集中度に連結している。この出力においては、出力解としての、集中度が表示されている。 In the example of FIG. 3, it is assumed that the input data are reference image information P01 to P03, for example. Such reference image information P01 to P03 as input data are linked to the degree of concentration as output. In this output, the degree of concentration is displayed as the output solution.

参照用画像情報は、この出力解としての集中度A~Dに対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報がこの連関度を介して左側に配列し、各集中度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報に対して、何れの集中度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報が、いかなる集中度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報から最も確からしい集中度を選択する上での的確性を示すものである。図3の例では、連関度としてw13~w19が示されている。このw13~w19は以下の表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力としての集中度と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。 The reference image information is associated with each other through three or more levels of association with the concentrations A to D as output solutions. The image information for reference is arranged on the left side through the degree of association, and each degree of concentration is arranged on the right side through the degree of association. The degree of relevance indicates the degree of concentration and degree of high relevance to the reference image information arranged on the left side. In other words, the degree of association is an index indicating to what degree of concentration each piece of reference image information is likely to be linked, and is an index for selecting the most probable degree of concentration from the reference image information. It shows accuracy. In the example of FIG. 3, w13 to w19 are shown as association degrees. These w13 to w19 are shown in 10 stages as shown in Table 1 below, and the closer to 10 points, the higher the degree of concentration and mutual relevance of each combination as an intermediate node as an output. , conversely, the closer to one point, the lower the degree of correlation between each combination as an intermediate node and the price as an output.

Figure 2023003517000002
Figure 2023003517000002

判別装置2は、このような図3に示す3段階以上の連関度w13~w19を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、その場合の集中度の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図3に示す連関度を作り上げておく。 The discrimination device 2 acquires in advance the degrees of association w13 to w19 of three or more stages shown in FIG. In other words, the discriminating device 2 accumulates past data sets to determine which of the reference image information and the degree of concentration in that case was adopted and evaluated in discriminating the actual search solution, and analyzes these. , to create the degree of association shown in FIG.

例えば、過去において撮像した参照用画像情報に対する集中度としては集中度Aが多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用画像情報との連関度が強くなる。 For example, it is assumed that the degree of concentration A is highly evaluated as the degree of concentration for reference image information captured in the past. By collecting and analyzing such data sets, the degree of association with the reference image information is strengthened.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01である場合に、過去の集中度の評価を行った結果の各種データから分析する。参照用画像情報P01である場合に、集中度Aの事例が多い場合には、この集中度の評価につながる連関度をより高く設定し、集中度Bの事例が多い場合には、この集中度の評価につながる連関度をより高く設定する。例えば参照用画像情報P01の例では、集中度Aと、集中度Cにリンクしているが、以前の事例から集中度Aにつながるw13の連関度を7点に、集中度Cにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of the reference image information P01, analysis is performed from various data obtained as a result of evaluating the degree of concentration in the past. In the case of the reference image information P01, if there are many cases of the concentration degree A, the degree of association leading to the evaluation of this concentration degree is set higher, and if there are many cases of the concentration degree B, this concentration degree set a higher degree of association leading to the evaluation of For example, in the example of the reference image information P01, the degree of concentration A and the degree of concentration C are linked. The degree of association is set to 2 points.

また、この図3に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。 Further, the degree of association shown in FIG. 3 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence.

かかる場合には、図4に示すように、入力データとして参照用画像情報が入力され、出力データとして集中度が出力され、入力ノードと出力ノードの間に少なくとも1以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力ノード又は隠れ層ノードの何れか一方又は両方において上述した連関度が設定され、これが各ノードの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。 In such a case, as shown in FIG. 4, reference image information is input as input data, a degree of concentration is output as output data, at least one or more hidden layers are provided between the input node and the output node, Machine learning may be used. Either or both of the input nodes and the hidden layer nodes are set with the above-mentioned degree of relevance, which serves as a weighting for each node, based on which the output is selected. Then, when the degree of association exceeds a certain threshold, the output may be selected.

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを、以前の評価対象のユーザの画像と実際に判別・評価した集中度とのデータセットを通じて作った後に、実際にこれから新たに集中度の判別を行う上で、上述した学習済みデータを利用して集中度を探索することとなる。かかる場合には、実際に判別対象のユーザの画像情報を新たに取得する。このとき、教育コンテンツをユーザに受講させ、その受講中のユーザの顔の表情や身体を撮像することが前提となる。この撮像は、上述した情報取得部9を介して行う。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data through a data set of the image of the user to be evaluated in the past and the actually discriminated/evaluated concentration level, in actually newly discriminating the concentration level, the above-mentioned The degree of concentration is searched for using learned data. In such a case, the image information of the user to be actually determined is newly obtained. At this time, it is premised that the user takes educational content and images the user's facial expression and body while taking the course. This imaging is performed via the information acquisition unit 9 described above.

このようにして新たに取得した画像情報に基づいて、集中度を判別する。かかる場合には、予め取得した図3(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合には、連関度を介して集中度Bがw15、集中度Cが連関度w16で関連付けられている。かかる場合には、連関度の高い集中度Bを優先して選択する。即ち、連関度が高いものほど選択の優先度を高くする。 The degree of concentration is determined based on the image information newly acquired in this way. In such a case, reference is made to the degree of association shown in FIG. 3 (Table 1), which has been acquired in advance. For example, when the newly acquired image information is the same as or similar to P02, the degree of concentration B is associated with w15 and the degree of concentration C is associated with the degree of association w16. In such a case, priority is given to the degree of concentration B, which has a high degree of association. That is, the higher the degree of association, the higher the priority of selection.

このようにして、新たに取得する画像情報から、最も好適な集中度を探索し、ユーザのみならず、教育コンテンツを提供する提供業者に通知、表示することができる。この探索結果を見ることにより、提供業者は、個々の教育コンテンツに対するユーザの集中度合を知ることができ、現状の教育コンテンツが果たしてユーザに対して最適なものであるのか、検証することが可能となる。 In this way, it is possible to search for the most suitable degree of concentration from the newly acquired image information, and notify and display it not only to the user but also to the educational content providers. By looking at this search result, the provider can know the degree of concentration of the user on each educational content, and can verify whether the current educational content is really optimal for the user. Become.

なお、上述した画像は、通常のカメラで撮像した画像以外に、スペクトル画像や超音波画像の何れか1以上を取得してもよい。かかる場合には、参照用画像情報として、取得する画像情報に応じたスペクトル画像、可視画像、超音波画像の何れか1以上を撮像しておくことが必要になる。 Note that the above-described image may be one or more of a spectral image and an ultrasonic image other than an image captured by a normal camera. In such a case, one or more of a spectral image, a visible image, and an ultrasonic image corresponding to the image information to be obtained must be captured as reference image information.

なお、3段階以上の連関度を用いることは必須ではなく、2段階からなる連関度からなる連関性を参照してもよい。2段階の連関性とは、関係しているか否か、即ち0か1かの2値(2段階)で示すものであり、図3の例でいえば、参照用画像情報P01は、集中度Bに関係しているが、集中度Aには関係していない。参照用画像情報P02は、集中度Cには関係しているが、集中度Bには関係していない、等を示すものである。これらは一般的なテンプレートや表として構成しておき、これを参照するようにしてもよい。 It should be noted that it is not essential to use three or more levels of relevance, and a relevance made up of two levels of relevance may be referred to. The two-stage association indicates whether or not there is a relationship, that is, by a binary value (two stages) of 0 or 1. In the example of FIG. It is related to B, but not to concentration A. The reference image information P02 is related to the degree of concentration C, but not related to the degree of concentration B, and the like. These may be configured as a general template or table and referred to.

図5の例では、参照用画像情報と、参照用解答内容情報との組み合わせが形成されていることが前提となる。ここで参照用解答内容情報は、教育コンテンツの中でユーザに対して質問が行われたり、問題やテストが出題されたりする場合におけるそのユーザの解答内容に関するあらゆる情報が含まれる。 In the example of FIG. 5, it is assumed that a combination of reference image information and reference answer content information is formed. Here, the reference answer content information includes all information related to the user's answer content when a question is asked to the user or a question or test is given in the educational content.

ここでいう問題は、一般的なテストのような文字列や図形で示された問題文形式のもの以外に、例えば溶接作業や機械加工の訓練用の問題として、その実際のシチュエーションを示す映像のみで表示されるものであってもよい。例えば溶接作業の問題として、溶接の出来具合が静止画又は動画として画面上に表示されているものとする。かかる場合にいかなる溶接作業をすべきかを解答として求められる場合には、そのような溶接の出来具合が表示される静止画又は動画が問題になりえる。 The questions here are not just textual questions in the form of text or graphics, such as general tests, but only images showing the actual situation, such as questions for welding work or machining training. may be displayed in For example, as a problem of welding work, it is assumed that the quality of welding is displayed on the screen as a still image or moving image. In such a case, when the question of what kind of welding operation should be performed is required as an answer, a still image or a moving image showing the progress of such welding can be a problem.

ここでいうユーザの解答内容は、問題や質問に対して予め正解が設定されている場合には、その正解に対する正答率で構成されていてもよいし、いかなる問題が正解であり、いかなる問題が不正解であるかを示すものであってもよい。また、参照用解答内容情報は、例えばユーザが小学生や幼児である場合、ユーザの身振りや手ぶりによる解答、ユーザの行動そのものによる解答である場合もある。かかる場合には、ユーザの身振りや手ぶり、行動の画像を撮像した画像データで参照用解答内容情報を構成してもよい。このような画像データを必要に応じてディープラーニング技術を利用した、解析画像の特徴量に基づいて自動判別し、解答内容を類型化してもよい。例えば、幼児が手を挙げたら、言われたことを理解したという類型に当てはめ、幼児が下を向いたら、質問に対して答えられないという類型に当てはめるようにしてもよい。 The content of the user's answer here may be composed of the rate of correct answers to the correct answers when the correct answers are set in advance for the questions or questions, or any question is the correct answer, and any question is correct. It may indicate whether the answer is incorrect. For example, if the user is an elementary school student or an infant, the answer content information for reference may be an answer based on the user's gestures or gestures, or an answer based on the user's behavior itself. In such a case, the reference answer content information may be composed of image data obtained by capturing images of the user's gestures, gestures, and actions. If necessary, such image data may be automatically discriminated based on the feature amount of the analysis image using deep learning technology, and the content of the answer may be categorized. For example, if an infant raises his/her hand, it may be applied to the pattern of understanding what was said, and if the infant looks down, it may be applied to the pattern of being unable to answer the question.

また参照用解答内容情報は、例えば数学における式の導出からなる解答の場合、タブレット端末にユーザが手書きモードで記載した数字や文字を読み取り、これをデータ化して得たものであってもよい。また参照用解答内容情報が、番号の入力や○又は×のキー入力、或いはマウスによるクリック等で解答する性質のものは、これらの入力データから取得するものであってもよい。更に参照用解答内容情報は、ユーザによる音声により解答されるものである場合、当該音声を既存の音声認識技術を通じてテキストデータに落とし込んで得るようにしてもよい。 For example, in the case of an answer consisting of derivation of a mathematical formula, the reference answer content information may be obtained by reading numbers and characters written by the user on a tablet terminal in handwriting mode and converting them into data. Also, if the reference answer content information has the property of answering by inputting a number, keying in o or x, or clicking with a mouse, etc., it may be obtained from these input data. Furthermore, if the answer is given by the user's voice, the answer content information for reference may be obtained by converting the voice into text data through existing voice recognition technology.

参照用画像情報に加えて、参照用解答内容情報を組み合わせて判断することで、集中度をより高精度に判別することができる。このため、参照用画像情報に加えて、参照用解答内容情報を組み合わせて上述した連関度を形成しておく。 By combining the reference image information and the reference answer content information for determination, the degree of concentration can be determined with higher accuracy. Therefore, in addition to reference image information, reference answer content information is combined to form the above-described degree of association.

図5の例では、入力データとして例えば参照用画像情報P01~P03、参照用解答内容情報P14~17であるものとする。このような入力データとしての、参照用画像情報に対して、参照用解答内容情報が組み合わさったものが、図5に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、集中度が表示されている。 In the example of FIG. 5, it is assumed that the input data are reference image information P01 to P03 and reference answer content information P14 to P17. An intermediate node shown in FIG. 5 is a combination of reference image information as input data and reference answer content information. Each intermediate node is also connected to an output. In this output, the degree of concentration is displayed as the output solution.

参照用画像情報と参照用解答内容情報との各組み合わせ(中間ノード)は、この出力解としての、集中度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用解答内容情報がこの連関度を介して左側に配列し、集中度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用解答内容情報に対して、集中度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用解答内容情報が、いかなる集中度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用解答内容情報から最も確からしい集中度を選択する上での的確性を示すものである。このため、これらの参照用画像情報と参照用解答内容情報の組み合わせで、最適な集中度を探索していくこととなる。 Each combination (intermediate node) of the reference image information and the reference answer content information is associated with each other through three or more levels of association with the degree of concentration as the output solution. The image information for reference and the answer content information for reference are arranged on the left side through the degree of association, and the degree of concentration is arranged on the right side through the degree of association. The degree of relevance indicates the degree of concentration and degree of relevance to the reference image information and the reference answer content information arranged on the left side. In other words, the degree of association is an index indicating the degree of concentration with which each of the reference image information and the reference answer content information is likely to be linked. This indicates the accuracy in selecting the most probable degree of concentration from the Therefore, the optimum degree of concentration is searched for by combining the reference image information and the reference answer content information.

図5の例では、連関度としてw13~w22が示されている。このw13~w22は表1に示すように10段階で示されており、10点に近いほど、中間ノードとしての各組み合わせが出力と互いに関連度合いが高いことを示しており、逆に1点に近いほど中間ノードとしての各組み合わせが出力と互いに関連度合いが低いことを示している。 In the example of FIG. 5, w13 to w22 are shown as association degrees. These w13 to w22 are shown in 10 stages as shown in Table 1. The closer to 10 points, the higher the degree of correlation between each combination as an intermediate node and the output. The closer it is, the lower the degree of correlation between each combination as an intermediate node and the output.

判別装置2は、このような図5に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と参照用解答内容情報、並びにその場合の集中度が何れが見合うものであったか、過去のデータを蓄積しておき、これらを分析、解析することで図5に示す連関度を作り上げておく。このとき、教育コンテンツの中身や質問、テストや問題に対するユーザの表情等を写した参照用画像情報や、これらに対する解答の態様を示す参照用解答内容情報との間で連関度を形成するようにしてもよい。これにより、教育コンテンツの中身や質問、テストや問題に関連付けて、新たに取得した画像情報や解答内容情報から集中度を判別することが可能となる。 The discrimination device 2 acquires in advance the degrees of association w13 to w22 of three or more stages shown in FIG. In other words, the discriminating device 2 accumulates past data as to which of the reference image information, the reference answer content information, and the degree of concentration in that case was suitable for discriminating the actual search solution. , and by analyzing these, the degree of association shown in FIG. 5 is created. At this time, the degree of association is formed between the content of the educational content, the question, the reference image information showing the user's facial expression for the test or problem, and the reference answer content information indicating the mode of answering to these. may As a result, it becomes possible to determine the degree of concentration from the newly acquired image information and answer content information in association with the contents of educational content, questions, tests, and problems.

例えば、過去にあった実際の事例における参照用画像情報が、画像データαであるものとする。また参照用解答内容情報が、ユーザが解答した式の導出βであるものとする。かかる場合に、実際にその集中度がいくらであったかを示す集中度をデータセットとして学習させ、上述した連関度という形で定義しておく。 For example, it is assumed that reference image information in an actual case in the past is image data α. It is also assumed that the reference answer content information is the derivation β of the formula answered by the user. In such a case, the degree of concentration indicating the actual degree of concentration is learned as a data set and defined in the form of the degree of association described above.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用解答内容情報P16である場合に、その集中度を過去のデータから分析する。集中度がAの事例が多い場合には、この集中度Aにつながる連関度をより高く設定し、集中度Bの事例が多く、集中度Aの事例が少ない場合には、集中度Bにつながる連関度を高くし、集中度Aにつながる連関度を低く設定する。例えば中間ノード61aの例では、集中度Aと品質Bの出力にリンクしているが、以前の事例から集中度Aにつながるw13の連関度を7点に、集中度Bにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of reference image information P01 and reference answer content information P16, the degree of concentration is analyzed from past data. When there are many cases with a concentration degree A, the degree of association leading to this concentration degree A is set higher, and when there are many cases with a concentration degree B and few cases with a concentration degree A, it leads to a concentration degree B. The degree of association is set high, and the degree of association leading to the degree of concentration A is set low. For example, in the example of the intermediate node 61a, the output of concentration A and quality B are linked. is set to 2 points.

また、この図5に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。 Further, the degree of association shown in FIG. 5 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence. In addition, the configuration related to artificial intelligence is the same as described in FIG.

図5に示す連関度の例で、ノード61bは、参照用画像情報P01に対して、参照用解答内容情報P14の組み合わせのノードであり、集中度Cの連関度がw15、集中度Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用解答内容情報P15、P17の組み合わせのノードであり、集中度Bの連関度がw17、集中度Dの連関度がw18となっている。 In the example of the degree of association shown in FIG. 5, a node 61b is a node of a combination of reference image information P01 and reference answer content information P14. degree is w16. The node 61c is a node that is a combination of the reference answer content information P15 and P17 with respect to the reference image information P02.

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから集中度を判別する際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際に集中度を判別しようとするユーザの画像情報、解答内容情報を取得する。このユーザの画像情報や解答内容情報は、教育コンテンツの中身や質問、テストや問題の出すタイミングに連動させて取得するようにしてもよい。これにより、教育コンテンツの中身や質問、テストや問題に対するユーザの表情や解答内容を互いに関連付けて集中度を導出することができる。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data, the above-described learned data will be used when actually determining the degree of concentration. In such a case, image information and answer content information of the user who actually tries to determine the degree of concentration are acquired. The user's image information and answer content information may be acquired in conjunction with the content of educational content, the timing of questions, tests, and questions. As a result, it is possible to derive the degree of concentration by associating the content of the educational content, the question, the user's facial expression and the content of the answer to the test or problem with each other.

このようにして新たに取得した画像情報、解答内容情報に基づいて、最適な集中度を探索する。かかる場合には、予め取得した図5(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、解答内容情報がP17である場合には、連関度を介してノード61dが関連付けられており、このノード61dは、集中度Cがw19、集中度Dが連関度w20で関連付けられている。かかる場合には、連関度のより高い集中度Cを最適解として選択する。 Based on the newly acquired image information and answer content information in this way, the optimum degree of concentration is searched for. In such a case, reference is made to the degrees of association shown in FIG. 5 (Table 1) that have been acquired in advance. For example, when the newly acquired image information is the same as or similar to P02 and the answer content information is P17, the node 61d is associated via the degree of association, and this The node 61d is associated with the degree of concentration C with w19 and with the degree of association D with w20. In such a case, the concentration C with a higher degree of association is selected as the optimum solution.

また、入力から伸びている連関度w1~w12の例を以下の表2に示す。 Table 2 below shows examples of degrees of association w1 to w12 extending from the input.

Figure 2023003517000003
Figure 2023003517000003

この入力から伸びている連関度w1~w12に基づいて中間ノード61が選択されていてもよい。つまり連関度w1~w12が大きいほど、中間ノード61の選択における重みづけを重くしてもよい。しかし、この連関度w1~w12は何れも同じ値としてもよく、中間ノード61の選択における重みづけは何れも全て同一とされていてもよい。 Intermediate nodes 61 may be selected based on degrees of association w1 to w12 extending from this input. In other words, the greater the degree of association w1 to w12, the heavier the weight in selecting the intermediate node 61 may be. However, the degrees of association w1 to w12 may all have the same value, and the weighting in selecting the intermediate nodes 61 may all be the same.

なお、解答内容情報及び参照用解答内容情報は、ユーザの頭部又は眼鏡に一体又は部分的に装着されるユーザ端末(情報表示装置)に設けられたカメラにより撮像された画像から得るようにしてもよい。ユーザがいかなる対象を視認しているかに応じて解答内容が形成されるケースがある。例えば溶接作業や機械加工等の各種作業の研修を行う場合、ユーザがいかなる対象を視認しているか否かで、正しく事象をチェックしているかを判別することができ、これが一つの解答内容となる。 The answer content information and the reference answer content information are obtained from images captured by a camera provided in a user terminal (information display device) that is integrally or partially worn on the user's head or eyeglasses. good too. In some cases, the content of the answer is formed depending on what object the user is visually recognizing. For example, when conducting training for various operations such as welding and machining, it is possible to determine whether the event is being checked correctly by checking what object the user is visually recognizing, and this is one answer content. .

このようなカメラにより撮像された画像の内容を解析し、これを類型化することで解答内容情報を取得する。例えば機械加工の作業の研修の場合に、視認対象が、ハンドルか、ボタンか、加工対象か、等をカメラからの画像で解析し、これらを類型化する。この類型化の過程において必要に応じて画像データについてディープラーニング技術を利用し、解析画像の特徴量に基づいて自動判別し、解答内容を類型化してもよい。例えば、ハンドルの画像であれば、正解、又はハンドルという類型に当てはめ、足元を向いたら、不正解、或いは足元という類型に当てはめるようにしてもよい。 By analyzing the content of the image captured by such a camera and classifying it, the answer content information is obtained. For example, in the case of training for machining work, an image taken from a camera is analyzed to determine whether an object to be visually recognized is a handle, a button, an object to be processed, etc., and these are categorized. In the process of this categorization, if necessary, deep learning technology may be used for the image data to automatically discriminate based on the feature amount of the analysis image, and to categorize the content of the answer. For example, if it is an image of a steering wheel, it may be applied to the correct answer or the type of the steering wheel, and if it faces the feet, it may be applied to the incorrect answer or the type of the foot.

参照用解答内容情報についても同様に、解析画像の特徴量に基づいて解答内容を類型化したもので構成してもよい。 Similarly, the answer content information for reference may be configured by categorizing the answer content based on the feature amount of the analysis image.

このような解答内容情報及び参照用解答内容情報は、ユーザの頭部又は眼鏡に一体又は部分的に装着されるユーザ端末(情報表示装置)を介して行う場合には、そのユーザ端末の画面上に文字列または映像からなる問題を表示するようにしてもよい。 When such answer content information and reference answer content information are provided via a user terminal (information display device) that is integrally or partially attached to the user's head or eyeglasses, the screen of the user terminal , a question consisting of a character string or an image may be displayed.

このとき、解答内容情報及び参照用解答内容情報を構成する解答内容は、情報表示装置の動きに応じて類型化するようにしてもよい。情報表示装置には動きセンサや加速度センサ等が実装されており、装着したユーザの頭部の動きに応じて情報表示装置の動きをこれらのセンサを通じて検知することができる。逆にこのような情報表示装置の動きを検知することで、ユーザの頭部の動きを検知することができる。このユーザの頭部の動き自体が、解答内容となる場合があるためこれに基づいて解答内容を類型化した解答内容情報、参照用解答内容情報を作り出すようにしてもよい。かかる場合には、いかなる情報表示装置の動きだった場合に、いかなる解答内容の類型を割り当てるかをあらかじめ決めておくことにより実現できる。例えばユーザの顔が横向きになった場合は、「不明」、ユーザの顔が上向きなった場合は「異なる」、ユーザの顔が下向きになった場合は「正しい」という類型であれば、それを情報表示装置を介して検出して類型に当てはめることが可能となる。 At this time, the answer content that constitutes the answer content information and the reference answer content information may be categorized according to the movement of the information display device. A motion sensor, an acceleration sensor, and the like are mounted on the information display device, and the motion of the information display device can be detected through these sensors according to the movement of the head of the user wearing the information display device. Conversely, the movement of the user's head can be detected by detecting the movement of the information display device. Since the movement of the user's head itself may be the content of the answer, it is possible to create answer content information and reference answer content information in which the content of the answer is categorized based on this. In such a case, it can be realized by determining in advance what type of answer content is to be assigned to what kind of movement of the information display device. For example, if the user's face is turned sideways, the type is "unknown", if the user's face is turned upwards, it is "different", and if the user's face is turned downwards, it is "correct". It becomes possible to detect and apply to the type through the information display device.

図6は、上述した参照用画像情報に加え、上述した参照用解答内容情報の代わりに参照用解答時間情報との組み合わせと、当該組み合わせに対する集中度との3段階以上の連関度が設定されている例を示している。 In FIG. 6, in addition to the reference image information described above, three or more levels of association are set for combinations of reference answer time information in place of the reference answer content information described above, and the degree of concentration for the combination. example.

参照用解答内容情報の代わりに説明変数として加えられるこの参照用解答時間情報は、上述した解答が出るまでの時間を示すものである。解答時間とは、質問や出題がされて、解答を完了するまでの時間とする。この解答時間が長いほどユーザは集中力を欠いているものとみなすことができる。 This reference answer time information, which is added as an explanatory variable instead of the reference answer content information, indicates the time until the above-described answer is given. The answer time is the time from when a question or question is asked until the answer is completed. It can be considered that the longer the answering time is, the less the user is concentrating.

このため、このような参照用解答時間情報に含まれる解答時間も集中力に影響を及ぼすことから、参照用画像情報と組み合わせ、連関度を通じて集中度を判別することで、判別精度を向上させることができる。 For this reason, since the answer time included in such reference answer time information also affects concentration, it is possible to improve the discrimination accuracy by combining with reference image information and discriminating the degree of concentration through the degree of association. can be done.

図6の例では、入力データとして例えば参照用画像情報P01~P03、参照用解答時間情報P18~21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用解答時間情報が組み合わさったものが、図6に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、集中度が表示されている。 In the example of FIG. 6, it is assumed that the input data are reference image information P01-P03 and reference answer time information P18-21. An intermediate node shown in FIG. 6 is a combination of reference image information as input data and reference answer time information. Each intermediate node is also connected to an output. In this output, the degree of concentration is displayed as the output solution.

参照用画像情報と参照用解答時間情報との各組み合わせ(中間ノード)は、この出力解としての、集中度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用解答時間情報がこの連関度を介して左側に配列し、集中度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用解答時間情報に対して、集中度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用解答時間情報が、いかなる集中度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用解答時間情報から最も確からしい集中度を選択する上での的確性を示すものである。 Each combination (intermediate node) of the reference image information and the reference answer time information is associated with each other through three or more levels of association with the degree of concentration as the output solution. The image information for reference and the answer time information for reference are arranged on the left side through the degree of association, and the degree of concentration is arranged on the right side through the degree of association. The degree of relevance indicates the degree of concentration and degree of relevance to the reference image information and the reference answer time information arranged on the left side. In other words, the degree of association is an index indicating the degree of concentration with which each reference image information and reference answer time information is likely to be linked. This indicates the accuracy in selecting the most probable degree of concentration from the

判別装置2は、このような図6に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用画像情報を取得する際に得た参照用解答時間情報、並びにその場合の集中度が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図6に示す連関度を作り上げておく。 The discrimination device 2 acquires in advance the degrees of association w13 to w22 of three or more stages shown in FIG. In other words, in determining the actual search solution, the determination device 2 determines which of the reference image information, the reference answer time information obtained when acquiring the reference image information, and the degree of concentration in that case is preferable. By accumulating past data and analyzing the past data, the degree of association shown in FIG. 6 is created.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用解答時間情報P20である場合に、その集中度を過去のデータから分析する。集中度Aの事例が多い場合には、この集中度がAにつながる連関度をより高く設定し、集中度がBの事例が多く、集中度がAの事例が少ない場合には、集中度がBにつながる連関度を高くし、集中度がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、集中度Aと集中度Bの出力にリンクしているが、以前の事例から集中度Aにつながるw13の連関度を7点に、集中度Bにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of reference image information P01 and reference answer time information P20, the degree of concentration is analyzed from past data. If there are many cases with a concentration degree A, the degree of association that leads to this concentration degree A is set higher, and if there are many cases with a concentration degree B and few cases with a concentration degree A The degree of association leading to B is set high, and the degree of association leading to concentration A is set low. For example, in the example of the intermediate node 61a, the outputs of concentration A and concentration B are linked. The degree is set to 2 points.

また、この図6に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。 Further, the degree of association shown in FIG. 6 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence. In addition, the configuration related to artificial intelligence is the same as described in FIG.

図6に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用解答時間情報P18の組み合わせのノードであり、集中度Cの連関度がw15、集中度Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用解答時間情報P19、P21の組み合わせのノードであり、集中度Bの連関度がw17、集中度Dの連関度がw18となっている。 In the example of the degree of association shown in FIG. 6, the node 61b is a node of a combination of the reference image information P01 and the reference answer time information P18. is w16. The node 61c is a node of a combination of the reference answer time information P19 and P21 with respect to the reference image information P02.

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから集中度の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその集中度の判別対象の画像情報と、解答時間情報とを取得する。ここで解答時間情報は、集中度を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用解答時間情報と同様である。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data, the above-described learned data will be used when actually searching for the degree of concentration. In such a case, the image information for which the degree of concentration is to be determined and the answer time information are actually obtained. Here, the answering time information is newly acquired when actually estimating the degree of concentration, and the acquisition method is the same as that for the reference answering time information described above.

このようにして新たに取得した画像情報と、解答時間情報に基づいて、最適な集中度を探索する。かかる場合には、予め取得した図6(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、解答時間情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、集中度Cがw19、集中度Dが連関度w20で関連付けられている。かかる場合には、連関度のより高い集中度Cを最適解として選択する。 Based on the image information newly acquired in this way and the answering time information, the optimum degree of concentration is searched for. In such a case, reference is made to the degrees of association shown in FIG. 6 (Table 1) that have been acquired in advance. For example, when the newly acquired image information is the same as or similar to P02 and the answer time information is the same or similar to P21, the node 61d is associated via the degree of association. This node 61d is associated with the degree of concentration C with w19 and with the degree of association D with w20. In such a case, the concentration C with a higher degree of association is selected as the optimum solution.

図7は、上述した参照用画像情報に加え、上述した参照用解答内容情報の代わりに参照用属性情報との組み合わせと、当該組み合わせに対する集中度との3段階以上の連関度が設定されている例を示している。 In FIG. 7, in addition to the reference image information described above, three or more levels of association are set for combinations of reference attribute information in place of the reference answer content information described above and concentration levels for the combinations. shows an example.

参照用解答内容情報の代わりに説明変数として加えられるこの参照用属性情報は、ユーザの年齢や学年、レベル、その教育コンテンツの受講期間、性別、現在通学している学校、居住地、社会人であれば勤務地、勤務先、勤続年数等、ユーザの属性に関するあらゆる情報を示す。このような参照用属性情報も集中度に影響を及ぼすことから、参照用画像情報と組み合わせ、連関度を通じて集中度を判別することで、判別精度を向上させることができる。 This reference attribute information, which is added as an explanatory variable instead of the reference answer content information, includes the user's age, grade, level, duration of education content, gender, current school, place of residence, and working age. Shows all information related to the user's attributes, such as place of work, place of work, years of service, etc., if any. Since such reference attribute information also affects the degree of concentration, it is possible to improve the determination accuracy by combining it with the reference image information and determining the degree of concentration through the degree of association.

図7の例では、入力データとして例えば参照用画像情報P01~P03、参照用属性情報P18~21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用属性情報が組み合わさったものが、図7に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、集中度が表示されている。 In the example of FIG. 7, it is assumed that the input data are reference image information P01-P03 and reference attribute information P18-21. An intermediate node shown in FIG. 7 is a combination of reference image information as such input data and reference attribute information. Each intermediate node is also connected to an output. In this output, the degree of concentration is displayed as the output solution.

参照用画像情報と参照用属性情報との各組み合わせ(中間ノード)は、この出力解としての、集中度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用属性情報がこの連関度を介して左側に配列し、集中度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用属性情報に対して、集中度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用属性情報が、いかなる集中度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用属性情報から最も確からしい集中度を選択する上での的確性を示すものである。 Each combination (intermediate node) of the reference image information and the reference attribute information is associated with each other through three or more levels of association with the concentration as the output solution. The image information for reference and the attribute information for reference are arranged on the left side through the degree of association, and the degree of concentration is arranged on the right side through the degree of association. The degree of relevance indicates the degree of concentration and degree of relevance to the reference image information and the reference attribute information arranged on the left side. In other words, the degree of association is an index indicating the degree of concentration with which each piece of reference image information and reference attribute information is highly likely to be linked. This indicates accuracy in selecting a probable degree of concentration.

判別装置2は、このような図7に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用画像情報を取得する際に得た参照用属性情報、並びにその場合の集中度が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図7に示す連関度を作り上げておく。 The discrimination device 2 acquires in advance the degrees of association w13 to w22 of three or more stages shown in FIG. In other words, the determination device 2 determines which of the reference image information, the reference attribute information obtained when acquiring the reference image information, and the degree of concentration in that case is preferable in determining the actual search solution. Whether or not there was, the past data is accumulated, and the degree of association shown in FIG. 7 is created by analyzing the data.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用属性情報P20である場合に、その集中度を過去のデータから分析する。集中度Aの事例が多い場合には、この集中度がAにつながる連関度をより高く設定し、集中度がBの事例が多く、集中度がAの事例が少ない場合には、集中度がBにつながる連関度を高くし、集中度がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、集中度Aと集中度Bの出力にリンクしているが、以前の事例から集中度Aにつながるw13の連関度を7点に、集中度Bにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of reference image information P01 and reference attribute information P20, the degree of concentration is analyzed from past data. If there are many cases with a concentration degree A, the degree of association that leads to this concentration degree A is set higher, and if there are many cases with a concentration degree B and few cases with a concentration degree A The degree of association leading to B is set high, and the degree of association leading to concentration A is set low. For example, in the example of the intermediate node 61a, the outputs of concentration A and concentration B are linked. The degree is set to 2 points.

また、この図7に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。 Also, the degree of association shown in FIG. 7 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence. In addition, the configuration related to artificial intelligence is the same as described in FIG.

図7に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用属性情報P18の組み合わせのノードであり、集中度Cの連関度がw15、集中度Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用属性情報P19、P21の組み合わせのノードであり、集中度Bの連関度がw17、集中度Dの連関度がw18となっている。 In the example of the degree of association shown in FIG. 7, the node 61b is a node of the combination of the attribute information for reference P18 with the image information for reference P01. It is w16. The node 61c is a node that is a combination of the reference attribute information P19 and P21 with respect to the reference image information P02.

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから集中度の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその集中度の判別対象の画像情報と、属性情報とを取得する。ここで属性情報は、集中度を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用属性情報と同様である。属性情報、参照用属性情報の取得方法は、PCやスマートフォン等へのデバイスへのキーボード入力で取得してもよい。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data, the above-described learned data will be used when actually searching for the degree of concentration. In such a case, the image information for which the degree of concentration is to be determined and the attribute information are actually obtained. Here, the attribute information is newly acquired when actually estimating the degree of concentration, and the acquisition method is the same as that for the reference attribute information described above. Attribute information and reference attribute information may be obtained by keyboard input to a device such as a PC or a smartphone.

このようにして新たに取得した画像情報と、属性情報に基づいて、最適な集中度を探索する。かかる場合には、予め取得した図7(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、属性情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、集中度Cがw19、集中度Dが連関度w20で関連付けられている。かかる場合には、連関度のより高い集中度Cを最適解として選択する。 Based on the newly acquired image information and the attribute information in this manner, the optimum degree of concentration is searched for. In such a case, reference is made to the degrees of association shown in FIG. 7 (Table 1) that have been acquired in advance. For example, when the newly acquired image information is the same as or similar to P02 and the attribute information is the same or similar to P21, the node 61d is associated via the degree of association. This node 61d is associated with the degree of concentration C with w19 and with the degree of association D with w20. In such a case, the concentration C with a higher degree of association is selected as the optimum solution.

図8は、上述した参照用画像情報に加え、上述した参照用解答内容情報の代わりに参照用頻度情報との組み合わせと、当該組み合わせに対する集中度との3段階以上の連関度が設定されている例を示している。 In FIG. 8, in addition to the reference image information described above, three or more levels of association are set for combinations of frequency information for reference instead of the answer content information for reference described above, and the degree of concentration with respect to the combination. shows an example.

参照用解答内容情報の代わりに説明変数として加えられるこの参照用頻度情報は、ユーザが教育コンテンツを受講する頻度に関するあらゆる情報である。参照用頻度情報は、例えば月又は週何回、何時間教育コンテンツを受講するのか、を示すものであってもよいし、最近サボり気味でどの程度のインターバルがあるかを示すものであってもよい。 This reference frequency information, which is added as an explanatory variable instead of the reference answer content information, is all information relating to the frequency with which the user attends educational content. The reference frequency information may indicate, for example, how many times a month or a week and how many hours the educational content is taken, or it may indicate how many intervals there are due to recent slacking. good.

図8の例では、入力データとして例えば参照用画像情報P01~P03、参照用頻度情報P18~21であるものとする。このような入力データとしての、参照用画像情報に対して、参照用頻度情報が組み合わさったものが、図8に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、集中度が表示されている。 In the example of FIG. 8, the input data are, for example, reference image information P01 to P03 and reference frequency information P18 to P21. An intermediate node shown in FIG. 8 is a combination of reference image information as such input data and reference frequency information. Each intermediate node is also connected to an output. In this output, the degree of concentration is displayed as the output solution.

参照用画像情報と参照用頻度情報との各組み合わせ(中間ノード)は、この出力解としての、集中度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用画像情報と参照用頻度情報がこの連関度を介して左側に配列し、集中度が連関度を介して右側に配列している。連関度は、左側に配列された参照用画像情報と参照用頻度情報に対して、集中度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用画像情報と参照用頻度情報が、いかなる集中度に紐付けられる可能性が高いかを示す指標であり、参照用画像情報と参照用頻度情報から最も確からしい集中度を選択する上での的確性を示すものである。 Each combination (intermediate node) of the reference image information and the reference frequency information is associated with each other through three or more levels of association with the concentration as the output solution. The image information for reference and the frequency information for reference are arranged on the left side through the degree of association, and the degree of concentration is arranged on the right side through the degree of association. The degree of relevance indicates the degree of concentration and degree of relevance to the image information for reference and the frequency information for reference arranged on the left side. In other words, the degree of association is an index indicating the degree of concentration with which each piece of reference image information and reference frequency information is highly likely to be linked. This indicates accuracy in selecting a probable degree of concentration.

判別装置2は、このような図8に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用画像情報と、参照用頻度情報、並びにその場合の集中度が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図8に示す連関度を作り上げておく。 The discrimination device 2 acquires in advance the degrees of association w13 to w22 of three or more stages shown in FIG. In other words, the discrimination device 2 accumulates past data indicating which of the reference image information, the reference frequency information, and the degree of concentration in that case was preferable when discriminating the actual search solution, By analyzing these, the degree of association shown in FIG. 8 is created.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用画像情報P01で、参照用頻度情報P20である場合に、その集中度を過去のデータから分析する。集中度Aの事例が多い場合には、この集中度がAにつながる連関度をより高く設定し、集中度がBの事例が多く、集中度がAの事例が少ない場合には、集中度がBにつながる連関度を高くし、集中度がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、集中度Aと集中度Bの出力にリンクしているが、以前の事例から集中度Aにつながるw13の連関度を7点に、集中度Bにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of reference image information P01 and reference frequency information P20, the degree of concentration is analyzed from past data. If there are many cases with a concentration degree A, the degree of association that leads to this concentration degree A is set higher, and if there are many cases with a concentration degree B and few cases with a concentration degree A The degree of association leading to B is set high, and the degree of association leading to concentration A is set low. For example, in the example of the intermediate node 61a, the outputs of concentration A and concentration B are linked. The degree is set to 2 points.

また、この図8に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。 Further, the degree of association shown in FIG. 8 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence. In addition, the configuration related to artificial intelligence is the same as described in FIG.

図8に示す連関度の例で、ノード61bは、参照用画像情報P01に対して参照用頻度情報P18の組み合わせのノードであり、集中度Cの連関度がw15、集中度Eの連関度がw16となっている。ノード61cは、参照用画像情報P02に対して、参照用頻度情報P19、P21の組み合わせのノードであり、集中度Bの連関度がw17、集中度Dの連関度がw18となっている。 In the example of the degree of association shown in FIG. 8, the node 61b is a node of a combination of the frequency information for reference P18 and the image information for reference P01. It is w16. The node 61c is a node that is a combination of the reference frequency information P19 and P21 with respect to the reference image information P02.

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから集中度の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその集中度の判別対象の画像情報と、頻度情報とを取得する。ここで頻度情報は、集中度を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用頻度情報と同様である。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data, the above-described learned data will be used when actually searching for the degree of concentration. In such a case, the image information for which the degree of concentration is to be determined and the frequency information are actually acquired. Here, the frequency information is newly acquired when actually estimating the degree of concentration, and the acquisition method is the same as that for the reference frequency information described above.

このようにして新たに取得した画像情報と、頻度情報に基づいて、最適な集中度を探索する。かかる場合には、予め取得した図8(表1)に示す連関度を参照する。例えば、新たに取得した画像情報がP02と同一かこれに類似するものである場合であって、頻度情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、集中度Cがw19、集中度Dが連関度w20で関連付けられている。かかる場合には、連関度のより高い集中度Cを最適解として選択する。 Based on the newly acquired image information and the frequency information in this way, the optimum degree of concentration is searched for. In such a case, reference is made to the degrees of association shown in FIG. 8 (Table 1) that have been acquired in advance. For example, when the newly acquired image information is the same as or similar to P02 and the frequency information is the same or similar to P21, the node 61d is associated via the degree of association. This node 61d is associated with the degree of concentration C with w19 and with the degree of association D with w20. In such a case, the concentration C with a higher degree of association is selected as the optimum solution.

上述した連関度においては、10段階評価で連関度を表現しているが、これに限定されるものではなく、3段階以上の連関度で表現されていればよく、逆に3段階以上であれば100段階でも1000段階でも構わない。一方、この連関度は、2段階、つまり互いに連関しているか否か、1又は0の何れかで表現されるものは含まれない。 In the above-mentioned degree of relevance, the degree of relevance is expressed by a 10-level evaluation, but it is not limited to this, and it may be expressed by a degree of relevance of 3 or more stages. For example, 100 steps or 1000 steps may be used. On the other hand, this degree of association does not include those expressed in two stages, that is, whether or not they are associated with each other, either 1 or 0.

上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽に集中度の判別・探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能(ニューラルネットワーク等)で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。 According to the present invention configured as described above, anyone can easily determine and search for the degree of concentration without special skill or experience. Further, according to the present invention, it is possible to judge the search solution with a higher degree of accuracy than a human being does. Furthermore, by configuring the degree of association described above with artificial intelligence (neural network, etc.) and making it learn, it is possible to further improve the discrimination accuracy.

なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報P01、P02、・・・・P15、16、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。 Since the above-described input data and output data may not be exactly the same in many cases during the learning process, information obtained by classifying these input data and output data according to type may be used. That is, the information P01, P02, . . . P15, 16, . A data set may be created between the data and the output data for learning.

なお本発明は、教育コンテンツ内において出題される問題に対する上記ユーザの解答態様に関する解答態様情報に基づいてユーザの集中度や達成度を判別するようにしてもよい。 The present invention may determine the degree of concentration and the degree of achievement of the user based on the answer mode information regarding the user's answer mode for the questions given in the educational content.

教育コンテンツ内において出題される問題に対して、ユーザが音声により解答し、或いは入力された文字列からテキストデータを取得する。かかる場合には、会話文の音声をマイクロフォンを介して受け付け、公知の音声認識技術を利用してこれをテキスト変換する。画面や紙媒体に描かれた文字列を公知の文字認識技術を利用してテキスト変換する。 Text data is acquired from a character string that a user answers by voice or an input character string to a question presented in an educational content. In such a case, the voice of the conversational sentence is received via a microphone and converted into text using a known voice recognition technology. A character string drawn on a screen or a paper medium is converted into text using a known character recognition technology.

次に、このテキストデータについて、公知の自然言語解析を行う。この自然言語解析では、形態素解析、必要に応じて構文解析を行うことにより、動詞と、これに係り受けする少なくとも単語(名詞又は名詞句、形容詞、副詞)を抽出する。例えば、テキストデータが「雪がだんだん溶けてくる」であれば、これを自然言語解析することにより、単語(名詞又は名詞句)としては、「雪」、「だんだん」を抽出し、動詞として、「溶ける」を抽出する。このような単語や動詞が解答態様に関する解答態様情報となる。この解答態様情報は、動詞と単語で構成されるのみならず、単語のみ又は動詞のみで構成されるものであってもよい。 Next, this text data is subjected to a known natural language analysis. In this natural language analysis, morphological analysis and, if necessary, syntactic analysis are performed to extract verbs and at least words (nouns or noun phrases, adjectives, adverbs) depending on the verbs. For example, if the text data is "Snow is gradually melting", natural language analysis is performed to extract "snow" and "dandan" as words (nouns or noun phrases), and as verbs, " Extract "dissolve". Such words and verbs serve as answer mode information about the answer mode. This answer mode information may be composed not only of verbs and words, but also of words only or verbs only.

次に単語、又は動詞とこれに係り受けする単語に基づいて解答態様を類型化する。この解答態様の類型は、実際に模範解答に対する適合度を示すものであってもよく、例えば単語、動詞が一言一句、模範解答との間で乖離が無い場合は、100%とし、乖離がある文字数、或いは単語数に応じて、そのパーセンテージを上下させることで類型化してもよい。また、模範解答に対する適合度以外に単語、動詞又は動詞とこれに係り受けする単語に対して予め定めた類型、例えば、良い、普通、悪い、等で示すものであってもよいし、解答態様そのものが、次の学習に対する指針を類型化したものであってもよい。 Next, the answer modes are categorized based on words, or verbs and related words. This type of answer mode may actually indicate the degree of conformity to the model answer. Depending on the number of characters or words, the percentage may be increased or decreased to categorize. Further, in addition to the suitability for the model answer, the word, verb, or verb and its dependent word may be indicated by a predetermined pattern, such as good, normal, bad, etc., or an answer mode. This itself may be a typed guideline for the next learning.

かかる場合においても同様に参照用解答態様と、ユーザの集中度との3段階以上の連関度を形成しておく。ここでいう参照用解答態様は、単語、動詞、又は動詞とこれに係り受けする単語に基づいて解答態様を類型化したものである。この参照用解答態様情報と、ユーザの集中度との3段階以上の連関度を形成しておき、取得した解答態様情報に応じた参照用解答態様に基づき、ユーザの集中度を判別する。実際の集中度の判別方法は、上述と同様であるため、以下での説明は省略する。 In such a case, three or more levels of association between the reference answer mode and the user's concentration level are similarly formed. The answer mode for reference referred to here is a categorized answer mode based on a word, a verb, or a verb and a dependent word. Three or more levels of correlation are formed between this reference answer mode information and the user's concentration level, and the user's concentration level is determined based on the reference answer mode corresponding to the acquired answer mode information. Since the method of determining the actual degree of concentration is the same as described above, the description thereof will be omitted.

このとき、単語、動詞、又は動詞とこれに係り受けする単語の特徴量に基づいて解答態様を類型化した解答態様情報を取得するようにしてもよい。ここでいう特徴量とは、以前の生徒や学生の答案を学習させることにより、単語、動詞、動詞とこれに係り受けする単語に対する、解答態様の各類型の頻度に基づいたものであってもよい。このようにして解答態様を類型化するとともに、実際に参照用解答態様情報も同様に単語、動詞、又は動詞とこれに係り受けする単語の特徴量に基づいて類型化しておく。これにより、同様に、取得した解答態様情報に応じた参照用解答態様情報に基づき、ユーザの集中度を判別することができる。 At this time, it is also possible to acquire answer mode information in which answer modes are categorized based on feature amounts of words, verbs, or verbs and words that depend on them. The feature quantity referred to here is based on the frequency of each type of answer mode for words, verbs, verbs, and words that depend on them by learning previous students and students' answers. good. In addition to categorizing the answer modes in this manner, the answer mode information for reference is similarly categorized based on the feature amounts of words, verbs, or verbs and related words. Thereby, similarly, the degree of concentration of the user can be determined based on the reference answer style information corresponding to the acquired answer style information.

なお、上述した連関度では、参照用画像情報、参照用解答態様情報に加え、参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報、の何れかとの組み合わせで構成されている場合も含まれるが、これに限定されるものではない。つまり連関度は、参照用画像情報に加え、参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報の何れか2以上との組み合わせで構成されていてもよい。また連関度は、参照用画像情報に加え、参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報の何れか1以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。また、連関度は、参照用画像情報、参照用解答態様情報に加え、参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報の何れか2以上の組み合わせで構成されていてもよい。 In addition to the image information for reference and the answer mode information for reference, the degree of association described above is composed of a combination of any of the reference answer content information, reference answer time information, reference attribute information, and reference frequency information. This includes, but is not limited to, cases where That is, the degree of association may be composed of a combination of two or more of the reference image information, the reference answer content information, the reference answer time information, the reference attribute information, and the reference frequency information. In addition to the reference image information, the degree of association is obtained by adding one or more of reference answer content information, reference answer time information, reference attribute information, reference frequency information, and other factors to this combination. A degree of association may be formed. The degree of association is composed of a combination of two or more of reference image information, reference answer mode information, reference answer content information, reference answer time information, reference attribute information, and reference frequency information. may be

いずれの場合も、その連関度の参照情報に合わせたデータの入力がなされ、その連関度を利用して集中度を求める。 In either case, data is input in accordance with the reference information of the degree of association, and the degree of concentration is obtained using the degree of association.

なお、本発明においては、求めたユーザの集中度に基づき、次に表示する教育コンテンツを選択して表示するようにしてもよい。このとき、ユーザの集中度を判別した教育コンテンツの後に、複数の選択肢があり、その選択肢毎にそれぞれ教育コンテンツが用意されている。そして、集中度を判別した結果に応じて選択肢の何れかを選択し、選択した選択肢に用意されている教育コンテンツを次に流すようにしてもよい。例えば集中力が低かった場合に選ばれる選択肢の教育コンテンツは、より集中力を高めるための気分転換的なものを含めたもので構成することも可能となる。 In the present invention, the next educational content to be displayed may be selected and displayed based on the user's degree of concentration obtained. At this time, after the educational content for which the user's degree of concentration is determined, there are a plurality of options, and an educational content is prepared for each option. Then, one of the options may be selected according to the result of determining the degree of concentration, and the educational content prepared for the selected option may be played next. For example, the educational content selected as an option when concentration is low can be configured to include content that is refreshing for improving concentration.

なお、このような教育用コンテンツを選択する場合、以下に説明するように、教育コンテンツに対する達成度を踏まえて行うようにしてもよい。 In addition, when selecting such educational content, as described below, the selection may be made based on the degree of achievement with respect to the educational content.

図9は、上述した参照用解答内容情報と、参照用解答時間情報との組み合わせと、当該組み合わせに対する達成度との3段階以上の連関度が設定されている例を示している。達成度とは、教育コンテンツにおける内容をどの程度マスターしたかを示す指標である。この達成度は、これ以外に、達成内容に基づいた様々な分析結果や、達成内容に基づいて今後どのような努力が必要かを示す努力目標、更には現状の各科目の達成度をグラフ化したものであってもよいし、科目内の単元別で達成度をグラフ化したものであってもよい。 FIG. 9 shows an example in which three or more levels of association are set between the combination of the reference answer content information and the reference answer time information and the achievement level for the combination. The degree of achievement is an index indicating how much the content in the educational content has been mastered. In addition to this, this achievement level is a graph showing various analysis results based on the achievement content, effort goals that show what kind of effort is required in the future based on the achievement content, and the current achievement level of each subject. It may be a graph showing the degree of achievement for each unit in the subject.

図9の例では、入力データとして例えば参照用解答内容情報P01~P03、参照用解答時間情報P18~21であるものとする。このような入力データとしての、参照用解答内容情報に対して、参照用解答時間情報が組み合わさったものが、図9に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、達成度が表示されている。 In the example of FIG. 9, the input data are, for example, reference answer content information P01-P03 and reference answer time information P18-21. An intermediate node shown in FIG. 9 is a combination of the answer content information for reference and the answer time information for reference as such input data. Each intermediate node is also connected to an output. In this output, the degree of achievement is displayed as the output solution.

参照用解答内容情報と参照用解答時間情報との各組み合わせ(中間ノード)は、この出力解としての、達成度に対して3段階以上の連関度を通じて互いに連関しあっている。参照用解答内容情報と参照用解答時間情報がこの連関度を介して左側に配列し、達成度が連関度を介して右側に配列している。連関度は、左側に配列された参照用解答内容情報と参照用解答時間情報に対して、達成度と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用解答内容情報と参照用解答時間情報が、いかなる達成度に紐付けられる可能性が高いかを示す指標であり、参照用解答内容情報と参照用解答時間情報から最も確からしい達成度を選択する上での的確性を示すものである。 Each combination (intermediate node) of the reference answer content information and the reference answer time information is associated with each other through three or more levels of association with the achievement level as the output solution. The answer content information for reference and the answer time information for reference are arranged on the left side through the degree of association, and the achievement degree is arranged on the right side through the degree of association. The degree of relevance indicates the degree of high degree of relevance to the reference answer content information and the reference answer time information arranged on the left side. In other words, the degree of association is an index indicating the degree of achievement that each reference answer content information and reference answer time information is likely to be associated with. It indicates the accuracy in selecting the most probable degree of achievement from the time information.

判別装置2は、このような図9に示す3段階以上の連関度w13~w22を予め取得しておく。つまり判別装置2は、実際の探索解の判別を行う上で、参照用解答内容情報と、参照用解答内容情報を取得する際に得た参照用解答時間情報、並びにその場合の達成度が何れが好適であったか、過去のデータを蓄積しておき、これらを分析、解析することで図6に示す連関度を作り上げておく。 The discrimination device 2 acquires in advance the degrees of association w13 to w22 of three or more stages shown in FIG. That is, in determining an actual search solution, the determination device 2 determines which of the reference answer content information, the reference answer time information obtained when acquiring the reference answer content information, and the degree of achievement in that case. was suitable, the past data is accumulated, and the degree of association shown in FIG. 6 is created by analyzing the past data.

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用解答内容情報P01で、参照用解答時間情報P20である場合に、その達成度を過去のデータから分析する。達成度Aの事例が多い場合には、この達成度がAにつながる連関度をより高く設定し、達成度がBの事例が多く、達成度がAの事例が少ない場合には、達成度がBにつながる連関度を高くし、達成度がAにつながる連関度を低く設定する。例えば中間ノード61aの例では、達成度Aと達成度Bの出力にリンクしているが、以前の事例から達成度Aにつながるw13の連関度を7点に、達成度Bにつながるw14の連関度を2点に設定している。 This analysis may be performed by artificial intelligence. In such a case, for example, in the case of reference answer content information P01 and reference answer time information P20, the degree of achievement is analyzed from past data. If there are many cases with achievement level A, the degree of association that leads to achievement level A is set higher, and if there are many cases with achievement level B and few cases with achievement level A, The degree of association leading to B is set high, and the degree of association leading to achievement A is set low. For example, in the example of the intermediate node 61a, it is linked to the output of achievement level A and achievement level B, but from the previous example, the relevance of w13 leading to achievement level A is 7 points, and the relevance of w14 leading to achievement level B is 7 points. The degree is set to 2 points.

また、この図9に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。その他、人工知能に関する構成は、図4における説明と同様である。 Further, the degree of association shown in FIG. 9 may be composed of nodes of a neural network in artificial intelligence. That is, the weighting coefficients for the outputs of the nodes of this neural network correspond to the degrees of association described above. Moreover, it is not limited to a neural network, and may be composed of all decision-making factors that constitute artificial intelligence. In addition, the configuration related to artificial intelligence is the same as described in FIG.

図9に示す連関度の例で、ノード61bは、参照用解答内容情報P01に対して参照用解答時間情報P18の組み合わせのノードであり、達成度Cの連関度がw15、達成度Eの連関度がw16となっている。ノード61cは、参照用解答内容情報P02に対して、参照用解答時間情報P19、P21の組み合わせのノードであり、達成度Bの連関度がw17、達成度Dの連関度がw18となっている。 In the example of the degree of association shown in FIG. 9, the node 61b is a node of a combination of the answer content information for reference P01 and the answer time information for reference P18. degree is w16. The node 61c is a node that is a combination of the reference answer time information P19 and P21 with respect to the reference answer content information P02. .

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから達成度の探索を行う際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際にその達成度の判別対象の解答内容情報と、解答時間情報とを取得する。ここで解答時間情報は、達成度を実際に見積もる際に、新たに取得するが、その取得方法は、上述した参照用解答時間情報と同様である。 Such a degree of association becomes learned data in terms of artificial intelligence. After creating such learned data, the above-described learned data will be used when actually searching for the degree of achievement. In such a case, the answer content information for which the degree of achievement is to be determined and the answer time information are actually acquired. Here, the answering time information is newly acquired when actually estimating the degree of achievement, and the acquisition method is the same as that for the reference answering time information described above.

このようにして新たに取得した解答内容情報と、解答時間情報に基づいて、最適な達成度を探索する。かかる場合には、予め取得した図9(表1)に示す連関度を参照する。例えば、新たに取得した解答内容情報がP02と同一かこれに類似するものである場合であって、解答時間情報がP21と同一か又は類似する場合には、連関度を介してノード61dが関連付けられており、このノード61dは、達成度Cがw19、達成度Dが連関度w20で関連付けられている。かかる場合には、連関度のより高い達成度Cを最適解として選択する。 Based on the newly acquired answer content information and answer time information in this manner, the optimal achievement level is searched for. In such a case, reference is made to the degrees of association shown in FIG. 9 (Table 1) that have been acquired in advance. For example, when the newly acquired answer content information is the same as or similar to P02, and the answer time information is the same or similar to P21, the node 61d is associated via the degree of association. This node 61d is associated with the degree of achievement C with w19 and the degree of achievement D with w20. In such a case, the degree of achievement C with the higher degree of association is selected as the optimum solution.

この達成度は、解答内容情報と、属性情報とから導くようにしてもよい。かかる場合には、参照用解答内容情報と、参照用属性情報とを有する組み合わせと、ユーザの達成度との3段階以上の連関度を予め取得しておく。そして、その連関度を参照し、新たに取得した解答内容情報に応じた参照用解答内容情報及び属性情報に応じた参照用属性情報に基づき、ユーザの達成度を判別する。 The degree of achievement may be derived from answer content information and attribute information. In such a case, three or more degrees of association between a combination of reference answer content information and reference attribute information and the user's achievement level are acquired in advance. Then, with reference to the association degree, the user's achievement level is determined based on the reference answer content information corresponding to the newly acquired answer content information and the reference attribute information corresponding to the attribute information.

このようにして達成度を取得した後、上述した集中度と併せて、教育コンテンツを選択する。かかる場合には、達成度と集中度がそれぞれどのような度合である場合に、いかなる教育コンテンツを選択するかを予め設定しておき、実際に求めた達成度と集中度に応じてこれを選択するようにしてもよい。 After acquiring the degree of achievement in this way, educational content is selected together with the degree of concentration described above. In such a case, it is possible to set in advance what kind of educational content is to be selected when the degree of achievement and the degree of concentration are respectively, and select it according to the actually obtained degree of achievement and degree of concentration. You may make it

また本発明は、図10に示すように参照用情報Uと参照用情報Vという2種類以上の情報の組み合わせの連関度に基づいて集中度や達成度を判別するものである。この参照用情報Yが参照用画像情報であり、参照用情報Vが参照用解答内容情報、参照用解答時間情報、参照用属性情報、参照用頻度情報の何れかであるものとする。 Further, according to the present invention, as shown in FIG. 10, the degree of concentration and the degree of achievement are determined based on the degree of relevance of a combination of two or more types of information such as reference information U and reference information V. FIG. This reference information Y is reference image information, and reference information V is any of reference answer content information, reference answer time information, reference attribute information, and reference frequency information.

このとき、図10に示すように、参照用情報Uについて得られた出力をそのまま入力データとして、参照用情報Vとの組み合わせの中間ノード61を介して出力(集中度)と関連付けられていてもよい。例えば、参照用情報U(参照用画像情報)について、図3に示すように出力解を出した後、これをそのまま入力として、他の参照用情報Vとの間での連関度を利用し、出力(集中度)を探索するようにしてもよい。 At this time, as shown in FIG. 10, even if the output obtained for the reference information U is used as input data as it is, and is associated with the output (concentration degree) through the intermediate node 61 of the combination with the reference information V good. For example, after providing an output solution for reference information U (reference image information) as shown in FIG. You may make it search an output (concentration degree).

また、本発明によれば、3段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した10段階以外に、例えば0~100%までの数値で記述することができるが、これに限定されるものではなく3段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。 Moreover, according to the present invention, it is characterized in that the optimum solution search is performed through the degree of association set to three or more stages. The degree of association can be described by a numerical value of, for example, 0 to 100% in addition to the 10 stages described above, but is not limited to this, and can be described by a numerical value of 3 or more stages. may be configured.

このような3段階以上の数値で表される連関度に基づいて最も確からしい集中度、を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。 By determining the most probable degree of concentration based on the degree of association represented by such three or more stages of numerical values, in a situation where there are multiple candidates for the possibility of a search solution, It is also possible to search and display. If it is possible to display to the user in descending order of degree of association in this way, it is also possible to preferentially display more probable search solutions.

これに加えて、本発明によれば、連関度が1%のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。 In addition to this, according to the present invention, it is possible to make a judgment without overlooking even a very low output discrimination result such as a correlation degree of 1%. Remind the user that even discrimination results with an extremely low degree of association are connected as slight signs, and that once in dozens or hundreds of times, the discrimination results may be useful. be able to.

更に本発明によれば、このような3段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が1%のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。 Furthermore, according to the present invention, there is an advantage that a search policy can be determined by setting thresholds by performing a search based on three or more degrees of association. If the threshold value is lowered, even if the degree of association is 1%, it can be picked up without omission. be. On the other hand, if the threshold is set high, there is a high possibility that the optimal search solution can be detected with a high probability. Sometimes the solution is overlooked. It is possible to decide which one to place emphasis on based on the way of thinking of the user side and the system side, and it is possible to increase the degree of freedom in selecting such points to place emphasis on.

更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用画像情報を初めとする各参照用情報を取得し、これらに対する集中度、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。 Furthermore, in the present invention, the degree of association described above may be updated. This update may reflect information provided via a public communication network such as the Internet, for example. Also, when each reference information including reference image information is acquired, and knowledge, information, and data related to the degree of concentration and improvement measures for these are acquired, the degree of association is increased or decreased according to these.

つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。 In other words, this update corresponds to learning in terms of artificial intelligence. Since new data is acquired and reflected in the learned data, it can be said that it is a learning act.

また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。 In addition to updating the degree of association based on information that can be obtained from the public communication network, the system side or the user side based on the contents of research data, papers, conference presentations, newspaper articles, books, etc. by experts It may be updated manually or automatically. Artificial intelligence may be used in these update processes.

また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。 Also, the process of initially building a trained model and the above-described updating may use not only supervised learning but also unsupervised learning, deep learning, reinforcement learning, and the like. In the case of unsupervised learning, instead of loading and learning datasets of input and output data, learning is performed by loading information corresponding to the input data, and from there self-forming the degree of association related to the output data. You can let it run.

また、本発明は、上述した実施の形態に限定されるものでは無く、例えば図11に示すように、基調となる参照用情報と、集中度との3段階以上の連関度を利用するようにしてもよい。かかる場合には、新たに取得した情報に応じた集中度との3段階以上の連関度に基づき、解探索を行うことになる。基調となる参照用情報は、参照用解答内容情報等であるが、これに限定されるものでは無く、参照用情報(参照用画像情報、参照用解答時間情報、参照用属性情報、参照用頻度情報、参照用解答態様情報等)も適用可能である。 Also, the present invention is not limited to the above-described embodiments, and for example, as shown in FIG. may In such a case, the solution search is performed based on three or more levels of association with the degree of concentration corresponding to the newly acquired information. The basic reference information is reference answer content information, etc., but is not limited to this. Reference information (reference image information, reference answer time information, reference attribute information, reference frequency information, answer style information for reference, etc.) are also applicable.

これらの場合も同様に、学習用データとして用いられた参照用情報に応じた情報が入力された場合に、上述した方法に基づいて解探索が行われることとなる。 In these cases, similarly, when information corresponding to reference information used as learning data is input, solution search is performed based on the above-described method.

連関度を通じて求められる探索解は、更に、他の参照用情報に基づいて修正され、或いは重み付けを変化させるようにしてもよい。 The search solution obtained through the degree of association may be further modified or weighted based on other reference information.

ここでいう他の参照用情報とは、上述した参照用情報の何れかを基調となる参照用情報とした場合、当該基調となる参照用情報以外のいかなる参照用情報に該当する。 The other reference information referred to here corresponds to any reference information other than the basic reference information when any of the reference information described above is used as the basic reference information.

例えば、他の参照用情報の一つとして、ある参照用解答時間情報P14において、以前において集中度としてBが判別される経緯が多かったものとする。このような参照用解答時間情報P14に応じた解答時間情報を新たに取得したとき、集中度としての探索解Bに対して、重み付けを上げる処理を行い、換言すれば集中度としての探索解Bにつながるようにする処理を行うように予め設定しておく。 For example, it is assumed that in the reference answer time information P14, which is one of the other reference information, B was often determined as the degree of concentration in the past. When answering time information corresponding to such reference answering time information P14 is newly acquired, the search solution B as the degree of concentration is weighted. It is set in advance to perform processing to connect to.

例えば、他の参照用情報Gが、より集中度としての探索解Cを示唆するような分析結果であり、参照用情報Fが、より集中度としての探索解Dを示唆するような分析結果であるものとする。このように参照用情報との間での設定の後、実際に取得した情報が参照用情報Gと同一又は類似する場合には、集中度としての探索解Cの重み付けを上げる処理を行う。これに対して、実際に取得した情報が参照用情報Fと同一又は類似する場合には、集中度としての探索解Dの重み付けを上げる処理を行う。つまり、集中度の探索解につながる連関度そのものを、この参照用情報F~Hに基づいてコントロールするようにしてもよい。或いは、集中度を上述した連関度のみで決定した後、この求めた探索解に対して参照用情報F~Hに基づいて修正を加えるようにしてもよい。後者の場合において、参照用情報F~Hに基づいてどのように探索解としての集中度にいかなるウェートで修正を加えるかは、都度システム側において設計したものを反映させることとなる。 For example, the other reference information G is an analysis result that suggests a search solution C with a higher degree of concentration, and the reference information F is an analysis result that suggests a search solution D with a higher degree of concentration. Assume that there is After the setting with the reference information in this way, if the actually obtained information is the same as or similar to the reference information G, processing is performed to increase the weight of the search solution C as the degree of concentration. On the other hand, when the actually acquired information is the same as or similar to the reference information F, processing is performed to increase the weight of the search solution D as the degree of concentration. That is, the degree of association itself leading to the search solution of the degree of concentration may be controlled based on the reference information FH. Alternatively, after the degree of concentration is determined only by the degree of association described above, the obtained search solution may be modified based on the reference information FH. In the latter case, how and with what weight the degree of concentration as a search solution is modified based on the reference information F to H is to reflect what is designed on the system side each time.

また他の参照用情報は、何れか1種で構成される場合に限定されるものではなく、2種以上の参照用情報に基づいて解探索するようにしてもよい。かかる場合も同様に、参照用情報の示唆する集中度につながるケースほど、連関度を介して求められた探索解としての当該判別類型をより高く修正するようにしてもよい。 The other reference information is not limited to any one type, and the solution search may be performed based on two or more types of reference information. Similarly, in such a case, the discrimination pattern as a search solution obtained via the degree of association may be corrected to be higher for a case that leads to the degree of concentration suggested by the reference information.

なお、図11の例では、集中度を探索する場合を例にとり説明をしたが、これに限定されるものでは無く、達成度を探索する場合も同様に適用可能であることは勿論である。 In the example of FIG. 11, the case of searching for the degree of concentration has been described as an example, but the present invention is not limited to this, and of course the same can be applied to the case of searching for the degree of achievement.

1 集中度判別システム
2 判別装置
21 内部バス
23 表示部
24 制御部
25 操作部
26 通信部
27 判別部
28 記憶部
61 ノード
1 Concentration degree determination system 2 Discrimination device 21 Internal bus 23 Display unit 24 Control unit 25 Operation unit 26 Communication unit 27 Discrimination unit 28 Storage unit 61 Node

Claims (9)

教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムにおいて、
教育コンテンツ内において出題される問題に対する上記ユーザの解答内容に関する解答内容情報を取得する情報取得ステップと、
教育コンテンツ内において出題される問題に対するユーザの解答内容に関する参照用解答内容情報と、ユーザの達成度との連関性を参照し、上記情報取得ステップにおいて取得した解答内容情報に応じた参照用解答内容情報に基づき、ユーザの達成度を判別する判別ステップとを有し、
上記情報取得ステップは、ユーザの頭部に装着された情報表示装置により撮像した画像データをディープラーニング技術を利用して解析した解析画像の特徴量に基づいて解答内容を類型化した解答内容情報を取得し、
上記判別ステップは、解析画像の特徴量に基づいて解答内容を類型化した上記参照用解答内容情報と、ユーザの達成度との連関性を参照することをコンピュータに実行させること
を特徴とする達成度判別プログラム。
In an achievement level determination program for determining the level of achievement of a user who attends educational content,
an information acquisition step of acquiring answer content information regarding the content of the user's answer to a question set in the educational content;
Referencing the relationship between the reference answer content information about the user's answer content to the question set in the educational content and the user's achievement level, and referring to the reference answer content according to the answer content information acquired in the information acquisition step a determination step of determining the user's degree of achievement based on the information;
In the information acquisition step, the answer content information is obtained by categorizing the answer content based on the feature amount of the analysis image obtained by analyzing the image data captured by the information display device worn on the user's head using the deep learning technology. Acquired,
wherein the determination step causes a computer to refer to a relationship between the reference answer content information, which is the answer content categorized based on the feature amount of the analysis image, and the user's achievement level. degree determination program.
上記情報取得ステップは、更に上記情報表示装置の動きに応じて解答内容を類型化した上記解答内容情報を取得し、
上記判別ステップは、情報表示装置の動きに応じて解答内容を類型化した上記参照用解答内容情報と、ユーザの達成度との3段階以上の連関度を参照すること
を特徴とする請求項1記載の達成度判別プログラム。
The information obtaining step further obtains the answer content information obtained by classifying the answer content according to the movement of the information display device,
2. The determination step refers to three or more levels of association between the reference answer content information in which the answer content is categorized according to the movement of the information display device and the user's achievement level. Achievement determination program described.
教育コンテンツを受講するユーザの達成度を判別する達成度判別プログラムにおいて、
教育コンテンツ内において出題される問題に対する上記ユーザの解答内容に関する解答内容情報を取得する情報取得ステップと、
教育コンテンツ内において出題される問題に対するユーザの解答内容に関する参照用解答内容情報と、ユーザの達成度との連関性を参照し、上記情報取得ステップにおいて取得した解答内容情報に応じた参照用解答内容情報に基づき、ユーザの達成度を判別する判別ステップとを有し、
上記情報取得ステップは、ユーザの頭部に装着された情報表示装置の動きに応じて解答内容を類型化した上記解答内容情報を取得し、
上記判別ステップは、情報表示装置の動きに応じて解答内容を類型化した上記参照用解答内容情報と、ユーザの達成度との3段階以上の連関度を参照することをコンピュータに実行させること
を特徴とする達成度判別プログラム。
In an achievement level determination program for determining the level of achievement of a user who attends educational content,
an information acquisition step of acquiring answer content information regarding the content of the user's answer to a question set in the educational content;
Referencing the relationship between the reference answer content information about the user's answer content to the question set in the educational content and the user's achievement level, and referring to the reference answer content according to the answer content information acquired in the information acquisition step a determination step of determining the user's degree of achievement based on the information;
The information acquisition step acquires the answer content information, which is the answer content categorized according to the movement of the information display device worn on the user's head,
The determining step causes the computer to refer to three or more degrees of association between the reference answer content information in which the answer content is categorized according to the movement of the information display device and the user's achievement level. Characteristic achievement level determination program.
上記情報取得ステップでは、教育コンテンツ内において出題される問題に対する上記ユーザの解答態様に関する解答態様情報を取得し、
上記判別ステップでは、上記参照用解答内容情報と、教育コンテンツ内において出題される問題に対するユーザの解答態様に関する参照用解答態様情報とを有する組み合わせと、ユーザの達成度との3段階以上の連関度からなる上記連関性を参照し、上記情報取得ステップにおいて取得した解答内容情報に応じた参照用解答内容情報及び解答態様情報に応じた参照用解答態様情報に基づき、ユーザの達成度を判別し、
上記情報取得ステップは、ユーザが解答した文字列又は会話文からテキストデータを取得し、取得したテキストデータを自然言語解析することにより、単語、動詞、又は動詞とこれに係り受けする単語に基づいて解答態様を類型化した上記解答態様情報を取得し、
上記判別ステップは、単語、動詞、又は動詞とこれに係り受けする単語に基づいて解答態様を類型化した上記参照用解答態様情報との上記連関性を参照すること
を特徴とする請求項1又は3記載の達成度判別プログラム。
The information acquisition step acquires answer mode information about the user's answer mode for a question set in the educational content,
In the determining step, a combination of the reference answer content information and the reference answer form information relating to the user's answer form to the question set in the educational content and the degree of association of the user's achievement level in three or more stages Determine the degree of achievement of the user based on the reference answer content information corresponding to the answer content information and the reference answer manner information corresponding to the answer manner information obtained in the information obtaining step, with reference to the association consisting of
The information acquisition step acquires text data from a character string or conversational sentence answered by the user, and performs natural language analysis on the acquired text data, based on words, verbs, or verbs and related words. Acquiring the above-mentioned answer mode information that typifies the answer mode,
2. The determining step refers to the relationship between a word, a verb, or a verb and the reference answer pattern information in which answer patterns are categorized based on a word dependent on the verb. 3. Achievement level determination program according to 3.
上記判別ステップは、上記参照用解答内容情報と、ユーザの達成度との3段階以上の連関度からなる連関性を参照することを
を特徴とする請求項1~3のうち何れか1項記載の達成度判別プログラム。
4. The method according to any one of claims 1 to 3, wherein said determination step refers to a relationship consisting of three or more levels of relationship between said answer content information for reference and the user's achievement level. achievement degree determination program.
上記情報取得ステップでは、上記教育コンテンツ内において出題される問題に対する上記ユーザの解答時間に関する解答時間情報を取得し、
上記判別ステップでは、上記参照用解答内容情報と、過去に表示された教育コンテンツ内において出題される問題に対するユーザの解答時間に関する参照用解答時間情報とを有する組み合わせと、ユーザの達成度との3段階以上の連関度を参照し、更に上記情報取得ステップにおいて取得した解答時間情報に応じた参照用解答時間情報に基づき、ユーザの達成度を判別すること
を特徴とする請求項1記載の達成度判別プログラム。
The information acquisition step acquires answer time information regarding the user's answer time for a question set in the educational content,
In the determination step, a combination of the reference answer content information and reference answer time information regarding the user's answer time for questions presented in the educational content displayed in the past and the user's achievement level. 2. The degree of achievement according to claim 1, wherein the user's degree of achievement is determined by referring to the degrees of association of stages or higher and further based on the reference answering time information corresponding to the answering time information obtained in the information obtaining step. discrimination program.
上記情報取得ステップでは、上記教育コンテンツを受講するユーザの属性に関する属性情報を取得し、
上記判別ステップでは、上記参照用解答内容情報と、過去に表示された教育コンテンツを受講するユーザの属性に関する参照用属性情報とを有する組み合わせと、ユーザの達成度との3段階以上の連関度を参照し、更に上記情報取得ステップにおいて取得した属性情報に応じた参照用属性情報に基づき、ユーザの達成度を判別すること
を特徴とする請求項1記載の達成度判別プログラム。
In the information acquisition step, attribute information relating to the attributes of the user who attends the educational content is acquired;
In the determining step, a combination of the reference answer content information and the reference attribute information relating to the attribute of the user who takes the educational content displayed in the past and the degree of association of the user with the achievement level of the user are determined in three or more stages. 2. The achievement level determination program according to claim 1, wherein the user's achievement level is determined based on reference attribute information corresponding to the attribute information acquired in the information acquisition step.
上記判別ステップにおいて判別されたユーザの達成度に基づき、次に表示する教育コンテンツを選択して表示する選択ステップを更に有すること
を特徴とする請求項1~7のうち何れか1項記載の達成度判別プログラム。
The achievement according to any one of claims 1 to 7, further comprising a selection step of selecting and displaying an educational content to be displayed next based on the user's achievement level determined in the determining step. degree determination program.
上記判別ステップでは、人工知能におけるニューラルネットワークのノードの各出力の重み付け係数に対応する上記連関度を形成すること
を特徴とする請求項1~8のうち何れか1項記載の達成度判別プログラム。
The achievement level determination program according to any one of claims 1 to 8, wherein the determination step forms the degree of association corresponding to a weighting factor of each output of a neural network node in artificial intelligence.
JP2021104636A 2021-06-24 2021-06-24 Achievement degree determination program Pending JP2023003517A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021104636A JP2023003517A (en) 2021-06-24 2021-06-24 Achievement degree determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021104636A JP2023003517A (en) 2021-06-24 2021-06-24 Achievement degree determination program

Publications (1)

Publication Number Publication Date
JP2023003517A true JP2023003517A (en) 2023-01-17

Family

ID=85100581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104636A Pending JP2023003517A (en) 2021-06-24 2021-06-24 Achievement degree determination program

Country Status (1)

Country Link
JP (1) JP2023003517A (en)

Similar Documents

Publication Publication Date Title
US11138899B2 (en) Cheating detection in remote assessment environments
CN110678935A (en) Interactive adaptive learning and neurocognitive disorder diagnosis system applying face tracking and emotion detection and related methods thereof
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
KR20120019153A (en) Method, apparatus and system for analyzing learning plan
Sharma et al. Student concentration evaluation index in an e-learning context using facial emotion analysis
CN109933650B (en) Method and system for understanding picture title in operation
US9652996B2 (en) Measuring cognitive load
WO2022009875A1 (en) Program for determining concentration level
JP3223411U (en) A system for evaluating and monitoring follow-up using emotion detection
D’Mello et al. Machine-learned computational models can enhance the study of text and discourse: A case study using eye tracking to model reading comprehension
WO2019180652A1 (en) Interactive, adaptive, and motivational learning systems using face tracking and emotion detection with associated methods
US10915819B2 (en) Automatic real-time identification and presentation of analogies to clarify a concept
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
JP2023003517A (en) Achievement degree determination program
JP2023003516A (en) Concentration degree determination program
JP2023003055A (en) Achievement level determination program
JP2023003054A (en) Concentration level determination program
JP7427906B2 (en) Information processing device, control method and program
Utami et al. A Brief Study of The Use of Pattern Recognition in Online Learning: Recommendation for Assessing Teaching Skills Automatically Online Based
JP2023003053A (en) Concentration level determination program
CN115690867A (en) Classroom concentration detection method, device, equipment and storage medium
JP2022014474A (en) Education content selective display program
Whitehill A stochastic optimal control perspective on affect-sensitive teaching
KR20130086032A (en) Method, apparatus and system for analyzing learning plan
CN117036117B (en) Classroom state assessment method based on artificial intelligence