JP2020115175A - Information processor, method for processing information, and program - Google Patents

Information processor, method for processing information, and program Download PDF

Info

Publication number
JP2020115175A
JP2020115175A JP2019006326A JP2019006326A JP2020115175A JP 2020115175 A JP2020115175 A JP 2020115175A JP 2019006326 A JP2019006326 A JP 2019006326A JP 2019006326 A JP2019006326 A JP 2019006326A JP 2020115175 A JP2020115175 A JP 2020115175A
Authority
JP
Japan
Prior art keywords
answer
handwriting
learner
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019006326A
Other languages
Japanese (ja)
Other versions
JP7293658B2 (en
Inventor
寛樹 吉原
Hiroki Yoshihara
寛樹 吉原
拓也 生駒
Takuya Ikoma
拓也 生駒
伊藤 直之
Naoyuki Ito
直之 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2019006326A priority Critical patent/JP7293658B2/en
Publication of JP2020115175A publication Critical patent/JP2020115175A/en
Application granted granted Critical
Publication of JP7293658B2 publication Critical patent/JP7293658B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an information processor, for example, which can appropriately estimate a learning situation.SOLUTION: An information processor 1 includes: an acquisition unit for acquiring answer information showing answers that a learner wrote by hand to questions; and a classification unit for classifying the handwriting of the answer shown in the answer information. The classification unit desirably uses a classifier which has learned the feature amount of the handwriting of an exemplary answer by a person, for the classification. Classifying the handwriting of an answer to a question allows an appropriate estimation of the way of tackling a problem of the learner in answering, that is, the situation of the learner.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

教育等の分野において、学習者を支援する種々の手法が提案されている。例えば特許文献1では、学習者に問題を提示する学習管理装置であって、学習者が過去に問題を学習した時間帯及び場所を記憶しておき、同じ状況下で同じ問題を学習できるよう出力する学習管理装置等が開示されている。 Various techniques for supporting learners have been proposed in fields such as education. For example, in Patent Document 1, a learning management device that presents a problem to a learner, stores a time zone and a place where the learner learned the problem in the past, and outputs the same so that the same problem can be learned in the same situation. A learning management device and the like are disclosed.

特許第6398538号公報Patent No. 6398538

しかしながら、特許文献1に係る発明は学習時の環境を考慮するものであり、学習者本人の問題への取り組み方、すなわち学習本人の状況を考慮していない。 However, the invention according to Patent Document 1 considers the environment at the time of learning, and does not consider how the learner himself/herself approaches the problem, that is, the situation of the learner himself/herself.

一つの側面では、学習状況を適切に推定可能な情報処理装置等を提供することを目的とする。 In one aspect, an object is to provide an information processing device or the like that can appropriately estimate a learning situation.

一つの側面では、情報処理装置は、学習者が問題に対して手書きで記入した解答を示す解答情報を取得する取得部と、前記解答情報が示す前記解答の筆跡を分類する分類部とを備えることを特徴とする。 In one aspect, the information processing device includes an acquisition unit that acquires answer information indicating an answer handwritten by the learner with respect to the question, and a classification unit that classifies the handwriting of the answer indicated by the answer information. It is characterized by

一つの側面では、学習状況を適切に推定することができる。 In one aspect, the learning situation can be properly estimated.

学習状況推定システムの構成例を示す模式図である。It is a schematic diagram which shows the structural example of a learning condition estimation system. サーバの構成例を示すブロック図である。It is a block diagram which shows the structural example of a server. 学習者DB及び解答DBのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of a record layout of learner DB and answer DB. 筆跡分類処理に関する説明図である。It is explanatory drawing regarding a handwriting classification process. 分類器の生成処理に関する説明図である。It is explanatory drawing regarding the production|generation process of a classifier. 再履修問題の出力処理に関する説明図である。It is explanatory drawing regarding the output processing of a re-taking problem. 分類器の生成処理の処理手順を示すフローチャートである。It is a flow chart which shows a processing procedure of generation processing of a classifier. 筆跡分類処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a handwriting classification process. 実施の形態2に係る分類器の生成処理に関する説明図である。FIG. 9 is an explanatory diagram related to a generation process of a classifier according to the second embodiment. 実施の形態2に係る分類器の生成処理の手順を示すフローチャートである。9 is a flowchart showing a procedure of a classifier generation process according to the second embodiment. 実施の形態3に係る筆跡分類処理に関する説明図である。FIG. 13 is an explanatory diagram related to handwriting classification processing according to the third embodiment. 実施の形態3に係る筆跡分類処理の手順を示すフローチャートである。9 is a flowchart showing a procedure of handwriting classification processing according to the third embodiment. 上述した形態のサーバの動作を示す機能ブロック図である。It is a functional block diagram which shows operation|movement of the server of the form mentioned above.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、学習状況推定システムの構成例を示す模式図である。本実施の形態では、学習者に問題を提示し、提示した問題に対して学習者が手書きで記入した解答の筆跡に基づき、学習状況を推定する学習状況推定システムについて説明する。学習状況推定システムは、情報処理装置1、端末2を含む。各装置は、インターネット等のネットワークNを介して通信接続されている。
Hereinafter, the present invention will be described in detail with reference to the drawings showing an embodiment thereof.
(Embodiment 1)
FIG. 1 is a schematic diagram showing a configuration example of a learning situation estimation system. In the present embodiment, a learning situation estimation system that presents a question to a learner and estimates the learning situation based on the handwriting of an answer handwritten by the learner for the presented question will be described. The learning situation estimation system includes an information processing device 1 and a terminal 2. Each device is communicatively connected via a network N such as the Internet.

情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置1がサーバ装置であるものとし、簡潔のためサーバ1と読み替える。サーバ1は、学習者に対して提示する問題を端末2に出力し、出力した問題に対して学習者が手書きで記入した解答を示す解答情報を端末2から取得する。解答情報は、例えば手書きで解答が記入された問題用紙(紙媒体)を光学的に読み取った画像データ、あるいは電子ペン等の手段で電子的に入力されたストローク群から成るストロークデータである。以下の説明では便宜上、解答情報が画像データであるものとして説明する。 The information processing device 1 is an information processing device capable of various information processing and information transmission/reception, and is, for example, a server device, a personal computer, or the like. In the present embodiment, the information processing device 1 is assumed to be a server device, and is read as server 1 for simplicity. The server 1 outputs the question presented to the learner to the terminal 2, and acquires from the terminal 2 the answer information indicating the answer handwritten by the learner with respect to the output question. The answer information is, for example, image data obtained by optically reading a question paper (paper medium) in which the answer is written by hand, or stroke data including a stroke group electronically input by a means such as an electronic pen. In the following description, for convenience, the answer information will be described as image data.

サーバ1は、取得した解答情報から学習者の解答の筆跡を分類する。例えばサーバ1は、手書きで記入した解答を、走り書きであるか否かに応じて分類する。走り書きで記入された場合、学習者が問題に真面目に取り組んでおらず、解答を乱雑に記入した可能性が高い。そこでサーバ1は、解答の筆跡が走り書きであるか否かを分類することで、学習者がどの程度真面目に学習していたかどうか、学習状況を推定可能とする。 The server 1 classifies the handwriting of the answer of the learner from the acquired answer information. For example, the server 1 classifies the handwritten answers according to whether or not the answers are scribbled. If it is scribbled, it is likely that the learner did not take the problem seriously and wrote the answer randomly. Therefore, the server 1 classifies whether or not the handwriting of the answer is scribbled so that the learning status can be estimated as to how seriously the learner was learning.

具体的には後述するように、サーバ1は、人間が手書きで記入した解答例の筆跡の特徴量を機械学習により学習して分類器(学習済みモデル)を生成し、当該分類器を用いて、学習者の筆跡が走り書きであるか否かを分類する。さらにサーバ1は、筆跡の分類結果に応じて学習者の学習効率を判定し、判定した学習効率に応じて再履修問題を端末2に出力する。 Specifically, as will be described later, the server 1 learns the feature amount of the handwriting of the answer example handwritten by a human by machine learning to generate a classifier (learned model), and uses the classifier. , Classify whether the learner's handwriting is scribbled. Further, the server 1 determines the learning efficiency of the learner according to the classification result of the handwriting, and outputs the re-taking problem to the terminal 2 according to the determined learning efficiency.

端末2は、学習者本人(例えば学生)やその他のユーザ(例えば教師)が操作する端末装置であり、例えばパーソナルコンピュータ、タブレット端末等である。上述の如く、サーバ1は端末2から解答情報を取得する。例えば教師が使用するパーソナルコンピュータ等の端末2aが、問題用紙を読み取った画像データを不図示のスキャナから取得し、解答情報としてサーバ1に送信する。なお、解答情報としてストロークデータを扱う場合、例えば学習者本人が使用するタブレット端末等の端末2bが、問題を表示して電子ペン等により解答の手書き入力を受け付け、ストロークデータをサーバ1に送信する。サーバ1は、端末2から取得した解答情報に基づいて筆跡を分類し、学習効率の高い筆跡であるか否かを判定する。 The terminal 2 is a terminal device operated by a learner (for example, a student) or another user (for example, a teacher), and is, for example, a personal computer or a tablet terminal. As described above, the server 1 acquires the answer information from the terminal 2. For example, a terminal 2a such as a personal computer used by a teacher acquires image data obtained by reading a question sheet from a scanner (not shown) and transmits it to the server 1 as answer information. When the stroke data is used as the answer information, for example, the terminal 2b such as the tablet terminal used by the learner himself/herself displays the question, accepts the handwriting input of the answer by the electronic pen or the like, and transmits the stroke data to the server 1. .. The server 1 classifies the handwriting based on the answer information acquired from the terminal 2 and determines whether the handwriting has high learning efficiency.

図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
FIG. 2 is a block diagram showing a configuration example of the server 1. The server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
The control unit 11 has an arithmetic processing unit such as one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), and GPUs (Graphics Processing Units), and stores the programs P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, and the like are performed. The main storage unit 12 is a temporary storage area such as an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), and a flash memory, and temporarily stores data necessary for the control unit 11 to execute arithmetic processing. Remember. The communication unit 13 is a communication module for performing processing related to communication, and transmits/receives information to/from the outside.

補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP、その他のデータを記憶している。また、補助記憶部14は、学習者DB142及び解答DB143を記憶している。学習者DB142は、各学習者の情報を格納したデータベースである。解答DB143は、学習者による解答の情報を格納したデータベースである。 The auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P and other data necessary for the control unit 11 to execute processing. The auxiliary storage unit 14 also stores a learner DB 142 and an answer DB 143. The learner DB 142 is a database that stores information about each learner. The answer DB 143 is a database that stores information about answers by learners.

なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。 The auxiliary storage unit 14 may be an external storage device connected to the server 1. Moreover, the server 1 may be a multi-computer including a plurality of computers, or may be a virtual machine virtually constructed by software.

また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、CD(Compact Disk)−ROM、DVD(Digital Versatile Disc)−ROM等の可搬型記憶媒体P1を読み取る読取部を備え、可搬型記憶媒体P1からプログラムPを読み取って実行するようにしても良い。あるいはサーバ1は、半導体メモリP2からプログラムPを読み込んでも良い。 Further, in the present embodiment, server 1 is not limited to the above configuration, and may include, for example, an input unit that receives an operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit that reads a portable storage medium P1 such as a CD (Compact Disk)-ROM and a DVD (Digital Versatile Disc)-ROM, and reads the program P from the portable storage medium P1 and executes the program P. You can Alternatively, the server 1 may read the program P from the semiconductor memory P2.

図3は、学習者DB142及び解答DB143のレコードレイアウトの一例を示す説明図である。
学習者DB142は、学習者ID列、氏名列、所属列、年齢列を含む。学習者ID列は、各学習者を識別するための学習者IDを記憶している。氏名列、所属列、及び年齢列はそれぞれ、学習者IDと対応付けて、学習者の氏名、所属、及び年齢を記憶している。
FIG. 3 is an explanatory diagram showing an example of a record layout of the learner DB 142 and the answer DB 143.
The learner DB 142 includes a learner ID column, a name column, an affiliation column, and an age column. The learner ID column stores learner IDs for identifying each learner. The name column, the affiliation column, and the age column respectively store the learner's name, affiliation, and age in association with the learner ID.

解答DB143は、解答ID列、学習者ID列、解答日時列、問題列、分野列、正誤列、筆跡列を含む。解答ID列は、学習者による解答を識別するための解答IDを記憶している。学習者ID列、解答日時列、問題列、分野列、正誤列、及び筆跡列はそれぞれ、解答IDと対応付けて、解答した学習者の学習者ID、解答した日時(解答時期)、問題、問題の分野(例えば教科)、解答の正誤、及び解答の筆跡データを記憶している。 The answer DB 143 includes an answer ID column, a learner ID column, an answer date/time column, a question column, a field column, a correct/wrong column, and a handwriting column. The answer ID column stores the answer ID for identifying the answer by the learner. The learner ID column, the answer date/time column, the question column, the field column, the correct/wrong column, and the handwriting column are each associated with the answer ID, and the learner ID of the learner who has answered, the date and time of the answer (answer time), the question, The problem field (for example, subject), correctness of the answer, and handwriting data of the answer are stored.

図4は、筆跡分類処理に関する説明図である。図4では、問題用紙を読み取った画像データから解答に相当する画像領域(以下の説明では便宜上「解答領域」と呼ぶ)を抽出して筆跡を分類し、学習者の学習効率を判定する処理の概要を模式的に図示してある。図4に基づき、本実施の形態の概要について説明する。 FIG. 4 is an explanatory diagram regarding the handwriting classification processing. In FIG. 4, an image area corresponding to an answer (hereinafter referred to as an “answer area” for convenience) is extracted from the image data obtained by reading the question paper, the handwriting is classified, and the learning efficiency of the learner is determined. The outline is schematically illustrated. The outline of the present embodiment will be described with reference to FIG.

上述の如く、サーバ1は解答を手書きで記入済みの問題用紙(紙媒体)の画像データ(を解答情報として端末2から取得する画像データを取得した場合、サーバ1は、取得した画像データを白紙の問題用紙の画像データと比較して、両者の差分である解答領域を抽出する。 As described above, when the server 1 acquires the image data obtained from the terminal 2 using the image data of the question paper (paper medium) in which the answer is written by hand as the answer information, the server 1 uses the acquired image data as a blank sheet. And the answer area, which is the difference between the two, is extracted.

サーバ1は、抽出した解答領域を分類器141に入力し、学習者が記入した解答の筆跡を分類する。上述の如く、分類器141は機械学習により人間の筆跡の特徴を学習済みの学習済みモデルであり、例えばCNN(Convolution Neural Network)に係るニューラルネットワークである。 The server 1 inputs the extracted answer area to the classifier 141 and classifies the handwriting of the answer entered by the learner. As described above, the classifier 141 is a learned model in which the characteristics of human handwriting have been learned by machine learning, and is, for example, a neural network related to CNN (Convolution Neural Network).

図5は、分類器141の生成処理に関する説明図である。図5では、機械学習により分類器141を生成する様子を概念的に図示してある。図5に基づき、機械学習の処理内容について説明する。 FIG. 5 is an explanatory diagram regarding the generation processing of the classifier 141. FIG. 5 conceptually illustrates how the classifier 141 is generated by machine learning. The processing content of machine learning will be described with reference to FIG.

上述の如く、サーバ1は分類器141として、CNNに係るニューラルネットワークを機械学習により生成する。分類器141は、解答領域の画像データ(例えば各画素の画素値)の入力を受け付ける入力層と、入力層に入力された画像データの特徴量を抽出する中間層(隠れ層)と、中間層で抽出した特徴量に基づいて筆跡の分類し、分類結果を出力する出力層とを有する。各層は、一又は複数のニューロンから構成される。中間層はコンボリューション層とプーリング層とが交互に接続された構成を有し、入力層から入力された各画素の画素値を圧縮しながら画像特徴量を抽出する。出力層は、中間層で抽出した画像特徴量に基づいて解答の筆跡を分類し、分類結果を出力する。なお、出力層から出力される分類結果は連続的な確率値(例えば「0」から「1」までの値)であってもよく、離散的な値(例えば「0」又は「1」の二値)であってもよい。 As described above, the server 1 as the classifier 141 generates a neural network related to CNN by machine learning. The classifier 141 includes an input layer that receives input of image data (for example, a pixel value of each pixel) of the answer region, an intermediate layer (hidden layer) that extracts a feature amount of the image data input to the input layer, and an intermediate layer. An output layer that classifies the handwriting on the basis of the feature amount extracted in and outputs the classification result. Each layer is composed of one or more neurons. The intermediate layer has a configuration in which a convolution layer and a pooling layer are alternately connected, and extracts the image feature amount while compressing the pixel value of each pixel input from the input layer. The output layer classifies the handwriting of the answer based on the image feature amount extracted by the intermediate layer, and outputs the classification result. The classification result output from the output layer may be a continuous probability value (for example, a value from “0” to “1”), or a discrete value (for example, “0” or “1”). Value).

なお、本実施の形態では分類器141がCNNであるものとして説明するが、分類器141は人間の筆跡の特徴を学習済みの学習済みモデルであればよく、例えばCNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ランダムフォレスト等、その他の学習アルゴリズムで生成された学習済みモデルであってもよい。 Although the classifier 141 is described as a CNN in the present embodiment, the classifier 141 may be a learned model in which the characteristics of human handwriting have been learned. For example, a neural network other than CNN, SVM( It may be a trained model generated by another learning algorithm such as Support Vector Machine) or random forest.

本実施の形態では、サーバ1は、走り書きで記入された文字列(筆跡)の特徴量を学習する機械学習を行い、解答として記入された文字列が走り書きであるか否かを分類する分類器141を生成する。具体的には、サーバ1は、人間が手書きで記入した解答例を示す画像データ(解答情報)に対し、走り書きであるか否かを分類した場合の分類結果の正解値が対応付けられた教師データを用いて分類器141を生成する。サーバ1は、教師データに含まれる各画像データを分類器141に入力し、走り書きであるか否かを分類した分類結果を出力として取得する。サーバ1は、取得した分類結果を正解値と比較し、両者が近似するよう各ニューロン間の重み、活性化関数の係数等のパラメータを最適化する。これにより、サーバ1は分類器141を生成する。 In the present embodiment, the server 1 performs machine learning for learning the feature amount of a character string (handwriting) written in scribble, and classifies whether or not the character string entered as an answer is a scribble. 141 is generated. Specifically, the server 1 associates the correct answer value of the classification result when the image data (answer information) showing the answer example handwritten by the human is classified as scribbled. A classifier 141 is generated using the data. The server 1 inputs each image data included in the teacher data to the classifier 141, and acquires the classification result obtained by classifying whether or not it is scribbled as an output. The server 1 compares the obtained classification result with the correct answer value, and optimizes parameters such as the weight between the neurons and the coefficient of the activation function so that they approximate each other. As a result, the server 1 generates the classifier 141.

なお、本実施の形態では説明の便宜上、サーバ1が分類器141を生成するための機械学習処理と、分類器141を用いた筆跡分類処理との双方を行うものとして説明するが、両者のハードウェア上の処理主体は異なっていてもよい。例えばサーバ1が機械学習を行って分類器141を生成し、端末2にインストールさせ、端末2が筆跡の分類を行うようにしてもよい。このように、機械学習を実行する処理主体と、機械学習の成果物を用いて筆跡の分類を行う処理主体は異なっていてもよい。 Note that, in the present embodiment, for convenience of description, the server 1 will be described as performing both the machine learning process for generating the classifier 141 and the handwriting classification process using the classifier 141. The processing subject on the ware may be different. For example, the server 1 may perform machine learning to generate the classifier 141, install it in the terminal 2, and the terminal 2 may classify handwriting. In this way, the processing entity that executes machine learning may be different from the processing entity that classifies handwriting by using the product of machine learning.

また、本実施の形態では紙媒体(問題用紙)を読み取った画像データを用いて筆跡の分類を行うが、上述の如く、電子ペン等により電子的に入力されるストロークデータから筆跡の分類を行ってもよい。この場合、例えばサーバ1は、タッチパネル上を移動する電子ペンの座標値、移動時間等を表すストロークの教師データを分類器141に学習させ、学習を行った分類器141に学習者の解答のストロークデータを入力して筆跡の分類を行えばよい。このように、分類器141は人間の筆跡の特徴量を学習済みの学習済みモデルであればよく、取り扱う特徴量は画像特徴量に限定されない。 Further, in the present embodiment, the handwriting is classified using the image data obtained by reading the paper medium (problem paper), but as described above, the handwriting is classified from the stroke data electronically input by the electronic pen or the like. May be. In this case, for example, the server 1 causes the classifier 141 to learn the teacher data of strokes that represent the coordinate values of the electronic pen moving on the touch panel, the moving time, etc., and the classifier 141 that has performed the learning strokes of the learner's answer. You can enter data to classify handwriting. As described above, the classifier 141 may be a learned model in which the feature amount of human handwriting has been learned, and the feature amount to be handled is not limited to the image feature amount.

また、本実施の形態では筆跡が走り書きであるか否かに応じて分類を行うが、本実施の形態はこれに限定されるものではなく、その他の分類基準で筆跡を分類するようにしてもよい。例えばサーバ1は、解答者が自信を持って解答した解答例と、自信がない場合の解答例とを含む教師データを用いて、自信がありそうな解答の筆跡であるか否かを分類(予測)する分類器141を生成し、当該分類器141を用いて自信がありそうな筆跡か否かを分類するようにしてもよい。このように、走り書きであるか否かは解答例にラベリングされた正解値の一例であって、筆跡の分類基準は特に限定されない。 Further, in the present embodiment, the classification is performed according to whether or not the handwriting is scribbled, but the present embodiment is not limited to this, and the handwriting may be classified according to other classification criteria. Good. For example, the server 1 classifies whether or not it is a handwriting of an answer that is likely to be confident by using teacher data including an answer example that the answerer answers with confidence and an answer example when the answerer is not confident ( It is also possible to generate a classifier 141 for prediction and classify whether or not the handwriting is likely to be confident using the classifier 141. As described above, whether or not it is scribble is an example of the correct answer value labeled in the example answer, and the classification standard of the handwriting is not particularly limited.

図4に戻って説明を続ける。サーバ1は、上記で生成した分類器141を用いて、学習者により記入された解答の筆跡を分類する。すなわち、サーバ1は問題用紙の画像データから抽出した解答領域を分類器141に入力し、解答に係る筆跡を分類した分類結果を出力として取得する。例えばサーバ1は、学習者の解答の筆跡が走り書きであるか否か、走り書きの度合いを示す確率値を分類結果として取得する。 Returning to FIG. 4, the description will be continued. The server 1 classifies the handwriting of the answer entered by the learner using the classifier 141 generated above. That is, the server 1 inputs the answer area extracted from the image data of the question paper into the classifier 141, and acquires the classification result obtained by classifying the handwriting related to the answer as an output. For example, the server 1 acquires as a classification result a probability value indicating whether or not the handwriting of the learner's answer is scribbled and the degree of scribbled.

上述の如く、サーバ1は、分類器141を用いて、学習者の解答の筆跡が走り書きであるか否かを分類する。解答が走り書きで記入された場合、学習者は問題に集中しておらず、学習効率が低下していたものと考えられる。そこでサーバ1は、筆跡の分類結果を指標として解答時における学習者の学習効率を判定し、判定した学習効率に応じて学習者に再履修問題を提示する。 As described above, the server 1 uses the classifier 141 to classify whether the handwriting of the learner's answer is scribble. If the answer was written in scribble, it is probable that the learner did not concentrate on the problem and the learning efficiency had decreased. Therefore, the server 1 determines the learning efficiency of the learner at the time of answering by using the classification result of the handwriting as an index, and presents the re-taking problem to the learner according to the determined learning efficiency.

図6は、再履修問題の出力処理に関する説明図である。図6では、筆跡の分類結果に基づいて学習効率を判定し、判定した学習効率に応じて再履修問題を学習者に提示(出力)する様子を概念的に図示している。図6に基づき、再履修問題の出力処理について説明する。 FIG. 6 is an explanatory diagram related to the output processing of the re-taking question. FIG. 6 conceptually illustrates how the learning efficiency is determined based on the classification result of the handwriting, and the re-taking problem is presented (output) to the learner according to the determined learning efficiency. The output process of the re-taking problem will be described with reference to FIG.

まずサーバ1は、端末2から解答情報を取得して筆跡を分類する都度、解答を記入した学習者の学習者IDと対応付けて、筆跡の分類結果を解答DB143に保存(記憶)しておく。具体的には、サーバ1は、学習者IDのほかに、学習者が問題に解答した解答時期、学習者が解答した問題の分野等と対応付けて、筆跡の分類結果(走り書きの度合い)と、解答の正誤とを対応付けて記憶する。 First, the server 1 stores (stores) the classification result of the handwriting in the answer DB 143 in association with the learner ID of the learner who wrote the answer each time the answer information is acquired from the terminal 2 and the handwriting is classified. .. Specifically, in addition to the learner ID, the server 1 associates the answer time when the learner answered the question, the field of the question answered by the learner, and the like with the classification result of the handwriting (scribing level). , And the correctness of the answer are stored in association with each other.

解答時期は、例えば解答者が問題を解いた時間帯である。問題の分野は、例えば教科である。解答の正誤は、解答が正解であるか否かを示す情報である。なお、例えばサーバ1は、端末2から解答情報を取得する際に学習者や教師等によって採点された採点結果を併せて取得するようにしてもよく、文字認識等の手段で自動的に正誤を判定してもよい。サーバ1は、上記の各種情報を解答情報として端末2から取得し、筆跡の分類結果と対応付けて解答DB143に記憶する。 The answer time is, for example, a time period when the solver solves the problem. The field in question is, for example, a subject. The correctness of the answer is information indicating whether or not the answer is correct. Note that, for example, the server 1 may also acquire the scoring results scored by a learner, a teacher, or the like when acquiring the answer information from the terminal 2, and the correctness is automatically determined by means such as character recognition. You may judge. The server 1 acquires the above-mentioned various information from the terminal 2 as answer information and stores it in the answer DB 143 in association with the classification result of the handwriting.

サーバ1は、端末2から新たに解答情報を取得して筆跡を分類した場合、解答DB143に記憶されている学習者の過去の筆跡と比較して、学習効率の高い筆跡であるか否かを判定する。例えばサーバ1は、解答DB143に記憶されている学習者の過去の解答の筆跡のうち、解答時期(時間帯)、及び問題の分野が共通する筆跡のデータを参照する。サーバ1は、今回新たに分類した解答の筆跡と、分類器141による分類結果が同一又は類似する筆跡の解答データを解答DB143から検索する。例えばサーバ1は、今回新たに分類した解答の筆跡と、走り書きの度合いを示す確率値が所定の数値範囲で近似する筆跡のデータを検索する。 When the server 1 newly obtains answer information from the terminal 2 and classifies the handwriting, the server 1 determines whether or not the handwriting has high learning efficiency as compared with the past handwriting of the learner stored in the answer DB 143. judge. For example, the server 1 refers to the handwriting data in which the answer time (time zone) and the problem field are common among the handwritings of the learner's past answers stored in the answer DB 143. The server 1 searches the answer DB 143 for answer data of the handwriting of the answer newly classified this time and the handwriting of which the classification result by the classifier 141 is the same or similar. For example, the server 1 retrieves the handwriting data of the answer newly classified this time and the handwriting data in which the probability value indicating the degree of the scribble approximates within a predetermined numerical range.

サーバ1は、検索した筆跡に対応付けられた解答の正誤を参照して、学習効率の高い筆跡であるか否かを判定する。例えばサーバ1は、正解時の解答の筆跡に近いほど学習効率を高くし、誤答時の解答の筆跡に近いほど学習効率を低く判定する。このように、サーバ1は、正解時の筆跡に近いほど学習効率が高かったものと判定する。 The server 1 refers to the correctness of the answer associated with the retrieved handwriting and determines whether or not the handwriting has high learning efficiency. For example, the server 1 determines the learning efficiency to be higher as it is closer to the handwriting of the answer at the time of correct answer, and the learning efficiency is lower as it is closer to the handwriting of the answer at the time of incorrect answer. In this way, the server 1 determines that the learning efficiency is higher as the handwriting is closer to the correct answer.

例えばサーバ1は、判定した学習効率が所定の閾値以下であるか否かを判定することで、学習効率が高い筆跡であるか否かを判定する。学習効率が高い筆跡でなかったと判定した場合、当該学習者に再学習させる再履修問題を端末2に出力する。例えばサーバ1は、学習者が今回解答した問題と分野が共通する他の問題を再履修問題として端末2に出力する。上述の処理により、サーバ1は、学習効率が悪かった分野の問題を優先的に再学習させる。 For example, the server 1 determines whether the determined learning efficiency is less than or equal to a predetermined threshold value to determine whether the handwriting has high learning efficiency. When it is determined that the handwriting has high learning efficiency, a re-taking question for the learner to re-learn is output to the terminal 2. For example, the server 1 outputs to the terminal 2 another question that has the same field as the question answered by the learner this time as a re-taking question. Through the above-described processing, the server 1 preferentially re-learns a problem in a field where learning efficiency is poor.

以上より、本実施の形態によれば、サーバ1は学習者の解答の筆跡を分類することで、学習状況を適切に推定することができる。特に本実施の形態では、筆跡の分類結果から学習効率を推定し、再履修問題を提示することで、効率的な学習を促すことができる。 As described above, according to the present embodiment, the server 1 can properly estimate the learning situation by classifying the handwriting of the answer of the learner. Particularly, in the present embodiment, it is possible to promote efficient learning by estimating the learning efficiency from the classification result of the handwriting and presenting the re-taking problem.

図7は、分類器141の生成処理の処理手順を示すフローチャートである。図7に基づき、分類器141の生成処理の処理内容について説明する。
サーバ1の制御部11は、人間が手書きで記入した解答例を示す解答情報群と、各解答情報の筆跡を分類した分類結果の正解値とを対応付けた教師データを取得する(ステップS11)。解答情報は、例えば人間が解答を手書きで記入した紙媒体(問題用紙)を光学的に読み取った画像データである。正解値は、例えば走り書きであるか否かを示すパラメータである。
FIG. 7 is a flowchart showing the processing procedure of the generation processing of the classifier 141. The processing content of the generation processing of the classifier 141 will be described based on FIG. 7.
The control unit 11 of the server 1 acquires the teacher data in which the answer information group indicating the answer example manually written by a human and the correct answer value of the classification result obtained by classifying the handwriting of each answer information are associated with each other (step S11). .. The answer information is, for example, image data obtained by optically reading a paper medium (question paper) in which a person manually writes an answer. The correct answer value is, for example, a parameter indicating whether or not it is scribbled.

制御部11は教師データを用いて解答情報に係る筆跡の特徴量を学習する機械学習を行い、解答情報の筆跡を分類するための分類器141を生成する(ステップS12)。具体的には、制御部11は解答情報を分類器141に入力して筆跡の特徴量を抽出し、走り書きであるか否かを推定する。制御部11は、推定結果を教師データの正解値と比較し、両者が近似するようニューロン間の重み等を最適化して分類器141を生成する。制御部11は、一連の処理を終了する。 The control unit 11 performs machine learning for learning the feature amount of the handwriting relating to the answer information using the teacher data, and generates the classifier 141 for classifying the handwriting of the answer information (step S12). Specifically, the control unit 11 inputs the answer information to the classifier 141, extracts the feature amount of the handwriting, and estimates whether or not it is scribbled. The control unit 11 compares the estimation result with the correct value of the teacher data, optimizes the weight between the neurons so that they approximate each other, and generates the classifier 141. The control unit 11 ends the series of processes.

図8は、筆跡分類処理の手順を示すフローチャートである。図8に基づき、学習者の解答の筆跡を分類して学習効率を判定する処理の内容について説明する。
サーバ1の制御部11は、学習者に出題した問題に対し、学習者が手書きで記入した解答を示す解答情報を端末2から取得する(ステップS31)。解答情報は、例えば学習者が解答を手書きで記入した紙媒体(問題用紙)を光学的に読み取った画像データである。制御部11は、取得した画像データを白紙の問題用紙の画像データと比較し、学習者が記入した解答に相当する画像領域を抽出する(ステップS32)。
FIG. 8 is a flowchart showing the procedure of handwriting classification processing. The content of the process of classifying the handwriting of the answer of the learner and determining the learning efficiency will be described with reference to FIG.
The control unit 11 of the server 1 acquires, from the terminal 2, answer information indicating the answer handwritten by the learner for the question given to the learner (step S31). The answer information is, for example, image data obtained by optically reading a paper medium (question paper) in which the learner writes the answer by hand. The control unit 11 compares the acquired image data with the image data of the blank question paper, and extracts the image area corresponding to the answer entered by the learner (step S32).

制御部11は、抽出した解答の画像領域を分類器141に入力し、解答の筆跡を分類する(ステップS33)。例えば制御部11は、学習者が解答を走り書きで記入したか否か、走り書きの度合いを推定する。制御部11は、学習者による当該解答の解答時期(例えば時間帯)、及び解答した問題の分野等と対応付けて、ステップS33における筆跡の分類結果と、解答の正誤とを解答DB143に記憶する(ステップS34)。 The control unit 11 inputs the extracted image area of the answer to the classifier 141 and classifies the handwriting of the answer (step S33). For example, the control unit 11 estimates the degree of the scribble, whether or not the learner has entered the answer in the scribble. The control unit 11 stores the classification result of the handwriting in step S33 and the correctness of the answer in the answer DB 143 in association with the answer timing (for example, time zone) of the answer by the learner, the field of the answered question, and the like. (Step S34).

制御部11は、ステップS33で分類した筆跡の分類結果に基づき、解答DB143を参照して、学習効率が高い筆跡であるか否かを判定する(ステップS35)。例えば制御部11は、解答DB143に記憶されている学習者の筆跡のデータ(分類結果)のうち、解答時期及び問題の分野が共通する筆跡のデータを参照する。制御部11は、ステップS33で今回分類した筆跡と分類結果が同一又は類似する筆跡に関連付けられた解答の正誤に基づき、学習効率を判定する。例えば制御部11は、正解時の筆跡に近いほど学習効率を高く、誤答時の筆跡に近いほど学習効率を低く判定する。制御部11は、判定した学習効率を所定の閾値と比較することで、学習効率が高い筆跡であるか否かを判定する。 The control unit 11 refers to the answer DB 143 based on the classification result of the handwriting classified in step S33, and determines whether the handwriting has high learning efficiency (step S35). For example, the control unit 11 refers to the handwriting data in which the answer time and the field of the question are common, among the handwriting data (classification result) of the learner stored in the answer DB 143. The control unit 11 determines the learning efficiency based on the correctness of the answer associated with the handwriting whose classification result is the same as or similar to the handwriting classified this time in step S33. For example, the control unit 11 determines that the learning efficiency is higher as the handwriting is closer to the correct answer and the learning efficiency is lower as the handwriting is closer to the incorrect answer. The control unit 11 compares the determined learning efficiency with a predetermined threshold to determine whether the handwriting has high learning efficiency.

制御部11は、学習効率が高い筆跡であるか否かに応じて、再履修問題を出題するか否かを判定する(ステップS36)。再履修問題を出題すると判定した場合(S36:YES)、制御部11は、学習者が今回解答した問題に応じた再履修問題を端末2に出力する(ステップS37)。ステップS37の処理を実行後、又はステップS36でNOの場合、制御部11は一連の処理を終了する。 The control unit 11 determines whether or not to give a re-taking question, depending on whether or not the handwriting has high learning efficiency (step S36). When it is determined that the repeatable question is to be given (S36: YES), the control unit 11 outputs the repeatable question corresponding to the question answered by the learner this time to the terminal 2 (step S37). After executing the process of step S37, or if NO in step S36, the control unit 11 ends the series of processes.

以上より、本実施の形態1によれば、学習者が記入した解答の筆跡を分類することで、学習状況を適切に推定することができる。 As described above, according to the first embodiment, the learning situation can be appropriately estimated by classifying the handwriting of the answer entered by the learner.

また、本実施の形態1によれば、解答が記入された紙媒体を光学的に読み取った画像データから、学習状況を適切に推定することができる。 Further, according to the first embodiment, the learning situation can be appropriately estimated from the image data obtained by optically reading the paper medium on which the answer is written.

また、本実施の形態1によれば、電子ペン等によって電子的に入力されるストロークデータからも学習状況を推定することができる。 Further, according to the first embodiment, the learning situation can be estimated also from the stroke data electronically input by the electronic pen or the like.

また、本実施の形態1によれば、人間が手書きで記入した解答例の筆跡の特徴量を学習済みの分類器141を用いることで、筆跡の分類を精度良く行うことができる。 Further, according to the first embodiment, it is possible to accurately classify the handwriting by using the classifier 141 that has learned the feature amount of the handwriting of the answer example handwritten by a human.

また、本実施の形態1によれば、解答例に対して筆跡の分類結果の正解値が対応付けられた教師データを用いて、より精度の良い分類器141を生成することができる。 Further, according to the first embodiment, it is possible to generate the classifier 141 with higher accuracy by using the teacher data in which the correct answer value of the classification result of the handwriting is associated with the example answer.

また、本実施の形態1によれば、筆跡の分類結果を解答の正誤と対応付けて解答DB143に記憶することで、学習効率の高低を判定可能なデータベースを構築することができる。 Further, according to the first embodiment, by storing the classification result of the handwriting in the answer DB 143 in association with the correctness of the answer, it is possible to construct a database capable of determining the level of learning efficiency.

また、本実施の形態1によれば、解答DB143を参照して学習効率が高い筆跡であるか否かを判定することで、学習者がどの程度の集中力で問題に取り組んだか、学習状況を適切に推定することができる。 Further, according to the first embodiment, by referring to the answer DB 143 and determining whether or not the handwriting has high learning efficiency, it is possible to determine how much concentration the learner has tackled the problem and the learning status. It can be properly estimated.

また、本実施の形態1によれば、学習者が問題に解答した解答時期や問題の分野を考慮して学習効率を判定することで、学習状況をより適切に推定することができる。 Further, according to the first embodiment, the learning situation can be estimated more appropriately by determining the learning efficiency in consideration of the answer time when the learner answered the question and the field of the question.

また、本実施の形態1によれば、判定した学習効率に応じて再履修問題を出力することで、効率の良い学習を促すことができる。 Further, according to the first embodiment, it is possible to promote efficient learning by outputting the re-taking question according to the determined learning efficiency.

(実施の形態2)
本実施の形態では、半教師あり学習で分類器141を生成する形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図9は、実施の形態2に係る分類器141の生成処理に関する説明図である。図9に基づき、本実施の形態の概要を説明する。
(Embodiment 2)
In the present embodiment, a form in which the classifier 141 is generated by semi-supervised learning will be described. In addition, the same reference numerals will be given to the same contents as those in the first embodiment and the description thereof will be omitted.
FIG. 9 is an explanatory diagram regarding the generation processing of the classifier 141 according to the second embodiment. The outline of the present embodiment will be described with reference to FIG.

上述の如く、本実施の形態においてサーバ1は半教師あり学習によって分類器141を生成する。具体的には、サーバ1は、教師データとして用いる複数の解答例のうち、筆跡の分類結果の正解値が既知の教師ありデータと、正解値が未知の教師なしデータとを用いて分類器141を生成する。 As described above, in the present embodiment, the server 1 generates the classifier 141 by the semi-supervised learning. Specifically, the server 1 uses the supervised data in which the correct answer value of the classification result of the handwriting is known and the unsupervised data in which the correct answer value is unknown among the plurality of answer examples used as the teacher data. To generate.

例えばサーバ1はまず、教師データとして用いる複数の解答例のうち、一部の解答例に対して正解値が対応付けられた教師ありデータを用いて学習を行う。この場合、サーバ1は実施の形態1と同様に各解答例に係る画像データを分類器141に入力して筆跡の分類を行い、分類結果を正解値と比較して重み等の各種パラメータを最適化する。 For example, the server 1 first performs learning by using supervised data in which correct answer values are associated with some answer examples among a plurality of answer examples used as teacher data. In this case, the server 1 inputs the image data according to each answer example into the classifier 141, classifies the handwriting, and compares the classification result with the correct answer value to optimize various parameters such as weights, as in the first embodiment. Turn into.

サーバ1は、上記で設定したパラメータを分類器141の初期値として、次に教師なしデータを用いて学習を行う。この場合、例えばサーバ1は教師なし学習として、教師なしデータに含まれる各解答例を筆跡に応じて複数のクラスに分類するクラスタリングを行う。例えばサーバ1は、教師なしデータの解答例を、筆跡が走り書きに該当するクラスと、走り書きに該当しないクラスとの2クラスに分類する2クラス判定を行う。サーバ1は、各解答例に係る画像データを分類器141に入力して分類を行い、いずれのクラスに属するか分類を行う。 The server 1 uses the parameters set above as initial values for the classifier 141, and then performs learning using unsupervised data. In this case, for example, the server 1 performs, as unsupervised learning, clustering for classifying each answer example included in the unsupervised data into a plurality of classes according to the handwriting. For example, the server 1 performs a two-class determination that classifies an answer example of unsupervised data into two classes, a class in which handwriting corresponds to scribble and a class in which handwriting does not correspond to scribble. The server 1 inputs the image data according to each answer example to the classifier 141 to perform classification, and classifies which class it belongs to.

サーバ1は、教師データの分類結果に基づいて重み等の各種パラメータを最適化する。パラメータの最適化手法は特に限定されないが、例えばサーバ1はブートストラップ法を用いて最適化を行う。具体的には、サーバ1は分類結果の信頼度に応じて特徴量空間における各クラスの分類境界を更新し、各パラメータを最適化する。これによりサーバ1は、最終的に分類器141を生成する。 The server 1 optimizes various parameters such as weights based on the classification result of the teacher data. The parameter optimization method is not particularly limited, but for example, the server 1 optimizes using the bootstrap method. Specifically, the server 1 updates the classification boundary of each class in the feature space according to the reliability of the classification result, and optimizes each parameter. Thereby, the server 1 finally generates the classifier 141.

なお、半教師あり学習の手法はブートストラップ法に限定されず、例えばグラフベース半教師あり学習などを用いてもよい。すなわち、サーバ1は教師ありデータ及び教師なしデータから分類器141を生成可能であればよく、その学習手法は特に限定されない。 The method of semi-supervised learning is not limited to the bootstrap method, and graph-based semi-supervised learning or the like may be used. That is, the server 1 only needs to be able to generate the classifier 141 from supervised data and unsupervised data, and its learning method is not particularly limited.

図10は、実施の形態2に係る分類器141の生成処理の手順を示すフローチャートである。
サーバ1の制御部11は、複数の解答例を示す解答情報群の教師データを取得する(ステップS201)。本実施の形態に係る教師データは、複数の解答例のうち、一部の解答例に対して筆跡の分類結果の正解値が対応付けられた教師ありデータと、正解値が対応付けられていない教師なしデータとを含む。
FIG. 10 is a flowchart showing the procedure of the generation process of the classifier 141 according to the second embodiment.
The control unit 11 of the server 1 acquires the teacher data of the answer information group indicating a plurality of answer examples (step S201). In the teacher data according to the present embodiment, among the plurality of answer examples, the teacher answer data in which the correct answer value of the classification result of the handwriting is associated with some answer examples, and the correct answer value is not associated Including unsupervised data.

まず制御部11は、教師ありデータを用いて機械学習を行い、分類器141に設定する重み等の各種パラメータの初期値を決定する(ステップS202)。続いて制御部11は、教師なしデータを学習用のデータセットに追加して各種パラメータの最適化を行い、最終的に分類器141を生成する(ステップS203)。例えば制御部11は、ブートストラップ法等を用いて各種パラメータの最適化を行う。制御部11は一連の処理を終了する。 First, the control unit 11 performs machine learning using supervised data and determines initial values of various parameters such as weights set in the classifier 141 (step S202). Subsequently, the control unit 11 adds the unsupervised data to the learning data set, optimizes various parameters, and finally generates the classifier 141 (step S203). For example, the control unit 11 optimizes various parameters using the bootstrap method or the like. The control unit 11 ends the series of processes.

以上より、本実施の形態2によれば、半教師あり学習で分類器141を生成することができ、機械学習のコストを低減することができる。 As described above, according to the second embodiment, the classifier 141 can be generated by semi-supervised learning, and the cost of machine learning can be reduced.

(実施の形態3)
本実施の形態では、ルールベースで解答の筆跡を分類する形態について説明する。
図11は、実施の形態3に係る筆跡分類処理に関する説明図である。図11に基づき、本実施の形態の概要について説明する。
(Embodiment 3)
In the present embodiment, a form in which the handwriting of the answer is classified on a rule basis will be described.
FIG. 11 is an explanatory diagram related to handwriting classification processing according to the third embodiment. The outline of the present embodiment will be described with reference to FIG.

本実施の形態においてサーバ1は、分類器141を用いず、解答が走り書きであるか否かをルールベースで分類する。例えばサーバ1は、問題用紙(紙媒体)から抽出した解答領域の画像に対して文字認識を行い、解答領域をさらに文字単位の画像に分割する。 In the present embodiment, the server 1 does not use the classifier 141 and classifies whether or not the answer is scribble on a rule basis. For example, the server 1 performs character recognition on the image of the answer area extracted from the question paper (paper medium), and further divides the answer area into images for each character.

サーバ1は、分割した各画像から、各文字が走り書きに該当するか否か、文字単位で判定(分類)を行う。判定基準とするルールは特に限定されないが、例えばサーバ1は、3つの判定基準に基づいて分類を行う。第1の基準は、文字を構成する線が直線であるか否かである。サーバ1は、直線でない場合、走り書きに該当すると判定する。また、第2の基準は、文字の傾き(文字内の線の傾斜)である。サーバ1は、文字の傾きが揃っていない場合、走り書きに該当すると判定する。第3の基準は、文字の中心線である。サーバ1は、文字の中心線が画像の中心を通っているか否かに応じて、走り書きに該当するか否かを判定する。 The server 1 determines (classifies) for each character from each divided image whether each character corresponds to scribble. The rule used as the criterion is not particularly limited, but the server 1 performs classification based on the three criterion, for example. The first criterion is whether or not the lines forming the character are straight lines. If it is not a straight line, the server 1 determines that it corresponds to scribble. Further, the second criterion is the inclination of the character (the inclination of the line in the character). The server 1 determines that it corresponds to scribble when the inclinations of the characters are not uniform. The third criterion is the centerline of the character. The server 1 determines whether it corresponds to scribble, depending on whether the center line of the character passes through the center of the image.

上述の如く、サーバ1は各基準に該当するか否か、文字単位で判定(分類)を行う。サーバ1は、各文字における各基準の判定結果に基づき、各文字から構成される解答全体として学習効率の高低を判定する。例えばサーバ1は、図11に示すように、各判定基準に該当したか否かを解答の文字列全体で集計し、集計結果に応じて学習効率を算出する。サーバ1は、算出した学習効率に応じて再履修問題を出力する。 As described above, the server 1 determines (classifies) on a character-by-character basis whether or not each criterion is met. The server 1 determines the degree of learning efficiency of the entire answer composed of each character based on the determination result of each criterion for each character. For example, as shown in FIG. 11, the server 1 aggregates whether or not each criterion is met for the entire character string of the answer, and calculates the learning efficiency according to the aggregated result. The server 1 outputs a re-taking question according to the calculated learning efficiency.

図12は、実施の形態3に係る筆跡分類処理の手順を示すフローチャートである。端末2から解答情報を取得し(ステップS31)、解答領域を抽出した後(ステップS32)、サーバ1の制御部11は以下の処理を実行する。
制御部11は、解答領域の画像から解答の筆跡を分類する処理を行う(ステップS301)。具体的には、制御部11は、解答領域に対する文字認識を行って文字単位で画像を分割し、分割した各画像から、各文字が走り書きに該当するか否かを所定のルールに基づいて分類する。当該ルールは特に限定されないが、例えば制御部11は、文字の線、傾き、中心軸等に応じて分類を行う。制御部11は、各文字の分類結果に基づいて学習効率が高い筆跡であるか否かを判定し(ステップS302)、処理をステップS36に移行する。
FIG. 12 is a flowchart showing the procedure of the handwriting classification process according to the third embodiment. After acquiring the answer information from the terminal 2 (step S31) and extracting the answer area (step S32), the control unit 11 of the server 1 executes the following processing.
The control unit 11 performs a process of classifying the answer handwriting from the image of the answer area (step S301). Specifically, the control unit 11 performs character recognition on the answer area, divides the image into character units, and classifies whether or not each character corresponds to scribble from each divided image based on a predetermined rule. To do. Although the rule is not particularly limited, for example, the control unit 11 performs classification according to the line, inclination, central axis, etc. of the character. The control unit 11 determines whether the handwriting has high learning efficiency based on the classification result of each character (step S302), and moves the process to step S36.

以上より、本実施の形態3によれば、分類器141を用いずとも学習状況を推定することができる。 As described above, according to the third embodiment, the learning situation can be estimated without using the classifier 141.

(実施の形態4)
図13は、上述した形態のサーバ1の動作を示す機能ブロック図である。制御部11がプログラムPを実行することにより、サーバ1は以下のように動作する。
取得部131は、学習者が問題に対して手書きで記入した解答を示す解答情報を取得する。分類部132は、前記解答情報が示す前記解答の筆跡を分類する。
(Embodiment 4)
FIG. 13 is a functional block diagram showing the operation of the server 1 having the above-described form. When the control unit 11 executes the program P, the server 1 operates as follows.
The acquisition unit 131 acquires answer information indicating an answer handwritten by the learner with respect to the question. The classification unit 132 classifies the handwriting of the answer indicated by the answer information.

本実施の形態4は以上の如きであり、その他は実施の形態1から3と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。 The fourth embodiment is as described above, and the other points are the same as those of the first to third embodiments, and therefore, corresponding parts will be denoted by the same reference numerals and detailed description thereof will be omitted.

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are to be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above meaning but by the scope of the claims, and is intended to include meanings equivalent to the scope of the claims and all modifications within the scope.

1 サーバ(情報処理装置)
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P プログラム
141 分類器
142 学習者DB
143 解答DB
1 server (information processing device)
11 Control Section 12 Main Storage Section 13 Communication Section 14 Auxiliary Storage Section P Program 141 Classifier 142 Learner DB
143 Answer DB

Claims (12)

学習者が問題に対して手書きで記入した解答を示す解答情報を取得する取得部と、
前記解答情報が示す前記解答の筆跡を分類する分類部と
を備えることを特徴とする情報処理装置。
An acquisition unit that acquires answer information indicating the answer handwritten by the learner for the problem,
An information processing apparatus, comprising: a classification unit that classifies the handwriting of the answer indicated by the answer information.
前記解答情報は、前記解答が記入された紙媒体を光学的に読み取った画像データであり、
前記分類部は、前記画像データに基づき前記筆跡を分類する
ことを特徴とする請求項1に記載の情報処理装置。
The answer information is image data obtained by optically reading a paper medium on which the answer is written,
The information processing apparatus according to claim 1, wherein the classification unit classifies the handwriting based on the image data.
前記解答情報は、手書きで入力されたストローク群から成る前記解答のストロークデータであり、
前記分類部は、前記ストロークデータに基づき前記筆跡を分類する
ことを特徴とする請求項1に記載の情報処理装置。
The answer information is stroke data of the answer consisting of a stroke group input by handwriting,
The information processing apparatus according to claim 1, wherein the classification unit classifies the handwriting based on the stroke data.
前記分類部は、人間が手書きで記入した解答例の筆跡の特徴量を学習済みの分類器を用いて、前記筆跡を分類する
ことを特徴とする請求項1〜3のいずれか1項に記載の情報処理装置。
The said classification|category part classifies the said handwriting using the classifier which has learned the feature-value of the handwriting of the answer example handwritten by the human being. The claim 1 characterized by the above-mentioned. Information processing equipment.
前記分類器は、複数の前記解答例夫々に対して前記筆跡の分類結果の正解値を対応付けた教師データを用いて生成された学習済みモデルである
ことを特徴とする請求項4に記載の情報処理装置。
The classifier is a learned model generated using teacher data in which correct answer values of the classification result of the handwriting are associated with each of the plurality of answer examples. Information processing device.
前記分類器は、複数の前記解答例のうち、一部の前記解答例に対して前記筆跡の分類結果の正解値が対応付けられた教師ありデータと、前記複数の解答例のうち前記一部の解答例以外の前記解答例から成る教師なしデータとを用いて生成された学習済みモデルである
ことを特徴とする請求項4に記載の情報処理装置。
The classifier includes supervised data in which correct answer values of the classification result of the handwriting are associated with some of the answer examples among the plurality of answer examples, and the part of the plurality of answer examples. An unprocessed model generated using unsupervised data composed of the example answer other than the example answer described above. The information processing apparatus according to claim 4, wherein the model is a learned model.
前記筆跡の分類結果と、該筆跡に対応する前記解答の正誤とを関連付けて記憶する記憶部を備える
ことを特徴とする請求項1〜6のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising: a storage unit that stores the classification result of the handwriting and the correctness of the answer corresponding to the handwriting in association with each other.
前記分類部が前記筆跡を分類した場合、前記記憶部を参照して、該筆跡と分類結果が同一又は類似する前記筆跡に関連付けられた前記解答の正誤に基づき、学習効率の高い筆跡であるか否かを判定する判定部を備える
ことを特徴とする請求項7に記載の情報処理装置。
When the classification unit classifies the handwriting, whether the handwriting has high learning efficiency based on the correctness of the answer associated with the handwriting having the same or similar classification result as the handwriting with reference to the storage unit. The information processing apparatus according to claim 7, further comprising a determination unit that determines whether or not the information processing apparatus is included.
前記記憶部は、前記学習者が前記問題に解答した解答時期、又は該問題の分野毎に前記筆跡の分類結果及び前記解答の正誤を記憶し、
前記分類部が前記筆跡を分類した場合、前記判定部は、該筆跡に対応する前記解答と前記解答時期又は分野が共通する前記筆跡の分類結果を参照して、学習効率の高い筆跡であるか否かを判定する
ことを特徴とする請求項8に記載の情報処理装置。
The storage unit stores the answer time at which the learner answered the question, or the classification result of the handwriting and the correctness of the answer for each field of the question,
When the classification unit classifies the handwriting, the determination unit refers to a classification result of the handwriting in which the answer corresponding to the handwriting and the answer time or field are common, and whether the handwriting has high learning efficiency. The information processing apparatus according to claim 8, wherein the information processing apparatus determines whether or not it is.
前記判定部による判定結果に応じて、前記学習者に再学習させる問題を出力する出力部を備える
ことを特徴とする請求項8又は9に記載の情報処理装置。
The information processing apparatus according to claim 8 or 9, further comprising an output unit that outputs a problem that causes the learner to re-learn according to a determination result by the determination unit.
学習者が問題に対して手書きで記入した解答を示す解答情報を取得し、
前記解答情報が示す前記解答の筆跡を分類する
処理をコンピュータに実行させることを特徴とする情報処理方法。
Acquire answer information indicating the answer handwritten by the learner for the problem,
An information processing method comprising causing a computer to execute a process of classifying the handwriting of the answer indicated by the answer information.
学習者が問題に対して手書きで記入した解答を示す解答情報を取得し、
前記解答情報が示す前記解答の筆跡を分類する
処理をコンピュータに実行させることを特徴とするプログラム。
Acquire answer information indicating the answer handwritten by the learner for the problem,
A program for causing a computer to execute a process of classifying the handwriting of the answer indicated by the answer information.
JP2019006326A 2019-01-17 2019-01-17 Information processing device, information processing method and program Active JP7293658B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019006326A JP7293658B2 (en) 2019-01-17 2019-01-17 Information processing device, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019006326A JP7293658B2 (en) 2019-01-17 2019-01-17 Information processing device, information processing method and program

Publications (2)

Publication Number Publication Date
JP2020115175A true JP2020115175A (en) 2020-07-30
JP7293658B2 JP7293658B2 (en) 2023-06-20

Family

ID=71778517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019006326A Active JP7293658B2 (en) 2019-01-17 2019-01-17 Information processing device, information processing method and program

Country Status (1)

Country Link
JP (1) JP7293658B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176157B1 (en) * 2021-06-30 2022-11-21 楽天グループ株式会社 LEARNING MODEL CREATION SYSTEM, LEARNING MODEL CREATION METHOD AND PROGRAM
JP7176158B1 (en) * 2021-06-30 2022-11-21 楽天グループ株式会社 LEARNING MODEL EVALUATION SYSTEM, LEARNING MODEL EVALUATION METHOD, AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014032320A (en) * 2012-08-03 2014-02-20 Waseda Univ Memory degree estimation device and memory degree estimation program
JP2018120109A (en) * 2017-01-26 2018-08-02 株式会社ジャストシステム Learning support program, learning support method, and learning support device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014032320A (en) * 2012-08-03 2014-02-20 Waseda Univ Memory degree estimation device and memory degree estimation program
JP2018120109A (en) * 2017-01-26 2018-08-02 株式会社ジャストシステム Learning support program, learning support method, and learning support device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"でかいチーズをベーグルする", 半教師あり学習のモデル仮定[ONLINE], JPN6022046137, 12 December 2014 (2014-12-12), ISSN: 0005021260 *
高橋 真奈茄、小出 洋: "機械学習を用いたパターン認識による筆者識別", 第57回プログラミング・シンポジウム予稿集, JPN6022046136, 8 January 2016 (2016-01-08), pages 133 - 142, ISSN: 0005021259 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176157B1 (en) * 2021-06-30 2022-11-21 楽天グループ株式会社 LEARNING MODEL CREATION SYSTEM, LEARNING MODEL CREATION METHOD AND PROGRAM
JP7176158B1 (en) * 2021-06-30 2022-11-21 楽天グループ株式会社 LEARNING MODEL EVALUATION SYSTEM, LEARNING MODEL EVALUATION METHOD, AND PROGRAM
WO2023276073A1 (en) * 2021-06-30 2023-01-05 楽天グループ株式会社 Learning model evaluation system, learning model evaluation method, and program
WO2023276072A1 (en) * 2021-06-30 2023-01-05 楽天グループ株式会社 Learning model construction system, learning model construction method, and program
TWI813322B (en) * 2021-06-30 2023-08-21 日商樂天集團股份有限公司 Learning model creation system, learning model creation method, and program product
TWI827086B (en) * 2021-06-30 2023-12-21 日商樂天集團股份有限公司 Learning model evaluation system, learning model evaluation method and program product

Also Published As

Publication number Publication date
JP7293658B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US11138899B2 (en) Cheating detection in remote assessment environments
US10997560B2 (en) Systems and methods to improve job posting structure and presentation
CN111708873A (en) Intelligent question answering method and device, computer equipment and storage medium
US20210406266A1 (en) Computerized information extraction from tables
KR102040400B1 (en) System and method for providing user-customized questions using machine learning
US9665551B2 (en) Leveraging annotation bias to improve annotations
US20210279622A1 (en) Learning with limited supervision for question-answering with light-weight markov models
US20210133439A1 (en) Machine learning prediction and document rendering improvement based on content order
US11115359B2 (en) Method and apparatus for importance filtering a plurality of messages
CN110275987A (en) Intelligent tutoring consultant generation method, system, equipment and storage medium
WO2016114790A1 (en) Reading difficulty level based resource recommendation
CN114168841A (en) Content recommendation method and device
CN112347997A (en) Test question detection and identification method and device, electronic equipment and medium
JP7293658B2 (en) Information processing device, information processing method and program
US10915819B2 (en) Automatic real-time identification and presentation of analogies to clarify a concept
JP2018063600A (en) Information processing device, information processing method, and program
US20220335274A1 (en) Multi-stage computationally efficient neural network inference
JP2021015549A (en) Information processing method and information processing device
CN114973374A (en) Expression-based risk evaluation method, device, equipment and storage medium
CN114548098A (en) Text readability evaluation method, device and equipment and storage medium
CN113569112A (en) Tutoring strategy providing method, system, device and medium based on question
US20220261856A1 (en) Method for generating search results in an advertising widget
US20240086452A1 (en) Tracking concepts within content in content management systems and adaptive learning systems
US20230343122A1 (en) Performing optical character recognition based on fuzzy pattern search generated using image transformation
Jiang et al. RETRACTED ARTICLE: Improve Students' Fast Reading Ability Based on Visual Positioning Technology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7293658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150