JP2022018635A - 解答添削システム、方法、プログラム - Google Patents
解答添削システム、方法、プログラム Download PDFInfo
- Publication number
- JP2022018635A JP2022018635A JP2020121873A JP2020121873A JP2022018635A JP 2022018635 A JP2022018635 A JP 2022018635A JP 2020121873 A JP2020121873 A JP 2020121873A JP 2020121873 A JP2020121873 A JP 2020121873A JP 2022018635 A JP2022018635 A JP 2022018635A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- answer
- comment
- answer document
- learner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 449
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims description 105
- 239000003550 marker Substances 0.000 claims description 100
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】解答添削業務の効率化に貢献するシステム、方法、プログラムを提供すること。
【解決手段】解答添削システムは、添削対象の学習者解答文書を決定する、学習者解答文書入力・選択部と、学習済み添削標識モデル生成部と、学習済みコメントモデル生成部と、学習済みコメントレイアウトモデル生成部と、各学習済みモデルにより、添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する、添削標識予測部と、添削標識付き学習者解答文書のコメントを予測するコメント予測部と、添削標識付き学習者解答文書のコメントレイアウト位置を予測するコメントレイアウト予測部と、添削標識付き学習者解答文書の中の、予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成する、添削済み解答文書生成部と、添削済み解答文書表示部とを含む。
【選択図】図１
【解決手段】解答添削システムは、添削対象の学習者解答文書を決定する、学習者解答文書入力・選択部と、学習済み添削標識モデル生成部と、学習済みコメントモデル生成部と、学習済みコメントレイアウトモデル生成部と、各学習済みモデルにより、添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する、添削標識予測部と、添削標識付き学習者解答文書のコメントを予測するコメント予測部と、添削標識付き学習者解答文書のコメントレイアウト位置を予測するコメントレイアウト予測部と、添削標識付き学習者解答文書の中の、予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成する、添削済み解答文書生成部と、添削済み解答文書表示部とを含む。
【選択図】図１
Description
本発明は、解答添削システム、方法、プログラムに関する。
特許文献１に、段落００１１には、「（４）本発明は、（１）の難易度推定装置について、前記難易度推定手段が、前記特徴量と前記難易度の関係の分析に重回帰分析を用いることを特徴とする難易度推定装置を提案している。・・・各種機械学習技術を用いても良い。」と記載されており、段落００２７には、「データベース１１０は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納する。」と記載されており、段落００２８には、「特徴量抽出部１２０は、ある問題に対して、特徴量を抽出する。ここで、特徴量とは、図２に示すように、問題タイプが算数ドリルの場合、・・・英語穴埋め問題の場合、例えば、問題文の文エントロピー、選択肢の単語の難易度、選択肢の数、選択肢の単語の語長のいずれかまたはその組み合わせである。」と記載されている。さらに、段落００２９には、「特徴量と難易度との関係の分析には、重回帰分析を用いることが好ましい。つまり、算数ドリルにおける難易度推定の例では、図２に示すように、難易度が既知である既知の算数ドリルｎ問に対して、被演算子の数などからなる５つの特徴量を抽出し、難易度との関係を重回帰分析により学習する。」と記載されている。
特許文献２に、段落００１９には、「図７は図６により説明した採点情報を解答データに埋め込み、学習者に返す採点付き解答データの表示イメージを説明する図である。図７に示すように、・・・各解答毎にインデントで示された学習者へのコメントとが記述される。また、それらの箇条書きの解答項目の後に、その学習者が気付かなかった項目（正しい他の解答項目）が指摘されている。」と記載されており、段落００６１には、「さらに、利用する解答データの優先度を指定することができるので、例えば、採点者が予め模範解とその採点情報を用意しておいて、採点する解答データと類似したものの中で模範解を優先して使用することができ、採点者の意図に沿った採点を行うことが可能になる。」と記載されており、段落００３８には、「図８は箇条書きの解答項目間の類似性判定の結果の関係をリンクで示す図である。・・・このように、文の類似を調べた場合、一般的には複数個の類似が検出される。従って、図９に示すように、採点情報作成部１００５が採点者に採点情報を問い合わせる場合、これらの見つかった複数の類似の箇条書き項目を表示することになる。」と記載されている。
特許文献３に、段落００５０には、「本実施例の研修システムにより、・・・多数の受講生の答案について客観的で迅速な添削ができるよう、添削者が解答のポイントごとに一義的に判断して添削コメントを選択できるようにするためのシステムを提供することが可能となる。」と記載されており、段落００２１には、「ここで、本システムは、予め本問題に対する模範解答として（表２）に示す情報を保持している。」と記載されており、段落００１９には、「この添削コメント生成用情報は、答案の解答ポイントごとに客観的に選択可能な評価とこれに対応するコメントとを一対一に対応付けたものである。・・・そして、一つの問題にこのような客観的に評価、選択可能なコメントが対応付けられたものが、複数の解答ポイントについて設定され、これら解答ポイントごとに一義的に選択されたコメントをつなぎ合わせることで答案全体に対するコメントである「添削コメント」が生成されように構成される。」と記載されている。
以下の分析は、本発明によって与えられたものである。教育業界の中でも、通信教育では、学生が作成した解答を添削し、添削者が解答を添削して返却するという形式が通常である。添削者が学生の解答を添削する際、添削箇所の特定や、コメントの記載に多大な時間と労力を要するという課題がある。
本発明は、解答添削業務の効率化に貢献するシステム、方法、プログラムを提供することを目的とする。
第１の視点によれば、添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定する、学習者解答文書入力・選択部と、１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行する、学習済み添削標識モデル生成部と、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行する、学習済みコメントモデル生成部と、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行する、学習済みコメントレイアウトモデル生成部と、前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する、添削標識予測部と、前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測するコメント予測部と、
前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測するコメントレイアウト予測部と、前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成する、添削済み解答文書生成部と、前記添削済み解答文書を表示する、添削済み解答文書表示部とを含む、解答添削システムが、提供される。
前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測するコメントレイアウト予測部と、前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成する、添削済み解答文書生成部と、前記添削済み解答文書を表示する、添削済み解答文書表示部とを含む、解答添削システムが、提供される。
第２の視点によれば、添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定するステップと、１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行するステップと、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行するステップと、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行するステップと、前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力するステップと、前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測するステップと、前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測するステップと、前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成するステップと、前記添削済み解答文書を表示するステップとを含む、解答添削方法が提供される。本方法は、上記した添削対象の学習者解答文書を決定し、添削標識モデルの学習を実行し、コメントモデルの学習を実行し、コメントレイアウトモデルの学習を実行し、添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力し、コメントを予測し、コメントレイアウト位置を予測し、添削済み解答文書を表示する機能を備えたコンピュータという、特定の機械に結びつけられている。
第３の視点によれば、プロセッサと記憶装置とを備えるコンピュータに、添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定する処理と、１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行する処理と、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行する処理と、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行する処理と、前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する処理と、前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測する処理と、前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測する処理と、前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成する処理と、前記添削済み解答文書を表示する処理とを実行させる、解答添削プログラムが、提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、解答添削業務の効率化に貢献することができる。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。
本発明は、その一実施形態において、図１に示すように、学習者解答文書入力・選択部１０と、学習済み添削標識モデル生成部２０と、学習済みコメントモデル生成部３０と、学習済みコメントレイアウトモデル生成部４０と、添削標識予測部５０、コメント予測部６０と、コメントレイアウト予測部７０と、添削済み解答文書生成部８０と、添削済み解答文書表示部９０とを含む解答添削システム１にて実現できる。
なお、本明細書の全体において、添削標識とは、解答文書や学習者解答文書等において、添削箇所を指定する標識であり、例えば、これに限られないが、横書きの場合は下線、縦書きの場合は傍線、あるいは、波線、二重線、矢印付き引き出し線、添削箇所を囲む矩形又は他の図形、色付け等の、添削箇所を指定する任意の指定方法の標識を使用することが可能である。
より具体的には、解答添削システム１の学習者解答文書入力・選択部１０は、添削対象の学習者解答文書を入力して蓄積し、蓄積されている学習者解答文書を選択し、添削対象の学習者解答文書を決定する。学習済み添削標識モデル生成部２０は、１または複数の解答文書と、解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行する。学習済みコメントモデル生成部３０は、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、添削標識付き解答文書の中で添削標識付与箇所の解答部分に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行する。学習済みコメントレイアウトモデル生成部４０は、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、添削標識付き解答文書の中で添削標識付与箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行する。
なお、添削標識モデルの学習においては、１または複数の解答文書と、解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして、第１のニューラルネットワークにより予測された添削標識付与箇所と、正解データとの間の誤差が最小になるように第１のニューラルネットワークの重みパラメータが調整されて、学習済み添削標識モデルが生成される。コメントモデルの学習においては、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、添削標識付き解答文書の中で添削標識付与箇所の解答部分に対応するコメントを指定した正解データを第２の訓練データとして、第２のニューラルネットワークにより予測されたコメントと、正解データとの間の誤差が最小になるように第２のニューラルネットワークの重みパラメータが調整されて、学習済みコメントモデルが生成される。コメントレイアウトモデルの学習においては、添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、添削標識付き解答文書の中で添削標識付与箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとして、第３のニューラルネットワークにより予測されたコメントレイアウト位置と、正解データとの間の誤差が最小になるように第３のニューラルネットワークの重みパラメータが調整されて、学習済みコメントレイアウトモデルが生成される。
添削標識予測部５０は、学習済み添削標識モデルにより添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する。コメント予測部６０は、学習済みコメントモデルにより添削標識付き解答文書の添削標識付与箇所の解答部分に対応するコメントを予測する。コメントレイアウト予測部７０は、学習済みコメントレイアウトモデルにより添削標識付き学習者解答文書中で添削標識付与箇所に対応するコメントを配置するコメントレイアウト位置を予測する。添削済み解答文書生成部８０は、添削標識付き学習者解答文書の中の、予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成する。添削済み解答文書表示部９０は、生成された添削済み解答文書を表示する。
図２は、各モデルの学習に使用する、訓練データの一例を示したものである。訓練データ２は、これに限られないが、例えば、小論文の解答、国語の解答、英作文の解答に、添削標識付与し、そのコメントを記載して添削がなされた文書でもよい。上記の説明では、各モデルを学習する場合の、第１、第２、第３の訓練データをそれぞれ別々に記載した。しかしながら、図２に示すように、文書中に添削標識を記載し対応するコメントを記載して添削された学習者解答文書を使用すれば、第１の訓練データは、添削箇所を除いた学習者解答文書と添削された学習者解答文書中に記載された添削標識を正解データとする訓練データとして、第２の訓練データは、添削標識部分を含む添削された学習者解答文書と添削標識付与箇所の解答部分に対応するコメントを正解データとする訓練データとして、第３の訓練データは、添削標識部分を含む添削された学習者解答文書と添削標識付与箇所に対応するコメントが配置されたコメントレイアウト位置を正解データとする訓練データとして、それぞれ生成することができる。
また、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループの訓練データに対して、それぞれモデルの学習を実行して、それぞれの難易度に対応する異なる学習済みモデルを生成することができる。すなわち、モデルの学習を実行する訓練データとして、学習者が解答する試験問題の難易度に従って、志望大学毎又は学力レベル毎に、１または複数の学習者解答文書とそれらの文書の中に添削して添削標識とコメントを配置した正解データを含む訓練データを準備してモデルの学習を実行すれば、志望大学毎又は学力レベル毎に異なる試験問題の難易度に適応された学習済みモデルが生成され、この学習済みモデルにより志望大学毎又は学力レベル毎に適応された添削済み解答文書を予測して出力し、表示することも可能である。
従って、学習者解答文書に対して、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎に適応した添削済み解答文書を出力し、表示して、添削済み解答文書の推薦を行うことも可能である。
また、本一実施形態において、第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせでもよい。
また、本一実施形態において、第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせでもよい。あるいは、第２のニューラルネットワークは、エンコーダ・デコーダモデルでもよい。エンコーダ・デコーダモデルは、例えば、エンコーダおよびデコーダを、それぞれ、ＲＮＮ又はＬＳＴＭ等により構成し、エンコーダの出力がデコーダの入力に接続される構成である。添削された添削標識付与箇所に対応する学習者の解答部分をエンコーダへ入力し、デコーダから出力される予測されたコメントと、正解データのコメントとの間の誤差が最小になるように、複数の添削標識付与箇所に対応する学習者の解答部分と複数のコメント（正解データ）を用いてコメントエンコーダ・デコーダモデルの学習を実行し、学習済みコメントエンコーダ・デコーダモデルが生成されることも可能である。コメント予測部６０では、学習済みコメントエンコーダ・デコーダモデルに、添削標識で指定された添削箇所に対応する学習者の解答部分を入力し、デコーダで予測したコメントを出力することも可能である。
また、本一実施形態において、第３のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）でもよい。
さらに、添削対象の学習者解答文書は、テキストを含む文書、または、画像を含む文書でもよく、あるいは、テキストと画像の両者を含む文書でもよく、また、音声認識手段を用いて取得した文書でもよい。
図３は、本発明の一実施形態の解答添削システムの添削済み解答文書表示部の動作を示す図である。図３は、表示画面９５の一実施形態を示すものである。原稿用紙の升目部分には、学習者の解答が記載されており、これに、予測された添削箇所が添削標識（傍線と矢印付き引き出し線）で指摘されている。さらに、添削標識部分の学習者の解答に対してコメントが予測され、また、添削標識部分に対して、コメントのレイアウト位置（破線の矩形）が予測されて、予測されたコメントレイアウト位置に、予測されたコメントが配置されている。
上記のように、本発明の一実施形態の解答添削システムによれば、添削対象の学習者解答文書に対して、学習済み添削標識モデルにより添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力し、学習済みコメントモデルにより添削標識付き学習者解答文書のコメントを予測し、学習済みコメントレイアウトモデルにより添削標識付き学習者解答文書のコメントレイアウト位置を予測し、添削標識付き学習者解答文書上の予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成し表示することができるので、解答添削業務の効率化に貢献することができる。また、学習者解答文書に対して、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎に適応した添削済み解答文書を出力し、表示して、添削済み解答文書の推薦を行うことも可能である。
［第１の実施形態］
次に、本発明の第１の実施形態の文書の解答添削システムについて、図面を参照して説明する。図４は、本発明の第１の実施形態の解答添削システムの構成を示す図である。図４を参照すると、学習者解答文書入力・選択部１１０と、ユーザー端末１１１と、学習済みモデル生成部１２０と、訓練データ蓄積部１２１と、文書データベース１３０と、解答添削処理部１４０と、添削済み解答文書表示部１５０とを備えた構成が示されている。
次に、本発明の第１の実施形態の文書の解答添削システムについて、図面を参照して説明する。図４は、本発明の第１の実施形態の解答添削システムの構成を示す図である。図４を参照すると、学習者解答文書入力・選択部１１０と、ユーザー端末１１１と、学習済みモデル生成部１２０と、訓練データ蓄積部１２１と、文書データベース１３０と、解答添削処理部１４０と、添削済み解答文書表示部１５０とを備えた構成が示されている。
学習者解答文書入力・選択部１１０は、ユーザー端末１１１から、添削対象の学習者解答文書を入力して文書データベース１３０に蓄積し、文書データベース１３０に蓄積されている学習者解答文書を選択し、添削対象の学習者解答文書を決定する。
学習済みモデル生成部１２０は、訓練データ蓄積部１２１に蓄積された、上述した第１、第２及び、第３の訓練データを使用して、添削標識モデル、コメントモデル及び、コメントレイアウトモデルの学習を実行する。なお、学習済みモデル生成部１２０は、上述の一実施形態で説明した、学習済み添削標識モデル生成部２０と、学習済みコメントモデル生成部３０と、学習済みコメントレイアウトモデル生成部４０の動作を実行する。学習済みモデル生成部１２０により生成された、学習済み添削標識モデルと、学習済みコメントモデルと、学習済みコメントレイアウトモデルは、文書データベース１３０に格納される。なお、一実施形態で上述したように、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の試験の難易度の異なる複数のグループの訓練データを訓練データ蓄積部１２１に蓄積しており、それぞれのグループの訓練データに対して、それぞれのモデルの学習を実行して、それぞれの異なる学習済みモデルを生成し、難易度の異なる複数の種類の学習済みモデルを、文書データベース１３０に格納することも可能である。
解答添削処理部１４０は、文書データベース１３０に格納された学習済みモデルを使用して、文書データベース１３０に格納された添削対象の学習者解答文書の添削標識付与箇所の予測を行い添削標識付き学習者解答文書を出力し、添削標識付き学習者解答文書のコメントを予測し、コメントを配置するコメントレイアウト位置を予測し、添削標識付き学習者解答文書の中の、予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成する。添削済み解答文書表示部１５０は、解答添削処理部１４０により出力された添削済み解答文書を表示する。
図５は、本発明の第１の実施形態の解答添削システムの学習済みモデル生成部の構成を示す図である。学習済みモデル生成部１２０は、添削標識訓練データ変換部１２０１と、添削標識モデル学習部１２０２と、コメント訓練データ変換部１２０３と、コメントモデル学習部１２０４と、コメントレイアウト訓練データ変換部１２０５と、コメントレイアウトモデル学習部１２０６とを含む。添削標識訓練データ変換部１２０１とコメント訓練データ変換部１２０３は、添削標識訓練データとコメント訓練データを、添削標識モデル学習部１２０２とコメントモデル学習部１２０４がモデルの学習を実行する形式に変換する前処理を実行する。前処理の内容は、これに限らないが、例えば、学習者解答文書内の単語及びコメント内の単語をその分散表現へ変換すること等を含む。添削標識モデル学習部１２０２とコメントモデル学習部１２０４は、添削標識訓練データ変換部１２０１とコメント訓練データ変換部１２０３から入力された各訓練データを使用して、添削標識モデルとコメントモデルの学習を実行する。なお、添削標識モデル学習部１２０２とコメントモデル学習部１２０４によるモデルの学習については、上述の一実施形態で説明した、学習済み添削標識モデル生成部２０と学習済みコメントモデル生成部３０の動作と同一である。
なお、単語分散表現とは、単語の意味を高次元の実数ベクトルとして表す手法であり、ｗｏｒｄ２ｖｅｃ、ＧｌｏＶｅ（Ｇｌｏｂａｌ Ｖｅｃｔｏｒｓ ｆｏｒ Ｗｏｒｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）、ｆａｓｔＴｅｘｔ及びＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の手法が知られている。
但し、分散表現の性質は、それを学習する際に使用する文章（コーパス）に依存する。そのため、添削標識訓練データ変換部１２０１は、小論文の解答、国語の解答、英作文の解答などの分野毎の、問題や解答文書に関連する文章を使用して学習された分散表現を用いて、学習者解答文書内の単語を変換してもよい。
コメントレイアウト訓練データ変換部１２０５は、コメントレイアウト訓練データを、コメントレイアウトモデル学習部１２０６がモデルの学習を実行する形式に変換する前処理を実行する。前処理の内容は、これに限らないが、例えば、添削標識付き解答文書の中の添削標識を画像データに変換し、コメントの配置された箇所を枠線等の画像データに変換することを含む。コメントレイアウトモデル学習部１２０６は、添削標識付き解答文書の中の添削標識の画像データと、コメントの配置された箇所の枠線等の画像データを正解データとする第３の訓練データとして、ＣＮＮ（畳み込みニューラルネットワーク）によりコメントレイアウトモデルの学習を行うこともできる。
図６は、本発明の第１の実施形態の解答添削システムの解答添削処理部の構成を示す図である。解答添削処理部１４０は、添削標識付き解答文書生成部１４１と、コメント生成部１４２と、コメントレイアウト生成部１４３と、添削済み解答文書生成部１４４を含む。添削標識付き解答文書生成部１４１は、学習済み添削標識モデルを使用して、入力された学習者解答文書に対して、添削する添削標識付与箇所の予測を行い、添削標識付与箇所を決定し、添削標識付き解答文書を生成する。コメント生成部１４２は、添削標識付き解答文書の添削標識付与箇所に対応するコメントを予測して出力する。コメントレイアウト生成部１４３は、添削標識付き学習者解答文書中においてコメントを配置するコメントレイアウト位置を予測し出力する。添削済み解答文書生成部１４４は、添削標識付き解答文書中の予測されたコメントレイアウト位置に、予測されたコメントを配置して、添削済み解答文書を生成し、出力する。
図７は、本発明の第１の実施形態の解答添削システムの添削標識付き解答文書生成部の構成を示す図である。添削標識付き解答文書生成部１４１は、文書データ変換部１４１１と添削標識予測部１４１２と添削標識付き解答文書合成部１４１３を含む。添削標識予測部１４１２には、学習済み添削標識モデルが設定される。文書データ変換部１４１１は、学習者解答文書を、添削標識予測部１４１２で予測する形式に変換する前処理を実行する。前処理においては、添削標識訓練データ変換部１２０１で実行した添削標識訓練データに対する前処理に対応する処理が、学習者解答文書に対しても実行される。添削標識予測部１４１２は、学習済み添削標識モデルが設定され、文書データ変換部１４１１から入力された学習者解答文を、学習済み添削標識モデルに入力して、添削標識付与箇所の予測を行い、添削標識付与箇所を決定して、出力する。添削標識付き解答文書合成部１４１３は、学習者解答文中の予測された添削標識付与箇所に添削標識を付与し、添削標識付き解答文書を生成し出力する。
図８は、本発明の第１の実施形態の解答添削システムのコメント生成部の構成を示す図である。コメント生成部１４２は、添削標識テキスト抽出部１４２１とコメント予測部１４２２を含む。添削標識テキスト抽出部１４２１は、添削標識付き解答文書の添削標識の付与された解答部分に対応するテキストを抽出する。コメント予測部１４２２は、学習済みコメントモデルが設定され、抽出されたテキストを、学習済みコメントモデルに入力し、対応するコメントを予測して、出力する。
図９は、本発明の第１の実施形態の解答添削システムのコメントレイアウト生成部の構成を示す図である。コメントレイアウト生成部１４３は、添削標識抽出部１４３１と、コメントレイアウト予測部１４３２を含む。添削標識抽出部１４３１は、添削標識付き解答文書内で付与された添削標識を抽出する。コメントレイアウト予測部１４３２は、学習済みコメントレイアウトモデルが設定され、抽出された添削標識を学習済みコメントレイアウトモデルに入力し、コメントを配置するコメントレイアウト位置を予測して、出力する。
図１０は、本発明の第１の実施形態の解答添削システムの添削済み解答文書生成部の構成を示す図である。添削済み解答文書生成部１４４は、コメント挿入部１４４１を含む。コメント挿入部１４４１は、添削標識付き解答文書と、コメントレイアウト位置と、コメントを入力とし、添削標識付き解答文書のコメントレイアウト位置へ、コメントを配置して、添削済み解答文書を生成し、出力する。
［第２の実施形態］
次に、本発明の第２の実施形態について、図面を参照して説明する。図１１は、本発明の第２の実施形態の解答添削システムの構成を示す図である。第２の実施形態の解答添削システム２００は、解答添削サーバ２１０と、記憶部２２０と、ユーザー端末２３０とを含む。解答添削サーバ２１０は、予測部２１１と、取得部２１２と、訓練データ生成部２１３と、モデル学習部２１４と、学習者解答文書入力・選択部２１５と添削済み解答文書生成部２１６を含む。
次に、本発明の第２の実施形態について、図面を参照して説明する。図１１は、本発明の第２の実施形態の解答添削システムの構成を示す図である。第２の実施形態の解答添削システム２００は、解答添削サーバ２１０と、記憶部２２０と、ユーザー端末２３０とを含む。解答添削サーバ２１０は、予測部２１１と、取得部２１２と、訓練データ生成部２１３と、モデル学習部２１４と、学習者解答文書入力・選択部２１５と添削済み解答文書生成部２１６を含む。
図１２は、本発明の第２の実施形態の解答添削システムの動作を説明するためのフローチャートを示す図である。ステップＳ１０では、学習者解答文書入力・選択部２１５が、学習者解答文書をユーザー端末から入力して記憶部に格納する。次に、ステップＳ２０で、学習者解答文書入力・選択部２１５は、記憶部２２０に格納された学習者解答文書に関する情報をユーザー端末へ提示する。次に、ステップＳ３０で、学習者解答文書入力・選択部２１５は、添削対象の学習者解答文書の選択をユーザー端末から受け取る。ステップＳ４０では、予測部２１１が、学習済みモデルを用いて、添削済み解答文書を作成する。次に、ステップＳ５０で、添削済み解答文書生成部２１６が、添削済み解答文書を、ユーザー端末２３０へ提示する。
図１３及び図１４は、本発明の第２の実施形態の解答添削システムの動作を説明するためのフローチャートを示す図である。図１３及び図１４に示すフローチャートは、図１２に示したフローチャートのステップＳ４０の動作をさらに詳しく説明する図である。ステップＳ４１０では、取得部２１２が、ユーザー端末から添削された学習者解答文書（正解データ）を含む訓練データを取得する。次に、ステップＳ４２０で、訓練データ生成部２１３が、モデル学習部２１４で、添削標識モデルと、コメントモデルと、コメントレイアウトモデルの学習に使用する添削標識訓練データと、コメント訓練データと、コメントレイアウト訓練データを生成する。なお、訓練データ生成部２１３は、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループの訓練データに対して、それぞれモデルの学習を実行して、それぞれの難易度に対応する異なる学習済みモデルを生成することができる。次に、ステップＳ４３０で、モデル学習部２１４が、添削箇所を除いた学習者解答文書と添削標識訓練データ、コメント訓練データ、コメントレイアウト訓練データに基づいて、添削標識モデル、コメントモデル、コメントレイアウトモデルの学習を実行して各学習済みモデルを生成し、各学習済みモデルを記憶部２２０に格納する。なお、モデル学習部２１４の各モデルの学習においては、本発明の一実施形態で説明したように、第1、第２及び第３のニューラルネットワークによりそれぞれ予測された添削標識付与箇所、コメント、コメントレイアウト位置と、各正解データとの間の誤差が最小になるように、第1、第２及び第３のニューラルネットワークの重みパラメータが調整されて、各学習済みコメントモデルが生成される。なお、モデル学習部２１４は、訓練データ生成部２１３が生成したそれぞれの難易度に対応する複数のグループのそれぞれに対する各訓練データに基づいて各モデルの学習を実行し、それぞれの難易度に対応する複数のグループに対するそれぞれの各学習済みモデルを生成して、記憶部２２０に格納するようにしてもよい。
次に、図１３の記号Ａから図１４の記号Ａに処理が続いており、図１４のステップＳ４４０では、図１２のステップＳ３０においてユーザー端末２３０から取得部２１２を介して選択された予測対象の文書である添削対象の学習者解答文書を記憶部２２０から予測部２１１へ読み出す。また、取得部２１２が、ユーザー端末２３０から、予測に使用する各学習済みモデルの指定を受ける。取得部２１２は、予測部２１１へ使用する各学習済みモデルを指定し、予測部２１１が記憶部２２０から予測に使用する各学習済みモデルを読み出す。そして、予測部２１１により、添削対象の学習者解答文書と、学習済み添削標識モデル、学習済みコメントモデル、学習済みコメントレイアウトモデルにより、添削標識付き解答文書、コメント、コメントレイアウト位置の予測を実行する。次に、ステップＳ４５０で、添削済み解答文書を生成し、ユーザー端末２３０に提示する。
［第３の実施形態］
次に、本発明の第３の実施形態について、図面を参照して説明する。図１５は、本発明の第３の実施形態の解答添削システムの構成を示す図である。図１５において、図４と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第３の実施形態は、図４に記載の本発明の第１の実施形態の文書の解答添削システムの構成に、添削箇所変更・レベル表示・一覧表示受付部１６０を追加した実施形態である。また、図１６は、本発明の第３の実施形態の解答添削システムの解答添削処理部と添削箇所変更・レベル表示・一覧表示受付部の構成を示す図である。図１６において、図６と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第１の実施形態との相違点について、主に説明する。図１６の第３の実施形態の解答添削処理部１４０は、添削済み解答文書生成部１４４において添削箇所変更・レベル表示・一覧表示受付部１６０から出力される添削箇所変更指示を受け、この指示に従って、添削済み解答文書生成部１４４が、添削標識付き解答文書生成部１４１の決定した添削標識付与箇所を削除し、別の箇所に添削標識付与箇所を設定し、又は、コメント生成部１４２の生成したコメントを削除し、又は、別のコメントを作成し入力して配置し、又はコメントレイアウト位置を変更する等の処理を実行する。本発明の第３の実施形態により、添削済み解答文書生成部１４４が、添削標識付き解答文書中の予測されたコメントレイアウト位置に、予測されたコメントを配置して生成した、添削済み解答文書を変更することが可能である。
次に、本発明の第３の実施形態について、図面を参照して説明する。図１５は、本発明の第３の実施形態の解答添削システムの構成を示す図である。図１５において、図４と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第３の実施形態は、図４に記載の本発明の第１の実施形態の文書の解答添削システムの構成に、添削箇所変更・レベル表示・一覧表示受付部１６０を追加した実施形態である。また、図１６は、本発明の第３の実施形態の解答添削システムの解答添削処理部と添削箇所変更・レベル表示・一覧表示受付部の構成を示す図である。図１６において、図６と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第１の実施形態との相違点について、主に説明する。図１６の第３の実施形態の解答添削処理部１４０は、添削済み解答文書生成部１４４において添削箇所変更・レベル表示・一覧表示受付部１６０から出力される添削箇所変更指示を受け、この指示に従って、添削済み解答文書生成部１４４が、添削標識付き解答文書生成部１４１の決定した添削標識付与箇所を削除し、別の箇所に添削標識付与箇所を設定し、又は、コメント生成部１４２の生成したコメントを削除し、又は、別のコメントを作成し入力して配置し、又はコメントレイアウト位置を変更する等の処理を実行する。本発明の第３の実施形態により、添削済み解答文書生成部１４４が、添削標識付き解答文書中の予測されたコメントレイアウト位置に、予測されたコメントを配置して生成した、添削済み解答文書を変更することが可能である。
［第４の実施形態］
次に、本発明の第４の実施形態について、図面を参照して説明する。図１７は、本発明の第４の実施形態の解答添削システムの構成を示す図である。図１７において、図１５と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第４の実施形態は、図１５に記載の本発明の第３の実施形態の解答添削システムの構成に、添削箇所変更履歴蓄積部１７０を追加した実施形態である。また、図１８は、本発明の第４の実施形態の解答添削システムの解答添削処理部と添削箇所変更履歴蓄積部の構成を示す図である。図１８において、図１６と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第３の実施形態との相違点について、主に説明する。図１８の第４の実施形態の解答添削処理部１４０は、添削済み解答文書生成部１４４において添削箇所変更・レベル表示・一覧表示受付部１６０から出力される指示を受け、この指示に従って、添削済み解答文書生成部１４４が、添削標識付き解答文書中の予測されたコメントレイアウト位置に、予測されたコメントを配置して生成した、添削済み解答文書を変更することが可能である。添削箇所変更履歴蓄積部１７０は、添削済み解答文書生成部１４４が、添削標識付き解答文書生成部１４１の決定した添削標識付与箇所又は、コメント又は、コメントレイアウト配置を変更した場合に、学習者解答文書とともに、この変更履歴を蓄積する。このように蓄積された添削箇所の変更履歴は、一定の数の変更履歴が蓄積された場合に、学習済みモデル生成部１２０が、学習済みモデルを生成する場合の訓練データとして使用することができる。
次に、本発明の第４の実施形態について、図面を参照して説明する。図１７は、本発明の第４の実施形態の解答添削システムの構成を示す図である。図１７において、図１５と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第４の実施形態は、図１５に記載の本発明の第３の実施形態の解答添削システムの構成に、添削箇所変更履歴蓄積部１７０を追加した実施形態である。また、図１８は、本発明の第４の実施形態の解答添削システムの解答添削処理部と添削箇所変更履歴蓄積部の構成を示す図である。図１８において、図１６と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第３の実施形態との相違点について、主に説明する。図１８の第４の実施形態の解答添削処理部１４０は、添削済み解答文書生成部１４４において添削箇所変更・レベル表示・一覧表示受付部１６０から出力される指示を受け、この指示に従って、添削済み解答文書生成部１４４が、添削標識付き解答文書中の予測されたコメントレイアウト位置に、予測されたコメントを配置して生成した、添削済み解答文書を変更することが可能である。添削箇所変更履歴蓄積部１７０は、添削済み解答文書生成部１４４が、添削標識付き解答文書生成部１４１の決定した添削標識付与箇所又は、コメント又は、コメントレイアウト配置を変更した場合に、学習者解答文書とともに、この変更履歴を蓄積する。このように蓄積された添削箇所の変更履歴は、一定の数の変更履歴が蓄積された場合に、学習済みモデル生成部１２０が、学習済みモデルを生成する場合の訓練データとして使用することができる。
［第５の実施形態］
次に、本発明の第５の実施形態について、図面を参照して説明する。図１９は、本発明の第５の実施形態の解答添削システムの構成を示す図である。図１９において、図１７と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第５の実施形態は、図１７に記載の本発明の第４の実施形態の解答添削システムの構成に、添削箇所変更履歴蓄積部１７０から訓練データ蓄積部１２１への接続を追加した実施形態である。以下に、第４の実施形態との相違点について、主に説明する。図１９の第５の実施形態の添削箇所変更履歴蓄積部１７０は、添削済み解答文書生成部１４４が、生成した添削箇所を変更した場合に、学習者解答文書とともに、この変更履歴を蓄積する。このように蓄積された添箇所の変更履歴が一定の数だけ蓄積された場合には、添削箇所変更履歴蓄積部１７０から、訓練データ蓄積部１２１に対して、蓄積された学習者解答文書と、蓄積された添削箇所変更履歴を送る。訓練データ蓄積部１２１は、送られたこれらの学習者解答文書と、添削箇所変更履歴を再訓練データとして蓄積し、これらの蓄積した再訓練データを用いて、学習済みモデル生成部１２０が、添削標識モデル又は、コメントモデル又は、コメントレイアウトモデルの学習を再度実行することにより、各学習済みモデルを再度生成することができる。
次に、本発明の第５の実施形態について、図面を参照して説明する。図１９は、本発明の第５の実施形態の解答添削システムの構成を示す図である。図１９において、図１７と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第５の実施形態は、図１７に記載の本発明の第４の実施形態の解答添削システムの構成に、添削箇所変更履歴蓄積部１７０から訓練データ蓄積部１２１への接続を追加した実施形態である。以下に、第４の実施形態との相違点について、主に説明する。図１９の第５の実施形態の添削箇所変更履歴蓄積部１７０は、添削済み解答文書生成部１４４が、生成した添削箇所を変更した場合に、学習者解答文書とともに、この変更履歴を蓄積する。このように蓄積された添箇所の変更履歴が一定の数だけ蓄積された場合には、添削箇所変更履歴蓄積部１７０から、訓練データ蓄積部１２１に対して、蓄積された学習者解答文書と、蓄積された添削箇所変更履歴を送る。訓練データ蓄積部１２１は、送られたこれらの学習者解答文書と、添削箇所変更履歴を再訓練データとして蓄積し、これらの蓄積した再訓練データを用いて、学習済みモデル生成部１２０が、添削標識モデル又は、コメントモデル又は、コメントレイアウトモデルの学習を再度実行することにより、各学習済みモデルを再度生成することができる。
［第６の実施形態］
次に、本発明の第６の実施形態について、図面を参照して説明する。図２０は、本発明の第６の実施形態の添削済み解答文書生成部の構成を示したものであり、本発明の第１の実施形態の図１０に示す添削済み解答文書生成部の構成に変更を加えたものである。図２０に示す本発明の第６の実施形態の添削済み解答文書生成部１４４は、コメント挿入部１４４４１と、添削レベル表示部１４４２を含む。図２１は、本発明の第６の実施形態の解答添削システムの学力レベルの表示の一例を示す図である。図２１において、図３と同一番号を付した構成要素は、同一の構成要素を示すものとする。なお、学習者解答文書の添削標識付与所箇所、コメント、コメントレイアウト位置の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、志望大学毎又は学力レベル毎のようなそれぞれの難易度に対応している。添削レベル表示部１４４２は、コメント挿入部１４４１から、抽出された添削箇所と各学習済みモデルを生成したときの訓練データに関連する難易度に対応する学力レベルを受け取り、保持する。本発明の第６の実施形態では、図２１の表示画面９５上に表示された文書上で、コメントが配置されている箇所を、例えばマウス等のポインティングデバイスで指定すると、添削箇所変更・レベル表示・一覧表示受付部１６０で添削箇所指定が受け付けられ、添削レベル表示部１４４２へ送られる。添削レベル表示部１４４２では、添削レベル表示部１４４２が保持している各添削箇所に対応する学力レベルを、添削済み解答文書とともに添削済み解答文書表示部１５０へ送り、添削済み解答文書表示部１５０が、学力レベル９６を表示画面９５上に表示する。
次に、本発明の第６の実施形態について、図面を参照して説明する。図２０は、本発明の第６の実施形態の添削済み解答文書生成部の構成を示したものであり、本発明の第１の実施形態の図１０に示す添削済み解答文書生成部の構成に変更を加えたものである。図２０に示す本発明の第６の実施形態の添削済み解答文書生成部１４４は、コメント挿入部１４４４１と、添削レベル表示部１４４２を含む。図２１は、本発明の第６の実施形態の解答添削システムの学力レベルの表示の一例を示す図である。図２１において、図３と同一番号を付した構成要素は、同一の構成要素を示すものとする。なお、学習者解答文書の添削標識付与所箇所、コメント、コメントレイアウト位置の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、志望大学毎又は学力レベル毎のようなそれぞれの難易度に対応している。添削レベル表示部１４４２は、コメント挿入部１４４１から、抽出された添削箇所と各学習済みモデルを生成したときの訓練データに関連する難易度に対応する学力レベルを受け取り、保持する。本発明の第６の実施形態では、図２１の表示画面９５上に表示された文書上で、コメントが配置されている箇所を、例えばマウス等のポインティングデバイスで指定すると、添削箇所変更・レベル表示・一覧表示受付部１６０で添削箇所指定が受け付けられ、添削レベル表示部１４４２へ送られる。添削レベル表示部１４４２では、添削レベル表示部１４４２が保持している各添削箇所に対応する学力レベルを、添削済み解答文書とともに添削済み解答文書表示部１５０へ送り、添削済み解答文書表示部１５０が、学力レベル９６を表示画面９５上に表示する。
［第７の実施形態］
次に、本発明の第７の実施形態について、図面を参照して説明する。図２２は、本発明の７の実施形態の添削済み解答文書生成部の構成を示したものであり、本発明の第１の実施形態の図１０に示す添削済み解答文書生成部の構成に変更を加えたものである。図２２に示す本発明の第７の実施形態の添削済み解答文書生成部１４４は、コメント挿入部１４４１と添削箇所一覧表示部１４４３を含む。図２３は、本発明の第７の実施形態の解答添削システムの添削箇所の一覧表示の一例を示す図である。図２３に示す内容に限定されないが、例えば、添削箇所番号、添削箇所の頁・行、志望大学名、および、学力レベルを表示してもよい。なお、学習者解答文書の添削箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの難易度に対応している。添削箇所一覧表示部１４４３は、コメント挿入部１４４１から、抽出された添削箇所と各学習済みモデルを生成したときの訓練データに関連する難易度に対応する志望大学名や、学力レベルを受け取り、一覧表形式で保持してもよい。添削箇所変更・レベル表示・一覧表示受付部１６０に、一覧表示指定が入力されると、添削箇所一覧表示部１４４３へ一覧表示指定を送り、添削箇所一覧表示部１４４３に保持している各添削箇所に対応する志望大学名や学力レベルの一覧表を添削済み解答文書表示部１５０へ送り、添削箇所一覧表を表示する。
次に、本発明の第７の実施形態について、図面を参照して説明する。図２２は、本発明の７の実施形態の添削済み解答文書生成部の構成を示したものであり、本発明の第１の実施形態の図１０に示す添削済み解答文書生成部の構成に変更を加えたものである。図２２に示す本発明の第７の実施形態の添削済み解答文書生成部１４４は、コメント挿入部１４４１と添削箇所一覧表示部１４４３を含む。図２３は、本発明の第７の実施形態の解答添削システムの添削箇所の一覧表示の一例を示す図である。図２３に示す内容に限定されないが、例えば、添削箇所番号、添削箇所の頁・行、志望大学名、および、学力レベルを表示してもよい。なお、学習者解答文書の添削箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような難易度の異なる試験問題に対する学習者解答文書のような複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの難易度に対応している。添削箇所一覧表示部１４４３は、コメント挿入部１４４１から、抽出された添削箇所と各学習済みモデルを生成したときの訓練データに関連する難易度に対応する志望大学名や、学力レベルを受け取り、一覧表形式で保持してもよい。添削箇所変更・レベル表示・一覧表示受付部１６０に、一覧表示指定が入力されると、添削箇所一覧表示部１４４３へ一覧表示指定を送り、添削箇所一覧表示部１４４３に保持している各添削箇所に対応する志望大学名や学力レベルの一覧表を添削済み解答文書表示部１５０へ送り、添削箇所一覧表を表示する。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢの少なくともいずれかという意味で用いる。
また、上記した第１～第７の実施形態に示した手順は、解答添削システム１、１００、２００として機能するコンピュータ（図２４の９０００）に、解答添削システム１、１００、２００としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図２４のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図２４のＣＰＵ９０１０にて、解答添削プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。
即ち、上記した第１～第７の実施形態に示した解答添削システムの各部（処理手段、機能）は、上記コンピュータのプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による解答添削システム参照）
［第２の形態］
上記した解答添削システムの前記学習済み添削標識モデル生成部と前記学習済みコメントモデル生成部は、大学レベル毎又は学力レベル毎の複数のグループの第１の訓練データと第２の訓練データに対して、それぞれ異なる学習済み添削標識部モデル及び学習済みコメントモデルを生成することが好ましい。
［第３の形態］
上記した解答添削システムの学習済み添削標識モデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第４の形態］
上記した解答添削システムの学習済みコメントモデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第５の形態］
上記した解答添削システムの学習済みコメントレイアウトモデル生成部は、第３のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第６の形態］
上記した解答添削システムの第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第７の形態］
上記した解答添削システムの第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第８の形態］
上記した解答添削システムの第３のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）であることが好ましい。
［第９の形態］
（上記第２の視点による解答添削方法参照）
［第１０の形態］
（上記第３の視点による解答添削プログラム参照）
［第１１の形態］
上記した第１、第２又は第３のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１２の形態］
上記した解答添削システムの第２のニューラルネットワークは、エンコーダ・デコーダモデルであることが好ましい。
［第１３の形態］
上記した解答添削システムの添削済み解答文書の添削箇所の変更を受け付ける添削箇所変更受付部をさらに有することが好ましい。
［第１４の形態］
上記した解答添削システムの学習者解答文書は、テキストを含む文書であることが好ましい。
［第１５の形態］
上記した解答添削システムの学習者解答文書は、画像を含む文書であることができる。
［第１６の形態］
上記した解答添削システムの学習者解答文書は、音声認識手段により取得した文書であることができる。
［第１７の形態］
上記した解答添削システムの添削箇所変更受付部で受け付けた入力に従って、添削済み解答文書作成部が、コメント生成部の生成したコメントを変更することが好ましい。
［第１８の形態］
上記した解答添削システムの添削箇所の変更を変更履歴として蓄積する、添削箇所変更履歴蓄積部をさらに有することができる。
［第１９の形態］
上記した解答添削システムの学習済みモデル生成部が、添削箇所変更履歴蓄積部に蓄積されたコメントを正解データとする再訓練データを用いて、各モデルの学習を再度実行する事が好ましい。
［第２０の形態］
上記した解答添削システムの添削箇所レベル表示受付部は添削済み解答文書の添削箇所を指定する入力を受け付けることができる。
［第２１の形態］
上記した解答添削システムの添削済み解答文書表示部は、前記添削箇所レベル表示受付部により受け付けられた入力に従って、前記添削レベル表示部の保持する添削箇所のレベルを表示することができる。
［第２２の形態］
上記解答添削システムの添削箇所一覧表示受付部は、添削箇所を一覧表示することを指定する入力を受け付けることができる。
［第２３の形態］
上記した解答添削システムの添削済み解答文書表示部は、前記添削箇所一覧表示受付部により受け付けられた入力に従って、添削箇所一覧表示部に保持された添削箇所の一覧表示をすることができる。
［第２４の形態］
上記した解答添削システムの前記添削箇所の一覧表は、添削箇所、添削箇所の登場頁・行、各箇所に紐づいた想定される志望大学名、想定される学力レベルを表示することができる。
［第１の形態］
（上記第１の視点による解答添削システム参照）
［第２の形態］
上記した解答添削システムの前記学習済み添削標識モデル生成部と前記学習済みコメントモデル生成部は、大学レベル毎又は学力レベル毎の複数のグループの第１の訓練データと第２の訓練データに対して、それぞれ異なる学習済み添削標識部モデル及び学習済みコメントモデルを生成することが好ましい。
［第３の形態］
上記した解答添削システムの学習済み添削標識モデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第４の形態］
上記した解答添削システムの学習済みコメントモデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第５の形態］
上記した解答添削システムの学習済みコメントレイアウトモデル生成部は、第３のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第６の形態］
上記した解答添削システムの第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第７の形態］
上記した解答添削システムの第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第８の形態］
上記した解答添削システムの第３のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）であることが好ましい。
［第９の形態］
（上記第２の視点による解答添削方法参照）
［第１０の形態］
（上記第３の視点による解答添削プログラム参照）
［第１１の形態］
上記した第１、第２又は第３のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１２の形態］
上記した解答添削システムの第２のニューラルネットワークは、エンコーダ・デコーダモデルであることが好ましい。
［第１３の形態］
上記した解答添削システムの添削済み解答文書の添削箇所の変更を受け付ける添削箇所変更受付部をさらに有することが好ましい。
［第１４の形態］
上記した解答添削システムの学習者解答文書は、テキストを含む文書であることが好ましい。
［第１５の形態］
上記した解答添削システムの学習者解答文書は、画像を含む文書であることができる。
［第１６の形態］
上記した解答添削システムの学習者解答文書は、音声認識手段により取得した文書であることができる。
［第１７の形態］
上記した解答添削システムの添削箇所変更受付部で受け付けた入力に従って、添削済み解答文書作成部が、コメント生成部の生成したコメントを変更することが好ましい。
［第１８の形態］
上記した解答添削システムの添削箇所の変更を変更履歴として蓄積する、添削箇所変更履歴蓄積部をさらに有することができる。
［第１９の形態］
上記した解答添削システムの学習済みモデル生成部が、添削箇所変更履歴蓄積部に蓄積されたコメントを正解データとする再訓練データを用いて、各モデルの学習を再度実行する事が好ましい。
［第２０の形態］
上記した解答添削システムの添削箇所レベル表示受付部は添削済み解答文書の添削箇所を指定する入力を受け付けることができる。
［第２１の形態］
上記した解答添削システムの添削済み解答文書表示部は、前記添削箇所レベル表示受付部により受け付けられた入力に従って、前記添削レベル表示部の保持する添削箇所のレベルを表示することができる。
［第２２の形態］
上記解答添削システムの添削箇所一覧表示受付部は、添削箇所を一覧表示することを指定する入力を受け付けることができる。
［第２３の形態］
上記した解答添削システムの添削済み解答文書表示部は、前記添削箇所一覧表示受付部により受け付けられた入力に従って、添削箇所一覧表示部に保持された添削箇所の一覧表示をすることができる。
［第２４の形態］
上記した解答添削システムの前記添削箇所の一覧表は、添削箇所、添削箇所の登場頁・行、各箇所に紐づいた想定される志望大学名、想定される学力レベルを表示することができる。
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１、１００、２００ 解答添削システム
１０ 学習者解答文書入力・選択部
２０ 学習済み添削標識モデル生成部
３０ 学習済みコメントモデル生成部
４０ 学習済みコメントレイアウトモデル生成部
５０ 添削標識予測部
６０ コメント予測部
７０ コメントレイアウト予測部
８０ 添削済み解答文書生成部
９０ 添削済み解答文書表示部
１１０ 学習者解答文書入力・選択部
１１１ ユーザー端末
１２０ 学習済みモデル生成部
１２１ 訓練データ蓄積部
１３０ 文書データベース
１４０ 解答添削処理部
１４１ 添削標識付き解答文書生成部
１４２ コメント生成部
１４３ コメントレイアウト生成部
１４４ 添削済み解答文書生成部
１５０ 添削済み解答文書表示部
１６０ 添削箇所変更・レベル表示・一覧表示受付部
１７０ 添削箇所変更履歴蓄積部
２１０ 解答添削サーバ
２１１ 予測部
２１２ 取得部
２１３ 訓練データ生成部
２１４ モデル学習部
２１５ 学習者解答文書入力・選択部
２１６ 添削済み解答文書生成部
２２０ 記憶部
２３０ ユーザー端末
１２０１ 添削標識訓練データ変換部
１２０２ 添削標識モデル学習部
１２０３ コメント訓練データ変換部
１２０４ コメントモデル学習部
１２０５ コメントレイアウト訓練データ変換部
１２０６ コメントレイアウモデル学習部
１４１１ 文書データ変換部
１４１２ 添削標識予測部
１４１３ 添削標識付き解答文書合成部
１４２１ 添削標識テキスト抽出部
１４２２ コメント予測部
１４３１ 添削標識抽出部
１４３２ コメントレイアウト予測部
１４４１ コメント挿入部
１４４２ 添削レベル表示部
１４４３ 添削箇所一覧表示部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置
１０ 学習者解答文書入力・選択部
２０ 学習済み添削標識モデル生成部
３０ 学習済みコメントモデル生成部
４０ 学習済みコメントレイアウトモデル生成部
５０ 添削標識予測部
６０ コメント予測部
７０ コメントレイアウト予測部
８０ 添削済み解答文書生成部
９０ 添削済み解答文書表示部
１１０ 学習者解答文書入力・選択部
１１１ ユーザー端末
１２０ 学習済みモデル生成部
１２１ 訓練データ蓄積部
１３０ 文書データベース
１４０ 解答添削処理部
１４１ 添削標識付き解答文書生成部
１４２ コメント生成部
１４３ コメントレイアウト生成部
１４４ 添削済み解答文書生成部
１５０ 添削済み解答文書表示部
１６０ 添削箇所変更・レベル表示・一覧表示受付部
１７０ 添削箇所変更履歴蓄積部
２１０ 解答添削サーバ
２１１ 予測部
２１２ 取得部
２１３ 訓練データ生成部
２１４ モデル学習部
２１５ 学習者解答文書入力・選択部
２１６ 添削済み解答文書生成部
２２０ 記憶部
２３０ ユーザー端末
１２０１ 添削標識訓練データ変換部
１２０２ 添削標識モデル学習部
１２０３ コメント訓練データ変換部
１２０４ コメントモデル学習部
１２０５ コメントレイアウト訓練データ変換部
１２０６ コメントレイアウモデル学習部
１４１１ 文書データ変換部
１４１２ 添削標識予測部
１４１３ 添削標識付き解答文書合成部
１４２１ 添削標識テキスト抽出部
１４２２ コメント予測部
１４３１ 添削標識抽出部
１４３２ コメントレイアウト予測部
１４４１ コメント挿入部
１４４２ 添削レベル表示部
１４４３ 添削箇所一覧表示部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置
Claims (10)
- 添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定する、学習者解答文書入力・選択部と、
１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行する、学習済み添削標識モデル生成部と、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行する、学習済みコメントモデル生成部と、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行する、学習済みコメントレイアウトモデル生成部と、
前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する、添削標識予測部と、
前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測するコメント予測部と、
前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測するコメントレイアウト予測部と、
前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成する、添削済み解答文書生成部と、
前記添削済み解答文書を表示する、添削済み解答文書表示部と
を含む、解答添削システム。 - 前記学習済み添削標識モデル生成部と前記学習済みコメントモデル生成部は、大学レベル毎又は学力レベル毎の複数のグループの第１の訓練データと第２の訓練データに対して、それぞれ異なる学習済み添削標識部モデル及び学習済みコメントモデルを生成する、請求項１に記載のシステム。
- 前記学習済み添削標識モデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行する、請求項１または２に記載のシステム。
- 前記学習済みコメントモデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行する、請求項１ないし３のいずれか一項に記載のシステム。
- 前記学習済みコメントレイアウトモデル生成部は、第３のニューラルネットワークを用いてモデルの学習を実行する、請求項１ないし４のいずれか一項に記載のシステム。
- 前記第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせである、請求項３に記載のシステム。
- 前記第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせである、請求項４に記載のシステム。
- 前記第３のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）である、請求項５に記載のシステム。
- 添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定するステップと、
１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行するステップと、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行するステップと、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行するステップと、
前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識付与箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力するステップと、
前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測するステップと、
前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測するステップと、
前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成するステップと、
前記添削済み解答文書を表示するステップと
を含む、解答添削方法。 - プロセッサと記憶装置とを備えるコンピュータに、
添削対象の学習者解答文書を入力して蓄積し、蓄積された学習者解答文書を選択し、添削対象の学習者解答文書を決定する処理と、
１または複数の解答文書と、前記解答文書の中で添削箇所を添削標識で指定した正解データを第１の訓練データとして添削標識モデルの学習を実行する処理と、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを指定した正解データを第２の訓練データとしてコメントモデルの学習を実行する処理と、
添削箇所が添削標識で指定された１または複数の添削標識付き解答文書と、前記添削標識付き解答文書の中で添削箇所に対応するコメントを配置するコメントレイアウト位置を指定した正解データを第３の訓練データとしてコメントレイアウトモデルの学習を実行する処理と、
前記学習済み添削標識モデルにより前記添削対象の学習者解答文書の添削標識箇所を予測して添削標識を付与した添削標識付き学習者解答文書を出力する処理と、
前記学習済みコメントモデルにより前記添削標識付き学習者解答文書のコメントを予測する処理と、
前記学習済みコメントレイアウトモデルにより前記添削標識付き学習者解答文書のコメントレイアウト位置を予測する処理と、
前記添削標識付き学習者解答文書の中の、前記予測されたコメントレイアウト位置に、前記予測されたコメントを配置して、添削済み解答文書を生成する処理と、
前記添削済み解答文書を表示する処理と
を実行させる、解答添削プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121873A JP2022018635A (ja) | 2020-07-16 | 2020-07-16 | 解答添削システム、方法、プログラム |
| JP2022043385A JP7494868B2 (ja) | 2020-07-16 | 2022-03-18 | 解答添削システム、方法、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121873A JP2022018635A (ja) | 2020-07-16 | 2020-07-16 | 解答添削システム、方法、プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022043385A Division JP7494868B2 (ja) | 2020-07-16 | 2022-03-18 | 解答添削システム、方法、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022018635A true JP2022018635A (ja) | 2022-01-27 |
Family
ID=80203401
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020121873A Pending JP2022018635A (ja) | 2020-07-16 | 2020-07-16 | 解答添削システム、方法、プログラム |
| JP2022043385A Active JP7494868B2 (ja) | 2020-07-16 | 2022-03-18 | 解答添削システム、方法、プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022043385A Active JP7494868B2 (ja) | 2020-07-16 | 2022-03-18 | 解答添削システム、方法、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP2022018635A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525978B1 (ko) * | 2023-01-04 | 2023-04-26 | 주식회사 메이든보이지 | 뉴럴 네트워크를 이용하여 응시자 단말에게 모의고사 서비스를 제공하는 방법 및 장치 |
-
2020
- 2020-07-16 JP JP2020121873A patent/JP2022018635A/ja active Pending
-
2022
- 2022-03-18 JP JP2022043385A patent/JP7494868B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525978B1 (ko) * | 2023-01-04 | 2023-04-26 | 주식회사 메이든보이지 | 뉴럴 네트워크를 이용하여 응시자 단말에게 모의고사 서비스를 제공하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7494868B2 (ja) | 2024-06-04 |
| JP2022088468A (ja) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9685095B2 (en) | Systems and methods for assessment administration and evaluation | |
| US20060127871A1 (en) | Method and apparatus for teaching | |
| KR20130048797A (ko) | 결과 리포트 작성 서버, 및 결과 리포트 작성 프로그램 | |
| US20100255455A1 (en) | Adaptive Assessment | |
| CN110795917B (zh) | 个性化讲义生成方法、系统及电子设备、存储介质 | |
| Mousoulides et al. | Engineering model eliciting activities for elementary school students | |
| US20220405459A1 (en) | Edited character strings | |
| JP2022088468A (ja) | 解答添削システム、方法、プログラム | |
| Fuchs et al. | Making connections for student success: Mapping concept commonalities in the ACRL Framework for Information Literacy, the Common Core State Standards, and the American Association of School Librarians Standards for the 21st-Century Learner | |
| KR101050173B1 (ko) | 온라인 독서 학습 훈련 시스템 및 방법 | |
| KR20170113619A (ko) | 응답을 평가하기 위한 반자동화된 시스템 및 방법 | |
| Almond et al. | A sample assessment using in four process framework | |
| Falcão et al. | Tutoria: a software platform to improve feedback in education | |
| Wijesinghe et al. | Automatic assessment of student answers consisting of venn and euler diagrams | |
| Sasaki et al. | Development of an interactive educational tool to experience machine learning with image classification | |
| WO2022014016A1 (ja) | 穴埋め試験問題作成システム、方法、プログラム | |
| KR20110113295A (ko) | 통신 네트워크를 통한 온라인 문제 제공 방법 | |
| Sedelmaier et al. | Clarifying the effects of digitalization on (higher) education | |
| Prados et al. | An automatic correction tool that can learn | |
| Falcao et al. | What did i get wrong? supporting the feedback process in computer science education | |
| Rozali et al. | A survey on adaptive qualitative assessment and dynamic questions generation approaches | |
| KR102273904B1 (ko) | 맞춤형 학습 서비스 제공 방법 및 이를 이용하는 장치 | |
| Fukui et al. | Development of Online Support Tools for Creating STEM Educational Materials | |
| Pereira et al. | From Sparse to Smart: Leveraging AI for Effective Online Judge Problem Classification in Programming Education | |
| Cerra et al. | TrainCAD: an innovative teaching-oriented system that allows automatic correction of exercises with AutoCAD |