JP2021140426A - Report evaluation device, report evaluation method, and program - Google Patents
Report evaluation device, report evaluation method, and program Download PDFInfo
- Publication number
- JP2021140426A JP2021140426A JP2020037109A JP2020037109A JP2021140426A JP 2021140426 A JP2021140426 A JP 2021140426A JP 2020037109 A JP2020037109 A JP 2020037109A JP 2020037109 A JP2020037109 A JP 2020037109A JP 2021140426 A JP2021140426 A JP 2021140426A
- Authority
- JP
- Japan
- Prior art keywords
- report
- evaluation
- description
- unit
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 244
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000003550 marker Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本発明は、レポート評価装置、レポート評価方法、及びプログラムに関する。 The present invention relates to a report evaluation device, a report evaluation method, and a program.
eラーニング環境のもとでユーザの学習を支援する技術として、以下のような採点支援装置が知られている。つまり、採点支援装置は、記述式問題の答案のようなテキストを点数推定対象として入力し、入力された点数推定対象のテキストと予め設定された基準テキストとの類似度を算出する。また、採点支援装置は、点数付与済みの複数のテキストについて算出した類似度と、これら複数のテキストの各々に付与された点数との関係を決定する。採点支援装置は、点数推定対象のテキストについての類似度と、決定された関係とに基づいて点数推定対象のテキストの点数を決定する(例えば、特許文献1参照)。 The following scoring support devices are known as technologies for supporting user learning in an e-learning environment. That is, the scoring support device inputs a text such as an answer to a descriptive question as a score estimation target, and calculates the degree of similarity between the input text of the score estimation target and a preset reference text. Further, the scoring support device determines the relationship between the similarity calculated for the plurality of texts to which the score has been given and the score given to each of the plurality of texts. The scoring support device determines the score of the text to be scored based on the similarity of the text to be scored and the determined relationship (see, for example, Patent Document 1).
しかしながら、特許文献1の技術では、点数推定対象のテキストの採点は、基準テキストに対する全体的類似度に基づいていることから、例えば採点にあたって注目すべき事項に対応して的確な採点が行われているとはいえない。
However, in the technique of
このような状況に鑑みて、本願発明は、文章形式を有するテキストの評価を的確に行えるようにすることを目的とする。 In view of such a situation, an object of the present invention is to enable accurate evaluation of a text having a sentence format.
上述した課題を解決するための本発明の一態様は、所定の課題に対応して文章形式で記述されたレポートから評価基準を満たしている記述部分を抽出した結果を利用して前記レポートの評価を行う評価部と、少なくとも前記評価部による前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成部とを備えるレポート評価装置である。 One aspect of the present invention for solving the above-mentioned problems is to evaluate the report by using the result of extracting the description portion satisfying the evaluation criteria from the report described in the sentence format corresponding to the predetermined problem. A report including an evaluation unit that generates report screen information corresponding to a report screen that can be displayed by reflecting at least the extraction result of the description part by the evaluation unit in the description content of the report. It is an evaluation device.
また、本発明の一態様は、所定の課題に対応して文章形式で記述されたレポートから評価基準を満たしている記述部分を抽出した結果を利用して前記レポートの評価を行う評価ステップと、少なくとも前記評価ステップによる前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成ステップとを備えるレポート評価方法である。 Further, one aspect of the present invention includes an evaluation step of evaluating the report by using the result of extracting a description portion satisfying the evaluation criteria from the report described in a sentence format corresponding to a predetermined problem. It is a report evaluation method including at least a screen information generation step for generating report screen information corresponding to a report screen that can be displayed by reflecting the extraction result of the description portion by the evaluation step in the description content of the report.
また、本発明の一態様は、コンピュータを、所定の課題に対応して文章形式で記述されたレポートから評価基準を満たしている記述部分を抽出した結果を利用して前記レポートの評価を行う評価部、少なくとも前記評価部による前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成部として機能させるためのプログラムである。 Further, one aspect of the present invention is an evaluation in which a computer evaluates the report by using the result of extracting a description portion satisfying the evaluation criteria from the report described in a sentence format corresponding to a predetermined problem. This is a program for functioning as a screen information generation unit that generates report screen information corresponding to a report screen that can be displayed by reflecting the extraction result of the description part by at least the evaluation unit in the description content of the report. ..
以上説明したように、本発明によれば、文章形式を有するテキストの評価が的確に行えるようになるという効果が得られる。 As described above, according to the present invention, it is possible to obtain an effect that the text having a sentence format can be accurately evaluated.
図1は、本実施形態の学習支援システムの全体的な構成例を示している。本実施形態の学習支援システムは、ユーザUが出題されたテーマに応じて提出したレポートの評価を行う。即ち、本実施形態におけるユーザUは、ユーザ端末装置100を用いてレポートを作成し、作成したレポートの評価を受ける者(学習者、レポート提出者)である。
本実施形態の学習支援システムは、複数のユーザ端末装置100と、学習支援装置200(レポート評価装置の一例)と、講師端末装置300とを含む。
ユーザ端末装置100は、ユーザUのそれぞれが、学習を行うために利用する端末装置である。ユーザ端末装置100は、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等であってよい。
FIG. 1 shows an overall configuration example of the learning support system of the present embodiment. The learning support system of the present embodiment evaluates the report submitted by the user U according to the theme given. That is, the user U in the present embodiment is a person (learner, report submitter) who creates a report using the
The learning support system of the present embodiment includes a plurality of user
The
学習支援装置200は、ユーザ端末装置100のそれぞれとネットワークNT経由で通信を行うことで、学習に対応する学習支援をユーザUに対して行う装置である。つまり、学習支援装置200は、ユーザ端末装置100との通信により、学習講座をユーザUに提供する。
The
本実施形態の学習支援装置200が提供する講座におけるカリキュラムにはレポート提出が含まれる。つまり、ユーザUに対してレポート作成のための或るテーマ(課題)が提示される。レポートのテーマは、例えばユーザUが自分のユーザ端末装置100を学習支援装置200の学習講座のウェブサイトにログインさせて学習を行っている際に、学習の進行に応じて、表示された或るウェブページにて提示されてよい。
ユーザUは、提示されたテーマに沿ったレポートを作成し、作成したレポートを提出する。レポートは、例えばユーザがユーザ端末装置100のワードプロセッサ機能を利用して文章を作成することによって行われてよい。
ユーザは、作成したレポートのファイルを、学習支援装置200を送信先としてユーザ端末装置100により送信させることでレポートを提出する。
The curriculum in the course provided by the
User U creates a report according to the presented theme and submits the created report. The report may be performed, for example, by the user creating a sentence by using the word processor function of the
The user submits the report by having the
学習支援装置200は、送信されたレポートについて評価し、評価結果を示す評価結果情報を、ユーザ端末装置100に送信することができる。
The
また、講師端末装置300は、講師Iが利用する端末装置である。講師端末装置300は、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等であってよい。
本実施形態としては、学習支援装置200により行われたレポートについての評価結果をユーザUに提供するようにしてもよい。しかしながら、本実施形態のもとでは、講師Iが講師端末装置300により学習支援装置200により行われたレポートについての評価結果を確認し、必要に応じて学習支援装置200による評価結果について修正を行い、講師Iが最終的な評価を行うようにされる。この場合、講師Iにとっては、レポートについてはじめから評価基準を満たす記述部分等を抽出する作業を行う必要が無く、上記のように学習支援装置200による評価結果の確認により評価を行っていくことができるので、評価に係る作業を効率化できる。
Further, the
In this embodiment, the evaluation result of the report made by the
図2は、学習支援装置200の構成例を示している。同図の学習支援装置200は、通信部201、制御部202、及び記憶部203を備える。
通信部201は、ネットワークNT経由で通信を実行する。
FIG. 2 shows a configuration example of the
The
制御部202は、学習支援装置200における各種の制御を実行する。制御部202としての機能は、学習支援装置200が備えるCPU(Central Processing Unit)がプログラムを実行することにより実現される。制御部202は、評価部221、画面情報生成部222、及び評価結果出力部223を備える。
評価部221は、所定の課題に対応して文章形式で記述されたレポートから評価基準を満たしている記述部分を抽出した結果を利用してレポートの評価を行う。
画面情報生成部222は、少なくとも評価部221による記述部分の抽出結果をレポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する。
評価結果出力部223は、評価部221による評価結果が反映されたレポート提出者向けの評価結果情報を出力する。
The
The
The screen
The evaluation
記憶部203は、学習支援装置200に関連する各種の情報を記憶する。記憶部203は、ユーザ情報記憶部231、提出レポート記憶部232、評価利用情報記憶部233、評価結果情報記憶部234、及びフィードバックコメント記憶部235を備える。
ユーザ情報記憶部231は、学習支援装置200が提供する学習講座を受ける学習者としてのユーザごとの情報を記憶する。
提出レポート記憶部232は、ユーザUから提出されたレポートを記憶する。つまり、提出レポート記憶部232は、ユーザ端末装置100から送信されたレポートを記憶する。提出レポート記憶部232に記憶されたレポートが評価対象となる。
評価利用情報記憶部233は、レポートの評価のために評価部221が利用する情報を記憶する。
評価結果情報記憶部234は、提出されたレポートごとに評価部221が評価した結果を示す評価結果情報を記憶する。
フィードバックコメント記憶部235は、フィードバックコメントを記憶する。フィードバックコメントについては後述する。
The
The user
The submission
The evaluation utilization
The evaluation result
The feedback
図3は、評価利用情報記憶部233が記憶する評価利用情報の一例を示している。同図の評価利用情報は、1のテーマごとに対応して、テーマID、テーマ内容、設問、及び評価基準の領域を含む。
テーマIDの領域は、対応のテーマに付与された識別子であるテーマIDを含む。
テーマ内容の領域は、対応のテーマの内容(テーマ内容)を格納する。
設問の領域は、設問を格納する。本実施形態においては、1のテーマに対応して1以上の設問が設けられる。設問の領域は、具体的に、テーマに対応して設けられた設問内容を示す情報が格納される。設問は、例えばレポートの提出者であるユーザUに向けて、テーマとともに提示される。ユーザは、提示されたテーマのもとで、同じく提示された設問に対する解答を含めるようにしてレポートを作成する。
評価基準の領域は、評価基準を格納する。1つの設問には1以上の評価基準が設けられる。評価基準の領域は、具体的に、該当の設問について定められた評価基準の内容を示す情報が格納される。
同図においてテーマID「T0001」が付与されたテーマを例に挙げると、テーマ内容の領域に格納されるデータ「0001.thm」によりテーマ内容が示される。そのうえで、データ「0001.thm」が示すテーマ内容に対応して、3つの設問「0011.set」、「0012.set」、「0013.set」が設けられる。設問「0011.set」には2つの評価基準「0001.kiz」、「0002.kiz」が設けられ、設問「0002.set」には1つの評価基準「0003.kiz」が設けられ、設問「0003.set」には1つの評価基準「0004.kiz」が設けられる。
FIG. 3 shows an example of evaluation utilization information stored in the evaluation utilization
The theme ID area includes the theme ID, which is an identifier assigned to the corresponding theme.
The theme content area stores the content of the corresponding theme (theme content).
The question area stores the questions. In this embodiment, one or more questions are provided corresponding to one theme. The question area specifically stores information indicating the content of the question provided according to the theme. The questions are presented with the theme, for example, to user U, who is the submitter of the report. The user creates a report under the presented theme, including the answers to the similarly presented questions.
The evaluation criteria area stores the evaluation criteria. One or more evaluation criteria are set for one question. The evaluation standard area specifically stores information indicating the contents of the evaluation standard defined for the relevant question.
Taking the theme to which the theme ID "T0001" is assigned in the figure as an example, the theme content is indicated by the data "0001.thm" stored in the theme content area. Then, three questions "0011.set", "0012.set", and "0013.set" are provided corresponding to the theme contents indicated by the data "0001.thm". The question "0011.set" is provided with two evaluation criteria "0001.kiz" and "0002.kiz", and the question "0002.set" is provided with one evaluation standard "0003.kiz". One evaluation standard "0004. Kiz" is provided in "0003. Set".
図4のフローチャートを参照して、本実施形態の学習支援装置200がレポートの評価に関連して実行する処理手順例について説明する。
ステップS101:学習支援装置200において評価部221は、評価対象のレポートを入力する。この際、評価部221は、評価対象のレポートを提出レポート記憶部232から読み出し、読み出したレポートを入力する。
An example of a processing procedure executed by the
Step S101: In the
ステップS102:本実施形態において、提出レポート記憶部232が記憶するレポートは、例えばユーザ端末装置100から送信された際のままの形式である。ユーザ端末装置100から送信された際のままの形式では評価に適さない場合がある。例えば、ユーザ端末装置100から送信された際のままの形式では、自然言語処理に適さないといった例を挙げることができる。そこで、評価部221は、ステップS101により入力した評価対象のレポートを、評価に適した所定の形式に変換する。
Step S102: In the present embodiment, the report stored in the submission
ステップS103:評価部221は、評価対象のレポートのテーマに対応する評価基準を、評価利用情報記憶部233から入力する。
Step S103: The
ステップS104:レポートは、自然言語を用いて記述されたテキストである。そこで、評価部221は、評価対象のレポートから、ステップS103により入力した評価基準を満たしている記述部分(評価基準該当記述部分)を抽出する。
この際、評価部は、自然言語処理を用いてレポートの記述内容を解析する。一例として、評価部221は、レポートの解析として、テキストにより示されるレポートの文字列について、形態素解析により単語に分割し、単語ごとに分散表現を行ってよい。また、評価部221は、レポートの分析として、レポートが示す文字列について構文解析、意味解析等、文脈解析を行ってよい。また、評価部221は、上記のようにして得られた単語ごとの分散表現、各種解析の結果から、レポートの内容、文字数、使用する語彙等の適切さ(例えば、わかりやすさ)等の事項を導出してよい。
評価部221は、上記のようにしてレポートの記述内容の解析を行い、レポートの記述全体から、各評価基準が要求する条件を満たしている記述部分を特定し、特定された記述部分を評価基準該当記述部分として抽出する。
Step S104: The report is text written in natural language. Therefore, the
At this time, the evaluation unit analyzes the description contents of the report using natural language processing. As an example, as an analysis of the report, the
The
評価部221は、当該ステップS104による評価基準に関連する記述部分の抽出にあたり、学習モデルを用いてよい。評価基準は、例えばレポートにおいて「○○○に言及していること」といったように、或る特定事項に言及しているか否かを判断する内容を有する。このような評価基準に対応して関連の記述部分を抽出する学習モデルは、学習器に、多数の評価基準において示される事項を示す文章(短文であっても複文であってもよい)、文節、単語等によるデータセットを学習データとして入力して学習させることにより構築できる。
The
ステップS105:評価部221は、評価として、評価対象のレポートについての採点を行う。ここでの採点として、評価部221は、例えば、ステップS104により記述部分が抽出された評価基準については所定の点数を付与し、記述部分が抽出されなかった評価基準については点数を付与しない、というようにして採点を行ってよい。記述部分が抽出されたということは、レポートにおいて評価基準が求める内容が記述されていたということであり、記述部分が抽出されなかったということは、レポートにおいて評価基準が求める内容が記述されていなかったということである。
評価部221は、当該ステップS105による採点結果を、評価対象のレポートに対応する評価結果情報に含めるようにして評価結果情報記憶部234に記憶させてよい。
Step S105: The
The
ステップS106:画面情報生成部222は、レポート画面情報を生成する。レポート画面情報は、レポート画面の表示に用いられる情報である。レポート画面は、評価部221により行われた記述部分の抽出結果をレポートの記述内容に反映させた表示が行われる画面である。
レポート画面情報は、例えばHTML形式等のマークアップ言語により記述されたファイルであってよい。このような形式のレポート画面情報は、例えばウェブブラウザにより開くことでレポート画面を表示することができる。
評価部221は、生成されたレポート画面情報を記憶部203に記憶させる。この際、評価部221は、評価対象のレポートに対応する評価結果情報に含めるようにして評価結果情報記憶部234に記憶させてよい。
Step S106: The screen
The report screen information may be a file described in a markup language such as HTML format. The report screen information in this format can be displayed by opening it with a web browser, for example.
The
ステップS107:ステップS106により生成され、記憶部203に記憶されたレポート画面情報は、講師Iがレポートの評価を行うにあたり、学習支援装置200による評価結果を参考とするのに利用される。このために、講師Iは、講師端末装置300を学習支援装置200にアクセスさせ、評価対象のレポートのレポート画面を講師端末装置300に表示させる。この際、講師端末装置300の評価結果出力部223は、講師端末装置300により指定されたレポートのレポート画面情報を、講師端末装置300に出力(送信)する。講師端末装置300は、自己が備えるウェブブラウザ機能によって、送信されたレポート画面情報を利用してレポート画面を表示する。
なお、このように講師Iが、評価対象のレポートのレポート画面を講師端末装置300に表示させることは、レポート画面情報が記憶部203に記憶された後において、任意の機会で行われてよい。あるいは、予め定められた講師Iのレポート評価スケジュールに従って、所定の日時に到来したことに応じて、学習支援装置200の制御によって、評価対象のレポートのレポート画面を表示させるようにしてよい。
Step S107: The report screen information generated in step S106 and stored in the
It should be noted that the instructor I may display the report screen of the report to be evaluated on the
図5は、講師端末装置300にて表示されたレポート画面の態様例を示している。レポート画面においては、右側のレポート領域AR11と左側の評価基準領域AR12とが含まれる。
FIG. 5 shows an example of the mode of the report screen displayed on the
レポート領域AR11は、提示されたテーマに応じてユーザUが作成したレポートの記述内容が表示される領域である。 The report area AR11 is an area in which the description contents of the report created by the user U according to the presented theme are displayed.
評価基準領域AR12は、レポート領域AR11にて表示されたレポートに対応する評価基準が示される領域である。評価基準領域AR12においては、まず、「デフォルト」の欄が配置されている。
また、「デフォルト」の欄に続けて、「設問」の欄と、設問のもとで設けられた「評価基準」の欄ごとに、設問あるいは評価基準の内容が示される。
具体的に、同図の評価基準領域AR12おいては、「設問1」の欄において、当該「設問1」の内容が示され、「設問1」のもとで設けられた3つの「評価基準1−1」、「評価基準1−2」、「評価基準1−3」の欄ごとに、対応の評価基準の内容が示される。続いて、「設問2」の欄において、当該「設問2」の内容が示され、「設問2」のもとで設けられた2つの「評価基準2−1」、「評価基準2−2」の欄ごとに、対応の評価基準内容が示される。以下、同様に、「設問3」の欄において、当該「設問3」の内容が示され、「設問3」のもとで設けられた所定数の評価基準3−1・・・の欄ごとに、対応の評価基準の内容が示される。
The evaluation reference area AR12 is an area in which the evaluation criteria corresponding to the report displayed in the report area AR11 are shown. In the evaluation reference area AR12, first, a “default” column is arranged.
In addition, following the "default" column, the content of the question or evaluation standard is shown for each of the "question" column and the "evaluation standard" column provided under the question.
Specifically, in the evaluation standard area AR12 in the figure, the content of the "
評価基準領域AR12においては、「デフォルト」の欄、「設問」の欄、「評価基準」の欄ごとにラジオボタンRBが配置されている。ラジオボタンRBは、レポート領域AR11にて表示されるレポートの記述において、対応の欄に関連する記述部分を強調表示する操作に用いられる。
「デフォルト」の欄のラジオボタンRBが選択された状態では、レポート領域AR11にて表示されるレポートの記述における強調表示は行われない。なお、評価基準領域AR12において「デフォルト」の欄が省略されてよい。
「設問」(「設問1」、「設問2」、「設問3」)の欄のラジオボタンRBが選択された状態では、レポート領域AR11におけるレポートの記述のうち、対応の「設問」のもとで設けられた全ての「評価基準」ごとに対応する評価基準該当記述部分を強調表示することが行われる。具体的に、「設問1」の欄のラジオボタンRBが選択された状態では、レポート領域AR11におけるレポートの記述のうち、「設問1」のもとで設けられた3つの「評価基準1−1」、「評価基準1−2」、「評価基準1−3」のそれぞれに対応する評価基準該当記述部分が強調表示される。
「評価基準」の欄のラジオボタンRBが選択された状態では、レポート領域AR11におけるレポートの記述のうち、対応の「評価基準」に対応する評価基準該当記述部分を強調表示することが行われる。例えば、「評価基準1−1」の欄のラジオボタンRBが選択された状態では、レポート領域AR11におけるレポートの記述のうち、「評価基準1−1」に対応する評価基準該当記述部分が強調表示される。
In the evaluation standard area AR12, radio buttons RB are arranged in each of the “default” column, the “question” column, and the “evaluation standard” column. The radio button RB is used for highlighting the description portion related to the corresponding column in the description of the report displayed in the report area AR11.
When the radio button RB in the "default" column is selected, the report description displayed in the report area AR11 is not highlighted. The "default" column may be omitted in the evaluation reference area AR12.
When the radio button RB in the "Question"("Question1","Question2","Question3") column is selected, the report description in the report area AR11 is based on the corresponding "Question". The corresponding description of the evaluation criteria for each of the "evaluation criteria" provided in is highlighted. Specifically, when the radio button RB in the "
When the radio button RB in the "evaluation standard" column is selected, the evaluation standard corresponding description portion corresponding to the corresponding "evaluation standard" is highlighted in the report description in the report area AR11. For example, when the radio button RB in the "evaluation criterion 1-1" column is selected, the evaluation criterion corresponding description portion corresponding to "evaluation criterion 1-1" is highlighted in the report description in the report area AR11. Will be done.
レポート領域AR11における強調表示は、評価基準該当記述部分としてのテキスト部分に対してラインマーカを施すことによって行われる。ラインマーカは、対応の「評価基準」ごとに異なる色が割り当てられるようにして色分けされる。同図においては、それぞれ色の異なる3種のラインマーカMK(MK−1、MK−2、MK−3)がテキスト部分において施された状態が示されている。これらの3種のラインマーカMK(MK−1、MK−2、MK−3)は、評価基準領域AR12において選択されている「設問1」における3つの「評価基準1−1」、「評価基準1−2」、「評価基準1−3」にそれぞれ対応する。
なお、ラインマーカMK以外に、例えば評価基準該当記述部分を枠線で囲ったり、アンダーラインを引いたりすることによって、強調表示が行われてよい。
The highlighting in the report area AR11 is performed by applying a line marker to the text portion as the evaluation standard corresponding description portion. Line markers are color coded so that different colors are assigned to each corresponding "evaluation criterion". In the figure, a state in which three types of line markers MK (MK-1, MK-2, MK-3) having different colors are applied in the text portion is shown. These three types of line markers MK (MK-1, MK-2, MK-3) are the three "evaluation criteria 1-1" and "evaluation criteria" in "
In addition to the line marker MK, highlighting may be performed by, for example, surrounding the description portion corresponding to the evaluation criteria with a frame line or underlining.
講師Iは、「設問」あるいは「評価基準」の欄ごとに適宜、ラジオボタンRBを選択する操作を行って強調表示された評価基準該当記述部分を確認しながら、レポートを評価することができる。講師Iは、レポートの評価にあたり、学習支援装置200がステップS104により抽出された評価基準該当記述部分が誤っていると判断したときには、評価基準該当記述部分を取り消したり、評価基準該当記述部分に他の評価基準を対応付けるなどの修正を行うことができる。即ち、講師Iは、評価結果を修正する操作を行うことができる。そして、講師Iは、例えばステップS105により学習支援装置200が採点した結果も参考にしながら、最終的な採点を行うことができる。講師Iは、採点にあたり、例えばステップS105による評価基準ごとの採点が例えば正誤に応じて「1」、「0」の2段階のうちのいずれかの点数を付与するといったものである場合には、例えばさらに多段階のもとで点数を付与するようにされてよい。
講師IがステップS105により学習支援装置200が採点した結果をすぐに参照できるように、レポート画面には、ステップS105により学習支援装置200が採点した結果も示されるようにしてよい。この場合において、レポート画面においては、評価基準に対応する採点結果、設問単位に対応する採点結果、全ての評価基準の採点結果を総合した採点結果等が提示されるようにしてよい。
Lecturer I can evaluate the report while checking the highlighted description of the evaluation criteria by appropriately selecting the radio button RB for each of the "question" or "evaluation criteria" columns. When the
The report screen may also show the result scored by the
説明を図4に戻す。
ステップS108:上記のように、講師Iは、講師端末装置300にて表示されたレポート画面に対して修正を行うことができる。講師端末装置300は、レポート画面を修正する操作が行われたことに応じて、修正により変更された内容を示す情報(変更情報)を学習支援装置200に送信する。学習支援装置200において評価部221は、送信された変更情報が示す内容が反映されるように、評価結果情報記憶部234に記憶される対応のレポート画面情報を更新する。このような評価部221によるレポート画面の更新は、操作に応じた評価結果の修正の一態様である。
The explanation is returned to FIG.
Step S108: As described above, the instructor I can make corrections to the report screen displayed on the
ステップS109:前述のように、講師Iは、講師端末装置300によりレポート画面を表示させてレポートの評価を行うことができる。講師Iは、自分がレポートについて評価した結果を示す情報(講師評価情報)を、講師端末装置300により学習支援装置200に送信させる。講師評価情報には、講師Iがレポートについて採点した結果が含まれる。また、講師評価情報には、講師Iがレポートを作成したユーザUに向けたコメントが含まれてよい。
学習支援装置200は、講師端末装置300から送信された講師評価情報の内容を、評価結果情報記憶部234が記憶する評価結果情報に反映させる。講師評価情報が反映されることで、評価結果情報には、例えば講師Iによる採点結果、講師Iがレポート提出者であるユーザUに向けて作成したコメントなどが含まれる。
Step S109: As described above, the instructor I can evaluate the report by displaying the report screen on the
The
ステップS110:評価部221は、フィードバックコメントを生成する。フィードバックコメントは、評価対象のレポートを提出したユーザUに向けてレポートに関する評価についてコメントしたものである。フィードバックコメントには、例えば、レポートについての総評、ユーザUの思考の傾向や得意、不得意な点等の指摘、今後の課題や目標等を提案した内容等が含まれてよい。
Step S110: The
具体的に、評価部221は以下のようにフィードバックコメントを生成してよい。
記憶部203のフィードバックコメント記憶部235に、複数のフィードバックコメントのモジュールを予め記憶しておくようにする。フィードバックコメントのモジュールは、評価基準ごとにおける点数の範囲に対して設定した区分に対応付けられている。
Specifically, the
A plurality of feedback comment modules are stored in advance in the feedback
例えば、或る1の評価基準に基づいて採点された点数が一定以上に高い点数範囲の区分に対応付けられたフィードバックコメントのモジュールは、ユーザUに向けて、評価基準に関連する事項が意識できていることを評価したうえで、評価基準に関連する事項に関してさらに気付きが得られるようにユーザを導くようなコメントを含む内容を有する。
一方、或る1の評価基準に基づいて採点された点数が一定未満である場合に対応するフィードバックコメントのモジュールは、つまり、ユーザUに向けて、評価基準に関連する事項に対する意識が十分にできていないことを指摘したうえで、評価基準に関連する事項を意識できるようにするためには、今後どのようにすればよいのかをアドバイスするようなコメントを含む内容を有する。
For example, the feedback comment module associated with the classification of the score range in which the score scored based on a certain evaluation standard is higher than a certain level can make the user U aware of the matters related to the evaluation standard. It has content that includes comments that guide the user to gain further awareness of matters related to the evaluation criteria after evaluating what is being done.
On the other hand, the feedback comment module corresponding to the case where the score scored based on a certain evaluation standard is less than a certain value, that is, the user U can be fully aware of the matters related to the evaluation standard. It should be pointed out that it has not been done, and the content should include comments that advise on what to do in the future so that the matters related to the evaluation criteria can be conscious.
そして、評価部221は、評価基準ごとに対応してステップS105により得られた採点結果ごとに対応するフィードバックコメントのモジュールを記憶部203から取得する。評価部221は、取得されたフィードバックコメントのモジュールを統合して1つの文章として構成することで、フィードバックコメントを生成する。
Then, the
また、フィードバックコメントには、ステップS104により抽出された評価基準に関連する記述部分を強調して示したレポート(採点レポート)を含めてよい。採点レポートにおいて評価基準に関連する記述部分を強調して示す態様としては、例えば該当の記述部分にマーカを付すというものであってよい。また、この場合において、強調対象とされた記述部分について、採点により付された点数に応じてマーカの色を変更するようにされてよい。これにより、例えば講師やユーザが採点レポートを見た際に、記述部分に付されたマーカの色により、記述部分における記述内容が設問に対する解答としてどの程度的確であったのかを即座に把握できる。 In addition, the feedback comment may include a report (scoring report) that emphasizes the description portion related to the evaluation criteria extracted in step S104. As an embodiment in which the description part related to the evaluation criteria is emphasized in the scoring report, for example, a marker may be attached to the corresponding description part. Further, in this case, the color of the marker may be changed according to the score given by scoring the description portion to be emphasized. As a result, for example, when the instructor or the user looks at the scoring report, the color of the marker attached to the description part can immediately grasp how accurate the description content in the description part is as an answer to the question.
評価部221は、当該ステップS106によるフィードバックコメントの生成にあたり、学習モデルを用いてよい。この場合には、評価部221が、評価基準ごとに対応して採点された点数を学習モデルに入力することで、学習モデルが該当のフィードバックコメントのモジュールを特定し、特定したフィードバックコメントのモジュールを統合してフィードバックコメントを生成させる処理を実行すればよい。このような学習モデルは、例えば評価基準と当該評価基準のもとでの点数との対応関係に対応させて、或る特定のフィードバックコメントのモジュールを特定できるように、学習器に、評価基準と点数との組み合わせによるデータセットを学習データとして入力し、学習させることによって構築される。
なお、学習モデルについて、評価基準ごとに対応して採点された点数を入力させたことに応じて、フィードバックコメントとしての文章を生成させるように構築してもよい。この場合には、フィードバックコメントのモジュールを記憶部203に記憶させておく必要はない。
The
It should be noted that the learning model may be constructed so as to generate a sentence as a feedback comment according to the input of the score scored corresponding to each evaluation standard. In this case, it is not necessary to store the feedback comment module in the
ステップS111:評価結果出力部223は、評価結果情報をレポート提出元のユーザUのユーザ端末装置100に送信(出力)する。この際、評価結果出力部223は、評価結果情報記憶部234に含まれる評価結果情報のうちから、今回の評価対象とされたレポートに対応する評価結果情報を読み出し、読み出した評価結果情報を送信する。このように送信される評価結果情報には、レポートについての採点結果と、ステップS110により生成されたフィードバックコメントとが含まれる。
また、評価結果情報は、例えば講師端末装置300からの要求に応じて、講師端末装置300にも出力するようにされてよい。また、例えば学習支援装置200を講師Iが使用可能な場合には、評価結果出力部223は、学習支援装置200に設けた表示部(図示せず)やプリンタなどにより評価結果を出力するようにされてよい。
Step S111: The evaluation
Further, the evaluation result information may be output to the
なお、これまでの説明では、ステップS105により学習支援装置200が簡易に採点を行ったうえで、最終的には講師Iがより詳細な採点、評価を行うようにされている。しかしながら、例えば、学習支援装置200の評価部221がステップS105により、講師Iが行うのと同程度に詳細な採点、評価を行うことで、講師Iによる評価が介在しない学習支援装置200による評価結果情報が出力されるようにしてよい。
In the above description, the
ステップS104、S105、S110等の処理に用いられる学習モデルには、例えば、Support Vector Machine、あるいは、アテンションを導入したLSTM(Long Short-Term Memory)、あるいはBERT(Bidirectional Encoder Representations from Transformers)をはじめとするTransformerベースのもの等が採用されてよい。なお、一例として、ステップS104、S105、S106等の処理に用いられる学習モデルは、上記のようなアテンションを導入したLSTMに限定されるものではなく、他のアルゴリズムが採用されてよい。 The learning model used for the processing of steps S104, S105, S110, etc. includes, for example, Support Vector Machine, LSTM (Long Short-Term Memory) with attention introduced, or BERT (Bidirectional Encoder Representations from Transformers). A Transformer-based device or the like may be adopted. As an example, the learning model used for the processing of steps S104, S105, S106 and the like is not limited to the LSTM having the above-mentioned attention introduced, and other algorithms may be adopted.
なお、本実施形態の学習支援装置200としての機能は、例えばネットワーク上で複数の装置に分散されたうえで、各装置が相互に連携することで、レポートの採点、フィードバックコメントの生成等を実現するようにされてもよい。
The function of the
なお、上述のユーザ端末装置100、学習支援装置200、講師端末装置300等の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述のユーザ端末装置100、学習支援装置200、講師端末装置300等の処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
A program for realizing the functions of the
100 ユーザ端末装置、200 学習支援装置、201 通信部、202 制御部、203 記憶部、221 評価部、222 画面情報生成部、223 評価結果出力部、231 ユーザ情報記憶部、232 提出レポート記憶部、233 評価利用情報記憶部、234 評価結果情報記憶部、235 フィードバックコメント記憶部、300 講師端末装置 100 user terminal device, 200 learning support device, 201 communication unit, 202 control unit, 203 storage unit, 221 evaluation unit, 222 screen information generation unit, 223 evaluation result output unit, 231 user information storage unit, 232 submission report storage unit, 233 Evaluation use information storage unit, 234 Evaluation result information storage unit, 235 Feedback comment storage unit, 300 Instructor terminal device
Claims (11)
少なくとも前記評価部による前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成部と
を備えるレポート評価装置。 An evaluation unit that evaluates the report using the results of extracting the description part that meets the evaluation criteria from the report described in text format corresponding to a predetermined task.
A report evaluation device including at least a screen information generation unit that generates report screen information corresponding to a report screen that can be displayed by reflecting the extraction result of the description portion by the evaluation unit in the description content of the report.
請求項1に記載のレポート評価装置。 The report evaluation device according to claim 1, further comprising an evaluation result output unit that outputs evaluation result information for a report submitter that reflects the evaluation result by the evaluation unit.
請求項1または2に記載のレポート評価装置。 The report evaluation device according to claim 1 or 2, wherein the evaluation unit scores based on the result of extracting the description portion.
請求項3に記載のレポート評価装置。 The report evaluation device according to claim 3, wherein the evaluation unit corrects the evaluation result according to the operation.
請求項1から4のいずれか一項に記載のレポート評価装置。 The report evaluation device according to any one of claims 1 to 4, wherein the evaluation unit generates a comment for a report submitter based on the result of evaluating the report.
請求項1から5のいずれか一項に記載のレポート評価装置。 The report evaluation device according to any one of claims 1 to 5, wherein the report screen highlights the description portion extracted by the evaluation unit in the description of the report.
請求項6に記載のレポート評価装置。 The report evaluation device according to claim 6, wherein the report screen highlights the description portion extracted by the evaluation unit in the description of the report, which is extracted according to the selected evaluation criteria. ..
請求項7に記載のレポート評価装置。 In claim 7, the report screen displays an evaluation standard selection area in which evaluation criteria are selected and a report area in which a description portion extracted by the evaluation unit is highlighted in the text of the report on the same screen. Described report evaluation device.
請求項6から8のいずれか一項に記載のレポート評価装置。 The report according to any one of claims 6 to 8, wherein the highlighting is displayed so as to apply a line marker to the description portion, and a line marker of a different color is displayed for each evaluation standard. Evaluation device.
少なくとも前記評価ステップによる前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成ステップと
を備えるレポート評価方法。 An evaluation step in which the report is evaluated using the result of extracting the description part that meets the evaluation criteria from the report described in the text format corresponding to the predetermined task, and the evaluation step.
A report evaluation method including at least a screen information generation step for generating report screen information corresponding to a report screen that can be displayed by reflecting the extraction result of the description portion by the evaluation step in the description content of the report.
所定の課題に対応して文章形式で記述されたレポートから評価基準を満たしている記述部分を抽出した結果を利用して前記レポートの評価を行う評価部、
少なくとも前記評価部による前記記述部分の抽出結果を前記レポートの記述内容に反映させた表示が可能なレポート画面に対応するレポート画面情報を生成する画面情報生成部
として機能させるためのプログラム。 Computer,
Evaluation department that evaluates the report using the result of extracting the description part that meets the evaluation criteria from the report described in the sentence format corresponding to the predetermined task.
A program for functioning as a screen information generation unit that generates report screen information corresponding to a report screen that can be displayed by reflecting at least the extraction result of the description part by the evaluation unit in the description content of the report.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037109A JP6943999B2 (en) | 2020-03-04 | 2020-03-04 | Report evaluation device, report evaluation method, and program |
PCT/JP2021/008493 WO2021177413A1 (en) | 2020-03-04 | 2021-03-04 | Report evaluation device, report evaluation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037109A JP6943999B2 (en) | 2020-03-04 | 2020-03-04 | Report evaluation device, report evaluation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021140426A true JP2021140426A (en) | 2021-09-16 |
JP6943999B2 JP6943999B2 (en) | 2021-10-06 |
Family
ID=77613421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037109A Active JP6943999B2 (en) | 2020-03-04 | 2020-03-04 | Report evaluation device, report evaluation method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6943999B2 (en) |
WO (1) | WO2021177413A1 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0876681A (en) * | 1994-09-05 | 1996-03-22 | Ricoh Co Ltd | Image processor and question paper forming and marking system |
JPH0968919A (en) * | 1995-09-01 | 1997-03-11 | Sharp Corp | Answer rating processor |
JP2006277086A (en) * | 2005-03-28 | 2006-10-12 | Nippon Tokei Jimu Center:Kk | Marking support method, marking support system, marking support device, marking management device and computer program |
JP2011008355A (en) * | 2009-06-23 | 2011-01-13 | Omron Corp | Fmea sheet creation support system and creation support program |
JP2017068011A (en) * | 2015-09-30 | 2017-04-06 | 京セラドキュメントソリューションズ株式会社 | Image forming apparatus and image forming system |
JP2017167413A (en) * | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | Marking auxiliary system |
JP2017188039A (en) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | Program, device and method for estimating score of text by calculating multiple similarity degrees |
CN107832768A (en) * | 2017-11-23 | 2018-03-23 | 盐城线尚天使科技企业孵化器有限公司 | Efficient method to go over files and marking system based on deep learning |
JP2019152793A (en) * | 2018-03-05 | 2019-09-12 | 富士ゼロックス株式会社 | Device, method, and program for processing information |
-
2020
- 2020-03-04 JP JP2020037109A patent/JP6943999B2/en active Active
-
2021
- 2021-03-04 WO PCT/JP2021/008493 patent/WO2021177413A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0876681A (en) * | 1994-09-05 | 1996-03-22 | Ricoh Co Ltd | Image processor and question paper forming and marking system |
JPH0968919A (en) * | 1995-09-01 | 1997-03-11 | Sharp Corp | Answer rating processor |
JP2006277086A (en) * | 2005-03-28 | 2006-10-12 | Nippon Tokei Jimu Center:Kk | Marking support method, marking support system, marking support device, marking management device and computer program |
JP2011008355A (en) * | 2009-06-23 | 2011-01-13 | Omron Corp | Fmea sheet creation support system and creation support program |
JP2017068011A (en) * | 2015-09-30 | 2017-04-06 | 京セラドキュメントソリューションズ株式会社 | Image forming apparatus and image forming system |
JP2017167413A (en) * | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | Marking auxiliary system |
JP2017188039A (en) * | 2016-04-08 | 2017-10-12 | Kddi株式会社 | Program, device and method for estimating score of text by calculating multiple similarity degrees |
CN107832768A (en) * | 2017-11-23 | 2018-03-23 | 盐城线尚天使科技企业孵化器有限公司 | Efficient method to go over files and marking system based on deep learning |
JP2019152793A (en) * | 2018-03-05 | 2019-09-12 | 富士ゼロックス株式会社 | Device, method, and program for processing information |
Non-Patent Citations (5)
Title |
---|
中島功滋: "短答式記述答案の採点支援ツールの開発と評価", 言語処理学会第17回年次大会発表論文集, JPN6017010050, 7 March 2011 (2011-03-07), JP, pages 611 - 614, ISSN: 0004488090 * |
大島一真他3名: "短答記述式テストの採点支援システムの開発−キーワードの使われ方に基づいた解答の分類−", 2011PCカンファレンス論文集, JPN6017010045, 7 August 2011 (2011-08-07), JP, pages 18 - 21, ISSN: 0004488089 * |
朝日信成他4名: "採点者の意図を加味した自由記述採点補助システム", 第70回(平成20年)全国大会講演論文集(4), JPN6017010052, 13 March 2008 (2008-03-13), JP, pages 737 - 738, ISSN: 0004488091 * |
森田直樹他3名: "記述式の解答を即時に講師が把握するためのシステム", FIT2002 情報科学技術フォーラム 情報技術レターズ, vol. 第1巻, JPN6017010056, 13 September 2002 (2002-09-13), JP, pages 233 - 234, ISSN: 0004488088 * |
石岡恒憲: "短答式記述テストにおける自動採点−その採点ロジックと課題について−", 電子情報通信学会技術研究報告, vol. 109, no. 84, JPN6017010048, 11 June 2009 (2009-06-11), JP, pages 7 - 11, ISSN: 0004488087 * |
Also Published As
Publication number | Publication date |
---|---|
JP6943999B2 (en) | 2021-10-06 |
WO2021177413A1 (en) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee | The impact of using machine translation on EFL students’ writing | |
Yannakoudakis et al. | Developing an automated writing placement system for ESL learners | |
Cargill et al. | Preparing Chinese graduate students of science facing an international publication requirement for graduation: Adapting an intensive workshop approach for early-candidature use | |
Sierkowski | Achieving web accessibility | |
US20150024351A1 (en) | System and Method for the Relevance-Based Categorizing and Near-Time Learning of Words | |
EP3535745B1 (en) | Mapping data resources to requested objectives | |
Soler-Monreal | Announcing one's work in PhD theses in computer science: A comparison of Move 3 in literature reviews written in English L1, English L2 and Spanish L1 | |
US10691900B2 (en) | Adaptable text analytics platform | |
US20110041052A1 (en) | Markup language-based authoring and runtime environment for interactive content platform | |
CN116595138A (en) | Knowledge question-answering method, device, equipment and storage medium | |
JP2019061189A (en) | Teaching material authoring system | |
KR102563530B1 (en) | Method for guiding enhancement of reading comprehension and writing abilities and the apparatus thereof | |
KR101380692B1 (en) | Apparatus for on-line study and method for the same | |
JP6943999B2 (en) | Report evaluation device, report evaluation method, and program | |
KR20080100857A (en) | Service system for word repetition study using round type | |
JP6988101B2 (en) | Information processing equipment, programs and information processing methods | |
Rodríguez Vázquez et al. | A communicative approach to evaluate web accessibility localisation using a controlled language checker: the case of text alternatives for images | |
Moreno et al. | A bridge to web accessibility from the usability heuristics | |
US10635862B2 (en) | Method of facilitating natural language interactions, a method of simplifying an expression and a system thereof | |
Saleh et al. | Ask4Summary: a summary generation moodle plugin using natural language processing techniques | |
JP2887660B2 (en) | Translation Correction Support Device | |
Krajka | Correcting student work with the computer-using dedicated software and a word processor | |
CN117313754B (en) | Intelligent translation method, device and translator | |
Heck et al. | Automatic generation of form-based grammar exercises from authentic texts | |
KR20130083002A (en) | Apparatus and method for managing digital learning contents based on xml |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200330 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201111 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6943999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |