JP2017188039A - 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 - Google Patents
複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP2017188039A JP2017188039A JP2016078379A JP2016078379A JP2017188039A JP 2017188039 A JP2017188039 A JP 2017188039A JP 2016078379 A JP2016078379 A JP 2016078379A JP 2016078379 A JP2016078379 A JP 2016078379A JP 2017188039 A JP2017188039 A JP 2017188039A
- Authority
- JP
- Japan
- Prior art keywords
- score
- text
- texts
- similarity
- similarity calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】記述式問題の答案のようなテキストについて、点数付与済みテキストの準備負担を軽減しつつ、その点数を、より偏りを抑えた形で推定することができるプログラムを提供する。【解決手段】本点数推定プログラムは、入力されたテキストと予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、点数付与済みの複数のテキストについて、上記の複数の類似度算出手段によって算出された複数のテキストの各々についての複数の類似度とこれら複数のテキストの各々に付与された点数との関係を決定する相関決定手段と、上記の複数の類似度算出手段によって算出された点数推定対象のテキストについての複数の類似度から、決定された関係に基づいて点数推定対象のテキストの点数を決定する点数決定手段としてコンピュータを機能させる。【選択図】図２
Description
本発明は、例えば教育現場において答案を採点するといったような、テキストに点数を付与する作業・業務を支援する技術に関する。
従来、教育の現場では、様々な試験が行われ、試験問題に対する生徒の答案を採点して生徒の理解度の評価を行う、といったことが頻繁に実施されている。ここで、試験として、例えばマークシートを用いて解答を選択する形式のものも存在するが、一方で、課題解決型の問題を生徒に提示し、文章による答案を作成させる記述式問題形式のものも広く採用されている。
この記述式問題の答案を採点するのは、通常、教師等の人間である。現在、このような人手による採点作業・業務の多大な負担を軽減するため、種々の採点支援装置が提案されている。
例えば、特許文献１には、記述式の解答を求める問題に対する答案データの採点を支援する採点支援装置が開示されている。この装置には、複数の学習者の解答データと、その解答データに付与された採点情報とが格納される。解答データには、当初採点情報は対応付けられていないが、採点者が採点を行うにつれて採点情報が対応付けられていく。その後、解答間の類似性を判定し、採点中の解答データと類似する解答データの採点情報を収集して採点案を生成している。
また、特許文献２には、複数の採点者の採点結果が一致しない場合に、点数を含む採点結果及び採点根拠を出力し、最終的な採点結果の入力を受け付け、さらに、採点者別の分析結果や、答案に対する採点結果を集計して出力する採点支援装置が開示されている。
しかしながら、以上に述べた特許文献１及び２に記載されたような従来技術では、依然、記述式問題の答案採点における課題が十分に解決されたとはいえない。
実際、特許文献１に記載された採点支援装置では、既に採点された答案と類似した範囲にある答案のみが、採点可能となっている。従って、全ての答案に対して確実に採点を行うためには、原理的に、多量の採点済み答案を準備しておかなければならない。さらに、採用される類似度判定の手法に依存して、採点結果にその手法故の偏りが発生する問題も生じてしまう。
また、特許文献２に記載された採点支援装置はそもそも、答案の採点事体を自動的に行うものになっていない。実際、同装置の主な機能は、情報収集や集計であって、人間である一次採点者のコメントを情報として保持するだけであり、能動的に答案内容の解析などを行うものではない。
このように、採点支援に関する従来技術では、記述式問題の答案を自動的に採点するために、類似性に関して広い範囲にわたる多量の採点済み答案を予め用意する必要があり、装置における準備の負担や、採点処理の負担が過大となる傾向にある。さらに、自動採点のために使用される類似度判定の手法に依存して、採点結果に偏りが生じることも問題となっている。
そこで、本発明は、記述式問題の答案のようなテキストの点数を、点数付与済みテキストの準備負担を軽減しつつ、より偏りを抑えた形で推定することができるプログラム、装置及び方法を提供することを目的とする。
本発明によれば、テキストの点数を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
してコンピュータを機能させる点数推定プログラムが提供される。
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
してコンピュータを機能させる点数推定プログラムが提供される。
この本発明による点数推定プログラムの一実施形態として、相関決定手段は、当該点数を、当該複数の類似度の関数として表す重回帰分析を行い、点数決定手段は、当該点数推定対象のテキストについての複数の類似度を当該関数に代入して、当該点数推定対象のテキストの点数を算出することも好ましい。
また、複数の類似度算出手段は、テキスト間で共通する単語に基づいて類似度を決定する少なくとも１つの手段と、設定された単語群についてテキストをベクトル化して類似度を決定する少なくとも１つの手段との両方又は一方を含むことも好ましい。
さらに、本発明による点数推定プログラムの他の実施形態として、
当該複数のテキスト及び当該点数推定対象のテキストは課題に対して作成されたものであり、
相関決定手段は、当該課題毎に又は当該課題の属する課目若しくは科目毎に、当該関係を決定し、
点数決定手段は、当該点数推定対象のテキストに係る課題又は課目若しくは科目についての当該関係に基づいて、当該点数推定対象のテキストの点数を決定する
ことも好ましい。
当該複数のテキスト及び当該点数推定対象のテキストは課題に対して作成されたものであり、
相関決定手段は、当該課題毎に又は当該課題の属する課目若しくは科目毎に、当該関係を決定し、
点数決定手段は、当該点数推定対象のテキストに係る課題又は課目若しくは科目についての当該関係に基づいて、当該点数推定対象のテキストの点数を決定する
ことも好ましい。
また、更なる他の実施形態として、相関決定手段は、当該点数推定対象のテキストの作成者によって作成された点数付与済みの複数のテキストについて当該関係を決定し、点数決定手段は、当該作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定することも好ましい。
さらに、上記の実施形態において、相関決定手段は、当該点数推定対象のテキストの作成者に限定されない作成者によって作成された点数付与済みの複数のテキストについても当該関係を決定し、
点数決定手段は、当該点数推定対象のテキストの作成者に限定されない作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係にも基づいて点数を算出し、算出された当該点数と、当該点数推定対象のテキストの作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係に基づいて決定された点数とのうち、小さくない方の点数を、当該点数推定対象のテキストの点数に決定することも好ましい。
点数決定手段は、当該点数推定対象のテキストの作成者に限定されない作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係にも基づいて点数を算出し、算出された当該点数と、当該点数推定対象のテキストの作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係に基づいて決定された点数とのうち、小さくない方の点数を、当該点数推定対象のテキストの点数に決定することも好ましい。
また、本発明による点数推定プログラムの更なる他の実施形態として、予め設定された複数のキーワードのうち、当該基準テキストに含まれるものの数と、当該基準テキストに含まれ且つ当該点数推定対象のテキストにも含まれるものの数とに基づいて、当該点数推定対象のテキストにおける当該基準テキストとの一致の度合いである被覆率を算出する被覆率算出手段としてコンピュータを更に機能させることも好ましい。
さらに、本発明による点数推定プログラムの更なる他の実施形態として、予め設定された複数のキーワードのうち、当該基準テキストを構成する１つの文又は文部分と、当該点数推定対象のテキストを構成する１つの文又は文部分とに共通するものの数に基づいて、当該基準テキストを構成する当該１つの文又は文部分と、当該点数推定対象のテキストを構成する当該１つの文又は文部分とが対応関係にあるか否かを判定する文対応関係判定手段としてコンピュータを更に機能させることも好ましい。
本発明によれば、また、テキストの点数を推定する点数推定装置であって、
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
を有する点数推定装置が提供される。
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
を有する点数推定装置が提供される。
本発明によれば、さらに、テキストの点数を推定する装置に搭載されたコンピュータにおける点数推定方法であって、
類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出方法を用いて、予め設定された基準テキストと、点数付与済みの複数のテキストの各々との複数の類似度を算出するステップと、
当該点数付与済みの複数のテキストの各々に付与された点数と、当該複数のテキストの各々について算出された複数の類似度との関係を決定するステップと、
複数の類似度算出方法によって算出された、点数推定対象のテキストと当該基準テキストとの複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定するステップと
を有する点数推定方法が提供される。
類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出方法を用いて、予め設定された基準テキストと、点数付与済みの複数のテキストの各々との複数の類似度を算出するステップと、
当該点数付与済みの複数のテキストの各々に付与された点数と、当該複数のテキストの各々について算出された複数の類似度との関係を決定するステップと、
複数の類似度算出方法によって算出された、点数推定対象のテキストと当該基準テキストとの複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定するステップと
を有する点数推定方法が提供される。
本発明の点数推定プログラム、装置及び方法によれば、記述式問題の答案のようなテキストの点数を、点数付与済みテキストの準備負担を軽減しつつ、より偏りを抑えた形で推定することができる。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
［点数推定システム］
図１は、本発明による点数推定装置を含む点数推定システムの一実施形態を示す模式図である。
図１は、本発明による点数推定装置を含む点数推定システムの一実施形態を示す模式図である。
図１には、本発明に係る点数推定システムの一実施形態としての採点支援システム１が示されている。このシステム１では、受験する多数の生徒が、パーソナル・コンピュータ（ＰＣ）３に表示される形で提供された、課題としての記述式の試験問題に取り組んでいる。各生徒は、表示された記述式問題に対し、同ＰＣ３に文字を入力する形で答案をテキストにして解答する。この各生徒によって作成された解答テキストは、ネットワークを介し、本発明による点数推定装置としての採点支援装置２に送信される。
ここで、多数の生徒解答テキストを収集した採点支援装置２は、各テキストについての点数を推定し、各生徒解答（答案）について算出した推定点数を、採点者である担任教師に対し、例えば表示することにより提示する。すなわち、採点者の負担の大きい記述式問題の解答に対する採点業務を、推定点数を提示することによって支援するのである。
具体的に、採点支援システム１は、
（ａ）採点者によって操作可能な、点数推定装置としての採点支援装置２と、
（ｂ）試験を受ける者が操作することによって、与えられた記述式問題に対する解答としてのテキストデータ（解答テキスト）がその上で作成され、採点支援装置２宛てに送信可能な、ユーザインタフェース装置としてのＰＣ３と、
（ｃ）多数のＰＣ３と、採点支援装置２との通信を可能にする通信ネットワークと
を有している。
（ａ）採点者によって操作可能な、点数推定装置としての採点支援装置２と、
（ｂ）試験を受ける者が操作することによって、与えられた記述式問題に対する解答としてのテキストデータ（解答テキスト）がその上で作成され、採点支援装置２宛てに送信可能な、ユーザインタフェース装置としてのＰＣ３と、
（ｃ）多数のＰＣ３と、採点支援装置２との通信を可能にする通信ネットワークと
を有している。
なお、採点支援装置２も、本発明による点数推定プログラムを搭載したＰＣとすることができる。また、採点支援装置２及びＰＣ３のいずれか一方又は両方を、他の情報機器、例えばスマートフォンやタブレット型コンピュータとすることも可能である。
また、採点支援装置２及びＰＣ３はともに、ネットワークを介して相互に通信するための通信インタフェースを有している。採点支援装置２又は他の問題配信用情報装置から、ＰＣ３へは、記述式の試験問題が送信され、一方、ＰＣ３から採点支援装置２へは、この試験問題に対する答案としての解答テキストが送信される。ここで、多数のＰＣ３から送信された解答テキストは、ネットワーク上に設けられたデータベース４にひとまず格納されてもよい。
このデータベース４は、受信した多数の解答テキストを解答者（生徒）ＩＤに紐づけて格納するデータベース・ストレージであり、収集した解答テキストを適宜、又は装置２の要請に応じて採点支援装置２へ送信する。なお、このデータベース４を使用しない実施形態では、採点支援装置２は代わりに、生徒解答データベース２０３（図２）を備えていてもよい。
また、上記（ｃ）の通信ネットワークは、学校、企業や、受験会場等の内部に設けられたローカルな又はプライベートなネットワークであってもよい。または、採点支援装置２は、複数のＰＣ３とは離隔した場所に設置され、このネットワークは、インターネット及びアクセスネットワーク、例えば光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系ネットワーク、または、Ｗｉ-Ｆｉ（登録商標）等の無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ(Long Term Evolution)若しくは３Ｇ（3rd Generation）等の無線系ネットワークであってもよい。この場合、採点支援装置２は、例えば、アクセスネットワーク内に又はインターネット上に設置された、ネット学習サービス事業者の管理するサーバとすることも可能である。
なお、変更態様として、試験問題は、解答者に対し紙媒体で提示されてもよい。また、解答者は、紙媒体の答案を作成してもよい。この場合、例えば、答案をスキャナー等を介してＰＣ３に読み込み、ＰＣ３でこの答案に記載された解答文と一致するテキストデータを、解答テキストとして生成することも好ましい。
ここで、上記（ａ）の採点支援装置２は、テキストの点数を推定する装置であって、
（Ａ）入力されたテキストと、予め設定された「基準テキスト」との類似度を算出する複数の「類似度算出手段」
を有しており、
（Ｂ）点数付与済みの複数のテキストについて、これら複数のテキストの各々に付与された点数と、複数の「類似度算出手段」によって算出されたこれら複数のテキストの各々についての複数の類似度との「関係」を決定し、
（Ｃ）複数の「類似度算出手段」によって算出された、点数推定対象のテキストについての複数の類似度から、決定された「関係」に基づいて、点数推定対象のテキストの点数を決定する点数推定処理を行う。
（Ａ）入力されたテキストと、予め設定された「基準テキスト」との類似度を算出する複数の「類似度算出手段」
を有しており、
（Ｂ）点数付与済みの複数のテキストについて、これら複数のテキストの各々に付与された点数と、複数の「類似度算出手段」によって算出されたこれら複数のテキストの各々についての複数の類似度との「関係」を決定し、
（Ｃ）複数の「類似度算出手段」によって算出された、点数推定対象のテキストについての複数の類似度から、決定された「関係」に基づいて、点数推定対象のテキストの点数を決定する点数推定処理を行う。
ここで、上記構成（Ａ）の複数の「類似度算出手段」は、
（ａ）類似度算出の手法の種別、または、
（ｂ）類似度算出に使用する単語群の設定
について互いに異なるものとなっていることが大きな特徴となっている。また、「基準テキスト」は、テキストの採点における基準となるものであり、例えば、教師等によって作成された模範解答のテキストとすることができる。
（ａ）類似度算出の手法の種別、または、
（ｂ）類似度算出に使用する単語群の設定
について互いに異なるものとなっていることが大きな特徴となっている。また、「基準テキスト」は、テキストの採点における基準となるものであり、例えば、教師等によって作成された模範解答のテキストとすることができる。
さらに、上記構成（Ｂ）の「関係」は、サンプルとなる複数のテキストにおける、付与された点数と、「基準テキスト」に対する複数の類似度との統計的な関係であり、例えば、点数を目的変数とし、複数の類似度を説明変数とした重回帰分析によって得られる重回帰式（回帰係数）とすることができる。
このように、採点支援装置２によれば、「基準テキスト」との間の類似度を、手法種別又は単語群設定について互いに異なる手法を用いて複数種算出し、点数推定に使用している。従って、１つの類似度算出手法に固執することによって、点数値にその手法に依存する偏りが発生してしまう事態を回避することができる。
すなわち、採点支援装置２によれば、点数推定対象であるテキスト（例えば生徒解答）と、「基準テキスト」（例えば模範解答）との多面的な又は総合的な一致の度合いに基づいた点数推定を実現することができるのである。これにより、よりばらつきの小さい又はより精度の高い点数を推定することが可能となる。
また、採点支援装置２は、点数推定の基準を「基準テキスト」（例えば模範解答）としている。従って、例えば、過去の採点済みの答案テキストとの類似度に基づく点数推定と比較した場合、このような点数付与済みテキストの準備負担をより軽減した上で、点数推定処理を実施することができる。すなわち、記述式問題の答案のようなテキストにおける点数推定を、より少ない負担で実施することができるのである。
［点数推定装置］
図２は、本発明による点数推定装置の一実施形態における機能構成を示す機能ブロック図である。
図２は、本発明による点数推定装置の一実施形態における機能構成を示す機能ブロック図である。
図２によれば、点数推定装置としての採点支援装置２は、通信インタフェース２０１と、模範解答データベース２０２と、生徒解答データベース２０３と、形態素解析辞書部２０４と、コーパス保存部２０５と、相関データ保存部２０６と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）２０７と、キーボード（ＫＢ）２０８と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、採点支援装置２に搭載されたコンピュータを機能させるプログラムを実行することによって、採点支援に資する点数推定機能を実現させる。
さらに、このプロセッサ・メモリは、機能構成部として、Ｎ（Ｎ≧２）個の第１類似度算出部２１１-１、第２類似度算出部２１１-２、・・・、及び第Ｎ類似度算出部２１１-Ｎを含む類似度算出部２１１と、相関決定部２１２と、点数決定部２１３と、被覆率算出部２１４と、文対応関係判定部２１５と、通信制御部２２１と、表示・入力制御部２２２とを有する。尚、図２によれは、各機能構成部を矢印で接続した処理の流れは、本発明による点数推定方法、並びに後述する被覆率算出方法及び文対応関係判定方法の一実施形態としても理解される。
図２において、通信インタフェース２０１は、採点支援装置２の通信インタフェースであり、ＰＣ３又はデータベース４からネットワークを介して、点数推定対象となる解答テキストを、当該テキストを作成した解答者の識別子（解答者ＩＤ）とともに受信する。また、採点済みの複数の解答テキストや模範解答テキストを、外部の情報処理装置から予め受信していてもよい。また、後に詳細に説明する、点数決定部２１３で決定された推定点数の情報や、被覆率算出部２１４で算出された被覆率の情報、さらには文対応関係判定部２１５で判定され生成された文対応関係の情報を、通信制御部２２１を介して入力し、外部の情報処理装置宛てに送信してもよい。
模範解答データベース２０２は、後述する類似度算出に使用される模範解答テキストを蓄積するデータベース・ストレージである。模範解答テキストは、例えば通信インタフェース２０１で受信されて通信制御部２１１を介して模範解答データベース２０２に入力され、解答対象である問題の識別子（問題ＩＤ）を紐づけた形でデータベース化され、保存されることも好ましい。
生徒解答データベース２０３は、点数推定対象である未採点の解答テキストや、後述する関係決定処理用に使用される採点済みの解答テキストを蓄積するストレージである。いずれの解答テキストも、例えば通信インタフェース２０１で受信されて通信制御部２１１を介して生徒解答データベース２０３に入力され、解答対象である問題の識別子（問題ＩＤ）、及び当該テキストを作成した解答者（生徒）の解答者ＩＤを紐づけた形でデータベース化され、保存されることも好ましい。なお、採点済みの解答テキストは、さらに、付与された点数も紐づけられて保存される。
さらに、模範解答データベース２０２及び生徒解答データベース２０３は、要求に応じて、類似度算出部２１１や、被覆率算出部２１４、さらには文対応関係判定部２１５に対し、模範解答テキストや、未採点及び採点済みの解答テキストを出力する。
類似度算出部２１１は、第１類似度算出部２１１-１、第２類似度算出部２１１-２、・・・、及び第Ｎ類似度算出部２１１-Ｎを有している。これらＮ個の類似度算出部２１１-１〜Ｎは、いずれも、算出部２１１に入力されたテキストと、（基準テキストとしての）模範解答テキストとの類似度を算出する。
ここで、本実施形態において、類似度算出部２１１に入力されたテキスト（点数推定対象である未採点の解答テキスト、採点済みの解答テキスト、及び模範解答テキスト）は、類似度判定・算出の前処理として、形態素解析辞書部２０４の辞書データを利用した形態素解析処理を受けて、単語に分解されることも好ましい。
また、これらの類似度算出部２１１-１〜Ｎは、類似度算出の手法の種別、または、類似度算出に使用する単語群の設定について互いに異なる類似度手段となっている。例えば、１つの実施例として、
（ａ）単語方式のBLEUを使用した第１類似度算出部２１１-１と、
（ｂ）単語方式のRIBESを使用した第２類似度算出部２１１-２と、
（ｃ）Wikipediaのアブストラクトを利用したコーパス（corpus）を用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第３類似度算出部２１１-３と、
（ｄ）所定の新聞テキストを利用したコーパスを用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第４類似度算出部２１１-４と、
（ｅ）Wikipediaのアブストラクト及び所定の新聞テキストを利用したコーパスを用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第５類似度算出部２１１-５と
が設定されていてもよい。
（ａ）単語方式のBLEUを使用した第１類似度算出部２１１-１と、
（ｂ）単語方式のRIBESを使用した第２類似度算出部２１１-２と、
（ｃ）Wikipediaのアブストラクトを利用したコーパス（corpus）を用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第３類似度算出部２１１-３と、
（ｄ）所定の新聞テキストを利用したコーパスを用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第４類似度算出部２１１-４と、
（ｅ）Wikipediaのアブストラクト及び所定の新聞テキストを利用したコーパスを用いて類似度算出を行うベクトル方式のDoc2Vecを使用した第５類似度算出部２１１-５と
が設定されていてもよい。
ここで、単語方式とは、テキスト間で共通する単語に基づいて類似度を決定する方法を指す。上記のBLEUやRIBESが代表的な例となる。このうち、BLEUは、１つの一致する単語を見つけたらその次の単語についても一致しているか否かを調べていく単語列のｎ−グラム・マッチング（n-gram matching）を利用し、類似度算出対象のテキストと、基準テキストとの類似度を算出する手法である。一方、RIBESは、最初に、類似度算出対象のテキストと、基準テキストとを単語レベルで比較する単語群のワードレベル・マッチングを行い、次いで、ランク付けされた相関係数に基づき両テキストに共通する単語の語順について調査する類似度算出手法である。
なお、BLEU及びRIBESのいずれも、機械翻訳の訳文の評価を行う目的で開発された手法であり、それぞれ、Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. "BLEU: a method for automatic evaluation of machine translation", Proc. of the Annual Meeting of the Association of Computational Linguistics (ACL), ２００２年, ３１１〜３１８頁、及びHideki Isozaki, Tsutomu Hirao, Kevin Duh, Katsuhito Sudoh, Hajime Tsukada. "Automatic Evaluation of Translation Quality for Distant Language Pairs", Conference on Empirical Methods on Natural Language Processing (EMNLP), ２０１０年１０月に詳細に記載されている。
また、上記（ｃ）〜（ｅ）におけるベクトル方式とは、設定された単語群についてテキストをベクトル化し、ベクトル間のコサイン類似度等をもってテキスト間の類似度を決定する公知の方法を指す。ここで、テキスト（単語や文）は、例えばディープラーニング（deep learning）の手法を用いることによって数百次元のベクトルに変換可能である。上記のDoc2Vecは、このようなベクトル方式の代表例であるが、モデル学習のためにコーパスを必要とする。上記（ｃ）〜（ｅ）のDoc2Vecはそれぞれ、コーパスとして、Wikipediaのアブストラクト、所定の新聞テキスト及びその両方を採用している。ちなみに、本実施形態において使用される複数のコーパスは、コーパス保存部２０５に予め用意されているものとすることができる。
このように、上記の（ａ）と（ｂ）と（ｃ）〜（ｅ）とは、類似度算出の手法の種別が互いに異なっている。また、（ｃ）と（ｄ）と（ｅ）とは、類似度算出に使用する単語群（ここではコーパス）の設定について互いに異なった類似度算出部となっているのである。
ここで、単語方式については、一般に、相当の数の採点済みテキストを準備する必要がある。従って、上述した（ａ）〜（ｅ）の５つの類似度算出部２１１-１〜５のように、コーパスを利用するベクトル方式も混合して採用することによって、類似度算出処理量に対するテキスト準備の負担の程度を軽減することが可能となる。
また、上述した（ｃ）〜（ｅ）の３つの類似度算出部２１１-３〜５のように、互いに異なる複数種のコーパスを使用することによって、問題の種別や、解答者（生徒）のボキャブラリの偏り具合による類似度判定への影響を調整することも可能となる。例えば、１つのコーパスのみを採用した場合において、点数推定対象である解答テキストが正解といえる内容を有していても、この解答テキストに使用されている単語の種類が、用意されたコーパスとかけ離れたものが多い状況では、低い類似度が判定されてしまうこともあり得る。すなわち、結果として推定点数が本来よりも低く算出されてしまう事態も考えられる。しかしながら、上述した実施形態のように、複数のコーパスを混合して採用することによって、このような事態を回避することが可能となるのである。
さらに、通常、ベクトル方式の類似度算出を行う場合、使用され得る単語のバラエティを考慮し、できるだけ大規模なコーパスを生成することが要請される。しかしながら、上述した（ｃ）〜（ｅ）の３つの類似度算出部２１１-３〜５のように、互いに異なる複数種のコーパスを併用することによって、例えば、想定される使用単語の範囲をこれらのコーパスで効率的にカバーし、全体としてコーパスの規模を抑制することも可能となるのである。これにより、類似度判定・算出の処理負担の増大も防止することができる。
また、本来、文章テキストの類似度算出方法は、機械翻訳の訳文の質を評価するものや、文章の対象分野を判定するもの等、種々の異なる目的をもって考案されたものである。従って、自動採点を目的として、解答テキストの類似度を、互いに異なる種別の類似度算出方法で算出すると、異なる傾向の結果となることも少なくない。特に、学校の試験における記述式問題の解答のように、職業として文章を作成しているのではない解答者（生徒）が短時間で記述したものを類似度判定の対象とする場合、類似度判定の種別毎に算出される類似度が大幅に異なり、結果として推定点数も大きく変動してしまいがちである。しかしながら、上述した実施形態のように、複数の類似度算出手法を混合して採用することによって、互いの短所を長所で補完し、そのような変動を抑制することが可能となるのである。
図３は、類似度算出部２１１における類似度判定・算出処理の結果例を示すテーブルである。
図３（Ａ）によれば、１つの出題された問題（問題ID＝xxxx）について、生徒（生徒ＩＤ）毎に、当該生徒による解答テキストと、教師による採点結果と、第１類似度算出部２１１-１、第２類似度算出部２１１-２、・・・、及び第Ｎ類似度算出部２１１-Ｎによる類似度判定結果（算出されたＮ個の類似度）とが対応付けて記録されている。類似度算出部２１１での処理結果は、出題された問題毎に、このような記録のテーブルの形をとるものとすることができる。
図３（Ｂ）によれば、１つの出題された問題（問題ID＝xxxx）について、複数の模範解答テキストが、模範解答ＩＤを紐づけて記録されている。このように、類似度算出における基準テキストとなる模範解答テキストは、複数用意されていてもよい。例えば、１つの問題に対し、複数の教師が各々模範解答を作成する場合がこれに該当する。この場合、類似度は、各模範解答テキストを使用して算出された類似度の平均をとって決定することができる。
次いで、図３（Ｃ）には、類似度判定・算出処理についての実施例１が示されている。この実施例１では、出題された１つの問題について、解答した生徒（生徒ID＝0001〜0029）毎に、ベクトル方式の類似度算出手法を用いた第１類似度算出部２１１-１による第１類似度と、単語方式の類似度算出手法を用いた第２類似度算出部２１１-２による第２類似度とが算出されている。また、算出された第１類似度及び第２類似度はともに、この後実行される関係決定処理に備えて、非負且つ最大値が１となるように正規化されている。
図３（Ｃ）の実施例１によれば、これらの類似度に加えてさらに、解答した生徒（生徒ID＝0001〜0029）毎に、教師によって予め付与された点数（採点・評価結果）が記録されている。
図２に戻って、相関決定部２１２は、点数付与済みの複数の生徒解答テキストについて、
（ａ）これら複数の生徒解答テキストの各々に付与された点数と、
（ｂ）複数の類似度算出部２１１-１〜Ｎによって算出された複数の生徒解答テキストの各々についての複数の類似度と
の関係を決定する。具体的に、本実施形態では、相関決定部２１２は、上記（ａ）の点数を目的変数とし、上記（ｂ）の複数の類似度を説明変数とした重回帰分析を行い、推定点数を表す重回帰式における回帰係数を決定する。また、この回帰係数（重回帰式）を含む重回帰分析結果を相関データ保存部２０６に保存・蓄積し、点数決定部２１３の要求に応じて適宜、必要となる重回帰分析結果を点数決定部２１３に出力することができるようにすることも好ましい。
（ａ）これら複数の生徒解答テキストの各々に付与された点数と、
（ｂ）複数の類似度算出部２１１-１〜Ｎによって算出された複数の生徒解答テキストの各々についての複数の類似度と
の関係を決定する。具体的に、本実施形態では、相関決定部２１２は、上記（ａ）の点数を目的変数とし、上記（ｂ）の複数の類似度を説明変数とした重回帰分析を行い、推定点数を表す重回帰式における回帰係数を決定する。また、この回帰係数（重回帰式）を含む重回帰分析結果を相関データ保存部２０６に保存・蓄積し、点数決定部２１３の要求に応じて適宜、必要となる重回帰分析結果を点数決定部２１３に出力することができるようにすることも好ましい。
ここで、相関決定部２１２は、１つの記述式問題に対して作成された答案としての複数のテキストを用いて、上記の関係（回帰係数）を決定してもよい。すなわち、この場合、出題された問題毎に、関係（回帰係数）が決定される。例えば、歴史について鎌倉時代、室町・戦国時代、及び江戸時代に関する３つの問題が出題された際、この３つの歴史問題の１つ１つについて、例えば一学年の生徒全員の当該歴史問題に対する解答テキストを用いて、関係（回帰係数）が決定される。
または、変更態様として、１つの課目若しくは科目に属する全ての問題に対して作成された答案としての複数のテキストを用いて、上記の関係（回帰係数）を決定してもよい。すなわち、この場合、出題された問題の属する課目若しくは科目毎に、関係（回帰係数）が決定される。例えば、科目としての歴史について、鎌倉時代の政治体制、文化及び対外関係に関する３つの問題が出題された際、この歴史科目全体の３つの歴史問題の全てについて、例えば一学年の生徒全員の全問題に対する解答テキストを用いて、関係（回帰係数）が決定される。
この場合、類似した過去の問題が存在しない場合でも、同一科目の問題であれば、決定された関係（回帰係数）を用いて当該問題に対する生徒解答の点数を推定することができる。
相関決定部２１２は、さらに、点数推定対象の解答テキストの作成者（例えば解答者としての生徒）によって作成された点数付与済みの複数のテキストについて関係（回帰係数）を決定することもできる。この場合、解答テキストの作成者（生徒）毎に関係（回帰係数）が決定され、1人の解答者（生徒）による解答テキストの点数を推定する際には、当該解答者についての関係（回帰係数）が用いられる。これにより、よりばらつきの小さい又はより精度の高い点数を推定することが可能となる。
図４は、相関決定部２１１における関係決定処理の一実施例を説明するためのグラフ及び模式図である。
図４に示されたグラフは、図３（Ｃ）に示された実施例１における、付与された点数（教師採点結果）と、ベクトル方式で算出された第１類似度との関係を示している。このように、通常、付与された点数と、ある１つの手法で算出された類似度との間には、正の相関関係が存在する。図４に示されたグラフでは、回帰式は、
（１） y1＝0.0138x1＋0.4473
となっており、寄与率（相関係数の２乗）R2は0.5323となっていて、相当に高い正の相関が認められる。ちなみに、式（１）において、x1は説明変数としての第１類似度であり、y1は目的変数としての点数である。
（１） y1＝0.0138x1＋0.4473
となっており、寄与率（相関係数の２乗）R2は0.5323となっていて、相当に高い正の相関が認められる。ちなみに、式（１）において、x1は説明変数としての第１類似度であり、y1は目的変数としての点数である。
また、この関係（回帰式）は、同じ複数の解答テキストにおいても、類似度の算出手法や使用する単語群が異なれば異なってくる。例えば、実施例１において、類似度として、もう一方の単語方式で算出された第２類似度を使用すると、例えば、その回帰式が、
（２） y2＝0.0245x2＋1.2309
となって、回帰係数や切片の値が異なってくるのである。ちなみに、式（２）において、x2は説明変数としての第２類似度であり、y2は目的変数としての点数である。
（２） y2＝0.0245x2＋1.2309
となって、回帰係数や切片の値が異なってくるのである。ちなみに、式（２）において、x2は説明変数としての第２類似度であり、y2は目的変数としての点数である。
ここで、実施例１において、上記の２つの回帰式（１）及び（２）を用いて点数推定を実施することも可能である。すなわち、点数推定対象の解答テキストについて、第１類似度及び第２類似度を決定し、両類似度のそれぞれを上式（１）のx1及び上式（２）のx2に代入して、点数y1及びy2を算出する。次いで、点数y1及びy2の平均をとって、例えばＹ＝(y1＋y2)／2によって、推定点数Y値を決定することができる。
次に、以上に述べた関係決定処理とは異なり、算出される類似度の種別による点数推定への影響の度合いをより直接に考慮することが可能となる関係決定の実施形態を説明する。
この関係決定処理では、相関決定用に準備された複数の解答テキストについて、Ｎ個の第１類似度〜第Ｎ類似度を説明変数とし、当該解答テキストに付与された点数を目的変数とした重回帰式（回帰係数）を決定する。
例えば、図３（Ｃ）に示した、単語方式による第１類似度と、ベクトル方式による第２類似度とを採用した実施例１の場合、重回帰式として、次式
（３） Y＝5.93x1＋24.99x2−15.12
を決定することができる。ここで、x1及びx2はそれぞれ説明変数としての第１類似度及び第２類似度であり、Yは目的変数としての点数である。
（３） Y＝5.93x1＋24.99x2−15.12
を決定することができる。ここで、x1及びx2はそれぞれ説明変数としての第１類似度及び第２類似度であり、Yは目的変数としての点数である。
次いで、後に詳細に説明するように、点数推定対象の解答テキストについて、第１類似度及び第２類似度を決定し、両類似度のそれぞれを上式（３）のx1及びx2に代入して、推定点数Y値を決定することができる。
なお、この推定点数算出の変更態様として、混合類似度を算出することも可能である。具体的には、算出された第i類似度の値をxiとし、重み係数をaiとし、定数をbとして、回帰分析によって混合類似度Z（＝a1・x1＋a2・x2＋・・・＋aN・xN＋b）を算出し、予めこの混合類似度Zと点数との回帰式（回帰係数）を決定しておく。次いで、点数推定対象の解答テキストの混合類似度を算出し、この算出された混合類似度を決定した回帰式に代入して推定点数を得ることができる。
図２に戻って、点数決定部２１３は、複数の類似度算出部２１１-１〜Ｎによって算出された、点数推定対象の解答テキストについての複数の類似度から、相関決定部２１２で決定された関係（回帰式、回帰係数）に基づいて、点数推定対象の解答テキストの点数を決定する。具体的には、上述したように、点数推定対象の解答テキストについての複数の類似度を、複数の類似度の関数である点数を表した重回帰式に代入して、点数推定対象の解答テキストの点数を算出することも好ましい。
ここで、１つの問題（課題）について決定された関係（回帰式、回帰係数）を用いる場合、点数推定対象の解答テキストは、この問題（課題）に対して生成されたテキストとなる。また、１つの課目又は科目について決定された関係（回帰式、回帰係数）を用いる場合、点数推定対象の解答テキストは、この課目又は科目に属する問題に対して生成されたテキストとなる。さらに、1人の解答者によって作成された点数付与済みの複数のテキストについて決定された関係（回帰式、回帰係数）を用いる場合、点数推定対象の解答テキストは、この解答者によって生成されたテキストとなる。
ここで、１つの好適な実施形態として、点数決定部２１３は、点数推定対象の解答テキストの解答者に限定されない解答者によって作成された点数付与済みの複数のテキストについて決定された関係（回帰式、回帰係数）にも基づいて点数を算出し、
（ａ）この算出された点数と、
（ｂ）点数推定対象の解答テキストの解答者によって作成された点数付与済みの複数の解答テキストについて決定された関係（回帰式、回帰係数）に基づいて決定された点数と
のうち、小さくない方の点数を、点数推定対象の解答テキストの点数に決定してもよい。
（ａ）この算出された点数と、
（ｂ）点数推定対象の解答テキストの解答者によって作成された点数付与済みの複数の解答テキストについて決定された関係（回帰式、回帰係数）に基づいて決定された点数と
のうち、小さくない方の点数を、点数推定対象の解答テキストの点数に決定してもよい。
また、変更態様として、点数決定部２１３は、上述したように、（上記の回帰式（１）及び（２）のように）複数の類似度毎に決定された回帰式を用いて、複数の類似度毎に点数を算出し、次いで、これらの点数を平均して推定点数を決定することもできる。
いずれにしても、点数決定部２１３は、１つの類似度算出手法の結果に固執することなく決定された関係（回帰式、回帰係数）を用いて点数を推定する。これにより、点数推定対象である解答テキストと、模範解答テキスト（基準テキスト）との多面的な又は総合的な一致の度合いに基づいた点数推定を実現することが可能となり、よりばらつきの小さい又はより精度の高い点数を推定することができる。
同じく図２において、被覆率算出部２１４は、予め設定された複数のキーワードのうち、模範解答テキストに含まれるものの数と、この模範解答テキストに含まれ且つ点数推定対象の解答テキストにも含まれるものの数とに基づいて、点数推定対象の解答テキストにおける模範解答テキストとの一致の度合いである被覆率を算出する。
ここで、被覆率算出の前処理として、模範解答テキスト及び点数推定対象の解答テキストはいずれも、形態素解析処理を受けて単語に分解される。
次いで、被覆率算出部２１４は具体的に、予め設定された複数のキーワードについて、
（ａ）模範解答テキストに含まれているキーワードの数を算出し、
（ｂ）上記（ａ）のキーワードのうちで、解答テキストにも共通して含まれている（合致している）キーワードの数を算出し、
（ｃ）上記（ａ）及び（ｂ）の算出結果に基づいて、キーワードの合致の度合いから、被覆率を算出する。例えば、被覆率を、次式
（４） (被覆率)＝（上記（ｂ）の共通キーワード数）
／（上記（ａ）のキーワード数）
を用いて算出してもよい。
（ａ）模範解答テキストに含まれているキーワードの数を算出し、
（ｂ）上記（ａ）のキーワードのうちで、解答テキストにも共通して含まれている（合致している）キーワードの数を算出し、
（ｃ）上記（ａ）及び（ｂ）の算出結果に基づいて、キーワードの合致の度合いから、被覆率を算出する。例えば、被覆率を、次式
（４） (被覆率)＝（上記（ｂ）の共通キーワード数）
／（上記（ａ）のキーワード数）
を用いて算出してもよい。
同じく図２において、文対応関係判定部２１５は、予め設定された複数のキーワードのうち、模範解答テキストを構成する１つの文（又は文部分）と、点数推定対象の解答テキストを構成する１つの文（又は文部分）とに共通するものの数に基づいて、模範解答テキストを構成する１つの文（又は文部分）と、点数推定対象のテキストを構成する１つの文（又は文部分）とが対応関係にあるか否かを判定する。
ここで、対応関係にあると判定された文（又は文部分）同士が、その旨が理解されるように表示されることも好ましい。例えば、両者を結ぶ矢印を表示したり、両者を、他の文（又は文部分）と区別できるように強調された又は同色の文字を用いて表示したりしてもよい。さらに、文対応関係判定部２１５は、答案の評価に関して別途設けられた何らかの機能処理部へ、上記の判定結果を評価用データとして出力するとしてもよい。
なお、以上に述べた文対応関係判定の前処理として、模範解答テキスト及び点数推定対象の解答テキストはいずれも、形態素解析処理を受けて単語毎の品詞情報が与えられ、次いで、接続語や句読点等を利用して単文化される。
図５は、文対応関係判定部２１５において前処理として実施される単文化処理の一実施例を示す模式図である。
図５（Ａ）には、一実施例として、点数推定対象の生徒解答テキストと、基準テキストとしての模範解答テキストとが示されている。ここで、両テキストに対し、単文化処理が実施される。
具体的に、本実施形態の単文化処理では、形態素解析によって品詞情報が与えられたテキストに対し、Bi−Gramを用いて文の分割を行う。すなわち、単語を順次２語ずつチェックして下記のような判定を行い、文の分割を行う。例えば、
（ａ）連続する２語が「全ての品詞」＋「。（句点）」ならば、この「。」の直後で分割する。また、
（ｂ）連続する２語が「動詞の完了形」＋「のは（接続助詞）」ならば、この「のは」の直後で分割する。
以下、このような判定によって分割された結果の文又は文部分を「単文」と称する。
（ａ）連続する２語が「全ての品詞」＋「。（句点）」ならば、この「。」の直後で分割する。また、
（ｂ）連続する２語が「動詞の完了形」＋「のは（接続助詞）」ならば、この「のは」の直後で分割する。
以下、このような判定によって分割された結果の文又は文部分を「単文」と称する。
図５（Ｂ）に、図５（Ａ）の生徒解答テキストを単文化処理した結果を示す。上記の判定を介して分割された単文の各々には、図５（Ｂ）のs01、s02及びs03のように、単文識別子（ＩＤ）が付与されることも好ましい。
図２に戻って、文対応関係判定部２１５は、以上に説明した単文化処理を実施した後、生徒解答テキストの単文と模範解答テキストの単文との間で、例えば以下に示すような文対応規則に基づいて、文対応判定処理を行う。
（文対応規則）
（ａ）未処理である模範解答テキストの単文の中で、含まれるキーワードの数が最大のものを選択する。ここで、選択された模範解答テキストの単文を、未処理グループから除外する。
（ｂ）上記（ａ）で選択された模範解答テキストの単文に含まれるキーワードと同じキーワードを含む、未処理の生徒解答テキストの単文のうち、当該模範解答テキストの単文と共通する（一致する）キーワードの数が最大のものを選択する。ここで、選択された生徒解答テキストの単文を、未処理グループから除外する。
（ｃ）上記（ａ）で選択された模範解答テキストの単文と、上記（ｂ）で選択された生徒解答テキストの単文とを、文対応関係があるものと判定する。
（ｄ）未処理である模範解答テキストの単文が１つ以上残っていれば、再度上記（ａ）〜（ｃ）の処理を行う。
（文対応規則）
（ａ）未処理である模範解答テキストの単文の中で、含まれるキーワードの数が最大のものを選択する。ここで、選択された模範解答テキストの単文を、未処理グループから除外する。
（ｂ）上記（ａ）で選択された模範解答テキストの単文に含まれるキーワードと同じキーワードを含む、未処理の生徒解答テキストの単文のうち、当該模範解答テキストの単文と共通する（一致する）キーワードの数が最大のものを選択する。ここで、選択された生徒解答テキストの単文を、未処理グループから除外する。
（ｃ）上記（ａ）で選択された模範解答テキストの単文と、上記（ｂ）で選択された生徒解答テキストの単文とを、文対応関係があるものと判定する。
（ｄ）未処理である模範解答テキストの単文が１つ以上残っていれば、再度上記（ａ）〜（ｃ）の処理を行う。
ちなみに、上述した被覆率算出部２１４は、変更態様として、文対応関係判定部２１５において文対応関係があると判定された模範解答テキストの単文と生徒解答テキストの単文との間で「単文間での被覆率」を算出し、それらを合計して被覆率を決定してもよい。すなわち、「単文間での被覆率」を、対応関係にある生徒解答単文でのキーワード合致数（共通キーワード数）と、模範解答単文のキーワード数との比とし、全ての対応関係について、当該比の分母の値及び分子の値をそれぞれ合計して被覆率とすることができる。
同じく図２において、表示・入力制御部２２２は、例えば、キーボード２０８やタッチパネル・ディスプレイ２０７を介して入力された表示の指示や表示態様の選択情報等を受け付ける。次いで、点数決定部２１３から入力された推定点数の情報や、被覆率算出部２１４から入力された被覆率の情報、さらには文対応関係判定部２１５から入力された文対応関係の情報を、所定の又は指定された表示態様をもってタッチパネル・ディスプレイ２０７に表示させる。
図６は、点数支援装置２における点数推定等の処理結果の表示における一実施例を示す模式図である。
図６によれば、タッチパネル・ディスプレイ２０７には、
（ａ）単文に分解された点数推定対象の生徒解答と、
（ｂ）同じく単文に分解された模範解答と、
（ｃ）文対応関係を示す矢印（単文t01→単文s01，単文t02→単文s03）と、
（ｄ）当該生徒解答について算出された推定点数と、
（ｅ）点数推定に使用した相関関係の相関値（寄与率）と、
（ｆ）当該生徒解答と当該模範解答との間の被覆率と
が表示されている。ここで、上記（ｃ）に関して、文対応関係にある単文同士は、他の単文とは異なる色によって区別されていてもよい。また、生徒解答及び模範解答に含まれるキーワードを強調し（例えば下線を引き）、生徒解答と模範解答とに共通する共通キーワードには更なる強調を行う（例えば太字及び斜体化する）ことも好ましい。
（ａ）単文に分解された点数推定対象の生徒解答と、
（ｂ）同じく単文に分解された模範解答と、
（ｃ）文対応関係を示す矢印（単文t01→単文s01，単文t02→単文s03）と、
（ｄ）当該生徒解答について算出された推定点数と、
（ｅ）点数推定に使用した相関関係の相関値（寄与率）と、
（ｆ）当該生徒解答と当該模範解答との間の被覆率と
が表示されている。ここで、上記（ｃ）に関して、文対応関係にある単文同士は、他の単文とは異なる色によって区別されていてもよい。また、生徒解答及び模範解答に含まれるキーワードを強調し（例えば下線を引き）、生徒解答と模範解答とに共通する共通キーワードには更なる強調を行う（例えば太字及び斜体化する）ことも好ましい。
このような表示を行い、上記（ａ）〜（ｆ）の情報を教師等の採点者に提示することによって、採点者による採点業務の負荷を軽減し、また、より適切な採点を行えるように支援することができる。ここで、当然に、情報の提示は上記（ｄ）の推定点数だけでも可能であるが、推定点数とともに、単文化して解析した文対応関係の情報や被覆率の情報も合わせて提示することによって、採点者に対し、より有効な支援を行うことが可能となるのである。例えば、採点者は、文対応関係や被覆率を参照して、提示された推定点数の内容・意味合いや信頼度を把握したり、生徒のボキャブラリや文章構成力等の解答能力を推測したりすることもできる。一般に、被覆率が高いほど、模範解答レベルのボキャブラリの下で問題に対する解をより深く理解していると推測される。さらに、共通するキーワードが強調表示された生徒解答を、実際の採点の際の補助として利用することも可能となる。
［点数推定方法］
図７は、本発明による点数推定方法の一実施形態を示すフローチャートである。同図に示されたフローは、点数推定方法の一実施形態としての採点支援方法を示している。
図７は、本発明による点数推定方法の一実施形態を示すフローチャートである。同図に示されたフローは、点数推定方法の一実施形態としての採点支援方法を示している。
（Ｓ１０１）採点済みの多数の生徒解答テキスト、及び模範解答テキストを取得する。
（Ｓ１０２）これら多数の生徒解答テキストについて、模範解答テキストとの間の第１類似度、第２類似度、・・・、第Ｎ（Ｎ≧２）類似度を算出する。
（Ｓ１０３）算出された各類似度を正規化する。
（Ｓ１０４）生徒解答テキストについて、Ｎ個の類似度と付与された点数との関係について重回帰分析を行い、重回帰式（回帰係数）を決定する。
（Ｓ１０２）これら多数の生徒解答テキストについて、模範解答テキストとの間の第１類似度、第２類似度、・・・、第Ｎ（Ｎ≧２）類似度を算出する。
（Ｓ１０３）算出された各類似度を正規化する。
（Ｓ１０４）生徒解答テキストについて、Ｎ個の類似度と付与された点数との関係について重回帰分析を行い、重回帰式（回帰係数）を決定する。
（Ｓ１０５）点数推定対象の生徒解答テキストを取得する。
（Ｓ１０６）点数推定対象の生徒解答テキストについて、模範解答テキストとの間の第１類似度、第２類似度、・・・、第Ｎ（Ｎ≧２）類似度を算出する。
（Ｓ１０７）算出されたＮ個の類似度を、決定した重回帰式に代入して推定点数を算出し、出力（例えば表示）する。
（Ｓ１０６）点数推定対象の生徒解答テキストについて、模範解答テキストとの間の第１類似度、第２類似度、・・・、第Ｎ（Ｎ≧２）類似度を算出する。
（Ｓ１０７）算出されたＮ個の類似度を、決定した重回帰式に代入して推定点数を算出し、出力（例えば表示）する。
（Ｓ１０８）点数推定対象の生徒解答テキストを単文化する。
（Ｓ１０９）文対応関係を判定し、文対応グラフ（対応関係にある単文及び矢印）を生成して出力（例えば表示）する。
（Ｓ１１０）被覆率を算出し、出力（例えば表示）する。
（Ｓ１０９）文対応関係を判定し、文対応グラフ（対応関係にある単文及び矢印）を生成して出力（例えば表示）する。
（Ｓ１１０）被覆率を算出し、出力（例えば表示）する。
以上詳細に説明したように、本発明では、基準テキスト（例えば模範解答テキスト）との間の類似度を、手法種別又は単語群設定について互いに異なる手法を用いて複数種算出して、点数推定に使用する。従って、１つの類似度算出手法に固執することによる点数値の偏りの発生を回避することができる。言い換えると、点数推定対象であるテキスト（例えば生徒解答）と、基準テキスト（例えば模範解答）との多面的な又は総合的な一致の度合いに基づいた点数推定を実現することができるのである。これにより、よりばらつきの小さい又はより精度の高い点数を推定することが可能となる。
また、点数推定の基準を基準テキスト（例えば模範解答）としているので、点数付与済みテキストの準備負担をより軽減した上で、点数推定処理を実施することができる。すなわち、記述式問題の答案のようなテキストにおける点数推定を、より少ない負担で実施することが可能となる。
従来、例えば学校において、教師は、生徒の学習状態を推定し把握するにあたり、通常、生徒の学習履歴を考慮してテストを行っている。この際、このテストの答案に対し、適切な採点を行って指導に生かすことが大事となる。しかしながら、特に、課題解決型の記述式問題がテストに含まれている場合、このような問題に対する文章による解答について、適切な採点を行うことは、負担の大きい大変な業務となっていた。
このような状況に対し、本発明によれば、記述式問題の答案について、より信頼性の高い又はより精度の高い推定点数を、教師に提示することができる。その結果、教師の負担を軽減し、より適切な採点業務の実施を支援することが可能となるのである。
なお、本発明による点数推定は、当然に、学校教育分野への応用に限定されるものではない。様々な分野における記述式の解答が求められる試験、例えば実習の認定試験や資格試験等、にも適用することができる。さらに、基準テキスト及び採点済みデータを適切に設定することができれば、論文や評論といった答案以外の作成テキストに対する採点評価にも適用可能である。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 採点支援システム（点数推定システム）
２ 採点支援装置（点数推定装置）
２０１ 通信インタフェース
２０２ 模範解答データベース
２０３ 生徒解答データベース
２０４ 形態素解析辞書部
２０５ コーパス保存部
２０６ 相関データ保存部
２０７ タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
２０８ キーボード（ＫＢ）
２１１ 類似度算出部
２１１−１ 第１類似度算出部
２１１−２ 第２類似度算出部
２１１−Ｎ 第Ｎ類似度算出部
２１２ 相関決定部２１２
２１３ 点数決定部
２１４ 被覆率算出部
２１５ 文対応関係判定部
２２１ 通信制御部２２１
２２２ 表示・入力制御部
３ ＰＣ（ユーザインタフェース装置）
４ データベース
２ 採点支援装置（点数推定装置）
２０１ 通信インタフェース
２０２ 模範解答データベース
２０３ 生徒解答データベース
２０４ 形態素解析辞書部
２０５ コーパス保存部
２０６ 相関データ保存部
２０７ タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
２０８ キーボード（ＫＢ）
２１１ 類似度算出部
２１１−１ 第１類似度算出部
２１１−２ 第２類似度算出部
２１１−Ｎ 第Ｎ類似度算出部
２１２ 相関決定部２１２
２１３ 点数決定部
２１４ 被覆率算出部
２１５ 文対応関係判定部
２２１ 通信制御部２２１
２２２ 表示・入力制御部
３ ＰＣ（ユーザインタフェース装置）
４ データベース
Claims (10)
- テキストの点数を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、前記複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
前記複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
してコンピュータを機能させることを特徴とする点数推定プログラム。 - 前記相関決定手段は、当該点数を、当該複数の類似度の関数として表す重回帰分析を行い、
前記点数決定手段は、当該点数推定対象のテキストについての複数の類似度を当該関数に代入して、当該点数推定対象のテキストの点数を算出する
ことを特徴とする請求項１に記載の点数推定プログラム。 - 前記複数の類似度算出手段は、テキスト間で共通する単語に基づいて類似度を決定する少なくとも１つの手段と、設定された単語群についてテキストをベクトル化して類似度を決定する少なくとも１つの手段との両方又は一方を含むことを特徴とする請求項１又は２に記載の点数推定プログラム。
- 当該複数のテキスト及び当該点数推定対象のテキストは課題に対して作成されたものであり、
前記相関決定手段は、当該課題毎に又は当該課題の属する課目若しくは科目毎に、当該関係を決定し、
前記点数決定手段は、当該点数推定対象のテキストに係る課題又は課目若しくは科目についての当該関係に基づいて、当該点数推定対象のテキストの点数を決定する
ことを特徴とする請求項１から３のいずれか１項に記載の点数推定プログラム。 - 前記相関決定手段は、当該点数推定対象のテキストの作成者によって作成された点数付与済みの複数のテキストについて当該関係を決定し、
前記点数決定手段は、当該作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する
ことを特徴とする請求項１から４のいずれか１項に記載の点数推定プログラム。 - 前記相関決定手段は、当該点数推定対象のテキストの作成者に限定されない作成者によって作成された点数付与済みの複数のテキストについても当該関係を決定し、
前記点数決定手段は、当該点数推定対象のテキストの作成者に限定されない作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係にも基づいて点数を算出し、算出された当該点数と、当該点数推定対象のテキストの作成者によって作成された当該点数付与済みの複数のテキストについて決定された当該関係に基づいて決定された点数とのうち、小さくない方の点数を、当該点数推定対象のテキストの点数に決定する
ことを特徴とする請求項５に記載の点数推定プログラム。 - 予め設定された複数のキーワードのうち、当該基準テキストに含まれるものの数と、当該基準テキストに含まれ且つ当該点数推定対象のテキストにも含まれるものの数とに基づいて、当該点数推定対象のテキストにおける当該基準テキストとの一致の度合いである被覆率を算出する被覆率算出手段としてコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載の点数推定プログラム。
- 予め設定された複数のキーワードのうち、当該基準テキストを構成する１つの文又は文部分と、当該点数推定対象のテキストを構成する１つの文又は文部分とに共通するものの数に基づいて、当該基準テキストを構成する当該１つの文又は文部分と、当該点数推定対象のテキストを構成する当該１つの文又は文部分とが対応関係にあるか否かを判定する文対応関係判定手段としてコンピュータを更に機能させることを特徴とする請求項１から７のいずれか１項に記載の点数推定プログラム。
- テキストの点数を推定する点数推定装置であって、
入力されたテキストと、予め設定された基準テキストとの類似度を算出する類似度算出手段であって、類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出手段と、
点数付与済みの複数のテキストについて、当該複数のテキストの各々に付与された点数と、前記複数の類似度算出手段によって算出された当該複数のテキストの各々についての複数の類似度との関係を決定する相関決定手段と、
前記複数の類似度算出手段によって算出された、点数推定対象のテキストについての複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定する点数決定手段と
を有することを特徴とする点数推定装置。 - テキストの点数を推定する装置に搭載されたコンピュータにおける点数推定方法であって、
類似度算出の手法の種別又は類似度算出に使用する単語群の設定について互いに異なる複数の類似度算出方法を用いて、予め設定された基準テキストと、点数付与済みの複数のテキストの各々との複数の類似度を算出するステップと、
当該点数付与済みの複数のテキストの各々に付与された点数と、当該複数のテキストの各々について算出された複数の類似度との関係を決定するステップと、
前記複数の類似度算出方法によって算出された、点数推定対象のテキストと当該基準テキストとの複数の類似度から、決定された当該関係に基づいて、当該点数推定対象のテキストの点数を決定するステップと
を有することを特徴とする点数推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016078379A JP6556090B2 (ja) | 2016-04-08 | 2016-04-08 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016078379A JP6556090B2 (ja) | 2016-04-08 | 2016-04-08 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017188039A true JP2017188039A (ja) | 2017-10-12 |
| JP6556090B2 JP6556090B2 (ja) | 2019-08-07 |
Family
ID=60044148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016078379A Active JP6556090B2 (ja) | 2016-04-08 | 2016-04-08 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6556090B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019152793A (ja) * | 2018-03-05 | 2019-09-12 | 富士ゼロックス株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP2019185754A (ja) * | 2018-04-06 | 2019-10-24 | 国立大学法人千葉大学 | 記述式試験採点プログラム及び記述式試験採点方法 |
| CN111221939A (zh) * | 2019-11-22 | 2020-06-02 | 华中师范大学 | 评分方法、装置和电子设备 |
| KR20210002027A (ko) * | 2019-06-27 | 2021-01-06 | 엄신조 | 자연어처리 기반의 자기소개서를 평가하기 위한 장치 및 이를 위한 방법 |
| CN112380830A (zh) * | 2020-06-18 | 2021-02-19 | 达而观信息科技（上海）有限公司 | 不同文档中相关句子的匹配方法、系统和计算机可读存储介质 |
| JP2021071723A (ja) * | 2019-10-31 | 2021-05-06 | エルジー シーエヌエス カンパニー リミテッド | 外国語学習装置、外国語学習サービス提供方法、およびコンピュータプログラム |
| KR102256182B1 (ko) * | 2020-07-15 | 2021-05-25 | 건국대학교 산학협력단 | 동영상 원격 강의용 자동 질의응답 챗봇 서비스 제공 방법 및 장치 |
| JP2021140426A (ja) * | 2020-03-04 | 2021-09-16 | 株式会社グロービス | レポート評価装置、レポート評価方法、及びプログラム |
| KR102353687B1 (ko) * | 2021-04-14 | 2022-01-21 | 주식회사 퍼넥티브 | 영어 학습 서비스를 제공하는 서버 및 그 동작 방법 |
| KR20220067130A (ko) * | 2020-11-17 | 2022-05-24 | 주식회사 한글과컴퓨터 | Bleu 스코어를 기초로 유사 문장에 대한 검색을 수행하는 전자 장치 및 그 동작 방법 |
| JP2023086037A (ja) * | 2021-12-09 | 2023-06-21 | 株式会社ナスピア | 文章解答問題自動採点システム及びその方法 |
| KR102604756B1 (ko) * | 2023-07-31 | 2023-11-24 | ㈜엠엔씨에이프로 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030200077A1 (en) * | 2002-04-19 | 2003-10-23 | Claudia Leacock | System for rating constructed responses based on concepts and a model answer |
| JP2005331615A (ja) * | 2004-05-18 | 2005-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 文章評価装置および文章評価方法 |
-
2016
- 2016-04-08 JP JP2016078379A patent/JP6556090B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030200077A1 (en) * | 2002-04-19 | 2003-10-23 | Claudia Leacock | System for rating constructed responses based on concepts and a model answer |
| JP2005331615A (ja) * | 2004-05-18 | 2005-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 文章評価装置および文章評価方法 |
Non-Patent Citations (1)
| Title |
|---|
| 秋葉 泰弘: "意味的等価性検証に基づく記述式解答文の採点法", 電子情報通信学会技術研究報告 ＶＯＬ．１０６ ＮＯ．１９０, JPN6019022089, 20 July 2006 (2006-07-20), JP, pages 31 - 35, ISSN: 0004054479 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7147185B2 (ja) | 2018-03-05 | 2022-10-05 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP2019152793A (ja) * | 2018-03-05 | 2019-09-12 | 富士ゼロックス株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| JP2019185754A (ja) * | 2018-04-06 | 2019-10-24 | 国立大学法人千葉大学 | 記述式試験採点プログラム及び記述式試験採点方法 |
| JP7268849B2 (ja) | 2018-04-06 | 2023-05-08 | 国立大学法人千葉大学 | 記述式試験採点プログラム及び記述式試験採点方法 |
| KR20210002027A (ko) * | 2019-06-27 | 2021-01-06 | 엄신조 | 자연어처리 기반의 자기소개서를 평가하기 위한 장치 및 이를 위한 방법 |
| KR102455472B1 (ko) * | 2019-06-27 | 2022-10-17 | 엄신조 | 자연어처리 기반의 자기소개서를 평가하기 위한 장치 및 이를 위한 방법 |
| JP2021071723A (ja) * | 2019-10-31 | 2021-05-06 | エルジー シーエヌエス カンパニー リミテッド | 外国語学習装置、外国語学習サービス提供方法、およびコンピュータプログラム |
| CN112819664A (zh) * | 2019-10-31 | 2021-05-18 | 乐金信世股份有限公司 | 用于学习外语的设备及使用其提供外语学习服务的方法 |
| JP7059492B2 (ja) | 2019-10-31 | 2022-04-26 | エルジー シーエヌエス カンパニー リミテッド | 外国語学習装置、外国語学習サービス提供方法、およびコンピュータプログラム |
| CN111221939B (zh) * | 2019-11-22 | 2023-09-08 | 华中师范大学 | 评分方法、装置和电子设备 |
| CN111221939A (zh) * | 2019-11-22 | 2020-06-02 | 华中师范大学 | 评分方法、装置和电子设备 |
| JP2021140426A (ja) * | 2020-03-04 | 2021-09-16 | 株式会社グロービス | レポート評価装置、レポート評価方法、及びプログラム |
| CN112380830A (zh) * | 2020-06-18 | 2021-02-19 | 达而观信息科技（上海）有限公司 | 不同文档中相关句子的匹配方法、系统和计算机可读存储介质 |
| CN112380830B (zh) * | 2020-06-18 | 2024-05-17 | 达观数据有限公司 | 不同文档中相关句子的匹配方法、系统和计算机可读存储介质 |
| KR102256182B1 (ko) * | 2020-07-15 | 2021-05-25 | 건국대학교 산학협력단 | 동영상 원격 강의용 자동 질의응답 챗봇 서비스 제공 방법 및 장치 |
| KR102523767B1 (ko) | 2020-11-17 | 2023-04-21 | 주식회사 한글과컴퓨터 | Bleu 스코어를 기초로 유사 문장에 대한 검색을 수행하는 전자 장치 및 그 동작 방법 |
| KR20220067130A (ko) * | 2020-11-17 | 2022-05-24 | 주식회사 한글과컴퓨터 | Bleu 스코어를 기초로 유사 문장에 대한 검색을 수행하는 전자 장치 및 그 동작 방법 |
| KR102353687B1 (ko) * | 2021-04-14 | 2022-01-21 | 주식회사 퍼넥티브 | 영어 학습 서비스를 제공하는 서버 및 그 동작 방법 |
| JP2023086037A (ja) * | 2021-12-09 | 2023-06-21 | 株式会社ナスピア | 文章解答問題自動採点システム及びその方法 |
| JP7387101B2 (ja) | 2021-12-09 | 2023-11-28 | 株式会社ナスピア | 文章解答問題自動採点システム及びその方法 |
| KR102604756B1 (ko) * | 2023-07-31 | 2023-11-24 | ㈜엠엔씨에이프로 | 논술채점 관리 서비스를 제공하는 서버, 시스템, 방법및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6556090B2 (ja) | 2019-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6556090B2 (ja) | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 | |
| McLean et al. | The creation and validation of a listening vocabulary levels test | |
| BR122017002793A2 (pt) | sistemas e métodos para aprendizagem de idioma | |
| Liu et al. | Automatic question generation for literature review writing support | |
| Cunningham et al. | Investigating the validity of two widely used quantitative text tools | |
| Butler et al. | Exploration of automatic speech recognition for deaf and hard of hearing students in higher education classes | |
| JP6626917B2 (ja) | 英語の音節計算法に基づいた可読性評価方法及びシステム | |
| Savitri | AN ANALYSIS OF STUDENTS’TRANSLATION QUALITY (ACCURACY, READABILITY AND ACCEPTABILITY) IN TRANSLATING AN INFORMATIVE TEXT ENTITLED YSEALI TO INDONESIAN | |
| Shi et al. | Enhancing the use of evidence in argumentative writing through collaborative processing of content-based automated writing evaluation feedback | |
| Suryani et al. | Abstract Translation in Scientific Writing by Non-English Major Student using Google Translate | |
| Chaury | The effects of strategy instruction on reading comprehension in English as a foreign language | |
| Guetl et al. | E-TESTER: A computer-based tool for auto-generated question and answer assessment | |
| Rüdian et al. | Automatic Feedback for Open Writing Tasks: Is this text appropriate for this lecture? | |
| Odilinye et al. | Aligning automatically generated questions to instructor goals and learner behaviour | |
| Khamkhien | Textual organisation and linguistic features in applied linguistics research articles: Moving from Introduction to Methods | |
| Panjaitan et al. | An Analysis of Grammatical Errors from Indonesian into English in Translating Descriptive Texts | |
| Sarasua | ERROR ANALYSIS ON STUDENTS'ESSAY COMPOSITION: REFERENCE FOR CORRECTIVE FEEDBACKING MECHANISM | |
| Saputra et al. | The Utilization of Free Online Machine Translation as a Language Learning Tool in Efl Classroom | |
| Pradeep et al. | Web app for quick evaluation of subjective answers using natural language processing | |
| Zalikha | Accuracy and acceptability of DeepL Translate in translating legal document | |
| Soisuwan et al. | An Investigation on the Use of Google Translate in Studying English Language: A case study in a university at Pathumthani Province | |
| Goto et al. | An automatic generation of multiple-choice cloze questions based on statistical learning | |
| INTURI et al. | Assessment of Descriptive Answers in Moodle-Based E-Learning Using Winnowing Algorithm | |
| Brimo et al. | Writing Errors of Children With Developmental Language Disorder | |
| Al-Mijrab | A product-based approach to translation training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190709 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6556090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |