JP2017167413A - 採点補助システム - Google Patents

Abstract

【課題】多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる採点補助システムを提供する。【解決手段】本発明は記述解答式の試験問題に対する、単語又は文節を含む記述式の解答の手動の採点を補助する採点補助システム１であって、未採点解答データを同一の解答内容ごとに分類して未採点解答パタン群１８を作成する未採点解答群形成手段２０と、未採点解答パタン群の比較のため、それぞれの未採点解答パタン群の解答内容を採点者に表示させる未採点解答群リスト形成手段であって、自然言語処理の技術に基づいて、基準となる基準解答内容２４に対する類似度の高い順に未採点解答パタン群を並べる未採点解答パタン群並べ機能２８を有する未採点解答群リスト形成手段２６と、未採点解答パタン群を操作部による範囲選択操作により選択する未採点解答パタン群範囲選択手段３０とを有する。【選択図】図３

Description

本発明は、採点補助システムに係り、特に記述式の問題に対する解答の採点を補助する採点補助システムに関する。

従来、記述解答式の試験において、採点者が採点を行うことが必要とされる記述式の試験の解答の採点支援装置が知られている（特許文献１、２参照）。特許文献１に記載の採点支援装置では、同じ問題に対する複数の生徒の解答が連続して採点され、同一の解答情報を有する生徒が一つの群にまとめられ、この群に対して採点評価情報が付加される。また類似した解答を有する他の生徒の答案の採点処理適用フラグをチェックすることにより、類似した解答を有する生徒の採点評価情報を類似した解答を有する他の生徒の採点評価情報に送ることができることが知られている。

また、特許文献２記載の採点支援装置では、記述式の試験問題の解答データに対し、類似する採点済解答データの内容、評価及びコメントが表示され、その表示された評価及びコメント（評価情報）を採点者が選択することにより、その評価情報を、採点中の解答データの採点情報として採用することができる。

特開２０００−２８４６７８号公報 特開２００７−２８６４０９号公報

ここで、記述式の試験では、採点の正確性及び公平性を担保するため、自動採点によらず、採点者が、全ての解答を採点する必要がある。そして、受験者数が数千人から数万人、数十万人、数百万人の大規模な試験においては、採点者の採点の負荷も大変大きなものとなるため、採点の負荷を軽減し多数の解答を正確且つ効率的に採点可能とする支援が必要となる。
しかしながら、数十万人から数百万人が受験するような大規模な試験には、以下に述べるように、上述のような従来の採点支援装置を使用することができないという問題があった。

特許文献１記載の採点支援装置では、それぞれの生徒又は生徒の群を選択した後に表示される解答情報表示欄の情報に基づいて、採点者が採点評価情報を付加するようになっている。従って、採点対象の生徒が数十程度の比較的少数の場合において、採点者が類似の解答内容の生徒が他にあることを認識できる場合には、類似の回答内容の生徒の採点評価情報を利用することができるが、生徒数（受験者数）が数千人から数十万人、数百万人になれば、類似の回答内容の生徒を探すことすら困難となり、多数の生徒の解答を効率的に採点することができないという問題が生じる。

また、特許文献２記載の採点支援装置では、採点中の解答データに対し、類似する採点済解答データの内容、評価及びコメントが表示されるので、採点中の解答データに付加すべき採点情報の参考とすることができるが、一つ一つ全ての解答データに対し、採点情報を付加することとなり、受験者数が数千人から数万人、数十万人、数百万人になれば、その人数分だけ採点を行うという手間が生じる。仮に、特許文献１のように、同じ解答データの群をまとめて採点できるようにしたとしても、その群を順番に一つ一つ採点していく点には変わりが無く、且つ解答内容も群ごとにばらばらであるため採点情報の検討及び付加に時間がかかるため、多数の生徒の答案を効率的に採点することはできない。

そこで、本発明は、大規模に行われる記述式の試験において、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる採点補助システムを提供することを目的としている。

上記の目的を達成するために、本発明は、記述式の試験問題に対する、単語又は文節を含む記述式の解答の手動の採点を補助する採点補助システムであって、未だ採点されていない未採点解答データ及び採点により採点情報の付加された採点済解答データを記憶する記憶装置と、採点を行うために少なくとも未採点解答データの解答内容を表示する表示部と、採点する操作を行うための操作部と、記憶装置に記憶された複数の未採点解答データを、同一の解答内容ごとに分類して、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群を作成する未採点解答群形成手段と、複数の未採点解答パタン群からなる採点用群リストを、それぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を採点者に示すように、表示部上に表示させる未採点解答群リスト形成手段であって、未採点解答群リスト形成手段は、自然言語処理の技術に基づいて、基準となる基準解答内容に対する、未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に前記採点用群リストの未採点解答パタン群を並べた採点用群リストを、表示部に表示させる未採点解答パタン群並べ機能を有する未採点解答群リスト形成手段と、表示部に表示されている採点用群リスト上の複数の未採点解答パタン群のうち、操作部による範囲選択操作により選択された未採点解答パタン群を、同一の採点情報を付加可能な状態に設定する未採点解答パタン群範囲選択手段と、選択された未採点解答パタン群に対し、操作部の採点情報設定操作により設定された採点情報を一括して付加して、選択された未採点解答パタン群を採点済解答パタン群に変更する採点済解答パタン群形成手段と、を有していることを特徴としている。
このように構成された本発明によれば、未採点解答群形成手段が記憶装置に記憶された複数の未採点解答データを、同一の解答内容ごとに分類することにより、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群を作成し、さらに、未採点解答群リスト形成手段が複数の未採点解答パタン群からなる採点用群リストを、それぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を採点者に示すように、表示部上に表示させる。
さらに、未採点解答群リスト形成手段が、自然言語処理の技術に基づいて、基準となる基準解答内容に対する、未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に採点用群リストの未採点解答パタン群を並べた採点用群リストを、表示部に表示させる機能を有する。
さらに、未採点解答パタン群範囲選択手段が表示部に表示されている採点用群リスト上の複数の未採点解答パタン群のうち、操作部による範囲選択操作により選択された未採点解答パタン群を、同一の採点情報を付加可能な状態に設定することができる。
さらに、採点済解答パタン群形成手段が選択された未採点解答パタン群に対し、操作部の採点情報設定操作により設定された採点情報を一括して付加して、選択された未採点解答パタン群を採点済解答パタン群に変更することができる。
従って、同一の解答内容を有する未採点解答データを各々有する未採点解答パタン群をそれぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を表示部上に表示させ、且つ基準解答内容に対する未採点解答パタン群の解答内容の類似度を判断し、同様の採点情報が付加される可能性の高い類似している複数の未採点解答パタン群を比較的近くの位置に並べた前記採点用群リストを表示させる。よって、採点用群リスト上において上述のように表示された複数の未採点解答パタン群のうち操作部による範囲選択操作により選択された未採点解答パタン群に採点情報を一括して付加することができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。

本発明において、好ましくは、さらに、操作部による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群を並べた採点用群リストを表示部に表示させる未採点解答パタン群検索リスト形成手段を有する。
このように構成された本発明によれば、未採点解答パタン群検索リスト形成手段が、操作部による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群を並べた採点用群リストを表示部に表示させることができる。従って、未採点解答パタン群をそれぞれの解答内容の全部の語句が見える状態で表示部に並べて表示させ、且つ同様の採点情報が付加される可能性の高い検索キーワードを含む及び/又は含まない等の複数の未採点解答パタン群に採点情報を一括して付加することができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。

本発明において、好ましくは、さらに、未採点解答群リスト形成手段の未採点解答パタン群並べ機能により類似度の高い順に未採点解答パタン群を並べた採点用群リスト上で採点を行う第１採点モードと、未採点解答パタン群検索リスト形成手段により未採点解答パタン群を並べた採点用群リスト上で採点を行う第２採点モードとを、切替えることができ、且つ、第１採点モード及び第２採点モードのいずれにおいても、同じ試験問題に対する未採点解答パタン群に対して、採点情報を付加することができるモード切替手段を有する。
このように構成された本発明によれば、モード切替手段は、第１採点モード及び第２採点モードのいずれにおいても、同じ試験問題に対する未採点解答パタン群に対して、採点情報を付加することができる。よって、例えば、特定の基準解答内容に類似している未採点解答パタン群が多く存在することにより第１採点モードにより効率的に採点ができる場合や、特定の未採点解答パタン群が多く存在することにより第２採点モードにより効率的に採点ができる場合等、いずれかの採点モードによればより効率的に採点ができる場合においては、同じ試験問題に対する未採点解答パタン群の全部のうち、未採点解答パタン群の解答内容に応じて、より採点がしやすいモードにおいて効率的に採点を行うことができる。

本発明において、好ましくは、さらに、採点用群リストにおいて、表示部に表示する未採点解答パタン群の数を所定の数に設定する表示制限手段を有する。
このように構成された本発明によれば、表示制限手段が、採点用群リストにおいて、表示部に表示する未採点解答パタン群の数を所定の数に制限することができるので、それぞれの未採点解答パタン群の解答内容の比較のためにそれぞれの未採点解答パタン群の解答内容を表示部上に表示させる処理負荷を低減しながら、効率的に採点を行うことができる。さらに、類似する解答内容を有する未採点解答パタン群が多く存在する場合等には、一度に表示部に表示する未採点解答パタン群の数を増大させることにより、同様の採点情報が付加される可能性の高い未採点解答パタン群を多く表示させることができるため、一括して採点情報を付加する未採点解答パタン群の数を増大させることができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、大量の解答を効率的に採点することを可能にする。

本発明において、好ましくは、さらに、採点用群リストにおいて、基準解答内容に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示する色付表示手段を有する。
このように構成された本発明によれば、色付表示手段が、採点用群リストにおいて、基準解答内容に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示することができる。採点用群リストにおいて、基準解答内容に含まれる語句と対応しない語句及び/又はその語句の背景を色付けして表示させることにより、採点者が基準解答内容の語句との一致及び相違を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。

本発明において、好ましくは、さらに、ある採点用群リストが作成された状態から、所定の指標に基づいて、採点用群リストの内容を調整する採点用群リスト調整手段を有する。
このように構成された本発明によれば、採点用群リスト調整手段は、ある採点用群リストが作成された状態から、所定の指標に基づいて、採点用群リストの内容を調整する。従って、未採点解答パタン群を並べて表示させたある採点用群リストを、所定の指標に基づいて調整した内容の新たな採点用群リストに調整することができ、新たな採点用群リストにおいて、同様の採点情報が付加される可能性の高い複数の未採点解答パタン群を順に並べるように調整し、且つ一括して選択して採点することができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。

本発明において、好ましくは、記憶装置は、同じ試験問題に対する未採点解答パタン群に対して独立して別に採点を行う他の採点者が、同じ各々の未採点解答パタン群に対して採点した別採点者採点済解答パタン群に付加されている別採点者採点情報を記憶し、採点補助システムは、さらに、未採点解答パタン群に対して採点した採点済解答パタン群に付加されている採点情報と、別採点者採点情報と、を比較し、両者の採点情報が一致した採点済解答パタン群を、評価確定済解答パタン群として決定する、評価確定手段を有する。
このように構成された本発明によれば、評価確定手段が未採点解答パタン群に対して採点した採点済解答パタン群に付加されている採点情報と、別採点者採点情報と、を比較し、両者の採点情報が一致した採点済解答パタン群を、評価が確定され且つ解答内容に対して信頼性の高い採点情報が付されている評価確定済解答パタン群として決定することができる。従って、評価確定済解答パタン群は、信頼性の高い採点情報が付されている状態となる。また、例えば、信頼性の高い採点情報が付されている評価確定済解答パタン群の採点済解答パタン群を、採点情報予測手段によって利用することも可能となり、大量の解答を正確に採点することが可能となる。

本発明において、好ましくは、さらに、採点済解答パタン群の解答内容と、採点用群リスト上の未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、採点用群リスト上の未採点解答パタン群に対して表示させる採点情報予測手段を備える。
このように構成された本発明によれば、採点情報予測手段が採点済解答パタン群の解答内容と、採点用群リスト上の未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、採点用群リスト上の未採点解答パタン群に対して表示させる。未採点解答パタン群に対し、同様の採点情報が付加される可能性の高い類似している採点済解答パタン群から予測される採点情報の予測結果を採点用群リスト上の未採点解答パタン群に対して表示させることができるので、採点者が未採点解答パタン群に対して予測される採点情報の予測結果を参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。
また、採点済解答パタン群を、評価確定済解答パタン群として決定している場合には、信頼性の高い採点情報が付されている評価確定済解答パタン群の採点済解答パタン群と、同様の採点情報が付加される可能性の高い類似している未採点解答パタン群に対して予測される採点情報の予測結果を採点用群リストに表示させることができるので、採点者が未採点解答パタン群に対して予測される採点情報の予測結果をより参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。

本発明において、好ましくは、採点情報予測手段は、予測される採点情報の予測結果を、採点情報の分類に応じて色分けして表示部に表示させる採点情報予測色分け手段を備える。
このように構成された本発明によれば、採点情報予測色分け手段が、予測される採点情報の予測結果を、採点情報の分類に応じて色分けして表示部に表示させることができる。従って、採点者が付加すべき採点情報の予測結果の分類を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。

本発明において、好ましくは、採点情報予測手段は、所定の語句と、採点用群リスト上の未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、採点用群リスト上の未採点解答パタン群に対して表示させる早期採点情報予測手段を備える。
このように構成された本発明によれば、早期採点情報予測手段は、採点の早期の段階から、所定の語句と、採点用群リスト上の未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、前記採点用群リスト上の未採点解答パタン群に対して表示させることができるので、採点者が採点の早期の段階から未採点解答パタン群に対して予測される採点情報を参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。

本発明の採点補助システムによれば、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。

本発明の一実施形態による採点補助システムの構成を示すブロック図である。 本発明の一実施形態による採点補助システムにおいて採点情報を付加する際の処理動作を説明するフローチャートである。 本発明の一実施形態による採点補助システムの第１採点モードの採点画面の例を示す図である。 本発明の一実施形態による採点補助システムの第２採点モードの採点画面の例を示す図である。 本発明の一実施形態による採点補助システムの修正モードの画面の例を示す図である。

まず、図１を用いて、本発明の一実施形態による採点補助システムを説明する。図１は、本発明の一実施形態による採点補助システムの構成を示すブロック図である。

採点補助システム１は、記述式の試験問題に対する、単語又は文節を含む記述式の解答について、採点者による手動の採点を補助する手動採点補助システムである。試験の受験者は語句等により自由な記載として記述式の解答を作成する。本実施形態の採点補助システム１は、採点者が全答案の採点を行うことにより正確に採点することを補助する。本実施形態の採点補助システム１は、小規模から大規模までの記述式の試験に適用可能であり、例えば数十人〜数百万人の受験者数、例えば百人〜百万人の受験者数、一万人〜百万人の受験者数等の多数の受験者が同時に受験するような記述式の試験に適用可能である。例えば、多数の受験者の範囲は、数百人〜数百万人の受験者、より好ましくは数千人〜数百万人の受験者、さらに好ましくは数万人〜数百万人の受験者とされる。なお、大規模に行われる試験には、各試験会場において小規模及び/又は中規模の受験者数の試験が行われ、全体として多数の受験者が受験するタイプの大規模試験が含まれる。また、大規模に行われる試験には、小規模及び/又は中規模の受験者数の試験が、同日又は別日に複数回にわたって実施され、全体として多数の受験者が受験する分割実施タイプの大規模試験も含まれる。

採点補助システム１は、ネットワーク６上に設けられるサーバー側コンピュータ２と、サーバー側コンピュータ２とネットワーク６を介して相互に接続されている１つ又は複数のクライアント側コンピュータ４とを備えている。本実施形態においては、サーバー側コンピュータ２と、クライアント側コンピュータ４とはネットワーク６を介して接続されているが、他の実施形態においてはサーバー側コンピュータ２と、クライアント側コンピュータ４とが一つのコンピュータによって統合されて採点補助システムを構成していてもよい。

サーバー側コンピュータ２は、本実施形態においてはサーバーであるが、サーバーの機能を有するパーソナルコンピュータ、タブレット端末等であってもよい。
サーバー側コンピュータ２は、各種の処理動作を実施及び制御するＣＰＵ（図示せず）と、半導体メモリ等のメモリ（図示せず）と、モニター等の表示部（図示せず）と、キーボード、マウス等の各処理のために必要な入力操作を行う操作部（図示せず）と、記憶装置８と、を有している。

図１及び図２に示すように、記憶装置８は、解答データを記憶している。解答データには、未だ採点情報が付加されていない未採点解答データ１４及び採点情報４８の付加された採点済解答データ１６が含まれる。
記憶装置８はハードディスク等の記憶装置である。なお、採点情報４８とは、受験者の解答内容が正解（正答）であるか、不正解（誤答）であるか、部分的に正解しているかを採点者が判断し、これらの解答に対して決定される採点結果の情報である。より具体的には、採点情報４８は、「○」、「×」、「△」等の段階評価の他、０点〜１０点等の点数等の数値評価により与えられる。採点情報４８を付加するとは、未採点解答パタン群１８に対しこれらの評価を行い、評価情報を未採点解答パタン群１８に紐づけることをいう。

サーバー側コンピュータ２は、記憶装置８に記憶された複数の未採点解答データ１４を、同一の解答内容ごとに分類して、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群１８を作成する未採点解答群形成部（未採点解答群形成手段）２０を有している。

また、サーバー側コンピュータ２は、仮評価確定部（仮評価確定手段）７５と、評価確定部（評価確定手段）７６と、採点情報予測部（採点情報予測手段）７８と、を備える。
仮評価確定部（仮評価確定手段）７５は、ある採点者が採点済解答パタン群３１に付加した採点情報４８と、別の採点者が同じ未採点解答パタン群１８の採点を行って作成した別採点者採点済解答パタン群７２に付加した別採点者採点情報７４とを比較する処理を省略し、ある採点者が採点済解答パタン群３１に付加した採点情報４８を、仮の評価として決定し、仮評価の採点情報４８が付されている仮評価確定済解答パタン群７１として決定する。

評価確定部（評価確定手段）７６は、未採点解答パタン群１８に対して採点した採点済解答パタン群３１に付加されている採点情報４８と、別採点者採点情報７４と、を比較し、両者の採点情報が一致した採点済解答パタン群３１を、評価確定済解答パタン群７０として決定する。

採点情報予測部（採点情報予測手段）７８は、仮評価確定済解答パタン群７１又は評価確定済解答パタン群７０の採点済解答パタン群３１と、未採点解答パタン群１８との類似度を判断することによる付加すべき採点情報４８の予測結果８０を、採点用群リスト２２及び/又は検索モード採点用群リスト５２に表示させる。

さらに、採点情報予測部７８は、付加すべき採点情報の予測結果８０を、採点情報４８の正誤等の分類に応じて色分けして採点用群リスト２２に表示させる採点情報予測色分け部（採点情報予測色分け手段）８２と、採点開始前又は採点開始初期に、予め決定された解答語句（例えば、複数の模範解答又は代表的不正解解答）を、採点済解答パタン群３１として設定することができ且つ、採点解答パタン群１８との類似度を判断することにより予測される採点情報４８の予測結果を、採点用群リスト２２に表示させる早期採点情報予測部（早期採点情報予測手段）８４とを備える。

クライアント側コンピュータ４は、本実施形態においてはパーソナルコンピュータであるが、タブレット端末、携帯端末等であってもよい。クライアント側コンピュータ４は、各種の処理動作を実施及び制御するＣＰＵ（図示せず）と、半導体メモリ等のメモリ（図示せず）と、ハードディスク等のクライアント側記憶装置（図示せず）と、モニター、タブレット画面等の採点者が採点を行うための解答内容を表示する表示部１０と、キーボード、マウス、タッチペン、タッチパネル等の採点者が採点する操作を行うための操作部１２と、を有している。

表示部１０は、クライアント側コンピュータ４の処理内容、及び、ネットワーク６を介して受け取ったサーバー側コンピュータ２の処理内容を表示することができる。表示部１０は、後述する図３乃至図５に示すような画面により、採点者に採点を行うために少なくとも未採点解答データの解答内容を表示する。

表示部１０に表示された内容に対する操作部１２からの入力信号及び/又はＣＰＵ等の制御信号に基づいて、クライアント側コンピュータ４及び/又はサーバー側コンピュータ２において採点に必要な所定のプログラムが実行され採点処理が行われる。

クライアント側コンピュータ４は、未採点解答群リスト形成部（未採点解答群リスト形成手段）２６と、未採点解答パタン群並べ機能部（未採点解答パタン群並べ機能）２８と、未採点解答パタン群範囲選択部（未採点解答パタン群範囲選択手段）３０と、採点済解答パタン群形成部（採点済解答パタン群形成手段）３２と、を有している。

未採点解答群リスト形成部（未採点解答群リスト形成手段）２６は、複数の未採点解答パタン群１８からなる採点用群リスト２２を、それぞれの未採点解答パタン群１８の解答内容の比較のために、それぞれの未採点解答パタン群１８の解答内容を採点者に示すように、それぞれの解答内容の全部の語句が見える状態で、表示部上に並べて表示する。

未採点解答群リスト形成部２６は、未採点解答パタン群並べ機能部２８を有している。
未採点解答パタン群並べ機能部２８は、採点用群リスト２２において、基準として設定される及び/又は選択される基準解答内容２４に対して、自然言語処理の技術に基づいて、未採点解答パタン群の解答内容の類似度を判断し、類似度が高い順に、採点用群リスト２２の未採点解答パタン群１８を並べた採点用群リスト２２を、表示部１０に表示させる。
また、未採点解答パタン群範囲選択部（未採点解答パタン群範囲選択手段）３０は、それぞれの未採点解答パタン群がこれらの解答内容の全部の語句が見える状態で配置され、且つそれぞれの未採点解答パタン群の採点をまとめて行うことができるようになっている採点用群リスト上で並べられた複数の未採点解答パタン群を、範囲選択操作によりまとめて選択した状態とし、この選択された状態の未採点解答パタン群を、同一の採点情報を付加可能な状態に設定することができる。
採点済解答パタン群形成部（採点済解答パタン群形成手段）３２は、選択された未採点解答パタン群に対し、操作部の採点情報設定操作により設定された採点情報を一括して付加して、選択された未採点解答パタン群を採点済解答パタン群３１に変更する。このとき及び/又は以後の任意のタイミングにおいて、採点情報の付加された採点済解答パタン群３１に対応する未採点解答データの各々を、同じ前記採点情報が付加した採点済解答データ１６に変更する。

クライアント側コンピュータ４は、さらに、未採点解答パタン群検索リスト形成部（未採点解答パタン群検索リスト形成手段）３４と、表示数制限部（表示制限手段）３６と、色付表示部（色付表示手段）３７と、採点用群リスト調整部（採点用群リスト調整手段）３８と、モード切替部（モード切替手段）５４と、を有している。

未採点解答パタン群検索リスト形成部（未採点解答パタン群検索リスト形成手段）３４は、操作部１２のキーボード等による検索キーワード設定操作により設定された所定の検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群１８を並べた検索モード採点用群リスト（採点用群リスト）５２を表示部１０に表示させる。検索キーワード設定操作は、例えば、採点者が、操作部１２のキーボード等により、検索キーワードを打ち込む、及び/又は操作部１２のマウス等により、検索キーワードを選択する、コピーする等して検索キーワード欄５０にキーワードを入力することを含む。
所定の検索条件は、例えば、検索キーワードを含む(AND検索)、検索キーワードを含まない(NOT検索)、いずれかの検索キーワードを含む(OR検索)等、自由に選択することができる。未採点解答パタン群検索リスト形成部３４において、複数の検索キーワードを、一般的に知られている検索式等の方法により設定し、検索することもできる。

表示数制限部（表示制限手段）３６は、採点用群リスト２２において、一度に表示部１０に表示する未採点解答パタン群１８の数を所定の数に制限する。
色付表示部（色付表示手段）３７は、採点用群リスト２２において、基準解答内容２４に含まれる語句と対応しない語句及び/又はその語句の背景を、周りの背景とは異なる色（例えば黄色などの蛍光色）に色付けして表示する。

採点用群リスト調整部（採点用群リスト調整手段）３８は、ある採点用群リスト２２が作成された状態から、所定の指標に基づいて、未採点解答パタン群１８を並べ替える及び/又は採点用群リスト２２の内容を再調整又は変更する。
モード切替部（モード切替手段）５４は、付加された採点情報４８の確認や修正をおこなうことができる採点済解答パタン群検索リスト形成部５８と、未採点解答群リスト形成部２６の未採点解答パタン群並べ機能部２８により類似度の高い順に未採点解答パタン群１８を並べた採点用群リスト２２上で採点を行う第１採点モード４２と、未採点解答パタン群検索リスト形成部３４により検索キーワードに対して検索された未採点解答パタン群１８を並べた採点用群リスト２２上で採点を行う第２採点モード４４とを、切替える。

本実施形態においては、サーバー側コンピュータ２は、未採点解答群形成部２０、仮評価確定部７５、評価確定部７６、採点情報予測部７８、採点情報予測色分け部８２等を有し、クライアント側コンピュータ４は、未採点解答群リスト形成部２６と、未採点解答パタン群並べ部２８と、未採点解答パタン群範囲選択部３０と、採点済解答パタン群形成部３２と、未採点解答パタン群検索リスト形成部３４と、表示数制限部３６と、色付表示部３７と、採点用群リスト調整部３８等を有しているが、各機能部は、サーバー側コンピュータ２又はクライアント側コンピュータ４のいずれに配置されていてもよい。例えば、サーバー側コンピュータ２が全ての機能部を有していてもよく、又はクライアント側コンピュータ４が全ての機能部を有していてもよい。また、サーバー側コンピュータ２及びクライアント側コンピュータ４の両方が同じ機能部をともに有していてもよい。

未採点解答パタン群検索リスト形成部３４は、採点者が決定する所定の検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群１８を検索し、且つこの未採点解答パタン群１８を並べて表示した検索モード採点用群リスト５２を作成する。例えば、図４においては、特定の検索キーワードを含む未採点解答パタン群１８を並べて表示した検索モード採点用群リスト５２が作成されている。
未採点解答パタン群検索リスト形成部３４は、所定の検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群１８とこの未採点解答パタン群１８と類似する未採点解答パタン群１８の少なくとも一部の未採点解答パタン群１８との両方の未採点解答パタン群１８、を並べて表示した採点用群リスト２２を作成してもよい。

つぎに、図１〜図５を参照して、本発明の一実施形態による採点補助システムの動作（作用）について説明する。
図３は本発明の一実施形態による採点補助システムの第１採点モードの採点画面の例を示す図であり、図４は本発明の一実施形態による採点補助システムの第２採点モードの採点画面の例を示す図であり、図５は本発明の一実施形態による採点補助システムの修正モードの画面の例を示す図である。

まず、図２に示すような、複数の記述解答データ（未採点解答データ１４）は、同じ試験問題に対し、複数の受験生が解答した複数の記述解答データである。採点の対象となる記述解答データは、電子的な情報、すなわちテキストデータである。記述解答データは、受験生の紙面上での解答を基に受験生と異なる第三者が各受験生の解答と同一内容の解答の文字や数字等をキーボード等によって入力したものである。記述解答データは、受験生の紙面上での解答を基にＯＣＲ（光学的文字読取装置）等を使用して、テキストデータとして作成されていてもよい。なお、ＯＣＲによって作成されたテキストデータが、受験者による手書きの解答の内容と完全に一致しない場合であっても、本採点システム上で採点することができるようになっている。例えば、第１採点モード４２及び第２採点モード４４上に後述する原答案画像表示ボタンを設けることにより、必要に応じて受験者の作成した答案の原本の画像を確認でき、正確に採点を行うことができる。また、記述解答データは、受験生が試験場で試験を受ける際に、自身でキーボード等によってパソコン上で入力したテキストデータ又はそのコピーの同一内容のテキストデータ等であってもよい。すなわち、記述解答データは、記述式の問題に対する各受験生の解答内容を示すデータとなっている。

ステップＳ０においては、複数の記述解答データ（未採点解答データ１４）が、準備される。複数の記述解答データ（未採点解答データ１４）は、サーバー側コンピュータ２の記憶装置８上に記憶される。記述解答データは、未だ採点情報の付加されていない未採点解答データの状態となっている。各記述解答データ、すなわち未採点解答データ１４には、各受験生の受験番号等の固有識別情報が付されている。
ステップＳ１に示すように、複数の記述解答データは、サーバー側コンピュータ２上において、完全に同一の解答内容を有する未採点解答データごとの未採点解答パタン群１８に分類される。なお、各記述解答データは、同じ未採点解答パタン群１８に分類される場合においても、個々の受験生の異なる記述解答データとして個別に管理される。別の観点によれば、未採点解答データ１４は、それぞれ未採点解答パタン群１８に紐つけられている。未採点解答パタン群１８も、未採点解答パタン群１８に属する未採点解答データ１４の解答内容と同一の解答内容を有する個別の中間的なデータとして個別に管理される。

ステップＳ１においては、複数の記述解答データを、サーバー側コンピュータ２上において、完全に同一の解答内容ごとに分類するに際し、記述解答データに含まれる句読点やスペース等を除外して分類を行うことにより、分類の処理負荷を低減することができる。
また、記述解答データに入力する値がない場合、すなわち、受験生が解答を行わずに解答欄が空欄とされた場合には、解答内容が無く、且つ記述解答データが存在しないこととなる。この場合には、記述解答データ無しとして、以後の処理を行わずに、所定の採点情報４８（例えば、不正解（誤答）、０点、「×」等の採点情報４８）を未採点解答データ１４に付加することにより、未採点解答データ１４を採点済解答データ１６に変更し、以後の採点処理を省略することで、以後のコンピュータの処理負荷及び採点者の採点処理の処理負荷を低減することができる。

図２に示すように、ステップＳ２に示すように、完全に同一の解答内容ごとの未採点解答データ１４を集めることにより、同じ解答内容（解答パタン）を有する解答の解答群として、未採点解答パタン群１８を作成する。このようにして、全ての記述解答データ（未採点解答データ１４）が、いずれかの未採点解答パタン群１８に属するように分類される。なお、１つの記述解答データのみによって、未採点解答パタン群１８が構成される場合も含む。

図２に示すように、ステップＳ３においては、第１採点モード４２を実行する。第１採点モード４２においては、クライアント側コンピュータ４上において、図３に示すように未採点解答パタン群１８を、それぞれの解答内容に含まれる全部の語句が一目で確認できる（視認できる）状態で、並べて表示部１０上に表示した採点用群リスト２２が作成される。なお、用語「語句」は、文字、単語、文節の他、数字、アルファベット、記号等も含む意味で用いている。従って、採点者は、表示部１０上に表示される第１採点モード４２の採点用群リスト２２を見ながら、画面を他の画面に切替えることなく、未採点解答パタン群１８同士の違いを比較し、同一画面上で語句の正誤を判断して採点を行うことができる。

図３に示すように、ステップＳ３の第１採点モード４２においては、未採点解答パタン群１８のうち、その時において最も小さい受験番号に対応する未採点解答データ１４を含む未採点解答パタン群１８が、採点用群リスト２２作成のための基準として設定される基準解答内容２４として自動的に選択される。採点用群リスト２２は、この基準解答内容２４に対して、未採点解答パタン群１８を並べることにより作成される。なお、採点者は、基準解答内容２４のみを採点することもでき、及び基準解答内容２４に類似する未採点解答パタン群１８のみを採点することもでき、及び基準解答内容２４及びこれに類似する未採点解答パタン群１８を同時に採点することもできる。
ステップＳ３においては、未採点解答パタン群１８は、基準解答内容２４に対して、自然言語処理に基づいて類似度が高いと判断された順に、採点用群リスト２２上において上から順に並べられる。より具体的には、採点用群リスト２２において、基準解答内容２４として選択されている未採点解答パタン群１８、及び基準解答内容２４と類似している内容の未採点解答パタン群１８が並べられている。基準解答内容２４と未採点解答パタン群１８の解答内容との類似度の計算は、ステップＳ３−１に示すように、第１採点モード４２において、適宜行われる。
採点用群リスト２２において、複数の未採点解答パタン群１８は、それぞれの解答内容に含まれる全部の語句が見える状態で、並べて配置されるので、採点者が、画面を切替えることなく同一画面上においてそれぞれの解答内容の違いを比較できるようになっている。

なお、模範解答を特別な受験番号を付した未採点解答データ１４として設定し、採点開始初期に、模範解答の内容を有する未採点解答パタン群１８を採点させることができる。例えば、記述式の問題に対して模範解答が１０通り考えられる場合において、最初に１０通りの模範解答を所定の受験番号を付した未採点解答データ１４として設定する。例えば、受験者全員の受験番号よりも小さい（若い）数で構成される特別な所定の受験番号を１０個設定し、１０通りの模範解答の未採点解答データ１４に１０個の所定の受験番号を割り振ることにより、特別な所定の受験番号に該当する未採点解答データ１４を含む未採点解答パタン群１８（この未採点解答パタン群１８には、仮に設定された模範解答の未採点解答データ１４と、他の受験者の模範解答と一致する未採点解答データ１４とが含まれることになる）が、採点開始初期に、基準解答内容２４に選択され、採点用群リスト２２が表示され、且つこの基準解答内容２４及び基準解答内容２４と類似している内容の未採点解答パタン群１８が採点されるようにすることができる。
本実施形態においては、模範解答を特別な受験番号を付した未採点解答データ１４として設定しているが、模範解答の他に、想定される代表的な不正解の内容の代表的不正解解答（以下、「代表的不正解解答」と称する）を特別な受験番号を付した未採点解答データ１４として設定することも可能である。また、所定の語句からなる解答を特別な受験番号を付した未採点解答データ１４として設定することも可能である。

このとき、模範解答に対応する未採点解答パタン群１８には、採点者が迷うことなく、正解の採点情報４８が付加されることとなる。このように、模範解答に対応する未採点解答パタン群１８を、採点開始初期に採点できるようにすることにより、模範解答に対応する未採点解答パタン群１８及び、模範解答に類似する度合いの高い未採点解答パタン群１８を採点用群リスト２２上に並べることができる。よって、同様の採点情報が付加されると予測される未採点解答パタン群１８を連続して並べて表示させることができるので、連続した領域の範囲指定操作により、模範解答に類似する複数の未採点解答パタン群１８を一括して選択して採点しやすくなり、大量の解答の採点を行うことができ、効率的に採点をすることができる。
また、採点開始初期に、模範解答の内容を有する未採点解答パタン群１８及び、模範解答の内容と類似している内容の未採点解答パタン群１８が採点され、後述するような仮評価確定済解答パタン群７１又は評価確定済解答パタン群７０が決定されれば、採点情報予測部７８が、模範解答の内容を有する評価確定済解答パタン群７０等と、未採点解答パタン群１８との類似度を判断することによる付加すべき採点情報４８の予測結果８０を、採点初期の比較的早い段階から、採点用群リスト２２に表示させることができる。よって、付加すべき採点情報４８の予測をより効率的に行うことが出来る。

また、代表的不正解解答を特別な受験番号を付した未採点解答データ１４として設定していた場合には、代表的不正解解答に対応する未採点解答パタン群１８には、採点者が迷うことなく、不正解の採点情報４８が付加されることとなる。このように、代表的不正解解答に対応する未採点解答パタン群１８を、採点開始初期に採点できるようにすることにより、代表的不正解解答に対応する未採点解答パタン群１８及び、代表的不正解解答に類似する度合いの高い未採点解答パタン群１８を採点用群リスト２２上に並べることができる。よって、同様の採点情報が付加されると予測される未採点解答パタン群１８を連続して並べて表示させることができるので、連続した領域の範囲指定操作により、代表的不正解解答に類似する複数の未採点解答パタン群１８を一括して選択して採点しやすくなり、大量の解答の採点を行うことができ、効率的に採点をすることができる。
また、採点開始初期に、代表的不正解解答の内容を有する未採点解答パタン群１８及び、代表的不正解解答の内容と類似している内容の未採点解答パタン群１８が採点され、後述するような仮評価確定済解答パタン群７１又は評価確定済解答パタン群７０が決定されれば、採点情報予測部７８が、代表的不正解解答の内容を有する評価確定済解答パタン群７０等と、未採点解答パタン群１８との類似度を判断することによる付加すべき採点情報４８の予測結果８０を、採点初期の比較的早い段階から、採点用群リスト２２に表示させることができる。よって、付加すべき採点情報４８の予測をより効率的に行うことが出来る。

図３に示すように、基準解答内容２４には、基準解答内容設定操作として最も小さい受験番号に対応する未採点解答パタン群１８から順に自動的に選択されて表示されるが、模範解答、代表的不正解解答、任意の未採点解答パタン群１８及び/又は任意の語句を基準解答内容設定操作として手動で選択及び/又は入力して基準解答内容２４に設定及び表示させることも可能である。
基準解答内容２４に未採点解答パタン群１８が新たに選択された場合には、未採点解答パタン群１８の解答内容に対し、自然言語処理の技術及び統計的データ分析手法に基づいて類似度が高いと判断された順に、採点用群リスト２２上において、未採点解答パタン群１８が改めて並べられる。すなわち、新たな採点用群リスト２２が表示される。

図３に示すように、具体的には、採点用群リスト２２において、一番上の１番目の類似解答表示欄１８ａに、基準解答内容２４と最も類似度の高い内容の解答を有する未採点解答パタン群１８が配置される。上から２番目の類似解答表示欄１８ｂに、基準解答内容２４と２番目に類似度の高い内容の解答の未採点解答パタン群１８が配置される。同様に、上から３番目の類似解答表示欄１８ｃに、基準解答内容２４と３番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から４番目の類似解答表示欄１８ｄに、基準解答内容２４と４番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から５番目の類似解答表示欄１８ｅに、基準解答内容２４と５番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から６番目の類似解答表示欄１８ｆに、基準解答内容２４と６番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から７番目の類似解答表示欄１８ｇに、基準解答内容２４と７番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から８番目の類似解答表示欄１８ｈに、基準解答内容２４と８番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から９番目の類似解答表示欄１８ｉに、基準解答内容２４と９番目に類似度の高い内容の解答の未採点解答パタン群１８が配置され、同様に、上から１０番目の類似解答表示欄１８ｊに、基準解答内容２４と１０番目に類似度の高い内容の解答の未採点解答パタン群１８が配置される。

このように、採点用群リスト２２において、上の欄から順に基準解答内容２４に対してより類似度の高い解答内容の未採点解答パタン群１８が配置される。このような類似度の高い解答内容の未採点解答パタン群１８については、基準解答内容２４と同様の採点情報４８が付加される可能性が高い。連続して同様の採点情報４８が付加される可能性が高い未採点解答パタン群１８が並んで配置されることとなるので、多くの未採点解答パタン群１８を範囲指定することによりまとめて採点情報４８を付加しやすくし、大量の記述式の解答を高速且つ正確に採点することが可能となる。例えば、類似度の高い解答内容の未採点解答パタン群１８が順に並んでいる場合には、マウス等の範囲指定による１回の範囲領域指定操作で多数の未採点解答パタン群１８を選択した状態とし、同じ採点情報４８を付加することができ、範囲指定操作を簡単にし、採点作業を効率化することができる。また、複数回の範囲指定操作によったとしてもまとめて採点情報４８を付加しやすくなっている。また、例えば、３番目の類似解答表示欄１８ｃ、４番目の類似解答表示欄１８ｄ、５番目の類似解答表示欄１８ｅ等の隣接する又は比較的近い位置の類似解答表示欄においては、比較的類似する解答内容を有する未採点解答パタン群１８が配置される可能性が高くなる。よって、隣接する又は比較的近い位置の類似解答表示欄の未採点解答パタン群１８を範囲指定操作によりまとめて同じ採点情報４８を付加しやすくすることができる。

ステップＳ３−１に示すような基準解答内容２４と未採点解答パタン群１８の解答内容との類似度の計算、及び必要に応じてある解答内容と他の解答内容との類似度の計算を行う場合の類似度の計算においては、自然言語処理の技術、又は自然言語処理の技術及び統計的データ分析手法に基づいて、例えば、次のような（i）〜（iii）の計算方法を用いている。
（i）２つの文字列間(例えば、基準解答内容２４と未採点解答パタン群１８の解答内容)の編集距離を用いる方法
（ii）文字列をベクトル化（すなわち、単語の出現頻度を情報として取得すること）して、ベクトル間の距離を用いる方法
（iii）文字列を確率分布として表現し，２つの確率分布間の類似度を用いる方法
ここで、編集距離とは，１つの文字列を別の文字列に変形するのに必要な手順の最小回数のことを指す。

自然言語処理の技術とは、上述のような「語句」、例えば、単語、文節、文章などについて、それらの内容情報を計算機上で表現可能なように何らかの数値データに変換する技術を指している。自然言語処理の技術の代表的な技術としては、例えば、n-gram（エヌ−グラム）や形態素解析がある。
統計的データ分析手法とは、自然言語処理の技術によって得られた語句についての数値データに対して、特徴を記述するためにおこなう統計理論に基づいた分析手法を指している。例えば、二つの文章の類似度を測るとき、自然言語処理の技術によって二つの文章のそれぞれの単語ベクトルを作成し、その上でその二つの単語ベクトルから統計的データ分析手法によって相関係数を計算する。
ここで、用語「自然言語処理の技術」は、上述のように自然言語処理の技術のみを用いる場合のみならず、上位概念の用語として、自然言語処理の技術及び統計的データ分析手法を用いる場合も含まれていてもよい。

このように文字列をベクトル化する手法や確率分布として表現するための方法は、自然言語処理の技術及び/又は統計的データ分析手法を用いる。（i）〜（iii）の計算方法は、文字列のみならず、本発明において用いられている「語句」に対して適用される。また、上述の（i）〜（iii）の計算方法のみならず、ある解答内容と他の解答内容との類似度の計算を行うことができる他の計算方法を用いてもよい。

それぞれの類似度を判定する計算方法のアルゴリズムは、例えば、次の（イ）〜（ハ）のアルゴリズムを用いている。
（イ） Levenshtein 距離 （編集距離）
（ロ） コサイン距離（ベクトル間距離）
（ハ） Kullback-Leibler divergence （確率分布間類似度）
本実施形態においては、これらの（イ）〜（ハ）のアルゴリズムの中から解答内容に合わせて適切なアルゴリズムが選択される。これらの計算処理は、クライアント側コンピュータ４又はサーバー側コンピュータ２においておこなわれ、その結果をもとに採点用群リスト２２の新規作成、再作成、修正、変更又はソート(並び替え)がおこなわれる。なお、上述の（イ）〜（ハ）のアルゴリズムのみならず、他の周知のアルゴリズムを用いてもよい。

図３に示すように、さらに、第１採点モード４２においては、基準解答内容２４と類似度が比較的高いと判定された採点済解答パタン群３１が複数並んだ採点済解答リスト４６が作成される。採点済解答リスト４６は、基準解答内容２４と類似すると判定された採点済解答パタン群３１のうち一部を表示し、採点済解答パタン群３１と併せて付加された採点情報４８も表示するようになっている。これらの採点済解答パタン群３１、及び採点済解答パタン群３１と併せて付加された採点情報４８は、後述するステップＳ７等において、クライアント側コンピュータ４及び/又はサーバー側コンピュータ２に記憶されているデータから読み出される。従って、採点者は、採点しようとする基準解答内容２４と類似する採点済解答パタン群３１の解答内容及びその採点情報４８を基準解答内容２４等の採点判断の参考にすることができる。

図３に示すように、さらに、第１採点モード４２においては、基準解答内容２４として選択される候補の未採点解答パタン群１８が、それぞれの未採点解答パタン群１８に紐つけられた受験番号の小さい順に上から並べられている次以降の解答内容リスト４９が作成されている。ある基準解答内容２４に採点情報４８が付加され、採点が行われた後、次以降の解答内容リスト４９の一番上位に表示されている未採点解答パタン群１８が、基準解答内容２４として選択されるようになっている。このようにして、採点者は、次以降に基準解答内容２４となる未採点解答パタン群１８の内容を事前に確認することができ、効率的に採点を行うことができるようになっている。

クライアント側コンピュータ４は、採点用群リスト２２上において、基準解答内容２４に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示する色付表示部（色付表示手段）３７を有している。図３において、語句の背景が色付けされている様子を網掛け３９によって示している。本発明の一実施形態においては、語句の背景が黄色に色付けされているが、背景に斜線、ドット又は網掛け等を表示することにより他の領域と区別してもよい。また、語句を四角枠等の枠線により囲んで表示する、又は、語句を太字、斜字等により区別して表示するようにしてもよい。

色付表示部３７は、採点用群リスト２２が作成された状態で、基準解答内容２４と、採点用群リスト２２上に並べられている未採点解答パタン群１８とを比較し、基準解答内容２４に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示部１０に表示する。例えば、図３に示すように、基準解答内容２４が「砂糖のように溶液に溶ける」である場合、基準解答内容２４の「砂糖のように溶液に溶ける」に含まれる語句は、採点用群リスト２２上に並べられている未採点解答パタン群１８において色付け表示されない、一方、未採点解答パタン群１８において、「砂糖のように溶液に溶ける」に含まれていない語句が、色付けして表示される。例えば、１番目の類似解答表示欄１８ａにおいては、「生物」、「受精」、「を」及び「助」の語句が、「砂糖のように溶液に溶ける」に含まれていない語句であるため色付けして表示されている。同様に、例えば、２番目の類似解答表示欄１８ａにおいては、「物質」、「反応」、「影響」、「を」及び「与え」の語句が、「砂糖のように溶液に溶ける」に含まれていない語句であるため色付けして表示されている。以下類似解答表示欄１８ｊ欄まで同様であるので説明を省略する。

このように、採点用群リスト２２上に並べられている未採点解答パタン群１８において、基準解答内容２４と異なる語句が色付け表示されるので、採点者は、基準解答内容２４と未採点解答パタン群１８の内容との違う箇所を即座に且つ簡単に認識することができ、採点を効率的に行うことができる。
なお、色付表示部３７は、基準解答内容２４と、採点用群リスト２２上に並べられている未採点解答パタン群１８とを比較し、基準解答内容２４に含まれる語句と対応する語句及び/又はその語句の背景を、色付けして表示するようにしてもよい。この場合には、採点用群リスト２２上に並べられている未採点解答パタン群１８において、基準解答内容２４と同一の語句が色付け表示されるので、採点者は、基準解答内容２４と未採点解答パタン群１８の内容との一致する箇所を即座に且つ簡単に認識することができ、採点を効率的に行うことができる。

図３に示すように、採点情報予測部７８は、採点情報予測色分け部８２を備え、付加すべき採点情報４８の予測結果８０を、採点用群リスト２２等に表示させる際に、採点情報予測色分け部８２により付加すべき採点情報４８の予測結果８０の語句及び図表を、採点情報４８の種類に応じて色分けして採点用群リスト２２等に表示させることができる。例えば、付加すべき採点情報４８の予測結果８０が○（正解）と判断された場合、○の採点情報の分類に応じて、採点情報４８の予測結果８０が緑色の記号及び棒グラフ図等により色分けした状態で採点用群リスト２２等に表示される。同様に、例えば、付加すべき採点情報４８の予測結果８０が×（不正解）と判断された場合、×の採点情報４８の分類に応じて、採点情報４８の予測結果８０が赤色の記号及び棒グラフ等により色分けした状態で採点用群リスト２２等に表示される。同様に、例えば、付加すべき採点情報４８の予測結果８０が△（部分的な正解として部分点を付加する解答）と判断された場合、△の採点情報４８の分類に応じて、採点情報４８の予測結果８０が黄色の記号及び棒グラフ等により色分けした状態で採点用群リスト２２等に表示される。

このように、採点用群リスト２２等上において、付加すべき採点情報４８の予測結果８０が色付け及び色分けして表示されることにより、採点者が予測結果８０の一致及び相違を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。採点情報予測色分け部８２は、後述する検索モード採点用群リスト５２においても同様の機能を提供することができる。

図２に示すように、ステップＳ４においては、第２採点モード４４を実行する。第２採点モード４４は、後述するように第１採点モード４２と切替えて実行することができる。
図４に示すように、クライアント側コンピュータ４上においては、未採点解答パタン群検索リスト形成部３４が、検索キーワード欄５０への所定の任意の検索キーワードの入力（検索キーワード設定操作）に基づいて、この検索キーワードを含む及び/又は含まない等の所定の検索条件に応じて未採点解答パタン群１８を検索し、検索モード採点用群リスト（採点用群リスト）５２を作成する。クライアント側コンピュータ４は、所定の検索条件に応じて未採点解答パタン群１８の検索を、ステップＳ４−１に示すように、第２採点モード４４と併せて適宜実行する。

このようにして、第２採点モード４４においては、採点者が、任意の検索キーワードに基づいて、この検索キーワードを含む及び/又は含まない等の所定の検索条件に応じて未採点解答パタン群１８を並べた新たな検索モード採点用群リスト５２を作成する。未採点解答パタン群検索リスト形成部３４により作成された検索モード採点用群リスト５２においては、未採点解答パタン群１８が検索キーワードと同一の用語を含むため、表示される未採点解答パタン群１８同士に同様の採点情報が付加される可能性が高く、多くの未採点解答パタン群１８を比較的簡単に１つの領域で範囲指定しやすくし、又は範囲指定することによりまとめて採点情報を付加しやすくし、大量の記述式の解答を高速且つ正確に採点することが可能となる。

検索モード採点用群リスト５２は、例えば、１０個の未採点解答パタン群１８を縦に並べて表示する。このとき、検索モード採点用群リスト５２は、単に、例えば、所定の検索キーワードを含む未採点解答パタン群１８を表示する。検索モード採点用群リスト５２は、後述するように、さらに別の指標の基準に基づいて、並び替えることも可能である。例えば、検索モード採点用群リスト５２は、採点情報４８の種類（例えば、正解、又は不正解等の種類）に応じて並び替えする（例えば、正解の採点情報４８を有する未採点解答パタン群１８を上位に表示させる等）ことができ、又は、採点情報４８の種類に応じて採点情報予測部７８により求められた予測結果８０の予測確率が高い順（類似度が高い順）に並び替えすることが可能である。
第２採点モード４４の検索モード採点用群リスト５２においても、図４に示すように未採点解答パタン群１８が、それぞれの解答内容に含まれる全部の語句が一目で確認できる（視認できる）状態で、並べて表示部１０に表示される。

所定の任意の検索キーワードは、採点者が任意に決定できる語句である。採点者は、文字、単語、文、数字、記号等を自由に検索キーワードとして設定することができる。例えば、正解の解答の語句の一部を検索キーワードとして設定することにより、正解の採点情報４８が付加される可能性が高い未採点解答パタン群１８を抽出し、まとめて採点することができる。例えば、逆に、代表的な不正解の解答の語句やその一部を検索キーワードとして設定することにより、不正解の採点情報４８が付加される可能性が高い未採点解答パタン群１８を抽出し、まとめて採点することができる。

未採点解答パタン群検索リスト形成部３４は、任意の検索キーワードを含む及び/又は含まない等の所定の検索条件に応じて未採点解答パタン群１８を検索できるので、任意の解答内容を含む及び/又は含まない等の未採点解答パタン群１８を検索する検索機能として使用することもできる。採点者は、ある検索キーワードを設定して表示された検索結果に基づいて、さらに別の検索キーワードを設定してより採点しやすい又は採点したい解答内容を含む未採点解答パタン群１８を並べ採点用群リスト２２を表示させることが可能である。採点者は、一般的なAND検索、OR検索、及びNOT検索等の検索手法を用いて検索することができる。
このようにして、未採点解答パタン群検索リスト形成部３４により、同じ採点情報４８が付加される可能性が高い未採点解答パタン群１８を検索し、検索モード採点用群リスト５２上でまとめて採点することができ、採点を効率化することができる。

採点用群リスト調整部３８は、ある採点用群リスト２２が作成された状態から、所定の指標等に基づいて、その採点用群リスト２２に含まれている未採点解答パタン群１８を並べ替える及び/又は採点用群リスト２２の内容（採点用群リスト２２に含まれている未採点解答パタン群１８）を調整する。すなわち、所定の指標等に基づいて、採点用群リスト２２に含まれている未採点解答パタン群１８を並び変えたり、未採点解答パタン群１８を他の内容を有する未採点解答パタン群１８と入れ替えたりすることにより、新たな（調整後の）採点用群リスト２２に調整する。採点用群リスト調整部３８は、第１採点モード４２及び/又は第２採点モード４４に追加されることができる。採点用群リスト調整部３８は、採点者が採点用群リスト２２を調整したい場合に、任意に使用することができる。
第２採点モード４４においては、採点用群リスト調整部３８は、ある検索モード採点用群リスト５２が作成された状態から、所定の指標等に基づいて、その検索モード採点用群リスト５２に含まれている未採点解答パタン群１８を並べ替える及び/又は検索モード採点用群リスト５２の内容（検索モード採点用群リスト５２に含まれている未採点解答パタン群１８）を調整する。

所定の指標等とは、例えば、付加すべき採点情報４８の予測結果８０の予測確率のうち予測される正答予測確率が高い順、付加すべき採点情報４８の予測結果８０の予測確率のうち予測される正答予測確率が低い順、採点情報４８の予測結果８０が正解に対応するもののみを選択すること、採点情報４８の予測結果８０が不正解に対応するもののみを選択すること、採点情報４８の予測結果８０が部分的な正解に対応するもののみを選択すること、採点情報４８の予測結果８０が同じ評価の点数に対応するもののみを選択すること、基準解答内容２４に対して類似度が高い順に並べること、類似度が低い順に並べること、基準解答内容２４、模範解答、又は代表的不正解解答に対して類似度が所定以上のものを表示すること、さらに所定の語句を含むもの又は含まないものを表示すること、同様の採点情報が付加されると予測されるものを表示すること等の所定の指標、条件等である。なお、前述の指標、条件等のうちのいくつかの組合せの指標、条件等であってもよく、また、前述の指標、条件等とは異なる他の指標、条件などが設定されてもよい。

採点用群リスト調整部３８は、上記所定の指標等に基づいて、例えば、付加すべき採点情報４８の予測確率のうち予測される正答確率が高い順に未採点解答パタン群１８を並べ替えること、付加すべき採点情報の予測確率のうち予測される正答確率が低い順に未採点解答パタン群１８を並べ替えること、採点情報４８の予測結果８０が○の正解に対応するもののみを選択すること、採点情報４８の予測結果８０が×の不正解に対応するもののみを選択すること、採点情報４８の予測結果８０が△の部分的な正解に対応するもののみを選択すること、採点情報４８の予測結果８０が同じ評価の点数（０点、１点、２点又は３点等）に対応するもののみを選択すること、基準解答内容２４に対して類似度が所定以上の未採点解答パタン群１８を表示させること、所定の模範解答又は代表的不正解解答に基づいて類似度が所定以上の未採点解答パタン群１８を表示させること、さらに任意の所定の語句を含む又は含まない未採点解答パタン群１８を表示させること、正答予測確率が一定以上の未採点解答パタン群１８のみを表示させること、正答予測に基づき同様の採点情報が付加されると予測される未採点解答パタン群１８を表示させること等を行うことができる。

採点者は、所定の指標等を画面上のボタンやスクロールバー等を操作することにより、所定の指標等の調整のＯＮ、ＯＦＦや、類似度等の表示の度合いを調整することができる。本実施形態においては、採点用群リスト調整部３８のボタンやスクロールバー等は省略されているが、第１採点モード４２及び第２採点モード４４において画面上のボタンやスクロールバー等を任意に追加することが可能である。

採点用群リスト調整部３８の所定の指標等が設定されることにより、採点用群リスト２２等の未採点解答パタン群１８の順を変えたり、他のものと入れ替えたりするための、追加の条件を調整することが可能となり、採点者は、新たな採点用群リスト２２等を採点しやすい未採点解答パタン群１８が並ぶように調整して、範囲指定により一括して効率的に採点することができる。
例えば、問題が比較的簡単で、正解の類似解答が多くあるような場合には、正解の確率が高いと予測される未採点解答パタン群１８を並べるように調整し、一括して○の採点情報４８を付加させ、効率よく採点しやすくすることができる。また、問題が非常に難しく、不正解の類似解答が多くあるような場合には、不正解の確率が高いと予測される未採点解答パタン群１８を表示するようにして、一括して×の採点情報を付加させやすくし、効率よく採点しやすくすることもできる。このように、問題に応じて、採点者が、多くの解答を効率的に採点しやすくなるように、採点用群リスト２２を調整又は再調整することができ、多くの未採点解答パタン群１８にまとめて採点情報を付加しやすくし、大量の記述式の解答を高速且つ正確に採点することが可能となる。

このように、採点用群リスト調整部３８が、一旦作成した採点用群リスト２２を、所定の指標等に基づいて採点用群リスト２２の内容を再調整又は微調整することができれば、採点用群リスト２２において、同様の採点情報４８が付加されると予測される未採点解答パタン群１８を連続して表示させることができ、簡単な範囲指定操作により、複数の未採点解答パタン群１８を一括して選択して採点することが可能となる。

表示数制限部３６は、採点用群リスト２２及び/又は検索モード採点用群リスト５２において、図３に示すように、表示部１０の一画面又は一仮想処理領域（例えば、一画面上において、再表示することなく画面をスクロールすることにより表示される画面領域）内に一度に表示する未採点解答パタン群１８の数を所定の数、例えば１０個に制限する。表示数制限部３６は、最初に表示する未採点解答パタン群１８の数を所定の数とし、表示数を変更する操作をすることにより、続いて、未採点解答パタン群１８を異なる数表示させるようにしてもよい。また、表示数制限部３６は、類似度が高いと判断された順に、未採点解答パタン群を１位〜１０位まで並べ、続いて、画面を切替える操作をすることにより、１１位〜２０位の類似度を有する未採点解答パタン群１８を画面の切換え後に表示させることができる。

何万又は何十万もの未採点解答パタン群１８を採点する場合において、表示数制限部３６が、一画面上に一度に表示部１０に表示する表示数を強制的に制限することにより、クライアント側コンピュータ４上における採点用群リスト２２等を表示する処理負荷を低減することができ、効率的に採点を行うことができる。また、類似する解答内容を有する未採点解答パタン群１８が多く存在する場合等には、一度に表示部１０に表示する未採点解答パタン群１８の数を増大させることにより、同様の採点情報４８が付加される可能性の高い未採点解答パタン群１８をより多く表示させることができるため、一括して採点情報４８を付加できる未採点解答パタン群１８の数を増大させることができ、大規模に行われる記述式問題を含む試験において、大量の解答を効率的に採点することを可能にする。

表示数制限部３６は、最初に表示する未採点解答パタン群１８の数を１０個のみならず、２０個、５０個、１００個、全答案数の０．１％、全答案数の１％、全答案数の３％、全答案数の５％、全答案数等に自由に設定することが可能である。類似する答案が多く想定される場合等には、一度に表示する未採点解答パタン群１８の数を増大させて、一括して採点情報４８を付加する未採点解答パタン群１８の数を増大させることができ、大量の解答を効率的に採点することを可能にする。また、類似する解答内容を有する未採点解答パタン群１８を比較的多く採点用群リスト２２等上に表示することが、採点上効率的と判断される場合には、一画面上に一度に表示する表示数を、採点の途中において、使用者の操作により適宜変更及び調整できるようにしてもよい。

図２に示すように、採点者が、修正モード５６にモードを切替えた場合には、ステップＳ５に進む。採点者は、第１採点モード４２及び第２採点モード４４の他に、修正モード５６を選択して、付加された採点情報４８の確認や修正をおこなうことができる。
図５に示すように、修正モード５６においては、採点済解答パタン群検索リスト形成部５８が、採点者が決定する任意の検索キーワードに対して、所定の検索条件に応じて検索された採点済解答パタン群３１を検索し、且つ所定の検索条件に応じて検索された採点済解答パタン群３１を並べて表示した採点済解答パタン群検索リスト６０を作成する。採点者が任意の検索キーワードを採点済解答パタン群検索欄６２に入力して検索を開始し、採点済解答パタン群検索リスト６０が表示される。

採点済解答パタン群検索リスト６０に表示されている採点済解答パタン群３１は、解答内容を表示するようになっており、さらに、各々に現在付加されている採点情報４８を、採点情報欄６４に表示する。採点情報欄６４においては、それぞれの採点済解答パタン群３１が有する採点情報４８が表示されるとともに、他の採点情報を付加するように採点情報４８を修正できるようになっている。具体的には、採点情報欄６４において、○の採点情報４８が付加されていた場合に、△又は×の採点情報４８を選択することにより、特定の採点済解答パタン群３１に対し、異なる採点情報４８を付加するように採点結果の修正を行うことができる。
修正モード５６においては、採点結果表示部５７が設けられており、採点結果表示部５７は、これまでの採点結果を採点情報４８の種類ごとに集計した総数を表示している。

図２に示すように、モード切替部５４は、未採点解答パタン群並べ部２８により並べられた未採点解答パタン群１８を有する採点用群リスト２２上で採点を行う第１採点モード４２と、未採点解答パタン群検索リスト形成部３４により並べられた未採点解答パタン群１８を有する検索モード採点用群リスト５２上で採点を行う第２採点モード４４と、採点済解答パタン群３１の採点情報４８を採点済解答パタン群検索リスト６０上で確認又は修正することができる修正モード５６と、を自在に切替えることができる。モード切替部５４は、第１採点モード４２及び第２採点モード４４のいずれにおいても、同じ試験問題に対する未採点解答パタン群１８に対し、採点情報４８を付加することができ、且つ、採点済解答パタン群３１に対し、採点情報４８を付加することができるように、各モードを切替えることができるようになっている。モード切替部５４のモードの切り替えは、画面上の操作ボタンや表示部１０上に表示される表示画面タブの操作等により行われる。

採点者が第１採点モード４２において採点を行っていた最中に、第２採点モード４４で所定の検索キーワードに基づいて採点を行いたいと考える場合には、モード切替部５４は、第１採点モード４２の採点用群リスト２２を仮保存した状態で、第２採点モード４４に画面を切替え、第２採点モード４４の検索モード採点用群リスト５２を採点させることができる。採点者が再び第２採点モード４４から第１採点モード４２に戻る場合には、第１採点モード４２の採点用群リスト２２が仮保存された状態から採点を再開することができる。
逆に、採点者が第２採点モード４４において採点を行っていた場合に、第１採点モード４２で採点を行いたいと考える場合には、モード切替部５４は、第２採点モード４４の検索モード採点用群リスト５２を仮保存した状態で、第１採点モード４２に画面を切替え、第１採点モード４２の採点用群リスト２２を採点させることができる。この場合には、第２採点モード４４の検索モード採点用群リスト５２は仮保存された状態となっている。採点者が再び第１採点モード４２から第２採点モード４４に戻る場合には、第２採点モード４４の検索モード採点用群リスト５２が仮保存された状態から採点を再開することができる。
なお、第１採点モード４２又は第２採点モード４４のいずれかにおいて採点を行ったことにより、表示されていない他のモードの採点用群リストの未採点解答パタン群１８が、採点情報が付加されて採点済解答パタン群３１とされる場合には、その他のモードの採点用群リストはリセットされ、次回のモード切替時に新たな採点用群リストが作成される。

次に、図３を用いて、第１採点モード４２の採点用群リスト２２上における未採点解答パタン群１８の採点について説明する。
採点用群リスト２２上において、それぞれの未採点解答パタン群１８がこれらの解答内容の全部の語句が見える状態で配置され、且つそれぞれの未採点解答パタン群１８の採点を個別に行うことができるようになっている。

第１採点モード４２においては、採点者が操作部１２のマウスをクリック操作することにより個別の未採点解答パタン群１８を選択し、未採点解答パタン群１８が選択された状態で、採点情報の種類に応じて分かれている採点情報付加ボタン６６をマウスのクリック操作等により選択することにより、採点情報付加ボタンの種類に応じて設定された採点情報４８が付加される。このように採点者は、採点情報付加ボタン６６をマウスでクリックするような採点情報設定操作により採点情報付加ボタン６６において設定された採点情報４８を選択されていた未採点解答パタン群１８に付加することができる。（以下、複数の未採点解答パタン群１８が複数選択されている場合についても同様のため、説明を省略する。）
また、第１採点モード４２においては、未採点解答パタン群１８が選択された状態で、操作部１２のキーボードの予め設定されたショートカットキーを操作することにより、ショートカットキーの種類に応じた採点情報４８が、選択されていた未採点解答パタン群１８に付加される。上述のキーボードの予め設定されたショートカットキーは、図３に示すように、画面上にその設定状態が表示され、採点者がその設定状態を確認しやすくなっている。このように採点者は、ショートカットキーを使用するような採点情報設定操作により採点情報付加ボタン６６において設定された採点情報４８を選択された未採点解答パタン群１８に付加することができる。（以下、複数の未採点解答パタン群１８が複数選択されている場合についても同様のため、説明を省略する。）
さらに、第１採点モード４２においては、採点者が操作部１２のキーボードにおいて↑キー、↓キー、→キー又は←キーによって選択しようとする未採点解答パタン群１８を選び、Ｅｎｔｅｒキー等により、選択しようとする未採点解答パタン群１８を決定し、未採点解答パタン群１８が選択された状態とすることができる。このようにして、未採点解答パタン群１８が選択された状態で、上述のようなクリック操作、キーボード操作等のいずれかの操作により選択されていた未採点解答パタン群１８に対し採点情報４８が付加される。このように採点者は、操作部１２のキーボードを使用するような採点情報設定操作によっても採点情報付加ボタン６６において設定された採点情報４８を選択された未採点解答パタン群１８に付加することができる。（以下、複数の未採点解答パタン群１８が複数選択されている場合についても同様のため、説明を省略する。）

第１採点モード４２においては、採点用群リスト２２上において、未採点解答パタン群１８の採点をまとめて行うことができるようになっている。
採点者は、採点用群リスト２２上において並べられた複数の未採点解答パタン群１８を範囲選択操作により、まとめて複数選択することができる。より具体的には、採点者は、操作部１２のマウスをドラッグ操作し、指定範囲を網掛けするようにする領域の範囲選択操作により、網掛け領域範囲内にかかる複数の未採点解答パタン群１８をまとめて複数選択することができる。図３及び図４において、操作部１２のマウスをドラッグ操作し、指定範囲を網掛けするようにする領域の範囲選択操作を参照番号２３により例示する。参照番号２３の点線により示されている領域が操作部１２（マウス）により範囲選択操作されている領域の外縁内の領域となる。この参照番号２３の点線により囲まれた領域内に存在する複数の未採点解答パタン群１８が選択された状態となる。採点補助システム１は、このように採点者が複数の未採点解答パタン群１８を容易にまとめて複数選択することができる、未採点解答パタン群範囲選択部３０を備えている。未採点解答パタン群範囲選択部３０により選択された未採点解答パタン群１８は、選択された状態を維持し、この選択された状態からキーボード操作等のいずれかの操作に対応した採点情報４８がこの選択された状態の未採点解答パタン群１８に対して付加される。
未採点解答パタン群１８は、画面上に表示されるその語句そのもの、及び/又は未採点解答パタン群１８の語句の周囲の一定領域の範囲（例えば、図３において、１番目の類似解答表示欄１８ａ等として示される枠線で囲まれた解答欄の範囲）の一部が、範囲指定の中に含まれる及び/又は選択されることにより、選択された状態とされることができる。

このようにして、複数の未採点解答パタン群１８がまとめて選択された状態で、上述のようなクリック操作、キーボード操作等のいずれかの操作により選択されていた未採点解答パタン群１８に対しまとめて採点情報４８が付加される。まとめて採点情報４８が付加されるとは、採点者の１つの採点情報の付加操作に対して、選択されていた複数の未採点解答パタン群１８の各々に対し、同じ採点情報４８が、各々同時に一括して付加されることをいう。すなわち、１度の操作により、複数の未採点解答パタン群１８に採点情報４８を付加した状態とすることができる。複数の未採点解答パタン群１８は採点情報４８が付加された結果、それぞれ、採点情報４８が付加された採点済解答パタン群３１となる。

第１採点モード４２の未採点解答パタン群範囲選択部３０は、採点者が操作部１２のマウスをドラッグ操作することにより複数の未採点解答パタン群１８を範囲選択する手法の他、採点者が操作部１２のキーボードにおいてＳｈｉｆｔキー及び↑キー、↓キー、→キー又は←キーのいずれかを同時に押すことによって複数の未採点解答パタン群１８を同時に選択することにより範囲選択を行うこともできる。範囲選択された未採点解答パタン群１８は、上述と同様に、まとめて採点情報４８が付加される。
なお、未採点解答パタン群範囲選択部３０は、複数の未採点解答パタン群１８をまとめて同時に選択することができる手法であればよく、例えば、採点者が操作部１２のタッチパネルを指やペン等でなぞるようにして範囲選択する手法等によって構成されていてもよい。また、未採点解答パタン群範囲選択部３０は、例えば、採点者が操作部１２のキーボードにおいてＣｔｒｌキー及び↑キー、↓キー、→キー又は←キーのいずれかを同時に押すことによって複数の未採点解答パタン群１８を任意に同時に選択する範囲選択手法によって構成されていてもよい。
さらに、未採点解答パタン群範囲選択部３０は、例えば、採点者が画面上の「全選択」等のボタン６８を押す操作をすることにより、採点用群リスト２２上における複数の未採点解答パタン群１８を、簡単に全て一括して範囲選択することもできる。

上述のように、未採点解答パタン群範囲選択部３０が、複数の未採点解答パタン群１８を範囲選択することにより、複数の未採点解答パタン群１８をまとめて採点する。すなわち、それぞれの未採点解答パタン群１８に含まれる同一の解答内容の複数の未採点解答データ１４に対し、採点情報４８が一気に付加される。
採点により、未採点解答パタン群１８に採点情報４８が付加されて採点済解答パタン群３１とされる。最終的には、採点済解答パタン群３１に対応する未採点解答データ１４に採点情報４８が付加され採点済解答パタン群３１の採点済解答データ１６となる。従って、残存する未採点解答パタン群１８が減少し、採点処理済の採点済解答パタン群３１が増加する。

第２採点モード４４においても、第１採点モード４２においてと同様に、検索モード採点用群リスト５２上において、未採点解答パタン群１８を個別に選択して採点を行うことができ、また、未採点解答パタン群１８の採点をまとめて行うことができるようになっている。未採点解答パタン群１８を個別に選択する手法及び未採点解答パタン群１８をまとめて選択する手法については、第１採点モード４２においてと同様であるので説明を省略する。

なお、上述のような手法により選択された状態の未採点解答パタン群１８に対して、採点者がおこなう採点について説明する。
未採点解答データ１４がまとめられた未採点解答パタン群１８が採点されることにより、同一の解答内容の未採点解答データ１４をまとめて採点された状態とすることができる。従って、同一の解答内容の未採点解答データ１４が、数個〜数十万個に及ぶような場合においても、同一の解答内容の未採点解答パタン群１８（又は未採点解答データ１４）一個を個別に採点する、すなわち、未採点解答パタン群１８を採点することにより、同一の解答内容の未採点解答データ１４に対して同一の採点情報４８を繰り返し付加する繰り返し作業の必要がなくなり、採点の回数が低減でき且つ採点処理の負荷を大きく低減することが可能となる。

また、以後、サーバー側コンピュータ２及び/又はクライアント側コンピュータ４において、未採点解答パタン群１８に対して採点を行えるので、未採点解答データ１４を全て採点する場合に比べて、採点の対象となるデータの点数を大きく低減することができ、以後のコンピュータの処理負荷及び採点者の採点処理の処理負荷を低減することができる。以後、サーバー側コンピュータ２及び/又はクライアント側コンピュータ４において、未採点解答パタン群１８に対して採点情報４８を付加する処理を行うこととし、未採点解答パタン群１８に付加された採点情報４８を、未採点解答データ１４に付加する処理（採点情報４８を同期させる処理）は、例えば、３０分、１時間等の一定時間置き、又は後述するステップＳ８、ステップＳ１０等の段階で適宜行うこととする。

図２、図３等に示すような処理において、「採点をおこなう」とは、試験内容に応じてあらかじめ定められた採点情報の種類、例えば、「○又は×」、「○、△又は×」、「１点、２点又は３点」などの採点情報４８の種類の中から一つの採点情報４８を選択し、この選択した採点情報４８を付加する行為を示す。また、このことを「採点値の付与」、「採点情報の付加」等とも呼ぶことがある。なお、本実施形態においては、図３、図４等に示すように付加される採点情報の種類は、「○、△又は×」の３種類となっているが、「１点、２点又は３点」等の３種類の採点情報を付加するようになっていてもよい。さらに、採点者が任意の採点情報４８を自由に付加できるように形成されていてもよい。例えば、所定の数値範囲の０点〜１０点等の点数のうち任意の点数を自由に付加できるように形成されていてもよい。また、例えば、本実施形態においては、付加される採点情報の種類は３つ（正解評価を示す○、不正解評価を示す×、部分的な正解として部分点を付加する評価を示す△）であるが、他の実施形態として、例えば、付加される採点情報の種類を２つ（正解評価を示す○、不正解評価を示す×）のみとすることもできる。

なお、図３及び図４に示すように、第１採点モード４２及び第２採点モード４４のいずれにおいても、採点者は、適宜、試験問題を確認することができる問題を見るボタン５１や、模範解答の内容を確認することができる模範解答を見るボタン５３を利用することもできる。また、第１採点モード４２及び第２採点モード４４のいずれにおいても、問題を見るボタン５１、模範解答を見るボタン５３等に代えて又は加えて、採点基準を表示させる採点基準表示ボタン、採点対象となっている答案に関する未採点解答データとしてテキスト化される前の答案画像（受験者の作成した答案の原本の画像）を表示させる原答案画像表示ボタン等を画面上に設けることもできる。
また、第１採点モード４２及び第２採点モード４４のいずれにおいても、進行状況確認部５５が設けられている。進行状況確認部５５は、採点開始時における採点されるべき未採点解答パタン群１８の総数のうち、既に処理された未採点解答パタン群１８の合計数、すなわち採点済解答パタン群３１の合計数を示しており、採点の進行状況を示している。

ステップＳ７に示すように、ある採点者が採点処理し、採点情報４８の付加された採点済解答パタン群３１は、その採点者の採点済解答パタン群３１として、クライアント側コンピュータ４及び/又はサーバー側コンピュータ２に記憶される。
ステップＳ８に示すように、その採点者の採点済解答パタン群３１が、クライアント側コンピュータ４に記憶される場合には、同じその採点者の採点済解答パタン群３１のデータがサーバー側コンピュータ２に記憶される。ステップＳ８においては、別の採点者が別の又は同じクライアント側コンピュータ４で独立して同じ試験問題に対する全部の未採点解答パタン群１８の採点を行うことにより作成された別採点者採点済解答パタン群７２のデータも、サーバー側コンピュータ２に記憶される。よって、独立して採点を行う複数の採点者の別採点者採点済解答パタン群７２のデータが、それぞれサーバー側コンピュータ２に記憶されている状態となる。

図２に示すように、ステップＳ８においては、仮評価確定部７５が、ある採点者が採点済解答パタン群３１に付加した採点情報４８と、別の採点者が同じ未採点解答パタン群１８の採点を行って作成した別採点者採点済解答パタン群７２に付加した別採点者採点情報７４とを比較する処理を省略し、ある採点者が採点済解答パタン群３１に付加した採点情報４８を、仮の評価として決定し、仮評価の採点情報４８が付されている採点済解答パタン群３１を仮評価確定済解答パタン群７１として決定する。
仮評価確定部７５が設けられることにより、ある採点者が採点を開始して比較的早期の段階においても、自身が採点することにより採点済解答パタン群３１に付加した採点情報４８の全てを利用して、採点済解答パタン群３１及びその採点情報４８（すなわち仮評価確定済解答パタン群７１）を後述するステップＳ１１の採点情報予測部７８における採点情報の予測に反映させることができる。
よって、大量の解答データの採点を行うような場合に、後述するような評価確定部７６が、ある採点者の採点情報４８と、別の採点者の別採点者採点情報７４とを比較し、評価確定済解答パタン群７０を決定する処理において、ある採点者と、別の採点者とが同じ問題に対して共通の採点情報４８を決定するまでに比較的時間を要するような場合においても、仮評価確定部７５により仮評価確定済解答パタン群７１を後述するステップＳ１１の採点情報予測部７８における採点情報の予測に反映させることができ、採点者が採点情報予測部７８の予測結果８０を採点初期の段階から効率的に活用することができ、大量の解答を高速且つ正確に採点することが可能となる。

図２に示すように、ステップＳ９及びＳ１０においては、評価確定部７６が、ある採点者が採点済解答パタン群３１に付加した採点情報４８と、別の採点者が同じ未採点解答パタン群１８の採点を行って作成した別採点者採点済解答パタン群７２に付加した別採点者採点情報７４とを比較し、採点情報４８及び別採点者採点情報７４が一致した採点済解答パタン群３１及び別採点者採点済解答パタン群７２を、評価が確定され且つ解答内容に対して信頼性の高い採点情報４８が付されている評価確定済解答パタン群７０として決定する。ステップＳ９に示すように、採点情報４８と、別採点者採点情報７４とが不一致となる場合には、最終採点者又は他の者が、採点情報４８及び別採点者採点情報７４の内容を判断して、採点情報４８及び別採点者採点情報７４の評価を一致させ且つ確定させる。

評価確定部７６が、設けられることにより、信頼性の高い採点情報が付されている評価確定済解答パタン群７０を利用して、後述するステップＳ１１の採点情報予測部７８における採点情報の予測に反映させることができる。なお、上述の仮評価確定部７５が仮評価確定済解答パタン群７１の採点情報４８を決定し、仮評価確定済解答パタン群７１に基づいて採点情報予測部７８における採点情報４８の予測を行った後に、評価確定部７６が、評価確定済解答パタン群７０の採点情報４８を決定する場合には、この評価確定済解答パタン群７０に付加された採点情報４８を、仮評価確定済解答パタン群７１の採点情報４８に代えて決定する。すなわち、必要な場合には、仮評価確定済解答パタン群７１の採点情報４８を評価確定済解答パタン群７０に付加された採点情報４８に修正する処理を行う。よって、以後は、評価確定済解答パタン群７０とされた採点済解答パタン群３１の採点情報４８に基づいて採点情報予測部７８における採点情報４８の予測が行われる。

評価確定部７６が、採点情報４８が付されている評価確定済解答パタン群７０を確定させると、この評価確定済解答パタン群７０の採点情報４８が、評価確定済解答パタン群７０の対応する採点済解答データ１６の採点情報４８として記録される。全ての評価確定済解答パタン群７０が確定されると、採点者の採点処理は終了となり、全ての採点済解答データ１６に採点情報４８が付加された状態となる。

なお、早期採点情報予測部８４が、予め決定された解答語句（例えば、模範解答の内容）を、模範解答の解答内容を有する採点済解答パタン群３１として設定することができる。このような手法としては、前述のように、模範解答を特別な受験番号を付した未採点解答データ１４として設定し、採点開始初期に、模範解答の内容を有する未採点解答パタン群１８を採点し、正解の採点情報４８を付加した採点済解答パタン群３１とし、採点済解答パタン群３１を含む仮評価確定済解答パタン群７１又は評価確定済解答パタン群７０を利用して、採点者が採点の早期の段階から未採点解答パタン群３１に対して予測される採点情報４８を参考にして採点を行うことができることによる。また、他の手法としては、採点開始前又は採点開始初期に、予め決定された所定の語句を解答内容又は採点済解答パタン群３１として予め直接設定するようにしてもよい。この場合には、早期採点情報予測部８４は、採点の早期の段階から、所定の語句（例えば模範解答の語句）と、採点用群リスト２２上の未採点解答パタン群１８の解答内容との類似度を判断することにより予測される採点情報４８の予測結果を、採点用群リスト２２上の未採点解答パタン群１８に対して表示させることができる。よって、採点者が採点の早期の段階から予め設定された語句に対して予測される採点情報４８を参考にして未採点解答パタン群１８の採点を行うことができる。

また、早期採点情報予測部８４は、予め決定された解答語句（例えば、代表的不正解解答の内容）を、代表的な不正解の解答内容を有する採点済解答パタン群３１として設定することができる。このような手法としては、前述のように、代表的不正解解答を特別な受験番号を付した未採点解答データ１４として設定し、採点開始初期に、代表的不正解解答の内容を有する未採点解答パタン群１８を採点し、不正解の採点情報４８を付加した採点済解答パタン群３１とし、採点済解答パタン群３１を含む仮評価確定済解答パタン群７１又は評価確定済解答パタン群７０を利用して、採点者が採点の早期の段階から未採点解答パタン群３１に対して予測される採点情報４８を参考にして採点を行うことができることによる。

よって、採点の早期の段階から採点済解答パタン群３１に基づいて未採点解答パタン群１８に対して予測される予測結果８０を採点用群リスト２２に表示させることができるので、採点者が未採点解答パタン群１８に対して予測される予測結果８０を参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。

ステップＳ１１においては、採点情報予測部７８が、仮評価確定部７５により決定された仮評価確定済解答パタン群７１の解答内容又は評価確定部７６により決定された評価確定済解答パタン群７０の解答内容と、未採点解答パタン群１８の解答内容との類似度を判断することにより予測される採点情報４８の予測結果８０を、採点用群リスト２２及び検索モード採点用群リスト５２に表示させる。
採点情報予測部７８は、サーバー側コンピュータ２に記憶されている評価確定済解答パタン群７０及び/又は仮評価確定済解答パタン群７１と、採点用群リスト２２及び検索モード採点用群リスト５２上の未採点解答パタン群１８とを比較し、且つこれらの類似度を判断する。採点情報予測部７８は、評価確定部７６により決定された評価確定済解答パタン群７０の解答内容と、未採点解答パタン群１８の解答内容との類似度を計算する処理を行っている。類似度の計算の処理については、前述のある解答内容と他の解答内容との類似度の計算を行う場合の計算方法と同じ計算方法を用いているので説明を省略する。採点情報予測部７８は、採点用群リスト２２上の各々の未採点解答パタン群１８に最も類似する仮評価確定済解答パタン群７１及び/又は評価確定済解答パタン群７０を探し、この仮評価確定済解答パタン群７１及び/又は評価確定済解答パタン群７０に付加された採点情報４８を採点用群リスト２２上の各々の未採点解答パタン群１８に対して表示させる。さらに、各々の未採点解答パタン群１８と、仮評価確定済解答パタン群７１及び/又は評価確定済解答パタン群７０との類似度に応じて、付加すべき採点情報４８の予測確率を予測結果８０として表示させる。上述のような類似度は０％〜１００％までの割合により数値により算出され、後述する採点情報４８の予測結果８０の棒グラフの長さに反映される。なお、採点用群リスト２２及び検索モード採点用群リスト５２において類似度を０％〜１００％までの数値により表示するようにしてもよい。これらの予測結果８０は、対応する未採点解答パタン群１８と対応して表示される。例えば、予測結果８０は、対応する未採点解答パタン群１８と共に同じ枠内に組み合わせて表示される。

採点情報予測部７８は、採点情報予測色分け部８２を備え、付加すべき採点情報４８の予測結果８０を、採点用群リスト２２等に表示させる際に、採点情報予測色分け部８２により付加すべき採点情報４８の予測結果８０を、採点情報４８の種類に応じて色分けして採点用群リスト２２等に表示させることができる。例えば、付加すべき採点情報４８の予測結果８０が○（正解）と判断された場合、○の採点情報の分類に応じて、採点情報４８の予測結果８０が緑色の記号及び棒グラフ等により示され、色分けして採点用群リスト２２等に表示される。同様に、例えば、付加すべき採点情報４８の予測結果８０が×（不正解）と判断された場合、×の採点情報４８の分類に応じて、採点情報４８の予測結果８０が赤色の記号及び棒グラフ等により示され、色分けして採点用群リスト２２等に表示される。同様に、例えば、付加すべき採点情報４８の予測結果８０が△（部分的な正解として部分点を付加する解答）と判断された場合、△の採点情報４８の分類に応じて、採点情報４８の予測結果８０が黄色の記号及び棒グラフ等により示され、色分けして採点用群リスト２２等に表示される。

このように、採点用群リスト２２等上において、付加すべき採点情報４８の予測結果８０の語句等が色付け及び色分けして表示されることにより、採点者が予測結果８０の一致及び相違を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。
採点情報４８の予測結果８０が色付け及び色分けされた色と、採点情報の種類に応じて分かれている採点情報付加ボタン６６の色分けの色とが、同じ採点情報４８についてはそれぞれ同じ色で対応するようになっているので、採点者が予測結果８０に対応する採点情報付加ボタン６６を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。

また、採点用群リスト２２等上において、付加すべき採点情報４８の予測結果８０が「○」、「×」、「△」等の記号により表示されることにより、採点者が予測結果８０の一致及び相違を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。
また、採点用群リスト２２等上において、付加すべき採点情報４８の予測結果８０、すなわち予測確率が棒グラフにより表示されることにより、採点者が前記予測結果の精度及び予測確率を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。
このように、付加すべき採点情報４８の予測結果８０が、色分け、記号表示、棒グラフ等の組合せにより各々の未採点解答パタン群１８とともに表示されることから、個々の採点者が認識しやすく且つ比較的使いやすい補助表示手段により、有効に採点情報予測部７８を活用することができ、大量の解答を高速且つ正確に採点することが可能となる。

図２に示すような、採点補助システム１の開始画面及び採点の中断が生じた後のログイン時の処理について説明する。ログイン時の処理は、図２において、ステップＳ１２により示される。
ステップＳ１２において、採点者は採点補助システム１にログインする。ログイン後の開始画面から採点する試験問題を選択する。採点者が採点しようとする試験問題を選択すると、その試験問題に関する採点に必要なデータを、サーバー側コンピュータ２とクライアント側コンピュータ４とが必要に応じて通信を行い、採点者は、ステップＳ３の第１採点モード４２に入ることができる。
なお、採点者が採点を中断する場合には、採点者は採点補助システム１からログアウトする。再び、採点者が採点を再び開始する場合には、同様に、採点者は採点補助システム１にログインして、採点する試験問題を選択することにより、ステップＳ３の第１採点モード４２に入る。採点者が採点を中断する間、採点者ごとの第１採点モード４２及び第２採点モード４４等の状態を保存しておくことも可能である。このようにすることで、採点者は、ログイン後、すぐに前回の採点の続きを行うことが可能となる。
採点者が別の試験問題を選択した場合には、同様のフローにより、採点者は別の解答内容の採点を行うことができる。別の試験問題を採点する場合の処理は、本実施形態の試験問題を採点する場合の処理と同じであるので、説明を省略する。

上述した本発明の一実施形態の採点補助システム１によれば、未採点解答群形成部２０が記憶装置に記憶された複数の未採点解答データ１４を、同一の解答内容ごとに分類することにより、各解答内容の未採点解答データ１４を各々有する複数の未採点解答パタン群１８を作成し、さらに、未採点解答群リスト形成部２６が複数の未採点解答パタン群１８からなる採点用群リスト２２を、それぞれの未採点解答パタン群１８の解答内容の比較のために、それぞれの未採点解答パタン群１８の解答内容を採点者に示すように、表示部１０上に表示させる。さらに、未採点解答群リスト形成部２６自然言語処理の技術に基づいて、基準となる基準解答内容に対する、未採点解答パタン群１８の解答内容の類似度を判断し、類似度が高い順に、採点用群リスト２２の未採点解答パタン群１８を並べた採点用群リスト２２を、表示部１０に表示させる機能を有する。さらに、未採点解答パタン群範囲選択部３０が、表示部１０に表示されている採点用群リスト２２上の複数の未採点解答パタン群１８のうち、操作部１２による範囲選択操作により選択された未採点解答パタン群１８を、同一の採点情報４８を付加可能な状態に設定することができる。さらに、採点済解答パタン群形成部３２が選択された未採点解答パタン群１８に対し、操作部１２の採点情報設定操作により設定された採点情報４８を一括して付加して、選択された未採点解答パタン群１８を採点済解答パタン群３１に変更することができる。
従って、同一の解答内容を有する未採点解答データ１４を各々有する未採点解答パタン群１８をそれぞれの未採点解答パタン群１８の解答内容の比較のために、それぞれの未採点解答パタン群１８の解答内容を表示部１０上に表示させ、且つ基準解答内容２４に対する未採点解答パタン群１８の解答内容の類似度を判断し、同様の採点情報４８が付加される可能性の高い類似している複数の未採点解答パタン群を１８を比較的近くの位置に並べた採点用群リスト２２を表示させる。よって、採点用群リスト２２上において上述のように表示された複数の未採点解答パタン群１８のうち操作部１２による範囲選択操作により選択された未採点解答パタン群１８に採点情報４８を一括して付加することができ、大規模に行われる記述式の試験において、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することを可能にする。

また、本実施形態の採点補助システム１によれば、未採点解答パタン群検索リスト形成部３４が、操作部１２による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群１８を並べた検索モード採点用群リスト５２を表示部１０に表示させることができる。従って、未採点解答パタン群１８をそれぞれの解答内容の全部の語句が見える状態で、表示部１０に並べて表示させ、且つ同様の採点情報４８が付加される可能性の高い検索キーワードを含む及び/又は含まない等の複数の未採点解答パタン群１８に採点情報４８を一括して付加することができ、大規模に行われる記述式の試験において、採点者が解答内容を判断した正確な採点を行うことができると共に、大量の解答を効率的に採点することを可能にする。

さらに、本実施形態の採点補助システム１によれば、モード切替部５４は、第１採点モード４２及び第２採点モード４４のいずれにおいても、同じ試験問題に対する未採点解答パタン群１８に対して、採点情報４８を付加することができる。よって、例えば、特定の基準解答内容２４に類似している未採点解答パタン群１８が多く存在することにより第１採点モード４２により効率的に採点ができる場合や、特定のキーワードを含む未採点解答パタン群１８が多く存在することにより第２採点モード４４により効率的に採点ができる場合等、いずれかのモードによればより効率的に採点ができる場合においては、同じ試験問題に対する未採点解答パタン群１８の全部のうち、未採点解答パタン群１８の解答内容に応じて、より採点がしやすいモードにおいて効率的に採点を行うことができる。

また、本実施形態の採点補助システム１によれば、表示数制限部３６が、採点用群リスト２２において、表示部１０に表示する未採点解答パタン群１８の数を所定の数に設定することができるので、それぞれの未採点解答パタン群１８の解答内容の比較のためにそれぞれの未採点解答パタン群１８の解答内容を表示部１０上に表示させる処理負荷を低減しながら、効率的に採点を行うことができる。さらに、類似する解答内容を有する未採点解答パタン群１８が多く存在する場合等には、一度に表示部１０に表示する未採点解答パタン群１８の数を増大させることにより、同様の採点情報が付加される可能性の高い未採点解答パタン群を多く表示させることができるため、一括して採点情報４８を付加する未採点解答パタン群１８の数を増大させることができ、大規模に行われる記述式の試験において、大量の解答を効率的に採点することを可能にする。

さらに、本実施形態の採点補助システム１によれば、色付表示部３７が、採点用群リスト２２において、基準解答内容２４に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示することができる。採点用群リスト２２において、基準解答内容２４に含まれる語句と対応しない語句及び/又はその語句の背景を色付けして表示させることにより、採点者が基準解答内容２４の語句との一致及び相違を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。

また、本実施形態による採点補助システム１によれば、採点用群リスト調整部３８は、ある採点用群リスト２２が作成された状態から、所定の指標に基づいて、採点用群リスト２２の内容を調整する。従って、未採点解答パタン群１８を並べて表示させたある採点用群リスト２２を、所定の指標に基づいて調整した内容の新たな採点用群リスト２２に調整することができ、新たな採点用群リスト２２において、同様の採点情報４８が付加される可能性の高い複数の未採点解答パタン群１８を順に並べるように調整し、且つ一括して選択して採点することができ、大規模に行われる記述式の試験において、採点者が解答内容を見て正確な採点を行うと共に、大量の解答を効率的に採点することを可能にする。

さらに、本実施形態の採点補助システム１によれば、評価確定部７６が未採点解答パタン群１８に対して採点した採点済解答パタン群３１に付加されている採点情報４８と、別採点者採点情報７４と、を比較し、両者の採点情報４８が一致した採点済解答パタン群３１を、評価が確定され且つ解答内容に対して信頼性の高い採点情報４８が付されている評価確定済解答パタン群７１として決定することができる。従って、評価確定済解答パタン群７１は、信頼性の高い採点情報が付されている状態となる。また、例えば、信頼性の高い採点情報４８が付されている評価確定済解答パタン群７１を、採点情報予測部７８によって利用することも可能となり、大量の解答を正確に採点することが可能となる。

また、本実施形態の採点補助システム１によれば、採点情報予測部７８が採点済解答パタン群３１の解答内容と、採点用群リスト２２上の未採点解答パタン群１８の解答内容との類似度を判断することにより予測される採点情報４８の予測結果８０を、採点用群リスト２２上の未採点解答パタン群１８に対して表示させる。未採点解答パタン群１８に対して表示させる。未採点解答パタン群１８に対し、同様の採点情報４８が付加される可能性の高い類似している採点済解答パタン群３１から予測される採点情報４８の予測結果８０を採点用群リスト２２上の未採点解答パタン群１８に対してに表示させることができるので、採点者が未採点解答パタン群１８に対して予測される採点情報４８の予測結果８０を参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。
また、採点済解答パタン群３１を、評価確定済解答パタン群７１として決定している場合には、信頼性の高い採点情報４８が付されている評価確定済解答パタン群７１の採点済解答パタン群３１と、同様の採点情報４８が付加される可能性の高い類似している未採点解答パタン群１８に対して予測される採点情報３８の予測結果を採点用群リスト２２に表示させることができるので、採点者が未採点解答パタン群１８に対して予測される採点情報４８の予測結果をより参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。

さらに、本実施形態の採点補助システム１によれば、採点情報予測色分け部８２が、予測される採点情報４８の予測結果８０を、採点情報４８の分類に応じて色分けして表示部１０に表示させることができる。従って、採点者が付加すべき採点情報４８の予測結果８０の分類を視覚的且つ感覚的に瞬時に把握することができ、大量の解答を高速且つ正確に採点することが可能となる。

さらに、本実施形態の採点補助システム１によれば、早期採点情報予測部８４は、採点の早期の段階から、所定の語句と、採点用群リスト２２上の未採点解答パタン群１８の解答内容との類似度を判断することにより予測される採点情報４８の予測結果８０を、採点用群リスト２２上の未採点解答パタン群１８に対して表示させることができるので、採点者が採点の早期の段階から未採点解答パタン群１８に対して予測される採点情報４８を参考にして採点を行うことができ、大量の解答を高速且つ正確に採点することが可能となる。

１ 採点補助システム
２ サーバー側コンピュータ
４ クライアント側コンピュータ
６ ネットワーク
８ 記憶装置
１０ 表示部
１２ 操作部
１４ 未採点解答データ
１６ 採点済解答データ
１８ 未採点解答パタン群
１８ａ １番目の類似解答表示欄
１８ｂ ２番目の類似解答表示欄
１８ｃ ３番目の類似解答表示欄
１８ｄ ４番目の類似解答表示欄
１８ｅ ５番目の類似解答表示欄
１８ｆ ６番目の類似解答表示欄
１８ｇ ７番目の類似解答表示欄
１８ｈ ８番目の類似解答表示欄
１８ｉ ９番目の類似解答表示欄
１８ｊ １０番目の類似解答表示欄
２０ 未採点解答群形成部
２２ 採点用群リスト
２４ 基準解答内容
２６ 未採点解答群リスト形成部
２８ 未採点解答パタン群並べ部
３０ 未採点解答パタン群範囲選択部
３１ 採点済解答パタン群
３２ 採点済解答パタン群形成部
３４ 未採点解答パタン群検索リスト形成部
３６ 表示数制限部
３７ 色付表示部
３８ 採点用群リスト調整部
４２ 第１採点モード
４４ 第２採点モード
４６ 採点済解答リスト
４８ 採点情報
４９ 解答内容リスト
５０ 検索キーワード欄
５２ 検索モード採点用群リスト
５４ モード切替部
５６ 修正モード
５８ 採点済解答パタン群検索リスト形成部
６０ 採点済解答パタン群検索リスト
６２ 採点済解答パタン群検索欄
６４ 採点情報欄
６６ 採点情報付加ボタン
６８ ボタン
７０ 評価確定済解答パタン群
７１ 仮評価確定済解答パタン群
７２ 別採点者採点済解答パタン群
７４ 別採点者採点情報
７５ 仮評価確定部
７６ 評価確定部
７８ 採点情報予測部
８０ 予測結果
８２ 採点情報予測色分け部
８４ 早期採点情報予測部

上記の目的を達成するために、本発明は、記述式の試験問題に対する、単語又は文節を含む記述式の解答の手動の採点を補助する採点補助システムであって、未だ採点されていない未採点解答データ及び採点により採点情報の付加された採点済解答データを記憶する記憶装置と、採点を行うために少なくとも未採点解答データの解答内容を表示する表示部と、採点する操作を行うための操作部と、記憶装置に記憶された複数の未採点解答データを、同一の解答内容ごとに分類して、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群を作成する未採点解答群形成手段と、複数の未採点解答パタン群からなる採点用群リストを、それぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を採点者に示すように、表示部上に表示させる未採点解答群リスト形成手段であって、未採点解答群リスト形成手段は、自然言語処理の技術に基づいて、基準となる基準解答内容に対する、未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に前記採点用群リストの未採点解答パタン群を並べた採点用群リストを、表示部に表示させる未採点解答パタン群並べ機能を有する未採点解答群リスト形成手段と、表示部に表示されている採点用群リスト上の複数の未採点解答パタン群のうち、操作部による範囲選択操作により選択された未採点解答パタン群を、同一の採点情報を付加可能な状態に設定する未採点解答パタン群範囲選択手段と、選択された未採点解答パタン群に対し、操作部の採点情報設定操作により設定された採点情報を一括して付加して、選択された未採点解答パタン群を採点済解答パタン群に変更する採点済解答パタン群形成手段と、操作部による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群を並べた採点用群リストを表示部に表示させる未採点解答パタン群検索リスト形成手段と、未採点解答群リスト形成手段の未採点解答パタン群並べ機能により類似度の高い順に未採点解答パタン群を並べた採点用群リスト上で採点を行う第１採点モードと、未採点解答パタン群検索リスト形成手段により未採点解答パタン群を並べた採点用群リスト上で採点を行う第２採点モードとを、切替えることができ、且つ、第１採点モード及び第２採点モードのいずれにおいても、同じ試験問題に対する未採点解答パタン群に対して、採点情報を付加することができるモード切替手段とを有していることを特徴としている。
このように構成された本発明によれば、未採点解答群形成手段が記憶装置に記憶された複数の未採点解答データを、同一の解答内容ごとに分類することにより、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群を作成し、さらに、未採点解答群リスト形成手段が複数の未採点解答パタン群からなる採点用群リストを、それぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を採点者に示すように、表示部上に表示させる。
さらに、未採点解答群リスト形成手段が、自然言語処理の技術に基づいて、基準となる基準解答内容に対する、未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に採点用群リストの未採点解答パタン群を並べた採点用群リストを、表示部に表示させる機能を有する。
さらに、未採点解答パタン群範囲選択手段が表示部に表示されている採点用群リスト上の複数の未採点解答パタン群のうち、操作部による範囲選択操作により選択された未採点解答パタン群を、同一の採点情報を付加可能な状態に設定することができる。
さらに、採点済解答パタン群形成手段が選択された未採点解答パタン群に対し、操作部の採点情報設定操作により設定された採点情報を一括して付加して、選択された未採点解答パタン群を採点済解答パタン群に変更することができる。
従って、同一の解答内容を有する未採点解答データを各々有する未採点解答パタン群をそれぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を表示部上に表示させ、且つ基準解答内容に対する未採点解答パタン群の解答内容の類似度を判断し、同様の採点情報が付加される可能性の高い類似している複数の未採点解答パタン群を比較的近くの位置に並べた前記採点用群リストを表示させる。よって、採点用群リスト上において上述のように表示された複数の未採点解答パタン群のうち操作部による範囲選択操作により選択された未採点解答パタン群に採点情報を一括して付加することができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。
さらに、未採点解答パタン群検索リスト形成手段が、操作部による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群を並べた採点用群リストを表示部に表示させることができる。従って、未採点解答パタン群をそれぞれの解答内容の全部の語句が見える状態で表示部に並べて表示させ、且つ同様の採点情報が付加される可能性の高い検索キーワードを含む及び/又は含まない等の複数の未採点解答パタン群に採点情報を一括して付加することができ、多数の受験者が受験する試験により生じる大量の記述式の解答に対して、採点者が多数の解答の内容を確認しながら正確且つ効率的に採点することができる。
さらに、モード切替手段は、第１採点モード及び第２採点モードのいずれにおいても、同じ試験問題に対する未採点解答パタン群に対して、採点情報を付加することができる。よって、例えば、特定の基準解答内容に類似している未採点解答パタン群が多く存在することにより第１採点モードにより効率的に採点ができる場合や、特定の未採点解答パタン群が多く存在することにより第２採点モードにより効率的に採点ができる場合等、いずれかの採点モードによればより効率的に採点ができる場合においては、同じ試験問題に対する未採点解答パタン群の全部のうち、未採点解答パタン群の解答内容に応じて、より採点がしやすいモードにおいて効率的に採点を行うことができる。

Claims (10)

1. 記述式の試験問題に対する、単語又は文節を含む記述式の解答の手動の採点を補助する採点補助システムであって、
   未だ採点されていない未採点解答データ及び採点により採点情報の付加された採点済解答データを記憶する記憶装置と、
   採点を行うために少なくとも前記未採点解答データの解答内容を表示する表示部と、
   採点する操作を行うための操作部と、
   前記記憶装置に記憶された複数の未採点解答データを、同一の解答内容ごとに分類して、各解答内容の未採点解答データを各々有する複数の未採点解答パタン群を作成する未採点解答群形成手段と、
   複数の前記未採点解答パタン群からなる採点用群リストを、それぞれの未採点解答パタン群の解答内容の比較のために、それぞれの未採点解答パタン群の解答内容を採点者に示すように、前記表示部上に表示させる未採点解答群リスト形成手段であって、
   前記未採点解答群リスト形成手段は、自然言語処理の技術に基づいて、基準となる基準解答内容に対する、前記未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に前記採点用群リストの前記未採点解答パタン群を並べた前記採点用群リストを、前記表示部に表示させる未採点解答パタン群並べ機能を有する前記未採点解答群リスト形成手段と、
   前記表示部に表示されている前記採点用群リスト上の前記複数の未採点解答パタン群のうち、前記操作部による範囲選択操作により選択された未採点解答パタン群を、同一の採点情報を付加可能な状態に設定する未採点解答パタン群範囲選択手段と、
   選択された未採点解答パタン群に対し、前記操作部の採点情報設定操作により設定された採点情報を一括して付加して、前記選択された未採点解答パタン群を採点済解答パタン群に変更する採点済解答パタン群形成手段と、を有していることを特徴とする、採点補助システム。
2. さらに、前記操作部による検索キーワード設定操作により設定された検索キーワードに対して、所定の検索条件に応じて検索された未採点解答パタン群を並べた採点用群リストを前記表示部に表示させる未採点解答パタン群検索リスト形成手段を有する、請求項１に記載の採点補助システム。
3. さらに、前記未採点解答群リスト形成手段の前記未採点解答パタン群並べ機能により類似度の高い順に前記未採点解答パタン群を並べた前記採点用群リスト上で採点を行う第１採点モードと、前記未採点解答パタン群検索リスト形成手段により前記未採点解答パタン群を並べた前記採点用群リスト上で採点を行う第２採点モードとを、切替えることができ、且つ、前記第１採点モード及び前記第２採点モードのいずれにおいても、同じ試験問題に対する前記未採点解答パタン群に対して、採点情報を付加することができるモード切替手段を有する、請求項２に記載の採点補助システム。
4. さらに、前記採点用群リストにおいて、表示部に表示する未採点解答パタン群の数を所定の数に設定する表示制限手段を有する、請求項１乃至３の何れか１項に記載の採点補助システム。
5. さらに、前記採点用群リストにおいて、基準解答内容に含まれる語句と対応しない語句及び/又はその語句の背景を、色付けして表示する色付表示手段を有する、請求項１乃至４の何れか１項に記載の採点補助システム。
6. さらに、ある前記採点用群リストが作成された状態から、所定の指標に基づいて、前記採点用群リストの内容を調整する採点用群リスト調整手段を有する、請求項１乃至５の何れか１項に記載の採点補助システム。
7. 前記記憶装置は、同じ試験問題に対する未採点解答パタン群に対して独立して別に採点を行う他の採点者が、同じ各々の未採点解答パタン群に対して採点した別採点者採点済解答パタン群に付加されている別採点者採点情報を記憶し、
   前記採点補助システムは、さらに、前記未採点解答パタン群に対して採点した前記採点済解答パタン群に付加されている前記採点情報と、前記別採点者採点情報と、を比較し、両者の採点情報が一致した前記採点済解答パタン群を、評価確定済解答パタン群として決定する、評価確定手段を有する、請求項１乃至６の何れか１項に記載の採点補助システム。
8. さらに、前記採点済解答パタン群の解答内容と、前記採点用群リスト上の前記未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、前記採点用群リスト上の前記未採点解答パタン群に対して表示させる採点情報予測手段を備える、請求項１乃至７の何れか１項に記載の採点補助システム。
9. 前記採点情報予測手段は、予測される採点情報の予測結果を、採点情報の分類に応じて色分けして前記表示部に表示させる採点情報予測色分け手段を備える、請求項８に記載の採点補助システム。
10. 前記採点情報予測手段は、所定の語句と、前記採点用群リスト上の前記未採点解答パタン群の解答内容との類似度を判断することにより予測される採点情報の予測結果を、前記採点用群リスト上の前記未採点解答パタン群に対して表示させる早期採点情報予測手段を備える、請求項８に記載の採点補助システム。