JP2010078637A - 答案分類処理システム及び答案分類処理方法 - Google Patents

Abstract

【課題】質問文を列挙したチェックシートによって受験者の答案を分類する方法に関して、受験者の答案を効率よく、しかも正確に分類できる答案分類処理システム及びその方法を提供する。
【解決手段】二者択一の質問文を列挙したチェックボックスシートによって受験者の答案を分類する。サーバコンピュータ２２は質問文の作成及び修正入力を許容し、これにより作成又は修正された質問文データをチェックボックスシート記憶領域１５に上書きし、更に、チェックボックスシート記憶領域１５からチェックボックスシートの質問文データ及び答案記憶領域１４から答案の画像データの１つをクライアントコンピュータ２１に返信する。クライアントコンピュータ２１は、返信された答案の質問文に対する二択結果の入力を許容し、二択結果をチェックボックスシートの質問文データとともにサーバコンピュータ２２に送信し記憶装置１１の処理結果記憶領域１３に記憶させる。
【選択図】図５

Description

本発明は、複数の受験者の答案を分類するための答案分類処理システム及び答案分類処理方法に関し、特に、問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理システム及び答案分類処理方法に関する。

各種学校の入学試験などでは、模範解答との一致点及び相違点を判断する上で、与えられた問題文に対して答案に記載すべき特定の内容に関する質問文を複数列挙したチェックシートを用いて、効率よく受験者の答案を採点しようとする採点方法が採用されている。例えば、模範解答の一部をなす、特定の内容毎に、受験者の答案にこれが実質的に記載されているかどうかを問い掛ける質問文を複数列挙し、採点者が質問文毎にこれを判断して点数を与える。この点数の合計によって答案の採点が行われて、受験者の優劣が決定される。

ところで、このような答案の採点を複数の採点者によって行おうとすると、採点者毎に判断のばらつきが少なからず存在することから、採点者数が増えるにつれ、採点が不正確なものになってしまっていた。

上記に関連して、採点者の判断基準を統一して受験者の答案をより正確に採点しようとする採点システムが特許文献１に開示されている。１人の採点者による採点結果はシステム上で修正可能であって、複数の採点者間で採点結果が一致せず採点結果の客観性に疑問がある場合には、他の採点者の判断根拠を参照しながら採点結果を再評価し、これを修正できる。採点結果及び判断基準を複数の採点者が共有することで、自らが行った主観的な採点結果にとらわれず、様々な視点から答案を再評価できるのである。

一方、上記したような受験者の優劣を決定する試験に対して、国や地方自治体の教育指針を定めるような学力試験では、同様の試験によって、特定の学習項目に対する受験者の理解傾向を多面的に測定して、教育上の課題を抽出している。ここでは受験者の優劣を決定する「採点」よりも、受験者の答案を理解傾向に関連したグループに「分類」することが求められる。更に、このような分類試験では、数万人、数十万人、ときには数百万人といった規模の受験者数で、しかも「記述式」による試験を行って、受験者の答案を分類して教育上の課題を抽出しなければならないことがある。かかる多数の「記述式」による答案を数人の測定者だけで処理することは時間的制約から不可能であって、少なからず判断のばらつきのある測定者を多数採用して、分担して測定を行う必要がある。そして、これらの測定結果を統合して受験者の答案を分類せざるを得ないから、分類が不正確になってしまいがちであった。
特開２００６−２７７０８６号公報

上記した分類試験において、特許文献１に開示のシステムの如く、他の測定者の判断根拠を参照して判断基準を統一しようとしても、測定者数が多くなってしまうと判断基準の統一は困難である。判断基準の統一の困難な多数の測定者による答案の分類においては、測定者数が増えるにつれて答案の分類が不正確になっていく。また、他の測定者の判断根拠を参照する作業は、答案の測定処理の効率を大幅に低下させることもある。

更に、上記した分類試験であっても、質問文を複数列挙したチェックシートを用いて、効率よく受験者の答案を分類しようとする分類処理方法が考慮される。しかしながら、チェックシートは、「模範解答」のような１つの解答例に対する答案の相対的な類似度を測定するツールであって、複数の解答例に分類する分類試験では処理効率が必ずしも高まるとは言えない。つまり、分類試験では、分類すべき複数の解答例毎にチェックシートを作成して、各答案に対してこれらでチェックを行って、各答案が相対的にどの解答例に最も類似しているかによって答案全体の分類処理を行うのである。故に、答案の数に分類すべき解答例数を乗じた回数だけのチェックシートのチェックを行わなければならず、結果として、処理効率は決して高いものではない。

本発明は、上記したような状況に鑑みてなされたものであって、その目的とするところは、質問文を複数列挙したチェックシートによって受験者の答案を分類する方法に関して、多くの受験者の答案を効率よく、しかも正確に分類できる答案分類処理システム及びその方法を提供することである。

本願発明者は、上記したような分類試験では、特定の学習項目に対する受験者の理解傾向をあらかじめ予想して複数の測定項目を作成した上で、これらが受験者の答案に記載され得るよう、問題文が作成されていることに注目して本願発明に至った。

すなわち、本発明によるシステムは、問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理システムであって、前記答案を画像データとして記憶した答案記憶領域、前記チェックボックスシートの質問文データを記憶するためのチェックボックスシート記憶領域、及び、前記答案の前記質問文に対する二択結果を記憶するための処理結果記憶領域を含む記憶装置を有するサーバコンピュータと、前記サーバコンピュータに接続された複数のクライアントコンピュータと、を含み、前記サーバコンピュータは、前記チェックボックスシートの前記質問文の作成及び修正入力を許容しこれにより作成又は修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きし、更に、前記クライアントコンピュータからの処理要求信号に応じて該クライアントコンピュータへ向けて前記記憶装置の前記チェックボックスシート記憶領域から前記チェックボックスシートの前記質問文データ及び前記答案記憶領域から前記答案の画像データの１つを返信し、前記クライアントコンピュータは、前記処理要求信号を前記サーバコンピュータに送信しこれに応じて返信された前記答案の前記質問文に対する二択結果の入力を許容し、前記二択結果を前記サーバコンピュータに送信し前記記憶装置の前記処理結果記憶領域に記憶させる、ことを特徴とする。

かかるシステムによれば、複数の受験者の答案は、問題に反映された測定項目に関して二者択一の質問文を複数列挙した単一のチェックボックスシートによって分類され、しかもチェックボックスシートの質問文が測定者により特定の答案に対する二択結果にばらつきが生じないように修正されつつ、分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

上記したシステムにおいて、前記サーバコンピュータは、前記記憶装置の前記答案記憶領域に記憶した前記答案の画像データの１つを前記クライアントコンピュータのうちの複数に返信し、前記記憶装置の前記処理結果記憶領域の複数の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きすることを特徴とする。

かかるシステムによれば、複数の測定者間で特定の答案、すなわち１つの画像データに対する二択結果が常に同一となるようにチェックボックスシートの質問文を修正しつつ分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

更に、上記した他のシステムでは、前記サーバコンピュータは、前記記憶装置の前記答案記憶領域に記憶した未処理の前記答案の画像データの１つを前記クライアントコンピュータの１つに返信し、前記サーバコンピュータにおいて前記答案の前記質問文に対する二択結果の入力を許容し、これと前記記憶装置の前記処理結果記憶領域の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きすることを特徴としてもよい。

かかるシステムによれば、問題作成者等と測定者との間で特定の答案、すなわち１つの画像データに対する二択結果が常に同一となるようにチェックボックスシートの質問文データを修正しつつ分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

更に、本発明による方法は、問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理方法であって、前記答案を画像データとして記憶した答案記憶領域、前記チェックボックスシートの質問文データを記憶するためのチェックボックスシート記憶領域、及び、前記答案の前記質問文に対する二択結果を記憶するための処理結果記憶領域を含む記憶装置を有するサーバコンピュータと、前記サーバコンピュータに接続された複数のクライアントコンピュータと、を準備するステップと、前記サーバコンピュータにおいて、前記チェックボックスシートの前記質問文の作成入力を許容しこれにより作成された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に記憶するステップと、前記クライアントコンピュータからの処理要求信号に応じて該クライアントコンピュータへ向けて前記記憶装置の前記チェックボックスシート記憶領域から前記チェックボックスシートの前記質問文データ及び前記答案記憶領域から前記答案の画像データの１つを返信するステップと、前記チェックボックスシートの前記質問文の修正入力を許容しこれにより修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴とする。

かかる方法によれば、複数の受験者の答案は、問題に反映された測定項目に関して二者択一の質問文を複数列挙した単一のチェックボックスシートによって分類され、しかもチェックボックスシートの質問文が測定者による特定の答案に対する二択結果にばらつきが生じないように修正されつつ、分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

上記した方法では、前記クライアントコンピュータにおいて、前記処理要求信号を前記サーバコンピュータに送信するステップと、これに応じて返信された前記答案の前記質問文に対する二択結果の入力を許容し、前記二択結果を前記サーバに送信し前記記憶装置の前記処理結果記憶領域に記憶させるステップと、を含むことを特徴としてもよい。

かかる方法によれば、処理要求信号をサーバコンピュータに送信したクライアントコンピュータのみで二択結果の入力処理が行われ得るので、測定者の処理速度に応じて確実に二択結果の入力処理を行うことが出来る。つまり、結果として、多くの受験者の答案をより正確に効率よく分類できるのである。

上記方法では、前記サーバコンピュータにおいて、前記記憶装置の前記答案記憶領域に記憶した前記答案の画像データの１つを前記クライアントコンピュータの複数に返信するステップと、前記記憶装置の前記処理結果記憶領域の複数の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴としてもよい。

かかる方法によれば、複数の測定者間で特定の答案、すなわち１つの画像データに対する二択結果が常に同一となるようにチェックボックスシートの質問文を修正しつつ分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

上記方法では、前記サーバコンピュータにおいて、前記記憶装置の前記答案記憶領域に記憶した未処理の前記答案の画像データの１つを前記クライアントコンピュータの１つに返信し、これとともに前記サーバコンピュータにおいても前記答案の前記質問文に対する二択結果の入力を許容するステップと、入力された二択結果と前記記憶装置の前記処理結果記憶領域の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴としてもよい。

かかる方法によれば、問題作成者等と測定者との間で特定の答案、すなわち１つの画像データに対する二択結果が常に同一となるようにチェックボックスシートの質問文を修正しつつ分類処理を進めることができる。故に、多くの測定者によって測定を行っても分類処理を正確に出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

上記したように、判断基準の統一の困難な多数の測定者による答案の分類においては、測定者数が増えるにつれて答案の分類が不正確になっていくが、本発明によるチェックボックスシートを用いた答案の分類は、測定者数にかかわらず、常に一定の精度を有するのである。

まず、問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理方法についてその原理を図を用いて説明する。

図１に示すように、所定の学年において習得することを定められている学習項目α_１〜α_ｎの中から学習項目α_ｍを選択して、測定の基礎となる問題Ｑを作成する。この特定の学習項目α_ｍに対する受験者の理解傾向、すなわち特定の学習項目α_ｍを習得するのに必要な、これを細分化した学習要素（例えば、かけ算、足し算、因数分解、方程式の立式、漢字、熟語、各種文法など）ａ_１〜ａ_ｎ毎の受験者全体の得意又は不得意の如き理解度を予測して、学習要素の中から複数の測定項目ａ_１〜ａ_ｍを決定する。問題Ｑは、測定項目ａ_１〜ａ_ｍを含むように設定条件を逐次修正しつつ作成される。これとともに、問題Ｑを解く受験者の答案に測定項目ａ_１〜ａ_ｍに関する記載が含められ得るよう、問題Ｑについての問題文ｑの表現などの詳細が修正・決定される。

ところで、分類試験では、上記した特定の学習項目α_ｍに対する受験者の理解傾向をあらかじめ予測しておく必要がある。例えば、受験者の理解傾向の予測が出来なければ、受験者の理解傾向と出題する問題Ｑとの間に大きな差が出来てしまって、目的とする答案の分類が出来なくなってしまう。例えば、極端に言えば、いわゆる問題の「難度」が受験者の理解傾向に比して極めて高ければ、多くの受験者の答案が白紙になってしまうのである。

なお、測定項目ａ_１〜ａ_ｍ同士の内容の類似性が高いほど、特定の学習項目α_ｍに対する受験者の測定される理解傾向の「きめ」が細かくなるが、高すぎると後述する受験者の答案の分類が曖昧となって、必ずしも測定精度が高いとは限らなくなる。逆に、測定項目ａ_１〜ａ_ｍ同士の内容の類似性が低すぎると、答案の分類は明確になるが、測定される理解傾向の「きめ」が荒くなる。

図２に示すように、受験者の答案における各測定項目ａ_１〜ａ_ｍに関する記載、つまり受験者の測定項目ａ_１〜ａ_ｍにおける処理をそれぞれ想定して各解答例ＭＡ_１〜ＭＡ_ｎを作成する。上記したように、問題文ｑは、受験者の答案における測定項目ａ_１〜ａ_ｍに関する記載を想定して作成されているから、逆に、必ず測定項目ａ_１〜ａ_ｍにおける受験者の処理を想定した解答例ＭＡ_１〜ＭＡ_ｎが作成できる。このとき、例えば、測定項目ａ_１に関する記載が後に記載される測定項目ａ_２に関する記載に影響を与えるのであれば、これを反映させた解答例を作成する。つまり、各解答例ＭＡ_１〜ＭＡ_ｎには、複数の測定項目ａ_１〜ａ_ｍにおける処理の組合せが反映されている。

次に、図３を併せて参照して、各受験者の答案ＴＡ_１〜ＴＡ_ｎが複数の解答例ＭＡ_１〜ＭＡ_ｎのいずれに最も相対的に類似しているかをチェックボックスシート５０によって測定し、分類を行う。

図４に示すように、チェックボックスシート５０は、問題に反映された測定項目ａ_１〜ａ_ｎに関して二者択一の質問文ＣＱ_１〜ＣＱ_ｎを複数列挙した質問シートである。ここでチェックボックスシート５０の質問文ＣＱ_１〜ＣＱ_ｎに対しては、少なくとも二者択一でチェックされ得て、測定者による内容の判断裁量を減じて、一定レベルの測定者であればどの測定者によっても同一の答案に対しては同じ判断結果となり得るように作成されていることが好ましい。詳細は後述するが、質問文ＣＱ_１〜ＣＱ_ｎは、受験者の答案ＴＡ_１〜ＴＡ_ｎに特定の内容が実質的に記載されているかを問うものではなく、直接に記載されているかどうかを問うものが好ましい。

例えば、形式的側面からの質問内容として、数学であれば解法や公式の選択について、語学であれば受動態や能動態といった態や構文の選択について、特定の学科分野によらないものとしては文章の記載の有無や分量を問うものが挙げられる。また、言語的側面からの質問内容として、数学であれば特定の数値や式、語学であれば特定の単語や連語などを問うものが挙げられる。チェックボックスシート５０の各質問文ＣＱ_１〜ＣＱ_ｎに対する二択結果は、解答例ＭＡ_１〜ＭＡ_ｎ毎に異なるように、質問文ＣＱ_１〜ＣＱ_ｎの元となる質問内容が繰り返し変更される。なお、上記した言語的側面の質問内容においては、解答例同士を比較して、その相違点から質問内容を作成又は変更し得る。質問内容を確定した上でこれに対応して質問文ＣＱ_１〜ＣＱ_ｎが作成される。

以上により、問題に反映された測定項目ａ_１〜ａ_ｍに関して二者択一の質問文ＣＱ_１〜ＣＱ_ｎを複数列挙したチェックボックスシート５０が作成される。更に、質問文ＣＱ_１〜ＣＱ_ｎは、特定の答案に対する二択結果が一定レベルの測定者であればどの測定者によっても同じ判断結果となり得るように適宜、修正される。

各受験者の答案ＴＡ_１〜ＴＡ_ｎにおける質問文ＣＱ_１〜ＣＱ_ｎに対する二択結果が収集され、解答例ＭＡ_１〜ＭＡ_ｎにおける質問文ＣＱ_１〜ＣＱ_ｎに対する二択結果と比較される。つまり、解答例ＭＡ_１と同じ二択結果を有する答案ＴＡ_３は、測定項目ａ_１〜ａ_ｍにおいて解答例ＭＡ_１と同じ判断をした群に分類されるのである。各解答例ＭＡ_１〜ＭＡ_ｎに分類された答案の数などから、特定の学習項目α_ｍに対する受験者の理解傾向を確定し、教育上の課題を抽出するのである。

次に、上記したチェックボックスシート５０を用いた処理を行うための答案分類処理システム１及びこれによる受験者毎の答案を分類処理する方法について詳細を説明する。

［システム］
図５に示すように、答案分類処理システム１は、インターネット回線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線２０によって接続された複数のクライアントコンピュータ２１−１〜ｎ及び問題作成者等によって使用されるサーバコンピュータ２２を含む。サーバコンピュータ２２は問題文記憶領域１２、処理結果記憶領域１３、答案記憶領域１４及びチェックボックスシート記憶領域１５などを有する記憶装置１１を備える。また、サーバコンピュータ２２は、モニタ２２ａ及びキーボード２２ｂを有するとともに、図示しないスキャナなどの入力装置を有する。

［問題作成］
図６に示すように、例えば、所定の学年において習得することを定められている学習項目「三平方の定理」について、測定の基礎となる問題Ｑを作成する。ここで学習要素としては、（１）三平方の定理の公式を導くこと、（２）一元二次方程式を解くこと、（３）指数を含む足し算を正確に行うこと、（４）等式の移項を正確に行うこと、など多くの要素が挙げられる。これらの中から、測定項目として、（１）三平方の定理の公式を導くこと、及び、（２）一元二次方程式を解くこと、の２点を決定した。

そこで、問題Ｑについて、測定項目（１）及び（２）に関する「直角三角形の直角を挟む２辺の長さを具体的に与え、三平方の定理の公式を記載させ、その上でこの一元二次方程式を解いて斜辺の長さを求めさせる。」という問題を作成した。これとともに、問題Ｑを解く受験者の答案に測定項目（１）及び（２）に関する記載が含められ得るよう、具体的数値及び具体的な図形形状を与えて、「直角三角形の直角を挟む２辺の長さがそれぞれ１ｃｍと２ｃｍである場合、斜辺の長さを求めなさい。」なる問題文を作成した。更に、受験者に三平方の定理の計算をした上で答えを導かせるよう、「直角三角形の直角を挟む２辺の長さがそれぞれ１ｃｍと２ｃｍである場合、斜辺の長さをｘｃｍとしたときのｘを方程式を導いて求めなさい。」と問題文を変更して、一元二次方程式を使って答えを導く過程の記載を促して問題文ｑを得た。この問題文ｑをサーバコンピュータ２２のキーボード２２ｂ若しくは図示しないスキャナなどから入力し、記憶装置１１の問題文記憶領域１２に記憶させる。

次に、図７に示すように、測定項目（１）及び（２）に関する受験者の処理を想定して解答例ＭＡ_１〜ＭＡ_５を作成した。解答例ＭＡ_１〜ＭＡ_５はサーバコンピュータ２２の図示しないスキャナなどから入力し、画像データ識別符号Ａ１〜Ａ５をそれぞれ付して画像データとして答案記憶領域１４に記憶させる。

さらに、図８に示すように、測定項目（１）及び（２）に関する二者択一の質問文ＣＱ_１〜ＣＱ_５を作成し、これを列挙したチェックボックスシート５０を得る。質問文ＣＱ_１は測定項目（２）について、質問文ＣＱ_５は測定項目（１）及び（２）に関する形式的側面からの質問内容である。また、質問文ＣＱ_２〜ＣＱ_４は測定項目（１）に関する言語的側面からの質問内容である。チェックボックスシート５０では、質問文ＣＱ_１〜ＣＱ_５に対応してチェック欄５２_１〜５２_５が設けられている。このチェックボックスシート５０は、データとしてチェックボックスシート記憶領域１５に記憶させる。

なお、上記したように、チェックボックスシート５０の各質問文ＣＱ_１〜ＣＱ_５に対する二択結果は、解答例ＭＡ_１〜ＭＡ_５毎に異なる。二択結果のチェックパターン（チェックの有無の組合せ）は、チェック有りを「○」、チェックなしを「×」で表示すると、順に以下の通りとなる。
ＭＡ_１：（○、○、○、×、○）
ＭＡ_２：（○、○、×、×、○）
ＭＡ_３：（×、○、×、×、○）
ＭＡ_４：（○、×、×、○、○）
ＭＡ_５：（×、×、×、×、×）
この二択結果は記憶装置１１の処理結果記憶領域１３に画像データ識別符号Ａ１〜Ａ５を付して記憶させる。

以上を終えた上で、ｊ人の受験者に問題文ｑを与えて、これに対する受験者の答案ＴＡ_１〜ＴＡ_ｊを得た。これらはサーバコンピュータ２２の図示しないスキャナなどから入力し、画像データ識別符号Ａ６〜Ａ５＋ｊを付した画像データとして答案記憶領域１４に記憶させる。

［初期設定］
まず、図９に示すように画像データ毎のクライアントコンピュータ２１への送信回数を設定するための送信設定ファイル５３を記憶装置１１の所定領域に作成する。

詳細には、画像データ識別符号Ａｘ（１≦ｘ≦５＋ｊ）に対応する画像データ毎のクライアントコンピュータ２１への送信回数Ｎ（ｘ）（但し、この値はクライアントコンピュータ２１の総台数以下である。）がサーバコンピュータ２２のキーボード２２ｂから入力される。つまり、「０」を入力した画像データはクライアントコンピュータ２１へは送信されない。

ここでは、質問文ＣＱ_１〜ＣＱ_５を修正するために、解答例ＭＡ_１〜ＭＡ_５から任意に選択した２つの解答例ＭＡ_１及びＭＡ_３（対応する画像データ識別符号Ａ１及びＡ３）について、それぞれｎ（≧２０）台のクライアントコンピュータ２１のうちの２０台にてチェックボックスシート５０の質問文ＣＱ_１〜ＣＱ_５に対する二択結果を収集する場合について説明する。管理者は、サーバコンピュータ２２のキーボード２２ｂを操作して、Ｎ（１）及びＮ（３）にそれぞれ「２０」を入力し、他の送信回数欄Ｎ（ｘ）には「０」を入力する。

［質問文ＣＱ_１〜ＣＱ_ｎの第１の修正］
上記したように、チェックボックスシート５０の質問文ＣＱ_１〜ＣＱ_５は、少なくとも二者択一でチェックされ得て、一定レベルの測定者であれば、どの測定者によっても同一の答案に対して同じ判断結果となり得るように作成される。すなわち、１つの解答例ＭＡ_ｍに対する二択結果は、測定者によらず、問題作成時に得られている二択結果と同じとなるよう、問題作成者等によって質問文ＣＱ_１〜ＣＱ_５が修正される。

［１］サーバコンピュータにおける画像データの送受信
図１０に示すように、各クライアントコンピュータ２１−１〜ｎへの画像データ識別符号Ａｘ（１≦ｘ≦５＋ｊ）に対応する画像データの送信記録がマトリクスＭ（１，１）〜Ｍ（ｎ，５＋ｊ）に作成される。すなわち、クライアントコンピュータ２１−ｘへの画像データ識別符号Ａｑに対応する画像データの送信の有無は、マトリクスＭ（ｘ，ｑ）に記録される。未だ対応する画像データを送信していないマトリクスには、初期状態の０を記録し、画像データを送信すると１がこれに上書きされる。また、上記した送信設定ファイル５３に従って、画像データの送信されることのない対応するマトリクスについては、非アクティブ（書き換え不可能）として「＊」マークが記録される。なお、マトリクスの右横欄には、各画像データ毎の既に送信済みの送信回数ＮＮ（ｘ）（１≦ｘ≦５＋ｊ）が自動的に集計される（図１１も併せて参照）。

翻って、図９を参照すると、送信設定ファイル５３において、送信回数Ｎ（ｘ）が１以上である画像データは、Ｎ（ｘ）台のクライアントコンピュータへ送信される。つまり、図１１に示すように、送信管理ファイル６０における画像データ識別符号Ａ１及びＡ３に関するマトリクスＭ（１，１）〜Ｍ（ｎ，１）及びＭ（１，３）〜Ｍ（ｎ，３）に対応する画像データの送信が可能であって、かかるマトリクスはアクティブ（書き換え可能）に作成され、初期状態の送信無し＝０が記録される。これ以外のマトリクスについては、非アクティブとして「＊」マークが記録される。このとき、送信済みの送信回数ＮＮ（１）及びＮＮ（３）は０であり、それ以外は＊である。

この図１１に示す送信管理ファイル６０を用いて、図１２〜図１４に示すように、データ処理ルーチンＳ１、処理データ返信ルーチンＳ１２及び処理データ記憶ルーチンＳ１４を行って、クライアントコンピュータ２１への画像データの送・受信が行われる。

図１２に示すように、データ処理ルーチンＳ１では、特定のクライアントコンピュータ２１−Ｕから処理要求信号Ｄ１をサーバコンピュータが受信した場合（Ｓ１１、Ｙ）、処理データ返信ルーチンＳ１２へ移行する。他方、特定のクライアントコンピュータ２１−Ｖから処理結果送信信号Ｄ２をサーバコンピュータが受信した場合（Ｓ１３、Ｙ）、処理データ記憶ルーチンＳ１４へ移行する。なお、処理要求信号Ｄ１及び処理結果送信信号Ｄ２にはそれぞれ当該信号を送信したクライアントコンピュータを識別するためのクライアント識別符号Ｕ及びＶがそれぞれ含まれる。

図１３に示すように、処理データ返信ルーチンＳ１２では、クライアントコンピュータ２１−Ｕに送信すべき画像データを送信管理ファイル６０（図１１参照）を用いて検索する。図１１を併せて参照すると、処理要求信号Ｄ１に含まれるクライアント識別符号Ｕに対応するＭ（Ｕ，Ｉ）（Ｉはパラメータであり、１〜５＋ｊの整数である。）について、Ｉ＝１から順に、すなわち、送信管理ファイル６０のＵ列を上から下に検索し、Ｍ（Ｕ，Ｉ）が０であって（Ｓ１２−４、Ｙ）、送信済みの送信回数ＮＮ（Ｉ）が送信設定ファイル５３において設定された送信回数Ｎ（Ｉ）に達していない場合（Ｓ１２−５、Ｙ）、Ｍ（Ｕ，Ｉ）に対応する画像データを答案記憶領域１４から、また、チェックボックスシート５０をチェックボックスシート記憶領域１５から、クライアント識別符号Ｕに基づいて、クライアントコンピュータ２１−Ｕに送信する（Ｓ１２−６）。これとともに、マトリクスＭ（Ｕ，Ｉ）に送信済みであることを記録する「１」を記録する（Ｓ１２−７）。これを繰り返し、パラメータＩが５＋ｊとなった場合、すなわち、送信管理ファイル６０のＵ列の一番下に達しても送信すべき画像ファイルが検索できなかった場合は（Ｓ１２−３、Ｎ）、クライアント識別符号Ｕに基づいて、クライアントコンピュータ２１−Ｕに返信できる画像データのないことを伝える処理不要信号Ｄ３を送信する（Ｓ１２−８）。その後、データ処理ルーチンＳ１に戻り、繰り返し処理要求信号Ｄ１の受信を行う。一方、データ処理ルーチンＳ１において、送信設定ファイル５３で設定された送信すべき画像データ数、すなわちＮ（Ｉ）の総数に、送信済みの送信回数、すなわちＮＮ（Ｉ）の総数が達して画像データの送信が完了した場合には、もはや処理要求信号Ｄ１の受信を行わない（Ｓ１５、Ｙ）。

一方、図１４に示すように、処理データ記憶ルーチンＳ１４では、クライアントコンピュータ２１−Ｖから受信したチェックボックスシート５０（質問文ＣＱ_１〜ＣＱ_５）に対する二択結果をクライアント識別符号Ｖ及び画像データ識別符号を付して記憶装置１１の処理結果記憶領域１３に記憶させて（Ｓ１４−１）、データ処理ルーチンＳ１に戻り、繰り返し処理結果送信信号Ｄ２の受信を行う。なお、データ処理ルーチンＳ１において、送信設定ファイル５３で設定された送信すべき画像データ数、すなわちＮ（Ｉ）の総数に、Ｄ２の受信回数が達して処理結果の受信が完了した場合には、もはや処理結果送信信号Ｄ２の受信を行わない（Ｓ１６、Ｙ）。

［２］クライアントコンピュータによる画像データの送信要求及び受信
クライアントコンピュータ２１は、サーバコンピュータ２２へ処理すべき画像データ及びチェックボックスシート５０の送信を要求し、これに対して返信された画像データをチェックボックスシート５０で処理し、処理結果をサーバコンピュータ２２へ送信する。

詳細には、図１５に示すように、クライアント処理ルーチンＳ２において、クライアントコンピュータ２１−Ｕは、これを識別するためのクライアント識別符号Ｕを含む処理要求信号Ｄ１をサーバコンピュータ２２に向けて送信し（Ｓ２０）、サーバコンピュータ２２からのデータの返送を待つ（Ｓ２１）。

返送されたデータが処理不要信号Ｄ３を付されていた場合は（Ｓ２２、Ｙ）、処理すべき画像データのない旨のメッセージ、例えば「処理できるデータがありません」の如き表示をして（Ｓ２３）、処理を終了する。

一方、サーバコンピュータ２２から画像データ及びチェックボックスシート５０（質問文ＣＱ_１〜ＣＱ_５）を返送された場合は（Ｓ２２、Ｎ）、図１６に示すように、処理データを画面に表示する（Ｓ２４）。そして測定者によるチェックボックスシート５０のチェック欄５２へのチェックの入力を受付ける（Ｓ２５）。入力はマウス等の入力装置の操作により画面上のポインタ３０を移動させて行う。

画面上の入力完了ボタン３１及びデータ送信ボタンをポインタ３０によって操作し、チェックが終了した旨を入力すると（Ｓ２６、Ｙ→Ｓ２７、Ｙ）、クライアント識別符号を含む処理結果送信信号Ｄ２、処理された画像データの画像データ識別符号を付した二択結果をサーバコンピュータ２２へ向けて送信する（Ｓ２８）。

クライアントコンピュータ２１では、この一連の動作を繰り返し行う。

［３］サーバコンピュータにおける質問文の修正
図１７に示すような、質問文の修正箇所を表示するための照合ファイル５４を記憶装置１１の所定領域に作成するとともに、サーバコンピュータ２２のモニタ２２ａに表示する。ここでは、問題作成時に同時に作成された質問文ＣＱ_１〜ＣＱ_５に対する解答例ＭＡ_１〜ＭＡ_５の二択結果が二択結果表示欄３５に横に並べて表示される。各二択結果の下にはそれぞれ集計欄３６を備え、記憶装置１１の処理結果記憶領域１３に記憶されたクライアントコンピュータ２１によって得られた二択結果と比較した結果を集計して表示する。なお、クライアントコンピュータ２１に送信されなかった画像データ（画像データ識別符号Ａ２、Ａ４及びＡ５）に対応する欄には全て「＊」が記入されている。

詳細には、処理結果記憶領域１３に記憶されているクライアントコンピュータ２１から得られた二択結果を順次、対応する二択結果表示欄３５の二択結果、すなわち問題作成時に作成された二択結果と質問文毎に比較する。同一の画像データ毎に且つ質問文毎に互いの二択結果が異なっている数を照合ファイル５４の集計欄３６に表示する。ここでは照合ファイル５４の解答例ＭＡ_３に対する質問文ＣＱ_５の二択結果は、２台のクライアントコンピュータ２１からのものと問題作成時に入力されたものとが異なっていたことを表している。このように集計欄３６の数が１以上となった欄及び対応する質問文の欄をハイライト表示する（図１８参照）。

図１８に示すように、対応する集計欄３７の「２」がハイライト表示され、解答例ＭＡ_３、及び質問文ＣＱ_５がサーバコンピュータ２２のモニタ２２ａに表示される。ＣＱ_５の「１つ以上の式の記載あり」という質問文に対して、解答例ＭＡ_３では計算式が記載されているから、これに対する二択結果は、チェック有り（二択結果「○」）と問題作成時に決定している。一方、２台のクライアントコンピュータでは、質問文ＣＱ_５の「１つ以上の式」という表現に対して「式」の意味に違った解釈を与えたと推測される。そこで、これを「式の記載あり」というより簡潔な質問文ＣＱ_５’に修正して、図１９に示すような、修正したチェックボックスシート５０’を得た。なお、修正した質問文ＣＱ_５’はチェックボックスシート記憶領域１５に上書きされる。

以上、ここでは解答例ＭＡ_３に対する質問文ＣＱ_５の修正を行ったが、解答例ＭＡ_１〜ＭＡ_５の１つ若しくは複数に亘って繰り返し質問文ＣＱ_１〜ＣＱ_５の修正を行っても良い。

［質問文ＣＱ_１〜ＣＱ_ｎの第２の修正］
「第２の修正」では、受験者の答案ＴＡ_１〜ＴＡ_ｊの１つについて、複数のクライアントコンピュータ２１にて得られるチェックボックスシート５０の質問文ＣＱ_１〜ＣＱ_ｎに対する二択結果を収集する。問題作成者等は複数のクライアントコンピュータ２１における互いの二択結果の異なる質問文ＣＱ_１〜ＣＱ_ｎについて再度修正・確認を行う。

詳細は省略するが、例えば、上記した初期設定において、受験者の答案ＴＡ_１〜ＴＡ_ｊの１つの画像データが複数のクライアントコンピュータ２１に送信されるように、送信設定ファイル５３（図９参照）の送信回数Ｎ（ｘ）に複数回の送信回数を入力する。

「第１の修正」と同様に、サーバコンピュータ２２では送信管理ファイル６０に従ってデータ処理ルーチンＳ１を実行する。つまり、１つの受験者の答案の画像データを答案記憶領域１４から、且つ、チェックボックスシートをチェックボックスシート記憶領域１５から、複数のクライアントコンピュータ２１へ送信する。一方、クライアントコンピュータ２１ではクライアント処理ルーチンＳ２が実行される。その結果、サーバコンピュータ２２では、複数のクライアントコンピュータ２１による同一の受験者の答案についての二択結果を得ることができる。照合ファイル５４には、１つの受験者の答案の二択結果に対して異なる二択結果を得たクライアントコンピュータの台数が表示される。そして、異なる二択結果を得た質問文ＣＱの修正が行われ、修正された質問文ＣＱ’はチェックボックスシート記憶領域１５に上書きされる。

上記したように受験者の答案ＴＡ_１〜ＴＡ_ｊの１つ又は複数に亘って繰り返し質問文ＣＱ_１〜ＣＱ_ｎの修正を行い得る。解答例以外についても質問文の修正・確認を行うことで、より正確な答案の分類が出来るのである。

なお、本実施例では「第２の修正」は実施しない。

［答案分類処理］
次に修正したチェックボックスシート５０’（図１９参照）によって、受験者の答案を分類する。チェックボックスシート５０’によって得られる各受験者の答案の二択結果のチェックパターン（チェックの有無の組合せ）と解答例ＭＡ_１〜ＭＡ_５の二択結果のチェックパターンとを比較し、これらが互いに同一となる受験者の答案を解答例に反映された理解傾向として分類するのである。

詳細には、図５を参照して、管理者は、記憶装置１１の処理結果記憶領域１３をリセットする。その上で改めて問題作成時に作成した解答例ＭＡ_１〜ＭＡ_５に対する二択結果を処理結果記憶領域１３に記憶させる。次に、サーバコンピュータ２２によって、送信設定ファイル５３（図９参照）の受験者の答案ＴＡ_１〜ＴＡ_ｊのそれぞれに対応する画像データ識別符号Ａ６〜Ａ５＋ｊの送信回数欄に１を記入する。これにより受験者の答案ＴＡ_１〜ＴＡ_ｊがそれぞれクライアントコンピュータ２１へ１回ずつ送信される。次に、データ処理ルーチンＳ１（図１２参照）を実行し、チェックボックスシート５０’による受験者の答案ＴＡ_１〜ＴＡ_ｊについての二択結果をそれぞれ得る。詳細については省略する。

次に分類ルーチンを実行する。分類ルーチンでは、受験者の答案ＴＡ_１〜ＴＡ_ｊの二択結果のチェックパターンを順に調べて、解答例ＭＡ_１〜ＭＡ_５に同一のチェックパターンがある場合にはこれに分類する。ここで、例えば、図２０に示す分類ルーチンＳ６のように、解答例ＭＡ_１〜ＭＡ_５に同一のチェックパターンが存在しない場合は、同じチェックパターン同士の答案をまとめて分類するようにしてもよい。

分類ルーチンＳ６では、まず、後述する分類ファイル５６（図２１参照）をリセットし、「分類先の画像データ識別符号」欄を空白にする（Ｓ６０）。次に、画像データ識別符号Ａ６〜Ａ５＋ｊ（ＡＩ）の受験者の答案についてのチェックパターン（ＣＰ）のそれぞれを（Ｓ６１，Ｓ６９）、画像データ識別符号Ａ１〜Ａ５＋ｊの順に（Ｓ６２，Ｓ６３）画像データ識別符号ＡＩ−１となるまで（Ｓ６４）、チェックパターン同士を比較していく（Ｓ６５）。チェックパターン同士が一致したら、図２１に示す分類ファイル５６の前者の画像データ識別符号の「分類先の画像データ識別符号」欄に後者の画像データ識別符号を記録する。なお、記録された画像データ識別符号がＡ１〜Ａ５であるときは、解答例ＭＡ_１〜ＭＡ_５の二択結果のチェックパターンと同一であることを示している。また、画像データ識別符号ＡＩの受験者の答案についてのチェックパターンが画像データ識別符号ＡＩ−１についてのチェックパターンと比較するまでチェックパターン同士が一致しなかったら（Ｓ６４、Ｙ）、図２１に示す分類ファイル５６の画像データ識別符号ＡＩの「分類先の画像データ識別符号」欄には自らの画像データ識別符号である「ＡＩ」を記録する（Ｓ６８）。以後これと同一のチェックパターンがあった場合は「ＡＩ」に分類される。

以上により、分類を終了する。なお、図２２に示すように、分類先となった解答例及び受験者の答案の数を記入した集計ファイルを作成しても良い。

以上のように、本実施例によれば、チェックボックスシート５０の質問文ＣＱ_１〜ＣＱ_５を、その二択結果に測定者によるばらつきを生じないように修正できて、修正したチェックボックスシート５０’を用いて受験者の答案ＴＡ_１〜ＴＡ_ｊを分類することが出来る。また、解答例ＭＡ_１〜ＭＡ_５のうちの１つを複数のクライアントコンピュータ２２に返信して、複数の測定者による二択結果が常に同一になるようにチェックボックスシート５０の質問文ＣＱを修正し得る。さらに、問題作成者等と測定者との間で同一の受験者の答案についての処理結果を同一にするよう、チェックボックスシートを修正することができる。よって、多くの測定者によって測定を行なっても分類処理を正確にできる。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

一般に、判断基準の統一の困難な多数の測定者による受験者の答案の分類においては、測定者数が増えるにつれて受験者の答案の分類が不正確になっていく。しかし、本実施例においては、測定者による内容の判断を減じて判断のばらつきを生じないようにチェックボックスシート５０の質問文ＣＱを修正し得るので、測定者数にかかわらず、常に一定の精度を有するのである。

また、二択結果の入力処理を終了したクライアントコンピュータから順次、次の二択結果の入力処理が行われるので、他の測定者の処理速度に関係なく、各測定者の処理速度に応じて確実に二択結果の入力処理を行うことが出来る。つまり、多くの受験者の答案をより正確に効率よく分類できるのである。

なお、クライアント識別符号は測定者自身を識別する識別符号であってもよい。これにより、例えば測定者の認証をクライアントコンピュータ２１によって行なうなどしてもよく、また、複数のクライアントコンピュータ２１のいずれを使用しても解答例又は受験者の答案の測定を同一画像データの重複なしに実施できるのである。

以上、本発明による代表的実施例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、本発明の主旨又は添付した請求項の範囲を逸脱することなく種々の代替実施例及び改変例を見出すことができる。

本発明による答案分類処理方法についての原理の図である。 本発明による答案分類処理方法についての原理の図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理システムの図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法を示すフローチャートである。 本発明による答案分類処理方法を示すフローチャートである。 本発明による答案分類処理方法を示すフローチャートである。 本発明による答案分類処理方法を示すフローチャートである。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法を示すフローチャートである。 本発明による答案分類処理方法についての図である。 本発明による答案分類処理方法についての図である。

符号の説明

１１ 記憶装置
１３ 処理結果記憶領域
１４ 答案記憶領域
１５ チェックボックスシート記憶領域
２１ クライアントコンピュータ
２２ サーバコンピュータ
５０ チェックボックスシート
５３ 送信設定ファイル
５４ 照合ファイル
５５ 集計ファイル
５６ 分類ファイル
６０ 送信管理ファイル
ＣＱ 質問文
ＭＡ_１〜ＭＡ_ｎ 解答例
ＴＡ_１〜ＴＡ_ｎ 受験者の答案
Ａ１〜Ａ５＋ｊ 画像データ識別符号
Ｓ１ データ処理ルーチン
Ｓ２ クライアント処理ルーチン
Ｓ６ 分類ルーチン
Ｓ１２ 処理データ返信ルーチン
Ｓ１４ 処理データ記憶ルーチン

Claims (7)

1. 問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理システムであって、
   前記答案を画像データとして記憶した答案記憶領域、前記チェックボックスシートの質問文データを記憶するためのチェックボックスシート記憶領域、及び、前記答案の前記質問文に対する二択結果を記憶するための処理結果記憶領域を含む記憶装置を有するサーバコンピュータと、
   前記サーバコンピュータに接続された複数のクライアントコンピュータと、を含み、
   前記サーバコンピュータは、前記チェックボックスシートの前記質問文の作成及び修正入力を許容しこれにより作成又は修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きし、更に、前記クライアントコンピュータからの処理要求信号に応じて該クライアントコンピュータへ向けて前記記憶装置の前記チェックボックスシート記憶領域から前記チェックボックスシートの前記質問文データ及び前記答案記憶領域から前記答案の画像データの１つを返信し、
   前記クライアントコンピュータは、前記処理要求信号を前記サーバコンピュータに送信しこれに応じて返信された前記答案の前記質問文に対する二択結果の入力を許容し、前記二択結果を前記サーバコンピュータに送信し前記記憶装置の前記処理結果記憶領域に記憶させる、ことを特徴とする答案分類処理システム。
2. 前記サーバコンピュータは、前記記憶装置の前記答案記憶領域に記憶した前記答案の画像データの１つを前記クライアントコンピュータのうちの複数に返信し、前記記憶装置の前記処理結果記憶領域の複数の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きすることを特徴とする請求項１記載の答案分類処理システム。
3. 前記サーバコンピュータは、前記記憶装置の前記答案記憶領域に記憶した未処理の前記答案の画像データの１つを前記クライアントコンピュータの１つに返信し、前記サーバコンピュータにおいて前記答案の前記質問文に対する二択結果の入力を許容し、これと前記記憶装置の前記処理結果記憶領域の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きすることを特徴とする請求項１記載の答案分類処理システム。
4. 問題に反映された測定項目に関して二者択一の質問文を複数列挙したチェックボックスシートによって複数の受験者の答案を分類するための答案分類処理方法であって、
   前記答案を画像データとして記憶した答案記憶領域、前記チェックボックスシートの質問文データを記憶するためのチェックボックスシート記憶領域、及び、前記答案の前記質問文に対する二択結果を記憶するための処理結果記憶領域を含む記憶装置を有するサーバコンピュータと、前記サーバコンピュータに接続された複数のクライアントコンピュータと、を準備するステップと、
   前記サーバコンピュータにおいて、
   前記チェックボックスシートの前記質問文の作成入力を許容しこれにより作成された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に記憶するステップと、
   前記クライアントコンピュータからの処理要求信号に応じて該クライアントコンピュータへ向けて前記記憶装置の前記チェックボックスシート記憶領域から前記チェックボックスシートの前記質問文データ及び前記答案記憶領域から前記答案の画像データの１つを返信するステップと、
   前記チェックボックスシートの前記質問文の修正入力を許容しこれにより修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴とする答案分類処理方法。
5. 前記クライアントコンピュータにおいて、
   前記処理要求信号を前記サーバコンピュータに送信するステップと、
   これに応じて返信された前記答案の前記質問文に対する二択結果の入力を許容し、前記二択結果を前記サーバに送信し前記記憶装置の前記処理結果記憶領域に記憶させるステップと、を含むことを特徴とする請求項４記載の答案分類処理方法。
6. 前記サーバコンピュータにおいて、
   前記記憶装置の前記答案記憶領域に記憶した前記答案の画像データの１つを前記クライアントコンピュータの複数に返信するステップと、
   前記記憶装置の前記処理結果記憶領域の複数の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴とする請求項４又は５に記載の答案分類処理方法。
7. 前記サーバコンピュータにおいて、
   前記記憶装置の前記答案記憶領域に記憶した未処理の前記答案の画像データの１つを前記クライアントコンピュータの１つに返信し、これとともに前記サーバコンピュータにおいても前記答案の前記質問文に対する二択結果の入力を許容するステップと、
   入力された二択結果と前記記憶装置の前記処理結果記憶領域の二択結果を比較してこれらが異なるときに前記チェックボックスシートの前記質問文の修正入力を許容し修正された前記質問文データを前記記憶装置の前記チェックボックスシート記憶領域に上書きするステップと、を含むことを特徴とする請求項４又は５に記載の答案分類処理方法。