JP2021068127A - 文書確認システムおよび採点システム - Google Patents

Abstract

【課題】複数の確認者で文書を確認する場合に、確認のための判断基準を用意することなく、確認内容および判断の偏りやばらつきを抑制するシステムを実現し、特に採点システムにおいて、予め採点基準を用意することなく、複数採点者による採点のばらつきを軽減する。【解決手段】文書確認システムが適用された採点システムは、複数の採点者により個別に採点された同一の記述式問題の答案である採点済み答案を取得し、採点済み答案に記載された点数とこの点数の根拠となった記述を特定する印とを抽出し、抽出された採点済み答案ごとの点数および印の情報差異を含む採点情報が、予め定められた条件を満たす場合は採点結果を確定してデータベースに登録し、この採点情報が条件を満たさない場合は、採点結果を採点管理者に通知し、採点管理者の判断結果に基づき採点結果を確定してデータベースに登録する。【選択図】図４

Description

本発明は、文書確認システムおよび採点システムに関する。

文書の内容の確認を複数の確認者が行う場合、確認者間での確認の内容および判断の偏りやばらつきを抑制することが求められる。複数の確認者が文書を確認する場合の具体例としては、テストの採点に関して、複数の採点者による採点が行われる場合がある。この場合、採点者間での採点結果や採点の基準の偏りやばらつきを減らすための方策がとられる。

特許文献１には、採点者に対し、採点支援装置１は、当該採点者による採点結果と、他の採点者による採点結果とを出力し、採点者の採点結果を管理する採点管理者に対し、採点管理装置２は、複数の採点者の採点結果が一致しない場合に、点数を含む採点結果及び採点根拠を出力し、最終的な採点結果の入力を受け付け、また採点管理装置２は、採点者別の分析結果を集計して出力し、さらに採点管理装置２は、答案に対する採点結果を集計して出力することが開示されている。また、同文献１に記載されたシステムでは、予め用意された採点基準に基づいて採点が行われ、必要に応じて採点基準の修正、更新が行われる。

特許文献２には、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けてこれを蓄積していく答案採点システムが開示されている。同文献２に記載されたシステムでは、予め用意された採点基準に基づいて採点が行われる。

特許文献３には、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けて各答案に対する点数結果を収集し信頼性の高い点数結果を採用する答案採点方法が開示されている。同文献３に記載された方法では、予め用意された採点基準に基づいて採点が行われる。

特開２００６−２７７０８６号公報 特開２０１８−１４２２４８号公報 特開２０１８−１４２２４９号公報

複数の確認者で文書を確認する場合、状況によっては、文書の内容の確認のための判断基準を用意することが困難な場合がある。また、基準を外れた内容に関してどのように評価するかが問題となる場合もある。例えば、短期間で頻繁に行われるテスト等では、テストのたびに予め採点基準を用意するのは多大な手間がかかる。また、記述式のテストに対する採点では、採点基準から外れた記述をどう評価するか、想定外の記述をどう評価すべきか等が重視される場合がある。

本発明は、複数の確認者で文書を確認する場合に、確認のための判断基準を用意することなく、確認内容および判断の偏りやばらつきを抑制するシステムを実現することを目的とする。特にテストの採点において、予め採点基準を用意することなく、複数採点者による採点のばらつきを軽減する採点システムを実現することを目的とする。

請求項１に係る本発明は、
文書の確認結果を解析するプロセッサと、解析された確認結果を保持するデータベースを格納したメモリとを備え、
前記プロセッサは、
複数の確認者により個別に確認された文書である確認済み文書を取得し、
前記確認者が前記確認済み文書に付加した付記と当該付記に関連する文書中の記載を特定する印とを抽出し、
抽出された前記確認済み文書ごとの前記付記および前記印の情報を含む確認情報が、予め定められた条件を満たす場合は確認結果を確定して前記データベースに登録し、当該確認情報が当該条件を満たさない場合は、確認結果の管理者に通知し、前記管理者の判断結果に基づき確認結果を確定して前記データベースに登録することを特徴とする、文書確認システムである。
請求項２に係る本発明は、
答案の採点結果を解析するプロセッサと、解析された採点結果を保持するデータベースを格納したメモリとを備え、
前記プロセッサは、
複数の採点者により個別に採点された同一の記述式問題の答案である採点済み答案を取得し、
前記採点済み答案に記載された点数と当該点数の根拠となった記述を特定する印とを抽出し、
抽出された前記採点済み答案ごとの前記点数および前記印の情報を含む採点情報が、予め定められた条件を満たす場合は採点結果を確定して前記データベースに登録し、当該採点情報が当該条件を満たさない場合は、採点結果を採点管理者に通知し、採点管理者の判断結果に基づき採点結果を確定して前記データベースに登録することを特徴とする、採点システムである。
請求項３に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、同一の記述を根拠とする点数のうち、最高得点と最低得点との差が閾値よりも大きい場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システムである。
請求項４に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、同一の記述を根拠とする点数のうち、最高得点と最低得点との差が閾値よりも小さい場合は、予め定められた規則にしたがって当該採点済み答案の点数を統一して前記データベースに登録することを特徴とする、請求項３に記載の採点システムである。
請求項５に係る本発明は、
前記プロセッサは、前記同一の記述を根拠とする点数を、全採点済み答案における当該同一の記述に対する点数の平均値に統一することを特徴とする、請求項４に記載の採点システムである。
請求項６に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述が相異なる場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システムである。
請求項７に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述が同じであっても、当該記述に対する評価が相異なる場合は、採点管理者に通知することを特徴とする、請求項６に記載の採点システムである。
請求項８に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述の位置が相異なる場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システムである。
請求項９に係る本発明は、
前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述の位置が同じであっても、当該記述に対する評価が相異なる場合は、採点管理者に通知することを特徴とする、請求項８に記載の採点システムである。
請求項１０に係る本発明は、
採点者が答案の採点結果を電子データとして入力する入力手段をさらに備え、
前記プロセッサは、前記入力手段により入力された採点結果の電子データを含む前記採点済み答案を取得することを特徴とする、請求項２に記載の採点システムである。
請求項１１に係る本発明は、
前記入力手段は、
答案を表示する表示装置と、
採点者による前記表示装置に表示された答案における表示範囲を指定する操作、指定された表示範囲に対する評価を入力する操作および答案全体に対する評価を入力する操作を受け付ける受け付け手段と、
を備えることを特徴とする、請求項１０に記載の採点システムである。
請求項１２に係る本発明は、
前記入力手段は、
採点された答案用紙を光学的に読み取る読み取り装置を備え、
前記プロセッサは、前記読み取り装置により読み取られた前記答案用紙の画像から答案に記載された点数および当該点数の根拠となった記述を特定する印を検出することを特徴とする、請求項１０に記載の採点システムである。
請求項１３に係る本発明は、
前記プロセッサは、前記答案用紙の画像に記載された点数および前記印により特定された記述を文字認識し、当該文字認識の結果に基づいて前記採点情報が前記条件を満たすか否かを判断することを特徴とする、請求項１２に記載の採点システムである。

請求項１の発明によれば、複数の確認者が共通の判断基準に基づいて文書を確認する場合と比較して、複数の確認者で文書を確認する場合に、確認のための判断基準を用意することなく、確認内容および判断の偏りやばらつきを抑制することができる。
請求項２の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点のばらつきを軽減することができる。
請求項３の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における点数のばらつきを抑制することができる。
請求項４の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における同一の根拠に基づく点数を揃えることができる。
請求項５の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における同一の根拠に基づく点数を高得点や低得点に偏らせず揃えることができる。
請求項６の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における点数の根拠のばらつきを抑制することができる。
請求項７の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における点数の根拠に対する評価のばらつきを抑制することができる。
請求項８の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における点数の根拠のばらつきを抑制することができる。
請求項９の発明によれば、複数の採点者が採点基準に基づいて解答済み答案の採点を行う場合と比較して、予め採点基準を用意することなく、複数採点者による採点済み答案における点数の根拠に対する評価のばらつきを抑制することができる。
請求項１０の発明によれば、採点済み答案を回収した後に電子データ化する場合と比較して、各採点者が個別に採点済み答案を電子データ化する手段を提供することで、採点済み答案の電子データ化に要する手間を削減することができる。
請求項１１の発明によれば、採点済み答案を画像読み取りにより採点システムに取り込む場合と比較して、電子的に直接採点情報を入力することで、電子データ化の手間を削減することができる。
請求項１２の発明によれば、情報処理装置の画面上に表示された解答済み答案に対して採点を行う場合と比較して、答案用紙に対して直接採点が行われた採点済み答案を採点システムに取り込むことができる。
請求項１３の発明によれば、点数の根拠となった記述を特定する印のみに基づいて採点済み答案を評価する場合と比較して、点数の根拠となった記述の内容に基づいて採点済み答案を評価することができる。

本実施形態が適用される情報処理システムの全体構成を示す図である。 答案用紙の構成例を示す図である。 採点システムのハードウェア構成例を示す図である。 採点済み答案を採点管理者への通知対象とする条件を示す図である。 採点システムの動作を示すフローチャートである。 採点済み答案の例を示す図である。 採点済み答案の他の例を示す図である。 採点済み答案の他の例を示す図である。 採点済み答案の他の例を示す図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。複数の確認者が文書の内容を確認する具体的な場面として、ここでは、複数の採点者によりテストの採点が行われる場合を想定する。以下では、本実施形態による文書確認システムを複数の採点者による採点済み答案を評価する採点システムに適用する場合を例として説明する。

＜システム構成＞
図１は、本実施形態が適用される情報処理システムの全体構成を示す図である。本実施形態の情報処理システムは、採点システム１００と、採点者端末２００と、画像処理装置３００とを備える。図１には、採点者端末２００および画像処理装置３００が一つずつ記載されているが、採点者端末２００は例えば各採点者が個別に所持して採点システム１００に接続してもよい。また、複数の画像処理装置３００が採点システム１００に接続しても良い。また、特に図示しないが、採点システム１００は、学習管理システムや電子メールシステムと接続して連携しても良い。採点システム１００は、文書確認システムの一例である。

採点システム１００は、採点済み答案のデータを取得し、採点結果を調整し、確定してデータベースに格納し、管理するサーバである。採点システム１００は、例えば、ネットワーク上に構築されたサーバとして実現される。採点システム１００は、単一のハードウェア（サーバマシン等）による構成に限定されず、複数のハードウェアや仮想マシンに分散して構成しても良い。また、採点システム１００は、ローカルなシステムとして実現しても良いし、クラウドサービス等で実現しても良い。

採点者端末２００は、採点者による採点結果を入力し、採点システム１００に送る情報処理装置である。採点者端末２００は、例えば、パーソナルコンピュータやスマートフォン等で実現される。採点者端末２００は、表示装置を有しており答案を表示すると共に、受け付け手段を有しており、ユーザは、表示装置に表示された画面上で答案を採点することができる。受け付け手段としては、例えば、キーボード、マウス、タッチパネル等の入力デバイスおよびこの入力デバイスのコントローラが設けられる。ユーザは、表示装置に表示された答案の画面を参照して、入力デバイスにより表示範囲を指定する操作、指定された表示範囲に対する評価を入力する操作および答案の点数を入力する操作を行い、採点者端末２００は、受け付け手段によりこれらの操作による入力を受け付ける。採点者端末２００は、採点結果のデータを採点システム１００へ送信する。採点者端末２００は、入力手段の一例である。

画像処理装置３００は、答案用紙を読み取って答案用紙の画像の電子データを作成する装置である。画像処理装置３００は、いわゆるスキャナ装置により構成され、セットされた原稿上の画像を光学的に読み取り、読み取り画像（画像データ）を生成する。画像の読み取り方式としては、例えば、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ（Light Emitting Diode）光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式が用いられる。また、画像処理装置３００は、ネットワークを介して採点システム１００に接続し、読み取った答案用紙の画像データを送信する通信機能を備える。なお、画像処理装置３００は、スキャナ装置単体として構成された装置であっても良いし、画像形成装置等を備えたいわゆる複合機であっても良い。画像処理装置３００は、入力手段の一例である。

＜答案の構成例＞
図２は、答案用紙の構成例を示す図である。処理対象である答案用紙４００は、例えば予め定められた書式や構成を有する。図２に示す答案用紙４００には、点数欄４１０と、書誌情報欄４２０と、解答欄４３０とが設けられている。また、図２に示す答案用紙４００には、採点者の操作により、着目箇所印４４０が付されている。テストが実施されて解答が書き込まれた答案用紙４００が解答済み答案である。解答済み答案は、複数の確認者による確認対象の文書の具体例である。解答済み答案に対して採点者による採点が行われたものが採点済み答案である。採点済み答案において、点数欄４１０に記入された点数は、確認者である採点者により文書（解答済み答案）に対して付加された付記であり、着目箇所印４４０は、付記に関連する文書中の記載を特定する印である。

点数欄４１０には、採点者による採点結果としての点数が記録される。書誌情報欄４２０には、答案に関する各種の情報が記録される。図２に示す例では、解答者の識別情報である学籍番号および氏名と、解答日時と、問題の種類を表す科目とが記録されている。解答欄４３０には、解答者による解答が記録される。ここでは、筆記式の問題に対する文章による解答がなされるものとする。

着目箇所印４４０は、解答欄４３０に記述された解答のうち、採点者が採点した点数の根拠とした箇所（着目箇所）の記述を指示する印である。着目箇所印４４０は、採点者が採点する上で着目した箇所を特定すると共に、評価の内容（加点対象としたのか、減点対象としたのか）を特定できるように構成される。図２に示す例では、採点者が着目した箇所の記述を枠線で囲むことで特定している。また、評価の内容は、例えば、枠線の種類によって示される。具体的には異なる種類の線を用いても良いし、異なる表示色を用いても良いし、異なる形状の枠を用いても良い。

答案用紙４００は、解答者により解答された後、回収され、複数の採点者に配布されて採点される。このとき、各解答済み答案は、複数の採点者に配布される。ただし、全ての解答済み答案を全ての採点者が採点するとは限らない。採点者は、答案用紙に対して手書きにより採点を行っても良いし、採点者端末２００に表示された答案用紙の画面上で採点を行っても良い。答案の採点には、答案に着目箇所印４４０を付加することが含まれる。各採点者は、自身に配布された答案を採点した後、採点者端末２００または画像処理装置３００を用いて採点済み答案を採点システム１００に送る。

採点者が、解答において着目した箇所を指摘し、かつその箇所に対する評価を示すことにより、複数の採点者による採点結果に関して、各採点者の着目箇所およびその評価を比較して近似しているか相違しているかを判別し得る。そして、各採点者の着目箇所およびその評価が相違する場合に採点管理者による調整を行うことにより、予め採点基準を用意しなくても、各採点者による採点結果のばらつきを軽減し得る。

なお、解答済み答案を採点者に配布する際、採点者の採点作業時間をなるべく均一化するために、テスト用紙の記述量に応じて、個々の採点者に配布する解答済み答案の量を変えても良い。また、特定の採点者に記述量が多い解答済み答案ばかり配布されないように配布先を調整しても良い。また、記述量が多い解答済み答案を、より採点作業に慣れた熟練の採点者に配布するように配布先を調整しても良い。さらに、解答の記述量だけでなく記述内容に基づいて配布先を調整しても良い。例えば、解答済み答案の解答欄４３０に対して文字認識処理（ＯＣＲ）を行い、認識結果を解析して類似度の高い解答済み答案を同一の採点者に配布するようにしても良い。類似度は、例えば文字認識処理の結果からキーワードを抽出し、共通のキーワードの数に応じて判断しても良い。すなわち、共通のキーワードを多く含む解答済み答案は類似度が高いと判断する。

＜採点システム１００の構成＞
図３は、採点システム１００のハードウェア構成例を示す図である。採点システム１００は、コンピュータにより実現され、演算手段であるＣＰＵ（Central Processing Unit）１０１と、記憶手段であるＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、記憶装置１０４とを備える。ＲＡＭ１０２は、主記憶装置（メイン・メモリ）であり、ＣＰＵ１０１が演算処理を行う際の作業用メモリとして用いられる。ＲＯＭ１０３にはプログラムや予め用意された設定値等のデータが保持されており、ＣＰＵ１０１はＲＯＭ１０３から直接プログラムやデータを読み込んで処理を実行することができる。記憶装置１０４は、プログラムやデータの保存手段である。記憶装置１０４にはプログラムが記憶されており、ＣＰＵ１０１は記憶装置１０４に格納されたプログラムを主記憶装置に読み込んで実行する。また、記憶装置１０４には、ＣＰＵ１０１による処理の結果が格納され、保存される。記憶装置１０４としては、例えば磁気ディスク装置やＳＳＤ（Solid State Drive）等が用いられる。

採点システム１００は、例えば、ＣＰＵ１０１がプログラムを実行することにより、採点済み答案を解析して採点結果を調整し、確定して管理するための機能を実現する。具体的には、ＣＰＵ１０１は、採点済み答案取得機能、採点結果保存機能、通知機能、採点結果評価機能等の各種の機能を実現する。採点結果が確定した採点済み答案は、例えば、記憶装置１０４に構築されたデータベースに格納され管理される。なお、採点システム１００とは別に設けられた外部のストレージサーバに、採点結果を確定した採点済み答案を保存しても良い。

ＣＰＵ１０１は、プログラムを実行して実現される採点済み答案取得機能により、採点済み答案を取得する。採点済み答案は、入力手段としての採点者端末２００または画像処理装置３００から取得される。採点者端末２００からは、電子データ化された採点済み答案が取得される。画像処理装置３００からは、画像読み取り処理により読み取られた採点済み答案の画像データが取得される。

また、ＣＰＵ１０１は、プログラムを実行して実現される着目箇所印検出機能により、各採点済み答案に付加された着目箇所印４４０を検出する。また、ＣＰＵ１０１は、検出した着目箇所印４４０に関して、解答欄４３０のうち着目箇所印４４０が付加された位置、着目箇所印４４０が示す領域、着目箇所印４４０の種類（加点対象を示す印か、減点対象を示す印か）を特定する。

また、ＣＰＵ１０１は、プログラムを実行して実現される採点結果評価機能により、各採点済み答案の点数および検出された着目箇所印４４０を評価する。まず、ＣＰＵ１０１は、採点済み答案の点数欄４１０に記録された点数を認識する。点数の認識は、例えば点数が文字で記載されている場合、文字認識処理により行われる。また、点数に応じて異なる位置にマークするように構成された点数欄４１０を用いれば、文字認識処理を行うことなく、マークされた位置に応じて点数を認識することができる。

また、ＣＰＵ１０１は、採点済み答案の着目箇所印４４０の情報を抽出する。具体的には、解答欄４３０に付加された着目箇所印４４０の数、位置、領域（着目箇所印４４０が示す記述の範囲）、着目箇所印４４０の種類により示される評価の内容等が特定される。さらに、ＣＰＵ１０１は、着目箇所印４４０により指示された記載箇所に対して文字認識処理を行っても良い。

また、ＣＰＵ１０１は、複数の採点済み答案の着目箇所印４４０に関して、解答欄４３０における同一の記述に対して同種の評価がなされたことを示すものであると判断した場合、各採点済み答案から認識した点数の差を判定する。そして、点数差が予め定められた閾値よりも小さい場合は、点数を統一して確定する。点数の統一は、例えば、各採点済み答案の点数の平均値を取ることにより行う。なお、採点済み答案が３つ以上あるときは、各採点済み答案の点数差の値も複数得られる。この場合、最高点と最低点との差について判定を行う。

一方、複数の採点済み答案の点数差が閾値よりも大きい場合、ＣＰＵ１０１は、プログラムを実行して実現される通知機能により、この複数の採点済み答案に対する評価結果を採点管理者に通知する。採点管理者は、この通知を受け取ると、該当する採点済み答案を採点し直し、結果を採点システム１００に送る。採点システム１００のＣＰＵ１０１は、採点管理者による採点結果を受け取ると、その内容で採点結果を確定する。

また、ＣＰＵ１０１は、複数の採点済み答案の着目箇所印４４０に関して、解答欄４３０における同一の記述に対して同種の評価がなされたことを示すものではないと判断した場合も、かかる複数の採点済み答案に対する評価結果を採点管理者に通知する。そして、採点者による採点結果を受け取り、その内容で採点結果を確定する。なお、ＣＰＵ１０１が、着目箇所印４４０に関して、解答欄４３０における同一の記述に対して同種の評価がなされたことを示すものではないと判断する場合の詳細については後述する。

また、ＣＰＵ１０１は、プログラムを実行して実現される採点結果管理機能により、採点結果が確定した答案の情報をデータベースに格納して管理する。採点結果が確定した答案とは、解答欄４３０における同一の記述に対して同種の評価がなされたことを示すものであると判断され、かつ、点数差が閾値よりも小さい答案と、採点管理者により採点された答案である。前者の場合は、該当する各答案は、統一された点数で管理され、後者の場合は、該当する各答案は、採点管理者により採点された点数で管理される。

＜着目箇所印４４０の評価＞
ここで、着目箇所印４４０の評価について、さらに説明する。着目箇所印４４０は、数、位置、指示する領域の大きさ、印の種類等の外形的な特徴により、解答欄４３０における着目箇所印４４０に指示される記述に関する様々な情報を示す。そこで、ＣＰＵ１０１は、まず、これらの外形的な特徴に基づいて着目箇所印４４０を評価する。着目箇所印４４０の外形的な特徴に基づく評価は、例えば次のような手順で行っても良い。

ＣＰＵ１０１は、まず、各採点済み答案に付加された着目箇所印４４０の数を比較する。着目箇所印４４０の数が同一である場合、次にＣＰＵ１０１は、各着目箇所印４４０の位置を比較する。そして、異なる位置に着目箇所印４４０が付加されている場合、ＣＰＵ１０１は、各採点済み答案を採点管理者への通知対象とする。ここで、筆記式の解答に対して付加された着目箇所印４４０の位置が完全に一致することは稀であると考えられるため、同じ位置と判断する条件を緩和しても良い。例えば、着目箇所印４４０どうしの一部が重なるような位置に付加されていれば、同じ位置に付加されていると判断しても良い。また、複数の採点済み答案の一部において、同じ位置に着目箇所印４４０が付加されている場合、着目箇所印４４０が同じ位置に付加されている答案の数が最も多い一群を基準とし、他の採点済み答案を着目箇所印４４０が異なる位置に付加されている答案として扱っても良い。

着目箇所印４４０が同じ位置に付加されていると判断された複数の採点済み答案がある場合、次にＣＰＵ１０１は、これらの採点済み答案について、着目箇所印４４０が示す領域の大きさを比較する。また、各採点済み答案に付加された着目箇所印４４０の数を比較した際に、数が同一でなかった場合も、ＣＰＵ１０１は、答案ごとの着目箇所印４４０が示す領域の大きさの合計を比較する。着目箇所印４４０が示す領域の大きさは、例えば、着目箇所印４４０が着目箇所を囲う枠線で付加される場合、枠線で囲まれた領域の面積としても良い。また、着目箇所印４４０により示される領域に記述されている行数や文字数で表しても良い。

各採点済み答案に付加された着目箇所印４４０が示す領域の大きさの差が予め定められた閾値よりも大きい場合、ＣＰＵ１０１は、各採点済み答案を採点管理者への通知対象とする。一方、着目箇所印４４０が示す領域の大きさの差が閾値よりも小さい場合、次にＣＰＵ１０１は、着目箇所印４４０の種類により示される評価の内容を比較する。一の採点済み答案と他の一の採点済み答案とで着目箇所印４４０の種類が異なる場合、着目箇所印４４０の数や位置や領域が同一であっても、採点者によって評価の内容（加点対象か、減点対象か）が異なることになる。そこで、この場合、ＣＰＵ１０１は、これらの採点済み答案を採点管理者への通知対象とする。これに対し、複数の採点済み答案において着目箇所印４４０の種類が同じである場合、ＣＰＵ１０１は、各採点済み答案における各採点者の着目箇所およびその評価が同一と判断する。

ＣＰＵ１０１は、複数の採点済み答案に関して各採点者の着目箇所およびその評価が同一と判断した場合、上述した採点結果管理機能により、各採点済み答案の点数を比較する。そして、点数差が閾値よりも小さい場合、ＣＰＵ１０１は、各採点済み答案の点数を統一して確定し、答案の情報をデータベースに格納する。一方、点数差が閾値よりも大きい場合、ＣＰＵ１０１は、各採点済み答案を採点管理者への通知対象とする。

図４は、上記の例において、採点済み答案を採点管理者への通知対象とする条件をまとめた図である。上記の例では、まず、着目箇所印４４０の数が同一の採点済み答案について、その位置が比較され、異なっていれば通知対象となる。また、着目箇所印４４０の位置が同一の場合はその領域の大きさが比較され、異なっていれば通知対象となる。また、着目箇所印４４０の数が異なる場合は、各着目箇所印４４０で示される領域の大きさの合計が比較され、異なっていれば通知対象となる。そして、各着目箇所印４４０で示される領域の大きさが同一であっても、着目箇所印４４０による評価の種類が異なる場合は通知対象となる。さらに、着目箇所印４４０による評価の種類が同一であっても、採点済み答案の点数が異なる場合は通知対象となる。

なお、上記の例は、着目箇所印４４０の外形的な特徴に基づく評価の実行手順の一例にすぎず、他の手順で評価を行っても良い。また、上記のようにして着目箇所印４４０の外形的な特徴に基づく評価により、複数の採点済み答案に関して各採点者の着目箇所およびその評価が同一と判断した場合に、ＣＰＵ１０１は、さらに着目箇所印４４０により指示される記述を文字認識して記載内容を比較しても良い。記載内容の比較は、例えば、文字認識された記述を文書ベクトルで表現し、ベクトル間の類似度を判断することにより行われる。また、単に文字認識した結果からキーワードを抽出し、共通するキーワードの数に基づいて類似度を判断しても良い。文書ベクトルの類似度により評価を行う場合、例えば、得られた類似度が予め定められた閾値よりも大きい場合、ＣＰＵ１０１は、着目箇所印４４０で示された領域の記述内容が同一と判断する。反対に、類似度が閾値よりも小さい場合、ＣＰＵ１０１は、着目箇所印４４０で示された領域の記述内容が異なると判断し、採点済み答案を採点管理者への通知対象とする。

また、上述した着目箇所印４４０の評価において採点済み答案を採点管理者への通知対象とした場合において、採点管理者に通知する前に文字認識による評価を行っても良い。この場合、例えば、通知対象となった採点済み答案における着目箇所印４４０で指示された領域の記述を文字認識し、上記のように文書ベクトルで表現して類似度を判断し、記述内容を評価しても良い。このように、文字認識を行って類似度を判断することにより、具体的な記載内容を評価できるため、着目箇所印４４０で示された記述に対する評価の精度は向上する。しかしながら、文字認識処理は実行負荷が高く、採点システム１００に対する負担が大きいので、上記のように、着目箇所印４４０の外形的な特徴に基づく評価の後に行う等の限定的な実施としても良い。

＜採点システム１００の動作＞
図５は、採点システム１００の動作を示すフローチャートである。図５に示す動作例では、採点システム１００に採点済み答案の電子データが入力される前段階の動作も示されている。まず、テストが実施され、解答済み答案が回収されると（Ｓ５０１）、この解答済み答案が各採点者に配布される（Ｓ５０２）。解答済み答案の配布は、画像処理装置３００等を用いて読み取った電子データとして行っても良いし、紙のまま行っても良い。

各採点者により解答済み答案の採点が行われると（Ｓ５０３）、この採点済み答案が採点システム１００に入力される（Ｓ５０４）。採点済み答案の入力は、上述したように、採点者端末２００から直接、電子データとして行っても良いし、紙の採点済み答案を画像処理装置３００により読み取って電子化した画像データで行っても良い。

採点システム１００は、採点済み答案を受信すると、上述した各種の機能により採点済み答案を解析する（Ｓ５０５）。そして、採点管理者による採点が必要とされなかった採点済み答案は（Ｓ５０６でＮＯ）、採点結果が確定されて（Ｓ５０９）、採点済み答案の情報がデータベースに保存される（Ｓ５１０）。

一方、採点管理者による採点が必要とされた採点済み答案は（Ｓ５０６でＹＥＳ）、採点管理者に送られ（Ｓ５０７）、採点管理者により採点し直され、採点管理者による採点済み答案が改めて採点システム１００に入力される。採点システム１００が採点管理者による採点済み答案を受信すると（Ｓ５０８）、その内容で採点結果が確定され（Ｓ５０９）、採点済み答案の情報がデータベースに保存される（Ｓ５１０）。そして、採点システム１００は、全ての採点済み答案に関して採点結果が確定し、データベースに保存した後、処理を終了する（Ｓ５１１）。

＜採点済み答案の例＞
図６乃至図９は、採点済み答案の例を示す図である。図６に示す例では、二つの採点済み答案（答案１、答案２）の着目箇所印４４０の位置が異なっている。このため、これらの採点済み答案は、採点管理者への通知対象となる。

図７に示す例では、二つの採点済み答案の着目箇所印４４０の位置および領域は同一であるが、着目箇所印４４０の枠線の種類が異なっており、加点対象か減点対象かという評価の内容が異なっている。ここで、着目箇所印４４０の枠線として、加点対象には実線を用い、減点対象には破線を用いることとする。図７に示す例では、答案１は、着目箇所印４４０の枠線が加点対象であることを示す実線であり、答案２は、着目箇所印４４０の枠線が減点対象であることを示す破線である。このため、これらの採点済み答案は、採点管理者への通知対象となる。

図８に示す例では、二つの採点済み答案の着目箇所印４４０は、位置および領域が同一であり、着目箇所印４４０の種類も同一であるが、点数が大きく異なっている。ここでは、閾値を２点とすると、答案１の点数が６点であり、答案２の点数が９点であるため閾値よりも大きい。そのため、これらの採点済み答案は、採点管理者への通知対象となる。

図９に示す例では、二つの採点済み答案の着目箇所印４４０は、位置および領域が同一であり、着目箇所印４４０の種類も同一である。そして、答案１の点数が７点であり、答案２の点数が８点なので、閾値よりも小さい。そこで、これらの採点済み答案は、点数が統一されて確定された後、データベースに保存されて管理される。ここで、点数の統一方法として平均を取る場合、採点済み答案が図９に示す２通だとすると、平均点数が６．５で少数を含んでしまう。このような場合、小数点以下の値を切り上げる等の端数処理を行い、整数の点数（この場合は７点）として管理しても良い。

以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、着目箇所印４４０により指示された着目箇所に対する評価が異なる場合に、異なる種類の着目箇所印４４０を用いることとした。これに対し、着目箇所印４４０の種類は評価に応じて変えず、着目箇所印４４０に評価内容を表す数字や文字を付加して示すようにしても良い。また、上記の実施形態では、採点結果が確定した採点済み答案を記憶装置１０４に格納することとしたが、採点システム１００とは別に設けられたストレージサーバに格納する構成としても良い。

さらに、本実施形態をテストの採点以外に、文書を複数の確認者で確認した結果を評価する種々のシステムに適用しても良い。そのような文書確認システムは、複数の確認者により個別に確認された文書である確認済み文書を取得する。そして、文書確認システムは、確認者が確認済み文書に付加した付記と、この付記に関連する文書中の記載を特定する付記特定印とを抽出し、評価する。抽出された確認済文書ごとの付記および付記特定印の情報を含む確認情報が、予め定められた条件を満たす場合、文書確認システムは、確認結果を確定してデータベースに登録する。一方、確認情報が条件を満たさない場合文書確認システムは、確認結果の管理者に通知し、管理者の判断結果に基づき確認結果を確定してデータベースに登録する。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。

１００…採点システム、１０１…ＣＰＵ（Central Processing Unit）、１０２…ＲＡＭ（Random Access Memory）、１０３…ＲＯＭ（Read Only Memory）、１０４…記憶装置、２００…採点者端末、３００…画像処理装置、４００…答案用紙、４１０…点数欄、４２０…書誌情報欄、４３０…解答欄、４４０…着目箇所印

Claims (13)

1. 文書の確認結果を解析するプロセッサと、解析された確認結果を保持するデータベースを格納したメモリとを備え、
   前記プロセッサは、
   複数の確認者により個別に確認された文書である確認済み文書を取得し、
   前記確認者が前記確認済み文書に付加した付記と当該付記に関連する文書中の記載を特定する印とを抽出し、
   抽出された前記確認済み文書ごとの前記付記および前記印の情報を含む確認情報が、予め定められた条件を満たす場合は確認結果を確定して前記データベースに登録し、当該確認情報が当該条件を満たさない場合は、確認結果の管理者に通知し、前記管理者の判断結果に基づき確認結果を確定して前記データベースに登録することを特徴とする、文書確認システム。
2. 答案の採点結果を解析するプロセッサと、解析された採点結果を保持するデータベースを格納したメモリとを備え、
   前記プロセッサは、
   複数の採点者により個別に採点された同一の記述式問題の答案である採点済み答案を取得し、
   前記採点済み答案に記載された点数と当該点数の根拠となった記述を特定する印とを抽出し、
   抽出された前記採点済み答案ごとの前記点数および前記印の情報を含む採点情報が、予め定められた条件を満たす場合は採点結果を確定して前記データベースに登録し、当該採点情報が当該条件を満たさない場合は、採点結果を採点管理者に通知し、採点管理者の判断結果に基づき採点結果を確定して前記データベースに登録することを特徴とする、採点システム。
3. 前記プロセッサは、取得した前記採点済み答案において、同一の記述を根拠とする点数のうち、最高得点と最低得点との差が閾値よりも大きい場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システム。
4. 前記プロセッサは、取得した前記採点済み答案において、同一の記述を根拠とする点数のうち、最高得点と最低得点との差が閾値よりも小さい場合は、予め定められた規則にしたがって当該採点済み答案の点数を統一して前記データベースに登録することを特徴とする、請求項３に記載の採点システム。
5. 前記プロセッサは、前記同一の記述を根拠とする点数を、全採点済み答案における当該同一の記述に対する点数の平均値に統一することを特徴とする、請求項４に記載の採点システム。
6. 前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述が相異なる場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システム。
7. 前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述が同じであっても、当該記述に対する評価が相異なる場合は、採点管理者に通知することを特徴とする、請求項６に記載の採点システム。
8. 前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述の位置が相異なる場合は、採点管理者に通知することを特徴とする、請求項２に記載の採点システム。
9. 前記プロセッサは、取得した前記採点済み答案において、前記点数の根拠となった記述の位置が同じであっても、当該記述に対する評価が相異なる場合は、採点管理者に通知することを特徴とする、請求項８に記載の採点システム。
10. 採点者が答案の採点結果を電子データとして入力する入力手段をさらに備え、
    前記プロセッサは、前記入力手段により入力された採点結果の電子データを含む前記採点済み答案を取得することを特徴とする、請求項２に記載の採点システム。
11. 前記入力手段は、
    答案を表示する表示装置と、
    採点者による前記表示装置に表示された答案における表示範囲を指定する操作、指定された表示範囲に対する評価を入力する操作および答案全体に対する評価を入力する操作を受け付ける受け付け手段と、
    を備えることを特徴とする、請求項１０に記載の採点システム。
12. 前記入力手段は、
    採点された答案用紙を光学的に読み取る読み取り装置を備え、
    前記プロセッサは、前記読み取り装置により読み取られた前記答案用紙の画像から答案に記載された点数および当該点数の根拠となった記述を特定する印を検出することを特徴とする、請求項１０に記載の採点システム。
13. 前記プロセッサは、前記答案用紙の画像に記載された点数および前記印により特定された記述を文字認識し、当該文字認識の結果に基づいて前記採点情報が前記条件を満たすか否かを判断することを特徴とする、請求項１２に記載の採点システム。

Images