JP2001056634A - 自動採点システム - Google Patents

自動採点システム

Info

Publication number
JP2001056634A
JP2001056634A JP11234102A JP23410299A JP2001056634A JP 2001056634 A JP2001056634 A JP 2001056634A JP 11234102 A JP11234102 A JP 11234102A JP 23410299 A JP23410299 A JP 23410299A JP 2001056634 A JP2001056634 A JP 2001056634A
Authority
JP
Japan
Prior art keywords
answer
model
scoring
question
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11234102A
Other languages
English (en)
Inventor
Koichi Nomura
浩一 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP11234102A priority Critical patent/JP2001056634A/ja
Publication of JP2001056634A publication Critical patent/JP2001056634A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 【課題】 記述式の解答に対してもより適切に自動
的に採点することにある。 【解決手段】 被試験者が記述式の問題の解答を入力す
ると、言語解析手段21は、当該解答を形態素解析や構
文解析を行って構文解析木モデルの解答を作成する。そ
して、解答判定手段22は、作成されたモデルの解答と
予め当該問題に対する模範解答のモデルとを比較し正解
の有無を判定する。ここで、正解が得られれば、採点処
理手段23は、予め定める各問題の配点表に基づいて配
点し、全部の問題に対する解答の正解の配点を合計し採
点結果とするものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被試験者に提示さ
れた問題の解答を自動的に採点する自動採点システムに
関する。
【0002】
【従来の技術】従来、コンピュータを利用した試験シス
テムとして、被試験者に複数の解答例を提示し、その中
から1つの解答を選択させた後、何れの解答番号を選択
したか否かに応じて正・否を採点する採点システムが広
く用いられている。
【0003】
【発明が解決しようとする課題】しかしながら、以上の
ような採点システムは、被試験者による解答が単なる解
答の選択式であることから、偶然に正解を選択する場合
がありうるが、それを採点時に適切に判別することが不
可能である。
【0004】本発明は上記事情に鑑みてなされたもの
で、選択式ではなく、記述式の解答に対してもより適切
に採点する自動採点システムを提供することにある。
【0005】
【課題を解決するための手段】(1) 上記課題を解決
するために、本発明に係る自動採点システムは、被試験
者から入力される問題の解答を言語解析して解答モデル
を作成する言語解析手段と、この問題の解答モデルと予
め格納されている当該問題の模範解答とを比較し正解の
有無を判定する解答判定手段と、この解答判定手段によ
り正解と判定された解答に対し、予め定める配点に従っ
て採点処理する採点処理手段とを設けた構成である。
【0006】このような手段を講じたことにより、問題
の解答をモデル化し、このモデル化された問題の解答と
既にモデルされている模範解答とを比較し正解の有無を
判定し、正解と判定されたとき、予め定める配点に従っ
て採点処理するので、選択方式の試験の偶然性を排除で
き、被試験者の能力を適切に評価可能になる。
【0007】なお、外部から入力される記述解答文は文
字認識し、誤認識し易い場合に複数の解答文候補を取出
し、前記と同様に各解答文候補をそれぞれ言語解析して
解答モデルを作成し、問題の模範解答と比較し正解の有
無を判定するようにすれば、記述解答であっても曖昧性
を解消でき、正しい判定を行うことができる。
【0008】(2) また、本発明に係る自動採点シス
テムは、問題に対する模範解答および当該模範解答に関
連する同義語を記憶する記憶手段と、前記問題の解答お
よび当該問題に対する模範解答を言語解析してモデル化
する言語解析手段と、この言語解析手段による前記問題
の解答モデルと当該問題に対する模範解答のモデルとを
比較し、正解が存在しない場合には前記記憶手段に記憶
される同義語から模範解答のモデルを作成し正解の有無
を判定する解答判定手段と、この解答判定手段により正
解と判定された解答に対し、予め定める配点に従って採
点処理する採点処理手段とを備えた構成である。
【0009】本発明は、以上のような手段を講じたこと
により、予め模範解答に関連する同義語を記憶し、モデ
ル化された解答とモデル化された模範解答とを比較し、
正解が存在しない場合には同義語から順次模範解答のモ
デルを作成し正解の有無を判定するので、多数の模範解
答を用意する必要がないので記憶容量の低減化が可能に
なり、また模範解答の曖昧性を解消でき、より細かな正
解の有無を判定可能である。
【0010】なお、外部から入力される記述解答文は文
字認識し、誤認識し易い場合に複数の解答文候補を取出
し、前記と同様に各解答文候補をそれぞれ言語解析して
解答モデルを作成する場合にも、同義語から順次模範解
答のモデルを作成し正解の有無を判定することが可能で
ある。
【0011】(3) さらに、本発明に係る自動採点シ
ステムは、問題の解答を入力する解答入力手段と、予め
複数の判定基準が設定されている判定データベースと、
前記解答入力手段から入力された解答に対し、前記判定
基準ごとに順次評価して配点する複数の判定手段と、こ
れら判定手段によって各判定基準ごとに評価して得られ
る配点を集計し採点結果とする採点処理手段とを備えた
ものである。
【0012】このような手段を講じたことにより、部分
点がある試験問題であっても、各判定基準に従って評価
し例えば減点配点することにより、適切な最適を行うこ
とが可能である。
【0013】なお、解答および解答のモデルについて、
それぞれ同一または異なる複数の判定基準に従って評価
し配点するようにしてもよい。
【0014】
【発明の実施の形態】以下、本発明に係る実施の形態に
ついて図面を参照して説明する。
【0015】(第1の実施の形態)図1は本発明に係る
自動採点システムの一実施の形態を示す構成図である。
【0016】この実施の形態は、被試験者から入力され
た解答を言語解析によりモデル化し、このモデル化され
た結果と模範解答例とを比較し自動的に採点する例であ
る。
【0017】このシステムは、具体的には、被試験者が
解答を入力する例えばキーボード11a,被試験者のパ
ソコン(図示せず)から解答が伝送入力するイーサネッ
ト(登録商標)・インターネットなどのネットワーク1
1b等の解答入力手段11と、自動採点するためのプロ
グラムが記録されたプログラムメモリ12と、このメモ
リ12に記録されるプログラムに従って自動採点するC
PUで構成された採点処理制御部13と、辞書・文法等
を記憶する辞書記憶手段14と、模範解答を保存した
り、被試験者から入力された解答、採点結果等のデータ
を記憶するデータ記憶手段15と、被試験者に問題を提
示する自装置の例えばディスプレイ16a、インターネ
ット16bを介して被試験者に問題を伝送し被試験者の
パソコンのディスプレイに表示する問題出力手段16と
によって構成されている。
【0018】前記採点処理部13は、言語解析手段2
1、解答判定手段22および採点処理手段23が設けら
れている。
【0019】前記言語解析手段21は、被試験者が入力
された解答文について、形態素解析や構文解析等を行っ
て構文解析木のモデルを作成する機能をもっている。
【0020】前記解答判定手段22は、モデル化された
解答と予め用意された模範解答モデルとを比較し、被試
験者の解答に対する正答/誤答の判定を行う機能をもっ
ている。
【0021】前記採点処理手段23は、複数の問題に対
する解答の正解有無に応じて採点処理を行う機能をもっ
ている。
【0022】次に、以上のような自動採点システムの動
作について図2を参照して説明する。
【0023】本システムにおいては、1つ以上の問題が
自身の問題出力手段16から出力され、或いはネットワ
ーク16bを介して被試験者のパソコンディスプレイで
ある問題出力手段16から出力され、またデータ記憶手
段14には予め各問題の模範解答例が保存されている。
また、各問題に対する被試験者の記述的な解答は、キー
ボード11aから入力され、或いは他パソコン等からネ
ットワーク11bを通して入力され、データ記憶手段1
4に順次格納されることになる。
【0024】以上のような状態において、システムの動
作が開始すると、採点処理制御部13は、プログラムメ
モリ12に記録されるプログラムに従って図2に示す一
連の処理を実行する。
【0025】すなわち、採点処理部13の言語解析手段
21は、例えばデータ記憶手段15などに設けられた問
題数管理用カウンタに変数iとして1を設定した後(S
1)、i番目問題に対する解答を解析することによりモ
デル化する(S2)。つまり、被試験者から入力された
解答文に対し、辞書記憶手段14の辞書等を用いて形態
素解析および構文解析を行い、構文解析木モデルの解答
を作成する。
【0026】この構文解析木モデルの解答を作成した
後、解答判定手段22を実行する。この解答判定手段2
2は、データ記憶手段15から模範解答モデルを読み出
し、この模範解答モデルとモデル化された解答とを比較
し(S3)、モデル化された解答が正解か否かを判定し
(S4)、正解と判定された場合にはステップS5に移
行し、図3に示す配点表に基づいて配点が行われる(S
5)。図3は例えば20問の問題に対する配点の一覧表
である。
【0027】引き続き、問題数管理用カウンタを+1イ
ンクリメントした後(S6)、最終問題の解答判定が終
了したか否かを判断し(S7)、未だ全問題の解答につ
いて判定が終わっていない場合にはステップS2に移行
して同様の処理を繰り返し実行し、また全問題に対する
解答の判定が終わっている場合には採点処理手段23を
実行する。
【0028】この採点処理手段23は、全問題に対する
解答の各配点を合計し採点結果とする(S8)。
【0029】以下、具体例をもって説明する。今、
「“I think I will put on myred dress.”を
和訳せよ」とする問題が出題され、これに対して被試験
者から「私は真っ赤な服を着たいと思う」という解答文
が入力された場合について説明する。
【0030】ステップS2においては、かかる解答文に
対して形態素解析、構文解析を行い、その結果、図4
(a)に示すような構文解析木モデルを作成する。しか
る後、ステップS3において、図4(a)に示す構文解
析木モデルの解答と図5に示す模範解答モデルとを比較
すると、この構文解析木モデルの解答は正解とみなされ
る。
【0031】また、別の解答例として、例えば「私は赤
い服の上に置こうと思う」という解答文が入力されたと
する。この解答文に対しては、図4(b)に示すような
構文解析木モデルが作成されるが、この構文解析木モデ
ルの解答と模範解答モデルとを比較すれば、誤答とみな
される。
【0032】従って、以上のような実施の形態によれ
ば、被試験者から入力される解答文に対し言語解析して
モデル化し、このモデル化された解答と模範解答例とを
比較し、正解の場合に配点表に基づいて配点し、全問題
に対する各解答の配点を合計することにより採点結果と
するので、従来の選択方式における試験の偶然性を排除
でき、より被試験者の能力を正しく評価することが可能
となる。
【0033】なお、手書き文字の認識などのように解答
に曖昧性が存在する場合、解答を再モデル化し、正誤を
判定するようにすれば、正しい採点結果を得ることが可
能である。
【0034】図6はかかる曖昧性の存在する解答に対す
る正誤を判定する自動採点システムの他の実施形態を示
す構成図である。なお、同図において図1と同一部分に
は同一符号を付し、その詳しい説明を省略する。
【0035】このシステムにおいて、特に異なるところ
は、例えば問と間のごとき誤認識しやすい類似文字を含
む多数の文字パターンデータを記憶する文字パターン記
憶手段31、図7に示すようなプログラムが記録される
プログラムメモリ32および解答入力手段11から入力
される手書き文字等の解答文(画像データ)に対し、文
字パターン記憶手段31に記憶される文字パターンを参
照しながら文字を認識し、類似文字に相当する解答文が
あれば、類似文字数だけの解答文の文字コードデータに
変換する文字認識手段33が設けられている。
【0036】次に、以上のようなシステムの動作につい
て説明する。
【0037】システムの動作が開始すると、採点処理部
13は、プログラムメモリ32に記録されるプログラム
に従って図7に示す一連の処理を実行する。
【0038】すなわち、システムの動作が開始するに伴
い、文字認識手段33は、例えばデータ記憶手段15な
どに設けられた問題数管理用カウンタに変数iとして1
を設定した後(S11)、手書き文字等のi番目の画像
データを取り込み(S12)、この画像データに対して
文字パターン記憶手段31に保存される文字パターンを
参照しながら文字認識を行い、誤認識しやすい類似文字
の場合には複数の解答文候補を作成する(S13)。
【0039】引き続き、言語解析手段21を実行する。
この言語解析手段21は、例えばデータ記憶手段15な
どに設けられた解答候補数管理用カウンタにステップS
13にて作成された解答候補数管理用変数としてj=1
を設定した後(S14)、j番目の解答文候補に対して
言語解析を行ってモデルを作成する(S15)。すなわ
ち、各答文候補に対し、辞書記憶手段14の辞書等を用
いて形態素解析および構文解析を行い、構文解析木モデ
ルの解答を作成する。
【0040】このようにして構文解析木モデルの解答を
作成した後、解答判定手段22を実行する。この解答判
定手段22は、データ記憶手段15から模範解答モデル
を読み出し、この模範解答モデルとモデル化された解答
とを比較し(S16)、モデル化された解答が正解か否
かを判定する(S17)。
【0041】ここで、正解でなければ、最終解答文候補
か否かを判断し(S18)、最終解答文候補でない場合
には解答候補数管理用カウンタを+1インクリメントし
(S19)、ステップS15に戻って次の解答文候補に
ついて同様の処理を繰り返し実行する。
【0042】そして、ステップS17において、ある解
答文候補が正解と判定されたとき、配点表に基づいて当
該正解に対する配点を行う(S20)。
【0043】そして、問題数管理用カウンタを+1イン
クリメントした後(S21)、全問題の解答について正
解の有無を判定したか否かを判断し(S22)、未だ残
っている場合にはステップS12に移行し、同様の処理
を繰り返し実行する。
【0044】全問題に対する解答の正解有無を判定した
場合、採点処理手段23により、各正解の解答に対する
各配点を合計し(S23)、採点結果として出力する。
【0045】従って、以上のような実施の形態によれ
ば、文字認識装置を使用した場合などに生ずる解答の曖
昧性の存在に対し、複数の解答文候補を作成し、それぞ
れ模範解答例と比較しながら適切な正解を判定するの
で、誤認識による不具合を排除でき、より適切な採点結
果を自動的に出力できる。
【0046】(第2の実施の形態)図8は本発明に係る
自動採点システムの一実施の形態を示す構成図である。
なお、同図において図1と同一部分には同一符号を付
し、その詳しい説明は図1の説明に譲る。
【0047】このシステムにおいて特に異なるところ
は、図10に示すプログラムが記録されるプログラムメ
モリ36と、データ記憶手段15内またはデータ記憶手
段15とは独立した状態で同義語を記憶する同義語デー
タベース37とが設けられ、解答文に対する正解の有無
を判定する際に同義語データベース37の同義語に基づ
いて模範解答を再モデル化し、このモデル化された模範
解答を利用することにより、同義語に対して予め例えば
1つの模範解答を用意し、その他の同義語に対して模範
解答を作成しつつ、正解の有無を判定し、より細かな判
定および模範解答用記憶容量を低減することにある。
【0048】すなわち、同義語データベース37を設け
た理由は、第1の実施の形態ではデータ記憶手段15に
全ての模範解答例を記憶しているが、同義語データベー
ス37に記憶される同義語を利用して模範解答を作成
し、少ない模範解答とするものである。例えば第1の実
施の形態における模範解答例の一部である「服」に対
し、同義語データベース37には図9に示すように
「服」の他、「ドレス,着物,衣服」等の同義語が記憶
されている。
【0049】次に、以上のようなシステムの動作につい
て説明する。
【0050】システムの動作が開始すると、採点処理部
13は、プログラムメモリ36に記録されるプログラム
に従って図10に示す一連の処理を実行する。
【0051】すなわち、システムの動作が開始すると、
言語解析手段21は、例えばデータ記憶手段15などに
設けられた問題数管理用カウンタに変数iとして1を設
定した後(S31)、i番目の解答文に対し、辞書記憶
手段14の辞書等を用いて形態素解析および構文解析を
行い、構文解析木モデルの解答を作成する(S32)。
【0052】このようにして構文解析木モデルの解答を
作成した後、さらに同義語数管理用カウンタ(図示せ
ず)に変数k=0を設定し(S33)、予め記憶される
問題に対する模範解答のモデルを行う(S34)。
【0053】引き続き、解答判定手段22を実行する。
すなわち、モデル化された模範解答と前記i番目のモデ
ル化された解答とを比較し(S35)、モデル化された
解答が正解か否かを判断し(S36)、正解でない場合
には次のステップS37に移行し、最終模範解答との比
較判定を行ったか否かを判断し(S37)、最終模範解
答でない場合には同義語カウンタを+1インクリメント
した後(S38)、ステップS34に戻って模範解答に
関連する同義語k+1に対して模範解答のモデル化を行
う。
【0054】以上のようにしてi番目の解答モデルが何
れかの同義語で作成された模範解答のモデルとを比較
し、ステップS36にて正解と判断されたとき、その正
解とされた解答に対する配点を行う(S39)。
【0055】その後、問題数管理用カウンタに+1イン
クリメントした後(S40)、最終問題に対する解答の
判定を終了したか否かを判断し(S41)、全問題に対
する解答の正解有無を判定していない場合にはステップ
S32に移行し、同様の処理を繰り返し実行する。
【0056】そして、全問題に対する解答正解有無を判
定した場合、採点処理手段23により、各正解の解答に
対する各配点を合計し(S23)、その採点結果を出力
する。
【0057】具体例をもって説明すると、今、“I thi
nk I will put on my reddress.”を和訳する問
題が出題され、これに対して被試験者から「私は赤いド
レスが着たいと思う」という解答文が与えられたとす
る。
【0058】その結果、この解答文を言語解析しモデル
化すると、図11(a)に示すような構文解析木モデル
が作成される。もともと、データ記憶手段15に記憶さ
れる模範解答例が「dress」に対して「服」となってい
るので、ステップS35,S36では不正解と判定され
る。
【0059】そこで、同義語数管理用カウンタに+1を
セットし、同義語データベース37中の「服」の同義語
である「ドレス」を用いて模範解答の再モデル化を実施
する。その結果、再モデルとしては図11(b)に示す
ような模範解答のモデルが得られる。よって、ステップ
S35,S36にて両モデルを比較すれば、同義語の模
範解答から前記解答は正解と判定することができる。
【0060】従って、以上のような実施の形態によれ
ば、同義語から模範解答例を作成し、解答と比較して正
解の有無を判断できるので、全ての模範解答例を用意す
る必要がなくなり、それだけデータ記憶手段15の記憶
容量を低減化できる。また、同義語から模範解答を作成
することにより、模範解答例がもつ曖昧性を解決するこ
とができる。
【0061】なお、解答,模範解答がともに曖昧性をも
つ場合、正しく処理することができない。そこで、解
答,模範解答をともに曖昧性を解消する手段を設けるこ
とにより、より精密な判定を行うことが可能である。
【0062】図12はかかる曖昧性を解消する手段をも
った自動採点システムの他の実施形態を示す構成図であ
る。なお、同図において図1,図6と同一部分には同一
符号を付し、その詳しい説明は省略する。
【0063】このシステムにおいて、特に異なるところ
は、例えば問と間のごとき誤認識しやすい類似文字を含
む多数の文字パターンデータを記憶する文字パターン記
憶手段31、図13に示すようなプログラムが記録され
るプログラムメモリ41、解答入力手段11から入力さ
れる手書き文字等の解答文(画像データ)に対し、文字
パターン記憶手段31に記憶される文字パターンを参照
しながら文字を認識し、類似文字に相当する解答文があ
れば、類似文字数だけの解答文の文字コードデータに変
換する文字認識手段33およびデータ記憶手段15内ま
たはデータ記憶手段15とは独立した状態で同義語を記
憶する同義語データベース37とが設けられ、被試験者
が記述子入した解答文を文字認識した場合に発生する曖
昧性を解消し、同時に模範解答の曖昧性を解消すること
により、より精密な判定,ひいては解答の適切な採点を
行うことにある。
【0064】次に、以上のようなシステムの動作につい
て説明する。
【0065】システムの動作が開始すると、採点処理部
13は、プログラムメモリ41に記録されるプログラム
に従って図13に示す一連の処理を実行する。
【0066】すなわち、システムの動作が開始すると、
文字認識手段33は、例えばデータ記憶手段15などに
設けられた問題数管理用カウンタに変数iとして1を設
定した後(S51)、手書き文字等のi番目の画像デー
タを取り込み(S52)、この画像データに対して文字
パターン記憶手段31に保存される文字パターンを参照
しながら文字認識を行い、誤認識しやすい類似文字の場
合には複数の解答文候補を作成する(S53)。
【0067】引き続き、言語解析手段21を実行する。
この言語解析手段21は、例えばデータ記憶手段15な
どに設けられた解答候補数管理用カウンタに変数として
j=1を設定した後(S54)、j番目の解答文候補に
対して言語解析を行ってモデル化を行う(S55)。す
なわち、解答文候補に対し、辞書記憶手段14による辞
書等を用いて形態素解析および構文解析を行い、構文解
析木モデルの解答を作成する。
【0068】このようにして構文解析木モデルの解答を
作成した後、同義語数管理用カウンタ(図示せず)に変
数k=0を設定し(S56)、予め記憶されている問題
に対する模範解答のモデルを行う(S57)。
【0069】引き続き、解答判定手段22を実行する。
すなわち、モデル化されたk番目の模範解答と前記j番
目のモデル化された解答とを比較し(S58)、モデル
化された解答が正解か否かを判断し(S59)、正解で
ない場合には次のステップS60に移行し、最終模範解
答の比較判定を行ったか否かを判断する。最終模範解答
でない場合には同義語カウンタを+1インクリメントし
た後(S61)、ステップS57に戻って模範解答に関
連する同義語k+1に対して模範解答のモデル化を行
う。
【0070】以上のようにしてk番目の解答モデルが何
れかの同義語で作成された模範解答のモデルとを比較
し、ステップS59にて正解と判断されたとき、その正
解とされた解答に対する配点を行う(S62)。
【0071】しかる後、問題数管理用カウンタを+1イ
ンクリメントし(S63)、全問題の解答について正解
の有無を判定したか否かを判断し(S64)、全解答文
に対する判定を行っていない場合にはステップS52に
移行し、同様の処理を繰り返し実行する。
【0072】さらに、ステップS60において最終模範
解答か否かを判断し、最終模範解答である場合、引き続
き、最終解答文候補か否かを判断し(S65)、最終解
答文候補でない場合には解答候補数カウンタを+1イン
クリメントし(S66)、ステップS55に戻って次の
解答文候補について同様の処理を繰り返し実行する。
【0073】以上のようにして最終問題に対する解答の
正解有無の判定が終了すると、採点処理手段23によ
り、各正解の解答に対する各配点を合計し(S67)、
採点結果として出力する。
【0074】従って、以上のような実施の形態によれ
ば、文字認識装置を使用した場合などに生ずる解答の曖
昧性の存在に対して複数の解答文候補を作成し、それぞ
れ同義語による模範解答と比較しながら正解を判定する
ので、誤認識による不具合を排除でき、また解答,模範
解答に生ずる曖昧性を解消でき、より精密な判定を行う
ことが可能である。
【0075】すなわち、本実施形態のシステムは、被試
験者による記述および問題提出者による模範解答の曖
昧,記憶容量増大といった両方の不具合を解消すること
ができる。
【0076】(第3の実施の形態)上述する実施の形態
は、解答に対して正解或いは正解でないという判断しか
行えないため、例えば部分点的な試験問題などには適用
できない。これを解決するためには、複数の判定基準を
設け、これらの判定基準を組み合わせることにより採点
を行う。判定基準には、例えば「文字数のカウント」,
「ですます調/である調の混在」,「主語の欠落」,
「指示語(あれ、これ)などの多用」などが挙げられ
る。採点時にこれらの判定基準に従って採点を行い、減
点処理などを行う。
【0077】図14は複数の判定手段をもった本発明に
係る自動採点システムの一実施の形態を示す構成図であ
る。
【0078】このシステムは、被試験者が解答を入力す
る例えばキーボード51a,被試験者のパソコン(図示
せず)から解答が伝送入力するイーサネット・インター
ネットなどのネットワーク51b等の解答入力手段51
と、自動採点するプログラムが記録されるプログラムメ
モリ52と、このメモリ52に記録されるプログラムに
従って自動採点するCPUで構成された採点処理制御部
53と、被試験者から入力された解答や採点結果等を記
憶するデータ記憶手段54と、各判定基準および各対応
判定基準等を保存する判定データベース55と、被試験
者に問題を提示する自装置の例えばディスプレイ56
a、インターネット56bを介して被試験者に問題を伝
送し被試験者のパソコンのディスプレイに表示する問題
出力手段56とによって構成されている。
【0079】前記データ記憶手段54および判定データ
ベース55は同一の記憶媒体であってもよい。
【0080】前記採点処理制御部53は、第1判定基準
を用いて解答に対する評価を行って配点を行う第1判定
手段61、第2判定基準を用いて当該解答に対する評価
を行って配点を行う第2判定手段62、第nの判定基準
を用いて当該解答に対する評価を行って配点を行う第n
判定手段53、これら各判定基準のもとに評価され配点
された各配点を集計し採点結果とする採点処理手段64
等によって構成されている。
【0081】次に、本システムの動作について説明す
る。
【0082】システムの動作が開始すると、プログラム
メモリ52に記録されるプログラムに従って図15に示
す一連の処理を実行する。
【0083】すなわち、データ記憶手段44等に設けら
れる判定基準数管理用カウンタに変数nとして1を設定
した後(S71)、n=1番目の判定基準を用いて、解
答入力手段51から入力され、或いはデータ記憶手段5
4に記憶される解答に対する評価を行う(S72)。そ
して、評価された値に応じて点数付けを行う(S7
3)。
【0084】しかる後、判定基準数管理用カウンタの変
数nが判定基準総数を越えたか否かを判断し(S7
4)、越えていない場合には判定基準数管理用カウンタ
に+1をインクリメントし(S75)、ステップS72
に戻り、同様の処理を繰り返す実行する。
【0085】このようにして判定基準数管理用カウンタ
の変数nが判定基準総数を越えたとき、各判定手段61
〜63で加減算された配点を集計し(S76)、当該解
答の採点結果とする。
【0086】以下、具体例をもって説明する。今、例え
ば「機械翻訳システムの現状について説明せよ。但し、
語数は350以上400語以下であり、また「形態素解
析」,「構文解析」,「変換」,「生成」という語句を
含む。」のような設問がなされたとする。
【0087】第1判定手段61は、データ記憶手段54
または判定データベース55に保存される図16および
図17に示すような判定基準のうち、解答に対する判定
基準1である「語数が基準値以下であるか」の判定を行
う。本例の場合、対応判定基準が350であるので、3
50語以下の解答に対しては配点として−2が与えられ
る。
【0088】引き続き、第2判定手段62は、判定基準
2である「語数が基準値以上であるか」の判定に対し、
対応判定基準の基準値が400であるので、400語以
上の解答に対して配点として−2が与えられる。
【0089】さらに、第3判定手段(図示せず)は、判
定基準3である「指定された語があるか」に対し、解答
の中に、対応判定基準の基準語である「形態素解析」,
「構文解析」,「変換」,「生成」の各語が含まれてい
る否かを判定し、含まれていない場合には配点として−
2が与えられる。
【0090】従って、以上のような複数の判定手段61
〜63によって得られる配点を集計し、減点法に従って
減点していけば、最終的な採点結果が得られる。
【0091】次に、図18は本発明に係る自動採点シス
テムの他の実施形態を示す構成図である。なお、同図に
おいて図14と同一部分には同一符号を付し、その詳し
い説明は省略する。
【0092】本システムにおいて、図14と比較して特
に異なるところは、辞書・文法などを保存する辞書記憶
手段71と、図19に示すプログラムが記録されたプロ
グラムメモリ72と、辞書記憶手段71に記憶される辞
書・文法を用いて、解答に対して形態素解析、構文解析
などを行ってモデル化する言語解析手段73とを設けた
構成である。
【0093】次に、以上のようなシステムの動作につい
て説明する。
【0094】システムの動作が開始すると、プログラム
メモリ72に記録されるプログラムに従って図19に示
す一連の処理を実行する。
【0095】すなわち、データ記憶手段54等に設けら
れる判定基準数管理用カウンタに変数nとして1を設定
した後(S81)、n=1番目の判定基準を用いて、解
答入力手段51から入力され、或いはデータ記憶手段5
4に記憶される解答の評価を行う(S82)。そして、
評価された値に応じて点数付けを行う(S83)。
【0096】しかる後、判定基準数管理用カウンタの変
数nが判定基準総数を越えたか否かを判断し(S8
4)、越えていない場合には判定基準数管理用カウンタ
に+1をインクリメントし(S85)、ステップS82
に戻り、同様の処理を繰り返す実行する。
【0097】一方、判定基準数管理用カウンタの変数n
が判定基準総数を越えたとき、言語解析手段73におい
て、辞書記憶手段71に記憶される辞書・文法のもと
に、解答に対して、形態素解析、構文解析などを行って
モデル化する(S86)。この過程で発生した形態素解
析結果および構文解析結果などをデータ記憶手段54な
どに保存しておく。
【0098】次に、モデル化された解答に対する判定基
準数管理用カウンタに変数mとして1を設定する(S8
7)。なお、モデル化後は図20および図21に示す判
定基準および対応判定基準を用いて、モデル化された解
答に対して評価し(S88)、この評価に基づいて配点
付けを行う(S89)。
【0099】そして、全ての判定基準および対応判定基
準に対して評価を行ったか否かを判断し(S90)、評
価がすべて終了していない場合にはステップS91に移
行し、判定基準数管理用カウンタに+1インクリメント
し、ステップS88に戻って同様の処理を繰り返し実行
し、評価がすべて終了している場合には配点の集計を行
う(S92)。
【0100】因みに、本システムでは、解答として入力
された文の中に「ですます調/である調」が混在してい
る場合には−1の配点が行われる。また、主語がない文
が3文以上ある場合には−2点、係り受けが交差してい
る文がある場合には−2点が与えられる。
【0101】従って、以上のような実施の形態によれ
ば、解答に対して種々のレベルから判定基準に従って評
価し配点することができ、異なったレベルについて総合
的に採点できる。
【0102】なお、本発明はその要旨を逸脱しない範囲
で種々変形して実施できる。
【0103】
【発明の効果】以上説明したように本発明によれば、選
択式ではなく、記述式の解答に対してもより適切に採点
できる自動採点システムを提供できる。
【図面の簡単な説明】
【図1】 本発明に係る自動採点システムの一実施の形
態を示す構成図。
【図2】 図1に示すシステムの処理動作を説明するフ
ローチャート。
【図3】 各問題に対する正解時の配点表を示す図。
【図4】 解答に対する構文解析木モデルを示す図。
【図5】 問題に対する模範解答例を説明する図。
【図6】 図1に示すシステムの変形例を示す構成図。
【図7】 図6に示すシステムの処理動作を説明するフ
ローチャート図。
【図8】 同義語模範解答作成機能をもった本発明に係
る自動採点システムの一実施の形態を示す構成図。
【図9】 同義語の一例を説明する図。
【図10】 図8に示すシステムの処理動作を説明する
フローチャート。
【図11】 同義語の模範解答に対する構文解析木モデ
ルを示す図。
【図12】 図8に示すシステムの変形例を示す構成
図。
【図13】 図12に示すシステムの処理動作を説明す
るフローチャート図。
【図14】 複数の判定手段をもった本発明に係る自動
採点システムの一実施の形態を示す構成図。
【図15】 図14に示すシステムの処理動作を説明す
るフローチャート。
【図16】 複数の判定基準例を説明する図。
【図17】 各判定基準に対応する具体的な対応判定基
準を説明する図。
【図18】 図14に示すシステムの変形例を示す構成
図。
【図19】 図18に示すシステムの処理動作を説明す
るフローチャート。
【図20】 複数の判定基準例を説明する図。
【図21】 各判定基準に対応する具体的な対応判定基
準を説明する図。
【符号の説明】
11,51…解答入力手段 13,53…採点処理制御部 16,56…問題出力手段 21…言語解析手段 22…解答判定手段 23,64…採点処理手段 31…文字パターン記憶手段 33…文字認識手段 37…同義語データベース 55…判定データベース 61〜63…判定手段 73…言語解析手段

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 問題の解答を言語解析して解答モデルを
    作成する言語解析手段と、 この問題の解答モデルと予め格納されている当該問題の
    模範解答とを比較し正解の有無を判定する解答判定手段
    と、 この解答判定手段により正解と判定された解答に対し、
    予め定める配点に従って採点処理する採点処理手段とを
    備えたことを特徴とする自動採点システム。
  2. 【請求項2】 外部から入力される記述解答文である画
    像データを文字認識し、類似する文字数に応じた複数の
    解答文候補を出力する文字認識手段と、 この文字認識手段からの各解答文候補をそれぞれ言語解
    析して解答モデルを作成する言語解析手段と、 この各解答文候補のモデルと予め格納されている問題の
    模範解答とを比較し正解の有無を判定する解答判定手段
    と、 この解答判定手段によりて正解と判定された解答に対
    し、予め定める配点に従って採点処理する採点処理手段
    とを備えたことを特徴とする自動採点システム。
  3. 【請求項3】 各問題に対する模範解答モデルおよび各
    問題に対する正解時の配点表を記憶する記憶手段を有
    し、前記問題に対する記述式解答を採点するためのプロ
    グラムを記録した記録媒体であって、コンピュータに、 問題数管理用カウンタに初期値を設定する初期化処理機
    能と、前記問題に対する解答を解析して解析木モデルの
    解答を作成するモデル作成機能と、この解析木モデルの
    解答と当該問題に対する前記模範解答モデルとを比較し
    て正解か否かを判定し、正解の場合には前記配点表に基
    づいて配点を行う解答判定機能と、この解答判定機能に
    よる配点後、前記カウンタを+1インクリメントし、当
    該カウンタのカウント値から最終問題の配点が終了した
    か否かを判断する判断機能と、この判断機能により前記
    最終問題の配点未終了の場合には前述する一連の機能を
    繰返し実行し、最終問題の配点終了の場合には前記配点
    を集計し採点結果とする採点処理機能を実現させるため
    の前記プログラムを記録した前記コンピュータ読取可能
    な記録媒体。
  4. 【請求項4】 問題に対する模範解答および当該模範解
    答に関連する同義語を記憶する記憶手段と、 前記問題の解答および当該問題に対する模範解答を言語
    解析してモデル化する言語解析手段と、 この言語解析手段による前記問題の解答モデルと当該問
    題に対する模範解答のモデルとを比較し、正解が存在し
    ない場合には前記記憶手段に記憶される同義語から模範
    解答のモデルを作成し正解の有無を判定する解答判定手
    段と、 この解答判定手段により正解と判定された解答に対し、
    予め定める配点に従って採点処理する採点処理手段とを
    備えたことを特徴とする自動採点システム。
  5. 【請求項5】 問題に対する模範解答および当該模範解
    答に関連する同義語を記憶する記憶手段と、 外部から入力される記述解答文である画像データを文字
    認識し、類似する文字数に応じた複数の解答文候補を出
    力する文字認識手段と、 この文字認識手段から入力された解答文候補および当該
    問題に対する模範解答を言語解析してモデル化する言語
    解析手段と、 この各解答文候補のモデルと予め保存されている各問題
    に対する模範解答とを比較し、正解が存在しない場合に
    は前記記憶手段に記憶される同義語から模範解答のモデ
    ルを作成し正解の有無を判定する解答判定手段と、 この解答判定手段により正解と判定された解答に対し、
    予め定める配点に従って採点処理する採点処理手段とを
    備えたことを特徴とする自動採点システム。
  6. 【請求項6】 各問題に対する模範解答、各模範解答に
    関連する同義語および各問題に対する正解時の配点表を
    記憶する記憶手段を有し、前記問題に対する記述式解答
    を採点するためのプログラムを記録した記録媒体であっ
    て、コンピュータに、 問題数管理用カウンタに初期値を設定する問題数初期化
    処理機能と、前記問題に対する解答を解析して解析木モ
    デルの解答を作成する解答モデル作成機能と、同義語数
    管理用カウンタに初期値を設定する同義語数初期化処理
    機能と、最初の問題に対する前記模範解答を解析してモ
    デルを作成する模範解答モデル作成機能と、前記解答モ
    デル作成機能によるモデル解答と前記模範解答モデルと
    を比較して正解か否かを判定する第1の解答判定機能
    と、この解答判定機能によって不正解のとき、前記同義
    語数管理用カウンタに+1インクリメントした後、当該
    模範解答に対する同義語を解析してモデルを作成する同
    義語モデル作成機能と、前記解答モデル作成機能による
    解答モデルと前記同義語モデル作成機能による同義語模
    範解答モデルとを比較して正解か否かを判定する第2の
    解答判定機能と、前記第1または第2の解答判定機能に
    よって正解と判定されたとき、前記配点表に基づいて配
    点を行う機能と、このによる配点後、前記問題数管理用
    カウンタを+1インクリメントし、当該カウンタのカウ
    ント値から最終問題の配点が終了したか否かを判断する
    判断機能と、この判断機能により前記最終問題の配点未
    終了の場合には前述する一連の機能を繰返し実行し、最
    終問題の配点終了の場合には前記配点を集計し採点結果
    とする採点処理機能を実現させるための前記プログラム
    を記録した前記コンピュータ読取可能な記録媒体。
  7. 【請求項7】 問題の解答を入力する解答入力手段と、 予め複数の判定基準が設定されている判定データベース
    と、 前記解答入力手段から入力された解答に対し、前記判定
    基準ごとに順次評価して配点する複数の判定手段と、 これら判定手段によって各判定基準ごとに評価して得ら
    れる配点を集計し採点結果とする採点処理手段とを備え
    たことを特徴とする自動採点システム。
  8. 【請求項8】 問題の解答を入力する解答入力手段と、 予め複数の第1判定基準が設定されている第2の判定デ
    ータベースと、 前記解答入力手段から入力された解答に対し、前記第1
    判定基準ごとに順次評価して配点する第1の判定手段
    と、 前記問題の解答を言語解析して解答モデルを作成する言
    語解析手段と、 前記複数の第1判定基準と同一または異なる複数の第2
    判定基準が設けられ、前記言語解析手段により作成され
    た前記解答モデルに対し、前記第2判定基準ごとに順次
    評価して配点する第2の判定手段と、 これら第1および第2の判定手段によって得られる配点
    を集計し採点結果とする採点処理手段とを設けたことを
    特徴とする自動採点システム。
JP11234102A 1999-08-20 1999-08-20 自動採点システム Pending JP2001056634A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11234102A JP2001056634A (ja) 1999-08-20 1999-08-20 自動採点システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11234102A JP2001056634A (ja) 1999-08-20 1999-08-20 自動採点システム

Publications (1)

Publication Number Publication Date
JP2001056634A true JP2001056634A (ja) 2001-02-27

Family

ID=16965671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11234102A Pending JP2001056634A (ja) 1999-08-20 1999-08-20 自動採点システム

Country Status (1)

Country Link
JP (1) JP2001056634A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029906A1 (ja) * 2002-09-25 2004-04-08 Benesse Corporation テスト・システム及びその制御方法
JP2005331615A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 文章評価装置および文章評価方法
JP2006251203A (ja) * 2005-03-09 2006-09-21 Mitsubishi Electric Engineering Co Ltd Cad試験採点システム
WO2006134759A1 (ja) * 2005-06-15 2006-12-21 Waseda University 文章評価装置及び文章評価プログラム
JP2007171226A (ja) * 2005-12-19 2007-07-05 Hitachi Ltd プロセス要因分析訓練システム
JP2007264117A (ja) * 2006-03-27 2007-10-11 Alue Kk 研修システム
JP2007264490A (ja) * 2006-03-29 2007-10-11 National Univ Corp Shizuoka Univ 情報提示評価システム
JP2017129830A (ja) * 2016-01-18 2017-07-27 隆道 中森 文章自動採点システム
WO2018116459A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 文章評価装置、文章評価方法および記録媒体
JP2020113129A (ja) * 2019-01-15 2020-07-27 株式会社日立製作所 文書評価装置、文書評価方法及びプログラム
JP2020160159A (ja) * 2019-03-25 2020-10-01 Tis株式会社 採点装置、採点方法およびプログラム
CN111898923A (zh) * 2020-08-12 2020-11-06 中国人民解放军总医院第二医学中心 一种信息分析方法
JP2021009708A (ja) * 2019-02-15 2021-01-28 日本電気株式会社 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム
JP2022148106A (ja) * 2021-03-24 2022-10-06 カシオ計算機株式会社 自動採点プログラム、サーバ、自動採点方法及び自動採点システム
JP2022189908A (ja) * 2017-12-21 2022-12-22 カシオ計算機株式会社 採点支援装置、その制御方法及び制御プログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004029906A1 (ja) * 2002-09-25 2004-04-08 Benesse Corporation テスト・システム及びその制御方法
GB2409314A (en) * 2002-09-25 2005-06-22 Benesse Corp Test system and control method thereof
KR100747141B1 (ko) * 2002-09-25 2007-08-07 가부시키가이샤 베네세 코포레이션 테스트시스템, 테스트시스템 제어방법 및 그 제어방법을 실행하는 컴퓨터 프로그램을 기억하는 기억매체
JP2005331615A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> 文章評価装置および文章評価方法
JP2006251203A (ja) * 2005-03-09 2006-09-21 Mitsubishi Electric Engineering Co Ltd Cad試験採点システム
WO2006134759A1 (ja) * 2005-06-15 2006-12-21 Waseda University 文章評価装置及び文章評価プログラム
KR100932141B1 (ko) 2005-06-15 2009-12-16 각코호진 와세다다이가쿠 문장 평가 장치 및 문장 평가 프로그램
JP2007171226A (ja) * 2005-12-19 2007-07-05 Hitachi Ltd プロセス要因分析訓練システム
JP4603971B2 (ja) * 2005-12-19 2010-12-22 株式会社日立製作所 プロセス要因分析訓練システム
JP2007264117A (ja) * 2006-03-27 2007-10-11 Alue Kk 研修システム
JP2007264490A (ja) * 2006-03-29 2007-10-11 National Univ Corp Shizuoka Univ 情報提示評価システム
JP2017129830A (ja) * 2016-01-18 2017-07-27 隆道 中森 文章自動採点システム
WO2018116459A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 文章評価装置、文章評価方法および記録媒体
JPWO2018116459A1 (ja) * 2016-12-22 2019-10-24 日本電気株式会社 文章評価装置、文章評価方法および記録媒体
JP2022189908A (ja) * 2017-12-21 2022-12-22 カシオ計算機株式会社 採点支援装置、その制御方法及び制御プログラム
JP2020113129A (ja) * 2019-01-15 2020-07-27 株式会社日立製作所 文書評価装置、文書評価方法及びプログラム
JP7281905B2 (ja) 2019-01-15 2023-05-26 株式会社日立ソリューションズ西日本 文書評価装置、文書評価方法及びプログラム
JP2021009708A (ja) * 2019-02-15 2021-01-28 日本電気株式会社 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム
JP7074170B2 (ja) 2019-02-15 2022-05-24 日本電気株式会社 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム
JP2020160159A (ja) * 2019-03-25 2020-10-01 Tis株式会社 採点装置、採点方法およびプログラム
JP7257835B2 (ja) 2019-03-25 2023-04-14 Tis株式会社 採点装置、採点方法およびプログラム
CN111898923A (zh) * 2020-08-12 2020-11-06 中国人民解放军总医院第二医学中心 一种信息分析方法
JP2022148106A (ja) * 2021-03-24 2022-10-06 カシオ計算機株式会社 自動採点プログラム、サーバ、自動採点方法及び自動採点システム
JP7342906B2 (ja) 2021-03-24 2023-09-12 カシオ計算機株式会社 自動採点プログラム、サーバ、自動採点方法及び自動採点システム

Similar Documents

Publication Publication Date Title
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN108287822B (zh) 一种中文相似问题生成系统与方法
CN110489538B (zh) 基于人工智能的语句应答方法、装置及电子设备
CN109710744B (zh) 一种数据匹配方法、装置、设备及存储介质
JP2001056634A (ja) 自動採点システム
CN112487140A (zh) 问答对话评测方法、装置、设备及存储介质
US9665566B2 (en) Computer-implemented systems and methods for measuring discourse coherence
CN111179935B (zh) 一种语音质检的方法和设备
US10977155B1 (en) System for providing autonomous discovery of field or navigation constraints
WO2021100902A1 (ko) 문장 패러프레이즈 인식 기반 대화 시스템 답변 방법
CN112417128B (zh) 话术推荐方法、装置、计算机设备及存储介质
CN116611074A (zh) 安全信息审查方法、设备、存储介质及装置
Yao et al. Factuality assessment as modal dependency parsing
Aina et al. What do entity-centric models learn? insights from entity linking in multi-party dialogue
US10885274B1 (en) Platform for administering and evaluating narrative essay examinations
Peñas et al. Testing the reasoning for question answering validation
US11620343B2 (en) Method and apparatus for question-answering using a database consist of query vectors
CN113157887A (zh) 知识问答意图识别方法、装置、及计算机设备
US20210165791A1 (en) Method and apparatus for building a paraphrasing model for question-answering
Pabasara et al. Grammatical error detection and correction model for Sinhala language sentences
CN116842143A (zh) 基于人工智能的对话模拟方法、装置、电子设备及介质
CN113742445B (zh) 文本识别样本获取、文本识别方法及装置
CN113987141A (zh) 一种基于递归询问的问答系统回答可靠性即时检查方法
CN114896973A (zh) 一种文本处理方法、装置及电子设备
CN112732885A (zh) 用于问答系统的答案扩展方法、装置及电子设备