JP2002006734A - コンピュータ適応型検定試験の方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 コンピュータ上で受験者に適したテストセッ
トを提示し、この出題方法によって、能力推定の方法を
提案するとともに、試験終了後の結果を即時的に取得で
きるようにすること。 【解決手段】 試験問題項目が樹状に構造化された出題
形式に沿って、受験者へ問題項目を逐次出題し、各受験
者の問題項目毎への回答の正否により、経路依存型樹状
構造を用いた能力推定法によって受験者の能力を推定す
る。採点結果はインターネットサイトのページにおいて
閲覧できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テストの問題項目
を樹状に配列し、受験者は逐次問題項目に回答する毎
に、配列された問題項目上を枝分かれして進み、またそ
の試験結果を受験者が進んだ経路に重み付けを行なうこ
とにより、インターネットのウェブサイト上で採点及び
採点結果の統計処理を自動的に実施する検定試験システ
ム及び方法に関するものである。

【０００２】

【従来の技術】教育評価におけるテストの理論は、大き
く分けて２つに分けられる。１つは前世紀末から１９５
０年代頃までに発達し、体系付けられた古典テスト理論
と呼ばれるもので、現在、教育の場などにおいて標準的
に利用されている。もう一つは、１９４０〜５０年以降
発達してきた項目応答（反応）理論（ＩＲＴ、Item Res
ponse Theory）や、その他の確率モデルを中心とする現
代テスト理論である。本発明においては、応答、反応、
回答は以下同義語であるものとする。

【０００３】本発明は、ＩＲＴに基づく検定試験システ
ムに関するものであり、以下ＩＲＴにおける従来の技術
を説明する。

【０００４】ＩＲＴはテストを構成する各要素項目に溯
って、応答者（受験者）の能力と各問題項目の特性の間
に、ある種の確率的関数関係を仮定し、それによってテ
ストの特性と同時に、応答者（受験者）の能力の推定を
行なう一つの理論である。

【０００５】前記確率的関数関係の例として、A.Binet
及びT.Simon（１９１６年）が、同一年齢ごとに集めた
子供たちがある知能テスト問題を正解できる割合を求
め、年齢の発達とともにその問題の正解率がどのように
上昇して行くかを観察し、それによって各問題の年齢相
当水準を決め、その尺度をもとに子供の知能発達水準を
決め精神年齢尺度を作成したことは公知である。すなわ
ち、横軸を年齢、縦軸を正解率と考えグラフを作成し、
グラフ上の年齢とその年齢における年齢相当正解率が定
める複数の点を曲線回帰する。この曲線は、項目特性曲
線（ＩＣＣ、Item Characteristic Curve）と呼ばれて
いる。

【０００６】G.Rasch(１９６０年)は項目特性曲線とし
てロジスティック曲線を採用し、今日、この曲線を用い
ることが主流となっている。ロジスティック曲線にはパ
ラメータが含まれており、用いるパラメータの数によっ
て、１−パラメータモデル、２−パラメータモデル、３
−パラメータモデル、さらには４−パラメータモデルも
提案されている。

【０００７】コンピュータを用いて実施するテストは、
ＣＢＴ(Computer Based Testing)と呼ばれている。その
中でも、受験者個人ごとに最適な困難度等の特性をもつ
項目を選択してテストを編集したならば、全ての受験者
に対して十分に満足出来る精度の測定が可能になる。こ
のようなテスト形式を実施する際には、同時に多くの情
報処理を行なうため、コンピュータによるテスト過程の
制御が不可欠である。個人ごとに最適な問題項目を選択
・編集して、テストを実施する方式はコンピュータ適応
型テスト（ＣＡＴ、Computerized Adaptive Testing）
と呼ばれている。ＣＡＴの方法には様々な種類のものが
あるが、本発明は、予め問題項目がその特性（特に困難
度）に基づいてネットワーク状に配列され、受験者には
問題項目に対する回答に応じてネットワーク上の問題項
目が逐次提示されるといった項目固定型テストに関する
ものである。この項目固定型テストでは、問題項目の配
列法によって樹状構造（ツリー構造）のものと多層構造
のものに分類される。問題項目を樹状構造に配列し、テ
ストを実施するといった従来の方法において、受験者の
能力評価は種々の問題項目に回答してきた経路に依存し
ない。すなわち、いかなる問題項目に回答してきたかを
受験者の能力評価に組み込んだコンピュータ適応型検定
試験の方法及びシステムはない。

【０００８】図１はこのような樹状構造を持つ問題項目
と回答経路の一例を示す図である。本図において受験者
は問題項目に対する回答に従って枝分かれして進み、正
解すれば右下の位置にある問題項目が、誤答すれば左下
の位置にある問題項目が、次の問題項目として提示され
る。この分岐を繰返し、指定項目数の回答を終了した時
点で、受験者がどの位置に到達したかをもって能力推定
値とする。

【０００９】従来の能力推定の方法では、図１において
６番目の問題項目で試験が終了するものとし、（１）か
ら出発する受験者であって、（１）→（３）→（５）→
（８）→（１３）→（１９）と進んだ受験者と（１）→
（３）→（６）→（１０）→（１４）→（１９）と進ん
だ受験者は、同じ能力を有するものであると評価され
た。

【００１０】また、ＣＡＴの能力推定に関しては、従来
の方法では最尤推定法(maximum likelihood estimation
method)を用いた逐次推定法が使用されているが、テス
トの実行途中でシステムが中断してしまう現象が発生す
ることがある。推定途中で中断する理由の一つとして、
最尤推定の計算上の問題が考えられる。この推定は元
来、提示した問題項目困難度に対し、受験者が理にかな
った反応を示すことを期待している推定法であることに
注意が必要である。すなわち受験者は提示された易しい
問題項目には正しい反応を示し、難しい問題項目には誤
った反応を示すことを期待している。しかしながら現実
の受験者の反応をみると、必ずしも当初の期待通りの反
応を全ての受験者が示すことはなく、易しい問題項目に
不正解で、難しい問題項目に正解するパタンの受験者も
当然出現する。このような反応の不整合が生じた際に、
推定の計算が発散して不定解に陥ることがある。

【００１１】また、試験実施後においても、採点結果が
ペーパーにより配布されるため、点数等の結果情報を得
るまでに時間がかかっている。

【００１２】

【発明が解決しようとする課題】以上のことから、ツリ
ー構造を持つ問題項目をコンピュータ上で受験者に適し
たテストセットを提示し、どのような問題項目に回答し
てきたのかを考慮した評価方法と、なおかつ途中で試験
が中断状態に陥らない能力推定方法及びシステムとを提
供するとともに、インターネットを用いることにより試
験終了後の試験結果も即時的に受験者及び団体申込み代
表者が、取得できるようなコンピュータ適応型検定試験
の方法及びシステムを提供する。

【００１３】

【課題を解決するための手段】上述の目的を達成するた
めに、本発明では項目応答モデルとして、３−パラメー
タロジスティックモデルを用い、受験者の能力値をθと
考えた時の正解確率Ｐ(θ)を算出する。

【００１４】３−パラメータロジスティックモデルにお
ける正解確率Ｐ(θ)の算出には、以下の式を使用する。

【００１５】

【数１】 (-∞<θ<+∞) ここで、０＜ａ、−∞＜ｂ＜＋∞、０＜ｃ＜１、Ｄ＝
１．７である。

【００１６】パラメータａは関数Ｐ(θ)の立ち上がりの
程度を表わすパラメータで、問題項目の識別力の指標に
なる。パラメータａの値が大きいほど曲線の傾きが大き
く、θ＝ｂのごく近傍で正解率が大きく異なり、その問
題項目のその付近での能力識別性が高いと考えられる。

【００１７】パラメータｂは関数Ｐ(θ)の位置決めに関
するパラメータで、問題項目の困難度水準の指標として
とられる。パラメータｂの値が大きいほど能力の高い人
でないとその問題項目に正解する確率が高まらず、その
意味でパラメータｂはその項目の困難度水準を表わす。

【００１８】パラメータｃは関数Ｐ(θ)の下方漸近値を
表わすパラメータで、あるテスト形式の問題において
は、能力が低い人でも正答する可能性があり、そのため
項目正答率が０には近づかず、それよりやや高い値に漸
近することを説明する為に導入されたパラメータであ
る。

【００１９】パラメータＤは、関数Ｐ(θ)を正規化する
為のものであるが、通常Ｄ＝１．７で近似される。

【００２０】ここで、θを能力パラメータ、パラメータ
ａ、ｂ及びｃの組（ａ，ｂ，ｃ）を項目パラメータと呼
ぶ。

【００２１】まず、ある問題項目に対して、その項目パ
ラメータ（ａ，ｂ，ｃ）を推定する必要がある。広く使
われている方法として、周辺最尤推定法(marginal maxi
mumlikelihood estimation)がある。この方法は、項目
パラメータに関する最適化問題を解かねばならない。す
なわち、能力パラメータθに関して、その定義域上で積
分することにより、パラメータθを除去し、得られる周
辺分布の尤度関数を最大にするような項目パラメータを
求めればよい。

【００２２】以下、より具体的に上記周辺最尤推定法を
説明する。いま、能力値がθの人が問題項目ｊに正答す
る確率をＰ_j(θ)とする。従って正答しない確率はＱ
_j(θ)＝１−Ｐ_j(θ)となる。ｎ個の問題項目(ｊ=１,２,
３,．．．,ｎ)からなるテストとＮ人の受験者(ｉ＝１,
２,３,．．．,Ｎ)を考えたとき、ｕ_ijを受験者ｉの問題
項目ｊへの応答を、正答のとき、ｕ_ij＝１，誤答のと
き、ｕ_ij＝０によって表わせば、受験集団全員について
求められる項目パラメータ（ａ_１,ａ_２，．．．_,ａ_{ｎ ，}
ｂ_１，ｂ_２，．．．_，ｂ_ｎ，ｃ_１，ｃ_２，．．．
_,ｃ_ｎ）に関して周辺尤度関数は以下のようになる。

【００２３】

【数２】 ここで、a=(ａ_１，ａ_２，．．．_，ａ_ｎ),b=(ｂ_１，ｂ
_２，．．．_，ｂ_ｎ),c=(ｃ_１，ｃ_２，．．．_，ｃ_ｎ)であ
り、g(θ)は能力パラメータそのものの分布を表わして
いる。

【００２４】関数Ｌ（a,b,c）が最大になるように項目
パラメータを求めるのが周辺最尤推定法である。

【００２５】この方法は、個々の受験者の能力パラメー
タ値θを必要とせず、受験者数を増やせば、推定値の誤
差分散は小さくなり、推定値が真の値に近づいて行くよ
うな一致推定量(consistent estimater)としての項目パ
ラメータを求めることができることが知られている（Lo
rd,１９８６年）。

【００２６】本発明における各問題項目は以上の方法に
よりすべて事前のサンプルテストを経て、項目パラメー
タが確定されている。この既知の項目パラメータ値を用
いて、各受験者の能力パラメータθを尤度関数

【数３】 を最大化するθの値を求める。この時、そのθの値は
(ｄ／ｄθ)[log L(θ)]＝０を満たすθ値をニュートン
・ラプソン法を使った逐次近似解法で求める。

【００２７】以下、既知の項目パラメータと受験者がど
の項目を回答してきたかの情報から、到達地点が同じで
も、それまでの通過経路ごとに異なる能力値を求める能
力推定のプロセスについてモデルケースを用いて説明す
る。

【００２８】

【発明の実施の形態】まず、能力推定のプロセスについ
て述べる。図２から、受験者は項目番号１からテストを
始め、正解すれば項目番号３へ、不正解ならば項目番号
２へ進む。この過程を１５回繰返し、最終的に上記ツリ
ー図２の最下段の項目番号１０６から１２０のいずれに
到達するかで能力値を推定する方法である。ｎ項目でテ
ストを終了するのに必要な項目数はｎ（ｎ＋１）／２で
求められ、ここでは１５項目の項目提示を想定している
ため、１２０項目準備する必要がある。

【００２９】次に、システム構築のプロセスについて述
べる。

【００３０】（１）テストツリーの構築 テスト実施前にコンピュータが各個人用の問題ツリーを
用意する。すなわち、困難度の異なる多数の問題が予め
用意されているコンピュータ内の入れ物（これをアイテ
ムバンクと呼ぶ）から困難度別の無作為に抽出された各
項目を配置する。この方式により、テストセットは、ほ
ぼ無限に構築できることになる。配置する困難度レベル
は、最大２９レベル設定が可能であるが、細分化するこ
とは現実的であるとは思われないため、ここでは９段階
の困難度レベルを設定し、ツリーの困難度ブロックを９
ブロックに分割した。図２のように、困難度の低い項目
のブロックをブロック１と設定し、困難度の高い項目の
ブロックをブロック９となるような序列でブロック名を
設定した。このツリー構築のために必要な各ブロック毎
の項目数と、各ブロック毎に設定したパラメータｂの値
（略してｂ値と呼ぶ）のレンジは図３に示した。

【００３１】（２）項目選択のルール 樹状方式による選択項目のルールは、２分法である。現
在の項目に正解なら右下の、不正解ならば左下の項目に
進む。

【００３２】（３）能力の推定法 問題項目のツリーを使用して、どのように能力値を推定
するかの方法を具体的に述べる。ツリー構造のテストに
おける能力推定の基本は、最終的に受験者がどの位置に
到達したかが問題となるが、現実の応用を想定した場
合、以下の問題が考えられる。 １）最終的な到達位置と能力値を対応させるだけでは、
０〜１４の１５段階の能力区分しか出来ないことにな
る。 ２）１５項目目に提示された項目の正解・不正解の情報
が利用できない。 ３）異なる困難度レベルの項目を経て、最終的に同じ位
置にたどり着いた受験者の能力値は同一と判断される。

【００３３】ツリー構造の能力推定に関しては、上記の
３点が問題として考えられる。これらの問題点を払拭す
るための推定方式として、受験者の途中経過を考慮にい
れ、更に１５項目目の最終提示項目の正解・不正解の情
報も含んだ上での、最終到達位置での能力推定過程を構
築する必要がある。ここでは新しい能力推定過程構築の
ために、最初に同じ位置に到達する際の、極端な２例の
過程を抽出し、それぞれの能力値を最尤推定を行なっ
た。例えばブロック２に到達する極端な２例としては、
（ａ）１→２→４→７→１１→１６→２２→２９→３７
→４６→５６→６７→７９→９２→１０７と、最も易し
い最後の項目に正解したパタンと（ｂ）１→３→５→８
→１２→１７→２３→３０→３８→４７→５７→６８→
８０→９３→１０７と、始めの最も難しい項目に正解
し、あとはすべて不正解したパタンを想定した。ここか
らパタン（ａ）において、同一到達地点における最も低
い能力値が推定され、パタン（ｂ）においては最も高い
能力値が推定されることは明らかである。またこの極端
な２例以外の反応を示した場合は、これらの中間のいず
れかに能力値が収まることは明らかである。ここではブ
ロック２の場合を例示したが、他のブロックに到達する
パタンにおいても同様のことが考えられる。図４は、全
てのブロックに到達する上で考えられる能力値の最大値
と最小値を最尤推定した結果の一覧表である。また、１
５項目目の最終項目が正解のパタンと不正解のパタンの
２種類の計算結果を示した。項目パラメータとしては、
各ブロックの平均値を代表値として固定し、各反応パタ
ンを生成して最尤推定を行なう。

【００３４】図４から、到達するカテゴリーへの通過経
路の極端な２例の能力推定結果をみると、２つの推定能
力値間には開きがあるが、これらはあくまで極端な例で
あり、生起確率としては非常に小さいものであることが
予測される。一般にはこの中間の値の能力値となる受験
者が多いと想定される。また最終項目が正解とした場合
の推定能力値の方が、最終項目が不正解の場合の推定能
力値より大きく推定されていることも確認される。ここ
から最終項目の正解・不正解による２種類の換算テーブ
ルを用意する必要がある。

【００３５】１５項目出題のツリー構造による最終到達
地点は、基本的には１５地点しか存在しない。この能力
推定過程では、途中の経路を考慮に入れていない。ここ
では途中の経路を考慮に入れた能力推定法を提案する。
基本的な考え方は、各ブロック毎に得点を与え、通過ブ
ロック毎にその得点を加算して行く。図２より、ブロッ
クｉにはｉ点（ｉ＝１〜６）の得点を与える。より上位
のブロックに属する項目を通過してきた場合、加算点は
大きく算出され、下位のブロックに属する項目を通過し
てきた場合は低い得点が算出されることになる。それぞ
れの到達地点に至る過程において、各カテゴリーにおけ
るこの得点の最小点と最大点がいくつになるかを算出し
た結果が図５である。

【００３６】これまでの過程において、各カテゴリーに
到達する際の、能力値の最小値と最大値が確定され、さ
らに各到達地点毎の能力値を、到達経路得点と関連付け
て数量化すればよいことになる。ここでは、例えば単純
に、各到達地点毎に想定される最大能力値と最小能力値
のレンジを、図５の各到達地点毎の到達経路得点の発生
数で分割して対応表を作成している。到達地点１におい
ては、最終提示項目が不正解の場合、最小能力値−３．
２７８、最大能力値−３．０２４を９段階に分割して能
力値を割り当てる。それぞれの到達地点別に、また最終
項目に正解の場合と不正解の２種類に関するこの能力値
割当て結果を、図６に示した。この対応表を元に、ツリ
ー構造による能力推定を実行する。

【００３７】図８は、テスト問題の作成から受験者能力
の推定値の得点化までの実行プロセスを表わすフローチ
ャートである。本図において、問題項目にはボックス
（Ｂｏｘ）が割り振られ、このボックスを引数として、
ある問題項目の次に出題すべき困難度の問題項目を設定
する。

【００３８】ある問題項目に不正解した場合は、（次の
ボックス番号）＝（現在のボックス番号）＋出題数とし
て、正解の場合は、（次のボックス番号）＝（現在のボ
ックス番号）＋（出題数）＋１としてボックス番号が定
義される。

【００３９】以下、図８の実行プロセスを説明する。サ
ーバで始めのボックス番号を記憶する（ステップＳ
１）。ブロック得点を加算する（ステップＳ２）。ボッ
クス１において、ブロック内ｂ値レンジ内で無作為抽出
により問題項目をセットする（ステップＳ３）．本問題
項目に正解あるいは不正解かによって、出題傾向を分岐
させる（ステップＳ４）。前のボックス番号及びそれま
での出題数、更に問題項目に正解したかどうかによっ
て、次のボックス番号を決め、ボックス番号を記憶す
る。もし、正解ならばボックス番号は３と記憶される
（ステップＳ５）。ブロック得点を加算（ステップＳ
６）。前のボックス提示問題、すなわちボックス１にお
いてセットした問題項目のｂ値より大きく、ブロック内
上限ｂ値よりも小さなｂ値の問題項目をセットする（ス
テップＳ７）。本問題項目に正解か不正解かによって、
出題傾向を分岐させる（ステップＳ８）。このステップ
はステップＳ４と同様であり、以下ステップＳ４〜Ｓ７
と同じプロセスを繰返すことになる。最終ボックスを記
憶し（ステップＳ９）、ブロック得点を加算（ステップ
Ｓ１０）した後、前のボックスのｂ値よりも大きく、ブ
ロック内上限ｂ値を越えないｂ値の問題項目をセットす
る（ステップＳ１１）。その後、正解・不正解によって
問題傾向を分岐させ（ステップＳ１２）、例えば、最終
項目に正解したとすると、最終ボックス番号とブロック
得点合計をセットする（ステップＳ１３）。能力パラメ
ータθの換算テーブル図７により、最終ボックス番号と
ブロック得点合計を用いて該当θ値を求める（ステップ
Ｓ１４）。ステップＳ１２で不正解となった場合、能力
パラメータθの変換テーブルは図６を使用する。

【００４０】最後に本発明の実施・運用のフローを以下
説明する。 １）ＰＣ上で受験。テストシステムはＣＤ−ＲＯＭで提
供され、成績結果は団体サーバにストアされ、 ２）団体サーバにて、複数の成績結果ファイルは、自動
的に一つのファイルに統合され、 ３）統合化された上記ファイルを、団体サーバにある結
果データ送信ツールを使用し、インターネット経由で、
インターネットサイトの成績処理サーバにアップロード
される。 ４）送信された成績結果ファイルは、サイトの成績処理
サーバにおいて処理され、データベース化される。ここ
では、送信された成績結果ファイルを、個人成績表及び
団体成績表の形式に作成する。 ５）テスト実施団体の申込責任者は、団体サーバに提供
される結果データ送信ツールにて、事前に登録済みの団
体番号とパスワードを使用して、成績表をインターネッ
トサイトの団体ページにて閲覧でき、 ６）受験者は受験番号とパスワードを使用して、インタ
ーネットサイトの個人ページにて成績表を閲覧すること
ができる。 ７）ウェブサーバから各団体の申込み責任者宛てに、あ
る特定期間に受験した全データを成績ファイルによりイ
ンターネット経由で送付する。送付されたデータは団体
サーバの成績管理ツールによって、各種統計が自由にと
れるようになっている。 ８）成績管理ツールで管理されるのは、個人の成績履歴
データと団体に関する成績統計及び履歴等となってい
る。

【００４１】図９は、テスト運用システムの構成図であ
る。

【００４２】

【発明の効果】個人に適した問題項目の出題なので、測
定精度の向上が期待される。その結果、試験時間を短縮
できる可能性が高くなる。

【００４３】問題項目は、正誤反応により分岐し、受験
者毎に出題される問題項目は異なるので、受験者が一斉
に集中して受験する必要がなく、受験者の時間的都合に
合わせて行なう等、運用上での利便性が向上する。ま
た、受験者ごとに問題が異なる為カンニング等の心配が
軽減する。

【００４４】テスト結果のデータをインターネット上で
処理することにより、速やかに受験結果を得ることが出
来る。

【図面の簡単な説明】

【図１】ツリー構造を表わす図である。

【図２】ツリー構造と評価データの図である。

【図３】ブロックごとに必要な問題数とｂ値レンジの図
である。

【図４】ブロック到着時の能力の最大値と最小値を最尤
推定した結果の図である。

【図５】各カテゴリーにおける得点の最小点と最大点の
図である。

【図６】最終項目が不正解の場合の発生能力値の図であ
る。

【図７】最終項目が正解の場合の発生能力値の図であ
る。

【図８】テスト実行プロセスの図である。

【図９】テスト運用の構成図である。

【符号の説明】

１ インターネット ２ インターネットサイト ３ 成績処理ツール ４ データベース（ＤＢ） ５ 団体サーバ ６ 成績管理ツール ７ 結果データ送信ツール ８ パーソナルコンピュータ（ＰＣ）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ウェブサーバを運用するインターネット
   サイトと、前記インターネットサイトへの接続可能な団
   体サーバ及び前記団体サーバの端末であって、前記端末
   はＣＤ-ＲＯＭドライブ及び音源ボードを備えており、
   前記端末毎に実施される検定試験が、試験問題の記憶媒
   体であるＣＤ-ＲＯＭ等を用いて行われ、試験問題項目
   が樹状に構造化された出題形式に沿って、受験者へ前記
   問題項目が逐次出題され、各受験者の前記問題項目毎へ
   の回答の正否により、経路依存型樹状構造を用いた能力
   推定法によって前記受験者の能力が推定され、回答結果
   及び問題項目の履歴に基づいて、試験終了と同時に成績
   処理が行われ、その後、採点データは前記ウェブサーバ
   に送信され、処理結果が前記インターネットサイト内の
   成績管理データベースに登録され、統計処理された結果
   画面を前記インターネットサイトのホームページ及び受
   験者及び団体ごとのページにおいて閲覧することが出来
   ることを特徴とするコンピュータ適応型検定試験の方法
   及びシステム。