JP2004177510A - アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 - Google Patents
アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 Download PDFInfo
- Publication number
- JP2004177510A JP2004177510A JP2002341293A JP2002341293A JP2004177510A JP 2004177510 A JP2004177510 A JP 2004177510A JP 2002341293 A JP2002341293 A JP 2002341293A JP 2002341293 A JP2002341293 A JP 2002341293A JP 2004177510 A JP2004177510 A JP 2004177510A
- Authority
- JP
- Japan
- Prior art keywords
- examinee
- virtual
- question
- answer
- ability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
【課題】アダプティブ試験の解答、正解／不正解判定の処理において、自動化を可能にすると共に、検証の実験を行う際に、大量の被試験者を確保する必要をなくする。
【解決手段】本発明は、ある特定の能力を持つ受験者を仮想的に作成し、仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と該乱数を比較することにより解答判定を行い、解答判定結果に基づいて能力値を出力する。
【選択図】 図１
【解決手段】本発明は、ある特定の能力を持つ受験者を仮想的に作成し、仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と該乱数を比較することにより解答判定を行い、解答判定結果に基づいて能力値を出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体に係り、特に、ＷＢＴ（Ｗｅｂ ＢＡｓｅｄ Ｔｒａｉｎｉｎｇ）や、ＣＢＴ（Ｃｏｍｐｕｔｅｒ Ｂａｓｅｄ Ｔｒａｉｎｉｎｇ） といった分野でアダプティブ試験の検証を行う実験を支援するためのアダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来の技術としては、近年資格試験の分野で普及が進んでいるアダプティブ試験を取り上げる。
【０００３】
アダプティブ試験とは、受験者の問題に対する正誤により受験者の能力値（以下記号θで表す。通常−３．０〜＋３．０程度の値を採る。値が大きいほど能力が高いことを意味する）を試験中にリアルタイムに推定し、その能力値に見合う問題を逐次出題する試験手法である。
【０００４】
問題は、すべてアイテムバンクと呼ばれる問題格納手段から選択される。問題の属性としては、通常、
・弁別力パラメータ ａ；
・難易度パラメータ ｂ；
・当て推量パラメータ ｃ；
が設定されている。
【０００５】
受験者の推定中の能力値に対してどの問題を出題するのが適当かを判断する際には、上記の３種類のパラメータが用いられる。最も利用されるのは、難易度パラメータｂであり、この値も能力値同様、通常０．０〜０．２５程度の値となる。
【０００６】
図５は、従来のアダプティブ試験の流れのフローチャートである。ここで説明するのは、アダプティブ試験の一つの例に過ぎず、各ステップにおいて、様々なな手法が存在する。
【０００７】
ステップ１１） 開始処理：
・受験者の初期推定能力値θ１ を０．０（つまり、中レベル）と仮定する。添字の１は、１回目の推定能力値（この場合は初期値）であることを意味する。
【０００８】
ステップ１２） 問題選択：
・推定中の受験者能力θｓ の近い難易度を持つ問題を出題候補として選択する。ここで添字のｓは、ｓ回目の推定能力値であることを意味する。１問目は、θ１ ０．０であるため、その能力値に見合う問題として難易度パラメータｂ≒０．０の問題が選択される。２問目以降は、受験者の解答パターンにより変化する。
ステップ１３） 解答，正解／不正解判定：
・出題された問題に対し、受験者が解答を行う。
【０００９】
・解答の正解／不正解判定を行う。
【００１０】
ステップ１４） 能力推定：
・問題に正解した受験者については、能力値θｓ が上方修正される。逆に不正解であった受験者については、能力値θｓ が下方修正される。修正後の能力値をθｓ＋１ とする。
【００１１】
ステップ１５） 終了判定：
・試験の終了条件を達成しているかどうかの判定を行う。終了条件達成であれば、ステップ１６に移行する。未達成の場合はｓに１を加算し、再度ステップ１２〜ステップ１５を繰り返す。
【００１２】
ステップ１６） 終了処理：
・試験終了時点でのθｓ＋１ を最終的な能力値とする。この値を利用し受験者の合否判定を行い、試験を終了する（例えば、非特許文献１参照。）。
【００１３】
【非特許文献１】
Ｈｏｗａｒｄ Ｗａｉｎｅｒ 『Ｃｏｍｐｕｔｅｒｉｚｅｄ Ａｄａｐｔｉｖｅ Ｔｅｓｔｉｎｇ ：Ａ Ｐｒｉｍｅｒ 』
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来のアダプティブ試験を実施する際には、実験などにより、例えば以下のような項目について検証を行う必要がある。
【００１５】
・利用しているアルゴリズムにより受験者能力が正しく推定できているか。
【００１６】
・妥当な試験の終了条件はどのようなものか。
【００１７】
・１試験あたりの出題数は平均何問程度か。
【００１８】
従来のアダプティブ試験技術により、上記のような項目の検証を目的とした実験を行うためには、大量の被試験者を確保する必要がある。このような被試験者の確保が非常に困難な問題である。
【００１９】
本発明は、上記の点に鑑みなされたもので、解答、正解／不正解判定の処理において、自動化を可能にすると共に、検証の実験を行う際に、大量の被試験者を確保する必要がないアダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体を提供することを目的とする。
【００２０】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００２１】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うための支援方法において、
ある特定の能力を持つ受験者を仮想的に作成し（ステップ１）、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し（ステップ２）、
乱数を生成し、計算された正解確率と乱数を比較することにより解答判定を行い（ステップ３）、
解答判定結果に基づいて能力値を出力する（ステップ４）。
【００２２】
また、本発明は、解答判定に基づいて、問題に正解した仮想受験者の能力値を上方修正し、また、不正解であった仮想受験者の能力値を下方修正する。
【００２３】
図２は、本発明の原理構成図である。
【００２４】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援装置であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定手段１０と、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択手段２０と、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定手段３０と、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定手段４０と、
所定の終了条件を達成するまで問題選択手段２０、解答判定手段３０、能力推定手段４０の処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定手段５０と、を有する。
【００２５】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムであって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで問題選択ステップ、解答判定ステップ、能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定ステップと、を実行する。
【００２６】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムを格納した記憶媒体であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで問題選択ステップ、解答判定ステップ、能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定ステップと、を実行するプログラムを格納する。
【００２７】
上記のように、本発明では、ある特定の能力値を持つ受験者をプログラム上に仮想的に作成することで、大量の被試験者を確保する必要がなくなる。
【００２８】
また、仮想的な受験者の問題に対する正解確率を項目応答論における正解率曲線から計算し、計算された正解確率と乱数を比較することにより、解答処理を自動化することが可能となる。また、試験を無人でかつ自動的に進行することが可能となる。
【００２９】
【発明の実施の形態】
以下、図面の共に本発明の実施の形態を説明する。
【００３０】
図３は、本発明の一実施の形態におけるアダプティブ試験支援装置の構成を示す。
【００３１】
同図に示すアダプティブ試験支援装置は、初期設定部１０、問題選択部２０、解答判定部３０、能力推定部４０、終了判定部５０から構成される。
【００３２】
以下に上記の構成における動作を説明する。
【００３３】
図４は、本発明の一実施の形態におけるアダプティブ試験支援の処理のフローチャートである。
【００３４】
ステップ１０１） 開始処理：初期設定部１０において以下の処理を行う。
【００３５】
・プログラム上に仮想的に受験者を作成する（以下、受験者を仮想受験者と記す）。
【００３６】
・仮想受験者の能力値（以下、真の能力と呼び、θＴ で表す）を設定する。
【００３７】
・初期推定能力値θ１ を０．０に設定する。
【００３８】
ステップ１０２） 問題選択：問題選択部２０において以下の処理を行う。
【００３９】
・推定中の受験者能力θｓ に近い難易度を持つ問題を出題候補として選択する。ここで、添字のｓは、ｓ回目の推定能力値であることを意味する。１問目は、θ１ ＝０．０であるため、その能力値に見合う問題として難易度パラメータｂ≒０．０の問題が選択される。２問目以降は、受験者の解答パターンにより変化する。
【００４０】
ステップ１０３） 自動解答・正解／不正解判定：解答判定部３０において以下の処理を行う。
【００４１】
・仮想受験者の正解／不正解の判定を行うため、まず、仮想受験者の正解確率を、項目応答理論により計算する。項目応答理論においては、数式（１）（正解率曲線と呼ばれる。０以上〜１未満の数値となる）に、出題された問題の弁別力パラメータａ、難易度パラメータｂ、当て推量パラメータｃ、及び受験者の真の能力θＴ を代入することにより、問題に対する仮想受験者の正解確率を計算することが可能である。なお、項目応答理論については、『大友賢二著「項目応答理論入門」』を参照されたい。
【００４２】
【数１】
・０以上〜１未満の一様乱数を発生させる。
【００４３】
・計算された正解確率と乱数を比較する。乱数が正解確率以下であった場合、仮想受験者が問題に正解したものを判定する。逆に乱数が正解確率を上回った場合、仮想受験者が問題に不正解であったものと判定する。
【００４４】
ステップ１０４） 能力判定：能力判定部４０において以下の処理を行う。
【００４５】
・問題に正解した仮想受験者は、能力値θｓ が上方修正される。逆に不正解であった仮想受験者は、能力値がθｓ が下方修正される。修正後の能力値をθｓ＋１ とする。
【００４６】
ステップ１０５） 終了判定：終了判定部５０において以下の処理を行う。
【００４７】
・終了条件に達しているかの判定を行う。終了条件達成であれば、ステップ１０６に移行する。また未達成の場合は、ｓに１を加算し、再度ステップ１０２からステップ１０５の処理を繰り返す（問題選択部２０の処理に移行する）。
【００４８】
ステップ１０６） 終了時処理：終了判定部５０において以下の処理を行う。
・試験終了時点でのθｓ＋１ を最終的な能力値として出力する。
【００４９】
このように、実際の被試験者がアダプティブ試験を受験するのではなく、プログラム上に作成された仮想受験者が試験を受験することになる。
【００５０】
仮想受験者による解答処理は、全く人手を介さず、項目応答理論に基づいて、自動的に行われるため、被試験者を集めることなく、アダプティブ試験の実験が可能になる。
【００５１】
例として、上記のステップ１０６で計算されたθｓ＋１ と、仮想受験者に対して設定した真の能力θＴ を比較することにより、利用しているアルゴリズムが被試験者を正当に評価可能かどうかを検証することが可能になる。その他の項目についても、アダプティブ試験の各処理で必要な情報をコンピュータ上にログファイルなどとし出力し、分析することにより検証が可能である。
【００５２】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００５３】
以下、前述の図４に示すフローチャートに基づいて、動作を具体的に説明する。本実施例では、試験の終了条件として、『問題を２問出題した時点で終了』という条件を採用したものとする。
【００５４】
まず、１問目の処理を説明する。
【００５５】
ステップ１０１） 開始処理：
・仮想受験者を作成する。仮想受験者の真の能力値θＴ ＝１．０と設定する。
・仮想受験者の初期推定能力をθ１ ＝０．０と仮定する。
【００５６】
ステップ１０２） 問題選択：
・推定能力値θ１ に最も近い難易度の問題を出題対象として選択する。ここでは、１問目として、弁別力、難易度、当て推量パラメータが、それぞれ
ａ＝１．００，
ｂ＝０．０５
ｃ＝０．２５
の問題が選択されたと仮定する。
【００５７】
ステップ１０３） 自動解答・正解／不正解判定：
・前述の数式（１）に基づき、１問目に対する仮想受験者の正解確率を計算する。０．７９０８という値が算出される。この値をＰとする。
【００５８】
・０以上１未満の一様乱数を発生させる。ここでは、０．７２０１という乱数が発生したものとする。この値をＸとする。
【００５９】
・ＰとＸの値を比較すう。ここでは、ＰがＸを上回っているので、仮想受験者は問題に正解したと判定される。
【００６０】
ステップ１０４） 能力推定：
・仮想受験者が問題に正解したため、推定能力値θ２ を１．２上方修正する。
ステップ１０５） 終了判定：
・終了条件としては、『問題を２問出題した時点で終了』という条件を採用している。現段階での出題問題数は１問であり、終了条件未達成であるため、再度ステップ１０２〜１０５を繰り返す。
【００６１】
次に、２問目の処理について説明する。
【００６２】
ステップ１０２） 問題選択：
・推定能力値θ２ ＝１．２に最も近い難易度の問題を出題対象として選択する。ここでは、２問目として、弁別力、難易度、当て推量パラメータが、それぞれ、
ａ＝０．７０，
ｂ＝１．１０
ｃ＝０．１０
の問題が選択されたと仮定する。
【００６３】
ステップ１０３） 自動解答・正解／不正解判定：
・数式（１）に基づき、２問目に対する仮想受験者の正解確率を計算する。ここでは、０．５０５１という値が算出される。この値をＰとする（Ｐ＝０．５０５１）。
【００６４】
・０以上１未満の一様乱数を発生させる。ここでは、０．９７６１という乱数が発生したとする。この値をＸとする。
【００６５】
・ＰとＸの値を比較する。ここでは、ＰがＸを下回っているので、仮想受験者は、問題に正解できなかったと判定される。
【００６６】
ステップ１０４） 能力推定：
・仮想受験者が問題に正解できなかったため、推定能力値θ３ を０．９５と下方修正する。
【００６７】
ステップ１０５） 終了判定：
・終了条件としては、『問題を２問出題した時点で終了』という条件を採用している。現段階での出題問題数は２問であり、終了条件を達成しているため、試験を終了する。
【００６８】
ステップ１０６） 終了時処理：
・θ３ （＝０．９５）が本実施例における最終能力値となる。
【００６９】
・最終能力値０．９５と仮想受験者の真の能力１．０を比較すると、ほぼ一致しているのがわかる。
【００７０】
ここから、利用しているアダプティブ試験アルゴリズムの正当性が確認できる。実際には、上記のような試験を数百回、数千回と繰り返し、最終能力値の平均と真の能力を比較するなどといった方法により、アルゴリズムの正当性を確認するといった処理を行うことになる。
【００７１】
なお、上記のステップ１０１〜ステップ１０６の動作をプログラムとして構築し、アダプティブ試験支援装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【００７２】
また、構築されたプログラムをアダプティブ試験支援装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にコンピュータにインストールすることも可能である。
【００７３】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００７４】
【発明の効果】
上述のように、本発明によれば、仮想受験者による解答処理は、全く人手を介さず、項目応答理論に基づいて、自動的に行われるため、被試験者を集めることなく、アダプティブ試験の実験ができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるアダプティブ試験実施装置の構成図である。
【図４】本発明の一実施の形態におけるアダプティブ試験のフローチャートである。
【図５】従来のアダプティブ試験のフローチャートである。
【符号の説明】
１０ 初期設定手段、初期設定部
２０ 問題選択手段、問題選択部
３０ 解答判定手段、解答判定部
４０ 能力推定手段、能力推定部
５０ 終了判定手段、終了判定部
【発明の属する技術分野】
本発明は、アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体に係り、特に、ＷＢＴ（Ｗｅｂ ＢＡｓｅｄ Ｔｒａｉｎｉｎｇ）や、ＣＢＴ（Ｃｏｍｐｕｔｅｒ Ｂａｓｅｄ Ｔｒａｉｎｉｎｇ） といった分野でアダプティブ試験の検証を行う実験を支援するためのアダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
従来の技術としては、近年資格試験の分野で普及が進んでいるアダプティブ試験を取り上げる。
【０００３】
アダプティブ試験とは、受験者の問題に対する正誤により受験者の能力値（以下記号θで表す。通常−３．０〜＋３．０程度の値を採る。値が大きいほど能力が高いことを意味する）を試験中にリアルタイムに推定し、その能力値に見合う問題を逐次出題する試験手法である。
【０００４】
問題は、すべてアイテムバンクと呼ばれる問題格納手段から選択される。問題の属性としては、通常、
・弁別力パラメータ ａ；
・難易度パラメータ ｂ；
・当て推量パラメータ ｃ；
が設定されている。
【０００５】
受験者の推定中の能力値に対してどの問題を出題するのが適当かを判断する際には、上記の３種類のパラメータが用いられる。最も利用されるのは、難易度パラメータｂであり、この値も能力値同様、通常０．０〜０．２５程度の値となる。
【０００６】
図５は、従来のアダプティブ試験の流れのフローチャートである。ここで説明するのは、アダプティブ試験の一つの例に過ぎず、各ステップにおいて、様々なな手法が存在する。
【０００７】
ステップ１１） 開始処理：
・受験者の初期推定能力値θ１ を０．０（つまり、中レベル）と仮定する。添字の１は、１回目の推定能力値（この場合は初期値）であることを意味する。
【０００８】
ステップ１２） 問題選択：
・推定中の受験者能力θｓ の近い難易度を持つ問題を出題候補として選択する。ここで添字のｓは、ｓ回目の推定能力値であることを意味する。１問目は、θ１ ０．０であるため、その能力値に見合う問題として難易度パラメータｂ≒０．０の問題が選択される。２問目以降は、受験者の解答パターンにより変化する。
ステップ１３） 解答，正解／不正解判定：
・出題された問題に対し、受験者が解答を行う。
【０００９】
・解答の正解／不正解判定を行う。
【００１０】
ステップ１４） 能力推定：
・問題に正解した受験者については、能力値θｓ が上方修正される。逆に不正解であった受験者については、能力値θｓ が下方修正される。修正後の能力値をθｓ＋１ とする。
【００１１】
ステップ１５） 終了判定：
・試験の終了条件を達成しているかどうかの判定を行う。終了条件達成であれば、ステップ１６に移行する。未達成の場合はｓに１を加算し、再度ステップ１２〜ステップ１５を繰り返す。
【００１２】
ステップ１６） 終了処理：
・試験終了時点でのθｓ＋１ を最終的な能力値とする。この値を利用し受験者の合否判定を行い、試験を終了する（例えば、非特許文献１参照。）。
【００１３】
【非特許文献１】
Ｈｏｗａｒｄ Ｗａｉｎｅｒ 『Ｃｏｍｐｕｔｅｒｉｚｅｄ Ａｄａｐｔｉｖｅ Ｔｅｓｔｉｎｇ ：Ａ Ｐｒｉｍｅｒ 』
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来のアダプティブ試験を実施する際には、実験などにより、例えば以下のような項目について検証を行う必要がある。
【００１５】
・利用しているアルゴリズムにより受験者能力が正しく推定できているか。
【００１６】
・妥当な試験の終了条件はどのようなものか。
【００１７】
・１試験あたりの出題数は平均何問程度か。
【００１８】
従来のアダプティブ試験技術により、上記のような項目の検証を目的とした実験を行うためには、大量の被試験者を確保する必要がある。このような被試験者の確保が非常に困難な問題である。
【００１９】
本発明は、上記の点に鑑みなされたもので、解答、正解／不正解判定の処理において、自動化を可能にすると共に、検証の実験を行う際に、大量の被試験者を確保する必要がないアダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体を提供することを目的とする。
【００２０】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００２１】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うための支援方法において、
ある特定の能力を持つ受験者を仮想的に作成し（ステップ１）、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し（ステップ２）、
乱数を生成し、計算された正解確率と乱数を比較することにより解答判定を行い（ステップ３）、
解答判定結果に基づいて能力値を出力する（ステップ４）。
【００２２】
また、本発明は、解答判定に基づいて、問題に正解した仮想受験者の能力値を上方修正し、また、不正解であった仮想受験者の能力値を下方修正する。
【００２３】
図２は、本発明の原理構成図である。
【００２４】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援装置であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定手段１０と、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択手段２０と、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定手段３０と、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定手段４０と、
所定の終了条件を達成するまで問題選択手段２０、解答判定手段３０、能力推定手段４０の処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定手段５０と、を有する。
【００２５】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムであって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで問題選択ステップ、解答判定ステップ、能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定ステップと、を実行する。
【００２６】
本発明は、コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムを格納した記憶媒体であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで問題選択ステップ、解答判定ステップ、能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、能力値を出力する終了判定ステップと、を実行するプログラムを格納する。
【００２７】
上記のように、本発明では、ある特定の能力値を持つ受験者をプログラム上に仮想的に作成することで、大量の被試験者を確保する必要がなくなる。
【００２８】
また、仮想的な受験者の問題に対する正解確率を項目応答論における正解率曲線から計算し、計算された正解確率と乱数を比較することにより、解答処理を自動化することが可能となる。また、試験を無人でかつ自動的に進行することが可能となる。
【００２９】
【発明の実施の形態】
以下、図面の共に本発明の実施の形態を説明する。
【００３０】
図３は、本発明の一実施の形態におけるアダプティブ試験支援装置の構成を示す。
【００３１】
同図に示すアダプティブ試験支援装置は、初期設定部１０、問題選択部２０、解答判定部３０、能力推定部４０、終了判定部５０から構成される。
【００３２】
以下に上記の構成における動作を説明する。
【００３３】
図４は、本発明の一実施の形態におけるアダプティブ試験支援の処理のフローチャートである。
【００３４】
ステップ１０１） 開始処理：初期設定部１０において以下の処理を行う。
【００３５】
・プログラム上に仮想的に受験者を作成する（以下、受験者を仮想受験者と記す）。
【００３６】
・仮想受験者の能力値（以下、真の能力と呼び、θＴ で表す）を設定する。
【００３７】
・初期推定能力値θ１ を０．０に設定する。
【００３８】
ステップ１０２） 問題選択：問題選択部２０において以下の処理を行う。
【００３９】
・推定中の受験者能力θｓ に近い難易度を持つ問題を出題候補として選択する。ここで、添字のｓは、ｓ回目の推定能力値であることを意味する。１問目は、θ１ ＝０．０であるため、その能力値に見合う問題として難易度パラメータｂ≒０．０の問題が選択される。２問目以降は、受験者の解答パターンにより変化する。
【００４０】
ステップ１０３） 自動解答・正解／不正解判定：解答判定部３０において以下の処理を行う。
【００４１】
・仮想受験者の正解／不正解の判定を行うため、まず、仮想受験者の正解確率を、項目応答理論により計算する。項目応答理論においては、数式（１）（正解率曲線と呼ばれる。０以上〜１未満の数値となる）に、出題された問題の弁別力パラメータａ、難易度パラメータｂ、当て推量パラメータｃ、及び受験者の真の能力θＴ を代入することにより、問題に対する仮想受験者の正解確率を計算することが可能である。なお、項目応答理論については、『大友賢二著「項目応答理論入門」』を参照されたい。
【００４２】
【数１】
【００４３】
・計算された正解確率と乱数を比較する。乱数が正解確率以下であった場合、仮想受験者が問題に正解したものを判定する。逆に乱数が正解確率を上回った場合、仮想受験者が問題に不正解であったものと判定する。
【００４４】
ステップ１０４） 能力判定：能力判定部４０において以下の処理を行う。
【００４５】
・問題に正解した仮想受験者は、能力値θｓ が上方修正される。逆に不正解であった仮想受験者は、能力値がθｓ が下方修正される。修正後の能力値をθｓ＋１ とする。
【００４６】
ステップ１０５） 終了判定：終了判定部５０において以下の処理を行う。
【００４７】
・終了条件に達しているかの判定を行う。終了条件達成であれば、ステップ１０６に移行する。また未達成の場合は、ｓに１を加算し、再度ステップ１０２からステップ１０５の処理を繰り返す（問題選択部２０の処理に移行する）。
【００４８】
ステップ１０６） 終了時処理：終了判定部５０において以下の処理を行う。
・試験終了時点でのθｓ＋１ を最終的な能力値として出力する。
【００４９】
このように、実際の被試験者がアダプティブ試験を受験するのではなく、プログラム上に作成された仮想受験者が試験を受験することになる。
【００５０】
仮想受験者による解答処理は、全く人手を介さず、項目応答理論に基づいて、自動的に行われるため、被試験者を集めることなく、アダプティブ試験の実験が可能になる。
【００５１】
例として、上記のステップ１０６で計算されたθｓ＋１ と、仮想受験者に対して設定した真の能力θＴ を比較することにより、利用しているアルゴリズムが被試験者を正当に評価可能かどうかを検証することが可能になる。その他の項目についても、アダプティブ試験の各処理で必要な情報をコンピュータ上にログファイルなどとし出力し、分析することにより検証が可能である。
【００５２】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００５３】
以下、前述の図４に示すフローチャートに基づいて、動作を具体的に説明する。本実施例では、試験の終了条件として、『問題を２問出題した時点で終了』という条件を採用したものとする。
【００５４】
まず、１問目の処理を説明する。
【００５５】
ステップ１０１） 開始処理：
・仮想受験者を作成する。仮想受験者の真の能力値θＴ ＝１．０と設定する。
・仮想受験者の初期推定能力をθ１ ＝０．０と仮定する。
【００５６】
ステップ１０２） 問題選択：
・推定能力値θ１ に最も近い難易度の問題を出題対象として選択する。ここでは、１問目として、弁別力、難易度、当て推量パラメータが、それぞれ
ａ＝１．００，
ｂ＝０．０５
ｃ＝０．２５
の問題が選択されたと仮定する。
【００５７】
ステップ１０３） 自動解答・正解／不正解判定：
・前述の数式（１）に基づき、１問目に対する仮想受験者の正解確率を計算する。０．７９０８という値が算出される。この値をＰとする。
【００５８】
・０以上１未満の一様乱数を発生させる。ここでは、０．７２０１という乱数が発生したものとする。この値をＸとする。
【００５９】
・ＰとＸの値を比較すう。ここでは、ＰがＸを上回っているので、仮想受験者は問題に正解したと判定される。
【００６０】
ステップ１０４） 能力推定：
・仮想受験者が問題に正解したため、推定能力値θ２ を１．２上方修正する。
ステップ１０５） 終了判定：
・終了条件としては、『問題を２問出題した時点で終了』という条件を採用している。現段階での出題問題数は１問であり、終了条件未達成であるため、再度ステップ１０２〜１０５を繰り返す。
【００６１】
次に、２問目の処理について説明する。
【００６２】
ステップ１０２） 問題選択：
・推定能力値θ２ ＝１．２に最も近い難易度の問題を出題対象として選択する。ここでは、２問目として、弁別力、難易度、当て推量パラメータが、それぞれ、
ａ＝０．７０，
ｂ＝１．１０
ｃ＝０．１０
の問題が選択されたと仮定する。
【００６３】
ステップ１０３） 自動解答・正解／不正解判定：
・数式（１）に基づき、２問目に対する仮想受験者の正解確率を計算する。ここでは、０．５０５１という値が算出される。この値をＰとする（Ｐ＝０．５０５１）。
【００６４】
・０以上１未満の一様乱数を発生させる。ここでは、０．９７６１という乱数が発生したとする。この値をＸとする。
【００６５】
・ＰとＸの値を比較する。ここでは、ＰがＸを下回っているので、仮想受験者は、問題に正解できなかったと判定される。
【００６６】
ステップ１０４） 能力推定：
・仮想受験者が問題に正解できなかったため、推定能力値θ３ を０．９５と下方修正する。
【００６７】
ステップ１０５） 終了判定：
・終了条件としては、『問題を２問出題した時点で終了』という条件を採用している。現段階での出題問題数は２問であり、終了条件を達成しているため、試験を終了する。
【００６８】
ステップ１０６） 終了時処理：
・θ３ （＝０．９５）が本実施例における最終能力値となる。
【００６９】
・最終能力値０．９５と仮想受験者の真の能力１．０を比較すると、ほぼ一致しているのがわかる。
【００７０】
ここから、利用しているアダプティブ試験アルゴリズムの正当性が確認できる。実際には、上記のような試験を数百回、数千回と繰り返し、最終能力値の平均と真の能力を比較するなどといった方法により、アルゴリズムの正当性を確認するといった処理を行うことになる。
【００７１】
なお、上記のステップ１０１〜ステップ１０６の動作をプログラムとして構築し、アダプティブ試験支援装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。
【００７２】
また、構築されたプログラムをアダプティブ試験支援装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にコンピュータにインストールすることも可能である。
【００７３】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００７４】
【発明の効果】
上述のように、本発明によれば、仮想受験者による解答処理は、全く人手を介さず、項目応答理論に基づいて、自動的に行われるため、被試験者を集めることなく、アダプティブ試験の実験ができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるアダプティブ試験実施装置の構成図である。
【図４】本発明の一実施の形態におけるアダプティブ試験のフローチャートである。
【図５】従来のアダプティブ試験のフローチャートである。
【符号の説明】
１０ 初期設定手段、初期設定部
２０ 問題選択手段、問題選択部
３０ 解答判定手段、解答判定部
４０ 能力推定手段、能力推定部
５０ 終了判定手段、終了判定部
Claims (5)
- コンピュータを利用して試験を実施するアダプティブ試験の検証を行うための支援方法において、
ある特定の能力を持つ受験者を仮想的に作成し、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、
乱数を生成し、計算された正解確率と該乱数を比較することにより解答判定を行い、
解答判定結果に基づいて能力値を出力することを特徴とするアダプティブ試験支援方法。 - 解答判定に基づいて、問題に正解した仮想受験者の能力値を上方修正し、また、不正解であった仮想受験者の能力値を下方修正する請求項１記載のアダプティブ試験支援方法。
- コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援装置であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定手段と、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択手段と、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と該乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定手段と、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定手段と、
所定の終了条件を達成するまで前記問題選択手段、前記解答判定手段、前記能力推定手段の処理を繰り返し、該終了条件を満たした場合には、前記能力値を出力する終了判定手段と、を有することを特徴とするアダプティブ試験支援装置。 - コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムであって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と該乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで前記問題選択ステップ、前記解答判定ステップ、前記能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、前記能力値を出力する終了判定ステップと、を実行することを特徴とするアダプティブ試験支援プログラム。 - コンピュータを利用して試験を実施するアダプティブ試験の検証を行うためのアダプティブ試験支援プログラムを格納した記憶媒体であって、
ある特定の能力を持つ受験者を仮想的に作成する初期設定ステップと、
仮想的な受験者の能力に近い難易を持つ問題を出題候補として選択する問題選択ステップと、
仮想的な受験者の問題に対する正解確率を項目応答理論における正解率曲線から計算し、乱数を生成し、計算された正解確率と該乱数を比較し、該乱数が該正解確率以下であった場合には、該仮想的な受験者が問題に正解したものと判定し、該乱数が該正解確率を上回った場合には、該仮想的な受験者が問題に不正解であったと判断する解答判定ステップと、
正解した仮想的な受験者の能力値を上方修正し、不正解であった仮想的な受験者の能力値を下方修正する能力推定ステップと、
所定の終了条件を達成するまで前記問題選択ステップ、前記解答判定ステップ、前記能力推定ステップの処理を繰り返し、該終了条件を満たした場合には、前記能力値を出力する終了判定ステップと、を実行するプログラムを格納したことを特徴とするアダプティブ試験支援プログラムを格納した記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002341293A JP2004177510A (ja) | 2002-11-25 | 2002-11-25 | アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002341293A JP2004177510A (ja) | 2002-11-25 | 2002-11-25 | アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004177510A true JP2004177510A (ja) | 2004-06-24 |
Family
ID=32703699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002341293A Pending JP2004177510A (ja) | 2002-11-25 | 2002-11-25 | アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004177510A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279306A (ja) * | 2006-04-05 | 2007-10-25 | Nagaoka Univ Of Technology | 項目応答理論におけるパラメータ推定方法 |
| CN110570735A (zh) * | 2019-09-02 | 2019-12-13 | 浙江传媒学院 | 基于visa的虚实结合虚拟实验构建方法 |
-
2002
- 2002-11-25 JP JP2002341293A patent/JP2004177510A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279306A (ja) * | 2006-04-05 | 2007-10-25 | Nagaoka Univ Of Technology | 項目応答理論におけるパラメータ推定方法 |
| CN110570735A (zh) * | 2019-09-02 | 2019-12-13 | 浙江传媒学院 | 基于visa的虚实结合虚拟实验构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106708687B (zh) | 一种基于可执行文件的芯片验证方法和装置 | |
| Beck et al. | Limits to accuracy: how well can we do at student modeling? | |
| CN110136116B (zh) | 一种注塑泵缺陷检测方法、装置、设备及存储介质 | |
| CN109002533A (zh) | 一种内容推送系统、方法、装置、介质和计算设备 | |
| CN111680216B (zh) | 一种试题推荐方法、系统、介质及设备 | |
| Cosyn et al. | A practical procedure to build a knowledge structure | |
| JP2004177510A (ja) | アダプティブ試験支援方法及び装置及びアダプティブ試験支援プログラム及びアダプティブ試験支援プログラムを格納した記憶媒体 | |
| CN114117252A (zh) | 一种学生智能专属题库推荐方法及系统 | |
| CN112348408A (zh) | 一种在线师资培训和考评方法 | |
| JPWO2006093065A1 (ja) | 学習レベル判定装置及び学習レベル判定プログラム | |
| CN111814414A (zh) | 一种基于遗传算法的覆盖率收敛方法及系统 | |
| CN111127271A (zh) | 一种用于学情分析的教学方法及系统 | |
| CN108039081B (zh) | 机器人教学测评方法及装置 | |
| JP2003271752A (ja) | 教材提示方法及び装置及び教材提示プログラム及び教材提示プログラムを格納した記憶媒体 | |
| CN112084117B (zh) | 一种测试方法和装置 | |
| CN114510617A (zh) | 在线课程学习行为确定方法及装置 | |
| KR102589553B1 (ko) | 그림 감정 학습 지원 방법 및 그 장치 | |
| CN114691903A (zh) | 一种智能课程测试方法及系统、电子设备、存储介质 | |
| JP2005215023A (ja) | テスト実施システムおよびテスト実施方法 | |
| JP7244056B2 (ja) | 実技レベルの達成条件の判定装置、判定方法、プログラム、および記録媒体 | |
| Agarwal et al. | Contextual Derivation of Stable BKT Parameters for Analysing Content Efficacy. | |
| CN111369998B (zh) | 一种数据处理方法及电子设备 | |
| CN112131427A (zh) | 一种练习套题的获取方法及系统 | |
| JP7509951B1 (ja) | レベル判定装置、レベル判定方法、プログラム | |
| JP3515104B1 (ja) | 不適当問題判定プログラム及び合否判定プログラム |