JP2016126029A - 項目応答理論に基づいて多数の受験者の能力値を推定するコンピューティング - Google Patents

Abstract

【課題】能力値の推定に無関係となる試験問題が発生しないようにし、また、すべての試験問題の採点結果に基づいてより尤度の高い能力値を算定できるようにすることができるコンピューティングの方法を提供する。【解決手段】２回目の能力値計算の対象となった難易度なし問題について２回目の質判定処理を実行し、基準外問題を特定する。質判定処理により基準外問題と判定された問題数がゼロまたは所定数以下である場合は最後の能力値計算を行う。最後の能力値計算では、当初から難易度が付いていたｍ問と、直前の質判定処理により基準内問題と判定されたＸ問と、各質判定処理により基準外問題と判定された複数問の合計Ｍ問を対象とし、Ｎ人の受験者の採点結果から得た全Ｍ個の問題ごとの正答率と、ｍ問の難易度と、直前の能力値計算で上記Ｘ問に付与された難易度とに基づいて能力値計算を行い、Ｎ人の受験者の能力値を算定する。【選択図】図２

Description

この発明は、複数の問題を複数の受験者に回答させて得られた各受験者の各問題ごとの正答および誤答を表す採点結果を、周知の項目応答理論の１パラメータロジスティックモデルを適用したアルゴリズムで処理し、各受験者の能力値を推定するコンピューティングの改良に関するものである。

出願人は、１級から５級にグレード分けした実用英語技能検定試験を実施しており、現状では、試験結果を所定の基準により二値判定して合格または不合格というかたちで受験者に検定結果を知らせている。この発明を創作するきっかけは、各グレードの合格・不合格という判定結果に加えて、１級から５級にわたる統一した尺度で表現した能力値（実用英語技能の習得度を表現した値である）を各受験者に提示しようと企図したことにある。たとえば、１級試験に合格したある受験者の能力値が９７であり、５級試験に合格したある受験者の能力値が４３であるという具合である。

各種の能力検定試験に関する統計確率理論としては、代表的なものとして、項目応答理論（ＩRＴ）の１パラメータロジスティック（１ＰＬ）モデルがよく知られている。このＩRＴ−１ＰＬモデルでは、複数の問題を複数の受験者に回答させて正答・誤答を採点するという大規模な試験の実施を前提として、統計確率論的に、問題の難易度が大きいほどその問題に正答する確率が小さくなり、また、回答者の能力値が大きいほど問題に正答する確率が大きくなるという関係性について、各問題に正答する確率が回答者の能力値と問題の難易度の関数として表されるという、有名なつぎの理論式を導き出している。

ここで、Ｐij（θj）は、能力値θjの受験者が難易度ｂiの問題に対して正解する確率である

≪参考文献１≫項目応答理論入門―言語テスト・データの新しい分析法、大友賢二著、大修館書店、１９９６．
≪参考文献２≫項目応答理論・理論編−テストの数理−，豊田秀樹編著；朝倉書店，2005．
≪参考文献３≫ベイジアンネットワーク技術・顧客・ユーザーのモデル化と不確実性理論，本村陽一，岩崎弘利著；東京電機大学出版，2006．
≪参考文献４≫特開２００８−２４２６３７号公報
≪参考文献５≫特表２０１３−５２１０５３号公報
≪参考文献６≫特開２００４−１７７５１０号公報

＝＝＝従来の方法１＝＝＝
１００個の問題からなる試験を１万人の受験者が受けて、それらの正答・誤答を採点し、１００個の各問題ごとの正答率を算出したとする。ここで、これら１００個の問題については、過去の試験実績から算定された難易度があらかじめ定まっているものとする。この場合、ＩRＴ−１ＰＬモデルの上記式１を用いた周知のプログラム（これをＩRＴシステムと称することにする）により、採点により得られた各問題ごとの正答率と、各問題に付された難易度とを入力情報として処理することにより、１万人の各受験者の能力値を算出（推定）することができる。そして、１００個のすべての問題の難易度が過去の実績を反映して信頼性が高いとすれば、算出される１万人の受験者の能力値の信頼性も高いと考えられる。

＝＝＝従来の方法２＝＝＝
上記の方法１は、１００個の試験問題のすべてが定評のある難易度の付いた過去問であることを前提としている。全国的な規模で使用された問題の公開を前提として定期的に行われる実用英語技能検定試験のような試験では、試験問題のすべてを過去問とするような方法はとうてい採用することはできないので、つぎのような試験方法（方法２）が実施されている。

方法２においては、たとえば、全１００個の試験問題を、定評のある難易度の付いた問題（過去問）と、難易度がまだ付いていない問題（新問）とを混合した構成として試験を実施する。具体例として、難易度付きの３０問と難易度なしの７０問とで試験問題を構成し、これを１万人が受験し、その採点結果に基づいて１万人の受験者のそれぞれの能力値を算定（推定）する場合について説明を進める。

１万人の受験者の採点結果から得た１００個の問題ごとの正答率を前記ＩRＴシステムに入力するとともに、１００問中の３０問についてはそれぞれに設定されている難易度を当該ＩRＴシステムに入力して、プログラムされた推定演算を実行させる。ＩRＴシステムは、前記式１に基づく統計確率論的な演算により、７０個の新問の難易度をそれぞれに算定（推定）するとともに、１万人の受験者のそれぞれの能力値を算定（推定）して出力する。

上記の推定演算アルゴリズムは当業者の周知事項であるので詳細は割愛するが、ここでは、その原理について一応説明する。図１には、１万人の採点結果から得た１００個の問題ごとの正答率を、一次元の正答率軸上にプロットした様子を示している。プロットされた１００個の問題別の正答率のうち、３０個には難易度があらかじめ付いており、残りの７０個には難易度が付いていない。ＩRＴシステムは、正答率軸上の３０個の問題の難易度の配列状態を参照して正答率軸上の残り７０個の問題に妥当な難易度を演算により算定して付加する。

上記の処理により１００個の問題のすべてに難易度がついたので、方法１と同じアルゴリズムにより１万人の受験者ごとの能力値を算定することができる。このようにしてＩRＴシステムは、７０個の問題ごとの難易度と１万人の受験者ごとの能力値とを算定（推定）して出力する。

＝＝＝方法２の問題点＝＝＝
上記の説明から理解できるように、方法２により推定される受験者の能力値の尤もらしさは、方法１と比較して明らかに悪化する。方法１では全１００問のすべてに定評のある難易度が付いていたのに対し、方法２では１００問中の３０問にしか定評のある難易度は付いておらず、残り７０問の問題の難易度も１万人の採点結果から推定し、その上で１万人の能力値を推定しているのであるから、尤度が低くなるのは当然であるといえる。

＝＝＝従来の方法３＝＝＝
方法２における上述した問題点を少しでも改善するべく、つぎに述べる処理を加えた方法３が従来から実施されていた。方法２の上記演算結果を前提とし、当初難易度が付いていなかった７０問について、以下のようにして問題の質指標を計算し、その質指標が所定の基準に満たなかった問題を能力値の推定演算の対象から削除する。

問題の質指標はつぎのように計算する。上記方法２の推定演算処理により、当初難易度が付いていなかった７０問について難易度が算定されるとともに、１万人の能力値が算定された。このことを前提として説明を進める。また１００個の問題には識別番号ｉ（ｉ＝１〜１００）が付いている。

当初難易度が付いていなかったある問題ｉについては１万人の回答データから受験者の能力値θを推定し、この問題ｉに付された難易度ｂとに基づいて、式１により理論上の正答率Ｐを計算する。そして、この問題ｉの実際の正答率と正答率理論値Ｐの差分（これが問題の質指標である）を計算する。この差分が所定の基準範囲から外れて大きい場合、この問題ｉを能力値の推定演算の対象から削除する。このように判定された問題ｉのことを基準外問題と称する。

以上の追加の処理を、当初難易度がついていなかった７０問について実施する。前述した周知のＩRＴシステムには、この処理を実施する機能も備わっている。この説明例においては、上記の７０問中の２８問が基準外問題として判定されたとする。７０問中の４２問は基準内問題である。

つぎに、上記の質判定で基準内問題とされた４２問と、当初から難易度が付いていた３０問の合計７２問のみを対象とし、１万人の採点結果から得た７２問の正答率を前記ＩRＴシステムに入力するとともに、３０個の問題に当初から付されていた各問題の難易度を前記ＩRＴシステムに入力し、方法２と同じ推定演算を実行させる。そうすると方法２で説明したとおり、前記ＩRＴシステムは、４２問の問題ごとの難易度を出力するとともに、１万人の受験者ごとの能力値（再計算された能力値）を出力する。

１万人の受験者について再計算された能力値は、推定演算の対象から削除された２８問の影響を受けて、最初の推定演算により算定された能力値とは異なる値になり（全員について異なるという意味ではない）、かつ、再計算された能力値は１回目の計算よりもその尤度は向上していると考えられる。従来は、このようにして再計算された能力値をそれぞれ各受験者に提示する方法が望ましいとされていた。

＝＝＝方法３の問題点＝＝＝
上記の方法３により再計算した能力値をそれぞれの受験者の能力値として提示する従来の試験方法においては、上記の具体例に従って説明すると、１００問中の２８問（前記の質判定により基準外問題とされた２８問である）は能力値の推定演算の対象から完全に削除されており、この２８問に対して正答したのか誤答したのかという各受験者の事実関係は各人の能力値にまったく反映していないのである。このことが本出願の発明者が解決すべき課題として認識したことである。

＝＝＝解決課題および目的＝＝＝
以下では、この発明の端的な理解促進を目的として、上記の「発明の背景」で説明した文脈の中で、この発明の核心とする事項を具体的に説明することとする。

実用英語技能検定試験などのような大規模に定期的に実施される試験の場合、方法３の質判定により基準外問題とされた１００問中の２８問に対する各受験者の正答または誤答が各人に伝えられた能力値とまったく無関係であるという事実は、多数の受験者が採点結果や能力値を見せあって、互いの情報を突き合わせて受験者間で分析が行われることにより、比較的容易にその事実関係が解明されるものである。このことは技能検定試験の信頼性評価を引き下げるマイナス要因となってしまう。

この発明の目的の１つは、能力値の推定に無関係となる試験問題が発生しないようにすることにある。この発明のもう１つの目的は、すべての試験問題の採点結果に基づいてより尤度の高い能力値を算定できるようにすることにある。

＝＝＝本発明の実施例説明の前提事項＝＝＝
以下に説明する具体的な実施例の処理進行の様子を図２に図解した。この実施例は、従来の方法２および方法３としてすでに説明したつぎの事項を前提としている。
（ａ）１万人の受験者が全１００問の試験を受けた。１００問中の３０問には定評のある難易度があらかじめ付与されおり、残りの７０問には難易度は付いていない。
（ｂ）１万人の受験者の採点結果から得た１００個の問題ごとの正答率と、３０問の難易度とを前記ＩRＴシステムに入力して能力値の推定演算を行い、７０個の新問の難易度と、１万人の受験者の能力値を算定する（従来の方法２）。これを１回目の能力値計算と呼ぶことにする。
（ｃ）当初難易度の付いていなかった７０問について前記ＩRＴシステムにより質判定処理を実行する（従来の方法３）。その結果、２８問が基準外問題と判定され、４２問が基準内問題と判定された。これを１回目の質判定処理と呼ぶことにする。

＝＝＝本発明の実施例による処理進行＝＝＝
（ｄ）当初から難易度が付いていた３０問と、基準内問題と判定された４２問の合計７２問を対象とし、１万人の受験者の採点結果から得たこれら７２個の問題ごとの正答率と、３０問の難易度とを前記ＩRＴシステムに入力して能力値の推定演算を行い、上記４２個の新問の難易度と、１万人の受験者の能力値を算定する。これを２回目の能力値計算と呼ぶことにする。この計算アルゴリズムは１回目の能力値計算と同じであり周知である。

ここで注意すべきことは、上記４２個の新問には１回目の能力値計算により難易度が付与されているが、２回目の能力値計算においてはこれら難易度は採用されていないことである。２回目の能力値計算によって４２個の新問に改めて難易度が付与される。

（ｅ）改めて難易度が付与された上記４２問について、前記ＩRＴシステムにより、従来の方法３と同じアルゴリズムにより質判定処理を実行する。この２回目の質判定処理により、上記４２問中の１７問が基準外問題と判定され、２５問が基準内問題と判定されたとする。

（ｆ）当初から難易度が付いていた３０問と、２回目の質判定処理により基準内問題と判定された上記２５問の合計５５問を対象とし、１万人の受験者の採点結果から得たこれら５５個の問題ごとの正答率と、３０問の難易度とを前記ＩRＴシステムに入力して能力値の推定演算（３回目の能力値計算）を行い、上記２５個の新問の難易度と、１万人の受験者の能力値を算定する。

（ｇ）改めて難易度が付与された上記２５問について、前記ＩRＴシステムにより、従来の方法３と同じアルゴリズムにより３回目の質判定処理を実行する。この３回目の質判定処理により、上記２５問中の２２問が基準内問題と判定され、３問が基準外問題と判定されたとする。

（ｈ）当初から難易度が付いていた３０問と、３回目の質判定処理により基準内問題と判定された上記２２問の合計５２問を対象とし、１万人の受験者の採点結果から得たこれら５２個の問題ごとの正答率と、３０問の難易度とを前記ＩRＴシステムに入力して能力値の推定演算（４回目の能力値計算）を行い、上記２２個の新問の難易度と、１万人の受験者の能力値を算定する。

（ｉ）改めて難易度が付与された上記２２問について、前記ＩRＴシステムにより、従来の方法３と同じアルゴリズムにより４回目の質判定処理を実行する。この４回目の質判定処理により、上記２２問のすべてが基準内問題と判定され、基準外問題はなかったとする。

（ｊ）ここで、ＩRＴシステムによりつぎの要領で最後の能力値計算を実施する。当初から難易度が付いていた３０問と、３回目と４回目の質判定処理により基準内問題と判定された上記２２問と、１回目〜３回目の質判定処理により基準外問題と判定された２８＋１７＋３＝４８問の合計１００問を対象とし、１万人の受験者の採点結果から得た全１００個の問題ごとの正答率と、３０問の難易度と、４回目の能力値計算で上記２２問に付与された難易度とを、前記ＩRＴシステムに入力して能力値の推定演算（最後の能力値計算）を行い、上記４８個の新問の難易度と、１万人の受験者の能力値を算定する。

この実施例においては、以上のように進行して実行された、最後の能力値計算により算定（推定）された１万人の受験者の能力値を適宜な形式で発表するものである。

以上のように、当初は７０問あった難易度なし問題に能力値計算によって難易度を付与し、質判定処理により付与した難易度の尤度を分析して、尤度が基準に満たない問題を対象から外して能力値計算を再実行し（定評ある難易度が付いていた３０問の難易度のみを能力値計算に用いる）、対象となった新問に改めて難易度を付与する。これについて質判定処理を再実行し、基準外問題があれば同様の手順で処理を繰り返し、基準外問題がなくなった段階で全１００問を対象として最後の能力値計算を実行する。最後の能力値計算では、最後まで残った基準内問題に最後に付与された難易度を能力値計算の入力情報として用いている。

したがって、この発明の実施例によれば、前述した従来の方法３に比べ、すべての試験問題の採点結果に基づいてより尤度の高い能力値を算定できるようになるとともに、能力値の算定に無関係となる試験問題は発生しなくなる。

なお、以上説明した実施例では、質判定処理により基準外問題がなくなった段階で最後の能力値計算を行うこととした。これはつぎのように変えても良い。質判定処理により基準外問題と判定された問題の数が規定数以下になったなら最後の能力値計算を行うようにする。また、繰り返し実行する質判定処理において、判定基準を徐々に緩やかにするなど、判定基準を適切に変えるようにしても良い。さらに、最後の能力値計算で付与された問題の難易度の情報はこの発明においてはとくに利用していない。

以上では具体的な数値を当てはめて分かりやすく説明したが、これを一般化すると、この発明はつぎの事項（１）〜（８）により特定されるコンピューティングの方法であると捉えることができる。
（１）複数Ｍの問題を複数Ｎの受験者に回答させて得られた各受験者の各問題ごとの正答および誤答を表す採点結果を項目応答理論の１パラメータロジスティックモデルを適用したＩRＴシステムで処理し、各受験者の能力値を推定する方法であること
（２）Ｍ個の試験問題のうち、ｍ個の問題にはあらかじめ難易度が付いており、他の問題には難易度は付いていないこと
（３）Ｎ人の受験者の採点結果から得たＭ個の問題ごとの正答率と、ｍ問の難易度とを前記ＩRＴシステムに入力して１回目の能力値計算を行い、難易度なし問題の難易度と、Ｎ人の受験者の能力値を算定すること
（４）上記難易度なし問題について前記ＩRＴシステムにより１回目の質判定処理を実行し、基準外問題を特定すること
（５）Ｍ個の問題から基準外問題と判定された問題を除いた問題を対象として、Ｎ人の受験者の採点結果から得た当該対象問題ごとの正答率と、ｍ問の難易度とを前記ＩRＴシステムに入力して２回目の能力値計算を行い、対象となった難易度なし問題の難易度と、Ｎ人の受験者の能力値を算定すること
（６）２回目の能力値計算の対象となった難易度なし問題について前記ＩRＴシステムにより２回目の質判定処理を実行し、基準外問題を特定すること
（７）質判定処理により基準外問題と判定された問題数がゼロまたは所定数以下である場合は最後の能力値計算を行い、そうでない場合は、基準外問題と判定される問題数がゼロまたは所定数以下になるまで対象を絞り込みながら上記の処理（５）および（６）繰り返すこと
（８）最後の能力値計算では、当初から難易度が付いていたｍ問と、直前の質判定処理により基準内問題と判定されたＸ問と、各質判定処理により基準外問題と判定された複数問の合計Ｍ問を対象とし、Ｎ人の受験者の採点結果から得た全Ｍ個の問題ごとの正答率と、ｍ問の難易度と、直前の能力値計算で上記Ｘ問に付与された難易度とを、前記ＩRＴシステムに入力して能力値計算を行い、Ｎ人の受験者の能力値を算定すること

難易度なし問題に難易度を付与する原理の解説図 本発明の一実施例の処理進行の解説図

Claims (1)

1. つぎの事項（１）〜（８）により特定されるコンピューティングの方法。
   （１）複数Ｍの問題を複数Ｎの受験者に回答させて得られた各受験者の各問題ごとの正答および誤答を表す採点結果を項目応答理論の１パラメータロジスティックモデルを適用したＩRＴシステムで処理し、各受験者の能力値を推定する方法であること
   （２）Ｍ個の試験問題のうち、ｍ個の問題にはあらかじめ難易度が付いており、他の問題には難易度は付いていないこと
   （３）Ｎ人の受験者の採点結果から得たＭ個の問題ごとの正答率と、ｍ問の難易度とを前記ＩRＴシステムに入力して１回目の能力値計算を行い、難易度なし問題の難易度と、Ｎ人の受験者の能力値を算定すること
   （４）上記難易度なし問題について前記ＩRＴシステムにより１回目の質判定処理を実行し、基準外問題を特定すること
   （５）Ｍ個の問題から基準外問題と判定された問題を除いた問題を対象として、Ｎ人の受験者の採点結果から得た当該対象問題ごとの正答率と、ｍ問の難易度とを前記ＩRＴシステムに入力して２回目の能力値計算を行い、対象となった難易度なし問題の難易度と、Ｎ人の受験者の能力値を算定すること
   （６）２回目の能力値計算の対象となった難易度なし問題について前記ＩRＴシステムにより２回目の質判定処理を実行し、基準外問題を特定すること
   （７）質判定処理により基準外問題と判定された問題数がゼロまたは所定数以下である場合は最後の能力値計算を行い、そうでない場合は、基準外問題と判定される問題数がゼロまたは所定数以下になるまで対象を絞り込みながら上記の処理（５）および（６）繰り返すこと
   （８）最後の能力値計算では、当初から難易度が付いていたｍ問と、直前の質判定処理により基準内問題と判定されたＸ問と、各質判定処理により基準外問題と判定された複数問の合計Ｍ問を対象とし、Ｎ人の受験者の採点結果から得た全Ｍ個の問題ごとの正答率と、ｍ問の難易度と、直前の能力値計算で上記Ｘ問に付与された難易度とを、前記ＩRＴシステムに入力して能力値計算を行い、Ｎ人の受験者の能力値を算定すること

Images