JP2001318589A

JP2001318589A - 研修効果判定システム

Info

Publication number: JP2001318589A
Application number: JP2000140586A
Authority: JP
Inventors: Koichi Sugimoto; 公一杉本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-05-12
Filing date: 2000-05-12
Publication date: 2001-11-16

Abstract

(57)【要約】【課題】従来の研修効果判定システムでは、単に研修
前後のテスト結果の点数を対比して示すだけであった。
そのため、研修前後にテストを実施しても、客観的に研
修効果があったかどうかを示すことができない、という
課題があった。【解決手段】研修前後のテスト結果データから、研修
の効果を判定する対象である母集団データを選択する母
集団選択手段と、母集団データから対象項目を指定した
特定の母集団データ集合および効果判定すべきプレテス
トデータ、ポストテストデータを抽出する対象データ抽
出手段と、前記特定の母集団データ集合から当該テスト
の測定誤差を評価する測定誤差評価手段と、前記測定誤
差に従って研修の効果を評価する研修効果呈示手段とを
有する研修効果判定システムによって、客観的な研修効
果の呈示ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、講習会受講や自己
学習を含む研修の効果を判定する研修効果判定技術分野
に属する。

【０００２】

【従来の技術】研修前後に同一問題を含むテストを行
い、その得点の差異から研修効果を判定することは従来
から行われている。このようなシステムの一つの従来例
を示すと、例えば図５(a) に示すような機能ブロック構
成をもち、ネットワークとの関係は図５(b) に示すよう
な構成で示される。このシステムでは、研修の効果判定
を希望するユーザは、研修コース開始前にウェブブラウ
ザを備えた研修効果判定システムクライアント端末（テ
スト実施手段10の一部を形成する）から研修効果判定シ
ステムサーバにアクセスし、用意された１００以上のコ
ースの中から所定コースを選択して受験する。同時に研
修開始日付を入力するので、現在日付と比較してプレテ
ストなのかポストテストなのかが自動判断される。

【０００３】この従来例のシステムでは多くの場合一つ
のコースで制限時間３０分で３０問の問題が用意されて
いる。同一コースではいつも同一内容の３０問が出題さ
れるが、その出現順序は毎回ランダマイズされている。
画面上の各問題項目はどれも４つの選択肢からなり、受
験者は正答を選びラジオボタンをクリックすると図５に
示すテストデータ格納手段30にその成績が格納される。
そして、全問題終了後、同画面から『診断結果表示』ア
イコンをクリックすると、図６(a) に示すように、各ス
キル項目毎の正答数と正解率が示される。コース終了後
に同様にアクセスして受験しその結果表示を要求する
と、図６(b) に示すように先のプレテスト結果とともに
『事後』欄にポストテストの結果が表示される。

【０００４】

【発明が解決しようとする課題】このような研修効果判
定システムでは事前正解率より事後正解率が下がったな
らば研修の効果はなかったと考えてよいが、逆に、事前
正解率より事後正解率が上がったといって、これで直ち
に研修の効果があったとすることはできない。なぜな
ら、この成績測定には測定誤差が伴っており、この測定
誤差を上回る成績差がなければ研修の効果があったとす
ることはできないからである。

【０００５】このように従来の研修効果判定システムで
はプレテスト、ポストテストの測定誤差を評価すること
ができず、したがって、客観的に研修効果があったかど
うかを示すことができない、という課題があった。

【０００６】また、プレテストとポストテストは出現順
序は違うものの同一問題からなっているため、ポストテ
ストでいい点をとろうとして、当該研修コースの内容の
中でもプレテストの問題に直接関係した内容のみが強調
されて学習される傾向が生じる、という課題があった。

【０００７】

【課題を解決するための手段】研修前後にテストを実施
しても、客観的に研修効果があったかどうかをを示すこ
とができない、という上記第１の課題は、図１に示す如
く、研修前後のテスト結果データから、研修の効果を判
定する対象である母集団データ｛Ｒｂ｝を選択する母集
団選択手段５と、前記母集団データ｛Ｒｂ｝から対象項
目を指定した特定の母集団データ集合Ｂおよび効果判定
すべきプレテストデータ｛ｔIj｝、ポストテストデータ
｛ｔI'j ｝を抽出する対象データ抽出手段６と、前記特
定の母集団データ集合Ｂから当該テストの測定誤差Ｅを
評価する測定誤差評価手段７と、前記測定誤差Ｅに従っ
て研修の効果を評価する研修効果呈示手段８と、を有す
る研修効果判定システムによって解決される。

【０００８】すなわち、当該受験者の研修効果判定に際
して、この受験者とコースおよび受験条件が同様環境と
見なされる多数のテスト結果を蓄積するテスト結果ＤＢ
４から母集団選択手段５によって適切な母集団レコード
｛Ｒｂ｝を抽出し、これから形成される母集団データ集
合Ｂを測定誤差評価手段７に与えることによって、客観
的な測定誤差Ｅが評価され、これを用いて当該受験者の
プレテストデータ｛ｔIj｝、ポストテストデータ｛ｔI'
j ｝から研修効果判定が適切に行われ、研修効果呈示手
段８によって呈示情報dispとして結果表示がなされる。

【０００９】また、ポストテストでいい点をとろうとし
て、当該研修コースの内容の中でもプレテストの問題に
直接関係した内容のみが強調されて学習される傾向が生
じる、という第２の課題は、図３に示すごとく、研修前
後の出題中共通の問題のみに対応するテストデータを抽
出する共通問題抽出部61を含む対象データ抽出手段６を
具備する研修効果判定システムによって解決される。

【００１０】すなわち、プレテストとポストテストには
少なくとも判定に必要な数の同一問題を確保しつつ、相
当数の問題は研修前後の出題に共通でないように出題す
ることにより、従来のようにプレテスト問題にのみ集中
することが困難となり、また得策でもなくなるので、自
然とプレテストにこだわらない研修受講態度が形成され
る。対象データ抽出手段６はこれに備えて共通問題抽出
部61をもち、母集団レコード｛Ｒｂ｝から共通問題のみ
を抽出した母集団データ集合Ｂを作るようにしてあるの
で、研修前後の出題に共通でない問題の存在によって測
定誤差評価手段７の測定誤差Ｅの評価に支障をきたすこ
とがない。

【００１１】また、対象データ抽出手段６において受け
取ったすべての母集団レコードで特定の問題項目の回答
が全員正解または全員不正解であるような一様回答項目
が存在する場合が生じることがある。これは出題が受験
者能力とマッチせず、弁別能力が低まった状態であるの
で、これら一様回答項目（図３において削除項目２di2
と呼ぶ）を削除してテストデータを抽出することによ
り、問題の弁別能力を高めることができる。したがっ
て、本発明では、上記第１の課題に関係する作用とし
て、図６に示すごとく、対象データ抽出手段６において
このような削除項目２di2 を抽出して削除する一様回答
削除部62を設けることにより、研修効果判定をよりシャ
ープにすることができる。

【００１２】

【発明の実施の形態】本発明の研修効果判定システムの
実施例を図１〜図９により説明する。なお、本発明にお
けるコンピュータ処理は、コンピュータプログラムによ
り当該コンピュータの主記憶装置上で実行されるが、こ
のコンピュータプログラムの提供形態は、当該コンピュ
ータに接続された補助記憶装置をはじめ、フロッピー
（登録商標）ディスクやＣＤ−ＲＯＭ等の可搬型記憶装
置やネットワーク接続された他のコンピュータの主記憶
装置及び補助記憶装置等の各記録媒体に格納されて提供
されるもので、このコンピュータプログラムの実行に際
しては、当該コンピュータの主記憶装置上にローディン
グされ実行されるものである。

【００１３】図１は本発明の研修効果判定システムの一
つの構成例である。また、図２は図１の研修効果判定シ
ステムのネットワーク上の実施例であって、図１におけ
るテスト実施手段１および結果要求手段２がネットを含
むクライアントとサーバの一部によって実現される形態
を示したものである。

【００１４】図２の研修効果判定システムは図５(b) の
従来の研修効果判定システムに対して、テスト結果ＤＢ
４、母集団選択手段５、対象データ抽出手段６、測定誤
差評価手段７が新設されている。また、これに対応する
ように従来の研修効果判定システムのテスト実施手段1
0、結果要求手段20、テストデータ格納手段30、研修効
果呈示手段80がそれぞれテスト実施手段１、結果要求手
段２、テストデータ格納手段３、研修効果呈示手段８と
変更されていることがわかる。

【００１５】図１に本発明の研修効果判定システムの機
能的構成を示し、各ブロックにおける入出力情報に関し
ては図８に各情報のデータフォーマット例を示した。以
下にはこれに基づいて研修効果判定システムの動作を説
明する。

【００１６】まず、図１のテスト実施手段１はユーザよ
りテスト入力Ｔを受ける。これは図８(a) の受験属性ａ
p 、(b) のテスト属性ｔp を含むテスト回答データであ
って、図８(c) のように、問題の各項目のどの選択肢が
選ばれたかを示すものとなっている。

【００１７】次にテスト実施手段１は受験属性ａp 中の
受験日時と受講日時を比較してプレポストフラグｆを１
または２と設定して図８(a) のフォーマット中に埋め込
む。そして、受け取ったテスト入力Ｔを自らのもつ正解
データにより採点し、各項目が正答なら１点を誤答なら
０点をつけて、図８(d) に示すテストデータＤを作成す
る。

【００１８】次にテストデータ格納手段３はテストデー
タＤの中の所属、年齢等の属性データを、あらかじめ図
８(e) のようにカテゴリー化された母集団パラメータｂ
ｐとして母集団選択に役立つ形でデータ化して付加し、
テストレコードＲとしてテスト結果ＤＢ４にこれを格納
する。そのデータ構造は図８(f) に示すものと同一であ
る。以上のように研修効果判定システムはテスト入力Ｔ
を受けるたびにこれに対応するテストレコードＲをテス
ト結果ＤＢ４に格納蓄積する。

【００１９】一方、ユーザは結果要求手段２が形成する
端末画面から結果表示要求req を入力し研修効果判定に
関する呈示情報dispを求める。この結果表示要求req に
おいては、従来の研修効果判定システムの場合と同じく
コースｉｄや受験者ｉｄを指定するが、本発明ではこれ
とともにオプションで母集団パラメータｂｐを任意に設
定できるものとする。これはシステムに測定誤差Ｅを算
出させるための母集団を指定するもので、デフォルトは
受験属性ａp により定まる範囲の最大のものであるが、
オプション指定により、その範囲内でより小さなカテゴ
リーに限定することもできるようにした。

【００２０】次に母集団選択手段５は結果要求手段２か
らの結果表示要求req を解析してテスト結果ＤＢ４から
指定された条件に適合するテストレコードＲを抽出して
母集団レコード｛Ｒｂ｝を対象データ抽出手段６にわた
す。すなわち、各テストレコードＲの受験属性ａp 、テ
スト属性ｔp 、プレポストフラグｆ、母集団パラメータ
ｂｐを吟味して、結果表示要求req の求めるカテゴリー
に属するテストレコードＲのみを抽出して母集団レコー
ド｛Ｒｂ｝を作成する。また、当然ながら、この母集団
レコード｛Ｒｂ｝は当該ユーザ(i=I) のプレテスト、ポ
ストテストのテストレコードＲをも含むものであり、図
１ではプレテストをi=I 、ポストテストをi=I'と便宜的
に記した。

【００２１】次に対象データ抽出手段６は母集団選択手
段５から得たテストレコードＲからなる母集団レコード
｛Ｒｂ｝の中から削除項目に関わるデータがあればこれ
を削除して母集団データ集合Ｂを作り測定誤差評価手段
７にわたす。またそこに含まれるプレテストデータ｛ｔ
Ij｝、ポストテストデータ｛ｔI'j ｝についてはこれを
研修効果呈示手段８に送る。ここに対象データ抽出手段
６が削除する削除項目とは、もともとの出題や母集団デ
ータ集合Ｂ中のデータ内容に依存するものであり、なん
ら削除することなく、すなわち母集団レコード｛Ｒｂ｝
＝母集団データ集合Ｂである場合ももちろん含まれてい
る。

【００２２】対象データ抽出手段６が削除項目を削除す
る場合の実施例を図３によって説明する。この実施例で
はもともとの出題項目が研修効果判定に使用しない項目
を含んでいて、対象データ抽出手段６の中の共通問題抽
出部61はその項目を削除項目１di1 として内蔵テーブル
に格納している。このようなことはプレテストとポスト
テストには少なくとも判定に必要な数の同一問題を確保
しつつ、相当数の問題は研修前後の出題に共通でないよ
うに出題する場合に必要である。このような出題方式に
より、従来のようにプレテスト問題にのみ集中した学習
態度が困難となり、また得策でもなくなるので、自然と
プレテストにこだわらない研修受講態度が形成される。
対象データ抽出手段６は共通問題抽出部61によって、母
集団レコード｛Ｒｂ｝から共通問題のみを抽出した母集
団データ集合Ｂを作る。

【００２３】また、対象データ抽出手段６において、上
記共通問題抽出部61が削除項目１di1 を削除した後のデ
ータについて、一様回答削除部62はそのすべてのレコー
ドをスキャンし、特定の問題項目の回答が全員正解また
は全員不正解であるような一様回答項目の存在をチェッ
クし、これを削除項目２di2 として削除対象とする。こ
れは出題が受験者能力とマッチせず、弁別能力が低まっ
た状態で発生することがある。一様回答削除部62によっ
て修正された母集団データ集合Ｂはすべて弁別に有効な
項目のみからなるので研修効果判定をよりシャープにす
るのに有用である。

【００２４】図１に戻って、対象データ抽出手段６の生
成した母集団データ集合Ｂを受けて測定誤差評価手段７
はこのテスト結果に含まれる測定誤差Ｅを算出する。測
定誤差とは同一受験者が同一条件で同一テストを繰り返
して実施できたとして、その得点がどの程度変動する
か、あるいは再現性があるかを評価する値に関する。一
般にテスト回答時には確定的な（確信をもった）回答は
再現性があるが、まぐれの回答は再現性がない。多数の
項目からなるテスト回答において、このようなまぐれ回
答が含まれる割合、すなわち、テスト結果得点の信頼性
を統計的に評価して統計的信頼性係数を求める公知の手
法がいくつかある。例えば下記文献に統計的信頼性係数
に関する詳細な説明がある。大友賢二著：『項目応答理
論入門』p.42-51 大修館書店 1996年初版発行

【００２５】本実施例における測定誤差評価手段７は図
７に示すごとく、統計的信頼性係数の一つであるクロン
バックのα係数を用いて客観的な測定誤差Ｅを評価す
る。統計的信頼性係数を得るためには、図９(a) に示す
ごとく、テストは K項目からなる、というテスト構造が
必要であるが、本発明のテスト構造はこれを満足してい
る。図９(b) の式(b-1) にクロンバックのα係数の算出
式を示す。

【００２６】図７に戻り、測定誤差評価手段７の標準偏
差算出部71はＫ項目からなるテストのｎ人分の得点分布
をもつ母集団データ集合Ｂから全体得点標準偏差ＳＤnA
と個別項目得点標準偏差ＳＤnj(j=1,2,...,K) とを算出
する。再現性因子評価部72はこれらの標準偏差群から再
現性評価因子αをクロンバックのα係数として、図９
(b) の式(b-1) によって算出する。ただし、この式(b-
1) の表記のSDｙ( y = 1,2,...,K )には図７の個別項
目得点標準偏差ＳＤnj(j=1,2,...,K) を適用し、SDには
図７の全体得点標準偏差ＳＤnAを適用する。次いで測定
誤差算出部73は図９の式(c) に示す測定誤差Ｅの算出式
に全体得点標準偏差ＳＤnAおよびクロンバックのα係数
を適用して測定誤差Ｅを算出する。

【００２７】本実施例では測定誤差評価手段７は図９
(b) の式(b-1) によるクロンバックのα係数を求めて測
定誤差Ｅを算出した。しかし、図９(b) に注記するよう
に、テストの得点配分構造が、(A) テストは K項目から
なり、１項目１点の K点満点である、かつ、(B) 各項目
の得点は正答時１点、誤答時０点の１点満点である、と
いう構造である場合には、図９(b) の式(b-2) によって
も統計的信頼性係数の算出が可能である。この式(b-2)
は一般に KR-20の式(Kuder-Richardson formula20) と
呼ばれる。 KR-20の式に基づいた測定誤差評価手段７を
設計しても等価な結果を得ることはいうまでもない。

【００２８】最後に、図１に戻り研修効果呈示手段８は
プレテストデータ｛ｔIj｝、ポストテストデータ｛ｔI'
j ｝、測定誤差Ｅを受けて図９の式(d) が成立するか否
かをチェックする。すなわち、研修効果呈示手段８は当
該受験者のプレテスト得点をＢ、ポストテスト得点をＡ
と算出し、Ｘ＝Ａ−Ｂ−２Ｅを算出し、Ｘ＞０のとき呈
示情報dispに『９５％の確率で研修効果あり』メッセー
ジを付加する。

【００２９】このようにして得られた呈示情報dispの実
施例を図４に示す。図４(a) の例ではＡ＝３２、Ｂ＝３
０、Ｅ＝２．５であり、Ｘ＜０であった。図４(b) のよ
うにＸの値に対応するメッセージを登録しておき、該当
するものを表示することにより客観的な研修効果判定メ
ッセージが呈示できる。

【００３０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、研修前後のテスト結果を格納するテスト結果
ＤＢと、このＤＢから当該受験者を含む母集団を選択す
る母集団選択手段と、この母集団から母集団データ集合
および当該プレテストデータ、ポストテストデータを抽
出する対象データ抽出手段と、前記母集団データ集合か
ら当該テストの測定誤差を評価する測定誤差評価手段と
を有する研修効果判定システムによって、客観的な研修
効果の呈示ができる、という効果がある。また、出題項
目の中から削除項目を求めてデータ抽出する対象データ
抽出手段により、ポストテストでいい点をとろうとし
て、当該研修コースの内容の中でもプレテストの問題に
直接関係した内容のみが強調されて学習される傾向を防
ぎ、また出題の弁別能力をカバーする研修効果判定が行
える、という効果がある。

【図面の簡単な説明】

【図１】研修効果判定システムのシステム構成例

【図２】研修効果判定システムのネットワーク上の実施
例

【図３】対象データ抽出手段の構成例

【図４】本発明の呈示情報の実施例

【図５】従来の研修効果判定システムの構成例

【図６】従来の研修効果判定システムの結果表示例

【図７】公知の測定誤差評価手段の構成例

【図８】各情報のデータフォーマット例

【図９】統計的信頼性係数による測定誤差Ｅの評価

【符号の説明】

１テスト実施手段２結果要求手段３テストデータ格納手段４テスト結果ＤＢ５母集団選択手段６対象データ抽出手段７測定誤差評価手段８研修効果呈示手段 61 共通問題抽出部 62 一様回答削除部 71 標準偏差算出部 72 再現性因子評価部 73 測定誤差算出部ａp 受験属性ｔp テスト属性Ｔテスト入力ＤテストデータＲテストレコードｆプレポストフラグ req 結果表示要求｛Ｒｂ｝母集団レコードｂｐ母集団パラメータ di1 削除項目１ di2 削除項目２｛ｔIj｝プレテストデータ｛ｔI'j ｝ポストテストデータＢ母集団データ集合ＳＤnA 全体得点標準偏差ＳＤnj 個別項目得点標準偏差 α 再現性評価因子Ｅ測定誤差 disp 呈示情報

Claims

【特許請求の範囲】

【請求項１】研修前後に同一問題を含むテストを実施
して研修の効果を判定する研修効果判定システムにおい
て、研修前後のテスト結果データから、研修の効果を判定す
る対象である母集団データを選択する母集団選択手段
と、前記母集団データから対象項目を指定した特定の母集団
データ集合および効果判定すべきプレテストデータ、ポ
ストテストデータを抽出する対象データ抽出手段と、前記特定の母集団データ集合から当該テストの測定誤差
を評価する測定誤差評価手段と、前記測定誤差に従って研修の効果を評価する研修効果呈
示手段と、を有することを特徴とする研修効果判定シス
テム。
【請求項２】前記測定誤差評価手段は、統計的信頼性
係数を用いて当該テストの測定誤差を評価することを特
徴とする請求項１記載の研修効果判定システム。
【請求項３】前記対象データ抽出手段は、研修前後の
出題中共通の問題のみに対応するテストデータを抽出す
る共通問題抽出部を含むことを特徴とする請求項１記載
の研修効果判定システム。
【請求項４】前記対象データ抽出手段は、受け取った
すべての母集団レコードで特定の問題項目の回答が全員
正解または全員不正解であるような一様回答項目が存在
する場合この項目を削除してテストデータを抽出する一
様回答削除部を含むことを特徴とする請求項１記載の研
修効果判定システム。
【請求項５】研修前後に同一問題を含むテストを実施
して研修の効果を判定する研修効果判定に関する情報処
理をコンピュータに行わせるプログラムを記録した記録
媒体であって、研修前後のテスト結果データから、研修の効果を判定す
る対象である母集団データを選択する母集団選択手段
と、前記母集団データから対象項目を指定した特定の母集団
データ集合および効果判定すべきプレテストデータ、ポ
ストテストデータを抽出する対象データ抽出手段と、前記特定の母集団データ集合から当該テストの測定誤差
を評価する測定誤差評価手段と、前記測定誤差に従って研修の効果を評価する研修効果呈
示手段と、を実現させるプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。