JP2013097271A - ｅラーニングシステムおよびｅラーニングプログラム - Google Patents

Abstract

【課題】自由入力問題に対して受講者が独力で解答を考えて入力するよう支援し、解答に対する適切な評価・判定結果を得ることを可能とするｅラーニングシステムを提供する。
【解決手段】問題ＤＢ１５に記録された自由入力問題を取得して受講者のクライアント端末３に表示して出題し、前記受講者から第１の解答の入力を受け付けて解答ＤＢ１６に記録する出題・解答処理部１２と、クライアント端末３を介して前記第１の解答に対して前記受講者が自己判定を行った結果を受け付けて判定ＤＢ１７に記録する判定処理部１３とを有し、前記受講者が自己判定を行う際に、問題ＤＢ１５に記録された前記自由入力問題に係る解説情報を取得してクライアント端末３に表示し、さらに前記受講者からの要求に応じて、前記自由入力問題に対する他の受講者による第２の解答および前記第２の解答に対する前記他の受講者による自己判定の結果をクライアント端末３に一覧表示する。
【選択図】図１

Description

本発明は、ｅラーニングを実施するための技術に関し、特に、模範解答に類するものはあるが正解が一意には決まらないような問題に対して解答を独力で考えて自由入力させるｅラーニングシステムおよびｅラーニングプログラムに適用して有効な技術に関するものである。

近年、ＩＴ技術の進展に伴い、教育や学習、研修の手段としていわゆるｅラーニングが利用される場面が拡がっている。ｅラーニングでは、例えば、動画等のコンテンツを利用した講義等と合わせて、効果確認等のために講義等に関連する問題が出題され、これに対する解答を得点や正解率等により評価して、一定の値以上の評価が得られた場合に所定の理解度を達成したものとして合格とするなどの処理が行われるのが一般的である。

ここで、従来のｅラーニングでは、出題に対する解答方法は、選択肢の中から正解を選択する選択式であるものがほとんどである。また、文字や数字等を入力する入力式の場合でも、計算結果の数値や、固有名詞等の短い文字列など、正解（もしくは正解の候補）の文字列等と単純に比較して正解・不正解の判定が容易に可能であるようなものがほとんどである。これは、このような出題・解答方法が情報処理システムによって解答の評価・判定を行うのに親和的なためであり、解答に自由入力を許容する（むしろ自由入力させる）ような出題・解答方法を採用した場合、基本的には解答を採点したり、合否を判定したりという作業のために人手が必要となってしまうためである。

これに関連して、例えば、特開２００３−１４１４９８号公報（特許文献１）には、以下のような技術が記載されている。すなわち、事前に用意された解答抽出のための訓練データとしてあらかじめ正解（正例）と不正解（負例）を付与された解答候補を入力し、訓練データ中の解答候補を正例、負例のいずれかに属するｒ個の訓練データのベクトルの集合として表わす。さらに、ラベル付き特徴ベクトルからSupport Vector Machineにより分類器を構成する。与えられた質問に対する列挙された解答候補を入力して、前記特徴ベクトルと同様の特徴ベクトルで表現する。前記分類器を用いて解答候補の特徴ベクトルを評価し、該解答候補が正解であるかどうか判定して、正解であると判定された解答候補を出力することで、任意の解答が正解であるか否かを、抽出関数を人手により経験的に決定することなく決定する。

また、特開２００７−６５１１１号公報（特許文献２）には、以下のような技術が記載されている。すなわち、ｅラーニングを受ける受講者に操作され、テストに対する解答の際に受講者による画面操作の記録を画面操作記録としてそれぞれ保存し、テストが終了すると保存した画面操作記録を通信網に送信する受講者端末と、テストに解答する際の一連の標準の画面操作を記録した標準ログをあらかじめ保存し、通信網から受信した受講者端末からの画面操作記録を基にして、受講者による一連の画面操作を記録した受講者ログを作成し、受講者ログと標準ログとを突き合わせてテストを採点する支援装置とを備える。これにより、ｅラーニングに際して講師による採点やアドバイス作成を不要にし、しかも、各受講者の理解度をより適正に評価することを可能にする。

特開２００３−１４１４９８号公報 特開２００７−６５１１１号公報

ｅラーニングにおいて、出題・解答方法を選択式とした場合、正解・不正解の判定や集計等の処理を情報処理システムによって行うことは容易となる。しかしながら、選択肢の数は有限であり、また、選択肢の文章自体もヒントとなり得ることから、解答者としては解答を考える際に手を抜いてしまう場合などが生じ得る。その結果、正解への誘導がない状態で一から独力で解答を考えるという作業を実践することで教育効果・学習効果を高めるという所期の目的を十分に達成できない場合も生じ得る。

出題された問題に対して独力で解答を考えさせ、教育効果・学習効果を確実に得るためには、選択式（もしくは正解が一意に決まるような場合の入力式）での出題・解答方法は適切ではなく、解答を一から自由入力させるような出題・解答方法が望ましい。この場合、問題の内容は、例えば、模範解答に類するものはあるが、正解が唯一決まるようなものではなく、解答の文章にある程度のバリエーション、自由度があり得るものとなる（以下ではこのような問題を「自由入力問題」と記載する場合がある）。

このとき、上述したように、入力された解答に対する評価・判定をいかにして行なうかが課題となる。この点、上述した特許文献１、２に記載された技術は、いずれも、解答に対する評価・判定を人手を介さずシステム的に自動で行うことを可能とするものである。しかしながら、例えば特許文献１に記載された技術は、問題に対する解答の正解と不正解を明確に分離することができるような場合に利用可能な技術であり、上述したような自由入力問題に適用することは難しい。また、特許文献２に記載された技術は、主に受講者端末上での受講者の画面操作を把握することにより理解度を判定することができる類の問題に適用可能なものであり、解答が画面操作とは無関係の自由入力問題に適用することは困難である。

そこで本発明の目的は、自由入力問題に対して受講者が独力で解答を考えて入力するよう支援し、さらに、入力された解答に対する適切な評価・判定結果を得ることを可能とするｅラーニングシステムおよびｅラーニングプログラムを提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態によるｅラーニングシステムは、受講者に対して自由入力問題を出題し、当該自由入力問題に対する解答の入力を受け付け、入力された解答の評価に係る判定結果を得ることを支援するシステムであって、以下の特徴を有するものである。

すなわち、ｅラーニングシステムは、問題記録部に記録された前記自由入力問題を取得して前記受講者の情報処理端末に表示して出題し、前記情報処理端末を介して、前記受講者から第１の解答の入力を受け付けて解答記録部に記録する出題・解答処理部と、前記情報処理端末を介して、前記第１の解答に対して前記受講者が自身で自己判定を行った結果を受け付けて判定記録部に記録する判定処理部とを有し、前記受講者が自己判定を行う際に、前記問題記録部に記録された前記自由入力問題に係る解説情報を取得して前記情報処理端末に表示し、さらに前記受講者からの要求に応じて、前記自由入力問題に対する他の受講者による第２の解答および前記第２の解答に対する前記他の受講者による自己判定の結果を前記情報処理端末に一覧表示することを特徴とするものである。

また、本発明は、コンピュータを上記のようなｅラーニングシステムとして動作させるｅラーニングプログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、自由入力問題に対して受講者が独力で解答を考えて入力するよう支援し、さらに、入力された解答に対する適切な評価・判定結果を得ることが可能となる。

本発明の一実施の形態であるｅラーニングシステムの構成例について概要を示した図である。 本発明の一実施の形態における出題された自由入力問題に対して受講者が解答を入力する際の画面例について概要を示した図である。 本発明の一実施の形態における入力した解答に対して受講者が自己判定を行う際の画面例について概要を示した図である。 本発明の一実施の形態における他の受講者の解答を参照する際の画面例について概要を示した図である。 本発明の一実施の形態における自身が入力した解答内容を確認する際の画面例について概要を示した図である。 本発明の一実施の形態における問題ＤＢのデータ構成の例について示した図である。 本発明の一実施の形態における解答ＤＢのデータ構成の例について示した図である。 本発明の一実施の形態における判定ＤＢのデータ構成の例について示した図である。 本発明の一実施の形態におけるユーザＤＢのデータ構成の例について示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜概要＞
本発明の一実施の形態であるｅラーニングシステムは、学習・教育の効果確認や知識の定着等のためのテストとして自由入力問題を出題し、これに対する解答の入力を受け付け、さらに入力された解答に対する適切な評価についての判定結果を得ることを可能とするシステムである。このための仕組みとして、本実施の形態では、解答に対する評価・判定をシステムが自動で行うのではなく、解答を行ったユーザ（受講者）が、問題に対する解答例や模範解答、解説など、自身の解答についての評価を判定する際の評価基準やポイント等を把握するための情報（以下では「解説情報」と総称する場合がある）や、他者の解答内容を参照して、自身の解答に対して自己判定により評価を行えるようにする。

さらに、自身の解答内容と自己判定の結果が他者に開示されるようにする。また、開示された内容に対して他者からも評価される（逆に、自身も他者の解答内容に対して評価を行える）ようにし、この内容も他者に開示されるようにする。これらにより、自身に対して手前味噌な評価や甘い評価となることを牽制し、学習に真面目に取り組むよう誘導・支援するとともに、他者に対しても、不用意に甘すぎる／厳しすぎる評価を行うことを牽制する。

このような相互評価と開示の仕組みにより、各受講者に対して、問題に対する解答を考えること、および自身／他者の解答に対して評価・判定を行うことについて、自身で考えて真面目に取り組むよう動機付ける（牽制する）ことができ、各受講者による学習・教育の効果を高めることが可能となる。また、自由入力問題に対して、解答に対する適切な評価・判定に自律的に収束するようにシステム全体として支援することが可能となり、その結果に基づいて模範解答をブラッシュアップするということも可能となる。

＜操作イメージ＞
図２は、本実施の形態のｅラーニングシステムにおける、出題された自由入力問題に対して受講者が解答を入力する際の画面例について概要を示した図である。以下に示す画面例は、それぞれ、各受講者が使用するＰＣ（Personal Computer）等の情報処理端末上に表示される操作画面である。図２の解答入力の画面例では、問題表示欄３１に出題された自由入力問題の問題文が表示されており、受講者は、これに対する解答をヒントや誘導なしに独力で考え、解答入力欄３２ａに解答文としてのテキストを自由に入力する。その後、解答登録ボタン３３を押下することで、入力された解答がｅラーニングシステムに登録される。

図２の例では、出題された自由入力問題は、仕様書等の文章の書き方について問う問題であり、模範解答に類するものは想定可能であるが、唯一の正解があるわけではなく、正解（合格）とすることができる解答にもいくつかのバリエーション等が想定されるような問題である。このような自由入力問題としては、例えば他に、手紙の書き方やメールの文面、マナー等に関する問題、あるルールや規定等についての理由や背景等を問う問題などが考えられる。また、唯一の正解はないが、表現は異なってもある程度正解が一意に決まるような問題であってもよい。例えば、受講者が属する企業の経営課題や経営理念、今期の重点施策などを問う問題や、特定業務における注意点、チェックポイントなどを問う問題などが考えられる。

受講者が解答を入力すると、通常のｅラーニングシステムではシステム的に正解・不正解を判定することになるが、上記のような自由入力問題では判定が困難な場合が多い。これに対して、本実施の形態では、上述したように、自身が入力した解答に対して受講者自身が自己判定を行うものとしている。

図３は、入力した解答に対して受講者が自己判定を行う際の画面例について概要を示した図である。図３の自己判定の画面例では、問題表示欄３１および解説表示欄３４に、問題文およびこれに対する解説情報がそれぞれ表示され、さらに解答表示欄３２ｂに受講者が入力して登録した解答内容が表示されている。受講者が、これらの情報を参考にして、判定選択欄３７ａにおいて自身の解答に対する評価・判定を入力（選択）し、判定登録ボタン３８ａを押下することで、入力（選択）された判定結果がｅラーニングシステムに登録される。このとき、受講者が判定結果についての趣旨などを説明するコメントを合わせて登録できるようにしてもよい。

図３の例では、“合格”、“不合格だが解説は理解”、“不合格であり解説も理解できない”の３段階の選択肢により判定可能であることを示しているが、点数やランクなど、各問題間で統一された基準により設定されるような指標であれば、内容や分類の数などは特に限定されない。なお、本実施の形態では、評価が良好であるほど（内部的には）高い数値となるような判定とする。

受講者が自己判定を行うための参考情報として、例えばさらに、他の受講者の解答内容を参照可能としてもよい。例えば、図３の例における他者解答参照ボタン３５を押下することで、当該問題についての他の受講者の解答内容を一覧表示する画面を表示するようにしてもよい。図４は、他の受講者の解答を参照する際の画面例について概要を示した図である。図４の他者解答参照画面の例では、問題表示欄３１に問題が表示され、他者解答表示欄３９に、当該問題に対する他の受講者の解答内容が一覧表示されている。解答内容には、解答の文章と、当該解答を入力した受講者による自己判定の内容（図４の例では、解答内容の先頭の“未判定”や“１”など）が含まれている。

本実施の形態では、問題に真面目に取り組むよう受講者を動機付ける（不真面目、不用意、安易な解答をしないよう牽制する）ための仕組みとして、このように、受講者が解答した内容がその自己判定の内容とともに他の受講者に対して開示されるものとしている。なお、図４の例では、各解答内容についてこれを入力した受講者を特定することができる氏名等の情報を表示せず、匿名としているが、解答内容が開示されることによる受講者への動機付け（牽制）の効果をより強くするため、解答した受講者の氏名等の情報を表示するようにしてもよい。このとき、匿名とするか公開とするかは、例えば、ｅラーニングシステム上で管理者等が設定しておくことで切り替え可能とする。

本実施の形態では、さらに、解答内容が開示されることによる受講者への動機付け（牽制）の効果をより強くするため、受講者が他の受講者の解答に対して評価・判定する他者判定を行うことができるものとしている。例えば図４の例では、一覧表示されている他の受講者の解答内容の末尾において、当該解答を参照している受講者による他者判定の内容を指定して登録することができる。このとき、判定結果についての趣旨などを説明するコメントを合わせて登録できるようにしてもよい。

図４の例では、“模範的”、“合格点”、“あと一歩”、“無効・悪質”の４段階の選択肢により判定可能であることを示しているが、点数やランクなど各問題間で統一された基準により設定され、さらに、後述する重み付けや補正などを考慮した上で、複数の受講者からの判定結果に対して平均値などの統計値を集計可能なものであれば、内容や分類の数などは特に限定されない。また、内容や分類について、図４の例のように、図３の判定選択欄３７ａの選択肢と異なる選択肢を設定してもよいし、同じ選択肢を使用してもよい。また、これらの選択肢の内容が、受講者（判定者）の役職や権限等の属性や特徴などに応じて可変となるようにしてもよい。なお、本実施の形態では、評価が良好であるほど（内部的には）高い数値となるような判定とする。

なお、他の受講者の解答内容について、上記のように自身による他者判定を入力したことを条件として、その他の受講者による他者判定の結果を集計した結果情報（図４の例では“模範的”の後の“３”などの数値であり、当該判定を選択した受講者（判定者）の数に基づく値を示す）を表示するようにしてもよい。最初から他者判定の結果を集計した結果情報が表示されていると、参照している受講者に先入観を与え、他者判定を行う際に影響を及ぼしてしまう（集計結果につられる・流される、自身で考えずに安易に多数判定に同意する、意地悪的にあえて多数判定と異なる判定をする、等）場合があるため、これを抑止して自身で真面目に考えて評価・判定するよう促すためである。

なお、他者解答表示欄３９における解答の一欄表示の表示順は、例えば、ユーザ（受講者）の選択により、各解答に対する（当該解答を入力した受講者による）自己判定の値の順や、他者判定の集計結果の平均値の順、解答がｅラーニングシステムに入力・登録された新着順などの各種条件により変更可能としてもよい。

このとき、通常は、他者解答表示欄３９で一覧の上位に表示された解答ほど、参照される機会が多く、その結果、他者判定も多く受けられるという可能性が高くなる。従って、他者判定を受けられる解答が一部の解答に集中しないよう、例えば、表示順をランダムとしたり、一定数の他者判定を受けていない解答を優先的に一覧の上位に表示させるなどの制御を行なってもよい。また、これらの複数の表示順の条件を併存させて（例えば、一覧のうち３つは自己判定の値の順、３つは他者判定の数が一定数に満たないもの、３つはランダム、など）表示させるよう制御してもよい。

この仕組によれば、各受講者が、他の受講者の解答内容に対する評価・判定を行うことが可能となるが、逆に、自身が解答を入力して登録した後は、自身の解答内容についても他の受講者に開示され、他者判定を受ける対象となる。このフィードバック情報を有効に利用するため、本実施の形態では、各受講者が、自身が入力した解答内容に対する他の受講者からの他者判定の結果の集計情報を参照することを可能としている。

図５は、自身が入力した解答内容を確認する際の画面例について概要を示した図である。図５の解答確認画面の例では、図３の画面例と同様に、問題表示欄３１および解答表示欄３２ｂに問題文および自身が入力した解答内容が表示され、解説表示欄３４には解説情報が表示されている。また、他者解答参照ボタン３５を押下することで、図４の例に示したような他者解答参照画面を表示し、他の受講者の解答内容を参照することも可能である。さらに、図５の画面例では、他者判定集計欄３６により、自身が入力した解答内容に対する他の受講者からの他者判定の結果の集計情報についても参照することができる。

これらの情報を参照することで、当該受講者が自己判定の内容について変更・修正を希望する場合が生じ得る。このとき、受講者は、判定選択欄３７ｂ（図３の画面例において行った自己判定の内容が反映されている）において、自身の解答に対する評価・判定を再入力（再選択）し、判定登録ボタン３８ｂを押下することでｅラーニングシステムに再登録させることができる。

なお、ここで自己判定の内容を変更・修正したということは、他の受講者の解答内容やそれに対する自己判定、他者判定の内容、自身の解答に対する他者判定の内容を参照した結果、これらの内容に基づいて当初の自己判定の内容を変更・修正したということであり、判断のブレ（他者の意見からの影響の受け易さ）や、当初の自己判定の精度についての課題（多くの受講者の判定結果との乖離等）が存在する可能性を示唆しているとも判断できる。

従って、自己判定の内容を変更・修正した場合にはその旨を記録しておくものとする。受講者が自己判定の内容を変更した趣旨などを説明するコメントを合わせて登録できるようにしてもよい。なお、本実施の形態では、自己判定の内容を変更・修正できるのとは異なり、自身が入力した解答内容については、これに対して既になされた他者判定の取り扱い等を考慮して、登録後の変更・修正はできないものとする。自己判定の内容についても登録後の変更・修正を不可としてもよいことは当然である。

図３の自己判定の画面例に示すように、他者判定集計欄３６は、最初に自己判定を行う際に表示するようにしてもよい。この場合は、当該受講者は、解答内容は既に入力・登録しているものの未だ自己判定を行なっていない状況であり、そのような状況での解答内容に対する他者判定の結果の集計情報であることを示している。受講者は上記と同様に、当該情報も参照した上で、自身の解答に対する自己判定を行うことが可能である。一方で、最初に自己判定を行う際には他者の判定内容に影響を受けないよう、図３の自己判定の画面例では他者判定集計欄３６を表示せず、自己判定を行った後に表示する図５の解答確認画面において初めて他者判定集計欄３６を表示するようにしてもよい。

なお、他者判定集計欄３６に表示される、当該解答内容についての他の受講者からの他者判定の結果の集計情報は、当該受講者が解答を入力・登録してから短時間しか経過していない状況では、十分な判定数が蓄積されておらず、参考情報として機能しない可能性が高いと考えられる。従って、受講者は、定期的に図５の例のような解答確認画面にアクセスすることにより自身の解答内容を確認するとともに、他の受講者の解答内容や、他の受講者等からの他者判定の結果の集計情報を確認することが望ましい。

もしくは、受講者が解答内容を入力・登録した後、当該解答内容に対する他者判定の数が十分に蓄積されるまで、図３の自己判定の画面例において自己判定を行うことができないよう制限してもよい。例えば、解答の登録から所定の時間が経過した場合や、他者判定の数が所定の数に達した場合、特定の者（例えば当該受講者の上長等、特定の権限を有する者など）が他者判定を行った場合などに、他者判定が十分蓄積されたものとして、判定結果の集計情報を参照して自己判定を行うことを許可するようにしてもよい。また、このとき、自己判定が行えるようになったことを当該受講者に対して任意の手段で通知するようにしてもよい。

なお、例えば、上記の自己判定や他者判定の結果が一定のレベルに達していることを条件として、以後は他の分野の問題や少しレベルアップした問題を出題するようにし、一定のレベルに達していない場合は同じ分野の問題を継続して出題するというように、出題する問題を制御するようにしてもよい。例えば、既に解答した問題について、自己判定の結果が所定の値以上である問題が所定の割合以上ある場合は、一定のレベルに達していると判定することができる。

このように、本実施の形態では、上記のような自己判定および受講者間での他者判定（相互判定）の結果の蓄積と開示を通して、各受講者に対して、問題に対する解答を考えること、および自身／他者の解答に対して評価・判定を行うことについて、自身で考えて真面目に取り組むよう動機付けることができる。また、自由入力問題に対して、解答に対する適切な評価・判定に自律的に収束するようにシステム全体として支援することが可能となり、その結果に基づいて模範解答をブラッシュアップするということも可能となる。

＜システム構成＞
図１は、本発明の一実施の形態であるｅラーニングシステムの構成例について概要を示した図である。ｅラーニングシステム１は、例えば、コンピュータシステムからなるサーバ機器等により実装され、インターネットや社内ＬＡＮ（Local Area Network）等のネットワーク４に接続されている。このｅラーニングシステム１に対しては、ｅラーニングの各受講者が使用するＰＣ等の情報処理端末であるクライアント端末３や、ｅラーニングシステム１の管理者等が使用するＰＣ等の情報処理端末である管理者端末２が、ネットワーク４を介して接続してアクセス可能な構成となっている。

なお、管理者端末２やクライアント端末３におけるｅラーニングシステム１へのアクセスや、上述したような画面表示と操作などは、例えば、図示しないＷｅｂブラウザなどを利用して行うことができる。また、ｅラーニングシステム１の管理者等は、管理者端末２およびネットワーク４を介してではなく、ｅラーニングシステム１に対して直接操作してアクセスしてもよい。

ｅラーニングシステム１は、例えば、図示しないＯＳ（Operating System）やデータベース管理システム、Ｗｅｂサーバプログラムなどのミドルウェア上で動作するソフトウェアプログラムとして実装された、学習処理部１１、出題・解答処理部１２、判定処理部１３、および管理部１４などの各部と、データベース（ＤＢ）として実装された問題ＤＢ１５、解答ＤＢ１６、判定ＤＢ１７、およびユーザＤＢ１８などの各記録部を有する。各記録部は、データベースに限らず、ファイルテーブルやメモリテーブルなど、データを記録・保持するとともに、指定されたキーの値にマッチするデータを取得する（検索する）ことができる手段であればよい。また、ネットワーク４を介してアクセス可能な他のデータベースサーバやファイルサーバ等にデータを保持する構成としてもよい。

学習処理部１１は、受講者（クライアント端末３）に対して、例えば、研修や講座等の形式で、ｅラーニングとしての教育・学習に係る処理を行う。手段は特に限定されないが、例えば、受講者のクライアント端末３に対して、資料のスライドショーを表示したり、動画コンテンツをストリーミング再生したりして教育を行う。ビデオチャットなどを利用して講師や他の受講者と対話しながら学習するものであってもよい。なお、研修、講座等による教育・学習を、例えば、集合研修や書籍での自己学習等、もしくは他のｅラーニングシステム等により、当該ｅラーニングシステム１の外部で行い、効果確認等のためのテストのみを当該ｅラーニングシステム１で行うようにしてもよい。

出題・解答処理部１２は、学習処理部１１等による教育・学習の効果確認等のためのテストとして、対応する問題（自由入力問題）の内容を問題ＤＢ１５から取得し、所定の順でクライアント端末３に対して出力することで受講者に対して出題する。また、出題された問題に対してクライアント端末３を介して受講者から入力された解答を解答ＤＢ１６に記録する。問題の出題順序は予め定められていてもよいし、ランダムでもよい。また、上述したように、これまでの問題の解答についての自己判定や他者判定の結果や実績に応じて、出題する問題の分野やレベル等を決定するように制御してもよい。

判定処理部１３は、受講者が入力した解答に対して自身で行った自己判定の内容、および他者が入力した解答に対して行った他者判定の内容を判定ＤＢ１７に保持する。また、保持した判定結果を集計し、判定結果や集計結果を受講者に対して提示可能とするとともに、集計した内容に基づいて解答毎に総合判定を行う。

総合判定に際しては、後述するように、例えば、各受講者（判定者）の役職や権限等の属性に基づいて判断される判定の正しさの仮定等に基づく所定の重み付けや、過去の判定実績に基づく補正を行うことで、集計された判定結果が適切なものに近付くようバイアスをかけるようにしてもよい。なお、判定結果の集計や、これに基づく総合判定の算出は、日次等の定期的処理として行うようにしてもよい。また、各解答について算出した総合判定の結果は、例えば、上述の図４や図５の例のような自己判定や他者判定の結果を表示する画面に合わせて表示するようにしてもよい。

管理部１４は、ｅラーニングシステム１の管理者等が管理者端末２等から利用可能な管理機能として、例えば、問題ＤＢ１５に対する問題の登録や、ユーザＤＢ１８に対するユーザ（受講者や上長、管理者等）の登録などを含む各ＤＢに対するメンテナンス処理を行うことができる。また、教育・学習状況に対する成績管理機能として、例えば、判定ＤＢ１７を参照して所定の基準で各受講者の合格・不合格を判定したり、組織での各受講者の合格達成の進捗度などを把握することができる。また、ｅラーニングシステム１の動作に係る各種の設定情報等を設定・変更できるようなインタフェースを有していてもよい。

なお、上記の各部（プログラム）の機能分担は一例であり、プログラムとして実装する際の分割形態も含めて、上述したものに限られないことは当然である。

＜データ構成＞
図６は、問題ＤＢ１５のデータ構成の例について示した図である。問題ＤＢ１５は、ｅラーニングによる教育・学習の効果確認や知識の定着等のためのテストとして受講者に出題する問題の情報を保持するテーブルであり、例えば、問題ＩＤ、問題カテゴリ、問題文、および解説文などの項目を有する。キー項目は問題ＩＤである。問題ＩＤの項目は、ｅラーニングシステム１において各問題を一意に識別するためのＩＤ情報を保持する。問題ＩＤの値は、例えば、管理部１４が問題の情報を問題ＤＢ１５に登録する際に採番する。

問題カテゴリの項目は、問題を分類するためのカテゴリの情報を保持する。問題の内容についての区分であってもよいし、対応する研修や講座の情報などであってもよい。また、複数のカテゴリを有していてもよい。問題文の項目は、対象の問題についての問題文の情報を保持する。本実施の形態での問題は、上述したように原則として自由入力問題であることを前提とするが、選択式の問題や単純な入力式の問題を一部に含んでいてもよい。解説文の項目は、対象の問題についての解答例や模範解答、解説文など、受講者が自身の解答について評価・判定する際の評価基準やポイント等を把握するための解説情報を保持する。

図７は、解答ＤＢ１６のデータ構成の例について示した図である。解答ＤＢ１６は、出題された問題に対して受講者から入力された解答の情報を保持するテーブルであり、例えば、解答ＩＤ、問題ＩＤ、解答者ユーザＩＤ、解答内容、解答日時、および総合判定などの項目を有する。キー項目は解答ＩＤである。解答ＩＤの項目は、ｅラーニングシステム１において各解答を一意に識別するためのＩＤ情報を保持する。解答ＩＤの値は、例えば、出題・解答処理部１２が入力された解答の情報を解答ＤＢ１６に登録する際に採番する。

問題ＩＤの項目は、対象の解答がどの問題に対するものであるかを特定する問題ＩＤの情報を保持する。解答者ユーザＩＤの項目は、対象の解答を入力した受講者（解答者）についての後述するユーザＩＤの情報を保持する。解答内容の項目は、対象の解答についての内容（解答文）の情報を保持する。解答日時の項目は、対象の解答が入力された時点のタイムスタンプの情報を保持する。

総合判定の項目は、対象の解答について判定処理部１３により算出された総合的な判定結果の値を保持する。総合判定の値は、例えば、後述する判定ＤＢ１７に蓄積された、解答者自身による自己判定と、他の受講者（判定者）からの他者判定の集計結果をベースとし、これに対して例えば、受講者（判定者）の役職や、所属組織、グループ、権限等の属性や、過去の判定実績等によって設定される重み付けや補正を行った値について、平均等の統計値を算出して得ることができる。

例えば、上長等の組織の長による判定は、当該組織の意思による正しい判定と評価することができ、この評価・判定には、一般判定者の評価よりも重い価値を与えることが可能と判断できる。従って、例えば、上長等の所定の役職や権限を有する判定者の判定結果に対して相当大きな値の重み付け値を設定して加重平均することで、上長等の判定が事実上総合判定となるようにすることも可能である。より極端には、上長等の特定の者の判定結果を直接総合判定として決定してもよい。

また、自己判定や他者判定の結果を、受講者（判定者）の過去の（特に類似問題に対する）判定実績に基づいて後述する補正率により補正するようにしてもよい。例えば、甘めの判定を行う傾向がある受講者の判定結果は値が小さくなる（判定が厳しくなる）よう補正したり、厳しめの判定を行う傾向がある受講者の判定結果は値が大きくなる（判定が甘くなる）よう補正することで、妥当性のある総合判定を得られるようバイアスをかける。

また、本来あるべき判定からの乖離が大きい場合には、その大きさに応じて価値が小さく加重平均されるような重み付け値を設定することで、当該判定をノイズ・異常値として、総合判定の算出の際に与える影響を制限する（総合判定の算出の際に考慮しない）ようにしてもよい。なお、得られた総合判定の値は、対象の解答についての最終的・総合的な評価・判定結果として尊重され、正しいものであるとして取り扱うものとする。

図８は、判定ＤＢ１７のデータ構成の例について示した図である。判定ＤＢ１７は、出題された問題に対して受講者から入力された解答に対する、受講者自身による自己判定、もしくは他の受講者（判定者）による他者判定の結果の情報を保持するテーブルであり、例えば、判定ＩＤ、解答ＩＤ、判定者ユーザＩＤ、判定内容、コメント、および判定日時などの項目を有する。キー項目は判定ＩＤである。判定ＩＤの項目は、ｅラーニングシステム１において各判定を一意に識別するためのＩＤ情報を保持する。判定ＩＤの値は、例えば、判定処理部１３が入力された判定の情報を判定ＤＢ１７に登録する際に採番する。

解答ＩＤの項目は、対象の判定がどの解答に対するものであるかを特定する解答ＩＤの情報を保持する。判定者ユーザＩＤの項目は、対象の判定を入力した受講者（判定者）についての後述するユーザＩＤの情報を保持する。この判定者ユーザＩＤの値が、対応する解答についての解答ＤＢ１６における解答者ユーザＩＤの値と同じである場合は、解答者と判定者が同じであることから、対象の判定は自己判定ということになる。自己判定であるか否かの情報をフラグ値等として保持する項目を別途有していてもよいし、自己判定の結果と他者判定の結果とを別個のテーブルで保持するようにしてもよい。

なお、上述したように、受講者（判定者）が対象の解答に対して既に行った評価・判定の内容については、当該受講者（判定者）自身が随時変更できるようにしてもよい。このとき、判定ＩＤを新たに採番し直して、過去の判定のレコードを履歴として保持しておくことで、例えば、同一の解答に対する受講者（判定者）の判定の変遷を把握することが可能となる。

判定内容の項目は、対象の判定についての評価・判定の内容（評価・判定結果）の情報を保持する。判定の内容については、例えば、点数やランクなど各問題で統一された基準により設定され、集計可能なものであれば特に限定されない。コメントの項目は、対象の判定に対して受講者（判定者）により付加されたコメントがある場合にその内容を保持する。例えば、受講者（判定者）が解答に対する評価・判定を行うに際して、判定結果についての趣旨・理由や補足情報などを付加できるようにしてもよい。判定日時の項目は、対象の判定が入力された時点のタイムスタンプの情報を保持する。これにより、受講者（判定者）が同一の解答に対する判定を変更した場合に、以前の判定内容のレコードを残して履歴として保持しておくことができる。

図９は、ユーザＤＢ１８のデータ構成の例について示した図である。ユーザＤＢ１８は、ｅラーニングシステム１を利用することができるユーザ（受講者、判定者）および管理者についての情報を保持するテーブルであり、例えば、ユーザＩＤ、氏名、所属、役職、権限、重み付け値、自己判定補正率、および他者判定補正率などの項目を有する。キー項目はユーザＩＤである。ユーザＩＤの項目は、ｅラーニングシステム１において各ユーザを一意に識別するためのＩＤ情報を保持する。ユーザＩＤの値は、例えば、管理部１４がユーザの情報をユーザＤＢ１８に登録する際に採番してもよいし、社内システム等の他のシステムで既に定義されているユーザＩＤの情報を利用してもよい。

氏名の項目は、対象のユーザの氏名の情報を保持する。所属の項目は、対象のユーザが属する部署や組織、グループ等の情報を保持する。自身の解答内容や自己判定の結果が開示される他者の範囲や、他者の解答について他者判定することができる範囲は、当該所属の単位で指定・制限することができるものとする。一人のユーザが複数のグループ等に所属していてもよい。

権限の項目は、対象のユーザに付された処理権限の情報を保持する。例えば、問題に対する解答の入力、自己判定、他者判定の実行等の処理毎に、実行の可否を設定することができる。これにより、例えば、若手社員は問題に対する解答の入力のみ許可し、自己判定や他者判定ができないように制限したり、上長等の管理職や一定の高いスキルレベルを有する者などは、解答の入力は行えないが他者判定のみ行わせるなどの制御を行うことができる。

重み付け値の項目は、対象のユーザが自己判定、および他者判定を行った際に、入力された評価・判定結果に対して重み付けする際の係数値の情報を保持する。また、自己判定補正率、および他者判定補正率の項目は、対象のユーザが自己判定、および他者判定を行った際に、入力された評価・判定結果に対して補正を行う（バイアスをかける）際の補正係数値の情報を保持する。この値は、例えば、受講者（判定者）の過去の判定実績等に基づいて自動もしくは手動により設定することができる。なお、図９の例では補正率により定義しているが、補正値として定義してもよい。

例えば、各受講者について、過去の判定実績において、例えば、自身の解答に対する自己判定の値が他者判定の値（集計値）もしくは総合判定と乖離する程度が大きい場合に、甘めの判定を行う傾向がある受講者の判定結果は値が小さくなる（判定が厳しくなる）ような補正率を設定することで、総合判定に近い判定結果が得られる可能性が高くなるようバイアスをかける（厳しめの判定を行う傾向がある場合は補正を行わないようにしてもよい）。

また、各受講者（判定者）について、例えば、他者の解答に対する他者判定の値が総合判定と乖離する程度が大きい場合に、甘めの判定を行う傾向がある受講者（判定者）の判定結果は値が小さくなる（判定が厳しくなる）ような補正率を設定し、厳しめの判定を行う傾向がある受講者（判定者）の判定結果は値が大きくなる（判定が甘くなる）ような補正率を設定することで、総合判定に近い判定結果が得られる可能性が高くなるようバイアスをかけるようにしてもよい。

また、例えば上記の処理の前処理として、上記の乖離の程度が大きい受講者（判定者）の場合には、その大きさに応じて判定結果の価値が小さく加重平均されるような重み付け値を設定することで、当該判定をノイズ・異常値とし、このような判定を行う傾向がある受講者（判定者）による判定結果が総合判定の算出の際に与える影響を制限する（総合判定の算出の際に考慮しない）ようにしてもよい。逆に、上記の乖離の程度が小さい受講者（判定者）の場合には、判定結果の価値が大きく加重平均されるような重み付け値を設定するようにしてもよい。

各ユーザ（受講者、判定者）について、上記のような補正率や重み付け値を、例えば、問題カテゴリや問題の分野毎に細分化して設定・管理することで、判定者の得意分野の判定結果の価値を大きく取り扱うなど、よりきめ細かい総合判定を行うことも可能である。このような補正率や重み付け値の設定・調整の処理を定期的に行うことで、適切な総合判定に収束するように各ユーザ（受講者、判定者）の補正率や重み付け値が調整される学習機能が実現される。

これにより、例えば、当初、上長等の権限を有する人の判定結果に対する補正率を相当大きく設定しておき、上長等が総合判定を事実上決定することができる状態で、判定処理を繰り返すことで、各受講者（判定者）の補正率や重み付け値を、システム全体として上長等の判定結果（判定能力）との乖離がなくなる方向に収束させることができる。その結果、上長等が各解答に対して総合判定を決定しなくても、一般の受講者（判定者）の全体で十分総合判定を推定することが可能となる。

また、部署や組織等において、上長等の判定と近い判定能力を有する者や、上長等の判定と近くなるための受講者（判定者）と重み付け値および補正率の組み合わせを洗い出したり、自己判定が甘い（厳しい）者や、他者判定が甘い（厳しい）者といった各種属性を有するグループを洗い出すことが可能となり、当該組織の活動における貴重な情報として活用を図ることが可能となる。

なお、上述の図６〜図９で示した各テーブルのデータ構成（項目）はあくまで一例であり、同様のデータを保持・管理することが可能な構成であれば、他のテーブル構成やデータ構成であってもよい。

以上に説明したように、本発明の一実施の形態であるｅラーニングシステム１によれば、自由入力問題を出題し、これに対する解答の入力を受け付け、解答に対する評価・判定をシステムが自動で行うのではなく、解答を行った受講者が、解説情報や他者の解答内容を参照して、自身の解答に対して自己判定により評価を行えるようにする。

さらに、自身の解答内容と自己判定の結果が他者に開示されるようにする。また、開示された内容に対して他者からも評価される（逆に、自身も他者の解答内容に対して評価を行える）ようにし、この内容も他者に開示されるようにする。これらにより、自身に対して手前味噌な評価や甘い評価となることを牽制し、学習に真面目に取り組むよう誘導・支援するとともに、他者に対しても、不用意に甘すぎる／厳しすぎる評価を行うことを牽制する。

このような相互評価と開示の仕組みにより、各受講者に対して、問題に対する解答を考えること、および自身／他者の解答に対して評価・判定を行うことについて、自身で考えて真面目に取り組むよう動機付ける（牽制する）ことができ、各受講者による学習・教育の効果を高めることが可能となる。また、自由入力問題に対して、解答に対する適切な評価・判定に自律的に収束するようにシステム全体として支援することが可能なり、その結果に基づいて模範解答をブラッシュアップするということも可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、模範解答に類するものはあるが正解が一意には決まらないような問題に対して解答を独力で考えて自由入力させるｅラーニングシステムおよびｅラーニングプログラムに利用可能である。

１…ｅラーニングシステム、２…管理者端末、３…クライアント端末、４…ネットワーク、
１１…学習処理部、１２…出題・解答処理部、１３…判定処理部、１４…管理部、１５…問題データベース（ＤＢ）、１６…解答データベース（ＤＢ）、１７…判定データベース（ＤＢ）、１８…ユーザデータベース（ＤＢ）、
３１…問題表示欄、３２ａ、ｂ…解答入力欄、３３…解答登録ボタン、３４…解説表示欄、３５…他者解答参照ボタン、３６…他者判定集計欄、３７ａ、ｂ…判定選択欄、３８ａ、ｂ…判定登録ボタン、３９…他者解答表示欄。

Claims (18)

1. 受講者に対して自由入力問題を出題し、当該自由入力問題に対する解答の入力を受け付け、入力された解答の評価に係る判定結果を得ることを支援するｅラーニングシステムであって、
   問題記録部に記録された前記自由入力問題を取得して前記受講者の情報処理端末に表示して出題し、前記情報処理端末を介して、前記受講者から第１の解答の入力を受け付けて解答記録部に記録する出題・解答処理部と、
   前記情報処理端末を介して、前記第１の解答に対して前記受講者が自身で自己判定を行った結果を受け付けて判定記録部に記録する判定処理部とを有し、
   前記受講者が自己判定を行う際に、前記問題記録部に記録された前記自由入力問題に係る解説情報を取得して前記情報処理端末に表示し、さらに前記受講者からの要求に応じて、前記自由入力問題に対する他の受講者による第２の解答および前記第２の解答に対する前記他の受講者による自己判定の結果を前記情報処理端末に一覧表示することを特徴とするｅラーニングシステム。
2. 請求項１に記載のｅラーニングシステムにおいて、
   前記判定処理部は、さらに、
   前記情報処理端末を介して、前記他の受講者による前記第２の解答に対して前記受講者もしくは所定の判定者が他者判定を行った結果を受け付けて前記判定記録部に記録することを特徴とするｅラーニングシステム。
3. 請求項２に記載のｅラーニングシステムにおいて、
   前記判定処理部は、さらに、
   前記受講者による前記第１の解答について、前記判定記録部に記録された自己判定および／または前記他の受講者もしくは前記判定者による他者判定の結果に基づいて総合判定を算出することを特徴とするｅラーニングシステム。
4. 請求項３に記載のｅラーニングシステムにおいて、
   前記判定処理部は、
   前記総合判定を算出する際に、自己判定もしくは他者判定を行った前記受講者、前記他の受講者、もしくは前記判定者の属性および／または過去の自己判定もしくは他者判定の実績に基づいて、自己判定もしくは他者判定の結果に所定の重み付けを行うことを特徴とするｅラーニングシステム。
5. 請求項４に記載のｅラーニングシステムにおいて、
   前記判定処理部は、
   前記総合判定を算出する際に、前記受講者が属する組織の長である前記判定者により他者判定が行われている場合に、当該他者判定の結果を前記総合判定とすることを特徴とするｅラーニングシステム。
6. 請求項４または５に記載のｅラーニングシステムにおいて、
   前記所定の重み付けの値は、前記自由入力問題の分野に応じて異なることを特徴とするｅラーニングシステム。
7. 請求項３〜６のいずれか１項に記載のｅラーニングシステムにおいて、
   前記判定処理部は、
   前記総合判定を算出する際に、前記受講者による、過去の他の自由入力問題における第３の解答に対する自己判定の結果と、前記第３の解答に対する前記他の受講者および前記判定者による他者判定の集計結果、もしくは前記第３の解答に対する総合判定の結果との乖離の程度の実績に基づいて、前記第１の解答に対する前記受講者による自己判定の結果を補正し、および／または、前記受講者もしくは前記判定者による、前記他の自由入力問題における前記他の受講者の第４の解答に対する他者判定の結果と、前記第４の解答に対する総合判定の結果との乖離の程度の実績に基づいて、前記第２の解答に対する前記受講者もしくは前記判定者による他者判定の結果を補正することを特徴とするｅラーニングシステム。
8. 請求項２〜７のいずれか１項に記載のｅラーニングシステムにおいて、
   前記受講者もしくは前記判定者は、設定された権限に応じて、前記自由入力問題に対する前記第１解答の入力、前記第１の解答に対する自己判定の実行、および前記自由入力問題に対する前記他の受講者による前記第２の解答に対する他者判定の実行のうち、いずれか１つ以上を実行可能であることを特徴とするｅラーニングシステム。
9. 請求項２〜８のいずれか１項に記載のｅラーニングシステムにおいて、
   前記受講者からの前記第１の解答の入力を受け付けてから所定の条件を満たすまで、前記受講者に対して前記第１の解答に対する自己判定の実行を許可しないことを特徴とするｅラーニングシステム。
10. 請求項９に記載のｅラーニングシステムにおいて、
    前記所定の条件を満たした場合に、自己判定の実行を許可する旨を前記情報処理端末を介して前記受講者に通知することを特徴とするｅラーニングシステム。
11. 請求項９または１０に記載のｅラーニングシステムにおいて、
    前記所定の条件は、前記第１の解答に対して、前記他の受講者による他者判定の結果が所定の数以上前記判定記録部に登録されたこととすることを特徴とするｅラーニングシステム。
12. 請求項９〜１１のいずれか１項に記載のｅラーニングシステムにおいて、
    前記所定の条件は、前記第１の解答に対して、特定の権限を有する前記判定者による他者判定の結果が前記判定記録部に登録されたこととすることを特徴とするｅラーニングシステム。
13. 請求項１〜１２のいずれか１項に記載のｅラーニングシステムにおいて、
    前記他の受講者による前記第２の解答および前記第２の解答に対する前記他の受講者による自己判定の結果を一覧表示する際、前記他の受講者を特定可能な情報の表示／非表示を設定により切り替えることが可能であることを特徴とするｅラーニングシステム。
14. 請求項２〜１３のいずれか１項に記載のｅラーニングシステムにおいて、
    前記受講者が前記第１の解答に対する自己判定を行う際に、前記他の受講者による前記第２の解答に対して前記受講者が他者判定を行ったことを条件として、前記第２の解答に対する前記他の受講者以外の受講者による他者判定の集計結果を参照可能とすることを特徴とするｅラーニングシステム。
15. 請求項２〜１４のいずれか１項に記載のｅラーニングシステムにおいて、
    前記判定処理部は、
    前記受講者が前記第１の解答に対する自己判定を行う際、もしくは、前記受講者もしくは前記判定者が前記第２の解答に対する他者判定を行う際に、判定についてのコメントの入力を受け付けて、判定内容と合わせて前記判定記録部に記録することを特徴とするｅラーニングシステム。
16. 請求項２〜１５のいずれか１項に記載のｅラーニングシステムにおいて、
    前記出題・解答処理部は、
    前記自由入力問題を出題する際に、これまでに出題された前記自由入力問題についての前記受講者の解答に対する自己判定および／または他者判定の結果に応じて、出題する前記自由入力問題の分野および／またはレベルを決定することを特徴とするｅラーニングシステム。
17. 受講者に対して自由入力問題を出題し、当該自由入力問題に対する解答の入力を受け付け、入力された解答の評価に係る判定結果を得ることを支援するｅラーニングシステムとしてコンピュータを動作させるｅラーニングプログラムであって、
    問題記録部に記録された前記自由入力問題を取得して前記受講者の情報処理端末に表示して出題し、前記情報処理端末を介して、前記受講者から第１の解答の入力を受け付けて解答記録部に記録する出題・解答処理と、
    前記情報処理端末を介して、前記第１の解答に対して前記受講者が自身で自己判定を行った結果を受け付けて判定記録部に記録する判定処理とを実行し、
    前記受講者が自己判定を行う際に、前記問題記録部に記録された前記自由入力問題に係る解説情報を取得して前記情報処理端末に表示し、さらに前記受講者からの要求に応じて、前記自由入力問題に対する他の受講者による第２の解答および前記第２の解答に対する前記他の受講者による自己判定の結果を前記情報処理端末に一覧表示することを特徴とするｅラーニングプログラム。
18. 請求項１７に記載のｅラーニングプログラムにおいて、
    前記判定処理は、さらに、
    前記情報処理端末を介して、前記他の受講者による前記第２の解答に対して前記受講者もしくは所定の判定者が他者判定を行った結果を受け付けて前記判定記録部に記録する処理を実行することを特徴とするｅラーニングプログラム。

Images