JP2009509200A - 試験を編集するための装置、方法、およびコンピュータ・プログラム、並びに、受験者を試験するための装置、方法、およびコンピュータ・プログラム - Google Patents

Abstract

試験を編集するための装置は、それぞれが課題タイプと関連付けられた複数の試験課題を格納するデータベースと、データベースから試験課題を選択し選択された試験課題の群を得る手段と、試験のため選択された試験課題をユーザに出力する手段とを含む。試験課題を選択する手段は、課題タイプに対し、課題タイプに対し利用可能な試験課題がデータベース中にある場合、データベースから少なくとも一つの試験課題を選択して選択された試験課題を選択された試験課題の群に加える手段と、利用可能な試験課題がデータベース中にない課題タイプに対し、所定の代替ルールに従って、データベース中で代替試験課題を探索し、同課題を選択された課題の群に加えるよう構成された例外処理ロジックとを含む。
【選択図】図１

Description

本発明は、一般に、試験を編集するための装置、方法、およびコンピュータ・プログラム、並びに、受験者を試験するための装置、方法、およびコンピュータ・プログラムに関し、特に、動的な試験の編集を可能にする装置、方法、およびコンピュータ・プログラムに関する。

昨今、教育および訓練の分野で、コンピュータ支援学習システムの普及が拡大し続けている。この分野におけるコンピュータ支援学習システムの増加は、とりわけ、情報技術の大きな進展と高速データ通信ネットワークの普及とに負うところが多い。しかして、学習コンテンツのマルチメディア・ベース通信による電子学習システムが可能となり、例えば、視聴覚エレメントを用いることができる。

学習コンテンツの表現自体はさておいて、電子学習システムにおいてきわめて重要なことは自己評価の導入である。こういった自己評価は、学習者が知識および理解の上で不十分な点を認識するのを助け、これにより、学習者がもっと理解する必要のある事項について系統的に再学習するのに役立てることができる。さらに、自己評価は学習者のモチベーションを高めることが分かっている。

従来の電子学習システムにおいて、いくつかのタイプの自己評価法が知られている。単純な方式では、少なくとも一つの定まった編集済みの試験が電子学習システム内に格納されており、ユーザはこれに取り組むことができ、これにより学習者がどの質問または課題に正しく答えたかを判断する評価が提供される。こういった固定的に事前設定された試験は、例えば、人間の指導教授によって編集され、指導教授は、良くバランスの取れた、すなわち学習者の能力をむらなく取り出す試験に責任を持つ。しかしながら、このような固定的に編集された試験は、学習者の知識の現在レベルを考慮に入れていないか、考慮が不十分である。

自動化された試験編集についての別の知られた方法として、例えば、一群の試験問題を事前設定しておき、その中から複数の問題を選択し、編集して試験を形成する方法がある。良くバランスの取れた試験ができるようにするため、複数のカテゴリを設け、自己評価試験の編集に先立ってカテゴリ毎に問題の数が決められる。この方法は、良くバランスの取れた試験の実現に役立つように見えるが、このような問題の選択も学習者の知識の水準に適合はされていない。前述のような試験編集の方式は、言うなれば一般に学習者の知識レベルに適合できるものでない。

本発明の目的は、良くバランスの取れた、ユーザまたは受験者の知識レベルに適合した試験の自動的編集に対するコンセプトを提供することである。

この目的は、請求項1に記載の試験編集のための装置、請求項２１に記載の関連する方法、および請求項２２に記載のコンピュータ・プログラム、並びに、請求項２３に記載の受験者を試験するための装置、請求項２８に記載の受験者を試験する方法、および請求項２９に記載のコンピュータ・プログラムによって達成される。

本発明は、各試験課題が複数の課題タイプのうちのある課題タイプと関連付けられている複数の試験課題を格納するデータベースと、データベースから試験課題を選択して、試験のために選択された試験課題の一群を得る手段と、試験の選択された試験課題をユーザに出力する手段とを有する試験を編集する装置を提供する。試験課題を選択する手段は、複数の課題タイプ中のうちのある課題タイプに対し、課題に対し利用可能な試験課題がデータベース中に有る場合はデータベースから少なくとも一つの試験課題を選択し、選択された試験課題を選択された試験課題の群に加える手段と、複数の課題タイプからの課題タイプに対し利用可能な試験課題がデータベース中にない場合には、事前設定された代替ルールに従ってデータベース中で代替の試験課題を探索し、データベース中に代替ルールを満たす試験課題がある場合には、試験課題を選択された課題の群に加えるように構成された例外処理ロジックとを含む。

本発明の中心となる着想は、例外処理ロジックを使い試験課題をフレキシブルに選択することによって、データベースに試験課題のない課題タイプに対する代替試験課題を事前設定された代替ルールに従って選定し、学習者または受験者の知識に適合した試験編集を実現できるということにある。データベース中に試験課題のない課題タイプに対し、ルールに基づく代替試験課題の選択を行うことによって、複数の課題タイプから計画された課題タイプの全てに対しては試験課題が利用できない場合であっても、良くバランスの取れた試験を生成することができる。

こういった状況は、例えば、処理対象の各課題タイプに関する十分な数の試験課題がデータベースに格納される前に、試験を編集する装置が作動される場合、例えば、試験課題の全データベースを学習者のローカル・コンピュータにダウンロードするのに多大の時間を要し、試験を編集する装置が、ダウンロードが完了する前に作動する場合に生ずる。さらに、既に正解回答されている試験課題の重複出題を避けるため受験者が正解回答している試験課題は使わないよう指定されているので、複数の課題タイプ中のある課題タイプに対してこれ以上の試験課題がもはや使えない場合にも起こりえる。

このため、本発明のコンセプトにより動的でユーザ適合性の試験編集を可能にする。本発明の装置は、従ってユーザ適合型の装置として捉えることもできる。

この試験は、自動的に編集され、ユーザまたは受験者の知識レベルに良くバランスされ適合されており、自己評価、および認定された試験の実施に関連した査定の両方に活用することができる。

従って、本発明は、既存の試験編集装置を上回る大幅な利点を提供する。しかして、適用対象の全課題タイプに対し少なくとも一つでない（あるいは相当数の）試験課題が存在する場合であっても、こういった場合、従来型の試験システムでは時によっては試験組合わせまたは良くバランスの取れた試験組合わせを編集することはできないが、本発明は、うまく試験を編集することを可能にする。データベースに利用可能な試験課題のない課題タイプに対し、所定の代替ルールを用いた例外処理ロジックを使い、代替試験課題を設定することにより明確な代替が可能になり、適切な代替ルールが設けられていれば、自動的な仕方で良くバランスの取れた試験を得ることができる。この代替ルールでは、代替の制御のため、試験課題または課題タイプに関する情報および／またはメタ情報が用いられる。しかして、どのような課題タイプが利用可能か、推測的に全く分かっていない場合であっても、最適の代替を確実にすることができる。

さらになお、試験を編集する本発明の装置は、自動化された試験編集を妨げることなく、試験課題の数の遡及削減を可能にする。これは、例えば試験課題を削除するかあるいは試験課題を利用できないとマークするかして行うことができる。

さらに、試験の実施面を考慮して、学習者と受験者との間に違いを設けることができる。本発明のコンセプトは、試験実施の状況に応じて、学習者の自己評価と受験者の試験の両方への対応を可能にする。ここで、本発明のコンセプトには認定された試験の実施を含めることができる。従って、本発明の装置または本発明のコンセプトのユーザを、学習者および受験者の両方とすることができる。

さらに、データベースから少なくとも一つの試験課題を選択する手段が、可用性制御（ａｖａｉｌａｂｉｌｉｔｙ ｃｏｎｔｒｏｌ）によってユーザが既に正解回答していると識別された試験課題を利用できないと認識するのを確実にするよう構成された可用性制御手段を、試験編集装置がさらに含むことが望ましい。かくして、ユーザによって既に正解回答された課題はそれ以降試験編集の対象とならないようにされる。これは既に正解回答された試験課題の繰り返しを回避するよう機能し、これにより、電子学習システムの学習効率を大幅に増進させることができ、しかして、学習者のモチベーションを効果的に向上させることができる。可用性制御については、例えば、可用性制御手段によって、ユーザが特定の試験課題を正解回答したと認識されたとき、ユーザが試験課題を正解回答していることを示すユーザ関連情報をデータベースに加えるように構成することができる。したがって、可用性制御手段は、望ましくは、ユーザが供給した回答の査定過程で生成された情報を評価することができる。

さらに、前述のやり方において、データベースが、試験課題と、特定のユーザが正解回答済みの試験課題に関するユーザ関連情報との両方を含むようにすることができる。当然、何人かの異なるユーザに対するユーザ関連情報をインストールし、きわめてメモリ効率の良いデータベース・システムを生成することができる。これにより、（クライアント−サーバ・システムのような）多重ユーザ・システムにおけるユーザ個別化した試験編集も可能になる。

さらに、可用性制御手段を、ユーザがある試験課題を合格回答したときに、この試験課題をデータベースから削除するよう構成することができる。これは、例えば、限られたメモリ容量を持つ携帯コンピュータ・システムにとって有益である。本発明によれば、一度正解回答された試験課題が繰り返されないことを前提にできるので、当然、その試験課題の格納を続ける必要はないことになる。これにより、電子学習システムまたは電子学習環境の資源節約的な作動が可能になる。

さらに、試験を編集する本発明の装置が、公称難度レベルを受信する手段を含むことが望ましく、さらにある難度レベルは各試験課題と関連付けられており、試験を編集する装置は難度制御手段をさらに含み、この手段は、データベースから少なくとも試験課題を選択する手段が、関連する難度レベルの公称難度レベルからの逸脱度が最大でも所定の難度レベル逸脱度内である試験課題だけを、利用可能として認識することを確実にするよう構成される。このことは、公称難度レベルを特定することによって、電子学習システムにおいて遂行される試験を、学習者の学習の進度に適合させるのに役立つ。

本発明の装置において、代替ルールは、望ましくは、例外処理ロジックに対し、複数の課題タイプのうち、データベース中に利用可能な試験課題がない課題タイプに対する代替課題タイプを選定し、データベース中で代替課題タイプの代替試験課題を探索し、探索された試験課題を選択された課題の群に加えることを命令するよう構成される。通常、各々の課題タイプに対し非常に類似した代替課題タイプがあり、（データベース中に試験課題のない課題タイプの試験課題の代わりに）代替課題タイプの試験課題を使っても、課題タイプは教育・訓練に類似の能力を提供するので、試験の良好なバランスをごくわずかだけ損なうことがあるだけであることが分かっている。言い換えれば、ある課題タイプを類似の代替課題タイプで置換えても、通常、人間の学習者がもどかしさを知覚することはない。

例外処理手段については、望ましくは、課題タイプ代替テーブルにアクセスして、利用可能な試験課題がない課題タイプに対する代替課題タイプを選定するよう構成することができる。通常、代替課題タイプによる利用できない課題タイプに対する明確な課題タイプの代替は有用であることが示されている。こういったある課題タイプと代替課題タイプとの間の関連付けを、例えば、（代替される）課題タイプと代替課題タイプとの間の関連付けを表す課題タイプ代替テーブルに格納することができる。ちなみに、課題タイプと代替課題タイプとの間の関連付けをテーブル形式で格納するのは、非常にメモリ効率が良く、加えて迅速なアクセスを可能にする。

さらなる好適な実施形態において、課題タイプ特徴ベクトル（ｔａｓｋ−ｔｙｐｅ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）は、複数の課題タイプの各課題タイプと関連付けられ、例えば、少なくとも一つの数値的に書き込みが可能な基準、さらに好ましくは、いくつかの数値的に書き込みが可能な基準を使って課題タイプを表現する。この場合、例外処理手段は、望ましくは、試験課題がない課題タイプの課題タイプ特徴ベクトルと代替課題タイプの課題タイプ特徴ベクトルとの違いができるだけ小さくなるように、試験課題がない課題タイプに対する代替課題タイプを設定するよう構成される。これについては、例えば、代替される課題タイプの課題タイプ特徴ベクトルに基づいて、代替される課題タイプの課題タイプ特徴ベクトルにできるだけ類似した課題タイプ特徴ベクトルを有する代替課題タイプを識別することによって確認することができる。この類似性は、例えば、任意の数学的距離指標および／または数学的ノルムによって判断することができ、課題タイプ特徴ベクトルの個々の入力に対し重み付けを組み入れることができる（課題タイプ特徴ベクトルの入力は課題タイプの特徴的性質を表現する）。

これは、一つの課題タイプ特徴ベクトルを使って各課題タイプを十分に表現することを可能にする。これにより、マニュアルによる課題タイプ代替テーブルの作成が不要になる。むしろ、課題タイプ特徴ベクトルによって課題タイプ代替テーブルを自動的に作成するか、あるいは、代替課題タイプによる課題タイプの代替が必要なときはいつでも、前記のやり方で課題タイプ特徴ベクトルを評価することができる。このことはさらに、例えば、ネットワーク・インタフェースを介した転送によって生成される時間的に変化する課題データベースに関して特に有益である。というのは、これにより、最も適した代替課題タイプを選定する際に、実際上利用可能なそういったデータベース中の課題タイプ群がまさしく使えるからである。最後に、課題タイプ特徴ベクトルを使った課題タイプの表現および課題タイプ特徴ベクトルに基づく課題タイプの代替は、相異なるソースおよび／または指導教授から課題タイプを比較できること、さらに、代替ルールの（テーブルの形などでの）集約的な設定が必要ないことに利点がある。

試験課題が難度レベルに関連付けられており、本発明の装置が公称難度レベルを受信する手段をさらに含む場合、代替ルールは、例外処理ロジックに対して、公称難度レベルに基いて難度の代替レベルを判断し、データベース中に公称難度レベルを有する試験課題がない複数の課題タイプから課題タイプを探索し、難度のレベルが最大でも所定の大きさによる難度の代替レベルから逸脱した代替試験課題を探索し、代替試験課題を選択された試験課題の群に加えるように命令するよう構成されるのが好ましい。この理由は、公称難度レベルにおいて代替試験課題がない課題タイプに対し、別の（代替）難度レベルを有する代替試験課題を識別するように、代替ルールを拡張するのが有益であることが判明しているからである。

しかして、学習者が、ある特定の課題タイプに特に優れた理解を発達させ、これにより、その課題タイプに対する公称難度レベルの課題タイプに特に早い進度で取り組むことが起こり得る。この場合、公称難度レベルより高い代替難度レベルの代替試験課題を選択することが望ましい。公称難度レベルの元の試験課題が既に完了してしまった課題タイプに対し、代替試験課題の難度レベルを上げることにより、できるだけ均衡の取れた試験課題を作成することができる。加えて、このような方策により、学習者に良くバランスが取れているという意識をさらに与えることができる。

他方では、ある特定の課題が数回に亘り誤って回答され、またはある特定の課題タイプの課題群が比較的頻繁に正解されない場合には、難度レベルを引き下げることができる。この場合、代替試験課題に対する代替の難度レベルを、公称難度レベルより低く選択するのが望ましい。

最後に、データベース中に公称難度レベルの試験課題のない課題タイプに対し、場合によっては、別の（代替）課題タイプを有する代替試験課題よりも、公称難度レベルと違った難度レベルを有する代替試験課題を探索する方が格段に有利なことがある。例えば、代替の対象となる課題タイプとよく類似した課題タイプに対して代替試験課題がない場合などがこれにあたる。すなわち、学習者が、難度レベルの変更に対し、課題タイプの変更よりももどかしさを感じることが少ない場合である。

さらに、代替試験課題を選択する方策（すなわち代替ルール）を、実施される試験が、学習者の自己評価かまたは受験者を試験するのかに応じて、異なるように選択することができる。受験者に対する試験の実施では、公称難度レベルに比較して高い難度レベルの代替試験課題を出題し、例えば、受験者が代替試験課題に正解回答できれば点数を増やすなどして報いることができる。このように、代替試験課題の変更された難度レベルを、試験を評価する際に考慮に入れることができる。

学習者をよりうまくシステムに組み入れるために、例えば、代替難度レベルが使われる場合、その使用に関する情報を含むメッセージをユーザに出力するよう、例外処理ロジックを構成することが有益となろう。

さらに、例外処理ロジックには、データベース中に試験課題がない課題タイプに対し代替ルールを満たす試験課題がない場合に、ユーザにメッセージを出力するよう構成された質問手段を含めるのが有益となろう。質問手段を、ユーザからの入力を受信するようさらに構成することができ、例外処理ロジックは、この入力に応じて、短縮された試験を生成するか、あるいは、ユーザに異なる科目分野を選択するよう要求を出力してユーザからの入力を受信し、これに基き前記の選択ができるようにする。こうするのは、代替ルールを満たす試験課題がない場合、良くバランスの取れた試験が生成されるという保証はもはやできないためである。この場合、試験編集の装置がユーザとやり取りをして、これにより、ユーザが、対応する入力によって、短縮試験の実施を承認できるようにする。ユーザが短縮された試験を望まない場合、ユーザのモチベーションの低下を避けるため、ユーザが装置とのやり取りを通して、別の科目または科目分野に関する試験を選択することができるようにするのがさらに望ましい。本発明の試験編集装置のこのような構成も、試験問題のデータベースが少しずつユーザの処理装置にセットアップおよび／または転送されるという、電子学習システムに関しての大きな利点を有する。

さらに、課題タイプに対しデータベース中に十分な数の利用可能な試験課題がある場合、複数の課題タイプからの一つの課題タイプに対してデータベースからの課題タイプに関連して、データベースから少なくとも一つの試験課題を選択する手段が、所定の数の試験課題を選択するよう構成されることが望ましい。このような構成により、試験問題の数が、さまざまな課題タイプに対しバランスの取れたものとなるのを確実にすることができる。試験編集装置は、例えば、時間のかかる課題タイプについては一つだけまたは少ない試験課題が選択され、より迅速に取り組むことのできる別の課題タイプに関しては所定の数の試験課題が選択されるように、処理することができる。これは、特に良くバランスの取れた試験の編集を確実にするのに役立つ。課題の所定数については、例えば、課題の数に関する情報を受信する手段が、受信した課題の数に関する情報に基いて提供することができる。

例えば、乱数ゼネレータを使った試験課題のランダム選択によって、特に良くバランスの取れた試験を得ることができ、試験の繰り返しによる予見可能性を回避することができる。これにより、学習者の知識の実際のレベルのより客観的評価が可能になる。

さらに、本発明の試験編集装置を、受験者の試験のための装置に組み込むことが望ましい。受験者の試験装置は、望ましくは、試験編集装置により出力される選択された試験課題の少なくとも一つに対する回答を読み取る手段をさらに含む。加えて、受験者を試験する装置は、望ましくは、読み込まれた回答を評価して、読み込まれた回答が選択された試験課題出力の正しい解答を表しているかどうかに関する符号化された情報を得る手段を含む。さらに、受験者を試験する装置には、符号化された情報に応じて試験結果を出力する手段を含めるのが有益である。

従って、受験者を試験する個々の装置は、試験の編集から始まり試験結果の表示に至るまでの試験を、完全に自動化された方法で実施するよう機能し、同様に、代替ルールを使った例外処理を使う本発明の試験編集による利点が得られる。

さらに、データベースに格納された試験課題がデータベースから少なくとも一つの試験課題を選択する手段に使用可能なときを判断する可用性制御手段については、読み込まれた回答が選択された試験課題出力の正しい解答を表しているかどうかに関する符号化された情報を評価するよう構成されるのが望ましい。ここで、符号化情報をユーザに関連付けた方法でデータベースに格納するのが望ましく、符号化情報には、例えば、ユーザが特定の試験課題を正解回答したかどうかに関する二値のステートメントを包含させることができる。かかる構成によりきわめて好都合な電子試験システムが得られ、このシステムでは、一度正解された試験課題は、二度と当該ユーザに対し出力されないことが確実にされる。このことは、効率的な学習の実現と、さらに、既に正解した課題の繰り返しによるユーザのモチベーション喪失の防止とに役立つ。

課題が解けなかった回数を記憶しておき、個別システムの対応処置を始動することもできる。こういったシステム対応処置として、例えば、前記で説明したように難度レベルを上げるまたは下げるなどすることができる。

さらに、読み込まれた回答を評価する手段が、読み込み回答を、データベースに格納された選択試験課題出力に関連する比較用回答と比較するよう構成された比較手段を含み、読み込み回答が、比較用回答から最大でも所定の逸脱度以内の逸脱である場合は、読み込み回答は正しい回答であると評価し、選択試験課題出力に対する比較結果に対応する符号化された情報を生成することが望ましい。言い換えれば、ユーザ入力の評価は、同様に、自動化された方法で実施されるよう設定される。ユーザないし学習者の回答の行過ぎた誤解釈を防止するため、ユーザの回答とデータベースに格納された比較用回答との間で、所定の逸脱幅を許容するのが望ましい。この逸脱幅は、例えば、数値で定義することができる。これに加え、例えば、もっと複雑な回答を要する質問に対しては、回答入力と比較用回答との間にあらかじめ定めた逸脱幅を許容するようにすることができる。例えば、ユーザが長いテキスト入力を要求される場合にこれを適用することができる。ここで重要なのは、比較用回答からの回答の逸脱幅を定量化できる表現モードを設けることである。

さらに、場合により、読み込み回答が比較用回答と一致している場合だけ回答を正解合格させるのが望ましい。これは、例えば、多肢選択試験課題などに利点があり、例えば、比較手段を使ったきわめて便利の良い電子評価を可能にする。

正解回答とユーザが入力した回答との間の逸脱が大きく、ユーザが試験課題を解いていない場合は、本発明の試験編集装置は、関連する科目、および／またはユーザ（学習者または受験者）のウィークポイントについての参照をさらに出力することができる。

以下に、添付の図面を参照しながら本発明の好適な実施形態を説明する。

図１は、本発明の第１実施形態による、試験を編集する本発明の方法のフローチャートを示す。図１のフローチャートは、その全体が１００として示されている。本発明の方法は、データベースから試験課題を選択するよう構成される。ここで、データベースは１１０として示され、複数の利用可能な試験課題を含む。なお、試験課題と課題タイプとの間は関連付けがされている。すなわち、データベース中の各試験課題は、例えば、ある課題タイプに関連付けられている。データベース中の各試験課題は、例えば、それぞれ、関連付けられた分野または関連する科目を有しており、これらは課題タイプを表している。データベース中にいくつかのテーブルないしサブ・データベースを置き、同一タイプの試験課題だけをそれぞれ一つのテーブルないしサブ・データベースに格納するようにすることも同じく可能である。要約すれば、データベースのデータ構造は、試験課題と課題タイプとの間に関連付けがあるように構成される。

さらに、データベースに存在する課題と、ここで説明するアルゴリズムの状況において使用可能な課題との間には違いがある可能性がある。言い換えれば、データベース中の一つ以上の課題が利用不可能とマークされていることがある。データベースには、例えば、ある試験課題が利用できないと判定するフラグを含めることができる。このフラグを、例えば、ユーザがある課題を既に正解回答している場合に設定することができる。さらに、イベントに応じ、データベース中の課題を利用可能なものとして選択することができ、利用可能な課題は、通常、ある条件および／またはいくつかの条件から成るロジカル・リンクに適合しなければならない。

図１に関連して示されたアルゴリズムの機能は、できるだけ良くバランスの取れた、通常複数の課題タイプを含む試験を編集することにあり、同時に、ある課題タイプに対しデータベース中に利用可能な試験課題がない例外的な場合の取扱いを可能にする。

示されたアルゴリズムは、入力量として、データベース中で探索される試験課題の少なくとも一つの課題タイプ１２０を受信する。第１ステップ１３０において、示されたアルゴリズムは、所定の課題タイプ１２０の利用可能な試験課題がデータベース中にあるかどうかを調べる。これは、例えばデータベース１１０中に存在する試験課題をフィルタ選別することによって実施することができる。さらに、データベースを、各種課題タイプについていくつの課題が利用可能かを記録するよう構成することができる。すなわち、データベースは、例えば、課題タイプに関連するカウンタを含め、課題タイプに関し利用可能な試験課題の数を示すことができる。

第１ステップ１３０において、所定の課題タイプ１２０に対し、データベース中に、少なくとも一つの利用可能な試験課題があると認識された場合、続いて第２ステップ１４０において、所定の課題タイプ１２０に対する少なくとも一つの試験課題が選択される。これについては、例えばデータベース中で所定の課題タイプ１２０に対する試験課題が探索される。例えば、所定の課題タイプ１２０に対しデータベースで発見された第１課題を使用することができる。さらに、所定の課題タイプ１２０に対し、データベース１１０中で利用可能な複数の試験課題から、例えば乱数ゼネレータなどを使うなどランダムな方式で、一つ以上の試験課題を選択することができる。なお、課題タイプに対し利用可能な試験課題がデータベース中にあるかどうかを点検するステップ１３０と、課題タイプに対する少なくとも一つの試験課題を選択するステップ１４０とを、相互に緊密に関連付けることができる。しかして、データベース１１０から試験課題を選択する試みを行うことができる。この選択が成功しない場合には、所定の課題タイプ１２０に対し、データベース中には利用可能な試験課題がないと判定することができる。

第２ステップ１４０において、課題タイプに対する少なくとも一つの試験課題が選択された場合、第３ステップ１５０において、選択された試験課題を、選択された試験課題の群に加えることができる。

他方で、第１ステップ１３０において、所定の課題タイプ１２０に対し利用可能な試験課題が無いと判定された場合、例外処理１６０が実施される。この場合、ステップ１６４において、データベース中で、所定の代替ルールを満たす試験課題が探索される。この代替ルールは、データベース中に利用可能な試験課題がない課題タイプ１２０の試験課題の代わりとなる代替試験課題がどのような基準を満たさねばならないかの指示を示す。この代替ルールでは、例えば、データベース中に利用可能な試験課題のない所定の課題タイプ１２０に対し、代替課題タイプの代替試験課題が使えることを規定することができる。

この代替ルールには、例えば、一つ以上の基準を定め、これらに従ってデータベース１１０中の試験課題を利用可能として分類することができる。言い換えれば、試験課題は、フィルタを規定し、これを使って、データベース１１０全体を通して利用可能な課題を探索することができる。代替ルールにより設定されたデータベース探索のためのフィルタは、望ましくは、課題タイプに対し利用可能な試験課題がデータベース中にあるかどうかを判定するために使われた当初のフィルタよりも許容幅が広い。代替ルールは、幅を広げたフィルタに換えて、異なるフィルタ（例えば、所定の課題タイプ１２０を代替課題タイプで代替する）を規定することもできる。この場合、当然ながら、代替ルールを所定の課題タイプ１２０に対し固有のものとすることができる。

ステップ１６４でデータベース１１０中に所定の代替ルールに適合する課題が見付かったと、ステップ１６８において判定された場合、代替ルールに適合する見付かった試験課題は、次のステップ１７２において、選択された試験課題の群に加えられる。また一方、代替ルールに適合する代替試験課題がデータベース１１０中に見付からない場合には、選択された試験課題の群に試験課題を加えることなく、例外処理１６０は終了する。

さらに、この代替ルールは、当然、多段式代替ルールとすることができる。言い換えれば、多段式代替ルールには、いくつかの部分代替ルールを含め、優先順位に沿って処理をすることができる。言葉を換えれば、優先順位の低い部分代替ルールは、高い優先順位の代替ルールにより結果が得られない場合まで用いられない。このように、データベース１１０の評価に使われるフィルタは、代替試験課題の探索のため、段階的に拡張および変更することができる。しかして、（高優先度の望ましい部分代替ルールによる）優先的な代替が不可能となるまでは、（低優先度の望ましさが低い部分代替ルールによる）低優先度の試験課題の代替は行わないようにすることができる。

最後に、図１に示されたフローチャートは１００は、複数の課題タイプに対して構成できる。選択された試験課題を第３ステップ１５０で選択された試験課題の群に加えた後、もしくは例外処理１６０を実行した後に、点検ステップ１８０において、さらなる課題タイプを処理するかどうかの確認が行われる。この場合、ステップ１８２において新規の課題タイプが選定され、前記の方法が繰り替えされる。処理対象の全ての課題タイプが処理されると、次いで出力ステップ１９０において、選択された試験課題が最終的に出力される。このとき、選択された試験課題を、例えば、ユーザに対し、視覚的におよび／または聴覚的におよび／または触覚的に出力することができる。さらに、試験課題を、ユーザが使用するため、印刷、またはオプションとしてデータ記憶媒体に格納することができる。このユーザに対する選択された試験課題の出力は、前述のアルゴリズム１００のシーケンスによって決められる。

課題タイプ１２０に対して使用に適した試験課題が存在しない場合、ユーザには、代替ルールに従って選択された代替試験課題が提示される。しかして、課題タイプの選定ができるだけバランスの取れた、試験課題の最適な編集が常に得られることを確実にすることができる。さらに、個別の課題タイプに対し利用可能な試験課題がもう無い場合でも、所定の数の試験課題が必ずユーザに出力されることを確かにすることができる。

しかして、本発明の方法においては、少なくとも一つの所定の代替ルールによって例外処理１６０が明確に定義されており、常に良くバランスの取れたおよび／またはユーザ適合的方途で編集された試験の自動的な生成が可能である。

図２は試験課題の例示的データベース記入事項の図解図である。例示的データベース記入事項は、その全体が２００として示されている。このデータベースは、複数の試験課題に対する記入事項を含み、図２にはそのうちの２つが示されている。ここに示されたデータベース記入事項は、例示として見るべきもので、実際の実装では個別の記入項目を省略することができる。他方では追加記入項目を加えることもできる。

データベースでは、固有の課題識別記号２１０が、例えば連続番号などの形で各試験課題に関連付けられているのが望ましい。さらに、課題タイプ識別記号２１２（例「Ａ」）が課題と関連付けられているのが望ましい。この課題タイプ識別記号２１２は、例えば、課題の型（仕分け課題、多肢選択課題、イメージ記入課題、計算課題、…など）を表すことができる。さらに、データベース記入事項には、試験課題についての難度レベル識別記号２１４を含めることができ、この記号は、望ましくは、数値の形で課題の難度を表す。さらに、データベース記入事項は、望ましくは、課題がユーザによって既に正解回答されているかどうかを表す正解済みフラグ２１６を含む。正解済みフラグは、例えば二値および／またはブール入力とすることができる。さらに、データベース記入事項には、ユーザに関連する不正解試行カウンタ２１８を含め、これにより、例えば、ユーザがある課題に対し何回、不正解または間違い結果の回答をしたかをそれぞれ表すことができる。

これらに加え、データベース記入事項には、符号化された形で、課題に対する許容試験時間および／またはかかった時間を保持する時間識別記号２２０含めることができる。最後に、データベース記入事項２００には、それぞれの試験課題に関するテキスト、または試験課題に関する他の情報（例、イメージ、音声情報、アニメーション、または他のマルチメディア情報）への参照欄２２２も含めることができ、これらテキストまたは他の情報を、もっと深みのある情報とすることができる。さらに、データベース記入事項２００に、直接入力された課題のテキストまたは少なくとも課題の見出しを格納するテキスト欄２２４も含めることができる。最後に、符号化された科目分野識別記号２２６をデータベース記入事項２００の一部とすることもできる。試験課題のデータベース記入事項２００中の情報は、データベース探索において、利用可能な課題を選択するために使うことができ、さらに、それぞれの課題の表示および評価をできるようにする。

さらに、例えば、マルチユーザ環境において、正解済みフラグ２１６および不正解試行カウンタ２１８を、複数のユーザに対する別のテーブルに個別に格納し、正解済みフラグ２１６および不正解試行カウンタ２１８が、各ユーザに関連するユーザ固有の情報を表すようにすることができる。

さらに、課題に関するデータベース記入事項２００には、数多くの追加欄を含めることもできる。しかして、データベースには、説明文およびさらなる情報への参照を含めることができる。さらに、データベース記入事項２００には、正しい解答、または受験者が課題を正解することにより得ることのできる点数などの、課題の評価に関する追加情報を含めることができる。これらの情報の全てを、課題の選択および選択後の課題の出力と、その後のユーザ入力の評価との双方に使用することができる。

図３は、全試験課題（場合により異なる課題タイプごとにいくつかのテーブルに分けられている）を含むデータベースから利用可能な試験課題を判定する本発明の方法のフローチャートを示す。本発明の方法は、その全体が３００として示されている。ここでは、データベース３１０が試験課題の一式を含み、各試験課題に対して、少なくとも一つの課題タイプと、一つの正解済みフラグと、一つの難度レベルが関連付けられていることが想定されている。第１ステップ３２０において、データベース３１０中の、正解済みフラグがセットされた試験課題はフィルタ除外される。第１ステップ３２０では、フィルタ３２４を適切に設定することによって、現在処理対象の課題タイプ（例えば、課題タイプ「Ａ」）の課題だけが検討されることを確実にする。フィルタ３２４は、所望の科目の課題だけが選択されるように、科目分野識別記号（例、科目１を表す科目分野識別記号「０ｘ０１」）を判断するようにさらに構成される。フィルタ３２４については、科目分野識別記号（例えば、科目１を表す識別記号「０ｘ０１」）を点検して所望の科目だけを選択するようにさらに構成することができる。最後に、まだユーザが正解回答していない課題だけが読み出されるように、フィルタ３２４では、正解済みフラグが「０」にセットされるのが望ましい。データベース記入事項２００の他の欄については、例えば、フィルタ選別の検討対象とせず、例えば任意の値を用いることができる（アスタリスク「*」で示す）。

試験課題の難度レベルについても検討対象とする場合は、第２ステップ３３０において、それぞれ追加フィルタ選別を適用し、難度レベルが所定の難度レベルと異なる試験課題は、除外され、および／または利用可能な課題の群に加えられないようにすることができる。なお、第２ステップ３３０において、難度レベルの検討は任意的なものである。難度レベルの検討が意図されている場合は、第１ステップ３２０と第２ステップ３３０とを組合わせた方法で遂行することができる。フィルタ選別ステップ３２０、３３０に続いて、まだ正解回答されていない、利用可能な試験課題の群が得られる。この試験課題の群は、例えば課題識別記号２１０のリストによって表すことができる。同様に、正解されていない利用可能な試験課題の群には、データベース記入事項２００のコピーを含めることもできる。なお、利用可能な試験課題の群は、さらなる処理過程での検討において、利用可能として類別される試験課題群であることが確認できるならば、必ずしも明示で提示する必要はない。

図４Ａと４Ｂとは、本発明の第２実施形態による試験を編集する本発明の方法のフローチャートの第１部分と第２部分とを示す。

図４Ａと４Ｂとは、課題タイプに対する試験課題を選択する際に、例外処理を可能にする方法を示す。本発明の試験編集に関連して、異なる課題タイプに対して、図４Ａおよび４Ｂを数回通すことができる。さらに、所定の課題タイプに対し、一つだけの課題または所定の数の課題を探索することができ、この所定の数は、異なった課題タイプに対し変更することができる。

図４Ａと４Ｂとに示される階層的例外処理による試験の編集方法は、４００Ａと４００Ｂとして示されている。この図の第１ステップ４１０において、所定の数のまだ未正解としてマークされた所定の難度レベルの課題を、データベース中で識別するための試行が行われる。

ステップ４１２において、所定の数の課題（望ましくは正確に一つの課題）が成功裏に識別されたと判定された場合、それら識別された課題は、ステップ４１４において、選択された課題の群に加えられる。ステップ４１４に続いて、示された方法を、全ての処理される課題タイプが作業完了するまで、別の課題タイプに対して繰り返すことができる。識別された課題を選択された課題の群に加えることによって、ユーザに出力する試験がかくして生成される。

しかしながら、ステップ４１２において、所定の課題タイプおよび所定の難度レベルに対し、データベース中に所定の数の利用可能な試験課題がない（例えば、少なくとも一つの課題もない）と判定された場合、ステップ４２０において、許容代替課題タイプの、またはデータベース中のいくつかの許容代替課題タイプの群からの、少なくとも一つの代替試験課題を識別する試行が行われる。この場合、データベース中に存在する全ての課題タイプを許容代替課題タイプとして使うことができ、または、代替ルールを使って、所定の課題タイプに対し一つ以上の代替課題タイプを選定することもできる。代替課題タイプの選択については、後記で図５Ａ、５Ｂ、６Ａ、および６Ｂに関連してさらなる詳細を別途説明する。

代替課題タイプの、またはいくつかの許容代替課題タイプ群からの一つ以上の試験課題が識別できた場合、識別された代替試験課題は、次いで、ステップ４１４において、選択された試験課題の群に加えられることになり、全ての処理される課題タイプの作業が完了するまで、処理される課題タイプの群からのさらなる課題タイプに対し、このアルゴリズムの実行が繰り返される。しかしながら、ステップ４２２において、ステップ４２０で識別された代替課題タイプまたは識別された代替課題タイプの群に対し、まだ未正解とマークされた所定の難度レベルの利用可能な代替試験課題がデータベース中にない（および／または、十分な数の利用可能な代替試験課題がない）場合、ステップ４２４において、データベース中の、許容代替難度レベルを有する代替試験課題を識別するための試行が行われる。言い換えれば、所定の難度レベルから許容代替難度レベルが導き出される。これは、例えば、所定の難度レベルに対し利用可能な許容代替試験課題がデータベース中にない場合、所定のものとは違った難度レベルの代替試験課題を識別の対象とすると考えることができる。この場合、例えば、代替難度レベルを、難度レベル段階として与えられた逸脱度内で、所定の公称難度レベルより高くすることができると決めておくことができよう。この、所定の公称難度レベルおよび／または代替難度レベルには、難度レベルのある間隔を含めることができる。さらに、ステップ４２４において、難度のいくつかのレベル（または難度レベルのそれぞれの間隔）を連続的に点検して、データベース中の許容代替難度レベルを有する代替試験課題を識別することができる。

さらに、ステップ４２４において、代替試験課題を識別するため、データベース中の所定の課題タイプの試験課題だけ、または、一つ以上の追加代替課題タイプの試験課題を取り上げることができる。

従って、ステップ４３０において、所定の課題タイプおよび代替難度レベルを有する代替試験課題、または（オプションとして）許容代替課題タイプおよび許容代替難度レベルを有する代替試験課題を、ステップ４２４で識別できたと判定された場合、識別された試験課題は、次いで、ステップ４１４において選択された課題の群に加えられる。この場合、ユーザに対して代替難度レベルの試験課題が使われたことを示すように、ユーザに対してメッセージを出力することができる。但し、個別の出力についてはオプションとすべきものである。さらに、代替難度レベルを有する個別の代替課題タイプをユーザに出力する際に、出力を試験の編集中に直接に行うか、あるいは、後に行うことができる。

また一方、代替難度レベルと、所定の課題タイプまたは場合により許容代替課題タイプとを有する試験課題が識別されない場合は、ステップ４３４において、低減された数の試験だけが行われるとのメッセージがユーザに対し出力される。これに続き、ステップ４３８においてユーザからの入力が読み取られる。ステップ４３８において読み取られたユーザの入力が、低減された試験に合意していることを示している場合、必要に応じ、使われる他の課題タイプの試験課題が選択され、選択された課題の群に加えられ、前記と同じ方法が適用されることになる。処理対象の全課題タイプに対する試験課題および／または代替試験課題が選択された課題の群に加えられたならば、選択された課題の群からの課題を有する低減された試験が、ステップ４４６において最終的に実施される。

また一方、ステップ４３８において読み取られたユーザ入力が、ユーザは低減された試験に合意しないことを示している場合、ステップ４５０において、処理中の試験編集は中止される。これに続いて、ユーザは、例えば、異なる科目分野を選択するか、あるいは所定の待ち時間が経過した後に試験編集を再実施することができる。新規の試験課題が試験課題のデータベースに加えられ、待ち時間の経過後には十分な試験課題が利用可能になることが想定されている場合、好都合に後者のやり方を取ることができる。待ち時間経過後の試験編集の再実施については、例えばタイミング手段によって判定することができ、これにより、十分な試験課題が利用可能になればすぐ完全な試験を遂行することができる。

図５Ａは、代替課題タイプ・テーブルを用い、試験課題データベース中の代替課題タイプの代替試験課題を識別する、本発明の方法のフローチャートを示す。図５Ａに図示された方法はその全体が５００として示されている。方法５００を実施するため、例えば図５Ｂに示されるように、代替課題タイプ・テーブル（課題タイプ代替テーブルとも称する）が存在すると想定することができる。本発明の課題タイプ代替テーブルは、各課題タイプに対して、一つ以上の代替課題タイプを表す。この場合、テーブル中の代替課題タイプの配列は、典型的には、代替課題タイプの点検および／または代替課題タイプの代替試験課題の探索における優先順位を定める。なお、ある特定の課題タイプに対して代替課題タイプがないこともあり得る。

しかして、課題タイプ代替テーブルによって、所定の課題タイプに対し、他の課題タイプを全く関連付けないか、あるいは、正確に一つの課題タイプ、または複数の課題タイプを関連付けることができ、これら代替課題タイプには、通常、一連のおよび／または異なった優先度のものが含まれる。課題タイプ代替テーブルは、一般的なテーブルの形で作成できるが、例えば、リンク・リストとしても実現できる。

なお、示された方法５００は、例えば、方法４００Ａ、４００Ｂのステップ４２０および４２２を表している。

しかして、方法５００は、所定の課題タイプで、未正解がマークされた所定の難度レベルの課題が、データベース中に所定の数識別されない場合に実施される。この場合、第１ステップ５１０において、代替課題タイプ・テーブル（または、課題タイプ代替テーブル）の中で第１代替課題タイプが探索される。代替課題タイプ・テーブルの中に第１課題タイプが見付かった場合は、第１代替課題タイプが対象の代替課題タイプとして取り上げられ、第２ステップ５２０において、第１代替課題タイプの代替試験課題が試験課題のデータベース中で探索される。第３ステップ５２４において、第１代替課題タイプの代替試験課題が見付かったと判定された場合、代替試験課題を使うことができ、すなわち、例えば、第４ステップ５２８において、選択された課題の群に加えられる。また一方、第１代替課題タイプの代替試験課題が見付からない場合、第５ステップ５３２において、代替課題タイプ・テーブルにさらなる代替課題タイプが存在するかどうかの点検が行われる。この場合、代替課題タイプ・テーブルからさらなる代替課題タイプが、第６ステップ５３６において対象の代替課題タイプとして取り上げられ、前記のやり方で、新規対象の代替課題タイプに対して前記の方法が繰り返される。前記同様、新規対象の代替課題タイプの代替試験課題が、試験課題データベースにおいて探索される。

また一方、ステップ５３２において、代替課題タイプ・テーブル中に所定の課題タイプに対するさらなる代替課題タイプが存在しないことが確認された場合は、ステップ５４０において前述の方法は中止され、望ましくは、許容代替課題タイプの代替試験課題が見付からなかったことが上位のアルゴリズムに連絡される。

言い換えれば、本発明の方法５００では、代替課題タイプ・テーブルに格納された一つ以上の代替課題タイプに対し、代替課題タイプ中に利用可能な代替試験課題があるかどうかの点検が行われる。所定の課題タイプに対し可能性のある代替課題タイプが処理される順番は、代替課題タイプ・テーブルによって決められる。

なお、所定の課題タイプに対し、代替課題タイプがないことも、一つの代替課題タイプまたはいくつかの代替課題タイプがあることもある。さらに、一つの課題タイプに対し、他の全ての課題タイプを代替課題タイプとして使えるようにすることができる。従って、状況に応じ、課題タイプ代替テーブルをいろいろな方法で符号化することができる。例えば、所定のカラム数を有する定型的なテーブルを用いることができる。また一方、適切なものとして、リンク・リストを代替課題タイプ・テーブルの格納に用いることができる。それはそれとして、代替課題タイプ・テーブルを（「所定の課題タイプを除く全て」といった）別の形の表現で表すこともできる。代替課題タイプ・テーブルについては、違ったやり方で統計的に設定し、または新規の課題タイプが加わったとき、自動的に更新されるようにすることができる。

図５Ｂは、例示的な代替課題タイプ・テーブル（課題タイプ代替テーブルとも称する）を示す。図５の課題タイプ代替テーブルは、その全体が５７０として示されている。課題タイプは、前記と同様、課題タイプ識別記号５７２（「Ａ」、「Ｂ」、「Ｃ」、…など）で表されている。一つの課題タイプ（課題タイプ「Ａ」など）に対し、いくつかの代替課題タイプ５７４，５７６，５７８（課題タイプ「Ｂ」および「Ｃ」など）が優先順位に従ってソートされ代替課題タイプ・テーブルに入力される。代替課題タイプ・テーブルの全ての欄に入力する必要がないことは言うまでもない。示された事例において、課題タイプ「Ａ」は、望ましくは課題タイプ「Ｂ」により代替される。課題タイプ「Ｂ」に対する代替試験課題がない場合、さらに、課題タイプ「Ａ」を課題タイプ「Ｃ」で代替する試行が行われる。同様に、課題タイプ「Ｂ」は、望ましくは課題タイプ「Ａ」により代替され、課題タイプ「Ａ」による代替ができない場合は課題タイプ「Ｃ」で代替される。課題タイプ「Ｄ」は課題タイプ「Ｅ」だけで代替することができ、逆もまた同様である。課題タイプ「Ｆ」に対しては、例示の代替課題タイプ・テーブル５７０によれば許容代替課題タイプはない。すなわち、課題タイプ「Ｆ」は、別の課題タイプの代替課題で置換えることはできない。

図６Ａは、さらに、所定の課題タイプに対する許容代替課題タイプを識別する、本発明の方法のフローチャートを示す。図６Ａに示された方法は、その全体が６００として示されている。ここで、課題タイプは課題タイプ特徴ベクトルで表現される、すなわち各課題タイプは、ある課題タイプ特徴ベクトルに関連付けられていると想定する。さらに、相異なる課題タイプの２つの所定の課題タイプ特徴ベクトルの間で、その違いを数値指標で表現する方法があると想定する。ここで、課題タイプ特徴ベクトルの個別の特徴を異なるように重み付けすることができる。さらに、課題タイプ特徴ベクトルをスカラー（すなわち、一つだけの入力を有するベクトル量）とすることもできる。望ましくは、数値的に表現可能ないくつかの基準を表す課題タイプ特徴ベクトルが、電子計算機を使った処理に良く適している。距離関数は、望ましくは、２つの課題タイプ特徴ベクトルの間の差異を、数値または離散的に表現可能な距離情報の形で提示することができ、距離関数の計算については、例えば、数学的ノルムを求めることによって行うことができよう。

本発明の方法６００によれば、（データベース中に利用可能な試験課題のない）代替される所定の課題タイプに関連する課題タイプ特徴ベクトルが判定される。同ベクトルを、例えば、テーブルから取得し、あるいはデータベースに格納された課題タイプに関する情報から抽出することができる。次いで、候補となる代替課題タイプに対し、さらなる課題タイプ特徴ベクトルが、同じ様に（望ましくは同様にテーブルから）選定される。これにより、ステップ６１０において、代替される課題タイプの課題タイプ特徴ベクトルと候補となる代替課題タイプの課題タイプ特徴ベクトルとの間の差異に対する数値指標が算定される。さらに、ステップ６２０において、代替される課題タイプの課題タイプ特徴ベクトルと候補となる代替課題タイプの課題タイプ特徴ベクトルとの間の差異が所定の閾値以下であると判定されれば、代替候補課題タイプは、ステップ６３０において、可能性ある課題タイプの群に加えられる。

この後、ステップ６４０において、利用可能なさらなる候補となる代替課題タイプがあるかどうかが確認される。ある場合には、前述の方法が繰り返されることになる。すなわち、代替対象の課題タイプの課題タイプ特徴ベクトルと、さらなる候補となる代替課題タイプの課題タイプ特徴ベクトルとの間の差異に対する数値指標が再度算定される。また一方、ステップ６４０において、利用可能なさらなる候補となる代替課題タイプがないことが分かれば、可能性ある課題タイプの群に加えられている課題タイプを使って、代替試験課題が識別される。

なお、可能性ある代替課題タイプについては、例えば、その課題タイプ特徴ベクトルと所定の代替される課題タイプの課題タイプ特徴ベクトルとの差異が最小となる、可能性ある代替課題タイプが、最高の優先度で使われ、課題タイプ特徴ベクトルについて、代替される課題タイプの課題とより大きな差異を有する他の可能性ある代替課題タイプは、より低い優先度で使われるように、追加してシーケンスに加えることができる。さらに、可能性ある代替課題タイプを、例えば、テーブルまたはリンク・リストに入力することができる。

さらに、図６Ｂは、各種課題タイプに対する課題タイプ特徴ベクトルのテーブルの例示的な図解図を示す。この特定の例において、所定の課題タイプに対する課題タイプ特徴ベクトルは、例えば、課題タイプ識別記号６７０、課題タイプに取り組むため意図された作業時間を表す作業時間識別記号６７４、および、いくつかの要求条件分類記号（ｄｅｍａｎｄ ｃｌａｓｓｆｉｅｒｓ）６７８、６８２、６８６を含む。

要求分類記号６７８、６８２、６８６は、課題タイプがユーザに課すいろいろな要求のカテゴリを、符号化された形または数値の形で表現する。しかして、これにより、例えば、知識に関し、伝達能力に関し、および／または集中力に関し、課題タイプがユーザに対してどの位高度な要求を課しているかを表すことができる。なお、課題タイプの特質を表現する単一の特徴（作業時間だけといった）または特徴群の任意の組合わせを使って課題タイプ特徴ベクトルを生成することができる。課題タイプ特徴ベクトルに基き、数学的におよび／またはアルゴリズム的に定義された距離の指標を確認することによって、どの課題タイプを他のどの課題タイプに代替できるかを判断することができる。一般に、相異なる課題タイプの課題タイプ特徴ベクトルの間の差異が十分に小さければ（すなわち、所定の最大差異よりも小さい）、それらの間の代替は可能である。要求分類記号の要求のカテゴリには、例えば、コミュニケーション能力に関する、あるいは、命題論理および／または抽象論理の使用に関する要求をさらに含めることができる。

図７は、本発明の第３実施形態による、代替課題タイプを識別する方法のフローチャートを示す。図７に図示された方法はその全体が７００として示されている。ここでは、課題タイプおよび難度レベルが与えられ、与えられた課題タイプおよび難度レベルに対し、試験課題のデータベース中に利用可能な試験課題がない場合が想定されている。しかして、第１ステップ７１０において、所定の課題タイプに対する許容代替課題タイプが選定され、このために例えば代替課題タイプ・テーブル７１２を使用することができる。さらなるステップ７２０において、識別された許容代替課題タイプで、所定の難度レベルの代替試験課題がデータベース中にあるかどうかが点検される。ある場合には、代替課題タイプで所定の難度レベルの代替試験課題は使用に供され、選択された課題の群に加えられる。

許容代替課題タイプで所定の難度レベルの代替試験課題がデータベース中にない場合、ステップ７３０において、代替難度レベル・ルール７３２に従って、所定の難度レベルに対する許容代替難度レベルが確認される。その後、ステップ７４０において、許容代替難度レベルのためのデータベース中に代替試験課題があるかどうか点検が行われ、この点検は、所定の課題タイプだけ、あるいは許容代替課題タイプの一群に対して行われる。許容代替難度レベルのためのデータベース中に代替試験課題があれば、識別された代替試験課題は使用に供され、選択された課題の群に加えられる。また一方、許容代替難度レベルのためのデータベース中に代替試験課題がない場合は、追加的エラー処理７５０が行われることになる。追加的エラー処理７５０には、例えば、ユーザに対する出力とユーザが短縮された試験の実施に合意するかどうかの質問とを含めることができよう。なお、許容代替難度レベルの代替試験課題が使われる場合、ユーザに対するメッセージを出力してその旨をユーザに通知することができる。

図８は、本発明の第４実施形態による、本発明の試験実施方法のフローチャートを示す。図８に図示された方法は、その全体が８００として示され、試験の遂行を表している。

この図によれば、第１ステップ８１０において、難度レベルが読み込まれる。さらに、オプションとして、科目分野も読み込むことができる。但し、例えば、電子学習システムで一つだけの難度レベルが利用可能な場合は、難度レベルの読み込みを省略することができる。

次いで、第２ステップ８２０において、試験課題のデータベースを使って試験が編集される。第２ステップ８２０には、例えば、図１による方法１００、図３による方法３００、図４Ａ、４Ｂによる方法４００Ａ、４００Ｂ、図５Ａによる方法５００、図６Ａによる方法６００、および／または図７による方法７００を含めることができる。

すなわち、第２ステップ８２０では、データベースを用いて試験が編集され、対象となるデータベースの課題タイプに対して、適切な難度レベルでユーザにまだ正解回答されていない利用可能な試験課題がない場合は、望ましくは例外処理が実施される。

第３ステップ８３０において、試験の編集が成功したかどうかのさらなる判定が行われる。成功していない場合には、本発明の方法は中止されることになる。また一方、試験の編集が成功した場合には、第４ステップ８４０において試験が実施されることになる。少なくとも一つの試験課題について、課題の設定が、例えば、視覚的なおよび／または聴覚的な形式で出力される。望ましくは、試験課題の出力は、視覚的テキスト出力、画像、映像、動画、および／またはＶＲＭＬワールド（ＶＲＭＬ＝バーチャル・リアリティ・モデリング・ランゲージ：ヴァーマル）を含み、出力される視覚化資料はデータベースに格納される。さらに、ユーザに聴覚的情報も出力するのが望ましい。しかして、これらデータベースを用いて、相互参照しながら、試験課題の出力のための各種マルチメディア・ベース情報源をそれぞれ表現しまたは管理する。ステップ８２０において、試験課題の編集は、各種マルチメディア・ベースのコンテンツを出力するための、上位シーケンス制御を実施する。こうして、ステップ８２０において、少なくとも一つの代替ルールにより、試験課題が選択され、しかして人間とマシンとの間のマルチメディア・ベースのコミュニケーションのシーケンスが決められて、マルチメディア・ベースのコンテンツの良くバランスの取れた出力が得られるように試験が編集される。

課題の出力の後に、ユーザからの回答が読み込まれる。読み込まれた回答は、望ましくは、読み込み回答を、試験課題データベースからの回答比較情報と比較して評価される。また一方、読み込まれた回答を、例えば、指導教授を関与させたり、または読み込み回答をニューラル・ネットに入力するなど、別のやり方で評価することもできる。対象の試験課題から見て考えられる読み込み回答が高度に複雑で、従っていくつもの正しい回答があり得る場合には、この方法が推奨される。読み込み回答の評価においては、読み込み回答と、データベースに格納された試験課題に関連する比較用回答との間の差異を判断し、その差異が、所定の最大許容差異よりも小さい場合には、読み込み回答を正解として類別することができる。さらに、読み込み回答が、データベース中の試験課題に関連する比較用回答と合致する場合だけこれを正解とするよう設定することもできる。これについては、読み取り回答と比較用回答との間の差異を判断するため、２つの入力の間の差異を判断する任意の方法を用いることができる。許容の間隔を、例えば、数値入力に対して適用することができる。さらに、いくつかの可能な回答がある質問については、いくつかの可能な回答の一つが欠けていても許容し、入力回答を正解と見なすことができる。読み込み回答の評価に基き、ユーザが試験課題を正解したかどうかに関する符号化情報が生成される。

なお、課題の設定の出力、回答の読み込み、読み込み回答の評価、および符号化情報の生成は、ステップ８２０において編集された試験の一部である複数の試験課題に対し繰り返し実施することができる。

ユーザが試験課題を正解したがどうかについての情報を包含する符号化情報は、次いで（一つの試験課題の実施後にすぐ、あるいはある試験に関する全ての試験課題の実施後に）データベースに格納することができる。符号化情報は、何人かのユーザが電子試験システムを使用できる場合は、ユーザに関連付けてデータベースに格納することができる。符号化情報の格納はステップ８５０において実施される。

次いで、さらなるステップ８６０において、符号化情報を使って試験結果を生成することができる。試験結果には、例えば、ユーザがいくつの課題を正解したかについての情報を含めることができる。試験結果には、ユーザが試験への取り組みにどの位長くかかったかの時間情報、受験者がどのような弱点を有するか、および／またはそれらの弱点を補うためどのような科目に優先的に取り組むべきかに関する記述情報をさらに包含させることができる。時間情報は、例えば、タイマーを試験実施のための装置の一部とし、これを使って確認することができる。すなわち、試験の実施方法には、電子タイマーを始動し、編集された試験の最後の課題が完了したとき電子タイマーを読み出す工程を含めることができる。

試験結果は、終了ステップ８７０において、ユーザに対し視覚的および／または聴覚的に、または印刷出力の形でさらに出力することができる。

しかして、試験を実施する本発明の方法８００は、方法を繰り返し実施する場合において、既に正解済みの試験課題が繰り返し使われないよう機能することができる。その理由は、ステップ８２０の試験の編集において、データベースへのアクセスが行われ、データベースは、他の情報に加え、ユーザが試験課題を既に正解しているかどうかについての情報を含んでいるからである。また一方、ステップ８５０において、読み取られたユーザの回答の評価からの符号化情報がデータベースに格納され、情報はユーザが試験課題を正解したかどうかの情報を担持している。しかして、方法８００の繰り返し実施の都度、読み込まれたユーザの回答に基づいて試験の編集が変更される。結果として、例えば、同じ試験が２回提示されないといったユーザ要求事項と合致する試験システムが生成される。従来の試験編集方法と対照的に、本発明の方法８００では、ある一つだけの課題タイプの全ての試験課題を正解してしまうともう試験が実施できないという問題が生じない。すなわち、データベースを使い例外処理を使う本発明の試験編集法によって、もはや利用可能な試験課題がなくなった課題タイプに対し、代替となる試験課題を識別することができる。しかして、所定の代替ルールに従って代替試験課題を選択し、良くバランスの取れた試験をさらに得ることができる。

図９は、本発明の第５実施形態による、試験を実施する本発明の方法のフローチャートを示す。この図９は、動的な試験編集の考え方を表す。図９に図示された方法はその全体が９００として示されており、第１ステップ９１０には、課題分野の読み込み、および難度レベルの読み込みが含まれている。

任意的に、事前に設定がされていない場合、いくつかの実施される試験課題をさらに読み込むことができる。解答される試験課題の数に関して受信した情報から、取り組まれる対象の試験課題の数をさらに導き出すことができる。しかして、各実施機関は、例えば、試験あたりの試験課題の数および難度レベルを設定することができる。これにより、第１の会社における（または第１の会社のための）試験実施においては難度レベル１から５までの２０の課題の試験を編集し、第２の会社においては３０の試験課題から成る試験を編集することができる。

しかして、取り組まれる対象の試験課題の数と難度レベルとを受信する手段は、本発明の手段を、いろいろな実施機関における（および／またはいろいろな会社における）種々のアプリケーションにそのまま適用することを可能にするので、場合によっては付加価値を提供する。試験の状況との関連において、このことは特に利点がある。

読み込まれた科目分野および読み込まれた難度レベルに基いて、上出来な学習プロセスの試験が第２ステップ９２０において用意され、まだ正解完了していない試験課題の一群が第３ステップ９３０において提供される。第３ステップ９３０において提供された未正解の課題に基き、第４ステップ９４０において、可能な場合、課題タイプごとに一つの課題が選択される。これが可能な場合（肯定または「ｙｅｓ」）、第５ステップ９４２においてそれぞれの課題は試験に組み込まれることになる。また一方、第４ステップ９４０においてタイプごとに一つの課題が選択できない場合（否定または「ｎｏ」）、第６ステップ９５０において他の（代替）課題タイプの代替課題を選択する試行が行われることになる。これが可能な場合（肯定）、第５ステップ９４２において代替課題は同様に試験に組み込まれる。第６ステップ９５０において、別の（代替）課題タイプの代替試験課題を見付けることができない場合、第７ステップ９６０において別の（代替）難度レベルを有する代替試験課題を識別する試みが行われる。第７ステップ９６０において、データベース中に別の（代替）難度レベルを有する試験課題が識別された場合、ユーザに対して照会が出力され、識別された代替試験課題は、第５ステップ９４２において試験に組み込まれることになる。第７ステップ９６０において、別の難度の代替試験課題を見出すことができない（否定）場合、第８ステップ９７０においてユーザに対する出力が行われる。ユーザがさらに入力を読み込み、その入力は、内容に応じて、減らした数の試験課題による試験の遂行を承認（肯定）しているか、あるいは拒否（否定）しているかが判定される。入力内容が承認と判定されれば、短縮された試験が編集されることになる。また一方、第８ステップ９７０において、ユーザが短縮された試験に合意しない場合（否定）は、ユーザに対し、別の科目分野を選択するよう要請する出力が行われる。ユーザの入力に応じ、ステップ９１０において、再度ユーザの入力が読み込まれ、科目分野を選択することが可能になる。

これらにより、本発明の自己評価試験環境は、既知の教授／学習試験システムと対照的に、上出来な学習プロセスの試験に対する幅広い範囲の課題タイプを含む。ここで、課題タイプを、閉ざされた課題タイプ、半開放的な課題タイプ、および開放的な課題タイプとすることができる。閉ざされた課題タイプには、例えば、多肢選択式課題、○×式課題、画像選択、ホットスポット試験、再配列課題、および割付課題が含まれる。半開放的課題タイプには、例えば、画像ラベリングおよび短文記入を含めることができる。最後に、開放的課題には、例えば、スケッチの作成および長文の記述が含まれる。各課題タイプは、望ましくは、課題データベース（試験課題のデータベース）の別々のテーブルに、課題テキスト、解答参照、科目参照、関連科目、および正解に隣り合わせて格納され、回答仕様も明確にし、および／またはデータベース中に格納することができる。

異なる課題タイプの組合わせは、利点を組合わせると同時に不利点を補い合う。さらに、多様な課題タイプは、いろいろな知的認識の表現の形成および検証を支援する。早期の、定期的で、個別に調整可能な、学習進歩達成のモニタリングの要求に応じ、自己評価試験を実施する時を何時にでも決められるように、自己評価を構成することができる。課題を任意に選択可能な実施シーケンスで遂行することができ、さらに任意に表示し、および／または編集することができる。さらに、要求される自己評価のコンテンツを、自動的に前選択し、またはユーザが任意で選択することができる。さらに、３段階の難度レベル（初心者、上級者、および熟練者モード）を選択できることが望ましい。加えて、試験実施の間に解答参照資料を提示することができる。さらに、時間制限をしないことが望ましく、但し、制限時間の超過に関する表示を出力するのが望ましい。加えて、要求される取組み時間を表示することができる。さらに、一回の試験に対し約１５の課題を用い、学習進歩達成の実感を与えると同時に、学習者または受験者の集中力に過度な負担をかけないようにするのが望ましい。いろいろな難度レベルの約２０の課題を使う随意の試験モードにおいて、関連するモジュールおよび／または科目分野をさらに自動的に選択することができる。加えて、望ましくは、既に実施された課題はマークされる。ユーザに対し、自己評価の操作法および必要なユーザ入力についての参照を出力することによって、効果的な援助を確かにすることができよう。これにより、課題タイプの多様性の下での認知的な過剰緊張が避けられる。

本発明による個別の試験の動的な編集には次のような利点がある。
− 課題の再使用
− いくつかの科目分野（モジュール）に亘る試験の多様性
− 作成者に対する自由度（課題の数、編集など）。

本発明の動的なアプローチとの関連において、課題の提示および／または選択で繰り返しを容認する問題が生じる可能性または既に存在することがある。適切なアプローチでは、誤解答された課題だけを再提示するよう決定される。このため、試験に対する潜在データを指定する追加のメタデータが格納される。
− 課題の科目分野および難度レベル、および
− それぞれのユーザに対する学習進歩達成の表示。

従って、動的試験編集の本発明のアルゴリズムは、各課題に対するユーザの学習進歩達成度を検証する。まず、メタデータを考慮しながら、まだ正解されていない課題の群から、課題タイプごとに一つの課題がランダムに選択され、良くバランスの取れた課題タイプのミックスが得られる。ある課題タイプに対する適切な課題が見付かると、前述の方法が実行され、ユーザには、例えば、個別の出力により個別の方法ステップの報告が行われ、個別の入力によりユーザの承認をさらに読み込むことができる。

さらに、自己評価試験の評価も動的に実施される。これに関連して、フィードバックにより２つのタスクが遂行される。
− 知識の是正および補足、および
− 長所と短所との表示。

これにより、受験者または学習者は、望ましくは、以下の情報を提供される。
− 課題テキスト一式および学習者の回答
− 回答の評価および正解回答
− かかった時間および正解課題の数
− 習得できていない科目のハイパーテキスト参照。ここで、コミュニケーション環境を介してグループの分散知識へのアクセスを使った不十分な知識のカットバックも行われる。

なお、前述した方法は、個別装置によっても実行することができる。さらに状況に応じ、本発明の方法をハードウエアまたはソフトウエアに実装することができる。この実装を、フレキシブルディスク、ＣＤ、ＤＶＤ、またはフラッシュメモリ媒体などの電子的に可読な制御信号を備えたデジタル記憶媒体に行い、プログラム可能なコンピュータ・システムと協働させ、個別の方法を実行させることができる。一般に、本発明は、さらに、マシン可読の担体に格納されたコンピュータ・プログラム製品であって、コンピュータで実行されると本発明の方法を実施するプログラム・コードを備えたコンピュータ・プログラム製品から成る。言い換えれば、本発明は、従って、コンピュータ・プログラムがコンピュータで実行されるとこの方法を実施するプログラム・コードを備えるコンピュータ・プログラムとして実現することができる。

さらに、本発明は、一つ以上の関連クライアント・コンピュータを有するサーバ・コンピュータで実行することができる。クライアント・コンピュータでは、サーバからデータを検索するための専用アプリケーション・プログラムを実行することができる。他方では、ウエブ・ブラウザなどの、マルチメディア・ベースのコンテンツを表現するための標準プログラムを、クライアント・コンピュータ上で実行することができる。従って、出力される情報の提供は、クライアント・コンピュータあるいはサブ・コンピュータのいずれにおいても行うことができる。このような本発明の実現は、サーバ設計またはクライアント−サーバ設計と見なすことができる。

試験を編集し、試験を実施する本発明の方法は、従って、データベース中にある特定の課題タイプの十分な試験課題がない場合または全く無い場合においても、最適に良くバランスの取れた試験を編集できるということに利点がある。

本発明の第１実施形態による、試験を編集する本発明の方法のフローチャートである。 試験課題の例示的データベース入力の図解図である。 利用可能な試験課題を判断する本発明の方法のフローチャートである。 本発明の第２実施形態による、試験を編集する本発明の方法のフローチャートの第１部分である。 本発明の第２実施形態による、試験を編集する本発明の方法のフローチャートの第２部分である。 代替試験課題テーブルを用い、試験課題データベース中の代替試験課題を識別する本発明の方法のフローチャートである。 代替試験課題テーブルの図解図である。 許容代替課題タイプを識別する本発明の方法のフローチャートである。 課題タイプ特徴ベクトルの図解図である。 本発明の第３実施形態による、代替課題タイプを識別する本発明の方法のフローチャートである。 本発明の第４実施形態による、試験を実施する本発明の方法のフローチャートである。 本発明の第５実施形態による、試験を実施する本発明の方法のフローチャートである。

Claims (29)

1. 試験を編集する装置（１００；４００ａ、４００ｂ；７００）であって、
   複数の試験課題を格納しており、各試験課題は複数の課題タイプのうちのある課題タイプと関連しているデータベース（１１０）と、
   前記データベース（１１０）から試験課題を選択し、試験に対する選択された試験課題の群を得る手段とを含み、
   前記試験課題を選択する手段は、
   前記課題タイプに対する利用可能な試験課題が前記データベース（１１０）中にある場合、前記複数の課題タイプのうちのある課題タイプに対して、前記データベース（１１０）から少なくとも一つの試験課題を選択し、前記選択された試験課題を選択された試験課題の群に加える（１５０）手段（１４０）と、
   前記データベース（１１０）中に利用可能な試験課題のない複数の課題タイプからの課題タイプに対し、所定の代替ルールに従って、データベース（１１０）中で代替試験課題を探索し（１６４）、本発明のルールを満たす試験課題が前記データベース中にある場合は、同課題を選択された試験課題の群に加える（１７４）よう構成された例外処理ロジック（１６０；４２０、４２２、４２４、４３０、４３４、４３８、４４２、４４６、４５０）とを含み、
   さらに、前記試験の選択された試験課題をユーザに出力する（１９０）手段を含む、装置。
2. 試験を編集する前記装置は、前記データベース（１１０）から少なくとも一つの試験課題を選択する手段（１３０、１４０）が、可用性制御（３００）によってユーザが既に正解済みと識別された試験課題を、利用可能として認識しないことを確実にするよう構成された可用性制御手段（３００）をさらに含む、請求項１に記載の装置（１００；４００ａ、４００ｂ；７００）。
3. 前記可用性制御手段（３００）は、前記可用性制御（３００）により前記ユーザがある特定の試験課題を正解済みであると認識された場合、前記ユーザが前記特定の試験課題を正解済みであることを示すユーザ関連情報を前記データベースに加えるよう構成される、請求項２に記載の装置（１００；４００ａ、４００ｂ；７００）。
4. 前記可用性制御手段（３００）は、前記可用性制御により前記ユーザがある特定の試験課題を正解済みであると認識された場合、前記特定の試験課題を前記データベースから削除するよう構成される、請求項２に記載の装置（１００；４００ａ、４００ｂ；７００）。
5. 公称難度レベルを受信する手段をさらに含み、各試験課題はある難度レベルにさらに関連付けられ、前記試験を編集する装置は難度制御手段（３３０）をさらに含み、前記難度制御手段は、前記データベース（１１０）から少なくとも一つの試験課題を選択する前記手段（１３０、１４０）が、関連する難度レベルが前記公称難度レベルから最大でも所定の難度レベル逸脱内の試験課題だけを利用可能として認識することを確実にするよう構成される、請求項１ないし請求項４のいずれかに記載の装置（１００；４００ａ、４００ｂ；７００）。
6. 前記代替ルールは、前記例外処理ロジック（１６０；４２０、４２２、４２４、４３０、４３４、４３８、４４２、４４６、４５０）に対し、前記データベース（１１０）中に利用可能な試験課題のない前記複数の課題タイプからの課題タイプに対して代替課題タイプを選定し、前記データベース（１１０）中の前記代替課題タイプを有する代替試験課題を探索し（１６４；４２０）、探索された課題を選択された課題の群に加える（１７２；４１４）ことを指示するよう構成される、請求項１ないし請求項５のいずれかに記載の装置（１００；４００ａ、４００ｂ；７００）。
7. 前記例外処理手段は、前記データベース（１１０）中に利用可能な試験課題のない課題タイプに対し、課題タイプ代替テーブル（５７０；７１２）にアクセス（５１０；７１０）して前記代替課題タイプを選定するよう構成される、請求項６に記載の装置（１００；４００ａ、４００ｂ；７００）。
8. 前記複数の課題タイプの各課題タイプは、それと関連する課題タイプの特徴を表現する課題タイプ特徴ベクトル（６７０）を有し、前記例外処理手段は、前記データベース中に利用可能な試験課題のない課題タイプに対し、前記データベース中に利用可能な試験課題のない課題タイプの課題タイプ特徴ベクトル（６７０）と代替課題タイプのものとの違いができるだけ小さくなるように、代替課題タイプを選定するよう構成される、請求項６に記載の装置。
9. 各試験課題は、それと関連する難度レベルを有し、前記装置は公称難度レベルを受信する手段をさらに含み、前記代替ルールは、前記例外処理ロジック（４００ａ、４００ｂ）に対し、前記データベース中に利用可能な前記公称難度レベルの試験課題がない前記複数の課題タイプからの課題タイプに対し、前記公称難度レベルに基き代替難度レベルを確認して、最大でも所定の難度レベル逸脱内の逸脱度の前記代替難度レベルの代替試験課題を探索（４２４）し、前記代替試験課題を選択された課題の群に加えることを指示するようさらに構成される、請求項１ないし請求項８のいずれかに記載の装置。
10. 前記例外処理ロジック（４００ａ、４００ｂ）は、前記代替難度レベルの使用に関する情報を含むメッセージを前記ユーザに出力するようさらに構成される、請求項９に記載の装置。
11. 前記代替ルールは、前記例外処理ロジックに対し、代替課題タイプで前記公称難度レベルの利用可能な代替試験課題が前記データベース中にない場合、前記公称難度レベルに基いて、代替難度レベルを選定し、前記代替難度レベルを使って代替試験課題を探索する（４２４）ことを指示するよう構成される、請求項９または請求項１０に記載の装置。
12. 前記例外処理ロジックは、利用可能な試験課題が前記データベース中にない課題タイプに対し、前記代替ルールを満たす試験課題がない場合、前記ユーザにメッセージを出力するよう構成された質問手段（４３４）をさらに含む、請求項１ないし請求項１１のいずれかに記載の装置。
13. 前記質問手段は、前記ユーザから入力を受信する（４３８）ようさらに構成され、前記例外処理ロジックは、入力に応じて、短縮された試験を生成するか、あるいはユーザにメッセージを出力し、前記ユーザから第２入力を受信し、前記第２入力を用いて異なる課題分野を選択するようさらに構成され、
    前記例外処理ロジックは、利用可能な試験課題が前記データベース中になく前記代替ルールを満たす試験課題も前記データベース中にない課題タイプに対しては代替課題を選定せずに、今までに得られている前記選択された課題の群を試験実施に利用可能とする前記例外処理ロジックにより短縮された試験を生成する、請求項１２に記載の装置。
14. 前記データベースから少なくとも一つの試験課題を選択する手段は、前記データベース中に前記課題タイプに対し十分な数の利用可能な試験課題がある場合は、前記複数の課題タイプのうちのある課題タイプに対し、前記課題タイプに関連する所定の数の試験課題を前記データベースから選択するよう構成される、請求項１ないし請求項１３のいずれかに記載の装置。
15. 前記データベースから少なくとも一つの試験課題を選択する手段は、ルックアップ・テーブルから、前記課題タイプに関連する所定の数の試験課題を読み出すよう構成される、請求項１４に記載の装置。
16. 前記装置は、所定の数に関する情報に基づいて所定の数を決定するよう構成された、所定の数に関する情報を受信する手段をさらに含む、請求項１４に記載の装置。
17. 複数の課題タイプからの課題タイプに対し、少なくとも一つの試験課題を選択する手段は、前記課題タイプに対し利用可能な少なくとも二つの試験課題が前記データベース中にある場合、前記データベースから前記課題タイプに対する少なくとも一つの試験課題をランダムに選択するよう構成される、請求項１ないし請求項１６のいずれかに記載の装置。
18. 複数の課題タイプのうちのある課題タイプに対し、少なくとも一つの試験課題を選択する前記手段は、乱数ゼネレータを含み、前記乱数ゼネレータにより提供される乱数を前記試験課題のランダム選択のため使用するようさらに構成される、請求項１７に記載の装置。
19. 前記データベース中の各試験課題に対し、前記試験課題の前記課題タイプを符号化しているデータ記号を含むタイプ識別記号、および／または、試験課題の難度レベルを表現する数値を含む難度レベル識別記号、および／または、前記試験課題の科目分野を符号化しているデータ記号を含む科目分野識別記号、および／または、ユーザが前記試験課題を既に正解しているかどうかの標識を提示するデータ記号を含む解答済み識別記号、および／または、格納された前記試験課題に関連するテキストを有するテキスト欄、および／または、格納された前記試験課題に関連するさらに深みのある情報の格納先への参照を有する参照欄、および／または、格納された試験課題に対して意図された時間を符号化された形で有する時間欄、および／または、ユーザが解答に失敗した回数を符号化された形で格納しているエラー・カウンタ欄が挿入されている、請求項１ないし請求項１８のいずれかに記載の装置。
20. 前記ユーザに前記試験の選択された課題を出力する手段は、前記データベースを使い、視覚的におよび／または聴覚的におよび／または印刷出力として、選択された課題を出力するよう構成される、請求項１ないし請求項１９のいずれかに記載の装置。
21. 複数の試験課題を格納しているデータベース（１１０）を用いて試験を編集する方法であって、各試験課題は、複数の課題タイプのある課題タイプに関連付けられており、
    前記方法は、
    前記データベース（１１０）から試験課題を選択し、試験のための選択された試験課題の群を得る工程を含み、
    前記試験課題を選択する工程は、
    前記課題タイプに対する利用可能な試験課題が前記データベース（１１０）中にある場合、前記複数の課題タイプのうちのある課題タイプに対して、前記データベース（１１０）から少なくとも一つの試験課題を選択し（１４０）、前記選択された試験課題を選択された試験課題の群に加える（１５０）工程と、
    前記データベース中に利用可能な試験課題のない複数の課題タイプからの課題タイプに対し例外処理（１６０）を実施する工程であって、所定の代替ルールに従って、前記データベース中に利用可能な試験課題のない課題タイプに対する代替試験課題を前記データベース中で探索するステップ（１６４）、および前記データベース中に代替ルールを満たす試験課題がある場合、代替試験課題を、選択された課題の群に加える（１７２）ステップを含む、例外処理を実施する工程（１６０）とを含み、
    さらに、前記試験の選択された課題をユーザに対し出力する（１９０）工程を含む、方法。
22. コンピュータ・プログラムがコンピュータで実行されたとき、請求項２１に記載の方法を実施するためのプログラム・コードを備えた、コンピュータ・プログラム。
23. 受験者を試験する装置（８００；９００）であって、
    請求項１ないし請求項２０のいずれかに記載の試験編集（８２０）装置と、
    前記試験編集装置によって出力される選択された試験課題の少なくとも一つに対する回答を読み込む手段（８４０）と、
    前記読み込まれた回答を評価し、読み込まれた回答が選択された試験課題出力の正しい解答を表しているかどうかに関する符号化された情報を得る手段（８４０）と、
    前記符号化情報に基いて試験結果を出力する手段（８７０）とを含む、装置。
24. 請求項２に従属する試験編集装置を使ったとき、前記可用性制御手段は、前記読み込まれた回答が選択された試験課題出力の正解を表しているかどうかに関する符号化情報を判断し、試験課題がユーザによって既に正解されたか、まだ正解されていないかを識別するよう構成される、請求項２３に記載の装置（８００；９００）。
25. 前記符号化情報を、ユーザに関連する方法で前記データベース中に格納するよう構成された手段（８５０）をさらに含む、請求項２３または請求項２４に記載の装置。
26. 前記読み込み回答を評価する手段（８４０）は、前記読み込み回答を、前記データベースに格納され、前記選択された試験課題出力と関連する比較用回答と比較し、前記読み込み回答が前記比較用回答から最大でも所定の逸脱内にあることを示していれば正解回答と評価し、前記試験課題出力に対し前記比較結果に対応する符号化情報を生成するよう構成された比較手段を含む、請求項２３ないし請求項２５のいずれかに記載の装置。
27. 前記読み込み回答を評価する手段（８４０）は、前記読み込み回答を、前記データベースに格納され、前記選択された試験課題出力と関連する比較用回答と比較し、前記読み込み回答が、前記比較用回答と一致していれば正解回答と評価し、前記試験課題出力に対し、前記比較結果に対応する符号化情報を生成するよう構成された比較手段を含む、請求項２３ないし請求項２５のいずれかに記載の装置。
28. 受験者を試験する方法（８００；９００）であって、
    請求項２０に記載の試験を編集する工程と、
    選択された試験課題出力の一つに対する回答を読み込む工程（８４０）と、
    読み込んだ回答を評価し、前記読み込み回答が選択された試験課題出力の正解であるかどうかに関する符号化された情報を得る工程（８４０）と、
    前記符号化情報に基づいて試験結果を出力する工程（８７０）とを含む、試験方法。
29. コンピュータ・プログラムがコンピュータで実行されたとき、請求項２８に記載の方法を実施するためのプログラム・コードを備える、コンピュータ・プログラム。

Images