DE102005045625B4

DE102005045625B4 - Vorrichtung, Verfahren und Computerprogramm zum Zusammenstellen eines Tests sowie Vorrichtung, Verfahren und Computerprogramm zum Prüfen eines Prüflings

Info

Publication number: DE102005045625B4
Application number: DE102005045625A
Authority: DE
Inventors: Fanny Bastianova-Klett; Karlheinz Prof. Dr. Brandenburg
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2005-09-23
Filing date: 2005-09-23
Publication date: 2008-06-05
Anticipated expiration: 2025-09-24
Also published as: JP4996608B2; US20080206731A1; DE102005045625A1; EP1927094A2; JP2009509200A; WO2007036287A2

Abstract

Vorrichtung (100; 400a, 400b; 700) zum Zusammenstellen eines Tests, mit folgenden Merkmalen:
einer Datenbank (110), in der eine Mehrzahl von Testaufgaben gespeichert ist, wobei jede Testaufgabe einem Aufgabentyp einer Mehrzahl von Aufgabentypen zugeordnet ist;
einer Einrichtung zum Auswählen von Testaufgaben aus der Datenbank (110), um eine Menge von ausgewählten Testaufgaben für den Test zu erhalten, wobei die Einrichtung zum Auswählen von Testaufgaben folgende Merkmale aufweist:
eine Einrichtung (140) zum Auswählen, für einen Aufgabentyp der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe aus der Datenbank (110), und zum Übernehmen (150) der ausgewählten Testaufgabe in eine Menge der ausgewählten Testaufgaben, falls in der Datenbank (110) für den Aufgabentyp eine Testaufgabe verfügbar ist; und
einer Ausnahmebehandlungslogik (160; 420, 422, 424, 430, 434, 438, 442, 446, 450), die ausgebildet ist, um für einen Aufgabentypen aus der Mehrzahl von Aufgabentypen, für den in der Datenbank (110) keine Testaufgabe verfügbar ist, in der...

Description

Die vorliegende Erfindung bezieht sich im Allgemeinen auf eine Vorrichtung, ein Verfahren und ein Computerprogramm zum Zusammenstellen eines Tests sowie auf eine Vorrichtung, ein Verfahren und ein Computerprogramm zum Prüfen eines Prüflings, im Speziellen auf Vorrichtungen, Verfahren und Computerprogramme, die eine dynamische Testzusammenstellung ermöglichen.
Computergestützte Lernsysteme erfreuen sich zur Zeit einer ständig wachsenden Verbreitung im Bereich der Aus- und Fortbildung. Für diese Zunahme im Bereich der computergestützten Lernsysteme sind unter anderem die erheblichen Fortschritte der Informationstechnologie sowie auch die Verbreitung von Hochgeschwindigkeitsdatenkommunikationsnetzwerken verantwortlich. So erlauben elektronische Lernsysteme eine multimediale Vermittlung von Lerninhalten, wobei beispielsweise audiovisuelle Elemente zum Einsatz kommen können.
Neben der reinen Darstellung von Lerninhalten ist es bei elektronischen Lernsystemen allerdings sehr wichtig, eine Lernkontrolle mit einzuführen. Eine solche Lernkontrolle hilft einem Lernenden, Wissens- und Verständnisdefizite zu erkennen und kann somit auch dazu beitragen, gezielt diejenigen Themen zu wiederholen, bei denen der Lernende noch einen Nachholbedarf aufweist. Daneben sollte darauf hingewiesen werden, dass eine Lernkontrolle nachweislich auch die Motivation des Lernenden erhöhen kann.
Bei herkömmlichen elektronischen Lernsystemen sind verschiedene Arten von Lernkontrollen bekannt. Im einfachsten Fall ist in dem elektronischen Lernsystem mindestens ein fest zusammengestellter Test gespeichert, der von dem Benutzer bearbeitet werden kann, woraufhin eine Auswertung erfolgt, bei der festgestellt wird, welche Fragen bzw. Testaufgaben der Lernende korrekt bearbeitet hat. Ein solcher fest vorgegebener Test kann beispielsweise von einem menschlichen Tutor zusammengestellt sein, wobei der menschliche Tutor die Verantwortung dafür trägt, dass der Test ausgewogen ist, d. h. die Fähigkeiten des Lernenden gleichmäßig fordert. Allerdings kann ein solcher fest zusammengestellter Test den aktuellen Wissensstand des Lernenden nur unzureichend bzw. gar nicht berücksichtigen.
Bei einem anderen bekannten Verfahren zur automatisierten Testerstellung existiert beispielsweise eine vorgegebene Menge von Testfragen, aus denen dann eine Mehrzahl von Fragen ausgewählt und zu einem Test zusammengestellt wird. Um einen ausgewogenen Test zu ermöglichen, kann eine Mehrzahl von Kategorien vorhanden sein, wobei die Anzahl der Fragen pro Kategorie herkömmlicherweise bereits vor der Zusammenstellung des Selbsttests vorgegeben ist. Durch das gezeigte Verfahren lässt sich zwar ein ausgewogener Test erzielen, die Auswahl der Fragen ist aber wiederum nicht an den Wissensstand des Lernenden angepasst. Im Übrigen wird darauf hingewiesen, dass durch das gezeigte Prinzip zur Testzusammenstellung eine solche Anpassung an den Wissensstand des Lernenden herkömmlicherweise auch nicht möglich ist.
Die DE 101 55 094 A1 beschreibt eine Vorrichtung und ein Verfahren zur automatischen Ermittlung einer individuell abgestimmten, nicht vorgefertigten Trainingseinheit, basierend auf einem individuellen Lernbedarf. Die Vorrichtung umfasst eine Eingabevorrichtung, eine Datenbank aller Trainingsmodule mit ihren Abhängigkeiten untereinander und eine Auswahlvorrichtung zur Generierung der Trainingseinheit aus den vorhandenen Trainingsmodulen. Dabei werden Abhängigkeiten von Trainingsmodulen untereinander berücksichtigt.
Die EP 1 227 454 B1 zeigt ein Verfahren zur Zusammenstellung eines Tests mit Hilfe einer Datenverarbeitungsanlage. Ein Prozessor eines Testerzeugungssystems wählt zufällig Fragen einer Datenbank für einen Kandidaten aus. Die Auswahl erfolgt gemäß einem Themenbereich und einem Schwierigkeitskriterium. Bei dem genannten Verfahren wird zunächst eine Datenbank mit einer Ansammlung möglicher Testfragen erstellt. In einem Test mit einem Probanden, der für eine bestimmte Aufgabenstellung vorgesehen ist, kann auf den in der Datenbank abgelegten Fundus an Testfragen zugegriffen werden. Dabei werden jedoch nicht alle Testfragen dem Probanden vorgelegt, sondern es erfolgt vielmehr mit Hilfe der Datenverarbeitungsanlage eine Auswahl der Testfragen. Die in der Datenbank abgespeicherten Testfragen sind verschiedenen Themengebieten und/oder Schwierigkeitsgraden zugeordnet. Dabei ist jeder Kombination einer Testfrage und eines Themengebiets/Schwierigkeitsgrades ein zwischen 1 und 3 liegender Zugehörigkeitswert zugeordnet, welcher angibt, in welchem Ausmaß die Testfrage dem Themengebiet/Schwierigkeitsgrad zuzuordnen ist. Die Auswahl zwischen mehreren zur Verfügung stehenden gleichwertigen Testfragen gleichen Typs erfolgt randomisiert.
Es ist die Aufgabe der vorliegenden Erfindung, ein Konzept zum automatisierten Zusammenstellen eines ausgewogenen und an den Wissensstand eines Benutzers bzw. Prüflings angepassten Tests zu schaffen.
Diese Aufgabe wird durch eine Vorrichtung zum Zusammenstellen eines Tests gemäß Anspruch 1, ein entsprechendes Verfahren gemäß Anspruch 19 und ein Computerprogramm gemäß Anspruch 20 sowie durch eine Vorrichtung zum Prüfen eines Prüflings gemäß Anspruch 21, ein Verfahren zum Prüfen eines Prüflings gemäß Anspruch 26 und ein Computerprogramm gemäß Anspruch 27 gelöst.
Die vorliegende Erfindung schafft eine Vorrichtung zum Zusammenstellen eines Tests, mit einer Datenbank, in der eine Mehrzahl von Testaufgaben gespeichert ist, wobei jede Testaufgabe einem Aufgabentyp einer Mehrzahl von Aufgabentypen zugeordnet ist, einer Einrichtung zum Auswählen von Testaufgaben aus der Datenbank, um eine Menge von ausgewählten Testaufgaben für den Test zu erhalten, und einer Einrichtung zum Ausgeben der ausgewählten Testaufgaben des Tests einem Benutzer gegenüber. Die Einrichtung zum Auswählen von Testaufgaben umfasst eine Einrichtung zum Auswählen, für einen Aufgabentyp der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe aus einer Datenbank, und zum Übernehmen der ausgewählten Testaufgabe in die Menge der ausgewählten Testaufgaben, falls in der Datenbank für den Aufgabentyp eine Testaufgabe verfügbar ist, sowie eine Ausnahmebehandlungslogik, die ausgebildet ist, um für einen Aufgabentyp aus der Mehrzahl von Aufgabentypen, für den in der Datenbank keine Testaufgabe verfügbar ist, in der Datenbank eine Ersatz-Testaufgabe gemäß einer vorgegebenen Ersetzungsregel zu suchen und in die Menge von ausgewählten Aufgaben zu übernehmen, falls in der Datenbank eine Testaufgabe existiert, die die Ersetzungsregel erfüllt.
Es ist der Kerngedanke der vorliegenden Erfindung, dass durch eine flexible Auswahl von Testaufgaben, bei der unter Verwendung einer Ausnahmebehandlungslogik zu einem Aufgabentyp, für den keine Testaufgabe in der Datenbank vorhanden ist, gemäß einer vorgegebenen Ersetzungsregel eine Ersatz-Testaufgabe bestimmt wird, eine an das Wissen eines Lernenden bzw. eines Prüflings angepasste Testzusammenstellung erfolgen kann. Durch eine regelbasierte Auswahl einer Ersatz-Testaufgabe für einen Aufgabentyp, für den in der Datenbank keine Testaufgabe verfügbar ist, kann nämlich auch dann ein ausgewogener Test erzeugt werden, wenn nicht zu allen vorgesehenen Aufgabentypen aus einer Mehrzahl von Aufgabentypen Testaufgaben verfügbar sind.
Eine solche Situation kann beispielsweise auftreten, wenn die Vorrichtung zum Zusammenstellen des Tests aktiviert wird, bevor zu jedem zu bearbeiteten Aufgabentyp ausreichend viele Testaufgaben in der Datenbank gespeichert sind, wenn also beispielsweise ein Herunterladen der gesamten Datenbank mit den Testaufgaben auf einen lokalen Rechner eines Lernenden eine vergleichsweise lange Zeit in Anspruch nimmt und die Vorrichtung zum Zusammenstellen des Tests aktiviert wird, bevor das Herunterladen vollständig abgeschlossen ist. Ferner ist es denkbar, dass zu einem Aufgabentyp aus der Mehrzahl von Aufgabentypen keine Testaufgaben mehr verfügbar sind, weil diejenigen Testaufgaben, die der Prüfling bereits erfolgreich gelöst hat, als nicht-verfügbar gekennzeichnet sind, um eine wiederholte Bearbeitung der schon erfolgreich gelösten Testaufgaben zu vermeiden.
Somit ermöglicht das erfindungsgemäße Konzept eine dynamische bzw. benutzerangepasste oder benutzeradaptive Zusammenstellung eines Tests. Die erfindungsgemäße Vorrichtung kann damit auch als eine nutzerangepasste oder benutzeradaptive Vorrichtung angesehen werden.
Die automatisiert zusammengestellten, ausgewogenen und an den Wissensstand des Benutzers bzw. Prüflings angepassten Tests können sowohl für eine Selbst-Beurteilung (selfassessment) als auch für eine Beurteilung (assessment) im Rahmen einer zertifizierten Prüfungsabnahme eingesetzt werden.
Die vorliegende Erfindung bietet somit wesentliche Vorteile gegenüber bekannten Vorrichtungen zum Zusammenstellen eines Tests. So ermöglicht es die vorliegende Erfindung, einen Test auch dann erfolgreich zusammenzustellen, wenn nicht zu allen zu verwendenden Aufgabentypen bereits mindestens eine (bzw. hinreichend viele) Testaufgaben vorliegen, während herkömmliche Testsysteme in diesem Fall keine bzw. keine ausgewogene Testzusammenstellung ermöglichen. Eine Bestimmung einer Ersatz-Testaufgabe für einen Aufgabentyp, für den in der Datenbank keine Testaufgabe verfügbar ist, durch eine Ausnahmebehandlungslogik unter Verwendung einer vorgegebenen Ersetzungsregel erlaubt hierbei eine wohl definierte Ersetzung, so dass bei Vorgabe einer geeigneten Ersetzungsregel immer noch in automatisierter Weise ein ausgewogener Test erfolgt werden kann. Die Ersetzungsregel kann hierbei zu den Testaufgaben bzw. den Aufgabentypen gehörige Informationen und/oder Metainformationen benutzen, um die Ersetzung zu steuern. Somit kann eine optimale Ersetzung gewährleistet werden, selbst wenn nicht a priori bekannt ist, welche Aufgabentypen überhaupt zur Verfügung stehen.
Im Übrigen sei darauf hingewiesen, dass es die erfindungsgemäße Vorrichtung zum Zusammenstellen eines Tests ermöglicht, die Anzahl der verfügbaren Testaufgaben nachträglich zu verringern, ohne dass dadurch eine automatisierte Testzusammenstellung gestört wird. Dies kann z. B. durch Löschen von Testaufgaben oder durch Markieren von Testaufgaben als nicht-verfügbar erfolgen.
Im Hinblick auf eine Durchführung eines Tests kann im übrigen zwischen einem Lernenden und einem Prüfling unterschieden werden. Das erfindungsgemäße Konzept ermöglicht hierbei sowohl eine Durchführung eines Selbsttests (selfassessment) eines Lernenden als auch eine Prüfung eines Prüflings im Rahmen einer Prüfungssituation. Das erfindungsgemäße Konzept kann dabei auch eine zertifizierte Prüfungsabnahme enthalten. Bei einem Benutzer einer Erfindungsgemäßen Vorrichtung bzw. des erfindungsgemäßen Konzepts kann es sich daher sowohl um einen Lernenden als auch um einen Prüfling handeln.
Weiterhin wird es bevorzugt, dass die Vorrichtung zum Zusammenstellen eines Tests ferner eine Verfügbarkeitssteuerungseinrichtung aufweist, die ausgelegt ist, um sicherzustellen, dass die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank eine Testaufgabe, die von der Verfügbarkeitssteuerung als von einem Benutzer bereits erfolgreich gelöst identifiziert wird, nicht als verfügbar erkennt. Somit kann erreicht werden, dass bei der Testzusammenstellung Aufgaben nicht mehr berücksichtigt werden, die ein Benutzer bereits erfolgreich gelöst hat. Damit wird eine Wiederholung von bereits erfolgreich gelösten Testaufgaben vermieden, wodurch sich die Lerneffizienz eines elektronischen Lernsystems deutlich steigern lässt, und wodurch auch die Motivation eines Lernenden effizient erhöht werden kann. Die Verfügbarkeitssteuerung kann beispielsweise ausgelegt sein, um der Datenbank eine benutzerbezogene Information hinzuzufügen, die anzeigt, dass der Benutzer eine Testaufgabe erfolgreich gelöst hat, wenn die Verfügbarkeitsprüfungseinrichtung erkennt, dass der Benutzer die bestimmte Testaufgabe erfolgreich gelöst hat. Die Verfügbarkeitssteuerungseinrichtung kann somit bevorzugt Informationen auswerten, die bei einer Auswertung der von dem Benutzer gelieferten Antworten erzeugt werden.
Ferner wird darauf hingewiesen, dass in der gezeigten Weise erreicht werden kann, dass die Datenbank sowohl Testaufgaben als auch benutzerbezogene Informationen, welche Testaufgaben ein bestimmter Benutzer bereits erfolgreich gelöst hat, umfasst. Die benutzerbezogenen Informationen können freilich für mehrere verschiedene Benutzer angelegt werden, so dass ein besonders speichereffizientes Datenbanksystem entsteht. Damit ist dann auch eine benutzerindividualisierte Testzusammenstellung in einem Mehrbenutzersystem (z. B. in einem Client-Server-System) möglich.
Ferner kann die Verfügbarkeitssteuerungseinrichtung ausgelegt sein, um eine bestimmte Testaufgabe auf der Datenbank zu löschen, wenn ein Benutzer die Testaufgabe erfolgreich gelöst hat. Dies ist beispielsweise vorteilhaft in tragbaren Computersystemen mit begrenztem Speicherplatz. Da nämlich erfindungsgemäßer Weise vorgesehen werden kann, dass eine Testaufgabe, die bereits einmal erfolgreich gelöst wurde, nicht wiederholt wird, ist es freilich auch nicht nötig, diese weiterhin zu speichern. Somit kann ein ressourcensparender Betrieb eines elektronischen Lernsystems bzw. einer elektronischen Lernumgebung ermöglicht werden.
Ferner wird es bevorzugt, dass die erfindungsgemäße Vorrichtung zum Zusammenstellen eines Tests eine Einrichtung zum Empfangen eines Soll-Schwierigkeitsgrads aufweist, wobei jeder Testaufgabe ferner ein Schwierigkeitsgrad zugeordnet ist, und wobei die Vorrichtung zum Zusammenstellen des Tests ferner eine Schwierigkeitssteuerungseinrichtung aufweist, die ausgelegt ist, um sicherzustellen, dass die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank nur eine Testaufgabe, deren zugeordneter Schwierigkeitsgrad um höchstens eine vorgegebene Schwierigkeitsgrad-Abweichung von dem Soll-Schwierigkeitsgrad abweicht, als verfügbar erkennt. Dadurch kann ein in dem elektronischen Lernsystem ausgeführter Test durch Vorgabe eines Soll-Schwierigkeitsgrads an den Lernfortschritt eines Lernenden angepasst werden.
In der erfindungsgemäßen Vorrichtung ist die Ersetzungsregel bevorzugt ausgelegt, um die Ausnahmebehandlungslogik anzuweisen, einen Ersatz-Aufgabentyp für den Aufgabentyp aus der Mehrzahl von Aufgabentypen, für den in der Datenbank keine Testaufgabe verfügbar ist, zu ermitteln und in der Datenbank eine Ersatz-Testaufgabe von dem Ersatz-Aufgabentyp zu suchen und in die Menge der ausgewählten Aufgaben zu übernehmen. Es hat sich nämlich gezeigt, dass es typischerweise zu jedem Aufgabentyp einen diesem sehr ähnlichen Ersatz-Aufgabentyp gibt, so dass die Verwendung einer Testaufgabe des Ersatz-Aufgabentyps (anstelle einer Testaufgabe von dem Aufgabentyp, für den in der Datenbank keine Testaufgabe vorhanden ist) die Ausgewogenheit des Tests nur wenig beeinträchtigt, da die Aufgabentypen dem Trainieren von analogen Fertigkeiten dienen. In andere Worten, das Ersetzen eines Aufgabentyps durch einen ähnlichen Ersatz-Aufgabentyp wird von einem menschlichen Lernenden typischerweise nicht als störend wahrgenommen.
Die Ausnahmebehandlungseinrichtung kann bevorzugt ausgelegt sein, um für den Aufgabentyp, für den keine Testaufgabe verfügbar ist, durch Zugriff auf eine Aufgabentyp-Ersetzungstabelle den Ersatz-Aufgabentyp zu ermitteln. Es hat sich nämlich gezeigt, dass typischerweise ein wohl definierter Ersatz eines nicht-vorhandenen Aufgabentyps durch einen Ersatz-Aufgabentyp zweckmäßig ist. Eine solche Zuordnung zwischen einem Aufgabentyp und einem Ersatz-Aufgabentyp kann beispielsweise in einer Aufgabentyp-Ersetzungstabelle abgelegt werden, die eine Zuordnung zwischen (zu ersetzendem) Aufgabentyp und Ersatz-Aufgabentyp beschreibt. Die Ablage der Zuordnungen zwischen Aufgabentypen und Ersatz-Aufgabentypen in Form einer Tabelle ist hierbei sehr speichereffizient und erlaubt zusätzlich einen schnellen Zugriff.
Bei einem weiteren bevorzugten Ausführungsbeispiel ist jedem Aufgabentyp der Mehrzahl von Aufgabentypen ein Aufgabentyp-Merkmalsvektor zugeordnet, der beispielsweise einen Aufgabentyp anhand mindestens eines numerisch beschreibbaren Kriteriums, besser aber mehrerer numerisch beschreibbarer Kriterien, beschreibt. In diesem Fall ist die Ausnahmebehandlungseinrichtung bevorzugt ausgelegt, um für den Aufgabentyp, für den keine Testaufgabe verfügbar ist, einen Ersatz-Aufgabentyp derart zu bestimmen, dass sich Aufgabentyp-Merkmalsvektoren des Aufgabentyps, für den keine Testaufgabe verfügbar ist, und des Ersatz-Aufgabentyps möglichst wenig unterscheiden. Dies kann beispielsweise gewährleistet werden, indem basierend auf dem Aufgabentyp-Merkmalsvektor des zu ersetzenden Aufgabentyps ein Ersatz-Aufgabentyp identifiziert wird, dessen Aufgabentypmerkmals vektor dem Aufgabentypmerkmalsvektor des zu ersetzenden Aufgabentyps möglichst ähnlich ist. Die Ähnlichkeit kann hierbei beispielsweise durch ein beliebiges mathematisches Abstandsmaß bzw. eine mathematische Norm bestimmt werden, wobei für einzelne Einträge der Aufgabentypmerkmalsvektoren eine Gewichtung eingeführt werden kann (wobei ein Eintrag des Aufgabentyp-Merkmalsvektors eine charakteristische Eigenschaft eines Aufgabentypen beschreibt).
Damit kann erreicht werden, dass es ausreichend ist, jeden Aufgabentyp durch einen Aufgabentypmerkmalsvektor zu beschreiben. Somit ist eine manuelle Erstellung einer Aufgabentyp-Ersetzungstabelle nicht mehr nötig. Die Aufgabentyp-Ersetzungstabelle kann vielmehr entweder automatisch aufgrund der Aufgabentypmerkmalsvektoren erstellt werden, oder die Aufgabentypmerkmalsvektoren können in der gezeigten Weise immer dann ausgewertet werden, wenn eine Ersetzung eines Aufgabentyps durch einen Ersatz-Aufgabentyp benötigt wird. Dies ist wiederum besonders in Verbindung mit zeitlich veränderlichen Aufgabendatenbanken, wie sie beispielsweise durch Übertragung über eine Netzwerkschnittstelle entstehen können, sehr vorteilhaft. Es werden hierbei nämlich genau die Aufgabentypen bei einer Bestimmung des am besten geeigneten Ersatz-Aufgabentyps herangezogen, die auch in der Datenbank verfügbar sind. Schließlich bringt die Beschreibung der Aufgabentypen durch Aufgabentypmerkmalsvektoren und die Ersetzung von Aufgabentypen basierend auf den Aufgabentypmerkmalsvektoren den Vorteil, dass Aufgabentypen von verschiedenen Quellen bzw. Tutoren somit vergleichbar sind, und dass sich damit eine zentrale Bereitstellung von Ersetzungsregeln (z.B. in Form einer Tabelle) erübrigt.
Ist einer Testaufgabe ein Schwierigkeitsgrad zugeordnet und weist die erfindungsgemäße Vorrichtung ferner eine Einrichtung zum Empfangen eines Soll-Schwierigkeitsgrads auf, so wird es bevorzugt, dass die Ersetzungsregel ausgelegt ist, um die Ausnahmebehandlungslogik anzuweisen, basierend auf dem Soll-Schwierigkeitsgrad einen Ersatz-Schwierigkeitsgrad zu ermitteln und für den Aufgabentyp aus der Mehrzahl von Aufgabentypen, für den in der Datenbank keine Testaufgabe mit dem Soll-Schwierigkeitsgrad vorhanden ist, eine Ersatz-Testaufgabe zu suchen, deren Schwierigkeitsgrad von dem Ersatz-Schwierigkeitsgrad höchstens um einen vorgegebenen Betrag abweicht, und um die Ersatz-Testaufgabe in die Menge von ausgewählten Testaufgaben zu übernehmen. Es hat sich nämlich als vorteilhaft erwiesen, die Ersetzungsregel so zu erweitern, dass für einen Aufgabentyp, für den bei dem Soll-Schwierigkeitsgrad keine Ersatz-Testaufgabe vorliegt, eine Ersatz-Testaufgabe mit einem anderen (Ersatz-) Schwierigkeitsgrad identifiziert wird.
So kann es beispielsweise vorkommen, dass ein Lernender für einen bestimmten Aufgabentyp ein besonders gutes Verständnis entwickelt und somit die Aufgabentypen des Soll-Schwierigkeitsgrads gerade für diesen Aufgabentyp besonders schnell bearbeitet. In diesem Fall empfiehlt es sich, den Ersatz-Schwierigkeitsgrad für eine Ersatz-Testaufgabe höher zu wählen als den Soll-Schwierigkeitsgrad. Durch eine Erhöhung des Schwierigkeitsgrads von Ersatz-Testaufgaben, für einen Aufgabentypen, für den die ursprünglichen Testaufgaben mit dem Soll-Schwierigkeitsgrad bereits abgearbeitet sind, kann wiederum eine möglichst gleichmäßige Abarbeitung der Testaufgaben erzielt werden. Im Übrigen kann durch eine solche Maßnahme ferner erzielt werden, dass ein Test von einem Lernenden als ausgewogen empfunden wird.
Andererseits kann ein Schwierigkeitsgrad reduziert werden, wenn eine bestimmte Aufgabe mehrmals nicht erfolgreich gelöst wird, oder wenn Aufgaben eines bestimmten Aufgabentyps vergleichsweise häufig nicht korrekt gelöst werden. In diesem Fall empfiehlt es sich also, den Ersatz-Schwierigkeitsgrad für eine Ersatz-Testaufgabe niedriger zu wählen als den Soll-Schwierigkeitsgrad.
Schließlich sei noch darauf hingewiesen, dass es in manchen Fällen deutlich vorteilhafter ist, für eine Aufgabentyp, für den keine Testaufgabe mit dem Soll-Schwierigkeitsgrad in der Datenbank vorhanden ist, eine Ersatz-Testaufgabe mit einem anderen als dem Soll-Schwierigkeitsgrad zu suchen als eine Ersatz-Testaufgabe mit einem anderen (Ersatz-) Aufgabentypen. Dies trifft beispielsweise dann zu, wenn es für einen Aufgabentyp keinen Ersatz-Aufgabentyp gibt, der dem zu ersetzenden Aufgabentyp hinreichend ähnlich ist. Dabei kann von einem Lernenden die Veränderung des Schwierigkeitsgrads also als weniger störend empfunden werden als die Veränderung des Aufgabentyps.
Im übrigen wird darauf hingewiesen, dass eine Strategie bei einer Auswahl einer Ersatz-Testaufgabe (d.h. die Ersetzungsregel) unterschiedlich gewählt werden kann, je nachdem ob es sich bei dem durchgeführten Test um einen Selbsttest eines Lernenden oder um ein Prüfung eines Prüflings handelt. Bei der Durchführung einer Prüfung mit einem Prüfling kann beispielsweise ein erhöhter Schwierigkeitsgrad einer Ersatz-Testaufgabe im Vergleich zu dem Soll-Schwierigkeitsgrad durch eine erhöhte Zahl an Punkten, die der Prüfling durch eine erfolgreiche Beantwortung der Ersatz-Testaufgabe erhalten kann, honoriert werden. Damit kann der veränderte Schwierigkeitsgrad der Ersatz-Testaufgabe bei der Auswertung der Prüfung mit berücksichtigt werden.
Um einen Lernenden in das System besser einzubinden, kann es beispielsweise vorteilhaft sein, dass die Ausnahmebehandlungslogik ausgelegt ist, um an den Benutzer eine Nachricht auszugeben, die eine Information über eine Verwendung eines Ersatz-Schwierigkeitsgrads umfasst, sofern ein solcher verwendet wird.
Ferner kann es vorteilhaft sein, dass die Ausnahmebehandlungslogik eine Abfrageeinrichtung umfasst, die ausgelegt ist, um an den Benutzer eine Nachricht auszugeben, falls für einen Aufgabentyp, für den in der Datenbank keine Testaufgabe vorhanden ist, keine Testaufgabe existiert, die die Ersetzungsregel erfüllt. Die Abfrageeinrichtung kann ferner ausgelegt sein, um von dem Benutzer eine Eingabe zu empfangen, wobei die Ausnahmebehandlungslogik in Abhängigkeit von der Eingabe entweder einen verkürzten Test erzeugt oder an den Benutzer eine Aufforderung zur Auswahl eines anderen Themenbereichs ausgibt und von dem Benutzer eine Eingabe empfängt, aufgrund derer eine solche Auswahl ermöglicht wird. Ist nämlich keine Testaufgabe vorhanden, die die Ersetzungsregel erfüllt, so kann nicht mehr sichergestellt werden, dass ein ausgewogener Test erzeugt wird. In diesem Fall ist es vorteilhaft, dass die Vorrichtung zum Zusammenstellen eines Tests mit dem Benutzer in Wechselwirkung tritt und somit dem Benutzer ermöglicht, einer Durchführung eines verkürzten Tests durch eine entsprechende Eingabe zuzustimmen. Wünscht der Benutzer einen verkürzten Test nicht, so wird es ferner bevorzugt, dem Benutzer eine interaktive Auswahl eines Tests zu einem anderen Thema bzw. Themenbereich zu ermöglichen, um ein Absinken der Motivation des Benutzers zu verhindern. Eine derartige Auslegung der erfindungsgemäßen Vorrichtung zum Zusammenstellen eines Tests ist wiederum besonders vorteilhaft in Verbindung mit einem elektronischen Lernsystem, bei dem die Datenbank mit den Testfragen erst nach und nach aufgestellt bzw. zu einem Verarbeitungsgerät des Benutzers übertragen wird.
Weiterhin wird es bevorzugt, dass die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank ausgelegt ist, um für einen Aufgabentyp aus der Mehrzahl von Aufgabentypen eine vorgegebene Anzahl von zu dem Aufgabentyp gehörigen Testaufgaben aus der Datenbank auszuwählen, falls in der Datenbank für den Aufgabentyp eine ausreichende Anzahl von Testaufgaben verfügbar ist. Durch eine solche Auslegung kann gewährleistet werden, dass die Anzahl der Testfragen zu verschiedenen Aufgabentypen in einem ausgewogenen Verhältnis steht. Beispielsweise kann die Vorrichtung zum Zusammenstellen eines Tests dafür sorgen, dass nur eine oder wenige Testaufgaben eines zeitintensiven Aufgabentyps ausgewählt werden, während eine vorgegebene Anzahl von Testaufgaben zu einem anderen, schneller zu bearbeitenden Aufgabentyp ausgewählt werden. Somit kann eine besonders ausgewogene Zusammenstellung eines Tests gewährleistet werden. Die vorgegebene Anzahl von Aufgaben kann beispielsweise von einer Einrichtung zum Empfangen einer Information über eine Anzahl von Aufgaben, basierend auf der empfangenen Information über die Anzahl von Aufgaben, bereitgestellt werden.
Auch eine zufällige Auswahl von Testaufgaben, beispielsweise unter Verwendung eines Zufallszahlengenerators, kann in besonders ausgewogenen Tests resultieren, wobei bei der wiederholten Durchführung eines Tests eine Vorhersagbarkeit vermieden werden kann. Dies ermöglicht eine objektivere Beurteilung des tatsächlichen Kenntnisstands eines Lernenden.
Weiterhin wird es bevorzugt, die erfindungsgemäße Vorrichtung zum Zusammenstellen eines Tests in eine Vorrichtung zum Prüfen eines Prüflings einzubinden. Die Vorrichtung zum Prüfen eines Prüflings umfasst ferner bevorzugt eine Einrichtung zum Einlesen einer Antwort auf mindestens eine der durch die Vorrichtung zum Zusammenstellen des Tests ausgegebene ausgewählte Testaufgabe. Ferner umfasst die Vorrichtung zum Prüfen eine Prüflings bevorzugt eine Einrichtung zum Auswerten der eingelesenen Antwort, um eine codierte Information zu erhalten, ob die eingelesene Antwort eine korrekte Lösung der ausgegebenen ausgewählten Testaufgabe darstellt. Ferner ist es vorteilhaft, dass die Vorrichtung zum Prüfen eines Prüflings eine Einrichtung zum Ausgeben eines Testergebnisses in Abhängigkeit von der codierten Information umfasst.
Durch eine entsprechende Vorrichtung zum Prüfen eines Prüflings kann somit ein Test beginnend von einer Testzusammenstellung bis zu einer Darstellung des Testergebnisses vollständig automatisiert durchgeführt werden, wobei sich wiederum die erfindungsgemäßen Vorteile einer Testzusammenstellung mit einer Ausnahmebehandlung unter Verwendung von Ersetzungsregeln ergeben.
Weiterhin wird es bevorzugt, dass die Verfügbarkeitssteuerungseinrichtung, die festlegt, wann eine in der Datenbank gespeicherte Testaufgabe für die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank zur Verfügung steht, ausgelegt ist, um die codierte Information, ob die eingelesene Antwort eine korrekte Lösung der ausgegebenen ausgewählten Testaufgabe darstellt, auszuwerten. Hierbei wird es bevorzugt, die codierte Information, die beispielsweise eine zweiwertige Aussage enthalten kann, ob eine Benutzer eine bestimmte Testaufgabe erfolgreich gelöst hat, benutzerbezogen in einer Datenbank abzulegen. Durch eine derartige Auslegung ergibt sich ein besonders vorteilhaftes elektronisches Testsystem, indem sichergestellt ist, dass gegenüber einem Benutzer eine einmal gelöste Testaufgabe nicht ein zweites Mal ausgegeben wird. Dadurch kann ein effizientes Lernen erzielt werden, wobei weiterhin verhindert wird, dass eine Motivation des Benutzers durch Wiederholung von bereits gelösten Aufgaben verloren geht.
Es kann auch gespeichert werden, wie oft eine Aufgabe nicht gelöst wurde, um entsprechende Systemreaktionen auszulösen. Eine derartige Systemreaktion kann beispielsweise eine Erhöhung oder Erniedrigung des Schwierigkeitsgrades sein, wie bereits vorher ausgeführt wurde.
Ferner wird es bevorzugt, dass die Einrichtung zum Auswerten der eingelesenen Antworten eine Vergleichseinrichtung umfasst, die ausgelegt ist, um die eingelesene Antwort mit einer in der Datenbank abgelegten und zu der ausgegebenen ausgewählten Testaufgabe gehörigen Vergleichsantwort zu vergleichen, und um die eingelesene Antwort als eine korrekte Antwort zu bewerten, wenn die eingelesene Antwort von der Vergleichsantwort höchstens eine vorbestimmte Abwei chung aufweist, und um für die ausgegebene ausgewählte Testaufgabe eine dem Vergleichsergebnis entsprechende codierte Information bereitzustellen. In anderen Worten, es wurde erkannt, dass die Auswertung der Benutzereingaben wiederum automatisiert erfolgen kann. Um eine übermäßige Fehlinterpretation von Antworten des Benutzers bzw. des Lernenden zu vermeiden, wird es bevorzugt, eine vorbestimmte Abweichung zwischen der Antwort des Benutzers und einer in der Datenbank abgelegten Vergleichsantwort zuzulassen. Die Abweichung kann beispielsweise durch einen numerischen Wert definiert sein. Außerdem kann beispielsweise bei Fragen, bei denen komplexere Antworten erforderlich sind, eine vorbestimmte Abweichung zwischen einer eingegebenen Antwort und der Vergleichsantwort tolerierbar sein. Dies ist beispielsweise der Fall, wenn ein Benutzer aufgefordert wird, eine längere Texteingabe zu tätigen. Wesentlich ist hierbei lediglich, dass eine Beschreibungsform existiert, die eine Abweichung einer Antwort von der Vergleichsantwort quantifizierbar macht.
Ferner wird es manchmal bevorzugt, eine Antwort nur dann als korrekte Antwort zu akzeptieren, wenn die eingelesene Antwort mit der Vergleichsantwort übereinstimmt. Dies kann beispielsweise bei Multiple-Choice-Testaufgaben vorteilhaft sein, und ermöglicht eine besonders vorteilhafte elektronische Auswertung, beispielsweise mit Hilfe einer Vergleichseinrichtung.
Bei größeren Abweichungen zwischen einer korrekten Antwort und einer von dem Benutzer eingegebenen Antwort bzw. falls ein Benutzer eine Testaufgabe nicht löst, kann die erfindungsgemäße Vorrichtung zum Zusammenstellen eines Tests ferner Verweise auf die relevanten Themen und/oder auf Schwachstellen des Benutzers (des lernenden oder des Prüflings) ausgeben.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Zusammenstellen eines Tests gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung;
2 eine graphische Darstellung eines beispielhaften Datenbankeintrags für eine Testaufgabe;
3 ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Ermitteln der verfügbaren Testaufgaben;
4A einen ersten Teil eines Flussdiagramms eines erfindungsgemäßen Verfahrens zum Zusammenstellen eines Tests gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
4B einen zweiten Teil eines Flussdiagramms eines erfindungsgemäßen Verfahrens zum Zusammenstellen eines Tests gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
5A ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Identifizieren einer Ersatz-Testaufgabe in einer Testaufgaben-Datenbank unter Verwendung einer Ersatz-Aufgabentyp-Tabelle;
5B eine graphische Darstellung einer Ersatz-Aufgabentyp-Tabelle;
6A ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Identifizieren eines zulässigen Ersatz-Aufgabentyps;
6B eine graphische Darstellung eines Aufgabentypmerkmalsvektors;
7 ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Identifizieren eines Ersatz-Aufgabentyps gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung;
8 ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Durchführen eines Tests gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung; und
9 ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Durchführen eines Tests gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung.
1 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Zusammenstellen eines Tests gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung. Das Flussdiagramm der 1 ist in seiner Gesamtheit mit 100 bezeichnet. Das erfindungsgemäße Verfahren ist ausgelegt, um Testaufgaben aus einer Datenbank auszuwählen. Die Datenbank ist hierbei mit 110 bezeichnet und umfasst eine Mehrzahl von verfügbaren Testaufgaben. Ferner ist anzumerken, dass eine Zuordnung zwischen Testaufgaben und Aufgabentypen besteht. In anderen Worten, jede Testaufgabe in der Datenbank ist beispielsweise einem Aufgabentyp zugeordnet. Beispielsweise gehört zu jeder Testaufgabe in der Datenbank ein zugeordnetes Feld bzw. ein zugeordneter Eintrag, der den Aufgabentyp beschreibt. Ebenso gut ist es möglich, dass in der Datenbank mehrere Tabellen bzw. Unter-Datenbanken existieren, wobei in einer Tabelle bzw. Unter-Datenbank nur Testaufgaben des gleichen Typs abgelegt sind. Zusammenfassend lässt sich also sagen, dass die Datenstruktur der Datenbank so ausgelegt ist, dass eine Zuordnung zwischen Testaufgaben und Aufgabentypen existiert.
Ferner ist darauf hinzuweisen, dass ein Unterschied zwischen den in der Datenbank vorhandenen Aufgaben und den im Rahmen des hier beschriebenen Algorithmus verfügbaren Aufgaben bestehen kann. Mit anderen Worten, eine oder mehrere Aufgaben in der Datenbank können als nicht-verfügbar gekennzeichnet sein. Beispielsweise kann die Datenbank ein Flag umfassen, das festlegt, dass eine Testaufgabe nicht verfügbar ist. Dieses Flag kann beispielsweise gesetzt werden, wenn ein Benutzer eine Aufgabe bereits erfolgreich gelöst hat. Im Übrigen wird darauf hingewiesen, dass je nach Begebenheit Aufgaben in der Datenbank als verfügbare Aufgaben herausgefiltert werden können, wobei verfügbare Aufgaben typischerweise eine Bedingung bzw. eine logische Verknüpfung aus mehreren Bedingungen erfüllen müssen.
Die Aufgabe des anhand der 1 gezeigten Algorithmus besteht darin, einen möglichst ausgewogenen Test, der typischerweise eine Mehrzahl von Aufgabentypen umfasst, zusammenzustellen, und gleichzeitig eine Behandlung eines Ausnahmefalls, in dem für einen Aufgabentyp keine Testaufgabe in der Datenbank verfügbar ist, zu ermöglichen.
Der gezeigte Algorithmus empfängt als Eingangsgröße zumindest einen Aufgabentyp 120 einer in der Datenbank zu suchenden Testaufgabe. In einem ersten Schritt 130 untersucht der gezeigte Algorithmus dann, ob in der Datenbank eine Testaufgabe von dem vorgegebenen Aufgabentyp 120 verfügbar ist. Dies kann beispielsweise durch eine Filterung der in der Datenbank 110 verfügbaren Testaufgaben erfolgen. Ferner kann die Datenbank auch ausgelegt sein, um zu protokollieren, wie viele Aufgaben von verschiedenen Aufgabentypen vorhanden sind. Mit anderen Worten, die Datenbank kann beispielsweise einen zu einem Aufgabentyp gehörigen Zähler aufweisen, der die Zahl der zu dem Aufgabentyp gehörigen und verfügbaren Testaufgaben anzeigt.
Wird in dem ersten Schritt 130 erkannt, dass zu dem vorgegebenen Aufgabentyp 120 mindestens eine Testaufgabe in der Datenbank verfügbar ist, so wird daraufhin in einem zweiten Schritt 140 mindestens eine Testaufgabe für den vorgegebenen Aufgabentyp 120 ausgewählt. Dabei wird beispielsweise eine Testaufgabe für den vorgegebenen Aufgabentyp 120 in der Datenbank gesucht. Es kann beispielsweise die erste zu dem vorgegebenen Aufgabentyp 120 in der Datenbank gefundene Aufgabe verwendet werden. Ferner ist es möglich, aus einer Mehrzahl von in der Datenbank 110 zu dem vorgegebenen Aufgabentyp 120 verfügbaren Testaufgaben eine oder mehrere Testaufgaben zufällig, also beispielsweise unter Verwendung eines Zufallszahlengenerators, auszuwählen. Im Übrigen wird darauf hingewiesen, dass der Schritt 130 des Überprüfens, ob eine Testaufgabe für den Aufgabentyp in der Datenbank verfügbar ist, und der Schritt 140 des Auswählens mindestens einer Testaufgabe für den Aufgabentyp sehr eng miteinander verbunden sein können. So kann beispielsweise auch der Versuch unternommen werden, eine Testaufgabe aus der Datenbank 110 auszuwählen. Ist das Auswählen nicht erfolgreich, so kann in diesem Fall festgestellt werden, dass für den vorgegebenen Aufgabentyp 120 keine Testaufgabe in der Datenbank vorhanden ist.
Ist in dem zweiten Schritt 140 mindestens eine Testaufgabe für den Aufgabentyp ausgewählt, so kann dann in einem dritten Schritt 150 die ausgewählte Testaufgabe in eine Menge von ausgewählten Testaufgaben übernommen werden.
Andererseits kann eine Ausnahmebehandlung 160 durchgeführt werden, wenn in dem ersten Schritt 130 festgestellt wird, dass für den vorgegebenen Aufgabentyp 120 keine Testaufgabe in der Datenbank verfügbar ist. Ist dies der Fall, so wird in einem Schritt 164 in der Datenbank eine Testaufgabe gesucht, die eine vorgegebene Ersetzungsregel erfüllt. Die Ersetzungsregel liefert hierbei Anweisungen, welche Kriterien eine Ersatz-Testaufgabe, die an die Stelle einer Testaufgabe von dem Aufgabentyp 120 tritt, zu dem in der Datenbank keine Testaufgabe verfügbar ist, erfüllen muss. Die Ersetzungsregel kann hierbei also beispielsweise ausdrücken, dass für einen vorgegebenen Aufgabentyp 120, zu dem in der Datenbank keine Testaufgabe verfügbar ist, eine Ersatz-Testaufgabe von einem Ersatz-Aufgabentyp verwendet werden darf.
Die Ersetzungsregel kann hierbei beispielsweise ein oder mehrere Kriterien festlegen, gemäß denen Testaufgaben in der Datenbank 110 als verfügbar klassifiziert werden. In anderen Worten, die Testaufgabe kann auch einen Filter spezifizieren, mit dessen Hilfe die Datenbank 110 nach verfügbaren Aufgaben durchsucht wird. Der von der Ersetzungsregel vorgegebene Filter für die Datenbanksuche ist hierbei bevorzugterweise breiter als ein ursprünglicher Filter, der verwendet wird, um zu bestimmen, ob eine Testaufgabe für den Aufgabentyp in der Datenbank verfügbar ist. Anstelle eines breiteren Filters kann auch ein veränderter Filter (in dem beispielsweise der vorgegebene Aufgabentyp 120 durch einen Ersatz-Aufgabentyp ersetzt ist) durch die Ersetzungsregel definiert werden. Die Ersetzungsregel kann hierbei freilich spezifisch für einen vorgegebenen Aufgabentyp 120 sein.
Wird in einem Schritt 168 festgestellt, dass in der Datenbank 110 in dem Schritt 164 eine Aufgabe gefunden wurde, die die vorgegebene Ersetzungsregel erfüllt, so wird in einem weiteren Schritt 172 die gefundene Testaufgabe, die die Ersetzungsregel erfüllt, in die Menge der ausgewählten Testaufgaben übernommen. Wird hingegen in der Datenbank 110 keine Ersatz-Testaufgabe gefunden, die die Ersetzungsregel erfüllt, so wird die Ausnahmebehandlung 160 beendet, ohne eine Testaufgabe in die Menge der ausgewählten Testaufgaben zu übernehmen.
Es sei hier im Übrigen darauf hingewiesen, dass die Ersetzungsregel durchaus eine mehrstufige Ersetzungsregel sein kann. In anderen Worten, die mehrstufige Ersetzungsregel kann mehrere Teil-Ersetzungsregeln umfassen, die mit absteigender Priorität behandelt werden. Mit anderen Worten, eine Teil-Ersetzungsregel mit einer niedrigeren Priorität wird erst dann angewendet, wenn eine Ersetzungsregel mit einer höheren Priorität kein Ergebnis liefert. So kann ein für die Auswertung der Datenbank 110 verwendetes Filter für eine Suche einer Ersatz-Testaufgabe schrittweise erweitert bzw. verändert werden. Somit kann erreicht werden, dass weniger bevorzugte Ersetzungen einer Testaufgabe durch eine Ersatz-Testaufgabe (gemäß einer weniger bevorzugten Teil-Ersetzungsregel niedriger Priorität) nur dann stattfinden, wenn bevorzugte Ersetzungen (gemäß einer bevorzugten Teil-Ersetzungsregel hoher Priorität) nicht möglich sind.
Schließlich wird darauf hingewiesen, dass das in der 1 gezeigte Flussdiagramm 100 für eine Mehrzahl von Aufgabentypen ausgeführt werden kann. Nach dem Übernehmen der ausgewählten Testaufgabe in die Menge der ausgewählten Testaufgaben in dem dritten Schritt 150 oder nach der Abarbeitung der Ausnahmebehandlung 160 wird somit in einem Prüfschritt 180 bevorzugt überprüft, ob ein weiterer Aufgabentyp zu bearbeiten ist. Ist dies der Fall, so wird in einem Schritt 182 ein neuer Aufgabentyp ausgewählt, und das gezeigte Verfahren wird wiederholt. Sind alle zu behandelnden Aufgabentypen abgearbeitet, so werden schließlich die ausgewählten Testaufgaben in einem Ausgabeschritt 190 ausgegeben. Hierbei können die ausgewählten Testaufgaben beispielsweise visuell und/oder akustisch und/oder taktil an einen Benutzer ausgegeben werden. Die Testaufgaben können ferner ausgedruckt oder optional auf einem Datenträger zur Verwendung durch einen Benutzer gespeichert werden. Somit werden die dem Benutzer gegenüber ausgegebenen ausgewählten Testaufgaben durch den Ablauf des beschriebenen Algorithmus 100 bestimmt.
Existiert zu einem zu verwendenden Aufgabentyp 120 keine geeignete Testaufgabe, so wird dem Benutzer eine Ersatz-Testaufgabe präsentiert, die gemäß der Ersetzungsregel ausgewählt wird. Somit kann gewährleistet werden, dass immer eine bestmögliche Zusammenstellung von Testaufgaben, in der die Aufgabentypen möglichst ausgeglichen vertreten sind, zur Verfügung gestellt wird. Ferner kann gewährleistet werden, dass gegenüber dem Benutzer stets eine bestimmte Anzahl von Testaufgaben ausgegeben wird, selbst wenn zu einzelnen Aufgabentypen keine Testaufgaben mehr verfügbar sind.
Damit ermöglicht das erfindungsgemäße Verfahren die automatisierte Erzeugung von stets ausgewogen und/oder nutzerangepasst zusammengestellten Tests, wobei die Ausnahmebehandlung 160 durch mindestens eine vorgegebene Ersetzungsregel wohl definiert ist.
2 zeigt eine graphische Darstellung eines beispielhaften Datenbankeintrags für eine Testaufgabe. Der beispielhafte Datenbankeintrag ist in seiner Gesamtheit mit 200 bezeichnet. Die Datenbank weist hierbei Einträge für eine Mehrzahl von Testaufgaben auf, von denen in 2 zwei gezeigt sind. Die hier gezeigten Datenbankeinträge sind im Übrigen als beispielhaft zu verstehen, wobei bei einer tatsächlichen Implementierung einzelne Einträge entfallen können. Andererseits können auch zusätzliche Einträge hinzukommen.
In einer Datenbank wird es bevorzugt, dass einer jeden Testaufgabe ein eindeutiger Aufgabenidentifizierer 210 beispielsweise in Form einer laufenden Nummer zugeordnet ist. Ferner wird es bevorzugt, dass einer Aufgabe ein Aufgabentyp-Identifizierer 212 (z. B. „A") zugeordnet ist. Der Aufgabentyp-Identifizier 212 kann hierbei beispielsweise die Art der Aufgabe (z. B. Sortieraufgabe, Multiple-Choice-Aufgabe, Bildbeschriftungsaufgabe, Rechenaufgabe, ...) beschreiben. Ferner kann der Datenbankeintrag zu einer Testaufgabe einen Schwierigkeitsgrad-Identifizierer 214 umfassen, der bevorzugterweise eine Schwierigkeit der Aufgabe als einen numerischen Wert darstellt. Ferner um fasst der Datenbankeintrag bevorzugterweise ein Schon-Gelöst-Flag 216, das anzeigt, ob eine Aufgabe von einem Benutzer schon erfolgreich gelöst wurde. Das Schon-Gelöst-Flag kann beispielsweise ein binärer bzw. boolescher Eintrag sein. Ferner kann der Datenbankeintrag einen zu einem Benutzer gehörigen Fehlversuch-Zähler 218 umfassen, der beispielsweise angibt, wie oft ein Benutzer eine Aufgabe schon erfolglos bzw. mit falschem Ergebnis gelöst hat.
Weiterhin kann der Datenbankeintrag einen Zeitdauer-Identifizierer 220 umfassen, in dem in codierter Form eine für eine Aufgabe zulässige bzw. in Anspruch genommene Bearbeitungszeit eingetragen ist. Schließlich kann der Datenbankeintrag 200 auch einen Verweis 222 auf einen zu der jeweiligen Testaufgabe gehörigen Text oder auf sonstige zu der Testaufgabe gehörige Informationen (z. B. Bilder, Audioinformationen, Animationen oder sonstige Multimedia-Informationen) umfassen, wobei der Text oder die sonstige Information als tiefer gehende Information betrachtet werden kann. Ebenso ist es möglich, dass der Datenbankeintrag 200 ein Textfeld 224 umfasst, in dem direkt ein Aufgabentext oder zumindest eine Überschrift der Aufgabe eingetragen ist. Schließlich kann auch ein codierter Themenbereich-Identifizierer 226 Teil des Datenbankeintrags 200 sein. Die Informationen in dem Datenbankeintrag 200 einer Testaufgabe können bei einer Suche in der Datenbank verwendet werden, um verfügbare Aufgaben auszuwählen, und um ferner eine Anzeige und eine Auswertung der jeweiligen Testaufgaben zu ermöglichen.
Es sei ferner darauf hingewiesen, dass beispielsweise in einer Mehrbenutzer-Umgebung das Schon-Gelöst-Flag 216 und der Fehlversuch-Zähler 218 in einer separaten Tabelle für eine Mehrzahl von Benutzern individuell abgespeichert sein können, dass also das Schon-Gelöst-Flag 216 und der Fehlversuchzähler 218 benutzerspezifische Informationen darstellen, die einem Benutzer zugeordnet sind.
Im Übrigen wird darauf hingewiesen, dass ein Datenbankeintrag 200 zu einer Aufgabe noch eine Vielzahl von weiteren Feldern umfassen kann. So kann eine Datenbank Verweise auf Hilfetexte und weitergehende Informationen umfassen. Ferner kann der Datenbankeintrag 200 auch zusätzliche Informationen umfassen, die für eine Auswertung der Aufgabe relevant sind, wie beispielsweise Informationen über eine korrekte Antwort oder über eine Punktzahl, die ein Prüfling durch korrektes Lösen der Aufgabe erhalten kann. All diese Informationen können sowohl bei der Auswahl der Aufgabe verwendet werden als auch bei der späteren Ausgabe der Aufgabe und bei der anschließenden Auswertung einer Benutzereingabe.
3 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Ermitteln der verfügbaren Testaufgaben aus einer Datenbank, die alle Testaufgaben (gegebenenfalls aufgeteilt auf mehrere Tabellen für verschiedene Aufgabentypen) umfasst. Das erfindungsgemäße Verfahren ist in seiner Gesamtheit mit 300 bezeichnet. Hierbei wird davon ausgegangen, dass eine Datenbank 310 einen vollständigen Satz von Testaufgaben umfasst, wobei jeder Testaufgabe zumindest ein Aufgabentyp, ein Schon-Erfolgreich-Gelöst-Flag sowie ein Schwierigkeitsgrad zugeordnet sind. In dem ersten Schritt 320 werden aus der Datenbank 310 diejenigen Testaufgaben ausgefiltert, bei denen das Schon-Erfolgreich-Gelöst-Flag gesetzt ist. In dem ersten Schritt 320 wird ferner durch eine geeignete Festlegung eines Filters 324 sichergestellt, dass nur Aufgaben des gerade zu verarbeitenden Aufgabentyps (beispielsweise des Aufgabentyps „A") berücksichtigt werden. Der Filter 324 kann ferner so ausgelegt sein, dass auch ein Themenbereich-Identifizierer (z. B. der Themenbereich-Identifizierer „0x01", der das Thema 1 beschreibt) ausgewertet wird, so dass nur Aufgaben von dem gewünschten Thema ausgewählt werden. Schließlich wird es bevorzugt, dass in dem Filter 324 das Schon-Erfolgreich-Gelöst-Flag auf „0" gesetzt wird, so dass nur Aufgaben ausgelesen werden, die von dem Benutzer noch nicht erfolg reich gelöst wurden. Die anderen Felder des Datenbankeintrags 200 müssen beispielsweise bei der Filterung nicht berücksichtigt werden und dürfen beispielsweise einen beliebigen Wert (angezeigt durch einen Stern „*") annehmen.
Wird auch ein Schwierigkeitsgrad der Testaufgaben mit berücksichtigt, so kann in einem zweiten Schritt 330 eine entsprechende zusätzliche Filterung angewendet werden, so dass Testaufgaben, deren Schwierigkeitsgrad sich von dem gegebenen Schwierigkeitsgrad unterscheidet, ausgefiltert bzw. nicht in die Menge der verfügbaren Aufgaben übernommen werden. Es sei hierbei darauf hingewiesen, dass die Berücksichtigung des Schwierigkeitsgrads in dem zweiten Schritt 330 optional ist. Ist eine Berücksichtigung des Schwierigkeitsgrads vorgesehen, so können auch der erste Schritt 320 und der zweite Schritt 330 kombiniert durchgeführt werden. Anschließend an die Filterschritte 320, 330 steht dann eine Menge von verfügbaren Testaufgaben, die noch nicht erfolgreich gelöst wurden, zur Verfügung. Diese Menge von Testaufgaben kann beispielsweise durch eine Liste von Aufgaben-Identifizierern 210 beschrieben sein. Ebenso kann die Menge von verfügbaren Testaufgaben, die noch nicht gelöst wurden, auch eine Kopie von Datenbankeinträgen 200 umfassen. Im Übrigen wird auch darauf hingewiesen, dass es nicht zwingend erforderlich ist, eine Menge von verfügbaren Testaufgaben explizit bereitzustellen, solange gewährleistet ist, dass bei einer weiteren Verarbeitung eben die als verfügbar klassifizierten Testaufgaben berücksichtigt werden.
Die 4A und 4B zeigen einen ersten Teil und einen zweiten Teil eines Flussdiagramms eines erfindungsgemäßen Verfahrens zum Zusammenstellen eines Tests gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
Die 4A und 4B zeigen hierbei ein Verfahren, das eine Ausnahmebehandlung bei der Auswahl von Testaufgaben für einen Aufgabentyp ermöglicht. Es sei hierbei darauf hingewiesen, dass das in den 4A und 4B gezeigte Verfahren im Rahmen einer erfindungsgemäßen Testzusammenstellung mehrmals für verschiedene Aufgabentypen durchlaufen werden kann. Es sei ferner darauf hingewiesen, dass für einen vorgegebenen Aufgabentyp entweder nur eine Aufgabe oder eine vorgegebene Anzahl von Aufgaben gesucht werden können, wobei die vorgegebene Anzahl für verschiedene Aufgabentypen unterschiedlich sein kann.
Das in den 4A und 4B gezeigte Verfahren zur Zusammenstellung eines Tests mit einer hierarchischen Ausnahmebehandlung ist mit 400A bzw. 400B bezeichnet. Hierbei wird in einem ersten Schritt 410 versucht, in einer Datenbank eine vorgegebene Anzahl von als noch nicht gelöst markierten Aufgaben eines vorgegebenen Schwierigkeitsgrads zu identifizieren.
Wird in einem Schritt 412 festgestellt, dass die vorgegebene Anzahl von Aufgaben (bevorzugter Weise genau eine Aufgabe) erfolgreich identifiziert wurde, so werden die identifizierten Aufgaben in einem Schritt 414 in eine Menge ausgewählter Aufgaben übernommen. Im Anschluss an den Schritt 414 kann das gezeigte Verfahren für einen anderen Aufgabentyp wiederholt werden, bis alle zu bearbeitenden Aufgabentypen bearbeitet sind. Durch das Übernehmen von identifizierten Aufgaben in eine Menge ausgewählter Aufgaben entsteht somit ein Test, der an einen Benutzer ausgegeben werden kann.
Wird in dem Schritt 412 allerdings festgestellt, dass zu einem vorgegebenen Aufgabentyp und einem vorgegebenen Schwierigkeitsgrad in der Datenbank nicht die vorgegebene Anzahl von Testaufgaben (also beispielsweise nicht mindestens eine Testaufgabe) verfügbar ist, so wird in einem Schritt 420 versucht, in der Datenbank mindestens eine Ersatz-Testaufgabe von einem zulässigen Ersatz-Aufgabentyp oder aus einer Menge von mehreren zulässigen Ersatz-Aufgabentypen zu identifizieren. Als zulässige Ersatz-Aufgabentypen können hierbei alle in der Datenbank vorhan denen Aufgabentypen verwendet werden, oder es können zu dem vorgegebenen Aufgabentyp ein oder mehrere Ersatz-Aufgabentypen mittels einer Ersetzungsregel bestimmt werden. Die Auswahl von Ersatz-Aufgabentypen wird im Übrigen später anhand der 5A, 5B, 6A und 6B näher erläutert.
Können eine oder mehrere Ersatz-Testaufgaben von dem Ersatz-Aufgabentyp oder aus der Menge von mehreren zulässigen Ersatz-Aufgabentypen identifiziert werden, so werden die identifizierten Ersatz-Testaufgaben wiederum in dem Schritt 414 in die Menge ausgewählter Testaufgaben übernommen, und die Abarbeitung des Algorithmus wird für einen weiteren Aufgabentyp aus der Menge von zu bearbeitenden Aufgabentypen wiederholt, bis alle zu bearbeitenden Aufgabentypen bearbeitet sind. Wird allerdings in dem Schritt 422 festgestellt, dass zu dem in dem Schritt 420 identifizierten Ersatz-Aufgabentypen oder der Menge von identifizierten Ersatz-Testaufgaben keine Ersatz-Testaufgabe von dem vorgegebenen Schwierigkeitsgrad in der Datenbank verfügbar ist, die als noch nicht gelöst markiert ist (bzw. nicht genügend Ersatz-Testaufgaben verfügbar sind), so wird in einem Schritt 424 versucht, in der Datenbank Ersatz-Testaufgaben mit einem zulässigen Ersatz-Schwierigkeitsgrad zu identifizieren. In anderen Worten, aus dem vorgegebenen Schwierigkeitsgrad wird ein zulässiger Ersatz-Schwierigkeitsgrad abgeleitet. Hierbei kann beispielsweise davon ausgegangen werden, dass, wenn zu einem vorgegebenen Schwierigkeitsgrad keine zulässigen Ersatz-Testaufgaben in der Datenbank verfügbar sind, Ersatz-Testaufgaben mit einem anderen als dem vorgegebenen Schwierigkeitsgrad identifiziert werden sollen. Dabei kann beispielsweise festgelegt werden, dass der Ersatz-Schwierigkeitsgrad um eine vorgegebene Abweichung, z. B. eine Schwierigkeitsgradstufe, größer als der vorgegebene Soll-Schwierigkeitsgrad sein darf. Ein vorgegebener Soll-Schwierigkeitsgrad bzw. Ersatz-Schwierigkeitsgrad kann hierbei im Übrigen auch ein Intervall von Schwierigkeitsgraden umfassen. Ferner können auch mehrere Schwierigkeitsgrade (bzw. Intervalle von Schwierig keitsgraden) sukzessive überprüft werden, um in dem Schritt 424 in der Datenbank eine Ersatz-Testaufgabe mit einem zulässigen Ersatz-Schwierigkeitsgrad zu identifizieren.
Ferner sei darauf hingewiesen, dass in dem Schritt 424 entweder nur Testaufgaben in der Datenbank von dem vorgegebenen Aufgabentyp oder zusätzlich Testaufgaben mit einem oder mehreren zusätzlichen Ersatz-Aufgabentypen herangezogen werden können, um eine Ersatz-Testaufgabe zu identifizieren.
Wird also in dem Schritt 430 festgestellt, dass in dem Schritt 424 eine Ersatz-Testaufgabe mit dem vorgegebenen Aufgabentyp und dem Ersatz-Schwierigkeitsgrad oder auch (optional) eine Ersatz-Testaufgabe mit einem zulässigen Ersatz-Aufgabentyp und einem zulässigen Ersatz-Schwierigkeitsgrad identifiziert werden konnte, so wird die identifizierte Testaufgabe wiederum in dem Schritt 414 in die Menge ausgewählter Aufgaben übernommen. In diesem Fall kann ferner die Ausgabe einer Nachricht an den Benutzer initiiert werden, um dem Benutzer anzuzeigen, dass eine Testaufgabe mit einem Ersatz-Schwierigkeitsgrad verwendet wurde. Die entsprechende Ausgabe ist allerdings als optional anzusehen. Die Ausgabe kann ferner direkt bei der Zusammenstellung des Tests erfolgen oder auch erst nachgelagert, wenn die entsprechende Ersatz-Testaufgabe mit dem Ersatz-Schwierigkeitsgrad an den Benutzer ausgegeben wird.
Kann allerdings keine Testaufgabe mit dem Ersatz-Schwierigkeitsgrad und dem vorgegebenen Aufgabentyp oder gegebenenfalls auch einem zulässigen Ersatz-Aufgabentyp identifiziert werden, so wird in einem Schritt 434 eine Nachricht an den Benutzer ausgegeben, dass nur ein reduzierter Test durchgeführt werden kann. Daraufhin wird in einem Schritt 438 eine Eingabe des Benutzers eingelesen. Zeigt die in dem Schritt 438 eingelesene Eingabe des Benutzers an, dass der Benutzer mit einem reduzierten Test einverstanden ist, so werden, falls nötig, Testaufgaben von anderen zu verwendenden Aufgabentypen ausgewählt und in die Menge ausgewählter Aufgaben übernommen, wobei wiederum das gleiche Verfahren angewendet wird. Sind für alle zu bearbeitenden Aufgabentypen Testaufgaben bzw. Ersatz-Testaufgaben in die Menge ausgewählter Aufgaben übernommen, so wird schließlich in einem Schritt 446 ein reduzierter Test mit Aufgaben aus der Menge ausgewählter Aufgaben durchgeführt.
Zeigt allerdings die in dem Schritt 438 eingelesene Eingabe des Benutzers an, dass der Benutzer mit einem reduzierten Test nicht einverstanden ist, so wird in einem Schritt 450 die laufende Testzusammenstellung abgebrochen. Daraufhin kann ein Benutzer beispielsweise ein anderes Themengebiet wählen oder die Testzusammenstellung kann nach Ablauf einer vorgegebenen Wartezeit wiederholt werden. Letztere Möglichkeit ist vorteilhaft, wenn davon auszugehen ist, dass zu der Datenbank von Testaufgaben neue Testaufgaben hinzugefügt werden können, so dass gegebenenfalls nach Ablauf der Wartezeit genügend Testaufgaben zur Verfügung stehen. Das Wiederholen der Testzusammenstellung nach Ablauf einer Wartezeit, die beispielsweise durch eine Zeitgebereinrichtung bestimmt sein kann, ermöglicht somit eine Durchführung eines vollständigen Tests, sobald genügend Testaufgaben verfügbar sind.
5A zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Identifizieren einer Ersatz-Testaufgabe mit einem Ersatz-Aufgabentyp in einer Testaufgaben-Datenbank unter Verwendung einer Ersatz-Aufgabentyp-Tabelle. Das in der 5A gezeigte Verfahren ist in seiner Gesamtheit mit 500 bezeichnet. Zur Durchführung des Verfahrens 500 wird davon ausgegangen, dass eine Ersatz-Aufgabentyp-Tabelle (auch als Aufgabentyp-Ersetzungstabelle bezeichnet) vorhanden ist, wie sie beispielsweise in 5B gezeigt ist. Eine erfindungsgemäße Aufgabentyp-Ersetzungstabelle beschreibt zu jedem Aufgabentypen einen oder mehrere Ersatz-Aufgabentypen. Hierbei legt die Anordnung der Ersatz- Aufgabentypen in der Tabelle typischerweise eine Priorität bei der Überprüfung der Ersatz-Aufgabentypen bzw. bei der Suche von Ersatz-Testaufgaben mit einem Ersatz-Aufgabentyp fest. Im Übrigen wird darauf hingewiesen, dass es auch vorkommen kann, dass es zu einem Aufgabentypen keinen Ersatz-Aufgabentypen gibt.
Gemäß der Aufgabentyp-Ersetzungstabelle kann somit einem vorgegebenen Aufgabentyp kein Ersatz-Aufgabentyp, genau ein 1 Ersatz-Aufgabentyp oder eine Mehrzahl von Ersatz-Aufgabentypen zugeordnet sein, wobei die Ersatz-Aufgabentypen typischerweise eine Reihenfolge bzw. verschiedene Prioritäten aufweisen. Eine Aufgabentyp-Ersetzungstabelle kann in Form einer herkömmlichen Tabelle, aber auch beispielsweise als eine verkettete Liste realisiert sein.
Es wird ferner darauf hingewiesen, dass das gezeigte Verfahren 500 beispielsweise die Schritte 420 und 422 des Verfahrens 400A, 400B beschreibt.
Das Verfahren 500 wird also durchgeführt, wenn in der Datenbank nicht die vorgegebene Anzahl von als noch nicht gelöst markierten Aufgaben des vorgegebenen Aufgabentyps und des vorgegebenen Schwierigkeitsgrads identifiziert wurde. In diesem Fall wird in einem ersten Schritt 510 ein erster Ersatz-Aufgabentyp in einer Ersatz-Aufgabentyp-Tabelle (bzw. Aufgabentyp-Ersetzungstabelle) gesucht. Wird der erste Ersatz-Aufgabentyp in der Ersatz-Aufgabentyp-Tabelle gefunden, so wird der erste Ersatz-Aufgabentyp als aktueller Ersatz-Aufgabentyp übernommen, und es wird folglich in einem zweiten Schritt 520 in der Testaufgaben-Datenbank eine Ersatz-Testaufgabe von dem ersten Ersatz-Aufgabentyp gesucht. Wird in einem dritten Schritt 524 festgestellt, dass eine Ersatz-Testaufgabe von dem ersten Ersatz-Aufgabentyp gefunden wurde, so kann die Ersatz-Testaufgabe in einem vierten Schritt 528 verwendet, d. h. beispielsweise in die Menge ausgewählter Aufgaben übernom men, werden. Wird aber keine Ersatz-Testaufgabe von dem ersten Ersatz-Aufgabentyp gefunden, so wird in einem fünften Schritt 532 geprüft, ob in der Ersatz-Aufgabentyp-Tabelle ein weiterer Ersatz-Aufgabentyp vorhanden ist. Ist dies der Fall, so wird in einem sechsten Schritt 536 der weitere Ersatz-Aufgabentyp aus der Ersatz-Aufgabentyp-Tabelle als aktueller Ersatz-Aufgabentyp übernommen, und das Verfahren wird in der gezeigten Weise mit dem neuen aktuellen Ersatz-Aufgabentyp wiederholt. Es wird also wieder in der Testaufgaben-Datenbank eine Ersatz-Testaufgabe von dem neuen aktuellen Ersatz-Aufgabentyp gesucht.
Wird aber in dem Schritt 532 festgestellt, dass in der Ersatz-Aufgabentyp-Tabelle kein weiterer Ersatz-Aufgabentyp zu dem vorgegebenen Aufgabentyp vorhanden ist, so wird das gezeigte Verfahren mit dem Schritt 540 abgebrochen, wobei bevorzugterweise einem übergeordneten Algorithmus mitgeteilt wird, dass keine Ersatz-Testaufgabe von einem zulässigen Ersatz-Aufgabentyp gefunden wurde.
In anderen Worten, bei dem erfindungsgemäßen Verfahren 500 wird für einen oder mehrere Ersatz-Aufgabentypen, die in der Ersatz-Aufgabentyp-Tabelle abgelegt sind, geprüft, ob eine Ersatz-Testaufgabe in der Testaufgaben-Datenbank verfügbar ist. Die Reihenfolge, in der die möglichen Ersatz-Aufgabentypen zu einem vorgegebenen Aufgabentyp abgearbeitet werden, ist wiederum durch die Ersatz-Aufgabentyp-Tabelle festgelegt.
Ferner wird darauf hingewiesen, dass es zu einem vorgegebenen Aufgabentyp keinen Ersatz-Aufgabentyp, einen Ersatz-Aufgabentyp oder mehrere Ersatz-Aufgabentypen geben kann. Ferner ist es möglich, dass für einen Aufgabentyp alle anderen Aufgabentypen als Ersatz-Aufgabentypen fungieren können. Je nach den Gegebenheiten kann die Aufgabentyp-Ersetzungstabelle daher in verschiedener Form codiert sein. Beispielsweise kann eine klassische Tabelle mit einer vorgegebenen Anzahl von Spalten verwendet werden. Ebenso gut kann jedoch auch eine verkettete Liste zur Speicherung der Ersatz-Aufgabentyp-Tabelle verwendet werden. Im Übrigen kann die Ersatz-Aufgabentyp-Tabelle auch durch eine anderweitige Beschreibungsform (z. B. „alle außer dem vorgegebenen Aufgabentyp") beschrieben sein. Die Ersatz-Aufgabentyp-Tabelle kann im Übrigen statisch vorgegeben sein, oder kann beim Hinzufügen von neuen Aufgabentypen automatisch aktualisiert werden.
5B zeigt eine beispielhafte Ersatz-Aufgabentyp-Tabelle (auch als Aufgabentyp-Ersetzungstabelle bezeichnet). Die Aufgabentyp-Ersetzungstabelle der 5B ist in ihrer Gesamtheit mit 570 bezeichnet. Der Aufgabentyp ist wiederum durch einen Aufgabentyp-Identifizierer 572 (z. B. „A", „B", ...) beschrieben. Zu einem Aufgabentyp (z. B. dem Aufgabentyp „A") existiert dann eine Anzahl von Ersatz-Aufgabentypen 574, 576, 578 (beispielsweise Aufgabentypen „B" und „C"), die, geordnet nach Priorität, in die Ersatz-Aufgabentyp-Tabelle eingetragen sind. Hierbei müssen freilich nicht alle Felder der Ersatz-Aufgabentyp-Tabelle gefüllt sein. Bei dem gezeigten Beispiel wird der Aufgabentyp „A" bevorzugt durch den Aufgabentyp „B" ersetzt. Falls für den Aufgabentyp „B" keine Ersatz-Testaufgabe existiert, so wird ferner versucht, den Aufgabentyp „A" durch den Aufgabentyp „C" zu ersetzen. In ähnlicher Weise wird der Aufgabentyp „B" bevorzugt durch den Aufgabentyp „A" ersetzt und, falls eine Ersetzung durch den Aufgabentyp „A" nicht möglich ist, durch den Aufgabentyp „C". Der Aufgabentyp „D" kann nur durch den Aufgabentyp „E" ersetzt werden und umgekehrt. Für den Aufgabentyp „F" existiert gemäß der beispielhaften Ersatz-Aufgabentyp-Tabelle 570 kein zulässiger Ersatz-Aufgabentyp, d. h. der Aufgabentyp „F" kann nicht durch eine Ersatzaufgabe von einem anderen Aufgabentyp ersetzt werden.
Die 6A zeigt ferner ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Identifizieren eines zulässigen Ersatz-Aufgabentyps zu einem vorgegebenen Aufgabentyp. Das in der 6A gezeigte Verfahren ist in seiner Gesamtheit mit 600 bezeichnet. Hierbei wird davon ausgegangen, dass Aufgabentypen durch Aufgabentypmerkmalsvektoren beschrieben sind, dass also jedem Aufgabentyp ein Aufgabentypmerkmalsvektor zugeordnet ist. Ferner wird davon ausgegangen, dass ein Verfahren existiert, um zwischen zwei gegebenen Aufgabentypmerkmalsvektoren von unterschiedlichen Aufgabentypen ein quantitatives Maß für einen Unterschied zu bestimmen. Hierbei können einzelne Merkmale des Aufgabentypmerkmalsvektors verschieden gewichtet werden. Im Übrigen wird darauf hingewiesen, dass es sich bei dem Aufgabentypmerkmalsvektor auch um einen Skalar (d. h. um einen Vektor mit nur einem Eintrag) handeln kann. Ein Aufgabentypmerkmalsvektor, der bevorzugt mehrere numerisch ausdrückbare Kriterien beschreibt, eignet sich hierbei besonders gut für eine Verarbeitung durch eine elektronische Rechenanlage. Eine Abstandsfunktion kann bevorzugt den Unterschied zwischen zwei Aufgabentypmerkmalsvektoren in Form eines numerischen Werts oder einer diskret ausdrückbaren Abstandsinformation liefern, wobei eine Berechnung der Abstandsfunktion beispielsweise durch eine Auswertung einer mathematischen Norm erfolgen kann.
Gemäß dem erfindungsgemäßen Verfahren 600 wird somit für einen vorgegebenen zu ersetzenden Aufgabentyp (für den keine Testaufgabe in der Datenbank verfügbar ist) der zugehörige Aufgabentypmerkmalsvektor ermittelt. Dieser kann beispielsweise aus einer Tabelle entnommen oder auch aus den in der Datenbank abgelegten und zu dem Aufgabentyp gehörigen Informationen extrahiert werden. Für einen potentiellen Ersatz-Aufgabentyp wird dann in ähnlicher Weise ein weiterer Aufgabentypmerkmalsvektor (wiederum bevorzugt aus einer Tabelle) ermittelt. Daraufhin wird in einem Schritt 610 ein quantitatives Maß für einen Unterschied zwischen den Aufgabentypmerkmalsvektoren des zu ersetzenden Aufgabentyps und des potentiellen Ersatz-Aufgabentyps ermittelt. Wird ferner in einem Schritt 620 festgestellt, dass ein Unterschied zwischen den Aufgabentypmerkmalsvektoren des zu ersetzenden Aufgabentyps und des potentiellen Ersatz-Aufgabentyps kleiner oder gleich einer vorgegebenen Schwelle ist, so wird der potentielle Ersatz-Aufgabentyp in einem Schritt 630 in eine Menge von möglichen Ersatz-Aufgabentypen übernommen.
Daraufhin wird in einem Schritt 640 überprüft, ob noch ein weiterer potentieller Ersatz-Aufgabentyp verfügbar ist. Ist dies der Fall, so wird das beschriebene Verfahren wiederholt, es wird also wiederum ein quantitatives Maß für den Unterschied zwischen den Aufgabentypmerkmalsvektoren des zu ersetzenden Aufgabentyps und des weiteren potentiellen Ersatz-Aufgabentyps ermittelt. Wird in dem Schritt 640 aber festgestellt, dass kein weiterer potentieller Ersatz-Aufgabentyp verfügbar ist, so werden die in die Menge der möglichen Ersatz-Aufgabentypen übernommenen Aufgabentypen zum Identifizieren einer Ersatz-Testaufgabe verwendet.
Hierbei wird ferner darauf hingewiesen, dass die möglichen Ersatz-Aufgabentypen beispielsweise zusätzlich in eine Reihenfolge gebracht werden können, so dass ein möglicher Ersatz-Aufgabentyp, dessen Aufgabentypmerkmalsvektor sich am wenigsten von dem Aufgabentypmerkmalsvektor des vorgegebenen zu ersetzenden Aufgabentyps unterscheidet, mit der höchsten Priorität verwendet wird, während andere mögliche Ersatz-Aufgabentypen, die sich gemäß ihrem Aufgabentypmerkmalsvektoren mehr von dem zu ersetzenden Aufgabentyp unterscheiden, mit geringerer Priorität verwendet werden. Ferner ist anzumerken, dass die möglichen Ersatz-Aufgabentypen beispielsweise in eine Tabelle oder eine verkettete Liste eingetragen werden können.
Ferner sei darauf hingewiesen, dass die 6B eine beispielhafte graphische Darstellung einer Tabelle von Aufgabentypmerkmalsvektoren für verschiedene Aufgabentypen zeigt. Bei dem gegebenen Beispiel umfasst ein Aufgabentypmerkmalsvektor zu einem vorgegebenen Aufgabentyp beispiels weise einen Aufgabentyp-Identifizierer 670, einen Bearbeitungszeit-Identifizierer 674, der eine für eine Bearbeitung des Aufgabentyps vorgesehene Bearbeitungszeit beschreibt, sowie mehrere Anforderungs-Klassifizierer 678, 682, 686.
Die Anforderungs-Klassifizierer 678, 682, 686 beschreiben in codierter Form bzw. in Form von numerischen Werten verschiedene Anforderungskategorien, die ein Aufgabentyp an einen Benutzer stellt. So kann beispielsweise beschrieben werden, wie hoch die von einem Aufgabentyp an den Benutzer gestellten Anforderungen hinsichtlich des Wissens, hinsichtlich der Transferfähigkeit und/oder hinsichtlich der Konzentrationsfähigkeit sind. Hierbei sei darauf hingewiesen, dass für die Erstellung eines Aufgabentypmerkmalsvektors allerdings auch nur ein einzelnes der beschriebenen Merkmale eines Aufgabentyps (beispielsweise nur die Bearbeitungszeit) oder eine beliebige Kombination von Merkmalen verwendet werden kann. Aufgrund der Aufgabentypmerkmalsvektoren kann dann durch die Bestimmung eines mathematisch bzw. algorithmisch definierten Abstandsmaßes bestimmt werden, welche Aufgabentypen durch welche anderen Aufgabentypen ersetzt werden können. Eine Ersetzung ist typischerweise möglich, wenn Unterschiede zwischen Aufgabentyp-Merkmalsvektoren von verschiedenen Aufgabentypen hinreichend klein (also kleiner als ein vorgegebener maximaler Unterschied) sind. Die Anforderungskategorien des Anforderungs-Klassifizierers können ferner optional beispielsweise Anforderungen hinsichtlich Kommunikationsfähigkeit oder hinsichtlich einer Anwendung von Aussagenlogik und/oder abstrakter Logik umfassen.
7 zeigt ein Flussdiagramm eines weiteren erfindungsgemäßen Verfahrens zum Identifizieren einer Ersatz-Testaufgabe gemäß einem dritten Ausführungsbeispiel der vorliegenden Erfindung. Das in 7 gezeigte Verfahren ist in seiner Gesamtheit mit 700 bezeichnet. Es wird hierbei wiederum davon ausgegangen, dass ein Aufgabentyp und ein Schwierigkeitsgrad vorgegeben sind, wobei für den vorgegebenen Aufgabentyp und den vorgegebenen Schwierigkeitsgrad keine Testaufgabe in der Datenbank von Testaufgaben verfügbar ist. Somit wird in einem ersten Schritt 710 ein zulässiger Ersatz-Aufgabentyp zu dem vorgegebenen Aufgabentyp ermittelt, wozu beispielsweise eine Ersatz-Aufgabentyp-Tabelle 712 verwendet werden kann. In einem weiteren Schritt 720 wird geprüft, ob es zu einem identifizierten zulässigen Ersatz-Aufgabentyp und dem vorgegebenen Schwierigkeitsgrad eine Ersatz-Testaufgabe in der Datenbank von Testaufgaben gibt. Ist dies der Fall, so wird die Ersatz-Testaufgabe mit dem Ersatz-Aufgabentyp und dem vorgegebenen Schwierigkeitsgrad verwendet, d. h. in die Menge der ausgewählten Aufgaben übernommen.
Ist zu dem zulässigen Ersatz-Aufgabentyp und dem vorgegebenen Schwierigkeitsgrad keine Ersatz-Testaufgabe in der Datenbank verfügbar, so wird in einem Schritt 730 gemäß einer Ersatz-Schwierigkeitsgrad-Regel 732 ein zulässiger Ersatz-Schwierigkeitsgrad zu dem vorgegebenen Schwierigkeitsgrad ermittelt. Daraufhin wird in einem Schritt 740 geprüft, ob es zu dem zulässigen Ersatz-Schwierigkeitsgrad eine Ersatz-Testaufgabe in der Datenbank gibt, wobei entweder nur der vorgegebene Aufgabentyp oder weiterhin auch eine Menge von zulässigen Ersatz-Aufgabentypen geprüft wird. Gibt es zu einem zulässigen Ersatz-Schwierigkeitsgrad eine Ersatz-Testaufgabe in der Datenbank, so wird die identifizierte Ersatz-Testaufgabe verwendet, d. h. in die Menge der ausgewählten Aufgaben übernommen. Gibt es zu dem zulässigen Ersatz-Schwierigkeitsgrad aber keine Ersatz-Testaufgabe in der Datenbank, so wird eine weitere Fehlerbehandlung 750 durchgeführt. Die weitere Fehlerbehandlung 750 kann beispielsweise eine Ausgabe an einen Benutzer und eine Abfrage umfassen, ob der Benutzer mit der Durchführung eines verkürzten Tests einverstanden ist. Ferner wird darauf hingewiesen, dass, falls eine Ersatz-Testaufgabe mit einem zulässigen Ersatz-Schwierigkeitsgrad verwendet wird, eine Benachrichtigung des Benutzers durch Ausgabe einer Nachricht gegenüber dem Benutzer erzeugen kann.
8 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens zum Durchführen eines Tests gemäß einem vierten Ausführungsbeispiel der vorliegenden Erfindung. Das in 8 gezeigte Verfahren ist in seiner Gesamtheit mit 800 bezeichnet und beschreibt eine Testdurchführung.
In einem ersten Schritt 810 wird hierbei ein Schwierigkeitsgrad eingelesen. Ferner kann optional auch ein Themengebiet eingelesen werden. Es wird hier allerdings darauf hingewiesen, dass auf das Einlesen des Schwierigkeitsgrades verzichtet werden kann, wenn beispielsweise in einem elektronischen Lernsystem nur ein einziger Schwierigkeitsgrad möglich ist.
In einem zweiten Schritt 820 wird daraufhin ein Test unter Verwendung einer Datenbank von Testaufgaben zusammengestellt. Der zweite Schritt 820 kann beispielsweise ein Verfahren 100 gemäß der 1, ein Verfahren 300 gemäß der 3, ein Verfahren 400A, 400B gemäß den 4A, 4B, ein Verfahren 500 gemäß der 5A, ein Verfahren 600 gemäß der 6A und/oder ein Verfahren 700 gemäß der 7 umfassen.
In dem zweiten Schritt 820 wird also der Test unter Verwendung einer Datenbank zusammengestellt, wobei bevorzugt eine Ausnahmebehandlung durchgeführt wird, wenn zu einem zu berücksichtigenden Aufgabentypen der Datenbank keine Testaufgabe verfügbar ist, die einen passenden Schwierigkeitsgrad aufweist und die noch nicht von einem Benutzer korrekt beantwortet worden ist.
In einem dritten Schritt 830 wird ferner festgestellt, ob das Zusammenstellen des Tests erfolgreich ist. Ist dies nicht der Fall, so wird das erfindungsgemäße Verfahren abgebrochen. Ist das Zusammenstellen des Tests allerdings erfolgreich, so wird in einem vierten Schritt 840 der Test durchgeführt. Für mindestens eine Testaufgabe wird hierbei die Aufgabenstellung beispielsweise in visueller und/oder akustischer Form ausgegeben. Bevorzugt umfasst die Ausgabe der Testaufgabe eine visuelle Ausgabe eines Textes, eines Bildes, eines Videos, einer Animation, und/oder einer VRML-Welt (VRML=virtual reality modeling language=Sprache zur Beschreibung einer virtuellen Realität), wobei ein Verweis auf die auszugebende Visualisierung in der Datenbank gespeichert ist. Weiterhin wird es bevorzugt, auch eine akustische Information an einen Benutzer auszugeben. Somit dient die Datenbank dazu, verschiedene multimediale Quellen für eine Ausgabe der Testaufgabe durch Querverweise zu beschreiben bzw. zu verwalten. Die Zusammenstellung der Testaufgaben in dem Schritt 820 liefert hierbei eine übergeordnete Ablaufsteuerung für die Ausgabe verschienener multimedialer Inhalte. Die Zusammenstellung eines Tests im Schritt 820 erfolgt also derart, dass sich eine ausgewogene Ausgabe von multimedialen Inhalten ergibt, wobei mindestens eine Ersetzungsregel die Auswahl von Testaufgaben und damit den Ablauf der multimedialen Mensch-Maschine-Kommunikation festlegt.
Anschließend an eine Ausgabe einer Aufgabenstellung wird eine Antwort von dem Benutzer eingelesen. Die eingelesene Antwort wird dann bevorzugt ausgewertet, indem die eingelesene Antwort mit einer Vergleichs-Antwort-Information aus der Testaufgaben-Datenbank verglichen wird. Die Auswertung der eingelesenen Antwort kann aber auch auf anderem Wege erfolgen, beispielsweise durch Einbeziehung eines Tutors oder durch Eingeben der eingelesenen Antwort in ein neuronales Netz. Dieses Verfahren empfiehlt sich, wenn eine mögliche eingelesene Antwort aufgrund der vorliegenden Testaufgabe eine hohe Komplexität aufweisen kann und wenn also mehrere mögliche korrekte Antworten existieren. Bei einem Auswerten der eingelesenen Antwort kann ferner ein Unterschied zwischen der eingelesenen Antwort und einer in der Datenbank abgelegten und zu der ausgegebenen Testaufgabe gehörigen Vergleichsantwort bestimmt werden, wobei eine eingelesene Antwort als korrekt klassifiziert wird, wenn der Unterschied kleiner als ein vorgegebener maximal zulässiger Unterschied ist. Im Übrigen kann auch angenommen werden, dass eine eingelesene Antwort nur dann korrekt ist, wenn sie mit der zu der ausgegebenen Testfrage gehörigen Vergleichs-Antwort aus der Datenbank übereinstimmt. Im Übrigen kann bei der Bestimmung des Unterschieds zwischen der eingelesenen Antwort und einer Vergleichs-Antwort ein beliebiges Verfahren zur Bestimmung des Unterschieds zwischen zwei Eingaben verwendet werden. Für numerische Eingaben kann beispielsweise ein Toleranzintervall verwendet werden. Außerdem kann bei Fragen, bei denen mehrere mögliche Antworten existieren, beispielsweise das Fehlen von einer der mehreren möglichen Antworten toleriert werden, wobei die Eingabe dennoch als korrekt anerkannt wird. Basierend auf der Auswertung der eingelesenen Antwort wird dann eine codierte Information erzeugt, ob der Benutzer die Testaufgabe korrekt gelöst hat.
Im Übrigen sei darauf hingewiesen, dass das Ausgeben einer Aufgabenstellung, das Einlesen einer Antwort, das Auswerten der eingelesenen Antwort und das Erzeugen einer codierten Information, wenn die Mehrzahl von Testaufgaben, der Teil des Schritts 820 der zusammengestellten Tests sind, wiederholt werden kann.
Die codierte Information, die eine Information enthält, ob der Benutzer eine Testaufgabe korrekt gelöst hat, kann sodann (entweder direkt nach der Abarbeitung einer Testaufgabe oder nach Abarbeitung aller zu einem Test gehörigen Testaufgaben) in der Datenbank abgelegt werden. Die codierte Information kann in der Datenbank beispielsweise so abgelegt werden, dass sie einem Benutzer zugeordnet ist, wenn ein elektronisches Testsystem von mehreren Benutzern verwendet werden kann. Das Ablegung der codierten Information erfolgt hierbei in dem Schritt 850.
In einem weiteren Schritt 860 kann dann ein Testergebnis unter Verwendung der codierten Information erzeugt werden.
Das Testergebnis trägt beispielsweise eine Information darüber, wie viele Aufgaben ein Benutzer korrekt gelöst hat. Das Testergebnis kann ferner eine Zeitinformation beinhalten, die eine Aussage darüber trägt, wie lange ein Benutzer für eine Bearbeitung eines Tests benötigt hat, welche Defizite der Prüfling aufweist und/oder welche Themen bevorzugt behandelt werden sollten, um diese Defizite auszugleichen. Die Zeitinformation kann beispielsweise durch einen Zeitgeber, der Teil einer Vorrichtung zum Durchführen eines Tests ist, ermittelt werden. In anderen Worten, das Verfahren zum Durchführen eines Tests kann ein Starten eines elektronischen Zeitgebers sowie ein Auslesen des elektronischen Zeitgebers nach Beendigung der letzten zu einem zusammengestellten Test gehörigen Testaufgabe umfassen.
Das Testergebnis kann ferner in einem abschließenden Schritt 870 beispielsweise visuell und/oder akustisch oder in Form eines Ausdrucks an den Benutzer ausgegeben werden.
Durch das erfindungsgemäße Verfahren 800 zum Durchführen eines Test kann somit erreicht werden, dass bei einer wiederholten Durchführung des Verfahrens bereits korrekt beantwortete Testaufgaben nicht wiederholt verwendet werden. Bei einem Zusammenstellen des Test in dem Schritt 820 wird nämlich auf die Datenbank zugegriffen, wobei die Datenbank unter anderem eine Information darüber umfasst, ob ein Benutzer eine Testaufgabe bereits erfolgreich gelöst hat. In dem Schritt 850 hingegen wird durch Auswertung einer von dem Benutzer ausgelesenen Antwort eine codierte Information in der Datenbank abgelegt, die eben die Information trägt, ob der Benutzer die Testaufgabe schon korrekt gelöst hat. Somit ändert sich die Testzusammenstellung für jede wiederholte Durchführung des Verfahrens 800 basierend auf den von dem Benutzer eingelesenen Antworten. Folglich entsteht ein Testsystem, das an die Bedürfnisse des Benutzers, also beispielsweise einen Wunsch, korrekt beantwortete Testaufgaben nicht mehrmals vorgelegt zu bekommen, angepasst ist. Im Gegensatz zu herkömmlichen Verfahren zur Testzusammenstellung tritt bei dem erfindungsgemäßen Verfahren 800 allerdings nicht das Problem auf, dass ein Test nicht mehr durchgeführt werden kann, sobald ein Benutzer alle Testaufgaben auch nur eines Aufgabentypen korrekt gelöst hat. Durch das erfindungsgemäße Zusammenstellen eines Tests unter Verwendung einer Datenbank und unter Verwendung einer Ausnahmebehandlung können nämlich für einen Aufgabentypen, für den keine Testaufgaben mehr verfügbar sind, Ersatz-Testaufgaben identifiziert werden. Ersatz-Testaufgaben können gemäß vorgegebenen Ersetzungsregeln ferner so ausgewählt werden, dass sich weiterhin ein ausgewogener Test ergibt.
9 zeigt ein Flussdiagram eines erfindungsgemäßen Verfahrens zur Durchführung eines Test gemäß einem fünften Ausführungsbeispiel der vorliegenden Erfindung. Die 9 beschreibt dabei das Prinzip der dynamischen Testzusammenstellung. Das in 9 gezeigte Verfahren ist in seiner Gesamtheit mit 900 bezeichnet und umfasst in einem ersten Schritt 910 ein Einlesen eines Themenbereichs sowie ein Einlesen eines Schwierigkeitsgrades.
Optional kann ferner eine Anzahl von zu bearbeitenden Testaufgaben eingelesen werden, wenn diese nicht festgelegt ist. Die Anzahl von zu bearbeitenden Testaufgaben kann ferner von einer empfangenen Information über eine Anzahl von zu lösenden Testaufgaben abgeleitet werden. Damit können beispielsweise eine Anzahl von Testaufgaben pro Test sowie ein Schwierigkeitsgrad institutsabhängig festgelegt werden. Somit können beispielsweise bei einer Testdurchführung bei einer ersten Firma (oder im Auftrage einer ersten Firma) Tests aus 20 Aufgaben der Schwierigkeitsgrade 1 bis 5 zusammengestellt werden, während bei einer zweiten Firma Tests bestehend aus 30 Testaufgaben zusammengestellt werden.
Somit bringt eine Einrichtung zum Empfangen einer Anzahl und eines Schwierigkeitsgrades der zu bearbeitenden Testaufgaben in manchen Fällen einen Mehrwert, da damit eine einfache Anpassung der erfindungsgemäßen Einrichtung an verschiedene Anwendungsfälle bei verschiedenen Testinstituten (bzw. in verschiedenen Firmen) möglich wird. Ein besonderer Vorteil ergibt sich daraus im Rahmen einer Prüfungssituation.
Basierend auf dem eingelesenen Themenbereich und dem eingelesenen Schwierigkeitsgrad werden in einem zweiten Schritt 920 eine Prüfung eines Lernerfolgs vorbereitet, woraufhin eine Menge von noch nicht gelösten Testaufgaben in einem dritten Schritt 930 bereitgestellt wird. Basierend auf den in dem dritten Schritt 930 bereitgestellten noch nicht gelösten Aufgaben wird dann in einem vierten Schritt 940, falls möglich, eine Aufgabe je Aufgabentyp ausgewählt. Ist dies möglich (positiv bzw. „ja") so wird in einem fünften Schritt 942 die jeweilige Aufgabe in einen Test integriert. Ist es hingegen nicht möglich, in dem vierten Schritt 940 eine Aufgabe je Typ auszuwählen (negativ bzw. „nein"), so wird in einem sechsten Schritt 950 versucht, eine Ersatzaufgabe eines anderen (Ersatz-) Aufgabentyps auszuwählen. Ist dies möglich (positiv) so wird die Ersatzaufgabe wiederum in dem fünften Schritt 942 in den Test integriert. Ist es nicht möglich, in dem sechsten Schritt 950 eine Ersatz-Testaufgabe eines anderen (Ersatz-) Aufgabentyps zu finden, so wird versucht, in einem siebten Schritt 960 eine Ersatz-Testaufgabe mit einem anderen (Ersatz-) Schwierigkeitsgrad in der Datenbank zu identifizieren. Wird in dem siebten Schritt 960 eine Testaufgabe mit einem anderen (Ersatz-) Schwierigkeitsgrad in der Datenbank identifiziert, so wird ein Hinweis an den Benutzer ausgegeben, und die identifizierte Ersatz-Testaufgabe wird in dem fünften Schritt 942 in den Test integriert. Kann in dem siebten Schritt 960 auch keine Ersatz-Testaufgabe mit einer anderen Schwierigkeit gefunden werden (negativ), so erfolgt in einem achten Schritt 970 eine Ausgabe gegenüber einem Benutzer. Von dem Benutzer wird ferner eine Eingabe eingelesen, die je nach Inhalt als Zustimmung (positiv) oder Ablehnung (negativ) für eine Durchführung eines Tests mit einer reduzierten Anzahl von Testaufgaben gewertet wird. Ist die Eingabe derart, dass sie als Zustimmung gewertet wird, so wird also ein reduzierter Test zusammengestellt. Stimmt der Benutzer einem reduzierten Test in dem achten Schritt 970 hingegen nicht zu, (negativ) so erfolgt eine Ausgabe gegenüber dem Benutzer, die den Benutzer zu der Auswahl eines anderen Themengebiets auffordert. Als Antwort auf eine Eingabe des Benutzers wird dann wiederum in dem Schritt 910 eine Eingabe des Benutzers eingelesen, die die Auswahl eines Themengebiets ermöglicht.
Eine erfindungsgemäße Lerntestumgebung umfasst also, im Unterschied zu bekannten Lehr-/Lern-/Testsystemen, ein breites Spektrum an Aufgabentypen zur Lernerfolgskontrolle. Eine Klassifizierung kann hierbei in geschlossenen Aufgabentypen, halb offenen Aufgabentypen und offenen Aufgabentypen erfolgen. Geschlossene Aufgabetypen umfassen beispielsweise Multiple-Choice-Aufgaben, True/False-Aufgaben, Bildauswahl, Hot-Spot, Umordnungsaufgaben und Zuordnungsaufgaben. Halb offene Aufgabentypen umfassen beispielsweise Bildbeschriftung und kurze Texteingaben. Offene Aufgaben schließlich umfassen beispielsweise Anfertigen einer Skizze und ausführliche Texteingabe. Jeder Aufgabentyp wird bevorzugt in einer separaten Tabelle der Aufgabendatenbank (Datenbank der Testaufgaben) gespeichert, wobei neben Aufgabentext, Lösungshinweis, Themenbezug, verwandten Themen und richtiger Lösung auch noch Antwortvorgaben spezifiziert bzw. in der Datenbank gespeichert sein können.
Eine Kombination verschiedener Aufgabentypen erlaubt das Verbinden der Vorteile bei parallelem Ausgleich der Nachteile. Weiterhin verhilft eine Vielfalt an Aufgabentypen zur Herausbildung und Überprüfung unterschiedlicher mentaler Wissensrepräsentationen. Die Lernkontrolle kann gemäß einer Forderung nach frühen, regelmäßigen und indivi duell anpassbaren Lernerfolgskontrollen so ausgelegt werden, dass ein Zeitpunkt einer Durchführung eines Lerntests als ständig abrufbar festgelegt wird. Aufgaben können in frei wählbarer Bearbeitungsreihenfolgen abgearbeitet werden, und ferner beliebig angesehen und/oder editiert werden. Ferner kann ein angestrebter Inhalt einer Lernkontrolle entweder automatisch vorausgewählt werden oder frei durch einen Benutzer ausgewählt werden. Weiterhin wird es bevorzugt, dass drei Schwierigkeitsgrade auswählbar sind (Anfänger-, Fortgeschritten- und Expertenmodus). Daneben kann während der Durchführung eines Tests ein Lösungshinweis bereitgestellt werden. Weiterhin wird es bevorzugt, auf eine Zeitlimitierung zu verzichten, wobei jedoch bevorzugter Weise ein Hinweis auf das Überschreiten eines Zeitlimits ausgegeben wird. Außerdem kann die benötigte Bearbeitungsdauer angezeigt werden. Ferner wird es bevorzugt, für einen Test etwa 15 Aufgaben zu verwenden, um ein realistisches Bild eines Lernerfolgs zu liefern und gleichzeitig eine Konzentrationsfähigkeit eines Lernenden bzw. eines Prüflings nicht zu überfordern. In einem optionalen Klausurmodus mit etwa 20 Aufgaben unterschiedlichen Schwierigkeitsgrades können relevante Module bzw. Themengebiete ferner automatisch selektiert werden. Bereits bearbeitete Aufgaben werden außerdem bevorzugt gekennzeichnet. Eine effektive Hilfestellung kann gewährleistet werden, indem Hinweise zur Bedienung der Lernkontrolle wie auch zu den benötigten Benutzereingaben an einen Benutzer ausgegeben werden. Dies vermeidet eine kognitive Überforderungen bei den mannigfaltigen Aufgabentypen.
Eine erfindungsgemäße dynamische Zusammenstellung der einzelnen Tests weist folgende Vorteile auf:

– Wiederverwendbarkeit der Aufgaben
– Variation von Tests über mehrere Themengebiete (Modu le)
– Freiheitsgrade für die Autoren (Anzahl der Aufgaben, Editieren usw.).

Im Zusammenhang mit der erfindungsgemäßen dynamischen Lösung entsteht bzw. besteht das Problem der Zulassung von Wiederholungen bei dem Vorlegen bzw. Auswählen von Aufgaben. Die zweckmäßige Lösung betrifft die Entscheidung, nur falsch gelöste Aufgaben mehrmals anzubieten. Folglich werden zusätzliche Metadaten gespeichert, welche die Rahmendaten für den Test bestimmen:

– Themenbereich und Schwierigkeitsgrad der Aufgabe sowie
– Lernerfolgsangabe für den jeweiligen Benutzer.

Der erfindungsgemäße Algorithmus der dynamischen Testzusammenstellung prüft also für jede Aufgabe den Lernerfolg des Benutzers. Aus der Menge der nicht gelösten Aufgaben wird unter Beachtung der Metadaten zunächst eine Aufgabe je Aufgabentyp zufällig ausgewählt, um eine ausgewogene Mischung der Aufgabentypen zu erreichen. Wenn für einen Aufgabetyp eine passende Aufgabe gefunden wird, läuft ein oben beschriebenes Verfahren ab, wobei beispielsweise der Benutzer über die jeweiligen Verfahrensschritte durch entsprechende Ausgaben informiert werden kann, und wobei ferner eine Zustimmung des Benutzer durch entsprechende Eingaben eingelesen werden kann.
Eine Auswertung des Lerntests erfolgt ebenso dynamisch. In diesem Zusammenhang hat die Rückmeldung eine zweifache Aufgabe:

– Korrektur und Ergänzung des Wissens und
– Aufzeigen von Stärken und Schwächen.

Dem gemäß werden dem Prüfling bzw. dem Lernenden bevorzugt folgende Informationen bereitgestellt:

– Vollständiger Aufgabentext und Antwort des Lernenden
– Bewertung der Antwort und richtige Antwort
– Bearbeitungsdauer und Anzahl der richtig gelösten Aufgaben
– Hypertextverweis auf nicht beherrschte Themen, wobei der Abbau von Wissensdefiziten ebenso über eine Kommunikationsumgebung durch Zugriff auf das verteilte Wissen der Gruppe erfolgen kann.

Im Übrigen wird darauf hingewiesen, dass das beschriebene Verfahren genauso gut durch eine entsprechende Vorrichtung ausgeführt werden kann. Ferner kann das erfindungsgemäße Verfahren, abhängig von den Gegebenheiten, in Hardware oder in Software implementiert werden. Die Implementation kann auf einem digitalen Speichermedium, beispielsweise einer Diskette, CD, DVD, oder einem Flash-Speichermedium, mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung also auch in einem Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programm-Code zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programm-Code zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.
Ferner kann die vorliegenden Erfindung auf einem Server-Computer ausgeführt werden, der Daten mit einem oder mehreren zugehörigen Client-Computern austauscht. Auf dem Client-Computer kann beispielsweise ein dediziertes Applikationsprogramm für einen Abruf von Daten von dem Server ablaufen. Andererseits kann auf dem Client-Computer auch ein Standard-Programm zur Darstellung von multimedialen Inhalten, beispielsweise ein Web-Browser, ablaufen. Eine Aufbereitung der auszugebenden Informationen kann somit entweder in dem Client-Computer oder in dem Server-Computer erfolgen. Derartige Realisierungen der vorliegenden Erfin dung können als Server-Ausführung oder als Client-Server-Ausführung betrachtet werden.
Das erfindungsgemäße Verfahren zur Zusammenstellung eines Test sowie zur Durchführung des Tests bietet somit den Vorteil, dass ein möglichst ausgewogener Test auch dann erstellt werden kann, wenn von einem Aufgabetypen keine bzw. nicht mehr genügend Testaufgaben in einer Datenbank verfügbar sind.

Claims

Vorrichtung (100; 400a, 400b; 700) zum Zusammenstellen eines Tests, mit folgenden Merkmalen: einer Datenbank (110), in der eine Mehrzahl von Testaufgaben gespeichert ist, wobei jede Testaufgabe einem Aufgabentyp einer Mehrzahl von Aufgabentypen zugeordnet ist; einer Einrichtung zum Auswählen von Testaufgaben aus der Datenbank (110), um eine Menge von ausgewählten Testaufgaben für den Test zu erhalten, wobei die Einrichtung zum Auswählen von Testaufgaben folgende Merkmale aufweist: eine Einrichtung (140) zum Auswählen, für einen Aufgabentyp der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe aus der Datenbank (110), und zum Übernehmen (150) der ausgewählten Testaufgabe in eine Menge der ausgewählten Testaufgaben, falls in der Datenbank (110) für den Aufgabentyp eine Testaufgabe verfügbar ist; und einer Ausnahmebehandlungslogik (160; 420, 422, 424, 430, 434, 438, 442, 446, 450), die ausgebildet ist, um für einen Aufgabentypen aus der Mehrzahl von Aufgabentypen, für den in der Datenbank (110) keine Testaufgabe verfügbar ist, in der Datenbank (110) eine Ersatz-Testaufgabe gemäß einer vorgegebenen Ersetzungsregel zu suchen (164) und in die Menge von ausgewählten Testaufgaben zu übernehmen (174), falls in der Datenbank eine Testaufgabe existiert, die die Ersetzungsregel erfüllt; und einer Einrichtung zum Ausgeben (190) der ausgewählten Testaufgaben des Tests einem Benutzer gegenüber; wobei die Ersetzungsregel ausgelegt ist, um die Ausnahmebehandlungslogik (160; 420, 422, 424, 430, 434, 438, 442, 446, 450) anzuweisen, für einen Aufgabentypen aus der Mehrzahl von Aufgabetypen, für den in der Datenbank (110) keine Testaufgabe verfügbar ist, einen Ersatz-Aufgabentypen zu bestimmen, und in der Datenbank (110) eine Ersatz-Testaufgabe mit dem Ersatz-Aufgabentypen zu suchen (164; 420) und in die Menge von ausgewählten Aufgaben zu übernehmen; wobei jedem Aufgabentypen der Mehrzahl von Aufgabentypen ein Aufgabentyp-Merkmalsvektor (670) zugeordnet ist, der Merkmale des Aufgabentypen in Form einer Mehrzahl von numerisch beschreibbaren Kriterien beschreibt; und wobei die Ausnahmebehandlungseinrichtung ausgelegt ist, um für den Aufgabentypen, für den keine Testaufgabe in der Datenbank verfügbar ist, einen Ersatz-Aufgabentypen derart zu bestimmen (600), dass sich Aufgabentyp-Merkmalsvektoren (670) des Aufgabentyps, für den in der Datenbank keine Testaufgabe verfügbar ist, und des Ersatz-Aufgabentyps gemäß einem mathematischen Abstandsmaß möglichst wenig unterscheiden.
Vorrichtung (100; 400a, 400b; 700) gemäß Anspruch 1, bei der die Vorrichtung zum Zusammenstellen eines Tests ferner eine Verfügbarkeitssteuerungseinrichtung (300) aufweist, die ausgelegt ist, um sicherzustellen, dass die Einrichtung zum Auswählen (130, 140) mindestens einer Testaufgabe aus der Datenbank (110) eine Testaufgabe, die von der Verfügbarkeitssteuerung (300) als von einem Benutzer bereits erfolgreich gelöst identifiziert ist, nicht als verfügbar erkennt.
Vorrichtung (100; 400a, 400b; 700) gemäß Anspruch 2, bei der die Verfügbarkeitssteuerungseinrichtung (300) ausgelegt ist, um der Datenbank eine Benutzer-bezogene Information hinzuzufügen, die anzeigt, dass der Benutzer eine bestimmte Testaufgabe erfolgreich gelöst hat, wenn die Verfügbarkeitssteuerung (300) erkennt, dass der Benutzer die bestimmte Testaufgabe erfolgreich gelöst hat.
Vorrichtung (100; 400a, 400b; 700) gemäß Anspruch 2, bei der die Verfügbarkeitssteuerungseinrichtung ausgelegt ist, um eine bestimmte Testaufgabe aus der Datenbank zu löschen, wenn die Verfügbarkeitssteuerung erkennt, dass der Benutzer die bestimmte Testaufgabe erfolgreich gelöst hat.
Vorrichtung (100; 400a, 400b; 700) gemäß einem der Ansprüche 1 bis 4, die ferner eine Einrichtung zum Empfangen eines Soll-Schwierigkeitsgrades aufweist, bei der jede Testaufgabe ferner einem Schwierigkeitsgrad zugeordnet ist, und bei der die Vorrichtung zum Zusammenstellen des Tests ferner eine Schwierigkeitssteuerungseinrichtung (330) aufweist, die ausgelegt ist, um sicherzustellen, dass die Einrichtung zum Auswählen (130, 140) mindestens einer Testaufgabe aus der Datenbank (110) nur eine Testaufgabe, deren zugeordneter Schwierigkeitsgrad um höchstens eine vorgegebene Schwierigkeitsgrad-Abweichung von dem Soll-Schwierigkeitsgrad abweicht, als verfügbar erkennt.
Vorrichtung (100; 400a, 400b; 700) gemäß einem der Ansprüche 1 bis 5, bei dem die Ausnahmebehandlungseinrichtung ausgelegt ist, um für den Aufgabentypen, für den in der Datenbank (110) keine Testaufgabe verfügbar ist, durch Zugriff (510; 710) auf eine Aufgabentyp-Ersetzungstabelle (570; 712) den Ersatz-Aufgabentypen zu bestimmen.
Vorrichtung gemäß einem der Ansprüche 1 bis 6, bei der jeder Testaufgabe ein Schwierigkeitsgrad zugeordnet ist, die ferner eine Einrichtung zum Empfangen eines Soll-Schwierigkeitsgrades aufweist und bei der die Ersetzungsregel ferner ausgelegt ist, um die Ausnahmebehandlungslogik (400a, 400b) anzuweisen, basierend auf dem Soll-Schwierigkeitsgrad einen Ersatz-Schwierigkeitsgrad zu ermitteln, für den Aufgabentypen aus der Mehrzahl von Aufgabetypen, für die in der Datenbank keine Testaufgabe mit dem Soll-Schwierigkeitsgrad vorhanden ist, eine Ersatz-Testaufgabe zu suchen (424), deren Schwierigkeitsgrad von dem Ersatz-Schwierigkeitsgrad höchstens um eine vorgegebene Schwierigkeitsgrad-Abweichung abweicht, und die Ersatz-Testaufgabe in die Menge von ausgewählten Aufgaben zu übernehmen.
Vorrichtung gemäß Anspruch 7, bei der die Ausnahmebehandlungslogik (400a, 400b) ferner ausgelegt ist, um gegenüber dem Benutzer eine Nachricht auszugeben, die eine Information über eine Verwendung des Ersatz-Schwierigkeitsgrades umfasst.
Vorrichtung gemäß Anspruch 7 oder 8, bei der die Ersetzungsregel ausgelegt ist, um die Ausnahmebehandlungslogik nur dann anzuweisen, basierend auf dem Soll-Schwierigkeitsgrad einen Ersatz-Schwierigkeitsgrad zu ermitteln und unter Verwendung des Ersatz-Schwierigkeitsgrads eine Ersatz-Testaufgabe zu suchen (424), wenn in der Datenbank keine Ersatz-Testaufgabe eines Ersatz-Aufgabentyps und des Soll-Schwierigkeitsgrads verfügbar ist.
Vorrichtung gemäß einem der Ansprüche l bis 9, bei der die Ausnahmebehandlungslogik ferner eine Abfrageeinrichtung (434) umfasst, die ausgelegt ist, um an den Benutzer eine Nachricht auszugeben, falls für einen Aufgabentypen, für den in der Datenbank keine Testaufgabe verfügbar ist, keine Testaufgabe existiert, die die Ersetzungsregel erfüllt.
Vorrichtung gemäß Anspruch 10, bei der die Abfrageeinrichtung ferner ausgelegt ist, um von dem Benutzer eine Eingabe zu empfangen (438), und bei der die Ausnahmebehandlungslogik ferner ausgelegt ist, um in Abhängigkeit von der Eingabe entweder einen verkürzten Test zu erzeugen oder an einen Benutzer eine Nachricht auszugeben, von dem Benutzer eine zweite Eingabe zu empfangen, und die zweite Eingabe für eine Auswahl eines anderen Themengebiets zu nutzen, wobei die Ausnahmebehandlungslogik einen verkürzten Test erzeugt, indem die Ausnahmebehandlungslogik die bisher bestehende Menge von ausgewählten Aufgabe für eine Testdurchführung zur Verfügung stellt, ohne für den Aufgabentyp, für den in der Datenbank keine Testaufgabe verfügbar ist, und für den in der Datenbank keine Testaufgabe existiert, die die Ersetzungsregel erfüllt, eine Ersatzaufgabe zu bestimmen.
Vorrichtung gemäß einem der Ansprüche 1 bis 11, bei der die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank ausgelegt ist, um für einen Aufgabentyp aus der Mehrzahl von Aufgabentypen eine vorgegebene Anzahl von zu dem Aufgabentyp gehörigen Testaufgaben aus der Datenbank auszuwählen, falls in der Datenbank für den Aufgabentyp eine ausreichende Anzahl von Testaufgaben verfügbar ist.
Vorrichtung gemäß Anspruch 12, bei der die Einrichtung zum Auswählen mindestens einer Testaufgabe aus der Datenbank ausgelegt ist, um die zu dem Aufgabentyp gehörige vorgegebene Anzahl von Testaufgaben aus einer Nachschlagetabelle auszulesen.
Vorrichtung gemäß Anspruch 12, wobei die Vorrichtung ferner eine Einrichtung zum Empfangen einer Information über die vorgegebene Anzahl umfasst, die ausgelegt ist, um die vorgegebene Anzahl basierend auf der Information über die vorgegebene Anzahl festzulegen.
Vorrichtung gemäß einem der Ansprüche 1 bis 14, bei der die Einrichtung zum Auswählen, für einen Aufgabetyp der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe ausgelegt ist, um mindestens eine Testaufgabe aus der Datenbank für den Aufgabentyp zufällig auszuwählen, falls in der Datenbank für den Aufgabentyp mindestens zwei Testaufgaben verfügbar sind.
Vorrichtung gemäß Anspruch 15, bei der die Einrichtung zum Auswählen, für einen Aufgabetypen der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe einen Zufallszahlengenerator umfasst, und ferner ausgelegt ist, um eine von dem Zufallszahlengenerator gelieferte Zufallszahl für das zufällige Auswählen der Testaufgabe zu verwenden.
Vorrichtung gemäß einem der Ansprüche 1 bis 16, bei der zu jeder Testaufgabe in der Datenbank ein Typ-Identifizierer, der ein Datensymbol umfasst, das den Aufgabentyp der Testaufgabe codiert, und/oder ein Schwierigkeitsgrad-Identifizierer, der einen numerischen Wert umfasst, der einen Schwierigkeitsgrad einer Testaufgabe beschreibt, und/oder ein Themenbereich Identifizierer, der ein Datensymbol umfasst, das einen Themenbereich der Testaufgabe codiert, und/oder ein Gelöst-Identifizierer, der ein Datensymbol umfasst, das eine Aussage darüber liefert, ob ein Benutzer die Testaufgabe schon gelöst hat, und/oder ein Textfeld, in dem ein zu der Testaufgabe gehöriger Text gespeichert ist, und/oder ein Verweisfeld, in dem ein Verweis auf einem Ablageort einer zu der Testaufgabe gehörigen tiefer gehenden Information gespeichert ist, und/oder ein Zeitfeld, in dem in codierter Form eine für die Testaufgabe vorgesehene Zeitdauer gespeichert ist, und/oder ein Fehlerzählerfeld, in dem in codier ter Form eine Anzahl von erfolglosen Lösungsversuchen eines Benutzers gespeichert ist, abgelegt sind.
Vorrichtung gemäß einem der Ansprüche 1 bis 17, bei der die Einrichtung zum Ausgeben der ausgewählten Aufgaben des Tests dem Benutzer gegenüber ausgelegt ist, um die ausgewählten Aufgaben unter Verwendung der Datenbank visuell und/oder akustisch und/oder als Ausdruck auszugeben.
Verfahren zum Zusammenstellen eines Tests unter Verwendung einer Datenbank (110), in der eine Mehrzahl von Testaufgaben gespeichert ist, wobei jede Testaufgabe einem Aufgabentyp einer Mehrzahl von Aufgabentypen zugeordnet ist, mit folgenden Schritten: Auswählen von Testaufgaben aus der Datenbank (110), um eine Menge von ausgewählten Testaufgaben für den Test zu erhalten, wobei das Auswählen von Testaufgaben folgende Schritte aufweist: Auswählen (140), für einen Aufgabentyp der Mehrzahl von Aufgabentypen, mindestens einer Testaufgabe aus der Datenbank (110), und Übernehmen (150) der ausgewählten Testaufgabe in die Menge der ausgewählten Testaufgaben, falls in der Datenbank (110) für den Aufgabentyp eine Testaufgabe verfügbar ist; und Durchführen einer Ausnahmebehandlung (160) für einen Aufgabentypen aus der Mehrzahl von Aufgabentypen, für den in der Datenbank keine Testaufgabe verfügbar ist, wobei das Durchführen der Ausnahmebehandlung (160) ein Suchen (164) einer Ersatz-Testaufgabe für den Aufgabentypen, für den in der Datenbank keine Testaufgabe verfügbar ist, in der Datenbank gemäß einer vorgegebenen Ersetzungsregel, sowie, falls in der Datenbank eine Testaufgabe existiert, die Ersetzungsregel erfüllt, ein Übernehmen (172) der Ersatz-Testaufgabe in die. Menge von ausgewählten Aufgaben umfasst; und Ausgeben (190) der ausgewählten Aufgaben des Tests einem Benutzer gegenüber; wobei jedem Aufgabentypen der Mehrzahl von Aufgabentypen ein Aufgabentyp-Merkmalsvektor (670) zugeordnet ist, der Merkmale des Aufgabentypen in Form einer Mehrzahl von numerisch beschreibbaren Kriterien beschreibt; und wobei das Durchführen der Ausnahmebehandlung erfolgt, um für den Aufgabentypen, für den keine Testaufgabe in der Datenbank verfügbar ist, einen Ersatz-Aufgabentypen derart zu bestimmen (600), dass sich Aufgabentyp-Merkmalsvektoren (670) des Aufgabentyps, für den in der Datenbank keine Testaufgabe verfügbar ist, und des Ersatz-Aufgabentyps gemäß einem mathematischen Abstandsmaß möglichst wenig unterscheiden.
Computer-Programm mit Programm-Code zur Durchführung des Verfahrens gemäß Anspruch 19, wenn das Computer-Programm auf einem Computer abläuft.
Vorrichtung (800; 900) zum Prüfen eines Prüflings mit folgenden Merkmalen: einer Vorrichtung zum Zusammenstellen (820) eines Tests gemäß einem der Ansprüche 1 bis 18; einer Einrichtung zum Einlesen (840) einer Antwort auf mindestens eine der durch die Vorrichtung zum Zusammenstellen des Tests ausgegebenen ausgewählten Testaufgaben; einer Einrichtung zum Auswerten (840) der eingelesenen Antwort, um eine codierte Information zu erhalten, ob die eingelesene Antwort eine korrekte Lösung der ausgegebenen ausgewählten Testaufgaben darstellt; und einer Einrichtung zum Ausgeben (870) eines Testergebnisses in Abhängigkeit von der codierten Information.
Vorrichtung (800; 900) gemäß Anspruch 21, mit Rückbezug auf Anspruch 2, bei der die Verfügbarkeitssteuerungseinrichtung ausgelegt ist, um die codierte Information, ob die eingelesene Antwort eine korrekte Lösung der ausgegebenen ausgewählten Testaufgabe darstellt, auszuwerten, um eine Testaufgabe als von einem Benutzer bereits erfolgreich gelöst oder als von einem Benutzer noch nicht erfolgreich gelöst zu identifizieren.
Vorrichtung gemäß Anspruch 21 oder 22, die ferner eine Einrichtung umfasst, die ausgelegt ist, um die codierte Information Benutzer-bezogen in einer Datenbank abzulegen (850).
Vorrichtung gemäß einem der Ansprüche 21 bis 23, bei der die Einrichtung zum Auswerten (840) der eingelesenen Antwort eine Vergleichseinrichtung umfasst, die ausgelegt ist, um die eingelesene Antwort mit einer in der Datenbank abgelegten und zu der ausgegebenen ausgewählten Testaufgabe gehörigen Vergleichs-Antwort zu vergleichen, und um die eingelesene Antwort als eine korrekte Antwort zu bewerten, wenn die eingelesene Antwort von der Vergleichs-Antwort höchstens eine vorbestimmte Abweichung aufweist, und um für die ausgegebenen Testaufgabe eine dem Vergleichsergebnis entsprechende codierte Information bereitzustellen.
Vorrichtung gemäß einem der Ansprüche 21 bis 23, bei der die Einrichtung zum Auswerten (840) der eingelesenen Antworten eine Vergleichseinrichtung umfasst, die ausgelegt ist, um die eingelesene Antwort mit einer in der Datenbank abgelegten und zu der ausgegebenen ausgewählten Testaufgabe gehörigen Vergleichs-Antwort zu vergleichen, und um die eingelesene Antwort als eine korrekte Antwort zu bewerten, wenn die eingelesene Antwort mit der Vergleichs-Antwort übereinstimmt, und um für die ausgegebene Testaufgabe eine dem Vergleichsergebnis entsprechende codierte Information bereitzustellen.
Verfahren (800; 900) zum Prüfen eines Prüflings, mit folgenden Schritten: Zusammenstellen eines Tests gemäß Anspruch 19; Einlesen (840) einer Antwort auf eine der ausgegebenen ausgewählten Testaufgaben; Auswerten (840) der eingelesenen Antwort, um eine codierte Information zu erhalten, ob die eingelesene Antwort eine korrekte Lösung der ausgegebenen ausgewählten Testaufgabe ist; und Ausgeben (870) eines Testergebnisses in Abhängigkeit von der codierten Information.
Computer-Programm mit Programm-Code zur Durchführung des Verfahrens gemäß Anspruch 26, wenn das Computer-Programm auf einem Computer abläuft.