AT518723B1

AT518723B1 - Method for the computer-aided verification of a learning success

Info

Publication number: AT518723B1
Application number: ATA8008/2017A
Authority: AT
Original assignee: It Gries Edv Dienstleistungen Gmbh
Priority date: 2016-01-29
Filing date: 2016-03-18
Publication date: 2018-10-15
Also published as: AT518723A1

Abstract

Es wird ein Verfahren zur rechnergestützten Überprüfung eines Lernerfolges mehrerer Probanden umfassend ein Vorbereitungsverfahren und ein Prüfungsverfahren vorgeschlagen, wobei in dem Vorbereitungsverfahren mindestens vierzehn Aussagen, korrekte Antworten, ob die jeweilige Aussage wahr oder falsch ist, und Zuordnungen der einzelnen Aussagen zu genau einer von drei Hierarchieklassen in einem Speicher eines Netzwerkrechners gespeichert werden, wobei wenigstens vier Aussagen einer ersten Hierarchieklasse, wenigstens fünf Aussagen einer zweiten Hierarchieklasse und wenigstens fünf Aussagen einer dritten Hierarchieklasse zugeordnet werden, wobei aus den Aussagen und den korrekten Antworten für jede der Hierarchieklassen eine Multiple-Choice Frage gebildet wird, wobei in dem Prüfungsverfahren die Multiple-Choice Fragen ausgegeben werden und Antworten der Probanden auf die Multiple-Choice Fragen abgespeichert werden, wobei die Antworten der Probanden mit den abgespeicherten korrekten Antworten durch den Netzwerkrechner verglichen werden und ein kumulierter Richtigkeitswert der Antworten der Probanden für jede der Hierarchieklassen berechnet und abgespeichert wird.A method for the computer-aided verification of a learning succession of several subjects comprising a preparatory procedure and an examination method is proposed, wherein in the preparation method at least fourteen statements, correct answers, whether the respective statement is true or false, and assignments of the individual statements to exactly one of three hierarchy classes are stored in a memory of a network computer, wherein at least four statements of a first hierarchy class, at least five statements of a second hierarchy class and at least five statements of a third hierarchy class are assigned, from the statements and the correct answers for each of the hierarchy classes formed a multiple-choice question in which the multiple-choice questions are spent in the examination procedure and responses of the subjects to the multiple choice questions are stored, whereby the answers of the subjects with the stored correct ones Responses are compared by the network computer and a cumulative accuracy value of the answers of the subjects for each of the hierarchy classes is calculated and stored.

Description

Beschreibung [0001] Die Erfindung betrifft ein Verfahren zur rechnergestützten Überprüfung eines Lernerfolges mehrerer Probanden gemäß dem Anspruch 1.Description: [0001] The invention relates to a method for the computer-aided checking of a learning success of a plurality of subjects according to claim 1.

[0002] Bei einer Bildungsmaßnahme, insbesondere im Bereich von Seminaren und Kursen für die Erwachsenenbildung aber auch Schulen und Universitäten, ist die Messung des Zugewinns an Wissen durch die Probanden, also die Teilnehmer der Bildungsmaßnahme, eine große Herausforderung. Wenn am Ende einer Bildungsmaßnahme keine Prüfung steht, kann nicht überprüft werden, ob ein Proband nur in irgendeiner Weise Wissen erworben hat. Auch Anwesenheitslisten sind sehr unzuverlässig, da nur überprüft werden kann, ob ein Proband physisch anwesend war, wobei Anwesenheitslisten auch leicht zu überlisten sind. Auch häufig durchgeführte Kursevaluierungen spiegeln oftmals nicht den Zugewinn an Wissen durch die Probanden wider, sondern eher die Qualität der Präsentation des Lehrenden, da die Probanden nur schwer beurteilen können, ob vorgesehene Lerninhalte tatsächlich vorgebracht wurden.In an educational measure, especially in the field of seminars and courses for adult education but also schools and universities, the measurement of the gain of knowledge by the subjects, so the participants of the education measure, a major challenge. If there is no exam at the end of an educational activity, it can not be verified that a subject has acquired knowledge in any way. Attendance lists are also very unreliable because it is only possible to check whether a subject was physically present, whereby attendance lists are also easy to outsmart. Frequently conducted course evaluations often do not reflect the gain in knowledge by the subjects, but rather the quality of the teacher's presentation, as the subjects are difficult to assess whether the intended learning content has actually been presented.

[0003] Auch eine Prüfung am Ende einer Bildungsmaßnahme hat den Nachteil, dass die Feststellung, ob die Probanden Wissenslücken aufweist, zu spät erfolgt und häufig eine komplette Wiederholung der Bildungsmaßnahme für den negativ beurteilten Probanden notwendig ist, was einen erhöhten Zeitaufwand für den Probanden und einer Verschwendung von Ressourcen bedeutet.A test at the end of a training measure has the disadvantage that the determination of whether the subjects have knowledge gaps, too late and often a complete repetition of education for the negatively assessed subjects is necessary, resulting in an increased expenditure of time for the subject and a waste of resources.

[0004] Aus der US 2006/0029920 A1 und der WO 2012/112389 A1 sind computerbasierte Systeme zur Wissensabfragung bekannt, bei welchem der Proband Multiple-Choice-Fragen zu beantworten hat. Hierbei wählt der Proband sowohl die seines Erachtens richtige Antwort aus sowie eine Angabe zu seinem Vertrauen in die Korrektheit dieser Antwort.From US 2006/0029920 A1 and WO 2012/112389 A1 computer-based systems for knowledge detection are known in which the subject has to answer multiple-choice questions. Here, the subject selects both the correct answer in his opinion and an indication of his confidence in the correctness of this answer.

[0005] Aufgabe der Erfindung ist es daher ein Verfahren der eingangs genannten Art anzugeben, mit welchem die genannten Nachteile vermieden werden können, mit welchem der Lernerfolg mehrerer Probanden einfach und zuverlässig überprüft werden kann, und welches wenig Zeitaufwand erfordert.The object of the invention is therefore to provide a method of the type mentioned, with which the mentioned disadvantages can be avoided, with which the learning success of several subjects can be easily and reliably checked, and which requires little time.

[0006] Erfindungsgemäß wird dies durch die Merkmale des Anspruches 1 erreicht.This is achieved by the features of claim 1 according to the invention.

[0007] Dadurch ergibt sich der Vorteil, dass bereits während der Bildungsmaßnahme auf Defizite eingegangen werden kann, indem das Erreichen von Lernzielen regelmäßig und begleitend zu der Bildungsmaßnahme evaluiert werden kann. Durch die Vorgabe der drei Hierarchieklassen und die Zuordnung der Aussagen zu unterschiedlichen Hierarchieklassen ist es möglich, die Aussagen nach deren Schwierigkeitsgrad zu sortieren, wodurch überprüft werden kann, ob eine ausreichend große Zahl an Probanden zumindest über eine Basis des vermittelten Wissens verfügt. Auf diese Weise kann einerseits ein guter Überblick über das durchschnittliche Abschneiden der Gruppe erreicht werden, andererseits können aber auch Einzelergebnisse extrahiert und mit dem Gruppenergebnis in Beziehung gesetzt werden. Weiters ist es ausreichend lediglich eine geringe Anzahl an eindeutig zu verifizierenden oder falsifizierenden Aussagen zu stellen, wobei aus diesen Aussagen für jede der drei Hierarchieklassen eine durch die Probanden zu beantwortende Multiple-Choice Frage automatisch erstellt werden kann. Durch die Multiple-Choice Frage der niedrigsten Hierarchiestufe kann beispielsweise überprüft werden, ob die Probanden das Wissen einer Lerneinheit zumindest in den Grundzügen übernommen haben. Dadurch kann der Fortschritt des Lernerfolges einfach während einer Bildungsmaßnahme überprüft werden, Mindeststandards sichergestellt werden, die Lehrenden bei Nichterfüllung Mindeststandards sofort entgegensteuern und die Erfolgsquote beim Abschluss der Probanden gesteigert werden. Weiters kann dadurch eine zuverlässige rechnergestützte Überprüfung des Lernerfolges mittels einfacher Aussagen erfolgen, ohne dass ein komplexer Test mit Punkteschlüssel ausgearbeitet werden muss, wodurch das Verfahren von den Lehrenden einfach zu bedienen und vielfältig einsetzbar ist. Weiters kann auch der Einsatz von Speicher, Bandbreite oder Rechenressourcen seitens des Netzwerkrechners gering gehalten werden, wobei der Hardwarebedarf und der Energieverbrauch gering gehalten werden kann, da das Verfahren sehr einfach ist.This has the advantage that deficits can already be addressed during the training program, in that the achievement of learning objectives can be evaluated regularly and in addition to the training measure. By specifying the three hierarchy classes and assigning the statements to different hierarchy classes, it is possible to sort the statements according to their degree of difficulty, which can be checked to see whether a sufficiently large number of subjects has at least a base of the knowledge transferred. In this way, on the one hand, a good overview of the average performance of the group can be achieved, on the other hand, however, individual results can also be extracted and related to the group result. Furthermore, it is sufficient to provide only a small number of unambiguously verifiable or falsifying statements, wherein from these statements for each of the three hierarchy classes, a multiple-choice question to be answered by the subjects can be created automatically. By means of the multiple-choice question of the lowest hierarchical level, it is possible, for example, to check whether the subjects have taken on the knowledge of a learning unit, at least in the main features. This will allow the progress of learning to be easily reviewed during an educational activity, to ensure minimum standards, to immediately counteract teachers' non-compliance with minimum standards, and to increase the success rate of completion of subjects. Furthermore, this allows a reliable computer-aided verification of learning success by means of simple statements without a complex test with point key must be worked out, making the method of teachers easy to use and versatile. Furthermore, the use of memory, bandwidth or computing resources on the part of the network computer can be kept low, while the hardware requirements and energy consumption can be kept low, since the process is very simple.

[0008] Die Unteransprüche betreffen weitere vorteilhafte Ausgestaltungen der Erfindung.The dependent claims relate to further advantageous embodiments of the invention.

[0009] Ausdrücklich wird hiermit auf den Wortlaut der Ansprüche Bezug genommen, wodurch die Ansprüche an dieser Stelle durch Bezugnahme in die Beschreibung eingefügt sind und als wörtlich wiedergegeben gelten.Explicit reference is hereby made to the wording of the claims, whereby the claims at this point are incorporated by reference in the description and are considered to be reproduced verbatim.

[0010] Vorgesehen ist ein Verfahren zur rechnergestützten Überprüfung eines Lernerfolges mehrerer Probanden umfassend ein Vorbereitungsverfahren und ein Prüfungsverfahren. Hierbei handelt es sich um ein Verfahren, dass mittels technischer Mittel, nämlich dem Netzwerkrechner durchgeführt wird. Der Netzwerkrechner ist eine Datenverarbeitungsmaschine, insbesondere ein Computer, welcher bevorzugt über einen Prozessor, einen Arbeitsspeicher, eine Festplatte und eine Netzwerkschnittstelle, insbesondere zur Kommunikation über das Internet verfügt. Weiters kann der Netzwerkrechner über eine Anzeigevorrichtung und/oder eine Eingabevorrichtung. Ziel des Verfahrens ist es den Lernerfolg mehrerer Probanden zu überprüfen. Der Proband kann hierbei ein Schüler, Student, Kursteilnehmer und dergleichen sein, also eine Person, welcher Wissen vermittelt werden soll. Als Proband kann auch eine Gruppe von Teilnehmern bezeichnet werden, beispielsweise wenn die Teilnehmer in Arbeitsgruppen aufgeteilt sind, wobei dann die Gruppe als Ganzes die Fragen beantwortet. Das Verfahren kann insbesondere zur Unterstützung, bevorzugt zur Begleitung, einer Bildungsmaßnahme vorgesehen sein. Das Verfahren umfasst ein Vorbereitungsverfahren und ein Prüfungsverfahren, welche insbesondere zeitlich getrennt durchgeführt werden können.Provided is a method for computer-aided verification of a learning success of several subjects comprising a preparation method and an examination method. This is a method that is carried out by means of technical means, namely the network computer. The network computer is a data processing machine, in particular a computer, which preferably has a processor, a main memory, a hard disk and a network interface, in particular for communication via the Internet. Furthermore, the network computer via a display device and / or an input device. The aim of the procedure is to check the learning success of several subjects. The subject may be a student, student, student and the like, ie a person, which knowledge should be taught. A subject may also be a group of participants, for example if the participants are divided into working groups, in which case the group as a whole will answer the questions. The method can be provided in particular for the support, preferably for the accompaniment, of a training measure. The method comprises a preparation method and a test method, which can be carried out in particular separately in time.

[0011] Vorgesehen ist, dass in dem Vorbereitungsverfahren mindestens vierzehn Aussagen, korrekte Antworten, ob die jeweilige Aussage wahr oder falsch ist, und Zuordnungen der einzelnen Aussagen zu genau einer von drei Hierarchieklassen in einem Speicher eines Netzwerkrechners gespeichert werden, wobei wenigstens vier Aussagen einer ersten Hierarchieklasse, fünf Aussagen einer zweiten Hierarchieklasse und fünf Aussagen einer dritten Hierarchieklasse zugeordnet werden. Die Aussagen sind hierbei kurze Texte oder Textpassagen, welche wahr oder falsch sein können. Die Aussagen werden von wenigstens einem Benutzer, insbesondere dem Lehrenden, vorgegeben und als Text abgespeichert, zusammen mit der korrekten Antwort, ob die jeweilige Aussage wahr oder falsch ist. Weiters wird jeder Aussage vom Benutzer einer Hierarchieklasse von drei Hierarchieklassen zugeordnet. Die Hierarchieklasse ist eine jeder Aussage zuordenbare Variable, welche die Zugehörigkeit der Aussage zu einer der Hierarchieklassen definiert. Die Hierarchieklassen können insbesondere als Schwierigkeitsgrad der Aussagen angesehen werden, wobei die Aussagen der ersten Hierarchieklasse auch den niedrigsten Schwierigkeitsgrad aufweisen sollen. Die Zuordnung der Hierarchieklasse erfolgt durch den Lehrenden. Hierbei hat sich gezeigt, dass durch die Zuordnung von wenigstens vier Aussagen zu der ersten Hierarchieklasse, wenigstens fünf Aussagen einer zweiten Hierarchieklasse und wenigstens fünf Aussagen einer dritten Hierarchieklasse, also insgesamt vierzehn Aussagen, eine ausreichend hohe Anzahl an wahren oder falschen Aussagen vorhanden ist, um den Lernerfolg der Probanden zuverlässig zu bestimmen, da ein Erraten aller richtigen Antworten einer Hierarchieklasse auf diese Weise praktisch ausgeschlossen wird. Weiters hat sich gezeigt, dass wenige Hierarchieklassen bereits ausreichend sind für ein zuverlässiges Funktionieren des Verfahrens. Weiters ist es auch für einen Lehrenden, welcher keine Erfahrung mit Auswertung, Punkteschlüssel und dergleichen aufweist, leicht möglich die Schwierigkeitsstufe seiner Aussagen grob einzuschätzen und daher in drei Hierarchieklassen einzuteilen.It is provided that in the preparation process at least fourteen statements, correct answers, whether the respective statement is true or false, and assignments of the individual statements to exactly one of three hierarchy classes are stored in a memory of a network computer, wherein at least four statements of a first hierarchy class, five statements of a second hierarchy class and five statements of a third hierarchy class are assigned. The statements here are short texts or passages of text that can be true or false. The statements are given by at least one user, in particular the teacher, and stored as text, together with the correct answer, whether the respective statement is true or false. Furthermore, each statement is assigned by the user to a hierarchy class of three hierarchy classes. The hierarchy class is a variable that can be assigned to each statement, which defines the affiliation of the statement to one of the hierarchy classes. The hierarchy classes can in particular be regarded as degree of difficulty of the statements, whereby the statements of the first hierarchy class should also have the lowest degree of difficulty. The assignment of the hierarchy class is done by the teacher. It has been shown that by assigning at least four statements to the first hierarchy class, at least five statements of a second hierarchy class and at least five statements of a third hierarchy class, ie a total of fourteen statements, a sufficiently high number of true or false statements is present To reliably determine the learning success of the subjects, since a guessing of all the correct answers of a hierarchy class in this way is practically excluded. Furthermore, it has been shown that few hierarchy classes are already sufficient for a reliable functioning of the method. Furthermore, it is also easily possible for a teacher who has no experience with evaluation, point key and the like, to roughly estimate the difficulty level of his statements and therefore divide it into three hierarchy classes.

[0012] Der Speicher des Netzwerkrechners kann insbesondere die Festplatte des Netzwerkrechners sein.The memory of the network computer can be in particular the hard disk of the network computer.

[0013] Weiters ist vorgesehen, dass aus den Aussagen und den korrekten Antworten für jede der Hierarchieklassen eine Multiple-Choice Frage gebildet wird. Die Aussagen in den einzelnen Hierarchieklassen werden hierbei für jede Hierarchieklassen zu einer einzigen Multiple-Choice Frage zusammengefasst, wobei die Multiple-Choice Frage aus den einzelnen Aussagen in der jeweiligen Hierarchieklasse sowie der Antwortmöglichkeit, ob die jeweilige Aussage wahr oder falsch ist, besteht. Da drei Hierarchieklassen vorgesehen sind, werden auch insgesamt dreiIt is further provided that a multiple-choice question is formed from the statements and the correct answers for each of the hierarchy classes. The statements in the individual hierarchy classes are combined for each hierarchy class into a single multiple-choice question, whereby the multiple-choice question consists of the individual statements in the respective hierarchy class as well as the possibility of answering whether the respective statement is true or false. Since three hierarchy classes are provided, a total of three

Multiple-Choice Fragen gebildet.Multiple-choice questions formed.

[0014] Weiters ist vorgesehen, dass in dem Prüfungsverfahren die Multiple-Choice Fragen ausgegeben werden und Antworten der Probanden auf die Multiple-Choice Fragen abgespeichert werden, wobei die Antworten der Probanden mit den abgespeicherten korrekten Antworten durch den Netzwerkrechner verglichen werden und ein kumulierter Richtigkeitswert der Antworten der Probanden für jede der Hierarchieklassen berechnet und abgespeichert wird. In dem Prüfungsverfahren haben die Probanden für jede Hierarchieklasse die entsprechende Multiple-Choice Frage zu beantworten, wodurch durch eine Auswertung der Antworten der Probanden der Wissensstand der Probanden in jeder Hierarchieklasse ermittelt werden kann. Das Ausgeben der Multiple-Choice Frage erfolgt insbesondere über eine Anzeigevorrichtung, bevorzugt einem Computerbildschirm. Die Probanden können die ausgegebenen Fragen durch Auswahlen der angezeigten Antworten beantworten, beispielsweise über eine Eingabevorrichtung eines über ein Netzwerk mit dem Netzwerkrechner verbundenen Rechners. Die von den Probanden ausgewählte Antworten werden abgespeichert und mit den abgespeicherten korrekten Antworten verglichen, um zu überprüfen, ob die Multiple-Choice Fragen korrekt beantwortet wurden. Aus den Antworten der Probanden wird pro Hierarchieklasse genau ein Richtigkeitswert ermittelt, welcher anhand aller abgespeicherten Antworten mehrerer Probanden ermittelt wird. Der Richtigkeitswert kann insbesondere zumindest mittelbar angeben, wie viele Aussagen in der jeweiligen Hierarchieklasse korrekt als wahr oder falsch beantwortet wurden. Anhand des Richtigkeitswertes der jeweiligen Hierarchieklasse kann dann der Lehrende entscheiden, ob eine Wiederholung des Stoffes in einer nächsten Lerneinheit erforderlich ist, beziehungsweise die Geschwindigkeit der Wissensvermittlung anpassen.Furthermore, it is provided that in the examination method, the multiple-choice questions are output and answers of the subjects are stored on the multiple-choice questions, the answers of the subjects are compared with the stored correct answers by the network computer and a cumulative accuracy value the responses of the subjects for each of the hierarchy classes is calculated and stored. In the examination procedure, the subjects have to answer the corresponding multiple-choice question for each hierarchy class, whereby the knowledge of the subjects in each hierarchy class can be determined by an evaluation of the respondents' answers. The issuing of the multiple-choice question takes place in particular via a display device, preferably a computer screen. The subjects can answer the questions issued by selecting the displayed answers, for example via an input device of a computer connected via a network to the network computer. The answers selected by the subjects are saved and compared with the saved correct answers to check whether the multiple-choice questions have been answered correctly. From the respondents' answers, exactly one correctness value is determined for each hierarchy class, which is determined on the basis of all the stored responses of several test persons. In particular, the correctness value can indicate, at least indirectly, how many statements in the respective hierarchy class were answered correctly as true or false. On the basis of the correctness value of the respective hierarchy class, the teacher can then decide whether a repetition of the substance in a next learning unit is required, or adapt the speed of the knowledge transfer.

[0015] Dadurch ergibt sich der Vorteil, dass bereits während der Bildungsmaßnahme auf Defizite eingegangen werden kann, indem das Erreichen von Lernzielen regelmäßig und begleitend zu der Bildungsmaßnahme evaluiert werden kann. Durch die Vorgabe der drei Hierarchieklassen und die Zuordnung der Aussagen zu unterschiedlichen Hierarchieklassen ist es möglich, die Aussagen nach deren Schwierigkeitsgrad zu sortieren, wodurch überprüft werden kann, ob eine ausreichend große Zahl an Probanden zumindest über eine Basis des vermittelten Wissens verfügt. Auf diese Weise kann einerseits ein guter Überblick über das durchschnittliche Abschneiden der Gruppe erreicht werden, andererseits können aber auch Einzelergebnisse extrahiert und mit dem Gruppenergebnis in Beziehung gesetzt werden. Weiters ist es ausreichend lediglich eine geringe Anzahl an eindeutig zu verifizierenden oder falsifizierenden Aussagen zu stellen, wobei aus diesen Aussagen für jede der drei Hierarchieklassen eine durch die Probanden zu beantwortende Multiple-Choice Frage automatisch erstellt werden kann. Durch die Multiple-Choice Frage der niedrigsten Hierarchiestufe kann beispielsweise überprüft werden, ob die Probanden das Wissen einer Lerneinheit zumindest in den Grundzügen übernommen haben. Dadurch kann der Fortschritt des Lernerfolges einfach während einer Bildungsmaßnahme überprüft werden, Mindeststandards sichergestellt werden, die Lehrenden bei Nichterfüllung Mindeststandards sofort entgegensteuern und die Erfolgsquote beim Abschluss der Probanden gesteigert werden. Weiters kann dadurch eine zuverlässige rechnergestützte Überprüfung des Lernerfolges mittels einfacher Aussagen erfolgen, ohne dass ein komplexer Test mit Punkteschlüssel ausgearbeitet werden muss, wodurch das Verfahren von den Lehrenden einfach zu bedienen und vielfältig einsetzbar ist. Weiters kann auch der Einsatz von Speicher, Bandbreite oder Rechenressourcen seitens des Netzwerkrechners gering gehalten werden, wobei der Hardwarebedarf und der Energieverbrauch gering gehalten werden kann, da das Verfahren sehr einfach ist.This has the advantage that deficits can already be addressed during the training measure, in that the achievement of learning goals can be evaluated regularly and in addition to the training measure. By specifying the three hierarchy classes and assigning the statements to different hierarchy classes, it is possible to sort the statements according to their degree of difficulty, which can be checked to see whether a sufficiently large number of subjects has at least a base of the knowledge transferred. In this way, on the one hand, a good overview of the average performance of the group can be achieved, on the other hand, however, individual results can also be extracted and related to the group result. Furthermore, it is sufficient to provide only a small number of unambiguously verifiable or falsifying statements, wherein from these statements for each of the three hierarchy classes, a multiple-choice question to be answered by the subjects can be created automatically. By means of the multiple-choice question of the lowest hierarchical level, it is possible, for example, to check whether the subjects have taken on the knowledge of a learning unit, at least in the main features. This will allow the progress of learning to be easily reviewed during an educational activity, to ensure minimum standards, to immediately counteract teachers' non-compliance with minimum standards, and to increase the success rate of completion of subjects. Furthermore, this allows a reliable computer-aided verification of learning success by means of simple statements without a complex test with point key must be worked out, making the method of teachers easy to use and versatile. Furthermore, the use of memory, bandwidth or computing resources on the part of the network computer can be kept low, while the hardware requirements and energy consumption can be kept low, since the process is very simple.

[0016] Weiters ist ein Computerprogrammprodukt zur Ausführung auf einem Netzwerkrechner vorgesehen, wobei das Computerprogrammprodukt bei der Ausführung auf dem Netzwerkrechner das Verfahren durchführt.Furthermore, a computer program product is provided for execution on a network computer, the computer program product executing the method when executed on the network computer.

[0017] Weiters ist ein Datenträger umfassend ein derartiges Computerprogrammprodukt vorgesehen.Furthermore, a data carrier comprising such a computer program product is provided.

[0018] Der Netzwerkrechner kann insbesondere mit dem Internet verbunden sein. Besonders bevorzugt kann vorgesehen sein, dass die Eingabe der Aussagen, der korrekten Antworten und der Zuordnungen über ein Netzwerk an den Netzwerkrechner übermittelt werden, und im Netzwerkrechner abgespeichert werden. Weiters kann vorgesehen sein, dass die an die Probanden ausgegebenen Multiple-Choice Fragen im Prüfungsverfahren sowie die Antworten der Probanden über das Netzwerk übermittelt werden. Dadurch kann einfach sowohl vom Probanden als auch vom Lehrenden dezentral am Verfahren teilgenommen werden.The network computer may in particular be connected to the Internet. Particularly preferably, it can be provided that the input of the statements, the correct answers and the assignments are transmitted via a network to the network computer, and stored in the network computer. Furthermore, it can be provided that the multiple-choice questions issued to the subjects in the examination process and the answers of the subjects are transmitted via the network. As a result, both the subject and the teacher can easily participate in the procedure in a decentralized manner.

[0019] Bevorzugt kann vorgesehen sein, dass Eingaben der Probanden und des Lehrenden über eine Webseite erfolgen. Eine Eingabe der Daten kann insbesondere über einen Browser erfolgen.Preferably, it can be provided that inputs of the subjects and the teacher done via a website. An input of the data can be done in particular via a browser.

[0020] Weiters kann vorgesehen sein, dass die Eingaben der Probanden und des Lehrenden über eine Client Software oder ein Plug-in zu einer bestehenden Software, wie insbesondere Word, erfolgen.Furthermore, it can be provided that the inputs of the subjects and the teacher on a client software or a plug-in to an existing software, such as in particular Word done.

[0021] Weiters kann eine Anzeige der Richtigkeitswerte über die Client Software erfolgen.Furthermore, an indication of the correctness values can be made via the client software.

[0022] Bevorzugt kann vorgesehen sein, dass mehrere User angelegt werden, wobei bei der Anlegung der User definiert wird, ob es sich um einen Probanden oder einen Lehrenden handelt. Dadurch können den Probanden und den Lehrenden unterschiedliche Zugangsberechtigungen gewährt werden.Preferably, it can be provided that multiple users are created, which is defined when the user is created, whether it is a subject or a teacher. As a result, the subjects and the instructors can be granted different access authorizations.

[0023] Insbesondere kann vorgesehen sein, dass die Probanden lediglich Zugang zu einem das Prüfungsverfahren durchführendes Prüfungsverfahrenmodul haben, um die Multiple-Choice Fragen zu beantworten. Weiters kann vorgesehen sein, dass einem Probanden die Korrektheit der eigenen Antworten angezeigt wird, damit dieser ein persönliches Feedback hat. Ein Zugang zu einem das Vorbereitungsverfahren durchführenden Vorbereitungsverfahrenmodul kann für die Probanden gesperrt sein.In particular, it may be provided that the subjects only have access to an examination method module performing the examination procedure in order to answer the multiple-choice questions. Furthermore, it can be provided that the correctness of one's own answers is displayed to a test person so that he has personal feedback. Access to a preparatory procedure module performing the preparation procedure may be disabled for the subjects.

[0024] Weiters kann vorgesehen sein, dass der Lehrende Zugang zu dem das Vorbereitungsverfahren durchführende Vorbereitungsverfahrenmodul hat, um die Aussagen, die korrekten Antworten und die Zuordnung zu den Hierarchieklassen einzugeben und abzuspeichern.Furthermore, it can be provided that the teacher has access to the preparatory procedure implementing preparation procedure module to enter the statements, the correct answers and the assignment to the hierarchy classes and save.

[0025] Besonders bevorzugt kann die erste, also niedrigste, Hierarchieklasse Aussagen des einfachsten Schwierigkeitsgrades enthalten, welche bereits von einem Probanden beantwortet werden können sollten, welche der Bildungsmaßnahme nur mit minimaler Aufmerksamkeit gefolgt ist. Anhand des Richtigkeitswertes der ersten Hierarchieklasse kann daher festgestellt werden, ob es bei zumindest Teilen der Probanden grobe Mängel an Wissen gibt, beispielsweise weil einzelne Probanden Probleme hatten der Bildungsmaßnahme auch nur im geringsten zu folgen, oder ein vorgesehenes Stoffgebiet gar nicht behandelt wurde.Particularly preferably, the first, ie lowest, hierarchy class statements of the simplest level of difficulty contain, which should already be able to be answered by a subject who has followed the education measure with minimal attention. On the basis of the correctness value of the first hierarchy class, it can therefore be determined whether there are at least parts of the subjects gross lack of knowledge, for example, because individual subjects had problems to follow the educational measure even in the least, or a designated subject area was not treated.

[0026] Weiters kann vorgesehen sein, dass die zweite Hierarchieklassen Aussagen eines mittleren Schwierigkeitsgrades enthalten, welche von Probanden beantwortbar beantwortet werden können sollten, welche der Bildungsmaßnahme mit durchschnittlicher Aufmerksamkeit gefolgt ist. Anhand des Richtigkeitswertes der zweiten Hierarchieklasse kann daher festgestellt werden, ob das zum Erreichen des Lernzieles notwendige Wissen vermittelt werden konnte.Furthermore, it can be provided that the second hierarchy classes contain statements of a medium level of difficulty, which should be able to be answered answerable by subjects, which followed the educational measure with average attention. Based on the correctness value of the second hierarchy class, it can therefore be determined whether the knowledge required to achieve the learning objective could be conveyed.

[0027] Weiters kann vorgesehen sein, dass die dritte Hierarchieklassen Aussagen eines hohen Schwierigkeitsgrades enthalten, welche von Probanden beantwortbar beantwortet werden können sollten, welche der Bildungsmaßnahme mit hoher Aufmerksamkeit gefolgt sind oder bereits über Vorwissen verfügten. Das Wissen der dritten Hierarchieklasse kann insbesondere als zusätzliches, über den Grundstoff hinausgehendes Wissen angesehen werden. Anhand des Richtigkeitswertes der dritten Hierarchieklasse kann beispielsweise abgeschätzt werden, wie viele Probanden die Bildungsmaßnahme mit hoher Aufmerksamkeit folgen oder bereits über Vorwissen verfügen.Furthermore, it can be provided that the third hierarchy classes contain statements of a high degree of difficulty, which should be answered answerable by subjects who have followed the educational measure with high attention or already had prior knowledge. The knowledge of the third hierarchy class can be regarded in particular as additional knowledge going beyond the basic material. By means of the correctness value of the third hierarchy class, it can be estimated, for example, how many subjects follow the educational measure with high attention or already have previous knowledge.

[0028] Weiters kann vorgesehen sein, dass für jede einzelne Aussage ausgewertet und abgespeichert wird, wie oft diese von den Probanden korrekt beantwortet wurde. Dadurch kann der Lehrende erfassen, ob eine Aussage von ihm in die falsche Hierarchieklasse eingeteilt wurde oder missverständlich formuliert wurde, wenn die Anzahl der richtigen Antworten nicht derFurthermore, it can be provided that for each individual statement is evaluated and stored, how often this was correctly answered by the subjects. This allows the teacher to grasp whether a statement has been classified by him into the wrong hierarchy class or has been misunderstood if the number of correct answers is not the same

Erwartungshaltung des Lehrenden entsprechen. In diesem Fall kann beispielsweise der Lehrende die betreffende Aussage einer höheren Hierarchieklasse zuordnen oder die Aussage anders formulieren.Expectation of the teacher. In this case, for example, the teacher can assign the relevant statement to a higher hierarchical class or formulate the statement differently.

[0029] Abgesehen von der Ermittlung der Richtigkeitswerte für die einzelnen Hierarchieklassen kann vorgesehen sein, dass aus den Antworten eines Probanden eine individuelle Bewertung erzeugt wird. Die Individuelle Bewertung kann insbesondere als Punktezahl aus einer Gesamtpunktezahl ausgegeben werden. Hierbei kann vorgesehen sein, dass die Antworten der ersten Hierarchieklasse 40% der Gesamtpunktezahl, der zweiten Hierarchieklasse 40% der Gesamtpunktezahl und der dritten Hierarchieklasse 20% der Gesamtpunktezahl beisteuern. Aus der Punktezahl kann weiters eine Note bestimmt werden. Dadurch kann eine Gewichtung der Punkte der einzelnen Hierarchieklasse derart erfolgen, dass der Proband das persönliche Feedback aus den eigenen Antworten in Form einer für ihn leicht verständlichen und gewohnten Note erfahren kann.Apart from the determination of the correctness values for the individual hierarchy classes, it can be provided that an individual assessment is generated from the answers of a subject. The individual rating can in particular be issued as a score from a total score. It can be provided that the answers of the first hierarchy class contribute 40% of the total score, the second hierarchy class 40% of the total score and the third hierarchy class 20% of the total score. From the score can be further determined a note. As a result, the points of the individual hierarchy class can be weighted in such a way that the test person can experience the personal feedback from his own answers in the form of a note which is easy to understand and familiar to him.

[0030] Weiters kann vorgesehen sein, dass in dem Vorbereitungsverfahren mehrere Lernmodulgruppen definiert werden, und dass weiters eine Zuordnung der einzelnen Aussagen zu einer der Lernmodulgruppe abgespeichert wird, wobei jeder Lernmodulgruppe mindestens vierzehn Aussagen zugeordnet werden und zu jeder Lernmodulgruppe für jede Hierarchieklassen die Multiple-Choice Frage gebildet wird. Hierbei kann bei der Bildungsmaßnahme der Stoff in mehrere Lernmodule aufgeteilt werden, wobei die Lernmodule nacheinander in einzelnen Lerneinheiten abgehandelt werden. Durch die Lernmodulgruppe können die abgeprüften Aussagen den einzelnen Lernmodulen zugeordnet werden. Durch die Einteilung der Aussagen in die Lernmodulgruppe können die Aussagen für die einzelnen Lernmodulgruppen vorab festgelegt werden, und dann mit Fortschreiten der Bildungsmaßnahme die Aussagen der einzelnen Lernmodulgruppe für die das Prüfungsverfahren freigegeben werden.Furthermore, it can be provided that several learning module groups are defined in the preparation method, and that further an assignment of the individual statements to one of the learning module group is stored, whereby each learning module group is assigned at least fourteen statements and for each learning module group for each hierarchy class the multiple Choice question is formed. In this case, in the educational measure, the substance can be divided into several learning modules, wherein the learning modules are dealt with in succession in individual learning units. Through the learning module group, the verified statements can be assigned to the individual learning modules. By classifying the statements in the learning module group, the statements for the individual learning module groups can be predefined, and then, as the training measures progress, the statements of the individual learning module group for which the examination procedure is released.

[0031] Weiters kann vorgesehen sein, dass der Lehrende die Antworten jedes Probanden einsehen kann. Dadurch kann der Lehrende erkennen, ob ein einzelner Proband einen besonderen Förderbedarf aufweist.Furthermore, it can be provided that the teacher can see the answers of each subject. This allows the teacher to recognize whether a single subject has special needs.

[0032] Bevorzugt kann vorgesehen sein, dass pro Lernmodulgruppe maximal zwanzig Aussagen abgespeichert werden. Vorteilhaft daran ist, dass bei mehreren Probanden wenige Aussagen pro Hierarchieklasse oftmals ausreichend sind, um den Lernerfolg der Gruppe an Probanden abzuschätzen. Dadurch nimmt die Beantwortung der Multiple-Choice Fragen durch die Probanden nur wenig Zeit in Anspruch, wodurch das Verfahren besonders gut als begleitendende Maßnahme zu einer Bildungsmaßnahme geeignet ist, und eine hohe Bereitschaft der Probanden zur Teilnahme an dem Verfahren besteht. Weiters ist es dadurch möglich alle drei Multiple-Choice Fragen gleichzeitig und ohne die Notwendigkeit des Scrollens auf einem Bildschirm anzuzeigen, wodurch die Bedienung wesentlich vereinfacht wird und auch sichergestellt werden kann, dass keine Aussagen von den Probanden übersehen werden.Preferably, it can be provided that a maximum of twenty statements are stored per learning module group. The advantage of this is that with several test persons few statements per hierarchy class are often sufficient to estimate the learning success of the group of test persons. As a result, responding to the multiple-choice questions by the subjects takes only little time, making the method particularly well suited as an adjunctive measure to an educational measure, and there is a high willingness of the subjects to participate in the procedure. It also makes it possible to display all three multiple-choice questions on one screen at the same time, without the need for scrolling, which greatly simplifies the operation and ensures that no statements are overlooked by the subjects.

[0033] Besonders bevorzugt kann vorgesehen sein, dass der Richtigkeitswert zwei bis fünf, insbesondere drei, Werte annehmen kann. Dadurch ergibt sich der Vorteil, dass die Auswertung der Antworten in wenige und daher auch leicht begreifbare Werte ausgegeben werden kann. Dadurch braucht der Lehrende keine besonderen statistischen Vorkenntnisse, um das Ergebnis des Prüfungsverfahrens zu interpretieren.Particularly preferably, it can be provided that the accuracy value can take two to five, in particular three, values. This results in the advantage that the evaluation of the answers can be output in a few and therefore easily comprehensible values. As a result, the teacher does not need any special statistical knowledge to interpret the result of the examination procedure.

[0034] Bei der Verwendung dreier Werte als Richtigkeitswerte kann vorgesehen sein, dass ein erster Wert für ein mangelhaftes Ergebnis steht, ein zweiter Wert für ein durchschnittliches Ergebnis und ein dritter Wert für ein gutes Ergebnis.When using three values as correctness values it can be provided that a first value stands for a deficient result, a second value for an average result and a third value for a good result.

[0035] Bevorzugt kann vorgesehen sein, dass für den Richtigkeitswert in einer Hierarchieklasse bei 0% bis 69,9% an korrekt als wahr oder falsch beantworteten Aussagen als Richtigkeitswert der erste Wert abgespeichert wird, bei 70% bis 86,9% an korrekt als wahr oder falsch beantworteten Aussagen als Richtigkeitswert der zweite Wert abgespeichert wird und bei 87% bis 100% an korrekt als wahr oder falsch beantworteten Aussagen als Richtigkeitswert der dritte Wert abgespeichert.Preferably, it can be provided that for the correctness value in a hierarchy class at 0% to 69.9% of correct as true or false answers answered as the correctness value of the first value is stored at 70% to 86.9% of correctly as true or false answered statements as a correctness value of the second value is stored and stored at 87% to 100% of correct as true or false statements as a corrective value of the third value.

[0036] Insbesondere kann vorgesehen sein, dass ein Richtigkeitswert als Farbe eines Ampelsystems ausgegeben wird, daher rot für ein mangelhaftes Ergebnis, gelb für ein durchschnittliches Ergebnis und grün für ein gutes Ergebnis.In particular, it can be provided that a correctness value is output as the color of a traffic light system, therefore red for a poor result, yellow for an average result and green for a good result.

[0037] Insbesondere kann vorgesehen sein, dass die Richtigkeitswerte im Wesentlichen unmittelbar nach deren Berechnung mittels einer Anzeigevorrichtung angezeigt werden. Im Wesentlichen unmittelbar nach deren Berechnung bedeutet in diesem Zusammenhang, dass die Ergebnisse der Richtigkeitswerte zeitnah nach deren Berechnung angezeigt werden. Die Anzeigevorrichtung kann insbesondere ein Bildschirm oder ein Projektor in einem Lehrsaal sein. Dadurch können die Probanden und der Lehrende unmittelbar ansehen, ob mit dem Lernstoff fortgefahren werden kann, oder eine Wiederholung des Lernstoffes, insbesondere eines Lernmoduls, notwendig ist.In particular, it can be provided that the correctness values are displayed substantially immediately after their calculation by means of a display device. Essentially, immediately after their calculation means in this context that the results of the correctness values are displayed promptly after their calculation. The display device may in particular be a screen or a projector in a classroom. As a result, the subjects and the teacher can immediately see whether it is possible to continue with the learning material, or a repetition of the learning material, in particular a learning module, is necessary.

[0038] Besonders bevorzugt kann vorgesehen sein, dass das Prüfungsverfahren während einer Präsenzlehrveranstaltung, an welcher die Probanden teilnehmen, durchgeführt wird, und dass die Richtigkeitswerte noch in derselben Präsenzlehrveranstaltung angezeigt werden.Particularly preferably, it can be provided that the examination procedure is carried out during a classroom session in which the test persons participate, and that the correctness values are still displayed in the same classroom lecture.

[0039] Es kann vorgesehen sein, dass die abgespeicherten Richtigkeitswerte lediglich angezeigt werden. Hierbei kann der Lehrende die Richtigkeitswerte für die einzelnen Hierarchieklassen ansehen und daraus seine Schlüsse ziehen, beispielsweise dass eine Lerneinheit wiederholt werden soll oder er mehr auf Detailwissen eingehen kann, da die Probanden ansonsten unterfordert sind.It can be provided that the stored correctness values are only displayed. In this case, the teacher can view the correctness values for the individual hierarchy classes and draw his conclusions from them, for example, that a learning unit should be repeated or he can go into detail knowledge, because the subjects are otherwise under-challenged.

[0040] Bevorzugt kann vorgesehen sein, dass für jede Hierarchieklasse Schwellenwerte für die Richtigkeitswerte vorgegeben werden, und dass überprüft wird, ob der Schwellenwert in jeder Hierarchieklasse erreicht wurde. Der Schwellenwert ist ein vorgegebener Wert für den Richtigkeitswert. Der Schwellenwert ist erreicht, wenn der Wert des Richtigkeitswertes gleich oder größer dem Schwellenwert ist. Durch die Vorgabe der Schwellenwerte für die Richtigkeitswerte kann der Lehrende bei der Interpretation der Ergebnisse unterstützt werden.It can preferably be provided that threshold values for the correctness values are specified for each hierarchy class and that it is checked whether the threshold value has been reached in each hierarchy class. The threshold is a default value for the correctness value. The threshold is reached when the value of the correctness value is equal to or greater than the threshold. By setting the threshold values for the correctness values, the teacher can be supported in interpreting the results.

[0041] Sofern der Schwellenwert nicht in jeder Hierarchieklasse erreicht wurde, kann dem Lehrenden eine Warnung oder ein Hinweis auf mögliche Lösungswege, beispielsweise die Wiederholung einer Lerneinheit, ausgegeben werden.If the threshold has not been reached in each hierarchy class, a warning or an indication of possible solutions, for example the repetition of a learning unit, can be output to the teacher.

[0042] Weiters kann vorgesehen sein, dass die Schwellenwerte für die einzelnen Hierarchieklassen unterschiedlich hoch sind.Furthermore, it can be provided that the threshold values for the individual hierarchy classes are of different heights.

[0043] Die Schwellenwerte für die einzelnen Hierarchieklassen können insbesondere vorab eingestellt sein. Weiters kann vorgesehen sein, dass die Schwellenwerte von dem Lehrenden vorgebbar sind.The threshold values for the individual hierarchy classes can be set in advance in particular. Furthermore, it can be provided that the threshold values can be predetermined by the teacher.

[0044] Besonders bevorzugt kann vorgesehen sein, dass der Schwellenwert für eine niedrigste Hierarchieklasse im Vergleich zu den anderen Schwellenwerten am höchsten ist.Particularly preferred may be provided that the threshold for a lowest hierarchy class compared to the other thresholds is highest.

[0045] Weiters kann vorgesehen sein, dass die Schwellenwerte mit einer Höhe der Hierarchieklassen abnimmt.Furthermore, it can be provided that the threshold values decrease with a height of the hierarchy classes.

[0046] Insbesondere kann bei der Verwendung von drei Richtigkeitswerten vorgesehen sein, dass der Schwellenwert für die erste Hierarchieklasse der dritte Wert ist, der Schwellenwert für die zweite Hierarchieklasse der zweite Wert ist und der Schwellenwert für die dritte Hierarchieklasse der erste Wert ist. Dadurch kann eine Warnung ausgegeben werden, wenn in der ersten Hierarchieklasse lediglich ein durchschnittliches oder mangelhaftes Ergebnis oder in der zweiten Hierarchieklasse lediglich ein mangelhaftes Ergebnis vorliegt.In particular, when using three corrective values, it may be provided that the threshold value for the first hierarchy class is the third value, the threshold value for the second hierarchy class is the second value and the threshold value for the third hierarchy class is the first value. As a result, a warning can be issued if in the first hierarchy class only an average or poor result or in the second hierarchy class is only a poor result.

Claims

claims

1. A method for computer-aided verification of a learning outcome of several subjects comprising a preparation process and an examination process, wherein in the preparation process at least fourteen statements, correct answers, whether the respective statement is true or false, and assignments of the individual statements to exactly one of three hierarchy classes in one Memory of a network computer are stored, wherein at least four statements of a first hierarchy class, at least five statements of a second hierarchy class and at least five statements of a third hierarchy class are assigned, from the statements and the correct answers for each of the hierarchy classes a multiple-choice question is formed wherein in the examination process, the multiple-choice questions are output and answers of the subjects are stored on the multiple-choice questions, the answers of the subjects with the stored correct answers by the Ne Substation calculator are compared and a cumulative accuracy value of the answers of the subjects for each of the hierarchy classes is calculated and stored.

2. The method according to claim 1, characterized in that in the preparation process several learning module groups are defined, and that further an assignment of the individual statements is stored to one of the learning module group, each learning module group are assigned at least fourteen statements and each learning module group for each hierarchy classes the Multiple-choice question is formed.

3. The method according to claim 2, characterized in that per learning module group a maximum of twenty statements are stored.

4. The method according to any one of claims 1 to 3, characterized in that the correctness value can take two to five, in particular three, values.

5. The method according to any one of claims 1 to 4, characterized in that the correctness values are displayed substantially immediately after their calculation by means of a display device.

6. The method according to any one of claims 1 to 5, characterized in that for each hierarchy class thresholds for the correctness values are given, and that it is checked whether the threshold was reached in each hierarchy class.

7. The method according to claim 6, characterized in that the threshold values for the individual hierarchy classes are of different heights.

Method according to claim 6 or 7, characterized in that the threshold value for a lowest hierarchy class is highest in comparison to the other threshold values.

9. Computer program product for execution on a network computer, wherein the computer program product when executed on the network computer performs a method according to claims 1 to 8.

10. A data carrier comprising a computer program product according to claim 9. For this no drawings