WO2003030705A2 - Device for evaluating psychological and biomedical raw data - Google Patents

Device for evaluating psychological and biomedical raw data Download PDF

Info

Publication number
WO2003030705A2
WO2003030705A2 PCT/AT2002/000289 AT0200289W WO03030705A2 WO 2003030705 A2 WO2003030705 A2 WO 2003030705A2 AT 0200289 W AT0200289 W AT 0200289W WO 03030705 A2 WO03030705 A2 WO 03030705A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
neural network
input
psychological
subject
Prior art date
Application number
PCT/AT2002/000289
Other languages
German (de)
French (fr)
Other versions
WO2003030705A3 (en
Inventor
Gernot Schuhfried
Jörg A. PRIELER
Original Assignee
Dr. G. Schuhfried Gesellschaft M.B.H.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr. G. Schuhfried Gesellschaft M.B.H. filed Critical Dr. G. Schuhfried Gesellschaft M.B.H.
Priority to EP02778969A priority Critical patent/EP1434516A2/en
Publication of WO2003030705A2 publication Critical patent/WO2003030705A2/en
Publication of WO2003030705A3 publication Critical patent/WO2003030705A3/en

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the invention relates to the evaluation of psychological and / or biomedical raw data in the form of a profile vector which comprises data relating to a subject and obtained in the course of psychological / biomedical testing, which, however, at least in part originate from purely psychological tests.
  • tests have been used in which various psychological and / or biomedical parameters are recorded, for example by means of measurements, test situations or interviews, and an overall judgment is determined from them, e.g. regarding the suitability of the test subject (e.g. as a driver or aircraft pilot), psychological resilience, the presence of a mental disorder (e.g. depression). These tests are often carried out in the form of test batteries.
  • Cut-off scores are currently used primarily in traffic psychology, although falling below a prescribed cut-off score in a single measured value can lead to the driver's license being withdrawn.
  • the cut-off scores given in the individual test parameters are based on expert ratings. However, studies on the possibilities of compensating for deficits or increasing individual deficits are pending.
  • the correlation and regression analysis approaches can be further divided into linear and curve-linear methods.
  • the main representatives of linear statistical techniques, which are also used in most studies on the classification of subjects, are regression analysis and discriminatory analysis, cf. R.S. Jäger, "Diagnostic Judgment Formation” in Encyclopedia of Psychology, ed. K-J. Groffmann and L. Michel, Göttingen: Hogrefe 1982.
  • curvilinear models the basic idea of which is often referred to as “configurability”, assume that there is a non-linear relationship between the predictor variables (eg test data, information from anamnesis) and the criterion variable (statements about the judgment, eg “successful "versus” unsuccessful "). Exactly these curvilinear relationships mostly represent reality in the field of psychology, but such relationships are naturally difficult to model. In today's studies, therefore, the discriminant analysis is mainly used in the classification of people.
  • the principle of discriminant analysis with two qualitatively different forms of a criterion variable is to find a measure by a linear and weighted combination of the individual characteristics that optimally separates the two assignment groups. This means that the variance of the combined point values between the two groups is minimized compared to the variance within one group rr.
  • the calculation process is ended by determining a dislocation function and comparing the empirically ascertained assignments of the persons to the two assignment groups, which are determined on the basis of the discriminant function.
  • This discriminant function has the property that best separates given classes.
  • the ß weights calculated for the individual predictors are partial regression coefficients, which immediately illustrates the relationship of the discriminant analysis to the multiple regression.
  • the discriminant analysis was originally developed for assignments in the context of anthropology, cf.
  • the distributions of the characteristic values of the predictor variables are multivariate normal for each partial sample formed according to the criterion
  • DE 19831 109 AI proposes to evaluate EEG data from premature and newborn babies with the help of a neural network in order to recognize disturbances in respiratory regulation.
  • No. 5,724,987 relates to a method for regulating training units on the basis of neurophysiological derivations, in which physiological parameters are compressed into an index of attention and cognitive stress by means of a neural network and the training session is controlled with the aid of this index.
  • EP 0699413 AI deals with a similar method in which EEG signals are used to analyze the physiological and mental state of a driver.
  • physiological data differs significantly from the evaluation of psychological data which are subject to the invention.
  • physiological data can be measured, often even using standardized methods, so that tendencies from the measured material can be clearly proven and the resulting conclusions can often be justified.
  • Reproducibility is often not a problem.
  • the analysis of psychological data still relies on statistical methods, and the underlying data are considered to be less manageable and comparable;
  • the acquisition of psychological data is usually difficult to reproduce, and this data is therefore subject to corresponding uncertainties. This inevitably affects the reliability of the conclusions derived from it.
  • the results are not fed back to the evaluation.
  • the object of the invention is to show a way for objectifiable classifications for raw data of the type described at the outset, which have a high level of reliability.
  • the invention allows the statistical evaluation of the psychological / biomedical data through the use of non-linear automatons, namely neural networks. These are in different areas of technology, e.g. at the pattern recognition, known.
  • EP 1 022632 AI describes the use of a neural network for checking the functionality of an electrical device; the use of neural networks for the evaluation of physiological signals was presented above.
  • the invention now proposes neural networks for use in psychology. Compared to established evaluation methods, the evaluation according to the invention enables a significantly higher rate of reliability.
  • the neural network provided according to the invention must be trained before it is actually used.
  • the starting point for the learning process of the network is the previously determined initial and practical values of a so-called learning sample.
  • the network should be able to independently assign people to the learning sample.
  • the classification of individual observations can be carried out, which are entered into the network after the training.
  • the network generalizes its "experiences" made in relation to the training collection to the new individual case.
  • neural networks Compared to the known statistical methods of forming judgments, neural networks have the following favorable properties for classification tasks: 1. Neural networks are learnable and changeable, ie, they can "learn" the optimal assignment from existing data sets and, if desired, change successively with the inclusion of new (learning) data.
  • Neural networks can map nonlinear relationships.
  • Neural networks assume no requirements with regard to the data properties and the distribution of the predictor variables; the only requirement of the method concerns the completeness of the data sets in the learning sample.
  • the second characteristic, the simulation of non-linearities, is particularly important in psychology, since people rarely "react linearly" and moderator conditions can moderate the relationship between behavior and criteria, which results in a non-linear relationship between the two variables.
  • neural networks have significant advantages in the integration of information in the context of statistical judgment in comparison with competing methods of data integration.
  • they also offer the advantage that they can also be used in areas of psychology in which a sufficient theoretical knowledge base in the form of fully empirically evaluated overall models of human behavior has not yet been available are. This is especially true in the area of traffic psychology and other areas of applied psychology, such as risk research.
  • a conversion device downstream of the neural network provides for converting the result variable (s) supplied by the network into plain text information in order to further simplify the interpretation of the evaluation.
  • FIG. 1 shows the known network topology of a multilayer perceptron MLP, which receives a number of input variables E1, E2,..., En and generally several Provides output variables, here there are, for example, two output variables Ol, O 2.
  • the topology is acyclically (forward-oriented) divided into layers IL, HL, OL
  • the neurons IN1, IN2, ..., INn in a first layer, the input layer IL receive the input variables El-En as input and pass on their output signals to the neurons Hl / ... / Hm of a so-called hidden layer HL.
  • the outputs of the neurons Hl, ..., Hm of the hidden layer are connected to the neurons ON1, ON2 of the output layer OL
  • more than one hidden layer can also be provided (not shown in FIG. 1), in which case the outputs of a hidden layer are included is linked to the next hidden layer and the last hidden layer supplies the output layer.
  • the output variables Ol, O2 provided by the output layer represent the evaluation of the input data provided by the multilayer perceptron.
  • the link between the hidden layer HL and the output layer OL of FIG. 1 is described by a 2 ⁇ m matrix plus an offset value.
  • the multilayer perceptron used can have exactly one hidden layer, and it is usually advantageous if the number of neurons in the hidden layer is greater than the number of neurons in the input layer.
  • the evaluation device advantageously contains a memory for storing input data (profile vector) and result data of previous evaluations, the neural network having access to this memory, e.g. for additional training or a new training of the network.
  • the device can be set up to store the associated input and result data in the memory after evaluating a profile vector and to use the data thus supplemented in the memory as the basis for subsequent evaluations.
  • the input data include, in addition to data obtained from psychological / biometric testing, further data that were obtained from an interview with the subject concerned and / or from a biographical survey.
  • the neural network used according to the invention must be trained before use in order to “learn” the desired result to be queried.
  • the link configuration (link form and weights) of the network is based on training using data that, in addition to input data also contain probation data that were collected for the test subject in the period after an evaluation had already been carried out.
  • FIG. 3 shows the test evaluation according to the invention within the suitability test of FIG. 2.
  • the evaluation device shown below is a self-learning and self-optimizing device with an underlying method for the exact selection of the test subjects according to predetermined criteria from measurement results from recognized psychological test methods.
  • the neural network method is applied to the subject data with the help of evaluation profiles. For the mapping in the neural network, further results data from previous subjects are used for the adaptation of the network.
  • the system thus created enables the test subjects' results profiles to be optimized automatically.
  • data integration of the subject data is used with the aim of increasing the sharpness of the result data (i.e. the criterion prediction). This significantly increases the meaningfulness and reliability of the result data.
  • This method allows machine-aided evaluation of the results of psychological tests and represents a significant improvement in the sharpness of results compared to the previously dominant clinical method.
  • the measurement results of the test subject are collected in a psychological test station 1 and made available for the subsequent evaluation according to the invention in the form of raw psychological data 2.
  • data 3 relating to the test subjects are used in another way, for example interview data obtained in an interview, biographical data collected in a patient's medical history or “probation data” that were obtained through later feedback on the probation of the test subject in question.
  • These data 2, 3 are entered into a data processing unit 6, on which the analysis device according to the invention is set up using a neural network, by selecting 4 an evaluation profile (network architecture and associated weights), the data processing determines a result vector 5.
  • a memory 9 comprises a subject data memory 10 and a probation data memory 11. All available diagnostic information 12 is archived in the subject data memory 10, in particular all psychological test results 2, and, if necessary, further relevant subject-related data 2a, such as interview data and / or biographical data.
  • the probation data memory 11 manages the probation data 13.
  • the subject data fields 12 act as input data of the neural network NN. These are based on the evaluation profile 14 specified in each case according to the selection 4, which defines the type of evaluation as parameter data in the sense of the invention and in a parameter memory 15 is submitted to an evaluation. This results in the result vector 5 which provides all the relevant data of the subject.
  • the evaluation profile 14 is the characteristic values of the weights of the links within the relevant neural network. Each evaluation profile 14 was learned for a given network structure based on a training sarple. The evaluation profile enables simple and quick selection of differently trained networks according to the given requirements. All evaluation profiles are held in the parameter memory 15, which is expediently also part of the memory 9.
  • the data in the memory 14 are available to the neural network for its initialization, in particular for training.
  • the associated data are recorded in the subject data memory 10; the same applies to the probation data memory 11 if new events become known to test subjects.
  • probation data probation data memory 11 belonging to the sample are used.
  • a major advantage of the arrangement is the application of the self-learning neural network to the subject data on the basis of further information (probation data) about the same. This data is used for further learning of the network.
  • the sharpness (the information security) of the results can be controlled iteratively significantly compared to all other known methods.
  • the selection of which of the available data are used for training the evaluation device according to the invention or for input in a specific test subject assessment differs from that described here.
  • Probation data can also be used as input data for the assessment, if such data is available, or parts of the data such as test or interview data can be reserved for training.
  • driver suitability of driver candidates who are considered to be risky (eg due to previous conspicuous behavior, criminal offenses or the like) is assessed.
  • the characteristic values of five were used as the data basis for the classification of drivers various performance tests in the area of responsiveness and perception, age and the assignment of people with regard to their fitness to drive based on the driving style or a global judgment of driving behavior.
  • the data were collected in a multi-center validation study (see Karner & Neuwirth, 2000; summer , 2001)
  • the driving style of the study participants was determined using a hierarchical cluster analysis based on the Ward algorithm, based on the assessment of individual dimensions of safe driving behavior during a standardized driving test.
  • the global judgment provides an overall impression of driving behavior from a traffic perspective psychologists.
  • the variables used as input data for the evaluation are z-shaped with respect to the mean and the standard deviation of the underlying distribution.
  • the mean value of the distribution is subtracted from each value, and the associated z-transformed value is obtained by subsequent division by the standard deviation.
  • the z-transformation ensures that the characteristic values used - regardless of their initial value range - assume a comparable value range. This is especially so when combining reaction times (typically of the order of magnitude several 100 ms) and numbers of correct answers from test procedures with different number of items of importance.
  • the test subjects' z-transformed test results in the areas of responsiveness and perception, as well as their age, are the predictors.
  • the assessment of fitness to drive based on the criterion driving style or overall judgment in suitable and unsuitable drivers form the two criterion variables for which a separate neural network was created and trained. So two different neural networks were trained, which only differ in the criteria variable used (global judgment vs. driving style) - and thus in the associated evaluation profile.
  • the two output neurons correspond to the two possible forms of the dichotomous criterion (e.g. suitable or unsuitable).
  • dichotomous criterion e.g. suitable or unsuitable.
  • multi-category criterion variables are also conceivable, e.g. different professions or uses; in such a case, a corresponding number of output neurons would have to be provided.
  • the neural networks used were implemented on a PC using a commercial software package (Math Lab).
  • a network was implemented in which each unit of the preceding layer is connected to each unit of the subsequent layer (so-called full feed forwarding; only indicated in FIG. 1 for the sake of clarity).
  • the well-known Softmax function is used as a transfer function in order to standardize the output variables to 100%.
  • the well-known back propagation algorithm was used for the learning algorithm.
  • the network structure was defined in the manner described here in order to be able to map possible nonlinear effects with good generalizability of the results.
  • the number of units in the hidden layer must be large enough to accomplish the task at hand, but also small enough to enable a sufficiently good generalization of the network.
  • the number of neurons in the hidden layer was systematically varied in several calculations using the same data sets and the results of the different which networks are compared with each other for one of the criteria regarding generalization ability and classification rate. An optimal number of neurons in the hidden layer was determined from the results obtained in this way.
  • the generalizability was checked using the method of partial sampling, whereby 10 randomly selected persons acted as test samples for each of the two criteria, on the basis of which the generalizability of the network, which was now trained again with the now reduced sample size, was checked.
  • the results on the generalizability of the results indicate good stability of the results obtained.
  • a classification rate of 86 percent correct assignments could be achieved for the criterion global judgment.
  • the classification rate was 90 percent of correct assignments, with correctly classified persons with 63 to 99 percent certainty assigned correctly, while the safety of incorrect assignments was 60 percent.
  • the good agreement between the classification rate in the learning sample (86.3%) and test sample (90%) indicates a good network specification.
  • the second area of application was 92 complete data of a test battery consisting of seven different test methods of a validation study for the selection of successful graduates of flight training from an Austrian airline (Lauda Airlines), as well as information about the successful completion or termination of the training.
  • a multilayer perceptron consisting of a total of three layers was also used.
  • the network consisted of eleven input units to represent the z-transformed raw values from the individual test procedures, fifteen units of the hidden layer and the two output layer units to represent the two characteristics of the criterion variable, educational success.
  • the evaluation of the data according to the invention provided a surprisingly high level of reliability.
  • the classification rate was 80 percent of correct assignments, with correctly classified people with 60 to 99 percent certainty assigned correctly, while the safety of the wrong assignment was between 63 to 68 percent.
  • the agreement between the classification rate in the learning sample (93.6%) and test sample (80%) can be described as sufficiently good.
  • the generalization of the results of the neural network can also be assessed as satisfactory here.
  • neural networks have several advantages compared to conventional methods of data integration.
  • a major advantage is the comparatively low data requirements.
  • neural networks also allow adequate consideration of non-linear relationships between the predictor variable and the selected criterion variable, which cannot be achieved by a human diagnostician.

Abstract

The invention relates to a device and a method for evaluating psychological and/or biomedical raw data in the form of a profile vector comprising data relating to a proband. Said data is obtained during a psychological/biomedical test, but is at least partly the result of purely psychological tests. The inventive device comprises a neuronal network (NN), to which the data (12) of a profile vector, and parameter data (14) for the selection of variables to be derived, can be supplied in the form of input data. Said neuronal network is established in order to output at least one result variable (5) which is derived from the input data according to the parameter data, said variable being used to evaluate the proband.

Description

VORRICHTUNG ZUM AUSWERTEN PSYCHOLOGISCHER UND BIOMEDIZINISCHER ROHDATEN DEVICE FOR EVALUATING PSYCHOLOGICAL AND BIOMEDICAL RAW DATA
Die Erfindung betrifft die Auswertung psychologischer und/ oder biomedizinischer Rohdaten in Form eines Profilvektors, welcher einen Probanden betreffende, im Rahmen einer psychologisch/biomedizinischer Testung gewonnene Daten umfasst, die jedoch zumindest zum Teil rein psychologischen Testungen entstammen.The invention relates to the evaluation of psychological and / or biomedical raw data in the form of a profile vector which comprises data relating to a subject and obtained in the course of psychological / biomedical testing, which, however, at least in part originate from purely psychological tests.
In der psychologischen Diagnostik kommen, besonders in jüngster Zeit, Tests zum Einsatz, in denen - beispielsweise mittels Messungen, Testsituationen oder Interviews - verschiedene psychologische und/ oder biomedizinische Parameter erfasst werden und aus diesen ein Gesamturteil ermittelt wird, z.B. betreffend die Eignung des Probanden (z.B. als Fahrzeuglenker oder Flugzeugpilot), die psychische Belastbarkeit, das Vorliegen einer psychischen Störung (z.B. einer Depression). Oft werden diese Tests in der Form von Testbatterien gebündelt durchgeführt.In psychological diagnostics, particularly recently, tests have been used in which various psychological and / or biomedical parameters are recorded, for example by means of measurements, test situations or interviews, and an overall judgment is determined from them, e.g. regarding the suitability of the test subject (e.g. as a driver or aircraft pilot), psychological resilience, the presence of a mental disorder (e.g. depression). These tests are often carried out in the form of test batteries.
Seit mehreren Jahrzehnten gibt es in diesem Bereich der Psychologie heftige Diskussionen über die Art der Dateninterpretation und Datenintegration im Rahmen des diagnostischen Prozesses. Ein zentraler kontroverser Punkt ist der Gegensatz zwischen zwei Strategien der Urteilsbildung, nämlich die „statistische" und die „klinische'' Urteilsbildung. Während in der klinischen Urteilsbildung die Informationen von geschulten Psychologen auf der Grundlage deren Fachwissens, Erfahrung und Intuition zu einem Urteil integriert werden, nutzen Methoden der statistischen Urteilsbildung mathematische Algorithmen zur Integration der erhobenen Daten. Im Rahmen der klinischen Urteilsbildung muss der Grad an intersubjektiver Nachvollziehbarkeit der Urteile erst post-hoc ermittelt und auf Basis der Merkmale der Beurteilungen hinsichtlich der Aussagekraft relativiert werden. Im Gegensatz zur klinischen Urteilsbildung ermöglichen Methoden der statistischen Urteilsbildung auch die Ermittlung der Sicherheiten individueller diagnostischer Entscheidungen, was bei klinischen Urteil lediglich über die Abgabe subjektiver Ratings des Diagnostikers möglich ist.For several decades, there have been violent discussions in this area of psychology about the type of data interpretation and data integration in the context of the diagnostic process. A key controversial point is the contrast between two strategies of judgment formation, namely "statistical" and "clinical" judgment formation. While in clinical judgment formation, the information of trained psychologists is integrated into a judgment based on their specialist knowledge, experience and intuition , use methods of statistical judgment formation mathematical algorithms for the integration of the collected data In the context of clinical judgment formation the degree of intersubjective traceability of the judgments has to be determined post-hoc and relativized based on the characteristics of the assessments with regard to the meaningfulness methods of statistical judgment formation also allow the determination of the certainty of individual diagnostic decisions, which in clinical judgment is only possible by submitting subjective ratings of the diagnostician.
Vor allem bei Fragen zur Personalselektion (Schlagwort „die richtige Person am richtigen Platz") sowie bei verkehrspsychologischen Untersuchungen kommt der Entscheidungssicherheit eine immer größere Bedeutung zu, insbesondere im Zuge einer Qualitätssicherung von Auswahlprozeduren bzw. von strengeren Vorschreibungen bei Qualitätsstandards (z.B. ISO 9001). Statistische Methoden der diagnostischen Urteilsbildung weisen nach den oben diskutierten Gesichtspunkten hier einen klaren Vorteil auf. In der Verkehrspsychologie wird derzeit vor allem auf Cut-Off-Scores zurückgegriffen, wobei bereits das Unterschreiten eines vorgeschriebenen Cut-Off-Scores in einem einzigen Messwert zum Entzug der Fahrerlaubnis führen kann. Die angegebenen Cut-Off-Scores in den einzelnen Testkennwerten (z.B. aus Intelligenz-, Konzentrations-, Reaktions- bzw. Persönlichkeitstests), basieren auf Expertenratings. Studien über Möglichkeiten der Kompensation von Defiziten oder Verstärkung einzelner Defizite stehen jedoch aus.Especially with questions about personnel selection (keyword "the right person in the right place") as well as with traffic psychological examinations, decision security is becoming increasingly important, especially in the course of quality assurance of selection procedures or stricter requirements for quality standards (e.g. ISO 9001). Statistical methods of diagnostic judgment formation have a clear advantage here from the points of view discussed above. Cut-off scores are currently used primarily in traffic psychology, although falling below a prescribed cut-off score in a single measured value can lead to the driver's license being withdrawn. The cut-off scores given in the individual test parameters (e.g. from intelligence, concentration, reaction or personality tests) are based on expert ratings. However, studies on the possibilities of compensating for deficits or increasing individual deficits are pending.
Darüber hinaus gibt es im Bereich der Verkehrspsychologie äußerst wenige und vor allem großteils enttäuschende Studien darüber, wie die erreichten Einzeltestwerte mit dem Kriterium Fahreignung zusammenhängen. Die in der Literatur berichteten Korrelationen bewegen sich bei Werten bis maximal 0.40, was eine Varianzaufklärung von gerade 16% entspricht; eine Varianzaufklärung von lediglich 9% ist in diesem Bereich keine Seltenheit. Diese - praktisch irrelevanten - Korrelationskoeffizienten wurden bereits als „großer" Erfolg angepriesen. Greift man in den verschiedenen Studien jedoch auf die methodisch erforderliche Korrektur des Alphafehlerniveaus zurück, verschwindet zumeist die statistische ausgewiesene Signifikanz. Präzise und wissenschaftlich seriöse Aussagen lassen sich bei der gegebenen Befundlage und der derzeit verwendeten klinischen Art der Informations- integration aus methodischer Sicht nicht ohne gravierende methodische Bedenken ziehen. Diese oben diskutierte Befundlage verdeutlicht die Notwendigkeit einer stärker objektiven Art der Informationsintegration zum Zweck der Entscheidungsfindung unter Rückgriff auf statistische Methoden der Informationsintegration.In addition, in the field of traffic psychology there are very few and, above all, mostly disappointing studies on how the individual test values achieved are related to the criterion of driving suitability. The correlations reported in the literature range up to a maximum of 0.40, which corresponds to an elucidation of variance of just 16%; an elucidation of variance of only 9% is not uncommon in this area. These - practically irrelevant - correlation coefficients have already been advertised as a "great" success. However, if one makes use of the methodically necessary correction of the alpha error level in the various studies, the statistically proven significance usually disappears. Precise and scientifically reliable statements can be made with the given findings and From a methodological point of view, the current clinical type of information integration is not without serious methodological concerns.The findings discussed above illustrate the need for a more objective type of information integration for the purpose of decision-making using statistical methods of information integration.
Im Bereich der Verbesserung klassischer statistischer Klassifizierungsmodelle, die sich für den Einsatz im Rahmen der diagnostischen Urteilsbildung eignen, hat sich in den letzten Jahren allerdings nur wenig getan. In der Praxis kommt den korrelations- und regressionsanalytische Modellen derzeit die größte Bedeutung zu.Little has changed in recent years in the area of improving classic statistical classification models that are suitable for use in the context of diagnostic judgment. In practice, the correlation and regression analysis models are currently of the greatest importance.
Die korrelations- und regressionsanalytische Ansätze lassen sich weiter in lineare und kurvilineare Methoden unterteilen. Als Hauptvertreter der linearen statistischen Techniken, die auch in den meisten Studien zur Klassifikation von Probanden verwendet werden, gelten die Regressionsanalyse und die Diskri inanzanalyse, vgl. R.S. Jäger, „Diagnostische Urteilsbildung" in Enzyklopädie der Psychologie, Hrsg. K-J. Groffmann u. L. Michel, Göttingen: Hogrefe 1982.The correlation and regression analysis approaches can be further divided into linear and curve-linear methods. The main representatives of linear statistical techniques, which are also used in most studies on the classification of subjects, are regression analysis and discriminatory analysis, cf. R.S. Jäger, "Diagnostic Judgment Formation" in Encyclopedia of Psychology, ed. K-J. Groffmann and L. Michel, Göttingen: Hogrefe 1982.
Die kurvilinearen Modelle, deren Grundidee auch öfters als „ Konfigur alität" bezeichnet wird, gehen von der Annahme eines nicht-linearen Zusammenhangs zwischen den Prädik- torvariablen (z.B. Testdaten, Informationen aus Anamnesen) und der Kriteriumsvariable (Aussagen über das Urteil, z.B. „erfolgreich" gegenüber „nicht erfolgreich") aus. Genau diese kurvilinearen Beziehungen stellt im Bereich der Psychologie zumeist die Realität dar, jedoch sind derartige Zusammenhänge naturgemäß schwer zu modellieren. In heutigen Studien wird daher überwiegend die Diskriminanzanalyse bei der Klassifizierung von Personen herangezogen.The curvilinear models, the basic idea of which is often referred to as “configurability”, assume that there is a non-linear relationship between the predictor variables (eg test data, information from anamnesis) and the criterion variable (statements about the judgment, eg “successful "versus" unsuccessful "). Exactly these curvilinear relationships mostly represent reality in the field of psychology, but such relationships are naturally difficult to model. In today's studies, therefore, the discriminant analysis is mainly used in the classification of people.
Das Prinzip der Diskriminanzanalyse bei zwei qualitativ unterschiedlichen Ausprägungen einer Kriteriumsvariable besteht darin, durch eine lineare und gewichtete Kombination der einzelnen Merkmale ein Maß zu finden, das die beiden Zuweisungsgruppen optimal trennt. Dies bedeutet, dass die Varianz der kombinierten Punktwerte zwischen den beiden Gruppen im Vergleich zu der Varianz innerhalb einer Gruppe rr ximiert wird. Der Rechengang wird durch die Ermittlung einer Dislαim anzfunktion und dem Vergleich der empirisch erhobenen und anhand der Diskriminanzfunktion ermittelten Zuordnungen der Personen zu den beiden Zuweisungsgruppen beendet. Diese Diskrirrdnanzfunktion besitzt die Eigenschaft, die vorgegebenen Klassen am besten trennt. Die dabei berechneten ß-Gewichte für die einzelnen Prädiktoren sind Partialregressionskoeffizienten, was unmittelbar die Beziehung der Diskriminanzanalyse zur multiplen Regression verdeutlicht. Die Diskriminanzanalyse wurde ursprünglich für Zuordnungen im Rahmen der Anthropologie entwickelt, vgl. R.A. Fisher, "The statistical utilization of multiple measurement", Annais of Eugenics 8, 376-386, und ist seit der Verfügbarkeit von Computeranlagen zu einem Routineverfahren geworden, dessen Bedeutsamkeit in zahlreichen Untersuchungen zu Klassifikationsfragen in der Klinischen Psychologie und Eignungspsychologie in Schule und Beruf gezeigt wurde.The principle of discriminant analysis with two qualitatively different forms of a criterion variable is to find a measure by a linear and weighted combination of the individual characteristics that optimally separates the two assignment groups. This means that the variance of the combined point values between the two groups is minimized compared to the variance within one group rr. The calculation process is ended by determining a dislocation function and comparing the empirically ascertained assignments of the persons to the two assignment groups, which are determined on the basis of the discriminant function. This discriminant function has the property that best separates given classes. The ß weights calculated for the individual predictors are partial regression coefficients, which immediately illustrates the relationship of the discriminant analysis to the multiple regression. The discriminant analysis was originally developed for assignments in the context of anthropology, cf. R.A. Fisher, "The statistical utilization of multiple measurement", Annais of Eugenics 8, 376-386, and has become a routine procedure since the availability of computer systems, the importance of which has been shown in numerous studies on classification issues in clinical psychology and aptitude psychology at school and at work has been.
Gegen die Verwendung der Diskrirninanzanalyse spricht die Empfindlichkeit dieser Methode gegenüber einer Verletzung der Voraussetzungen für die Anwendung dieses mathematischen Modells, sowie die relativ geringe Stabilität der meisten bisher erzielten Ergebnisse bei Verwendung von Kreuzvalidierungen. Folgende Voraussetzungen bestehen bei der Verwendung von Diskriminanzanalysen zur Klassifikation auf der Basis von Testkennwerten:The sensitivity of this method to a violation of the prerequisites for the use of this mathematical model, as well as the relatively low stability of most results achieved so far when using cross-validations speak against the use of discriminatory financial analysis. The following requirements exist when using discriminant analyzes for classification on the basis of test parameters:
1. Die Verteilungen der Kennwerte der Prädiktorvariablen sind für jede nach dem Kriterium gebildete Teilstichprobe multivariat normal,1. The distributions of the characteristic values of the predictor variables are multivariate normal for each partial sample formed according to the criterion,
2. die Varianz-Kovarianz-Matrizen der verwendeten Teilstichproben sind homogen,2. the variance-covariance matrices of the partial samples used are homogeneous,
3. die Mittelwerte und Ko Varianzen der Grundgesamtheiten sind bekannt oder können hinreichend genau geschätzt werden und3. the mean values and co-variances of the population are known or can be estimated with sufficient accuracy and
4. linearer Zusammenhänge zwischen der Kriteriumsvariable und den Prädiktorvariablen können angenommen werden.4. Linear relationships between the criterion variable and the predictor variables can be assumed.
Während die Diskriminanzanalyse einen vielversprechenden Ansatzpunkt zur statistischen Urteilsbildung darstellt, weisen die Eigenschaften des Verfahrens bei einer Verletzung der Voraussetzungen an die Daten erhebliche Mängel auf. Im Bereich der Personalauswahl und der Verkehrspsychologie sind, wie sich bei jüngsten, seitens der Anmelderin durchgeführten Untersuchungen herausgestellt hat, derartige Verletzungen der Voraussetzungen dieses Verfahrens allerdings eher die Regel.While the discriminant analysis is a promising starting point for statistical judgment, the properties of the procedure have significant shortcomings if the data requirements are violated. In the area of personnel selection and Traffic psychology, as has emerged from recent studies carried out by the applicant, is more likely to violate the requirements of this procedure.
Wegen der vielfältigen Probleme bei bekannten statistischen Klassifizierungsmodellen und der sehr häufig geringen Zuverlässigkeit der mit ihnen gewonnenen Bewertungen begegnen Psychologen diesen Testmethoden in der Regel mit Skepsis. Die statistische Methode wird daher oft lediglich als Unterstützung der klinischen Methode verwendet.Because of the many problems with known statistical classification models and the very often low reliability of the evaluations they provide, psychologists are generally skeptical about these test methods. The statistical method is therefore often only used to support the clinical method.
Aus dem Stand der Technik sind Verfahren bekannt, bei denen physikalisch messbare, physiologisch-medizinische Daten zur Abschätzung von möglichem Risikoverhalten des untersuchten Patienten od.dgl. ausgewertet werden. So schlägt z.B. die DE 19831 109 AI vor, EEG-Daten von Früh- und Neugeborenen mithilfe eines Neuronalen Netzwerks auszuwerten, um Störungen der Atemregulation zu erkennen. Die US 5,724,987 betrifft ein Verfahren zur Regulation von Trainingseinheiten auf der Basis neurophysiologischer Ableitungen, bei dem mittels einer Neuronalen Netzwerks physiologische Parameter zu einem Index der Aufmerksamkeit und kognitiven Beanspruchung verdichtet werden und mit Hilfe dieses Index die Trainingssitzung gesteuert wird. Die EP 0699413 AI behandelt ein ähnliches Verfahren, bei dem EEG-Signale zur Analyse des physiologischen und geistigen Zustande eines Fahrers genutzt werden.Methods are known from the prior art in which physically measurable, physiological-medical data or the like for estimating possible risk behavior of the examined patient. be evaluated. For example, DE 19831 109 AI proposes to evaluate EEG data from premature and newborn babies with the help of a neural network in order to recognize disturbances in respiratory regulation. No. 5,724,987 relates to a method for regulating training units on the basis of neurophysiological derivations, in which physiological parameters are compressed into an index of attention and cognitive stress by means of a neural network and the training session is controlled with the aid of this index. EP 0699413 AI deals with a similar method in which EEG signals are used to analyze the physiological and mental state of a driver.
Die Auswertung physiologischer Daten unterscheidet sich jedoch aus verschiedenen Gründen wesentlich von der Bewertung psychologischer Daten, die der Erfindung unterliegen. Physiologische Daten sind naturgemäß messbar, oft sogar mit normierten Methoden, sodass Tendenzen aus dem gemessenen Material klar belegbar und die sich daraus ergebenden Schlussfolgerungen oft auch begründbar sind. Auch die Reproduzierbarkeit ist vielfach wenig problematisch. Die Auswertung psychologischer Daten ist dagegen immer noch auf statistische Methoden angewiesen, und die zugrunde liegenden Daten gelten als weniger leicht handhabbar und vergleichbar; zudem ist Gewinnung psychologischer Daten meist schlecht reproduzierbar und somit sind diese Daten mit entsprechenden Unsicherheiten behaftet. Dies wirkt sich zwangsläufig auf die Zuverlässigkeit der daraus abgeleiteten Schlussfolgerungen aus. Auch findet bei bekannten psychologischen Auswerteverfahren eine Rückkopplung der Ergebnisse auf die Auswertung nicht statt.For various reasons, however, the evaluation of physiological data differs significantly from the evaluation of psychological data which are subject to the invention. Naturally, physiological data can be measured, often even using standardized methods, so that tendencies from the measured material can be clearly proven and the resulting conclusions can often be justified. Reproducibility is often not a problem. The analysis of psychological data, however, still relies on statistical methods, and the underlying data are considered to be less manageable and comparable; In addition, the acquisition of psychological data is usually difficult to reproduce, and this data is therefore subject to corresponding uncertainties. This inevitably affects the reliability of the conclusions derived from it. In the case of known psychological evaluation methods, the results are not fed back to the evaluation.
In der US 5,486,999 wird ein Neuronales Netzwerk für eine personenbezogene Risikoabschätzung einer Krankenversicherung eingesetzt. Abgesehen davon, dass eine solche Risikoabschätzung sich inhaltlich und hinsichtlich ihres Zwecks sich grundlegend von einem diagnostischen Verfahren für die Psychologie unterscheidet, sind die zugrunde gelegten Eingangsdaten aUgernemmedizinischer Art und beruhen nicht auf einer psychologischen oder biomedizinischen Auswertung des betrachteten Probanden.In US 5,486,999 a neural network is used for a personal risk assessment of a health insurance. Apart from the fact that such a risk assessment differs in content and in its purpose fundamentally from a diagnostic procedure for psychology, the underlying are Input data of a non-medical type and are not based on a psychological or biomedical evaluation of the subject under consideration.
Aufgabe der Erfindung ist es, einen Weg für objektivierbare Klassifizierungen für Rohdaten der eingangs dargestellten Art aufzuzeigen, die eine hohe Zuverlässigkeit aufweisen.The object of the invention is to show a way for objectifiable classifications for raw data of the type described at the outset, which have a high level of reliability.
Diese Aufgabe wird gemäß der Erfindung von einer Vorrichtung zum Auswerten nach der eingangs genannten Art mit einem Neuronalen Netzwerk gelöst, dem als Eingangsdaten die Daten eines Profilvektors sowie Parameterdaten zur Auswahl abzuleitender Größen zuführbar sind und dem zumindest eine aus den Eingangsdaten gemäß den Parameterdaten abgeleitete Ergebnisgröße zur Beurteilung des Probanden entnehmbar ist.This object is achieved according to the invention by a device for evaluation according to the type mentioned at the outset with a neural network to which the data of a profile vector and parameter data for the selection of variables to be derived can be supplied as input data and to which at least one result variable derived from the input data according to the parameter data Assessment of the subject can be seen.
Die Erfindung gestattet die statistische Auswertung der psychologisch/ biomedizinischen Daten durch den Einsatz von nichtlinearen Automaten, nämlich Neuronalen Netzen. Diese sind in verschiedenen Bereichen der Technik, z.B. bei der Musterkennung, bekannt. In der EP 1 022632 AI ist die Verwendung eines Neuronalen Netzes zur Überprüfung der Funktionsfähigkeit eines elektrischen Geräts beschrieben; die Verwendung Neuronaler Netze zur Auswertung physiologischer Signale wurde weiter oben dargestellt. Die Erfindung schlägt nun Neuronale Netze für den Einsatz in der Psychologie vor. Im Vergleich zu etablierten Bewertungsmethoden ermöglicht die erfindungsgemäße Bewertung eine wesentlich höhere Quote der Zuverlässigkeit.The invention allows the statistical evaluation of the psychological / biomedical data through the use of non-linear automatons, namely neural networks. These are in different areas of technology, e.g. at the pattern recognition, known. EP 1 022632 AI describes the use of a neural network for checking the functionality of an electrical device; the use of neural networks for the evaluation of physiological signals was presented above. The invention now proposes neural networks for use in psychology. Compared to established evaluation methods, the evaluation according to the invention enables a significantly higher rate of reliability.
Naturgemäß muss das erfindungsgemäß vorgesehene Neuronale Netzwerk vor seiner eigentlichen Verwendung trainiert werden. Ausgangspunkt für den Lernprozess des Netzwerks sind die vorab erhobenen Eingangs- und Bewährungswerte eines sogenannten Lern- samples. Darunter versteht man im vorliegenden Anwendungsfall die Rohwerte der einzelnen diagnostischen Verfahren (Eingangswerte) für die einzelnen Probanden bzw. die Ausprägung der vorherzusagenden Kriteriumsvariable (Bewährungswerte). Das Netzwerk soll mit Hilfe einer Trainingsphase dazu in die Lage versetzt werden, selbstständig eine Zuordnung für die Personen des Lernsamples durchzuführen. Sobald ein Netzwerk für einen bestimmten Zweck erstellt und trainiert wurde, kann nun auch die Klassifikation von Einzelbeobachtungen vorgenommen werden, die im Anschluss an das Training in das Netzwerk eingegeben werden. Das Netzwerk generalisiert seine in Bezug auf das Trainingssam- ple gemachten „Erfahrungen" auf den neu erhobenen Einzelfall.Naturally, the neural network provided according to the invention must be trained before it is actually used. The starting point for the learning process of the network is the previously determined initial and practical values of a so-called learning sample. In the present application case, this means the raw values of the individual diagnostic methods (input values) for the individual test persons or the expression of the predicted criterion variable (probation values). With the help of a training phase, the network should be able to independently assign people to the learning sample. As soon as a network has been created and trained for a specific purpose, the classification of individual observations can be carried out, which are entered into the network after the training. The network generalizes its "experiences" made in relation to the training collection to the new individual case.
Im Vergleich zu den bekannten statistischen Methoden der Urteilsbildung weisen Neuronale Netzwerke folgende, für Klassifikationsaufgaben folgende günstige Eigenschaften auf: 1. Neuronale Netzwerke sind lernfähig und veränderbar, d.h., sie können aus vorhandenen Datenmengen die optimale Zuordnung „erlernen" und verändern sich, sofern gewünscht, sukzessiv mit der Einbeziehung neuer (Lern)Daten.Compared to the known statistical methods of forming judgments, neural networks have the following favorable properties for classification tasks: 1. Neural networks are learnable and changeable, ie, they can "learn" the optimal assignment from existing data sets and, if desired, change successively with the inclusion of new (learning) data.
2. Neuronale Netzwerke können nichtlineare Zusammenhänge abbilden.2. Neural networks can map nonlinear relationships.
3. Neuronale Netzwerke gehen von keinen Voraussetzungen hinsichtlich der Dateneigenschaften und der Verteilung der Prädiktorvariablen aus; die einzige Voraussetzung der Methode betrifft die Vollständigkeit der Datensätze im Lernsample.3. Neural networks assume no requirements with regard to the data properties and the distribution of the predictor variables; the only requirement of the method concerns the completeness of the data sets in the learning sample.
Die zweite Eigenschaft, die Nachbildung von Nichtlinearitäten, ist gerade in der Psychologie wichtig, da Menschen nur äußerst selten „linear reagieren" und Moderatorbedingungen den Zusammenhang zwischen Verhalten und Kriterium moderieren können, was zu einem nichtlinearen Zusammenhang der beiden Variablen resultiert.The second characteristic, the simulation of non-linearities, is particularly important in psychology, since people rarely "react linearly" and moderator conditions can moderate the relationship between behavior and criteria, which results in a non-linear relationship between the two variables.
Diesen Ausführungen zufolge weisen neuronale Netzwerke im Vergleich zu konkurrierenden Methoden der Datenintegration bedeutsame Vorteile bei der Informationsintegration im Rahmen einer statistischen Urteilsbildung auf. Im Gegensatz zu Alternativen wie der Verwendung von Expertensystemen aus dem Bereich der Produktionssysteme bieten sie darüber hinaus auch noch den Vorteil, dass sie auch in Bereichen der Psychologie anwendbar sind, in denen bislang noch keine hinreichende theoretische Wissensbasis in Form vollständig empirisch evaluierter Gesamtmodelle menschlichen Verhaltens verfügbar sind. Dies gilt im Besonderen im Bereich der Verkehrspsychologie und anderen Bereichen der angewandten Psychologie, wie z.B. der Risikoforschung.According to these explanations, neural networks have significant advantages in the integration of information in the context of statistical judgment in comparison with competing methods of data integration. In contrast to alternatives such as the use of expert systems from the field of production systems, they also offer the advantage that they can also be used in areas of psychology in which a sufficient theoretical knowledge base in the form of fully empirically evaluated overall models of human behavior has not yet been available are. This is especially true in the area of traffic psychology and other areas of applied psychology, such as risk research.
In einer bevorzugten Ausführungsform der Erfindung sieht eine dem Neuronalen Netzwerk nachgeordnete Konversionseinrichtung zum Umwandeln der vom Netzwerk gelieferten Ergebnisgröße(n) in Klartext-Information vor, um die Interpretation der Bewertung weiter zu vereinfachen.In a preferred embodiment of the invention, a conversion device downstream of the neural network provides for converting the result variable (s) supplied by the network into plain text information in order to further simplify the interpretation of the evaluation.
Vorteilhafterweise enthält das Neuronale Netz ein Multilayer Perceptron („mehrschichtiges Perzeptron"). Fig. 1 zeigt die an sich bekannte Netzwerktopologie eines Multilayer Per- ceptrons MLP, das eine Anzahl von Eingangsgrößen El,E2,...,En erhält und im allgemeinen mehrere Ausgangsgrößen liefert; hier sind es beispielsweise zwei Ausgangsgrößen Ol,O2. Die Topologie ist azyklisch (vorwärts gerichtet) in Schichten IL,HL,OL gegliedert. Die Neuronen INl,IN2,...,INn einer ersten Schicht, der Input-Schicht IL, erhalten als Eingabe die Eingangsgrößen El-En und geben ihre Ausgabesignale an die Neuronen Hl/.../Hm einer sogenannten Verborgenen Schicht HL ('hidden layer') weiter. Die Ausgaben der Neuronen Hl,..., Hm der Verborgenen Schicht sind mit den Neuronen ONl,ON2 der Output-Schicht OL verbunden. Im allgemeinen können auch mehr als eine Verborgene Schicht vorgesehen sein (in Fig. 1 nicht gezeigt), wobei dann die Ausgaben einer Verborgenen Schicht jeweils mit der nächsten Verborgenen Schicht verknüpft ist und die letzte Verborgene Schicht die Output-Schicht versorgt. Die von der Output-Schicht gelieferten Ausgabegrößen Ol,O2 stellen die von dem Multilayer Perceptron gelieferte Bewertung der Eingangsdaten dar. Die Verknüpfung zwischen der Input-Schicht IL und der Verborgenen Schicht HL wird beispielsweise durch eine m x n-Matrix beschrieben (n = Anzahl der Neuronen der Input- Schicht IL; m = Anzahl der Neuronen der Schicht HL), die für jedes der m Neuronen der Verborgenen Schicht angibt, mit welchem Gewicht die n Ausgabesignale der vorangehenden Schicht IL auf dieses Neuron einwirken, zuzüglich eines m- Vektors, der jedem der m Neuronen jeweils einen konstanten Offset-Wert zuteilt. Entsprechend wird die Verknüpfung zwischen der Verborgenen Schicht HL und der Output-Schicht OL der Fig. 1 durch eine 2 x m-Matrix plus einen Offset- Wert beschrieben. Die Übergangsfunktion der Neuronen wurden beispielsweise mit einer sigmoidalen Funktion belegt, z.B. der logistischen Funktion f(x) = l/(l+e"x), die auf die Summe der gemäß den Parametern gemäß der Verknüpfungsmatrix gewichteten Outputs der jeweils vorgelagerten Neuronen bzw. (im Fall der Input- Schicht) der Eingangswerte angewendet wird. Das verwendete Multilayer Perceptron kann genau eine Verborgene Schicht aufweisen; zusätzlich ist es in der Regel von Vorteil, wenn die Anzahl der Neuronen in der Verborgenen Schicht größer ist als die Anzahl der Neuronen in der Eingangsschicht.The neural network advantageously contains a multilayer perceptron (“multilayer perceptron”). FIG. 1 shows the known network topology of a multilayer perceptron MLP, which receives a number of input variables E1, E2,..., En and generally several Provides output variables, here there are, for example, two output variables Ol, O 2. The topology is acyclically (forward-oriented) divided into layers IL, HL, OL The neurons IN1, IN2, ..., INn in a first layer, the input layer IL , receive the input variables El-En as input and pass on their output signals to the neurons Hl / ... / Hm of a so-called hidden layer HL. The outputs of the neurons Hl, ..., Hm of the hidden layer are connected to the neurons ON1, ON2 of the output layer OL In general, more than one hidden layer can also be provided (not shown in FIG. 1), in which case the outputs of a hidden layer are included is linked to the next hidden layer and the last hidden layer supplies the output layer. The output variables Ol, O2 provided by the output layer represent the evaluation of the input data provided by the multilayer perceptron. The link between the input layer IL and the hidden layer HL is described, for example, by an mx n matrix (n = number of Input layer IL neurons; m = number of layer HL neurons), which specifies for each of the m hidden layer neurons the weight with which the n output signals of the preceding layer IL act on this neuron, plus an m vector which assign a constant offset value to each of the m neurons. Correspondingly, the link between the hidden layer HL and the output layer OL of FIG. 1 is described by a 2 × m matrix plus an offset value. The transition function of the neurons was assigned, for example, a sigmoidal function, for example the logistic function f (x) = l / (l + e " x ), which is based on the sum of the outputs of the respectively upstream neurons or weighted according to the parameters according to the linking matrix. The multilayer perceptron used can have exactly one hidden layer, and it is usually advantageous if the number of neurons in the hidden layer is greater than the number of neurons in the input layer.
Günstigerweise enthält die erfindungsgemäße Bewertevorrichtung einen Speicher zur Speicherung von Eingangsdaten (Profilvektor) und Ergebnisdaten vorangegangener Auswertungen, wobei das Neuronale Netzwerk Zugriff auf diesen Speicher hat, z.B. für ein ergänzendes Training oder ein Neutraining des Netzwerks. Insbesondere kann die Vorrichtung dazu eingerichtet sein, nach einer Auswertung eines Profilvektors die zugehörenden Eingangs- und Ergebnisdaten in dem Speicher abzuspeichern und die so ergänzten Daten des Speichers nachfolgenden Auswertungen zugrunde zu legen.The evaluation device according to the invention advantageously contains a memory for storing input data (profile vector) and result data of previous evaluations, the neural network having access to this memory, e.g. for additional training or a new training of the network. In particular, the device can be set up to store the associated input and result data in the memory after evaluating a profile vector and to use the data thus supplemented in the memory as the basis for subsequent evaluations.
Weiters ist es vorteilhaft, wenn die Eingangsdaten neben aus psychologisch/ biometrischen Testung gewonnen Daten weitere Daten umfassen, die aus einem Interview mit dem betreffenden Probanden und/ oder einer biographischen Erhebung erhoben wurden.Furthermore, it is advantageous if the input data include, in addition to data obtained from psychological / biometric testing, further data that were obtained from an interview with the subject concerned and / or from a biographical survey.
Naturgemäß muss das erfindungsgemäß verwendete Neuronale Netzwerk vor der Verwendung trainiert werden, um das gewünschte abzufragende Ergebnis zu „erlernen". Hierbei ist es vorteilhaft, wenn die Verknüpfungskonfiguration (Verknüpfungsform und Gewichte) des Netzwerks auf einem Training unter Verwendung von Daten beruht, die neben Eingangsdaten auch Bewährungsdaten enthalten, die für den betreffenden Probanden im Zeitraum nach einer bereits getätigten Auswertung erhoben wurden. Die Erfindung samt weiterer Vorzüge wird im folgenden am Beispiel einer nicht einschränkenden Ausführungsform zur Durchführung verschiedener psychologischer Eignungstests näher erläutert, wobei die beigefügten Zeichnungen herangezogen werden. Die Zeichnungen zeigen in schematischer Form:Naturally, the neural network used according to the invention must be trained before use in order to “learn” the desired result to be queried. In this case, it is advantageous if the link configuration (link form and weights) of the network is based on training using data that, in addition to input data also contain probation data that were collected for the test subject in the period after an evaluation had already been carried out. The invention and further advantages are explained in more detail below using the example of a non-restrictive embodiment for carrying out various psychological aptitude tests, the attached drawings being used. The drawings show in schematic form:
Fig. 1 die Architektur eines Multilayer Perceptrons;1 shows the architecture of a multilayer perceptron;
Fig. 2 die Durchführung und Auswertung eines Eignungstests; und2 shows the implementation and evaluation of a suitability test; and
Fig. 3 die erfindungsgemäße Testbewertung innerhalb des Eignungstests der Fig. 2.3 shows the test evaluation according to the invention within the suitability test of FIG. 2.
Bei der im Folgenden dargestellten Bewertungsvorrichtung handelt es sich um eine selbstlernende und selbstoptimierendes Vorrichtung mit einem zugrundeliegenden Verfahren für die genaue Selektion der Probanden nach vorgegebenen Kriterien aus Messergebnissen von anerkannten psychologischen Testverfahren.The evaluation device shown below is a self-learning and self-optimizing device with an underlying method for the exact selection of the test subjects according to predetermined criteria from measurement results from recognized psychological test methods.
Dabei wird das Verfahren des neuronalen Netzwerkes auf die Probandendaten unter Zuhilfenahme von Auswerteprofilen angewendet. Für die Abbildung im Neuronalen Netzwerk werden ferner weitere Ergebnisdaten früherer Probanden für die Adaption des Netzwerks herangezogen. Das so entstehende System gestattet ein selbsttätige Optimierung der Ergebnisprofile der Probanden. Im weitesten Sinn wird eine Datenintegration der Probandendaten mit dem Ziel angewendet, die Schärfe der Ergebnisdaten (d.h. der Kriteriumsvorhersage) zu erhöhen. Somit wird der Aussagegehalt und die Zuverlässigkeit der Ergebnisdaten signifikant gesteigert. Diese Methode gestattet eine maschinengestützte Auswertung von Ergebnissen psychologischer Tests und stellt dabei eine deutliche Verbesserung der Ergebnisschärfe im Vergleich zur bislang dominierenden klinischen Methode dar.The neural network method is applied to the subject data with the help of evaluation profiles. For the mapping in the neural network, further results data from previous subjects are used for the adaptation of the network. The system thus created enables the test subjects' results profiles to be optimized automatically. In the broadest sense, data integration of the subject data is used with the aim of increasing the sharpness of the result data (i.e. the criterion prediction). This significantly increases the meaningfulness and reliability of the result data. This method allows machine-aided evaluation of the results of psychological tests and represents a significant improvement in the sharpness of results compared to the previously dominant clinical method.
Bezugnehmend auf Fig. 2 werden die Messergebnisse des Probanden auf einem psychologischen Testplatz 1 erhoben und für die nachfolgende, erfindungsgemäße Auswertung in Form von psychologischen Rohdaten 2 zur Verfügung gestellt. Parallel dazu werden auf anderem Wege erhobene, die Probanden betreffende Daten 3 verwendet, z.B. in einem Interview erhaltene Interviewdaten, in einer Anamnese des Probanden erhobene biographische Daten oder „Bewährungsdaten", die durch spätere Rückmeldungen über die Bewährung des betreffenden Probanden gewonnen wurden. Diese Daten 2,3 werden in eine Datenverarbeitungseinheit 6 eingegeben, auf der die erfindungsgemäße Analysevorrichtung unter Verwendung eines Neuronalen Netzes eingerichtet ist. Unter Auswahl 4 eines Auswerte- profiles (Netzwerkarchitektur und dazugehörige Gewichte) ermittelt die Datenverarbeitung einen Ergebnisvektor 5. Dieser wird über einen Formatkonverter 7 in eine Klartextausgabe gewandelt und steht somit in lesbarer Form der weiteren Textverarbeitung oder Archivierung 8 zur Verfügung. Die für die Auswertung der erfassten Daten erforderliche Datenverarbeitungseinheit 6 basiert auf der Analyse durch ein Neuronales Netzwerk NN und ist in Fig. 3 näher dargestellt. Ein Speicher 9 umfasst einen Probandendatenspeicher 10 und einen Bewährungsdatenspeicher 11. Im Probandendatenspeicher 10 werden alle verfügbaren diagnostischen Informationen 12 archiviert, insbesondere sämtliche psychologischen Testergebnisse 2, sowie bei Bedarf weitere relevante Probanden-bezogene Daten 2a, wie Interviewdaten und/ oder biographische Daten. Der Bewährungsdatenspeicher 11 verwaltet die Bewährungsdaten 13. Als Eingangsdaten des Neuronalen Netzwerks NN fungieren die Probandendatenfelder 12. Diese werden, basierend auf dem jeweils gemäß der Auswahl 4 vorgegebenen Auswerteprofil 14, das als Parameterdaten im Sinne der Erfindung die Art der Bewertung festlegt und in einem Parameterspeicher 15 abgelegt ist, einer Bewertung unterzogen. Daraus resultiert der Ergebnisvektor 5 der sämtliche relevanten Daten des Probanden zur Verfügung stellt.With reference to FIG. 2, the measurement results of the test subject are collected in a psychological test station 1 and made available for the subsequent evaluation according to the invention in the form of raw psychological data 2. At the same time, data 3 relating to the test subjects are used in another way, for example interview data obtained in an interview, biographical data collected in a patient's medical history or “probation data” that were obtained through later feedback on the probation of the test subject in question. These data 2, 3 are entered into a data processing unit 6, on which the analysis device according to the invention is set up using a neural network, by selecting 4 an evaluation profile (network architecture and associated weights), the data processing determines a result vector 5. This is transmitted via a format converter 7 in a plain text version has been converted and is therefore available in a readable form for further word processing or archiving 8. The data processing unit 6 required for the evaluation of the recorded data is based on the analysis by a neural network NN and is shown in more detail in FIG. 3. A memory 9 comprises a subject data memory 10 and a probation data memory 11. All available diagnostic information 12 is archived in the subject data memory 10, in particular all psychological test results 2, and, if necessary, further relevant subject-related data 2a, such as interview data and / or biographical data. The probation data memory 11 manages the probation data 13. The subject data fields 12 act as input data of the neural network NN. These are based on the evaluation profile 14 specified in each case according to the selection 4, which defines the type of evaluation as parameter data in the sense of the invention and in a parameter memory 15 is submitted to an evaluation. This results in the result vector 5 which provides all the relevant data of the subject.
Bei dem Auswerteprofil 14 handelt es sich um die Kennwerte der Gewichte der Verknüpfungen innerhalb des betreffenden Neuronalen Netzwerks. Jedes Auswerteprofil 14 wurde bei gegebener Netzstruktur unter zugrunde Legung eines Trainingssarnples erlernt. Mittels des Auswerteprofils ist eine einfache und rasche Auswahl von unterschiedlich trainierten Netzwerken nach gegebenen Erfordernissen möglich. Sämtliche Auswerteprofile sind in dem Parameterspeicher 15 gehalten, der zweckmäßigerweise ebenfalls Teil des Speichers 9 ist.The evaluation profile 14 is the characteristic values of the weights of the links within the relevant neural network. Each evaluation profile 14 was learned for a given network structure based on a training sarple. The evaluation profile enables simple and quick selection of differently trained networks according to the given requirements. All evaluation profiles are held in the parameter memory 15, which is expediently also part of the memory 9.
Die Daten des Speichers 14 stehen dem Neuronalen Netz zu dessen Initialisierung, insbesondere für das Training, zur Verfügung. Wenn neue Probanden bewertet werden, werden die zugehörenden Daten in den Probandendatenspeicher 10 aufgenommen; gleiches gilt hinsichtlich des Bewährungsdatenspeichers 11, wenn zu Probanden neue Ereignisse bekannt werden. Bei einem Training des Neuronalen Netzwerks NN werden neben den zu dem Trainingssample gehörenden Probandendaten (Probandendatenspeicher 10) auch dem Sample zugehörende Bewährungsdaten (Bewährungsdatenspeicher 11) verwendet. Ein wesentlicher Vorteil der Anordnung ist die Anwendung des selbstlernenden Neuronalen Netzwerks auf die Probandendaten unter Zugrundelegung von weiteren Informationen (Bewährungsdaten) von selbigen. Diese Daten werden zum weiter führenden Lernen des Netzwerks verwendet. Damit kann die Schärfe (die Informationssicherheit) der Ergebnisse iterativ signifikant gegenüber allen anderen bekannten Methoden gesteuert werden.The data in the memory 14 are available to the neural network for its initialization, in particular for training. When new subjects are evaluated, the associated data are recorded in the subject data memory 10; the same applies to the probation data memory 11 if new events become known to test subjects. During training of the neural network NN, in addition to the subject data belonging to the training sample (subject data memory 10), also probation data (probation data memory 11) belonging to the sample are used. A major advantage of the arrangement is the application of the self-learning neural network to the subject data on the basis of further information (probation data) about the same. This data is used for further learning of the network. The sharpness (the information security) of the results can be controlled iteratively significantly compared to all other known methods.
Im Gegensatz zu den derzeit verwendeten Verfahren, die für die datenverarbeitungsgestütz- te Testauswertung herangezogen werden können, z.B. der Diskriminanzanalyse, stellt die Verwendung eines selbstlernenden und selbstoptimierenden Neuronalen Netzes eine gra- vierende Verbesserung der Ergebnissicherheit (von etwa 60% auf 85%) dar, die mit bekannten Methoden bei weitem nicht erreicht werden konnten.In contrast to the methods currently used, which can be used for data processing-based test evaluation, such as discriminant analysis, the use of a self-learning and self-optimizing neural network represents a serious problem. Fourth improvement in the reliability of results (from about 60% to 85%), which could not be achieved by far with known methods.
Selbstverständlich ist die Auswahl, welche der zur Verfügung stehenden Daten für das Training der erfindungsgemäßen Bewertungsvorrichtung bzw. für die Eingabe bei einer konkreten Probanden-Bewertung verwendet werden, in anderen Ausführungsformen der Erfindung von der hier beschriebenen abweichen. Beispielsweise können in einer Variante der Erfindung z.B. Bewährungsdaten auch als Inputdaten der Bewertung verwendet werden, sofern solche Daten zur Verfügung stehen, oder Teile der Daten wie Test- oder Interviewdaten können dem Training vorbehalten werden.Of course, in other embodiments of the invention, the selection of which of the available data are used for training the evaluation device according to the invention or for input in a specific test subject assessment differs from that described here. For example, in a variant of the invention e.g. Probation data can also be used as input data for the assessment, if such data is available, or parts of the data such as test or interview data can be reserved for training.
An folgenden beispielhaften Studien aus dem Bereich der Verkehrspsychologie wurden seitens der Anmelderin bereits erste Studien zur erfindungsgemäßen Verwendung neuronaler Netzwerke im Rahmen der statistischen Urteilsbildung durchgeführt.In the following exemplary studies from the field of traffic psychology, the applicant has already carried out initial studies on the use of neural networks according to the invention in the context of statistical judgment.
Kraftfahreignungfitness to drive
In diesem Beispiel wird die Eignung („Führerschein-TaugUchkeit") von Kraftfahrer- Kandidaten bewertet, die als riskant gelten (z.B. aufgrund früheren auffälligen Verhaltens, Straf fälligkeit od.dgl.). Als Datenbasis für die Klassifikation der Kraftfahrer standen die Kennwerte aus fünf verschiedenen Leistungstests aus dem Bereich der Reaktionsfähigkeit und Wahrnehmungsleistung, das Lebensalter und die Zuordnung der Personen hinsichtlich ihrer Fahrtauglichkeit anhand des Fahrstils bzw. eines Globalurteils des Fahrverhaltens vor. Die Daten wurden im Rahmen einer multizentrischen Validierungsstudie erhoben (vgl. Karner & Neuwirth, 2000; Sommer, 2001). Der Fahrstil der Untersuchungsteilnehmer wurde über eine hierarchische Clusteranalyse nach dem Ward-Algorithmus, basierend auf der Beurteilung einzelner Dimensionen sicheren Fahrverhaltens während einer standardisierten Fahrprobe ermittelt. Das Globalurteil stellt einen Gesamteindruck des Fahrverhaltens aus der Sicht eines Verkehrspsychologen dar.In this example, the suitability ("driving license suitability") of driver candidates who are considered to be risky (eg due to previous conspicuous behavior, criminal offenses or the like) is assessed. The characteristic values of five were used as the data basis for the classification of drivers various performance tests in the area of responsiveness and perception, age and the assignment of people with regard to their fitness to drive based on the driving style or a global judgment of driving behavior. The data were collected in a multi-center validation study (see Karner & Neuwirth, 2000; summer , 2001) The driving style of the study participants was determined using a hierarchical cluster analysis based on the Ward algorithm, based on the assessment of individual dimensions of safe driving behavior during a standardized driving test.The global judgment provides an overall impression of driving behavior from a traffic perspective psychologists.
Die als Eingangsdaten für die Auswertung verwendeten Größen werden hinsichtlich des Mittelwerts und der Standardabweichung der jeweils zugrunde liegenden Verteilung z-tiansformiert. Bei der in der Statistik bekannten z-Transformation wird von jedem Wert der Mittelwert der Verteilung subtrahiert, und durch anschließende Division durch die Standardabweichung der zugehörende z-transfomierte Wert erhalten. Durch die z-Transformation wird erreicht, dass die verwendeten Kennwerte - unabhängig von ihrem anfänglichen Wertebereich - einen vergleichbaren Wertebereich annehmen. Dies ist insbesondere bei der Kombination von Reaktionszeiten (typischerweise in der Größenordnung mehrerer 100 ms) und Zahlen der Richtig-Antworten aus Testverfahren mit unterschiedlicher Postenanzahl von Bedeutung. Die z-transformierten Testresultate der Probanden aus dem Bereich der Reaktionsfähigkeit und Wahrnehmungsleistung, sowie deren Lebensalter stellen die Prädiktoren dar.The variables used as input data for the evaluation are z-shaped with respect to the mean and the standard deviation of the underlying distribution. In the z-transformation known in statistics, the mean value of the distribution is subtracted from each value, and the associated z-transformed value is obtained by subsequent division by the standard deviation. The z-transformation ensures that the characteristic values used - regardless of their initial value range - assume a comparable value range. This is especially so when combining reaction times (typically of the order of magnitude several 100 ms) and numbers of correct answers from test procedures with different number of items of importance. The test subjects' z-transformed test results in the areas of responsiveness and perception, as well as their age, are the predictors.
Die Beurteilung des Fahrtauglichkeit anhand des Kriteriums Fahrstil oder Gesamturteil in geeignete und nicht geeignete Kraftfahrer bilden die beiden Kriteriumsvariablen für die jeweils ein eigenes neuronales Netzwerk erstellt und trainiert wurde. Es wurden also zwei verschiedene neuronale Netzwerke trainiert, die sich lediglich in der verwendeten Kriteriumsvariable (Globalurteil vs. Fahrstil) - und somit in dem zugehörenden Auswerteprofil - unterscheiden.The assessment of fitness to drive based on the criterion driving style or overall judgment in suitable and unsuitable drivers form the two criterion variables for which a separate neural network was created and trained. So two different neural networks were trained, which only differ in the criteria variable used (global judgment vs. driving style) - and thus in the associated evaluation profile.
Bei dem verwendeten neuronalen Netzwerk handelt es sich jeweils um ein Multilayer Perceptron, welches aus einer Inputschicht mit sechs Inputeinheiten zur Repräsentation der oben genannten Prädiktorvariablen (= sechs Eingangsvariable), einer einzelnen Verborgenen Schicht mit zehn Einheiten als Zwischenschicht und einer Outputschicht mit zwei Outputeinheiten zur Repräsentation der Ausprägungen der Kriteriumsvariable besteht. Die beiden Output-Neuronen entsprechen hierbei den beiden möglichen Ausprägungen des dichoto- men Kriteriums (z.B.: geeignet oder ungeeignet). Natürlich sind neben dichotomen Kriteriumsvariablen auf mehrkategorielle Kriteriumsvariable denkbar, wie z.B. verschiedene Berufe oder Verwendungszwecke; in einem solchen Fall wären dann entsprechend viele Output-Neuronen vorzusehen.The neural network used is a multilayer perceptron, which consists of an input layer with six input units to represent the above-mentioned predictor variables (= six input variables), a single hidden layer with ten units as an intermediate layer and an output layer with two output units for representation the characteristics of the criterion variable exist. The two output neurons correspond to the two possible forms of the dichotomous criterion (e.g. suitable or unsuitable). Of course, in addition to dichotomous criterion variables, multi-category criterion variables are also conceivable, e.g. different professions or uses; in such a case, a corresponding number of output neurons would have to be provided.
Die verwendeten Neuronalen Netzwerke wurden mit Hilfe eines kommerziellen Software- Pakets (Math Lab) auf einem PC realisiert. Es wurde eine Vernetzung realisiert, in der jede Einheit der vorausgehenden Schicht mit jeder Einheit der nachfolgenden Schicht verbunden wird (sogenannte Feedforward-Vollverbringung; in Fig. 1 der Übersichtlichkeit halber nur angedeutet). Als Transferfunktion wird die bekannte Softmax-Funktion eingesetzt, um eine Normierung der Ausgangsgrößen auf 100% zu erreichen. Beim Lernalgorithmus wurde der bekannte Backpropagation- Algorithmus verwendet.The neural networks used were implemented on a PC using a commercial software package (Math Lab). A network was implemented in which each unit of the preceding layer is connected to each unit of the subsequent layer (so-called full feed forwarding; only indicated in FIG. 1 for the sake of clarity). The well-known Softmax function is used as a transfer function in order to standardize the output variables to 100%. The well-known back propagation algorithm was used for the learning algorithm.
Die Netzstruktur wurde in der hier beschriebenen Weise definiert, um mögliche nichtlineare Effekt bei einer guten Generalisierbarkeit der Ergebnisse abbilden zu können. Bekanntermaßen muss die Anzahl der Einheiten in der Verborgenen Schicht groß genug sein, um die gestellte Aufgabe zu erfüllen, aber auch gering genug, um eine hinreichend gute Generalisierung des Netzwerks zu ermöglichen. Bei der Erstellung eines passenden Netzwerks wurde die Anzahl der Neuronen in der Verborgenen Schicht in mehreren Berechnungen anhand der gleichen Datensätze systematisch variiert und die Ergebnisse der verschie- denen Netzwerke für je eines der Kriterien hinsichtlich Generalisierungsfähigkeit und Klassifikationsrate miteinander verglichen. Aus den so gewonnen Ergebnissen wurde eine optimale Zahl der Neuronen in der Verborgenen Schicht bestimmt.The network structure was defined in the manner described here in order to be able to map possible nonlinear effects with good generalizability of the results. As is known, the number of units in the hidden layer must be large enough to accomplish the task at hand, but also small enough to enable a sufficiently good generalization of the network. When creating a suitable network, the number of neurons in the hidden layer was systematically varied in several calculations using the same data sets and the results of the different which networks are compared with each other for one of the criteria regarding generalization ability and classification rate. An optimal number of neurons in the hidden layer was determined from the results obtained in this way.
Auf der Basis von 83 bzw. 65 vollständigen Datensätzen bei den beiden Netzwerken mit den Kriterien Globalurteil bzw. Fahrstilprognose konnte eine Klassifikationsrate von 81 bzw. 78 Prozent bei einer zufriedenstellenden Generalisierung des neuronalen Netzwerks erzielt werden. Im Vergleich zu den diskriminanzanalytischen Ergebnissen zeigte sich eine deutliche Überlegenheit des neuronalen Netzwerks, was auf die Existenz nichtlinearer Beziehungen zwischen Kriterium und Prädiktorvariablen hindeuten dürfte.On the basis of 83 or 65 complete data sets for the two networks with the criteria global judgment or driving style forecast, a classification rate of 81 or 78 percent was achieved with a satisfactory generalization of the neural network. Compared to the discriminant analysis results, the neural network was clearly superior, which should indicate the existence of non-linear relationships between the criterion and the predictor variables.
Die Überprüfung der Generalisierbarkeit erfolgte mit Hilfe der Methode der Teilstichprobenbildung wobei bei beiden Kriterien jeweils 10 zufällig ausgewählte Personen als Testsample fungierten, anhand derer die Generalisierbarkeit des mit dem nun reduzierten Stichprobenumfang erneut trainierten Netzwerks überprüft wurde. Die Ergebnisse zur Generalisierbarkeit der Ergebnisse weisen auf eine gute Stabilität der erzielten Resultate hin. Für das Kriterium Globalurteil konnte bei dem nun reduzierten Trainingssample von 73 Probanden eine Klassifikationsrate von 86 Prozent richtigen Zuordnungen erzielt werden. Für das Testsample lag die Klassifikationsrate bei 90 Prozent richtiger Zuordnungen, wobei richtig klassifizierte Personen mit 63 bis 99 Prozent Sicherheit richtig zugeordnet wurden, während die Sicherheit der falschen Zuordnung bei 60 Prozent lag. Die gute Übereinstimmung zwischen der Klassifikationsrate im Lernsample (86.3%) und Testsample (90%) deutet auf eine gute Netzwerkspezifikation.The generalizability was checked using the method of partial sampling, whereby 10 randomly selected persons acted as test samples for each of the two criteria, on the basis of which the generalizability of the network, which was now trained again with the now reduced sample size, was checked. The results on the generalizability of the results indicate good stability of the results obtained. With the now reduced training sample of 73 subjects, a classification rate of 86 percent correct assignments could be achieved for the criterion global judgment. For the test sample, the classification rate was 90 percent of correct assignments, with correctly classified persons with 63 to 99 percent certainty assigned correctly, while the safety of incorrect assignments was 60 percent. The good agreement between the classification rate in the learning sample (86.3%) and test sample (90%) indicates a good network specification.
Flugpsychologieaviation psychology
Als zweites Anwendungsgebiet standen 92 vollständigen Daten einer Testbatterie bestehend aus sieben verschiedenen Testverfahren einer Validierungsstudie zur Auswahl erfolgreicher Absolventen einer Flugausbildung einer österreichischen Luftlinie (Lauda Airlines), und darüber hinaus Informationen über die erfolgreiche Absolvierung bzw. dem Abbruch der Ausbildung zur Verfügung. In diesem Anwendungsfall wurde ebenfalls ein Multilayer Perceptron, bestehend aus insgesamt drei Schichten eingesetzt. Das Netzwerk bestand aus elf Inputeinheiten zur Repräsentation der z-transformierten Rohwerte aus den einzelnen Testverfahren, fünfzehn Einheiten der Verborgenen Schicht und den zwei Outputschichteinheiten zur Repräsentation der zwei Merkmalsausprägungen der Kriteriumsvariable Ausbildungserfolg. In diesem Ausführungsbeispiel zeigte sich ebenso wie bei der Bewertung der Kraftfahrer, dass die erfindungsgemäße Auswertung der Daten eine überraschend hohe Zuverlässigkeit lieferte. Während mittels der Diskriminanzanalyse eine richtige Zuordnung der Testpersonen aufgrund der Testwerte in Absolventen und Abbrecher von ca. 72 % gefunden wurde, lieferte das neuronale Netz in 96% der Fälle richtige Zuordnungen. Die Überprüfung der Generalisierbarkeit erfolgte mit Hilfe der Methode der Teilstichprobenbildung wobei bei beiden Kriterien jeweils 10 zufällig ausgewählte Personen als Testsample fungierten, anhand derer die Generalisierbarkeit des mit dem nun reduzierten Stichprobenumfang erneut trainierten Netzwerks überprüft wurde. Die Ergebnisse zur Generalisierbarkeit der Ergebnisse weisen auf eine gute Stabilität der erzielten Resultate hin. Bei dem nun reduzierten Trainingssample von 82 Probanden eine Klassifikationsrate von 93.6 Prozent richtigen Zuordnungen erzielt werden. Für das Testsample lag die Klassifikationsrate bei 80 Prozent richtiger Zuordnungen, wobei richtig klassifizierte Personen mit 60 bis 99 Prozent Sicherheit richtig zugeordnet wurden, während die Sicherheit der falschen Zuordnung zwischen 63 bis 68 Prozent lag. Die Übereinstimmung zwischen der Klassifikationsrate im Lernsample (93.6%) und Testsample (80%) ist als hinreichend gut zu bezeichnen. Die Generalisierung der Ergebnisse des neuronalen Netzwerks kann auch hier als befriedigend beurteilt werden.The second area of application was 92 complete data of a test battery consisting of seven different test methods of a validation study for the selection of successful graduates of flight training from an Austrian airline (Lauda Airlines), as well as information about the successful completion or termination of the training. In this application, a multilayer perceptron consisting of a total of three layers was also used. The network consisted of eleven input units to represent the z-transformed raw values from the individual test procedures, fifteen units of the hidden layer and the two output layer units to represent the two characteristics of the criterion variable, educational success. In this exemplary embodiment, as in the evaluation of the drivers, it was found that the evaluation of the data according to the invention provided a surprisingly high level of reliability. While a correct assignment of the test persons based on the test values in graduates and dropouts of approx. 72% was found using the discriminant analysis, the neural network provided correct assignments in 96% of the cases. The generalizability was checked using the method of partial sampling, whereby 10 randomly selected persons acted as test samples for each of the two criteria, on the basis of which the generalizability of the network, which was now trained again with the now reduced sample size, was checked. The results on the generalizability of the results indicate good stability of the results obtained. With the now reduced training sample of 82 subjects, a classification rate of 93.6 percent correct assignments were achieved. For the test sample, the classification rate was 80 percent of correct assignments, with correctly classified people with 60 to 99 percent certainty assigned correctly, while the safety of the wrong assignment was between 63 to 68 percent. The agreement between the classification rate in the learning sample (93.6%) and test sample (80%) can be described as sufficiently good. The generalization of the results of the neural network can also be assessed as satisfactory here.
Bei den Ergebnisse der Diskriminanzanalyse zeigte sich auch eine deutliche Verletzung der Modellannahmen. Dies bedeutet, dass die Diskriminanzanalyse im Vergleich zu den neuronalen Netzwerken nicht nur zu einer geringeren Klassifikationsrate, sondern auch zu methodisch problematischen Ergebnissen, bedingt durch die Verletzung der Modellannahmen, geführt hat. Detailanalysen, die im Anschluss an die genannten Versuche zur Auswertung mit einem Neuronalen Netz bzw. einer Diskriminanzanalyse durchgeführt wurden, zeigen, dass die beobachteten Unterschiede zwischen beiden Klassifikationsverfahren durch die Existenz nichtlinearer Beziehungen zwischen Prädiktor- und Kriteriumsvariable erklärbar sind.The results of the discriminant analysis also showed a clear violation of the model assumptions. This means that the discriminant analysis not only led to a lower classification rate compared to the neural networks, but also to methodologically problematic results due to the violation of the model assumptions. Detailed analyzes that were carried out after the above-mentioned experiments for evaluation with a neural network or a discriminant analysis show that the observed differences between the two classification methods can be explained by the existence of non-linear relationships between predictor and criterion variables.
Wie aus dem oben Gesagten hervorgeht, weisen neuronale Netzwerke im Vergleich zu herkömmlichen Methoden der Datenintegration einige Vorteile auf. Ein wesentlicher Vorteil besteht in den vergleichsweise geringen Anforderungen an die Daten. Im Beispiel aus der Flugpsychologie konnte gezeigt werden, dass mit Hilfe neuronaler Netzwerke eine Integration der vorliegenden Daten ermöglicht wird, die mit Hilfe der etablierten Methode der Diskriminanzanalyse nicht erzielbar ist, was im nachhinein auf fehlendes Vorliegen der zugehörenden Voraussetzungen zurück geführt werden konnte. Neben diesen für praktische Anwendungen wichtigen methodischen Vorzügen ermöglichen neuronale Netzwerke auch eine angemessene Berücksichtigung nicht-linearer Beziehungen zwischen den Prädiktor- variablen und der gewählten Kriteriumsvariable, die durch einen menschHchen Diagnostiker nicht geleistet werden kann. As can be seen from the above, neural networks have several advantages compared to conventional methods of data integration. A major advantage is the comparatively low data requirements. In the example from flight psychology, it could be shown that with the help of neural networks, an integration of the available data is possible, which cannot be achieved with the help of the established method of discriminant analysis, which could subsequently be attributed to the lack of the associated requirements. In addition to these methodological advantages, which are important for practical applications, neural networks also allow adequate consideration of non-linear relationships between the predictor variable and the selected criterion variable, which cannot be achieved by a human diagnostician.

Claims

PATENTANSPRÜCHE
1. Vorrichtung zum Auswerten psychologischer und/ oder biomedizinischer Rohdaten (2,3) in Form eines Profilvektors, welcher einen Probanden betreffende, im Rahmen von psychologisch/ biomedizinischen Testungen (1) gewonnene, jedoch zumindest zum Teil rein psychologischen Testungen entstammende Daten umfasst, gekennzeichnet durch ein Neuronales Netzwerk (NN), dem als Eingangsdaten die Daten (12) eines Profilvektors sowie Parameterdaten (14) zur Auswahl abzuleitender Größen zuführbar sind, und das zur Ausgabe von zumindest einer aus den Eingangsdaten gemäß den Parameterdaten abgeleitete Ergebnisgröße (5) zur Beurteilung des Probanden eingerichtet ist.1. Device for evaluating psychological and / or biomedical raw data (2, 3) in the form of a profile vector, which includes data relating to a test subject, obtained in the context of psychological / biomedical tests (1), but at least partially derived from purely psychological tests through a neural network (NN), to which the data (12) of a profile vector and parameter data (14) can be fed as input data for the selection of variables to be derived, and for the output of at least one result variable (5) derived from the input data according to the parameter data for evaluation the subject is set up.
2. Vorrichtung nach Anspruch 1, gekennzeichnet durch eine dem Neuronalen Netzwerk nachgeordnete Konversionseinrichtung (7) zum Umwandeln der vom Netzwerk geHeferten Ergebnisgröße(n) in Klartext-Information.2. Device according to claim 1, characterized by a conversion device (7) arranged downstream of the neural network for converting the result variable (s) stored by the network into plain text information.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Neuronale Netzwerk ein Multilayer Perceptron (MLP) aufweist.3. Device according to claim 1 or 2, characterized in that the neural network has a multilayer perceptron (MLP).
4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Multilayer Perceptron genau eine Verborgene Schicht (HL) aufweist, wobei die Anzahl der Neuronen in der Verborgenen Schicht größer ist als die Anzahl der Neuronen in der Eingangsschicht.4. The device according to claim 3, characterized in that the multilayer perceptron has exactly one hidden layer (HL), the number of neurons in the hidden layer being greater than the number of neurons in the input layer.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch einen Speicher (9) zur Speicherung von Eingangs- und Ergebnisdaten vorangegangener Auswertungen, wobei das Neuronale Netzwerk (NN) Zugriff auf diesen Speicher hat.5. Device according to one of claims 1 to 4, characterized by a memory (9) for storing input and result data of previous evaluations, the neural network (NN) having access to this memory.
6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass sie dazu eingerichtet ist, nach einer Auswertung eines Profilvektors die zugehörenden Eingangs- und Ergebnisdaten in dem Speicher abzuspeichern und die so ergänzten Daten des Speichers nachfolgenden Auswertungen zugrunde zu legen.6. The device as claimed in claim 5, characterized in that it is set up to store the associated input and result data in the memory after evaluating a profile vector and to use the data thus supplemented in the memory as the basis for subsequent evaluations.
7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Eingangsdaten (12) neben aus psychologisch/ biometrischen Testung gewonnen Daten (2) weitere Daten (2a) umfassen, die aus einem Interview mit dem betreffenden Probanden und/ oder einer biographischen Erhebung erhoben wurden. 7. Device according to one of claims 1 to 6, characterized in that the input data (12) in addition to data obtained from psychological / biometric testing (2) comprise further data (2a), which results from an interview with the subject and / or one biographical survey.
8. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Neuronale Netzwerk eine Verknüpfungskonfiguration aufweist, die auf einem Training unter Verwendung von Daten (13) beruht, die neben Eingangsdaten auch Bewährungsdaten enthalten, die für den betreffenden Probanden im Zeitraum nach einer bereits getätigten Auswertung erhoben wurden.8. Device according to one of claims 1 to 7, characterized in that the neural network has a linkage configuration which is based on training using data (13) which, in addition to input data, also contain probation data for the relevant subject in the period after an evaluation that has already been carried out.
9. Verfahren zum Auswerten psychologischer und/ oder biomedizinischer Rohdaten, gekennzeichnet durch die folgenden Schritte: a) Ermitteln von Rohdaten (2,3) im Rahmen von psychologisch/biomedizinischen Testungen (1) eines Probanden, wobei zumindest ein Teil der Rohdaten aus rein psychologischen Testungen gewonnen wird, in Form eines Profilvektors, b) Zuführen der Rohdaten (2,3) sowie Parameterdaten (14) zur Auswahl abzuleitender Größen als Eingangsdaten an ein Neuronales Netzwerk (NN), c) Ausgabe von zumindest einer aus den Eingangsdaten gemäß den Parameterdaten abgeleitete Ergebnisgröße (5) zur Beurteilung des Probanden durch das Neuronale Netzwerk (NN).9. A method for evaluating psychological and / or biomedical raw data, characterized by the following steps: a) determining raw data (2, 3) in the context of psychological / biomedical tests (1) of a subject, at least part of the raw data being purely psychological Tests are obtained in the form of a profile vector, b) supplying the raw data (2, 3) and parameter data (14) for selecting variables to be derived as input data to a neural network (NN), c) outputting at least one of the input data in accordance with the parameter data derived result variable (5) for the assessment of the test person by the neural network (NN).
10. Verfahren nach Anspruch 9, gekennzeichnet durch den anschüeßenden Schritt d) Umwandeln der vom Netzwerk geHeferten Ergebnisgröße(n) in Klartext-Information.10. The method according to claim 9, characterized by the subsequent step d) converting the result value (s) stored by the network into plain text information.
11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass als Neuronales Netzwerk ein Multilayer Perceptron (MLP) verwendet wird.11. The method according to claim 9 or 10, characterized in that a multilayer perceptron (MLP) is used as the neural network.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das Multilayer Perceptron genau eine Verborgene Schicht (HL) aufweist, wobei die Anzahl der Neuronen in der Verborgenen Schicht größer ist als die Anzahl der Neuronen in der Eingangsschicht.12. The method according to claim 11, characterized in that the multilayer perceptron has exactly one hidden layer (HL), the number of neurons in the hidden layer being greater than the number of neurons in the input layer.
13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass Eingangs- und Ergebnisdaten in einem Speicher gespeichert werden, auf den das Neuronale Netzwerk (NN) in nachfolgenden Auswertungen Zugriff hat.13. The method according to any one of claims 9 to 12, characterized in that input and result data are stored in a memory to which the neural network (NN) has access in subsequent evaluations.
14. Verfahrennach Anspruch 13, dadurch gekennzeichnet, dass nach einer Auswertung eines Profilvektors die zugehörenden Eingangs- und Ergebnisdaten in dem Speicher abgespeichert werden und die so ergänzten Daten des Speichers nachfolgenden Auswertungen zugrunde gelegt werden. 14. The method according to claim 13, characterized in that after an evaluation of a profile vector, the associated input and result data are stored in the memory and the data of the memory thus supplemented are used as a basis for subsequent evaluations.
15. Verfahren nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass für die Eingangsdaten (12) neben aus psychologisch/ biometrischen Testung gewonnen Daten (2) weitere, aus einem Interview mit dem betreffenden Probanden und/ oder einer biographischen Erhebung erhobene Daten (2a) verwendet werden.15. The method according to any one of claims 9 to 14, characterized in that for the input data (12), in addition to data obtained from psychological / biometric testing (2), further data obtained from an interview with the relevant subject and / or a biographical survey ( 2a) can be used.
16. Verfahren nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass das Neuronale Netzwerk unter Verwendung von Daten (13) trainiert wird, die neben Eingangsdaten auch Bewährungsdaten enthalten, die für den betreffenden Probanden im Zeitraum nach einer bereits getätigten Auswertung erhoben wurden. 16. The method according to any one of claims 9 to 15, characterized in that the neural network is trained using data (13) which, in addition to input data, also contain probation data which were collected for the subject in question in the period after an evaluation had already been carried out.
PCT/AT2002/000289 2001-10-09 2002-10-08 Device for evaluating psychological and biomedical raw data WO2003030705A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP02778969A EP1434516A2 (en) 2001-10-09 2002-10-08 Device for evaluating psychological and biomedical raw data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA1591/2001 2001-10-09
AT0159101A AT411143B (en) 2001-10-09 2001-10-09 DEVICE FOR EVALUATING PSYCHOLOGICAL AND BIOMEDICAL RAW DATA

Publications (2)

Publication Number Publication Date
WO2003030705A2 true WO2003030705A2 (en) 2003-04-17
WO2003030705A3 WO2003030705A3 (en) 2003-09-12

Family

ID=3688388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/AT2002/000289 WO2003030705A2 (en) 2001-10-09 2002-10-08 Device for evaluating psychological and biomedical raw data

Country Status (3)

Country Link
EP (1) EP1434516A2 (en)
AT (1) AT411143B (en)
WO (1) WO2003030705A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593674A (en) * 2020-04-30 2021-11-02 北京心数矩阵科技有限公司 Character impact factor analysis method based on structured neural network

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112662A1 (en) 2021-05-17 2022-11-17 Carmen Held Expert system implemented on an electronic data processing system for diagnosing a suitability for working in the home office, in particular for employees

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6063028A (en) * 1997-03-20 2000-05-16 Luciano; Joanne Sylvia Automated treatment selection method
EP0842475B1 (en) * 1995-07-25 2000-11-08 Horus Therapeutics, Inc. Computer assisted methods and apparatus for diagnosing diseases
WO2001018674A2 (en) * 1999-09-03 2001-03-15 The Procter & Gamble Company Methods and apparatuses for providing a customized product combination to a consumer

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724987A (en) * 1991-09-26 1998-03-10 Sam Technology, Inc. Neurocognitive adaptive computer-aided training method and system
US5486999A (en) * 1994-04-20 1996-01-23 Mebane; Andrew H. Apparatus and method for categorizing health care utilization
JP3310498B2 (en) * 1994-09-02 2002-08-05 独立行政法人産業技術総合研究所 Biological information analyzer and biological information analysis method
DE19831109A1 (en) * 1998-07-11 2000-01-13 Univ Schiller Jena Monitoring and evaluation of infants and new born breathing cycle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0842475B1 (en) * 1995-07-25 2000-11-08 Horus Therapeutics, Inc. Computer assisted methods and apparatus for diagnosing diseases
US6063028A (en) * 1997-03-20 2000-05-16 Luciano; Joanne Sylvia Automated treatment selection method
WO2001018674A2 (en) * 1999-09-03 2001-03-15 The Procter & Gamble Company Methods and apparatuses for providing a customized product combination to a consumer

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DATABASE INSPEC [Online] INSTITUTE OF ELECTRICAL ENGINEERS, STEVENAGE, GB; CRAIGER J P ET AL: "Fuzzy-neural models in industrial psychology research" Database accession no. 5584959 XP002238152 & WCNN '95. WORLD CONGRESS ON NEURAL NETWORKS. 1995 INTERNATIONAL NEURAL NETWORK SOCIETY ANNUAL MEETING, PROCEEDINGS OF THE WORLD CONGRESS ON NEURAL NETWORKS, WASHINGTON, DC, USA, 17-21 JULY 1995, Seiten 617-620 vol.2, 1995, Mahwah, NJ, USA, Lawrence Erlbaum Associates, USA ISBN: 0-8058-2125-2 *
DATABASE INSPEC [Online] INSTITUTE OF ELECTRICAL ENGINEERS, STEVENAGE, GB; SOMERS M J: "Thinking differently: assessing nonlinearities in the relationship between work attitudes and job performance using a Bayesian neural network" Database accession no. 7010432 XP002238151 & JOURNAL OF OCCUPATIONAL AND ORGANIZATIONAL PSYCHOLOGY, MARCH 2001, BRITISH PSYCHOLOGICAL SOC, UK, Bd. 74, pt.1, Seiten 47-61, ISSN: 0963-1798 *
See also references of EP1434516A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593674A (en) * 2020-04-30 2021-11-02 北京心数矩阵科技有限公司 Character impact factor analysis method based on structured neural network

Also Published As

Publication number Publication date
AT411143B (en) 2003-10-27
WO2003030705A3 (en) 2003-09-12
EP1434516A2 (en) 2004-07-07
ATA15912001A (en) 2003-03-15

Similar Documents

Publication Publication Date Title
EP3019080B1 (en) Method for automatically evaluating an absence eeg, computer program and evaluating device therefor
WO2022096297A1 (en) Computer-implemented method and device for carrying out a medical laboratory value analysis
WO2002047026A2 (en) Method for determining competing risks
DE102019204139A1 (en) Training for artificial neural networks with better utilization of the learning data sets
EP0901658A1 (en) Process for optimizing fuzzy rules using a computer
DE102006016716A1 (en) Person e.g. vehicle user, training method involves evaluating physiological or technical data using algorithm of machine learning in feedback system for evaluation of feedback about physical and/or mental condition, behavior and/or effect
Chang A social psychological model of women’s gender‐typed occupational mobility
AT411143B (en) DEVICE FOR EVALUATING PSYCHOLOGICAL AND BIOMEDICAL RAW DATA
EP1378851A1 (en) Method and system for choosing a training program as part of a therapy plan
DE102008048142A1 (en) Method for analyzing a human head
EP1015998A2 (en) Method for detecting time dependent modes of dynamic systems
WO2005106725A1 (en) Computerized protection system and method for automatically identifying and/or characterizing risk parameters
Lewandowski et al. Scoring-systeme auf der intensivtherapiestation
Niels Attributionen in der Mensch-Computer-Interaktion
DE102020111584A1 (en) Method for obtaining data using surgical microscopy systems
Schult Wie viele Schulen braucht ein fairer Vergleich? Sozialindex-basierte Adjustierungsstrategien im Vergleich
Bieg et al. Motivational climate in progressive educational and traditional school environments: Differences, commonalities and effects on students’ motivation
EP4346558A1 (en) Software-based, speech-operated and objective diagnostic tool for use in diagnosing a chronic neurological disorder
EP3399427A1 (en) Method and system for the quantitative measurement of mental stress of an individual user
WO2022122173A1 (en) Avatar apparatus and method for representing a person and for processing person-related data of the person
DE112022002458T5 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
EP3586744A1 (en) Method and system for gait analysis
Crawford Workload assessment methodology development
DE102022114277A1 (en) Method, device and executable computer program for the individualized quantification of a respiratory sinus arrhythmia
DE102022126561A1 (en) Database system for recording competencies existing within an organization

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FR GB GR IE IT LU MC NL PT SE SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002778969

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002778969

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2002778969

Country of ref document: EP