DE102006016716A1

DE102006016716A1 - Person e.g. vehicle user, training method involves evaluating physiological or technical data using algorithm of machine learning in feedback system for evaluation of feedback about physical and/or mental condition, behavior and/or effect

Info

Publication number: DE102006016716A1
Application number: DE200610016716
Authority: DE
Inventors: Wolfgang Prof. Rosenstiel; Michael Schröder; Martin Bogdan; Michael Bensch
Original assignee: Eberhard Karls Universitaet Tuebingen
Current assignee: Eberhard Karls Universitaet Tuebingen
Priority date: 2006-04-08
Filing date: 2006-04-08
Publication date: 2007-10-11

Abstract

The method involves obtaining feedback about physical and/or mental condition, behavior and/or effect of a person who is to be trained, and evaluating physiological data of the person or technical data of a transport unit from a data source using an algorithm of a machine learning in a computer-based feedback system for evaluation of the feedback. The feedback in the form of enhancement is provided to the person via an on-board computer, when the desired behavior is obtained. An independent claim is also included for a device for training a person in a transport unit.

Description

Die vorliegende Erfindung liegt auf dem Gebiet der Fahrzeugtechnik. Sie betrifft ein Verfahren und eine Vorrichtung zur technischen Unterstützung des Erlernens eines wachen, entspannten, risikoarmen Fahrstils, basierend auf physiologischen Messdaten und Fahrzeugmessdaten mit den Zielen: 1. Senkung des Unfallrisikos; 2. Kostenreduktion durch verbrauchs- und verschleißarmes Fahren; 3. Steigerung des Wohlempfindens von Fahrzeugführer und Mitfahrer.The The present invention is in the field of vehicle technology. It relates to a method and a device for technical Support of the Learning a wakeful, relaxed, low-risk driving style, based on physiological measurement data and vehicle measurement data with the goals: 1. Reduction of the accident risk; 2. Cost reduction through consumption and low-wear Drive; 3. Increase the sense of well-being of drivers and passengers.

Es sind bislang keine Verfahren oder Vorrichtungen bekannt, bei welchen die beschriebenen Ziele im Fahrzeug oder einem anderen Beförderungsmittel erreicht sind. In Fahrzeugen gibt es eine Vielzahl von Bemühungen, eine Senkung des Unfallrisikos auf rein technischem Wege zu erzielen. Beispiele hierfür sind etwa der Bremsassistent, das Stabilitätsprogramm, die Abstandssensoren usw. im PKW. Auf den Gebieten außerhalb von Fahrzeugtechnik wird Feedbacktraining zur Stressreduktion (WO 09844840 A1, WO 09941654 A1), zum physischen Training von Leistungssportlern (WO 00032089 A1), zur Bekämpfung von Reisekrankheit ( US 5694939 ) oder zur Verbesserung der Aufmerksamkeit und Konzentrationsfähigkeit bei Schülern ( US 0230459 A1 ) vorgeschlagen. Diese Methoden beruhen auf der einfachen Rückmeldung von gemessenen physiologischen Variablen wie EMG, EEG, Hautleitfähigkeit, Herzrate, usw. Bei diesen Anwendungen kommen Algorithmen des maschinellen Lernens nicht zum Einsatz. Auf anderen Gebieten werden lernende Algorithmen allerdings für eine Vielzahl von Datenanalyseproblemen online und offline verwendet (Tom M. Mitchell (1997): Machine Leaming, McGraw Hill, ISBN 0071154671). Für Biofeedback-Systeme und Brain-Computer Interface Systeme können sie zum Training (Adaptierung) eines Datenanalysesystems eingesetzt werden, welches individuell für jeden Benutzer lernen muss, dessen physiologischen Signale (z.B. EEG) zu klassifizieren.There are no known methods or devices in which the described objectives are achieved in the vehicle or other means of transport. In vehicles, there are a variety of efforts to achieve a reduction in the risk of accidents by purely technical means. Examples include the brake assistant, the stability program, the distance sensors, etc. in the car. In the fields outside vehicle technology, feedback training for stress reduction (WO 09844840 A1, WO 09941654 A1), for the physical training of competitive athletes (WO 00032089 A1), for controlling motion sickness ( US 5694939 ) or to improve the attention and concentration of students ( US 0230459 A1 ) proposed. These methods rely on the simple feedback of measured physiological variables such as EMG, EEG, skin conductivity, heart rate, etc. These applications do not use machine learning algorithms. However, in other fields, learning algorithms are used online and offline for a variety of data analysis problems (Tom M. Mitchell (1997): Machine Leaming, McGraw Hill, ISBN 0071154671). For biofeedback systems and brain-computer interface systems, they can be used to train (adapt) a data analysis system that has to learn individually for each user to classify their physiological signals (eg EEG).

Keines der oben beschriebenen auf Feedbacktraining basierenden Verfahren findet Anwendung im Fahrzeug für Fahrzeuginsassen. Dabei ist weder Biofeedbacktraining basierend nur auf den physiologischen Messdaten eines Fahrzeuginsassen im Fahrzeug, noch auf einer Kombination dieser Daten mit Fahrzeugmessdaten (etwa aus dem CAN-Bus eines PKW) für eine online-Anwendung wie Biofeedbacktraining bekannt. Das bislang einzige bekannte Fahrertraining während der Fahrt wird nur in Form eines menschlichen Trainers ausgeführt, nicht aber durch ein sich automatisch auf die Tagesform und spezifische physiologische Signale des Benutzers einstellendes automatisiertes Trainingssystem. Alle bislang bekannten Feedbacktrainingssysteme außerhalb des Fahrzeugs nutzen keine lernenden Algorithmen, welche für die automatisierte Adaption des Trainingssystems auf verschiedene Benutzer und Tagesformen notwendig sind. Notwendige Adaptionen werden bislang nur durch einen menschlichen Trainer ausgeführt.None the feedback training based method described above finds application in the vehicle for Vehicle occupants. Neither biofeedback training is based on this only on the physiological measurement data of a vehicle occupant Vehicle, still on a combination of this data with vehicle measurement data (about from the CAN bus a car) for An online application known as biofeedback training. That so far only known driver training while driving is only in Executed by a human trainer but not by himself automatically on the daily form and specific physiological signals user's setting automated training system. All use previously known feedback training systems outside the vehicle no learning algorithms used for automated adaptation of the training system to different users and daily forms necessary are. Necessary adaptations are so far only by a human Coach running.

Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Ermöglichung der Selbstkontrolle des Stress- und Aufmerksamkeitsniveaus von Fahrzeuginsassen während der Fahrtzeit durch ein zuschaltbares Trainingsprogramm, Kontrolle und Rückmeldung des Trainingserfolgs bereit zu stellen. Dadurch soll dem Fahrzeugführer ermöglicht werden, einen risikoarmen und entspannten Fahrstil während des Fahrens zu lernen. Auf Wunsch sollen auch die Rückmeldung des Zustands (Müdigkeit, Stresslevel usw.) des Fahrzeugführers an weitere Insassen bzw. die Rückmeldung der Zustände von weiteren Insassen an den Fahrer ermöglicht werden.The Object of the present invention is therefore to provide a method and a device for enabling the self-control of the stress and attention levels of vehicle occupants while the driving time through a switchable training program, control and feedback training success. This should allow the driver to to learn a low-risk and relaxed driving style while driving. Upon request, the feedback of the Condition (fatigue, Stress level, etc.) of the driver to other inmates or the feedback the states be made possible by other occupants to the driver.

Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruches 1 sowie durch die Vorrichtung mit den Merkmalen des Anspruchs 35 gelöst. Bevorzugte Ausführungsformen des Verfahrens und der Vorrichtung sind in den abhängigen Ansprüchen 2 bis 34 bzw. 36 bis 54 dargestellt. Der Wortlaut sämtlicher Ansprüche wird hiermit durch Bezugnahme zum Inhalt dieser Beschreibung gemacht.These The object is achieved by the method having the features of the claim 1 and solved by the device with the features of claim 35. preferred embodiments of the method and the device are in the dependent claims 2 to 34 and 36 to 54, respectively. The wording of all claims becomes hereby incorporated by reference into the content of this specification.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die folgenden Punkte umfasst:

1. Erfassung verschiedener physiologischer Daten des zu trainierenden Fahrzeugnutzers und die gleichzeitige Erfassung von Fahrzeugdaten während der Fahrt.
2. Kombination beider Arten von Datenquellen nach Vorverarbeitung mit Algorithmen der Signalverarbeitung zu einem hochdimensionalen Nutzsignal.
3. Ständige Einspeisung der gemessenen Nutzsignale in ein Computersystem, welches durch lernende Algorithmen die Unterscheidung zwischen wünschenswerten (d.h. stress- und risikoarmen) und nicht wünschenswerten Zuständen des zu trainierenden Insassen und des Fahrzeugs treffen kann.
4. Nutzung des trainierten Computersystems für ein zuschaltbares Trainingsprogramm für den Fahrzeuginsassen während der Fahrtzeit.
5. Unaufdringliche Rückmeldung (visuell, auditiv, haptisch, olfaktorisch) des Zustands während des Trainings. Nutzung der Rückmeldung zur positiven Verstärkung gewünschter Zustände (etwa in Form von Belohnungen, individuell einstellbare angenehme Formen der Rückmeldung).
6. Automatische Adaption des Trainingssystems auf verschiedene Benutzer durch lernende Algorithmen.
7. Training mit dem Ziel der Stressreduktion, gesteigerter Aufmerksamkeit für Fahrzeugführer, ohne den Fahrzeugführer von seinen Aufgaben abzulenken.

This object is achieved according to the invention by a method which comprises the following points:

1. Recording various physiological data of the vehicle user to be trained and the simultaneous detection of vehicle data while driving.
2. Combination of both types of data sources after preprocessing with algorithms of signal processing to a high-dimensional useful signal.
3. Constant supply of the measured useful signals in a computer system, which can make the distinction between desirable (ie stress and low risk) and undesirable conditions of the occupant to be trained and the vehicle by learning algorithms.
4. Use of the trained computer system for a switchable training program for the vehicle occupant during the journey.
5. Unobtrusive feedback (visual, auditory, haptic, olfactory) of the condition during exercise. Use of the feedback for the positive reinforcement of desired states (in the form of rewards, individually adjustable pleasant forms of feedback, for example).
6. Automatic adaptation of the training system to different users through learning algorithms.
7. Training with the goal of stress reduction, increased attention to drivers, without distracting the driver from his duties.

Die Punkte 2 bis 4 werden in 1 als Phase 1, 2 und 3 bezeichnet. Das erfindungsgemäße Verfahren verwendet somit das Training des Fahrzeugbenutzers, basierend auf dem Feedback-Prinzip. Das Feedbacktraining hat eine Verstärkung oder ein häufigeres Auftreten eines erwünschten Verhaltens zum Ziel. Das wird dadurch erreicht, dass dem Benutzer eine Rückmeldung über sein Verhalten (oder dessen Auswirkung) geliefert wird. Dies hilft dem Benutzer, ein möglicherweise unbedachtes oder unbewusst gezeigtes Verhaften zu realisieren und zu ändern. Um die Verhaltensänderung zu unterstützen, erfolgt vom System eine Rückmeldung in Form einer kurzen positiven Verstärkung, wann immer das erwünschte Verhalten vom System erkannt wird. Dies kann etwa durch eine Belohnung in Form eines Lobs durch eine angenehme Stimme via Bordcomputer sein, eine Lieblingsmelodie im Radio, eine angenehme Massage durch den Sitz, eine kleine Bonusprämie für Berufskraftfahrer usw. Die Form der Belohnung sollte individuell unterschiedlich festgelegt werden, um individuelle Präferenzen zu berücksichtigen und um eine optimale Wirkung zu erzielen. Handelt es sich bei den gewünschten Zuständen nicht um willentlich erzeugbares oder beeinflussbares Verhalten, wird am Anfang des Trainings meist nur dann eine Belohnung erfolgen, wenn die zu trainierende Person zufällig das gewünschte Verhalten zeigt. Selbst in diesem Falle aber lernt die Person im Laufe des Trainings (oft unbewusst), das erwünschte Verhalten verstärkt zu zeigen.The points 2 to 4 are in 1 referred to as phase 1, 2 and 3. The method according to the invention thus uses the training of the vehicle user based on the feedback principle. The goal of feedback training is to reinforce or increase the occurrence of desired behavior. This is achieved by providing feedback to the user about their behavior (or its effect). This helps the user to realize and change a possibly thoughtless or unconsciously displayed arrest. To support behavioral change, feedback is provided by the system in the form of a short positive reinforcement whenever the desired behavior is recognized by the system. This can be rewarded in the form of a praise by a pleasant voice via on-board computer, a favorite tune on the radio, a pleasant massage through the seat, a small bonus reward for professional drivers, etc. The form of the reward should be individually set differently to individual preferences to take into account and to achieve an optimal effect. If the desired states are not deliberately produceable or modifiable behavior, at the beginning of the training a reward will usually only be given if the person to be trained happens to show the desired behavior. Even in this case, the person learns during the training (often unconsciously) to show the desired behavior increasingly.

Besonders bevorzugt wird bei dem erfindungsgemäßen Verfahren ein so genanntes Biofeedbacktraining eingesetzt. Unter dem Biofeedbacktraining wird hier und im Folgenden ein Feedbacktraining verstanden, bei welchem physiologische Daten des Benutzers erhoben und zur Berechnung der Rückmeldung ausgewertet werden. Auf diese Weise werden nicht nur Verhaltensweisen des Benutzers trainiert, sondern auch für ein sicheres Fahren optimale körperliche Zustände (z.B. erhöhte Aufmerksamkeit, Muskelentspannung, normaler Blutdruck usw.), die oft nicht bewusst zugänglich sind, erreicht. Solche physiologischen Daten können erfindungsgemäß entweder einzeln, gebündelt oder zusammen mit den Daten aus anderen Datenquellen ausgewertet werden.Especially in the method according to the invention, preference is given to a so-called Biofeedback training used. Under the biofeedback training will be here and in the following a feedback training understood in which physiological data collected by the user and to calculate the feedback be evaluated. That way, not just behaviors become trained by the user, but also optimal for safe driving physical conditions (e.g., increased Attention, muscle relaxation, normal blood pressure, etc.) that often not consciously accessible are reached. Such physiological data can according to the invention either individually, bundled or evaluated along with data from other data sources become.

Geistige und körperliche Zustände wie Stress oder Entspannung, Aufmerksamkeit oder Müdigkeit, die im Rahmen dieses Verfahrens interessant sind, spiegeln sich sowohl in elektrischer neuronaler Aktivität des Gehirns wieder, als auch in anderen Körperbereichen wie dem motorischen Apparat oder dem Hormonspiegel, die vom Gehirn direkt oder indirekt gesteuert werden. Information über jene geistige und körperliche Zustände lassen sich nun ebenso entweder direkt durch die Messung der elektrischen Aktivität des Gehirns erfassen, oder indirekt durch das Messen verschiedener motorischer Aktivitäten (z.B. Atemfrequenz, Herzpuls, Augenbewegungen, Blinzeln, ausgeführte Lenkbewegungen, Muskelanspannung und Muskeltonus im Kiefer oder Nackenbereich) oder durch Messungen von Hauteigenschaften (Leitfähigkeit, Schweißproduktion, Durchblutung).mental and physical conditions like stress or relaxation, attention or fatigue, which are interesting in the context of this procedure, are reflected both in electrical neuronal activity of the brain again, as well in other parts of the body like the motor apparatus or the hormone levels coming from the brain be controlled directly or indirectly. Information about those mental and physical conditions can now as well be either directly by measuring the electrical activity of the brain capture, or indirectly by measuring various motor Activities (e.g. Respiratory rate, heart pulse, eye movements, blinking, steering movements performed, Muscle tension and muscle tone in the jaw or neck area) or through measurements of skin properties (conductivity, sweat production, Circulation).

Als Messmethoden kommen je nach physiologischer Größe etwa das Elektroenzephalogramm (EEG), das Elektrokardiogramm (EKG), Elektrookulogramm (EOG), Elektromyogramm (EMG), Temperaturfühler, Hautleitwertelektroden, Kamera mit Augenverfolgung/Pupillengrößenerkennung, Kamerawärmbild oder Laserabstandsmessung für Atembewegungen in Frage, um nur einige zu nennen. Selbstverständlich müssen die in Frage kommenden Messmethoden so angewendet werden, dass sich der Fahrzeugnutzer nicht in seiner Bewegungsfreiheit eingeschränkt oder in sonstiger Weise durch die Sensoren gestört fühlt. Für die Akzeptanz ist zudem eine unauffällige Anwendungsweise von Vorteil – etwa durch die Bevorzugung von Sensoren, welche berührungsfrei arbeiten können, oder durch den geschickten Einbau von Berührungssensoren in häufig berührte Elemente der Fahrzeugsteuerung (Lenkrad, Schaltknüppel), den Nackenbereich des Sitzes oder in einen Hut, von wo aus die gemessenen Daten per Funkverbindung oder Kabel an das Biofeedbacksystem weitergereicht werden. Die Messung der physiologischen Daten erfolgt in analoger Form, und für die meisten Datenquellen ist vor der Digitalisierung eine Verstärkung (etwa auf TTL-Niveau) notwendig.When Measuring methods come, depending on physiological size, about the electroencephalogram (EEG), electrocardiogram (ECG), electrooculogram (EOG), electromyogram (EMG), temperature sensor, Skin conductance electrodes, camera with eye tracking / pupil size detection, Kamerawärmbild or laser distance measurement for Breathing movements in question, just to name a few. Of course, the eligible measurement methods are applied so that the vehicle user is not restricted in his freedom of movement or feels disturbed in any way by the sensors. For the acceptance is also an inconspicuous application of advantage - about through the preference of sensors which can operate without contact, or by clever installation of touch sensors into frequently touched elements the vehicle control (steering wheel, gear lever), the neck area of the Seat or in a hat, from where the measured data via radio link or cables are passed to the biofeedback system. The measurement The physiological data takes place in analogous form, and for most Data sources is a gain before digitization (approx at TTL level) necessary.

Neben den physiologischen Datenquellen können erfindungsgemäß auch noch Fahrzeugdaten herangezogen werden, welche Hinweise auf das Verhalten des Benutzers in Relation zur Verkehrs- und Straßenlage geben können. Dazu gehören insbesondere Daten, welche Informationen über den Fahrstil des Nutzers (im Falle des Fahrers als Trainingsperson) geben können. Die Fahrzeugdaten können aus dem Datenbus des Fahrzeugs direkt in elektronischer Form entnommen werden und können etwa Motordrehzahl, Kraftstoffverbrauch, Geschwindigkeit, Erschütterungen, Qualität des Fahrbelags, Abstand zu anderen Fahrzeugen (bei PWK oder LKW), Häufigkeit und Intensität von auftretenden Lastwechseln und sich zuschaltenden technischen Sicherungen (etwa ESP oder Bremsassistent im PKW), Häufigkeit und Intensität von Benutzereingaben wie Lenkbewegungen, Bremsungen, Wechsel zwischen Bremsungen und Beschleunigungen, usw. umfassen.Next The physiological data sources according to the invention also still Vehicle data are used, which hints at the behavior of the user in relation to traffic and road conditions. To belong in particular data, which information about the driving style of the user (in the case of the driver as a training person) can give. The Vehicle data can taken from the data bus of the vehicle directly in electronic form can and can about engine speed, fuel consumption, speed, shocks, quality of the driving surface, distance to other vehicles (with PWK or truck), frequency and intensity of occurring load changes and switching technical Fuses (such as ESP or Brake Assist in the car), frequency and intensity of user input such as steering movements, braking, change between braking and accelerations, etc.

Die Auswertung der Eingabedaten und die Berechnung der optimalen Ausgabedaten für den Nutzer erfolgen erfindungsgemäß mittels der lernenden Algorithmen. Diese sind Algorithmen des maschinellen Lernens wie etwa Support Vektor Maschinen, künstliche neuronale Netze, Gauß-Prozesse oder viele andere, die zur Lösung von Klassifikations- oder Regressionsaufgaben verwendet werden, und sind Stand der Technik. Die Verwendung von anderen Algorithmen, wie z.B. Clustermethoden, sind denkbar. Diese Algorithmen lernen in einer so genannten Trainingsphase die Abbildungsfunktion f des Eingabedatenraums X auf den Raum der gesuchten Lösungen Y. Die Eingabedaten sind oft hochdimensional und die Lösungen je nach Aufgabe entweder Klassenbezeichnungen (im Fall der Klassifikationsaufgaben) oder kontinuierliche Werte (im Fall der Regressionsaufgaben).The Evaluation of the input data and the calculation of the optimal output data for the user take place according to the invention means the learning algorithms. These are machine-based algorithms Learning such as support vector machines, artificial neural networks, Gaussian processes or many others to the solution of classification or Regression tasks are used, and are state of the art. The use of other algorithms, e.g. Cluster methods are conceivable. These algorithms learn in a so-called training phase the mapping function f of the input data space X on the space of sought-after solutions Y. The input data is often high-dimensional and the solutions are ever after task either class designations (in the case of classification tasks) or continuous values (in the case of regression tasks).

Um die Abbildungsfunktion f zu lernen, werden den Algorithmen in der Trainingsphase Beispielpaare aus X und Y präsentiert. Eine gut gelernte Abbildungsfunktion kann zu neuen Eingabedaten aus X die zugehörigen Lösungen aus Y berechnen. Sie lernt dabei nicht nur die Trainingsdaten auswendig, sondern ist in der Lage, zu generalisieren. Ändert sich die Abbildungsfunktion f im Laufe der Zeit (etwa bei nichtstationären Daten), so muss f gegebenenfalls durch Nachtraining adaptiert werden.Around To learn the mapping function f, the algorithms in the Training phase Sample pairs from X and Y presented. A well-learned The mapping function can be used to provide new input data from X's related solutions Y calculate. She learns not only the training data by heart, but is able to generalize. Does the mapping function change? f over time (such as non-stationary data), f must be be adapted by night training.

In einem Computer werden die digitalisierten physiologischen und die aus dem Datenbus des Fahrzeugs entnommenen Daten zusammengeführt. Sie liegen dort in Form von Zeitreihen vor. Im Computersystem erfolgt nun zuerst die Vorverarbeitung der Daten. Dies umfasst je nach Notwendigkeit die Anwendung von Standardmethoden der Signalverarbeitung zur Behandlung von Messfehlern und Ausreißern, zur Behandlung fehlender Werte, zur Standardisierung der verschiedenen Datenarten auf gleichartige Intensitätsbereiche usw.In a computer becomes the digitized physiological and the Data taken from the data bus of the vehicle is merged. she are there in the form of time series. Done in the computer system Now first the preprocessing of the data. This includes as needed the use of standard methods of signal processing for treatment measurement errors and outliers, to treat missing values, to standardize the different ones Data types on similar intensity ranges, etc.

Zwar enthalten die Zeitreihendaten Information über den geistigen und körperlichen Zustand des Benutzers, allerdings ist diese ursprüngliche Form der Darstellung meist weder für einen menschlichen Fachmann noch für ein Computersystem dazu geeignet, um diesen Zustand zu erkennen. Daher müssen in einem folgenden Schritt ständig einige höherwertige Merkmale aus den Zeitreihendaten berechnet werden, welche die Zustandserkennung vereinfachen. Dies können etwa Frequenzmerkmale (Spektrogramm) der Zeitreihen, wie sie gerne für die Analyse von EEG-Daten verwendet werden, Histogramme und Häufigkeiten (etwa für die Herzrate), Verteilungen und deren Eigenschaften, zeitliche Ableitungen und Trends über ein geeignetes Intervall der Zeitreihe o.ä. sein. Die Berechnung solcher Merkmale ist zwar rechenintensiv, aber mit derzeit verfügbaren Computern problemlos in Echtzeit zu bewerkstelligen.Though The time series data contain information about the mental and physical State of the user, however, this is original Form of representation usually neither for a human expert still for a computer system capable of detecting this condition. Therefore, in a following step all the time some higher quality Characteristics can be calculated from the time series data, which the state recognition simplify. This can about frequency characteristics (spectrogram) of the time series, as they like for the Analysis of EEG data are used, histograms and frequencies (about for the heart rate), distributions and their properties, temporal derivatives and trends over a suitable interval of the time series or similar be. The calculation of such Features are computationally intensive, but with computers currently available easy to do in real time.

Zur Unterscheidung zwischen erwünschten und unerwünschten Zuständen muss das Erkennungssystem individuell trainiert werden. Zwar sind einige Merkmale bekannt, welche im Zusammenhang mit körperlicher Anspannung (etwa hohe Herzrate, kalte Hände, hoher Muskeltonus usw.) auftreten, wie auch Merkmale, welche als gute Indikatoren für den Stress- oder Aufmerksamkeitslevel bekannt sind (etwa Unterschiede der EEG-Aktivität im alpha-Frequenzband). Allerdings können die gemessenen Werte individuell sehr unterschiedlich ausfallen. Dies gilt in etwas geringerem Maße auch für Fahrzeugmessdaten wie den Kraftstoffverbrauch. Daher ist das Erkennungssystem individuell für jeden Benutzer und für verschiedene Ziele eines Benutzers neu zu trainieren.to Distinction between desired and undesirable states the recognition system must be trained individually. Although some are Features known in connection with physical tension (about high heart rate, cold hands, high muscle tone, etc.), as well as features which as good indicators for the level of stress or attention is known (such as differences in EEG activity in the alpha frequency band). However, the measured values can be individual very different. This is also true to a lesser extent for vehicle measurement data like fuel consumption. Therefore, the recognition system is individual for each user and for to re-train different goals of a user.

Um die computergestützte Erkennung des Zustands zu realisieren, muss das Computersystem an die individuellen Merkmale eines Benutzers angepasst werden. Dies wird durch den Einsatz von Algorithmen des maschinellen Lernens realisiert. Die für das Training der Algorithmen notwendigen Beispielmessungen werden in einer einführenden Phase vom System durchgeführt, wobei der Benutzer nichts weiter zu tun hat, als während des Fahrens auf gelegentliche Anfragen des Systems hin seinen Zustand in vorab vereinbarten Kategorien z.B. verbal zu definieren (etwa „gestresst", „entspannt", „normal", „müde" usw.). Das Spracherkennungssystem des Bordcomputers wandelt diese Zustandseinschätzungen dann in sog. Klassenlabels (Y) um, assoziiert sie mit den zuletzt gemessenen Datenwerten (X) und stellt sie für das Training des Algorithmus' zur Verfügung. Der fertig trainierte Algorithmus realisiert nun die Funktion f, welche die gemessenen physiologischen- und Fahrzeugdaten auf einen der zu erkennenden geistigen und körperlichen Zustände abbildet.Around the computer-aided Realization of the condition must be done by the computer system the individual characteristics of a user are adjusted. This is through the use of machine learning algorithms realized. The for the Training the algorithms necessary sample measurements are in an introductory one Phase performed by the system, the user has nothing to do but during the Driving on occasional requests of the system towards its state in pre-agreed categories e.g. verbally (eg "stressed", "relaxed", "normal", "tired" etc.). The speech recognition system The on-board computer then converts these state assessments into so-called class labels (Y) around, associates it with the last measured data values (X) and post it for the training of the algorithm for Available. Of the Fully trained algorithm now realizes the function f, which the measured physiological and vehicle data on one of to be recognized mental and physical conditions maps.

Natürlich kann sich die letztendlich im Feedbacksystem verwendete Rückmeldung auch aus einer Kombination aus individuell gelernter Funktion und (z.B. vom Betreiber einer Fahrzeugflotte) festgelegten Funktion zusammengesetzt sein, um bestimmte Vorgaben, wie etwa sparsamen Kraftstoffverbrauch, stärker zu berücksichtigen.Of course you can the feedback finally used in the feedback system also from a combination of individually learned function and (e.g., the operator of a vehicle fleet) be composed to specific specifications, such as frugal Fuel consumption, stronger to take into account.

Nun ist das System in der Lage, dem Benutzer in einem Feedbacktrainingsmodus eine Rückmeldung über seinen Zustand zu geben, gewünschte Zustände zu belohnen usw. Das Benutzertraining soll erfindungsgemäß als zuschaltbare Einheit funktionieren, welche in das Fahrzeug integriert ist. Die Zu- und Abschaltung kann etwa sprachgesteuert über den Bordcomputer des Fahrzeugs erfolgen.Now the system is able to provide the user with a feedback training mode a feedback about his State, desired conditions to reward, etc. The user training according to the invention as switchable Unit functioning, which is integrated into the vehicle. The Switching on and off can be voice-controlled, for example, via the on-board computer of the vehicle respectively.

Das erfindungsgemäße Verfahren kann außer im Bereich Fahrzeug (PKW, LKW, Motorrad) auch in anderen Beförderungsmitteln wie Flugzeug, Schiff, Zug usw. Anwendung finden.The inventive method can except in the field of vehicle (cars, trucks, motorcycles) also in other means of transport such as aircraft, ship, train, etc. application.

Im Vergleich zu den aus dem Stand der Technik bekannten Methoden weist das erfindungsgemäße Verfahren eine einzigartige Verbindung von Fahrzeugtechnik und Biofeedbacktraining sowie eine Kombination von Fahrzeugmessdaten und physiologischen Messdaten auf Grundlage von lernenden Algorithmen auf, und erlaubt somit eine Individualisierung der Lösung für verschiedene Nutzer. Auf diese Weise werden wesentliche Vorteile gegenüber den bekannten Verfahren und Systemen erzielt, die insbesondere in der Verminderung des Unfallrisikos, Kostenreduktion, (vorteilhaft insbesondere beim Betrieb von Fahrzeugflotten), Steigerung des Wohlbefindens der Insassen, sowie in der sinnvollen Nutzung der Fahrtzeit (entspanntes Ankommen am Zielort) liegen.in the Compared to the methods known from the prior art has the inventive method a unique combination of vehicle technology and biofeedback training as well as a combination of vehicle measurement data and physiological Measured data based on learning algorithms, and allowed thus an individualization of the solution for different users. On This way, significant advantages over the known methods and systems achieved, in particular in reducing the risk of accidents, reducing costs, (advantageous especially when operating vehicle fleets), increase the well-being of the inmates, as well as in the meaningful use the travel time (relaxed arrival at the destination) are.

Ausführungsbeispieleembodiments

Im Folgenden werden zwei mögliche Konfigurationen des Verfahrens beschrieben. 2 stellt ein Ausführungsbeispiel der Phasen 1 und 2 (Trainingsdaten sammeln und Training der Algorithmen) des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung dar. Die physiologischen Daten des Fahrers (8) werden mittels einer oder mehrerer der o.g. Messmethoden erfasst und über 16 Kanäle (9) an die Vorrichtung zum Feedbacktraining im Fahrzeug (7) weitergeleitet, wonach das Signal verstärkt (12) und digitalisiert (13) wird. Sensoren (25, 26) messen. Fahrzeugdaten auf 16 Kanälen, welche über den Datenbus (18) des Fahrzeugs (17) in elektronischer Form weitergeleitet werden (19) an die Vorrichtung zum Feedbacktraining im Fahrzeug (7). Physiologische Daten und Fahrzeugdaten werden daraufhin separat gefiltert (14, 20) um festgelegte Frequenzbänder oder Mittelwerte zu extrahieren. Die darauffolgenden Algorithmen (15, 21) enthalten mehrere Vorverarbeitungsschritte wie etwa Ausreißerentfernung, Skalierung und Merkmalsextraktion. Die Ausgabe dieser Algorithmen besteht hier aus Signalen mit je 16 Kanälen (16, 22), die in einem Multiplexer (23) zusammengeführt werden.In the following, two possible configurations of the method will be described. 2 illustrates an embodiment of the phases 1 and 2 (training data gathering and training of the algorithms) of the inventive method and the device according to the invention. The physiological data of the driver ( 8th ) are detected by one or more of the above measuring methods and 9 ) to the device for feedback training in the vehicle ( 7 ), after which the signal is amplified ( 12 ) and digitized ( 13 ) becomes. Sensors ( 25 . 26 ) measure up. Vehicle data on 16 channels, which are transmitted via the data bus ( 18 ) of the vehicle ( 17 ) in electronic form ( 19 ) to the device for feedback training in the vehicle ( 7 ). Physiological data and vehicle data are then filtered separately ( 14 . 20 ) to extract fixed frequency bands or averages. The following algorithms ( 15 . 21 ) contain several preprocessing steps such as outlier removal, scaling and feature extraction. The output of these algorithms consists of 16-channel signals ( 16 . 22 ) in a multiplexer ( 23 ) are merged.

Auf gelegentliche Anfragen des Systems definiert der Benutzer (8) in vorab vereinbarten Kategorien verbal seinen Zustand (2), z.B. „müde". Das Spracherkennungssystem des Bordcomputers (1) nimmt die verbale Antwort über ein Mikrophon auf (3) und führt nach geeigneter Filterung (4) eine Worterkennung (5) durch, um die intendierte Kategorie festzustellen. Über eine Schnittstelle (6) wird die Kategorie an die erfindungsgemäße Vorrichtung (7) weitergeleitet, welche die Kategorie in ein Klassenlabel umwandelt (10) und synchronisiert an den Multiplexer (23) übergibt. Das Gesamtsignal (33 Kanäle) wird an den Trainingsalgorithmus (24) geleitet. Dieser erzeugt zu vordefinierten Zeitpunkten jeweils ein Beispielpaar (X, Y) aus dem Gesamtsignal und approximiert schrittweise mit maschinellen Lernverfahren die Funktion f. Die Funktion f sowohl als auch Zusatzinformationen zum Training (Benutzernamen, Trainingsziel, Datum des Nachtrainings) werden auf einem nichtflüchtigen Speicher (27) gesammelt.For occasional requests from the system, the user defines ( 8th ) verbally verbalises its condition in pre-agreed categories ( 2 ), eg "tired." The speech recognition system of the on-board computer ( 1 ) receives the verbal response via a microphone ( 3 ) and leads after suitable filtering ( 4 ) a word recognition ( 5 ) to determine the intended category. Via an interface ( 6 ) the category is assigned to the device according to the invention ( 7 ), which converts the category into a class label ( 10 ) and synchronized to the multiplexer ( 23 ) passes. The total signal (33 channels) is sent to the training algorithm ( 24 ). This generates at predefined times in each case a pair of examples (X, Y) from the total signal and approximates step by step with machine learning the function f. The function f as well as additional training information (user name, training goal, date of the night training) are stored on a non-volatile memory ( 27 ) collected.

3 stellt ein Ausführungsbeispiel der Phase 3 (Training des Benutzers) des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung dar, bei dem das Trainingsziel die Beruhigung des Fahrers ist. Die physiologischen Daten des Fahrers (8) werden mittels einer oder mehrerer der o.g. Messmethoden erfasst und über 16 Kanäle (9) an die Vorrichtung zum Feedbacktraining im Fahrzeug (7) weitergeleitet, wonach das Signal verstärkt (12) und digitalisiert (13) wird. Sensoren (25, 26) messen Fahrzeugdaten auf 16 Kanälen, welche über den Datenbus (18) des Fahrzeugs (17) in elektronischer Form weitergeleitet werden (19) an die Vorrichtung zum Feedbacktraining im Fahrzeug (7). Physiologische Daten und Fahrzeugdaten werden daraufhin separat gefiltert (14, 20) um festgelegte Frequenzbänder oder Mittelwerte zu extrahieren. Die darauffolgenden Algorithmen (15, 21) enthalten mehrere Vorverarbeitungsschritte wie etwa Ausreißerentfernung, Skalierung und Merkmalsextraktion. Die Ausgabe dieser Algorithmen besteht hier aus Signalen mit je 16 Kanälen (16, 22), die in einem Multiplexer (23) zusammengeführt werden. 3 illustrates an embodiment of the phase 3 (training of the user) of the inventive method and the device according to the invention, in which the training goal is the reassurance of the driver. The physiological data of the driver ( 8th ) are detected by one or more of the above measuring methods and 9 ) to the device for feedback training in the vehicle ( 7 ), after which the signal is amplified ( 12 ) and digitized ( 13 ) becomes. Sensors ( 25 . 26 ) measure vehicle data on 16 channels, which are transmitted via the data bus ( 18 ) of the vehicle ( 17 ) in electronic form ( 19 ) to the device for feedback training in the vehicle ( 7 ). Physiological data and vehicle data are then filtered separately ( 14 . 20 ) to extract fixed frequency bands or averages. The following algorithms ( 15 . 21 ) contain several preprocessing steps such as outlier removal, scaling and feature extraction. The output of these algorithms consists of 16-channel signals ( 16 . 22 ) in a multiplexer ( 23 ) are merged.

Das Gesamtsignal (32 Kanäle) wird an den Klassifikationsalgorithmus (24) geleitet, der anhand der Daten X und der zuvor erlernten Funktion f (27) den Zustand Y des Fahrers erkennt. Ist der Zustand des Fahrers „ruhig", entscheidet der Algorithmus (24) nach zuvor festgelegten Einstellungen über ein Feedback für den Fahrer. Gegebenenfalls wird ein Signal an das Audiosystem (1) gesendet, welches eine zuvor gespeicherte Melodie oder ein verbales Lob abruft (29) und über einen Lautsprecher (28) ausgibt, um den Fahrer (8) über das Feedback (2) zu belohnen. Ist der Zustand des Fahrers nicht „ruhig", entscheidet der Algorithmus (24) nach zuvor festgelegten Einstellungen über ein Feedback für den Fahrer. Gegebenenfalls wird ein Signal an das Audiosystem (1) gesendet, welches eine zuvor gespeicherte Melodie oder eine verbale Trainingsanweisung abruft (29) und über einen Lautsprecher (28) ausgibt, um den Fahrer (8) über das Feedback (2) zu benachrichtigen, dass er sich noch nicht im gewünschten Zustand befindet.The total signal (32 channels) is sent to the classification algorithm ( 24 ) based on the data X and the previously learned function f ( 27 ) recognizes the condition Y of the driver. If the condition of the driver is "quiet", the algorithm decides ( 24 ) according to previously defined settings via a feedback for the driver. If necessary, a signal is sent to the audio system ( 1 ) which retrieves a previously stored tune or verbal praise ( 29 ) and a loudspeaker ( 28 ) to the driver ( 8th ) about the feedback ( 2 ) to reward. If the condition of the driver is not "quiet", the algorithm decides ( 24 ) according to previously defined settings via a feedback for the driver. If necessary, a signal is sent to the audio system ( 1 ) which retrieves a previously stored tune or verbal training instruction ( 29 ) and a loudspeaker ( 28 ) to the driver ( 8th ) about the feedback ( 2 ) to notify that he is not yet in the desired state.

Die vorliegende Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele beschränkt. Vielmehr sind viele Abwandlungen möglich, die durch Fachleute erzielbar sind, und damit im Bereich dieser Erfindung eingeschlossen sind.The The present invention is not limited to the described embodiments limited. Much more many modifications are possible which are achievable by those skilled in the art, and thus within the scope of this invention are included.

Claims

Method for training a person in a means of transport for the purpose of reducing the accident risk, relaxation and stress reduction of the person to be trained, characterized in that a. the person to be trained receives feedback about their physical and / or mental state, their behavior and / or their effect, and b. to calculate the feedback, data from at least one data source is collected and / or evaluated by means of machine learning algorithms in a computer-based feedback system.

A method according to claim 1, characterized in that the Training a reinforcement and / or a more common one Appearance of a desired behavior, or a reduction and / or a rarer occurrence of the undesirable Behavior of the person to be trained has the goal.

Method according to one of the preceding claims, characterized characterized in that the person to be trained feedback in the form of a positive reinforcement is delivered if the desired Behavior is achieved.

Method according to one of the preceding claims, characterized characterized in that the form of feedback is set individually becomes.

Method according to one of the preceding claims, characterized characterized in that the person to be trained feedback in the form of a praise via on-board computer, a favorite tune, one Massage through the seat o. A. is given.

Method according to one of the preceding claims, characterized characterized in that the calculation of the feedback physiological data of the person to be trained and / or technical data of the means of transport collected and evaluated.

Method according to one of the preceding claims, characterized characterized in that by training the person to be trained optimal physical Conditions, such as. increased Attaining attention, muscle relaxation, normal blood pressure, or others can.

Method according to one of the preceding claims, characterized characterized in that physiological data of the person to be trained be raised by measuring the electrical activity of the brain.

Method according to one of the preceding claims, characterized characterized in that physiological data of the person to be trained by measuring motor activities such as respiratory rate, heart rate, Eye movements, blinking, performed steering movements, muscle tension, Muscle tone in the jaw or neck area o. A., Are raised.

Method according to one of the preceding claims, characterized characterized in that physiological data of the person to be trained by the measurements of skin properties, e.g. Conductivity, Sweating, Circulation o. A., Are raised.

Method according to one of the preceding claims, characterized characterized in that for the collection of physiological data electroencephalogram (EEG), Electrocardiogram (ECG), electrooculogram (EOG), electromyogram (EMG), temperature sensor, Skin conductance electrodes, camera with eye tracking / pupil size detection, Kamerawärmbild or laser distance measurement for Respiratory movements o. A. be used.

Method according to one of the preceding claims, characterized characterized in that for the collection of physiological data without contact functioning sensors are used.

Method according to one of the preceding claims, characterized characterized in that for collecting physiological data touch sensors on frequently touching Elements of the means of transport, such as e.g. Steering wheel, gear stick o. a., Are used.

Method according to one of the preceding claims, characterized characterized in that for collecting physiological data sensors in the neck area of the seat, in a hat, a chest strap, bracelet o. a. be used.

Method according to one of the preceding claims, characterized characterized in that the measured physiological data via radio link and / or by cable to the biofeedback system.

Method according to one of the preceding claims, characterized characterized in that the collected physiological data for the further Evaluation be digitized in the biofeedback system.

Method according to one of the preceding claims, characterized characterized in that the measured physiological data before Digitalisation intensified become.

Method according to one of the preceding claims, characterized in that the Be technical data of the means of transport which can give indications of the behavior of the person to be trained in relation to the traffic and / or road situation.

Method according to one of the preceding claims, characterized characterized in that the necessary for calculating the feedback technical Data directly in electronic form from the data bus of the means of transport be removed.

Method according to one of the preceding claims, characterized characterized in that the technical Data engine speed, fuel consumption, speed, shocks, quality of the driving surface, distance to other means of transport, frequency and intensity of occurring load changes and switching technical Fuses, such as ESP or Brake Assist, frequency and intensity from user input such as steering movements, braking, change between Braking and accelerations, o. A. may include.

Method according to one of the preceding claims, characterized characterized in that the machine learning algorithms support Vector machines, artificial neural networks, Gaussian processes, Clustering, algorithms for solving classification or Regression tasks o. A. are.

Method according to one of the preceding claims, characterized characterized in that the input data for the algorithms of the machine Learning are highly dimensional.

Method according to one of the preceding claims, characterized characterized in that the solutions sought class designations and / or continuous values.

Method according to one of the preceding claims, characterized characterized in that the mapping function as required by a Night training can be adapted.

Method according to one of the preceding claims, characterized characterized in that the physiological Data of the person to be trained and / or technical data of the person to be trained means of transport for further processing in the form of time series data.

Method according to one of the preceding claims, characterized characterized in that higher-value features are calculated from the time series data, in particular frequency characteristics (spectrogram) of the time series, histograms, Frequencies, distributions and their characteristics, timings and trends over a suitable interval of the time series o. a.

Method according to one of the preceding claims, characterized characterized in that for distinguishing between desired and unwanted Behavior of the person to be trained the computer-based feedback system individually trained.

Method according to one of the preceding claims, characterized characterized in that the computer-based feedback system to the individual characteristics of the person to be trained is adjusted.

Method according to one of the preceding claims, characterized characterized in that the adaptation of the computer-based feedback system the individual characteristics of the person to be trained on a Speech recognition takes place.

Method according to one of the preceding claims, characterized characterized in that to be given to the person to be trained Feedback off an individually learned and a defined mapping function is composed.

Method according to one of the preceding claims, characterized characterized in that the computer-based feedback system includes an in the means of transport integrated unit represents.

Method according to one of the preceding claims, characterized characterized in that the computer-based feedback system is a switchable unit represents.

Method according to one of the preceding claims, characterized characterized in that the connection and disconnection of the computer-based Feedback system is voice-controlled.

Method according to one of the preceding claims, characterized characterized in that the means of transport a vehicle, in particular a car, truck or motorcycle, an aircraft, a ship, a train, o. a. is.

Device for training a person in a means of transport for the purpose of reducing the risk of accident, relaxation and stress reduction of the person to be trained, characterized in that it comprises a computer-based feedback unit which collects and evaluates data from at least one data source by means of machine learning algorithms and the one to train Person can provide feedback about their physical and / or mental condition, behavior and / or impact.

Device according to claim 36, characterized in that it Includes speech recognition means.

Device according to one of claims 36 to 37, characterized that it contains means for acoustic reproduction.

Device according to one of Claims 36 to 38, characterized that they are means of measuring physiological data of the person to be trained Person contains.

Device according to one of claims 36 to 39, characterized that it contains means for measuring electrical activity of the brain.

Device according to one of claims 36 to 40, characterized that they include means for measuring motor activities, such as respiratory rate, cardiac output, Eye movements, blinking, performed steering movements, muscle tension, Muscle tone in the jaw or neck area o. A., Contains.

Device according to one of claims 36 to 41, characterized that they contain means for measuring skin properties, e.g. Conductivity, sweat production, Circulation o. A., Contains.

Device according to one of claims 36 to 42, characterized that they have means of measuring electroencephalogram (EEG), electrocardiogram (ECG), electrooculogram (EOG), electromyogram (EMG), temperature sensor, skin conductance electrodes, Camera with eye tracking / pupil size detection, camera thermal image or Laser distance measurement for Respiratory movements o. A. contains.

Device according to one of claims 36 to 43, characterized that they work non-contact Contains sensors.

Device according to one of claims 36 to 44, characterized that they touch sensors on frequently touching Elements of the means of transport, such as. Steering wheel, gear stick o. a., contains.

Device according to one of claims 36 to 45, characterized that they have sensors in the neck area of the seat, in a hat, a chest strap, Bracelet o. A. contains.

Device according to one of Claims 36 to 46, characterized that they have means of transmission the measured physiological data via radio link and / or via cable to the computer-based biofeedback unit.

Device according to one of claims 36 to 47, characterized that they are means of digitizing the elevated physiological Contains data.

Device according to one of claims 36 to 48, characterized that it contains means for collecting technical data of the means of transport.

Device according to one of claims 36 to 49, characterized that they send the technical data of the means of transport directly in electronic Form from the data bus of the means of transport can take.

Device according to one of claims 36 to 50, characterized that they have means of collecting engine speed, fuel consumption, Speed, vibrations, quality of the driving surface, distance to other means of transport, frequency and intensity of occurring load changes and switching technical Fuses, such as ESP or Brake Assist, frequency and intensity of user input such as steering movements, braking, switching between braking and Accelerations, o. A. contains.

Device according to one of claims 36 to 51, characterized that they are one in the means of transport integrated unit represents.

Device according to one of claims 36 to 52, characterized that it represents a switchable unit.

Device according to one of claims 36 to 53, characterized their connection and disconnection are voice-controlled.

Device according to one of claims 36 to 54, characterized that the means of transport a vehicle, in particular a car, truck or motorcycle, an aircraft, a ship, a train, o. a. is.