EP2909827A1 - Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle - Google Patents

Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle

Info

Publication number
EP2909827A1
EP2909827A1 EP13791942.9A EP13791942A EP2909827A1 EP 2909827 A1 EP2909827 A1 EP 2909827A1 EP 13791942 A EP13791942 A EP 13791942A EP 2909827 A1 EP2909827 A1 EP 2909827A1
Authority
EP
European Patent Office
Prior art keywords
driver
signal
classification
vehicle
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13791942.9A
Other languages
German (de)
French (fr)
Inventor
Stefanie ESSERS
Lisa DIWISCHEK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takata AG
Original Assignee
Takata AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takata AG filed Critical Takata AG
Publication of EP2909827A1 publication Critical patent/EP2909827A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver

Definitions

  • Method and support system for supporting a driver of a motor vehicle and measuring method and measuring system for determining a mental state of a driver of a motor vehicle
  • the invention relates to a method for supporting a driver of a motor vehicle according to claim 1, a corresponding support system according to claim 9, a measuring method for determining a mental state of a driver of a motor vehicle according to claim 10 and a corresponding measuring system according to claim 17.
  • Assistance systems for motor vehicles known e.g. Control functions of the vehicle and / or warn a driver of the vehicle from critical driving situations.
  • One danger associated with the presence of a variety of assistance systems in a vehicle is that the driver relies too much on the assistance systems and / or does not respond adequately to information provided by the assistance systems.
  • the problem to be solved by the invention is to improve the safety of a motor vehicle.
  • Generating a signal perceivable by the driver by a driver assistance system of the motor vehicle wherein the signal is selected from a plurality of different signals depending on the classification of the mental state of the driver, or suppressing a signal of the driver assistance system and / or selecting at least one vehicle parameter in dependence Classification of the mental condition of the driver.
  • the method according to the invention therefore provides that signaling of the vehicle, e.g. signaling a driver assistance system that takes into account the driver's mental condition;
  • an individual mental condition is considered, which may be e.g. is an under- or over-demanding condition, an emotional condition (e.g., strong positive or negative arousal), or any other condition of reduced attention.
  • the mental state is determined by the intention of the driver.
  • the classification of the mental state takes place, in particular, on the basis of individually defined limit values for the values of the vital parameter or the driving dynamics variable (s.u.).
  • the signal and / or the vehicle parameter are e.g. a signal or a parameter of a safety device, a driver assistance system (as already mentioned), a device for influencing the driving dynamics and / or a comfort system of the vehicle.
  • a signal for example a signal perceivable by the driver, eg an optical, acoustic and / or haptic signal
  • an assistance system of the vehicle can be selected which the driver does not disturb or whose information content it can capture as quickly and correctly as possible. Warnings to the driver can thus be adapted to his current mental state, whereby, for example, in the case of a driver who has already been determined to be stressed, the warnings are greatly reduced and triggered only with high urgency. It is also conceivable that, for example, in the case of a detected mental state which corresponds to a state of increased stress, ie a state of overworking, signaling of the assistance system or of another system of the vehicle is completely suppressed.
  • the wording that the driver perceivable signal is "selected" depending on the classification means, in particular, that adequate signaling is selected from a plurality of available signals (signaling) Signals the aforementioned optical, acoustic and / or haptic signals, wherein the various available signals relate in particular to the same function of the vehicle and thus in particular transport the same information (such as a warning)
  • Type are available, for example, a plurality of optical signals, including, for example, a first optical signal that responds to the focal visual perception channel of the driver (such as a rather static signal), and a second optical signal that responds to the driver's ambient perception channel (ei about n rather dynamic signal).
  • signaling of the vehicle may also be suppressed, i. Signaling that would have occurred under standard conditions is prevented.
  • standard conditions is meant, in particular, a condition corresponding to a vehicle without the classification according to the invention or a normal mental condition of the driver, ie in particular that the driver is in a reasonably attentive condition
  • the vehicle generates a signal (in particular an electrical signal) that indicates, for example, that a driver's reaction is expected (for example, an indication of insufficient tire pressure), a signal perceptible by the driver is omitted.
  • comfort systems could be placed in the background to provide additional stimuli to the perception of the driver To reduce the driver.
  • a correspondingly designed feedback to the driver can be made and a possibility can be provided to be able to switch on desired systems in the simplest possible way again.
  • data eg, from a diary
  • a vehicle computer may be included, eg, to determine the type of ride and any driver's deadline.
  • a vehicle parameter will be changed depending on the classification of the driver's mental condition, e.g. if a condition of significant over-demand or under-demand is detected, a vehicle parameter will be changed.
  • the driving dynamics of the vehicle or other variables (such as the maximum speed) of the vehicle can be changed.
  • parameters of a (for example passive) safety system of the vehicle be changed.
  • the timing of activating a seatbelt pretensioner of a seatbelt system and / or triggering an airbag of the vehicle could be changed (e.g., advanced).
  • a pre-crash system is triggered at a different (especially earlier) time, e.g. an inflatable element of the pre-crash system is activated and / or the brake pressure increased at a different time and / or an automatic deceleration of the vehicle is initiated.
  • parameters of an active safety system (such as an ESP system) of the vehicle may also be changed depending on the classification of the mental state, e.g. be switched to a higher, more cautious attention level. This allows e.g. Also, a better prevention of false alarms, so incorrectly triggered warnings, since it can be detected whether a driving situation was deliberately caused by the driver or unintentionally developed and thus critical.
  • the method according to the invention can also promote energy-efficient driving. This is e.g. enabled by the inclusion of environmental factors and e.g. Vehicle-to-vehicle communication ("Car-2-X communication"), for example, can be detected as to how far a green traffic light can still be driven over, or better an early, slow braking - of course, taking into account the traffic flow - By classifying the driver's condition, an improved response to other road users could also be made possible, and it would also be possible to identify which drivers are stressed on a predefined route and to redirect traffic accordingly or to pay particular attention to these drivers ,
  • Car-2-X communication Vehicle-to-vehicle communication
  • an expected range of values subdivided into at least one first and one second classification range is determined for the vital parameter and / or the vehicle dynamics quantity used to classify the driver's mental condition, the classification ranges respectively being different mental states of the driver Driver correspond and the measured value of the vital parameter or the vehicle dynamics quantity are assigned to the first or the second classification range.
  • the subdivision of the value range is carried out in particular individually (relative to a specific driver), whereby, as already mentioned above, individual class limit values are defined which delimit the classification ranges from one another.
  • the definition of the class limit values can be made by calibrating the measuring device used to determine the vital parameter and / or the driving dynamics variable to a specific driver. For example, the calibration may be e.g. be updated regularly.
  • the mental state associated with the first classification area corresponds to an under-demand of the driver and the mental state of the driver assigned to the second classification area corresponds to an excessive demand of the driver.
  • the classification areas other mental states (see above) are assigned.
  • more than two classification ranges can be used to allow the most accurate classification of the mental state.
  • the selection of a signaling takes place in that at least a first signal perceivable by the driver and the second classification region is assigned to the first classification region at least a second signal perceptible by the driver (the first signal of the second signal is different), wherein the first signal is generated when the measured value of the vital parameter has been assigned to the first classification range, and the second signal is generated when the measured value of the vital parameter has been assigned to the second classification range.
  • the first and the second signal can be different types of signals or variants of the same signal type, for example an optical signal, for example a first signal which responds to the driver's focal visual channel a second signal that responds to the driver's ambient perception channel.
  • the value of the vital parameter is e.g. by determining the electrodermal activity, by means of an electrocardiogram, a gaze motion measurement and / or a pupillometric measurement.
  • the possibly recorded driving dynamics quantity is e.g. to accelerate the vehicle, e.g. is determined with sensors of an ESP system of the vehicle.
  • a standard deviation from the lateral position, a number of steering movements, a mean difference between an allowed and the actually driven speed, and / or a steering angle are used as vehicle dynamics quantities.
  • the invention also relates to a support system for assisting a driver of a motor vehicle, in particular for carrying out a method as described above
  • a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the mental state of the driver;
  • a classification device for classifying the driver's mental condition based on the measured value of the vital parameter or the vehicle dynamics quantity; and a device for selecting a signal perceptible by the driver or suppressing a signaling of the vehicle and / or selecting at least one vehicle parameter as a function of the classification of the mental state of the driver.
  • the invention relates to a measuring method for determining a mental state of a driver of a motor vehicle, comprising the steps:
  • the measuring method can serve, in particular, to determine the mental load that arises on a driver by signaling the vehicle (in particular a driver assistance system). It is conceivable to carry out the above-described inventive assistance method on the basis of these measurements, assigning appropriate driver assistance system signals (or signals from another vehicle system) to different driver mental states, of which, depending on the classification of the driver's mental condition Driver's one is selected.
  • the measurements made using the measurement method of the present invention indicate that an optical signal that predominantly addresses the driver's focal visual perception channel generates less driver stress than other signals (eg, as a visually perceptible signal representing the driver's ambient perception channel) at- speaking), such a visual signal could be assigned to a mental override condition in order to generate the least possible additional mental load on the driver.
  • the measuring method is carried out with the aid of a driving simulator, which uses different signals, e.g. typically generated by driver assistance systems can generate.
  • the first and / or the second signal of the measuring method is a signal which the driver perceives visually, audibly, tactually and / or olfactorily.
  • the first and the second signal may well consist of a language information that is transmitted to a subject; e.g. a task given to him acoustically (for example by loudspeaker) or visually (for example by display on a display).
  • steps a) to c) can be performed several times, wherein the type of the first signal and / or the type of the second signal are different in each implementation.
  • the repetitions serve to determine the mental stress of a plurality of combinations of the signals.
  • steps a) to c) wherein in the first implementation as the first and / or second signal, a visually perceptible signal and in the second implementation of an acoustic signal is used.
  • a visually perceptible signal of a second type is used as the first and / or second signal of a first type and in the second implementation.
  • the visually perceptible signal of the first type is a signal which responds to the driver's focal visual perception channel
  • the visually perceptible signal of the second type is a signal representing the driver's ambient perceptual channel responds. It is conceivable, of course, e.g. also that different acoustic signals are used. Possible signals and possible types of expected actions are summarized in Table 1 below.
  • the value of the at least one vital parameter is determined, for example, by determining the electrodermal activity, by means of an electrocardiogram, an eye movement measurement and / or a pillometric measurement.
  • the vital parameters of the driver used are, for example, the following: an electrodermal activity (EDA);
  • ECG electrocardiogram
  • Measures such as the direction of vision, the number of fixations on specific target areas ("Areas of Interest" - AOI), fixation duration on AOI, fixation site, number of saccades, saccade duration, lid closure frequency;
  • ICA index of cognitive activity
  • the measuring device comprises at least one electrode which is arranged on a steering wheel rim of the steering wheel.
  • the at least one vehicle dynamics quantity correlated with the driver's mental condition is e.g. by a standard deviation from the lateral position, the number of steering movements, the mean difference between a permitted and actually driven speed and / or the steering angle.
  • these variables result from the driving simulator data.
  • covariables can influence the result of the measuring process.
  • these are e.g. also recorded and controlled.
  • covariables of test drivers are examined: gender, age, driving experience, possibly simulator experience, last hand wash, last sporting activity, drug and caffeine consumption, current mental state (eg tired or recovered), time, temperature, noise, road conditions , Road conditions, season, humidity, wind, vehicle type and / or traffic density.
  • the measuring procedure is carried out, for example, as follows: EDA & ECG measuring probes are applied to the test person. In order to identify so-called “non-responders" (about 5% of the population), ie persons, in which no EDA signal can be detected Invite subjects to take a deep breath and hold their breath. This will also generate and measure a baseline level of EDA and ECG.
  • an eye movement measuring apparatus and a pupillometry apparatus are calibrated.
  • the test person is enabled, for example, to drive in the driving simulator or in the real vehicle.
  • a basic level of the mileage and the respective driving dynamics parameters is recorded.
  • different tasks i. actions anticipated by the driver (by the subject).
  • the tasks are designed to test different input and output modalities of the subject's perception.
  • the subject is presented with a visual stimulus as the first perceptible signal (eg, a flashing LED) to which the subject should respond verbally (eg, "yes") ("expected first action").
  • the test person is also presented with a visual stimulus as the first perceptible signal (eg also a flashing LED), to which it has to respond by motor (eg by pressing a button).
  • the subject is given a cognitive task by means of a visual second signal (eg, an ad on a display) that must verbally (“expected second action”), eg, by directional instructions.
  • the test subject is e.g. Also on a display give a cognitive task that they can operate by operation via buttons or directly on a touch screen motor.
  • the test person has to react verbally (eg with "yes") to a first signal in the form of an acoustic stimulus (via loudspeaker), in the sixth case by motor by pressing a button
  • the test person is informed by means of a second signal in Form of an acoustic signal (also via loudspeaker) presented a task that she must work through verbal answer (for example, the solution of the task to be spoken).
  • the test person is again acoustically (via loudspeaker) presented a task by means of a second signal in the form of an acoustic signal, the solution of which is to be entered via a display by means of keys or a touch surface ("expected second action") a stimulus ("first signal”) simultaneously visually and acoustically presented (eg an ad appears on a display and it is simultaneously an instruction by loudspeaker), the test person should respond verbally to this first signal (eg with "yes").
  • a visual and audible first signal is also presented (eg a display appears again on a display and an instruction is also given by loudspeaker), whereby the test person is to respond to this by motor (eg by pressing a button).
  • a task is presented by a second signal in the form of both a visual and an audible signal (eg, by the mentioned combination of a display on a display and an instruction by loudspeaker), the expected second action being for the subject to test Solution of the task should say aloud.
  • a task is also presented visually and acoustically at the same time, whereby the test person solves the problem as an expected second action via keys or directly on a touch sensitive disc.
  • the variants compiled in the table can be combined with each other.
  • the first signals and first actions contained therein can be combined with the second signals and second actions mentioned in the table.
  • the second signals are generated in particular temporally after the first signals.
  • the acoustic first and / or second signals may e.g. in the form of the following acoustically or visually transmitted tasks (Table 2):
  • the type of task transmitted by means of the first and / or second signal consists either in a task that requires only a reaction of the test person or a mentally demanding task (cognitively).
  • the tasks are transmitted to the test person either acoustically (in particular by loudspeaker announcement), visually (in particular by display on a display) or acoustically-visually (in particular both by loudspeaker and via an indication on a display).
  • the tasks transmitted by the first and / or second signals are e.g. sufficiently practiced with the subject until fully understood and mastered to avoid learning effects or misunderstandings.
  • the aim is in particular to classify the exact individual pattern with different demands of the driver.
  • Individual patterns are the expression of the stresses in the physiological data (EDA, ECG, eye movement, pupillometry), which vary greatly depending on the individual.
  • the objective is to recognize the driving ability on the basis of these patterns and to carry out a correspondingly appropriate adaptation of the vehicle (assistance systems and comfort functions), as described above in relation to the first aspect of the invention.
  • the measuring method according to the invention could therefore also be implemented in a production vehicle.
  • the maximum possible span of the EDA signal can be tested.
  • This can be done, for example, by the so-called "shockpattern method", whereby an involuntary reaction of the subject is caused by a loud bang (eg in which the experimenter beats the table)
  • the test person fills in the questionnaires NASA-TLX and SAM again.
  • the invention also relates to a measuring system for determining a mental state of a driver of a motor vehicle, with
  • a generating device for generating a first signal perceivable by the driver, which signals to the driver that a first action is expected from him, and for generating a second signal perceptible by the driver, which signals to the driver that a second predetermined action is expected from him, the first signal from the second signal and / or the expected first action being different from the expected second action;
  • a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the driver's mental state during the generation of the first signal and / or the performance of the first action by the driver as well as during the generation of the second signal and / or the driver performing the second action.
  • the measuring system according to the invention is in particular part of a driving simulator or works together with a driving simulator.
  • the measuring system is arranged in a vehicle (for example, also in a production vehicle).
  • the measuring device of the measuring system can be integrated in a steering wheel.
  • electrodes and / or other sensors for carrying out an EDA and / or ECG measurement are integrated in the steering wheel in the steering wheel.
  • Fig. 1 the Wickens cube
  • FIG. 2 shows a steering wheel for carrying out the measuring method according to the invention.
  • the Wickens model presented with this cube connects different aspects (modalities, involved sensory channels, codes and levels) of information processing.
  • the aspects (resources) are each regarded as dichotomous. Basically, human behavior is divided into the phases of "perception”, “storage and processing” (cognitive work) and the production of a response.
  • perceptual modalities are subdivided into visual, auditory or tactile information, assuming that these different modalities are processed differently, and within the visual modality are two visual sensory channels, namely a focal and an ambient channel
  • the main task of the focal channel is object recognition, while the ambience channel is responsible for the perception of movement and orientation.
  • the different "codes” are understood to be the spatial, analogous storage of information and the verbal, symbolic or pictorial storage.
  • Levels refer to different processing resource levels.
  • the aid of the measuring method according to the invention it is possible in a determination of a mental state of a driver of a motor vehicle between the pure stimulus recording (based on a "first signal” presented to the driver) and the cognitive processing (based on a "second signal” presented to the driver). ) to distinguish.
  • a distinction can be made between information received in different modalities (in particular, visual, auditory or tactile).
  • the findings obtained with the aid of the measuring method according to the invention can be used in particular to adapt the signaling of a vehicle (for example a driver assistance system) (for example driver-individual), as explained above.
  • a steering wheel 1 which comprises a measuring device 2, which is part of a measuring system according to the invention (not shown) for carrying out the measuring method explained above.
  • the remaining components of the measuring system could be integrated together with the steering wheel 1 in a vehicle.
  • the steering wheel could be installed as part of the support system according to the invention in a production vehicle.
  • the measuring device 2 is designed to determine various vital parameters ("psychophysiological parameters") which correlate with the mental state of a driver,
  • the measuring device has electrodes 21, 22 which each serve as an ECG and / or EDA electrode
  • the electrodes 21, 22 are, for example, dry electrodes Electrodes 21, 22 together extend over nearly the entire outer periphery of the steering wheel rim to ensure that the driver is in contact with at least one of the electrodes.
  • the electrodes 21, 22 have a large surface area; For example, they also extend (eg at least approximately completely) around a skeleton of the steering wheel rim, ie they extend over a large part of the circumference of the steering wheel skeleton, which lies in a plane oriented perpendicular to the outer circumference.
  • the electrodes 21, 22 have a particularly large area, in particular at the usual gripping points of a steering wheel.
  • the current mental state of the driver will be reflected in (in particular driver-specific) EDA and / or ECG values which, on the one hand, can be used to determine the effects of different stimuli on his mental state or in a production vehicle within the scope of the measuring method according to the invention to classify the driver's mental condition and to adapt signaling of the vehicle based on the classification, as explained above.
  • the measuring device integrated in the steering wheel 1 also has an evaluation unit 23, which detects and evaluates the electrical signals received by the electrodes 21, 22.
  • the evaluation unit 23 detects a heart rate of the driver.
  • the source of the human heartbeat is an electrical impulse generated by a cluster of cells within the heart. Since this pulse is transmitted via the bloodstream, it can be detected as a potential difference between two points on the body.
  • the electrodes 21, 22 of the steering wheel 1 are designed so that the heart activity of the driver can be detected as a potential difference between the two hands of the driver.
  • the electrodes 21, 22 each consist of two segments, and the evaluation unit 23 has a differential amplifier in order to be able to register very small potential differences, as well as a processing unit for filtering out interference signals.
  • the electrodes 21, 22 also serve as temperature sensors, with which the skin temperature can be determined as another vital parameter.
  • Body temperature (and thus skin temperature) is considered to be an indicator of the driver's mental condition and is controlled by the central nervous system as thermoregulation.
  • the normal skin temperature of the hand varies in the range between 20 ° C and 40 ° C.
  • the central nervous system By controlling the central nervous system, the Body temperature can be regulated by the sweat ß process.
  • the activity of the sweat glands provides feedback on the sympathetic nervous system and is a feature to assess the condition of the driver.
  • Ekkrine sweat glands have a wide spread throughout the body, especially on the hands, feet and forehead. Their density on hand is over 2000 / cm 2 . Ekkriner sweat consists of water and salts, with which the glands are either filled or not. Therefore, the activity of the sweat glands can be measured electrically as a change in the conductivity of the skin. In general, the change in conductivity of human skin is in the range between 0 and 50 or equivalent to the resistance of human skin between 20kQ and infinity. Accordingly, the electrodes 21, 22 may be configured to measure the conductivity of the driver's skin.
  • conductivity measurement is based on the voltage divider principle which requires two contacts on the skin.
  • a pole is e.g. set to a DC voltage of 0.5 V, and the other is the potential measurement, which is dependent on the glandular activity.
  • the resistance value of the voltage dividing resistor is set to e.g. 180kQ. This means in particular that a voltage is applied to the resistor, which varies between 0 V and 0.25 V.
  • This signal is e.g. Amplified 8 times and in particular a low pass with a cutoff frequency of e.g. 10 Hz for filtering out the EDA signal over it.
  • a DC voltage of 0.5V is not dangerous to humans.
  • the maximum allowable voltage is 0.7V to prevent nerve cell excitation.
  • the temperature range for the operation of the steering wheel and the electrodes 21, 2 is e.g. between -40 ° C and + 85 ° C.
  • the bearing of the steering wheel is e.g. at temperatures between -40 ° C and + 125 ° C possible, in which temperature range, a relative humidity between 5 and 95% is expected.

Abstract

The invention relates to a method and an assistance system for assisting a driver of a motor vehicle, said method having the following steps: - measuring at least one value of at least one vital parameter of the driver, said vital parameter being correlated to the mental state of the driver, and/or at least one value of at least one driving dynamic variable correlated to the mental state of the driver; - classifying the mental state of the driver using the measured value of the vital parameter or the driving dynamic variable; and - generating a signal, which can be perceived by the driver, by means of a driver assistance system of the motor vehicle, said signal being selected from a plurality of different signals dependent on the classification of the mental state of the driver, or suppressing a signal of the driver assisting system and/or selecting at least one vehicle parameter dependent on the classification of the mental state of the driver. The invention also relates to a measuring method and a measuring system for determining a mental state of a driver of a motor vehicle.

Description

Verfahren und Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges sowie Messverfahren und Messsystem zum Bestimmen eines mentalen Zustan- des eines Fahrers eines Kraftfahrzeuges  Method and support system for supporting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle
Beschreibung description
Die Erfindung betrifft ein Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges gemäß Anspruch 1 , ein entsprechendes Unterstützungssystem gemäß Anspruch 9, ein Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges gemäß Anspruch 10 sowie eine entsprechende Messsystem nach Anspruch 17. The invention relates to a method for supporting a driver of a motor vehicle according to claim 1, a corresponding support system according to claim 9, a measuring method for determining a mental state of a driver of a motor vehicle according to claim 10 and a corresponding measuring system according to claim 17.
Aus dem Stand der Technik sind Assistenzsysteme für Kraftfahrzeuge bekannt, die z.B. Funktionen des Fahrzeugs steuern und/oder einen Fahrer des Kraftfahrzeuges vor kritischen Fahrsituationen warnen. Eine Gefahr, die das Vorhandensein einer Vielzahl von Assistenzsystemen in einem Fahrzeug mit sich bringt, besteht darin, dass der Fahrer sich zu sehr auf die Assistenzsysteme verlässt und/oder nicht adäquat auf Informationen, die die Assistenzsysteme bereitstellen, reagiert. Assistance systems for motor vehicles known e.g. Control functions of the vehicle and / or warn a driver of the vehicle from critical driving situations. One danger associated with the presence of a variety of assistance systems in a vehicle is that the driver relies too much on the assistance systems and / or does not respond adequately to information provided by the assistance systems.
Das von der Erfindung zu lösende Problem besteht darin, die Sicherheit eines Kraftfahrzeuges zu verbessern. The problem to be solved by the invention is to improve the safety of a motor vehicle.
Dieses Problem wird durch das Verfahren mit den Merkmalen gemäß Anspruch 1 , das entsprechendes Unterstützungssystem mit den Merkmalen des Anspruchs 9, das Messverfahren gemäß Anspruch 10 sowie durch das entsprechende Messsystem mit den Merkmalen des Anspruchs 17 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. Danach wird ein Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges bereitgestellt, das die folgenden Schritte aufweist: This problem is solved by the method with the features according to claim 1, the corresponding support system with the features of claim 9, the measuring method according to claim 10 and by the corresponding measuring system with the features of claim 17. Further developments of the invention are specified in the dependent claims. Thereafter, there is provided a method of assisting a driver of a motor vehicle, comprising the steps of:
Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;  Measuring at least one value of at least one vital parameter of the driver correlated with the driver's mental condition and / or at least one value of at least one vehicle dynamics quantity correlated with the driver's mental condition;
Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und  Classifying the mental condition of the driver based on the measured value of the vital parameter or the vehicle dynamics quantity; and
Erzeugen eines vom Fahrer wahrnehmbaren Signals durch ein Fahrerassistenzsystem des Kraftfahrzeuges, wobei das Signal aus einer Mehrzahl verschiedener Signale in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers ausgewählt wird, oder Unterdrücken eines Signals des Fahrerassistenzsystems und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.  Generating a signal perceivable by the driver by a driver assistance system of the motor vehicle, wherein the signal is selected from a plurality of different signals depending on the classification of the mental state of the driver, or suppressing a signal of the driver assistance system and / or selecting at least one vehicle parameter in dependence Classification of the mental condition of the driver.
Das erfindungsgemäße Verfahren sieht demnach vor, dass eine Signalisierung des Fahrzeugs, z.B. eine Signalisierung eines Fahrerassistenzsystems, den mentalen Zustand des Fahrers berücksichtigt; insbesondere wird ein individueller mentaler Zustand berücksichtigt, bei dem es sich z.B. um einen Unter- oder Überforderungszustand, einen emotionalen Zustand (z.B. starke positive oder negative Erregung) oder einen sonstigen Zustand reduzierter Aufmerksamkeit handelt. Möglich ist auch, dass der mentale Zustand von der Intention des Fahrers bestimmt wird. Das Klassifizieren des mentalen Zustands erfolgt insbesondere anhand von individuell festgelegten Grenzwerten für die Werte des Vitalparameters oder der Fahrdynamikgröße (s.u.). The method according to the invention therefore provides that signaling of the vehicle, e.g. signaling a driver assistance system that takes into account the driver's mental condition; In particular, an individual mental condition is considered, which may be e.g. is an under- or over-demanding condition, an emotional condition (e.g., strong positive or negative arousal), or any other condition of reduced attention. It is also possible that the mental state is determined by the intention of the driver. The classification of the mental state takes place, in particular, on the basis of individually defined limit values for the values of the vital parameter or the driving dynamics variable (s.u.).
Bei dem Signal und/oder dem Fahrzeugparameter handelt es sich z.B. um ein Signal oder einen Parameter einer Sicherheitseinrichtung, eines Fahrerassistenzsystems (wie bereits erwähnt), einer Einrichtung zum Beeinflussen der Fahrdynamik und/oder eines Komfortsystems des Fahrzeugs. The signal and / or the vehicle parameter are e.g. a signal or a parameter of a safety device, a driver assistance system (as already mentioned), a device for influencing the driving dynamics and / or a comfort system of the vehicle.
In Abhängigkeit von dem ermittelten mentalen Zustand des Fahrers kann z.B. ein Signal (etwa ein vom Fahrer wahrnehmbares Signal, z.B. ein optisches, akustisches und/oder haptisches Signal) eines Assistenzsystems des Fahrzeugs ausgewählt werden, das der Fahrer nicht als störend empfindet oder dessen Informationsgehalt er möglichst schnell und korrekt erfassen kann. Warnungen an den Fahrer können somit seinem aktuellen mentalen Zustand entsprechend ange- passt werden, wobei z.B. bei einem schon als gestresst determinierten Fahrer die Warnungen stark zurückgefahren und etwa nur bei hoher Dringlichkeit ausgelöst werden. Denkbar ist auch, dass etwa bei einem erfassten mentalen Zustand, der einem Zustand erhöhten Stresses, d.h. einem Überforderungszustand, entspricht, eine Signalisierung des Assistenzsystems oder eines sonstigen Systems des Fahrzeugs ganz unterdrückt wird. Depending on the determined mental state of the driver, for example, a signal (for example a signal perceivable by the driver, eg an optical, acoustic and / or haptic signal) of an assistance system of the vehicle can be selected which the driver does not disturb or whose information content it can capture as quickly and correctly as possible. Warnings to the driver can thus be adapted to his current mental state, whereby, for example, in the case of a driver who has already been determined to be stressed, the warnings are greatly reduced and triggered only with high urgency. It is also conceivable that, for example, in the case of a detected mental state which corresponds to a state of increased stress, ie a state of overworking, signaling of the assistance system or of another system of the vehicle is completely suppressed.
Es wird angemerkt, dass die Formulierung, dass das vom Fahrer wahrnehmbare Signal in Abhängigkeit von der Klassifizierung„ausgewählt" wird, insbesondere bedeutet, dass aus einer Mehrzahl zur Verfügung stehenden Signalen (Signalisierungen) eine adäquate Signalisierung ausgewählt wird. Beispielsweise umfassen die zur Verfügung stehenden Signale die erwähnten optischen, akustischen und/oder haptischen Signale, wobei sich die verschiedenen zur Verfügung stehenden Signale insbesondere auf dieselbe Funktion des Fahrzeugs beziehen und somit insbesondere dieselbe Information transportieren (etwa einen Warnhinweis). Denkbar ist auch, dass jeweils mehrere Varianten von Signalen einer Art bereitstehen, z.B. mehrere optische Signale, worunter sich z.B. ein erstes optisches Signal befindet, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht (etwa ein eher statisches Signal), und ein zweites optisches Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht (etwa ein eher dynamisches Signal). It is noted that the wording that the driver perceivable signal is "selected" depending on the classification means, in particular, that adequate signaling is selected from a plurality of available signals (signaling) Signals the aforementioned optical, acoustic and / or haptic signals, wherein the various available signals relate in particular to the same function of the vehicle and thus in particular transport the same information (such as a warning) Type are available, for example, a plurality of optical signals, including, for example, a first optical signal that responds to the focal visual perception channel of the driver (such as a rather static signal), and a second optical signal that responds to the driver's ambient perception channel (ei about n rather dynamic signal).
Anstelle des Auswählens eines Signals kann eine Signalisierung des Fahrzeugs auch unterdrückt werden, d.h. eine Signalisierung, die unter Standardbedingungen erfolgt wäre, wird unterbunden. Unter„Standardbedingungen" ist insbesondere ein Zustand zu verstehen, der einem Fahrzeug ohne die erfindungsgemäße Klassifizierung entspricht oder einem normalen mentalen Zustand des Fahrers, d.h. insbesondere, dass sich der Fahrer in einem angemessen aufmerksamen Zustand befindet. Insbesondere beinhaltet das Unterdrücken der Signalisierung, dass das Fahrzeug zwar ein Signal (insbesondere ein elektrisches Signal) generiert, das z.B. anzeigt, dass eine Reaktion des Fahrers erwartet wird (etwa ein Hinweis auf zu geringen Reifendruck), eine durch den Fahrer wahrnehmbare Signalisierung jedoch unterbleibt. Instead of selecting a signal, signaling of the vehicle may also be suppressed, i. Signaling that would have occurred under standard conditions is prevented. By "standard conditions" is meant, in particular, a condition corresponding to a vehicle without the classification according to the invention or a normal mental condition of the driver, ie in particular that the driver is in a reasonably attentive condition Although the vehicle generates a signal (in particular an electrical signal) that indicates, for example, that a driver's reaction is expected (for example, an indication of insufficient tire pressure), a signal perceptible by the driver is omitted.
Ebenso könnten bei einer festgestellten höheren mentalen Beanspruchung des Fahrers Komfortsysteme in den Hintergrund geschaltet werden, um zusätzliche Reize der Wahrnehmung des Fahrers zu reduzieren. Dabei kann eine entsprechend ausgelegte Rückmeldung an den Fahrer erfolgen und eine Möglichkeit bereitgestellt werden, gewünschte Systeme auf möglichst einfache Weise wieder zuschalten zu können. Bei einer Veränderung von Parametern eines Komfortsystems spielt z.B. die Erkennung einer Intention des Fahrers eine Rolle. Deshalb können bei der Klassifizierung des mentalen Zustandes Daten (z.B. aus einem Terminkalender) aus einem Fahrzeugcomputer einfließen, z.B. um die Art der Fahrt und einen etwaigen Termindruck des Fahrers zu determinieren. Likewise, with a higher mental stress experienced by the driver, comfort systems could be placed in the background to provide additional stimuli to the perception of the driver To reduce the driver. In this case, a correspondingly designed feedback to the driver can be made and a possibility can be provided to be able to switch on desired systems in the simplest possible way again. When changing parameters of a comfort system, for example, the recognition of an intention of the driver plays a role. Therefore, when classifying the mental state, data (eg, from a diary) from a vehicle computer may be included, eg, to determine the type of ride and any driver's deadline.
Darüber hinaus kann in Abhängigkeit von der vorgenommenen Klassifizierung des mentalen ZuStandes des Fahrers, z.B. wenn ein Zustand deutlicher Überforderung oder Unterforderung festgestellt wird, ein Fahrzeugparameter verändert werden. Beispielsweise können die Fahrdynamik des Fahrzeugs oder sonstige Größen (etwa die Höchstgeschwindigkeit) des Fahrzeugs verändert werden. Denkbar ist auch, dass Parameter eines (z.B. passiven) Sicherheitssystems des Fahrzeugs verändert werden. Beispielsweise könnte der Zeitpunkt des Aktivierens eines Gurtstraffers eines Sicherheitsgurtsystems und/oder des Auslösens eines Airbags des Fahrzeugs verändert (z.B. vorverlegt) werden. Möglich ist auch, dass ein Pre-Crash-System zu einem anderen (insbesondere früheren) Zeitpunkt ausgelöst wird, wobei z.B. ein aufblasbares Element des Pre-Crash- Systems aktiviert und/oder der Bremsdrucks zu einem veränderten Zeitpunkt erhöht und/oder ein automatisches Abbremsen des Fahrzeugs eingeleitet wird. Moreover, depending on the classification of the driver's mental condition, e.g. if a condition of significant over-demand or under-demand is detected, a vehicle parameter will be changed. For example, the driving dynamics of the vehicle or other variables (such as the maximum speed) of the vehicle can be changed. It is also conceivable that parameters of a (for example passive) safety system of the vehicle be changed. For example, the timing of activating a seatbelt pretensioner of a seatbelt system and / or triggering an airbag of the vehicle could be changed (e.g., advanced). It is also possible that a pre-crash system is triggered at a different (especially earlier) time, e.g. an inflatable element of the pre-crash system is activated and / or the brake pressure increased at a different time and / or an automatic deceleration of the vehicle is initiated.
Darüber hinaus können auch Parameter eines aktiven Sicherheitssystems (etwa eines ESP-Sys- tems) des Fahrzeugs abhängig von der Klassifizierung des mentalen Zustands verändert werden, z.B. auf eine höhere, vorsichtigere Aufmerksamkeitsstufe geschaltet werden. Dies ermöglicht z.B. auch eine bessere Vermeidung von Fehlalarmen, also fälschlich ausgelösten Warnmeldungen, da erkannt werden kann, ob eine Fahrsituation vom Fahrer bewusst herbeigeführt wurde oder ungewollt entstanden und somit kritisch ist. In addition, parameters of an active safety system (such as an ESP system) of the vehicle may also be changed depending on the classification of the mental state, e.g. be switched to a higher, more cautious attention level. This allows e.g. Also, a better prevention of false alarms, so incorrectly triggered warnings, since it can be detected whether a driving situation was deliberately caused by the driver or unintentionally developed and thus critical.
Denkbar ist auch, dass basierend auf der Klassifizierung des mentalen Zustand des Fahrers feststellt wird, ob und wenn ja in welchem Maße der Fahrer eine Automatisierung des Fahrens wünscht. In manchen Situationen möchte ein Fahrer gezielt Aufgaben abgeben, in anderen aber auch gern selbst das Auto führen und diese Fahrt genießen. Das Bestimmen (die Klassifizierung) des mentalen Zustands des Fahrers ermöglicht z.B. das bessere Erkennen, was vom Fahrer erwünscht ist, und somit z.B. fließendere Übergänge zwischen unterschiedlichen Stufen einer Fahrautomatisierung. It is also conceivable that, based on the classification of the driver's mental condition, it is determined whether and, if so, to what extent the driver wishes to automate the driving. In some situations, a driver wants to give specific tasks, in others but also like to drive the car and enjoy this ride. Determining (the classification) The mental state of the driver, for example, allows better recognition of what is desired by the driver, and thus, for example, smoother transitions between different stages of driving automation.
Das erfindungsgemäße Verfahren kann zudem ein energieeffizientes Fahren fördern. Dies wird z.B. ermöglicht durch das Einbeziehen von Umweltfaktoren und z.B. einer Fahrzeug-zu-Fahr- zeug-Kommunikation („Car-2-X-Kommunikation"). Beispielsweise kann erkannt werden, inwiefern eine grüne Ampel noch überfahren werden kann, oder besser eine frühe, langsame Bremsung - natürlich unter Berücksichtigung des Verkehrsflusses - eingeleitet werden soll. Durch die Klassifizierung des Fahrerzustandes könnte zudem eine verbesserte Reaktion auf andere Verkehrsteilnehmer ermöglicht werden. Denkbar wäre auch, zu erkennen, welche Fahrer auf einer vorgebbaren Route gestresst sind, und den Verkehr dementsprechend umzuleiten oder besondere Rücksicht gegenüber diesen Fahrern walten zu lassen. The method according to the invention can also promote energy-efficient driving. This is e.g. enabled by the inclusion of environmental factors and e.g. Vehicle-to-vehicle communication ("Car-2-X communication"), for example, can be detected as to how far a green traffic light can still be driven over, or better an early, slow braking - of course, taking into account the traffic flow - By classifying the driver's condition, an improved response to other road users could also be made possible, and it would also be possible to identify which drivers are stressed on a predefined route and to redirect traffic accordingly or to pay particular attention to these drivers ,
Gemäß einer Ausgestaltung der Erfindung werden für den Vitalparameter und/oder der Fahrdynamikgröße, die zur Klassifizierung des mentalen Zustandes des Fahrers herangezogen werden, jeweils ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters oder der Fahrdynamikgröße dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden. Die Unterteilung der Wertebereich erfolgt insbesondere individuell (bezogen auf einen bestimmten Fahrer), wobei, wie oben bereits angesprochen, individuelle Klassengrenzwerte festgelegt werden, die die Klassifizierungsbereiche voneinander abgrenzen. Die Festlegung der Klassengrenzwerte kann durch Kalibrierung der zur Bestimmung des Vitalparameters und/oder der Fahrdynamikgröße verwendeten Messvorrichtung auf einen bestimmten Fahrer erfolgen. Beispielsweise kann die Kalibrierung z.B. regelmäßig aktualisiert werden. According to one embodiment of the invention, an expected range of values subdivided into at least one first and one second classification range is determined for the vital parameter and / or the vehicle dynamics quantity used to classify the driver's mental condition, the classification ranges respectively being different mental states of the driver Driver correspond and the measured value of the vital parameter or the vehicle dynamics quantity are assigned to the first or the second classification range. The subdivision of the value range is carried out in particular individually (relative to a specific driver), whereby, as already mentioned above, individual class limit values are defined which delimit the classification ranges from one another. The definition of the class limit values can be made by calibrating the measuring device used to determine the vital parameter and / or the driving dynamics variable to a specific driver. For example, the calibration may be e.g. be updated regularly.
Beispielsweise entspricht der dem ersten Klassifizierungsbereich zugeordnete mentale Zustand einer Unterforderung des Fahrers und der dem zweiten Klassifizierungsbereich zugeordnete mentale Zustand des Fahrers einer Überforderung des Fahrers. Möglich ist natürlich auch, dass den Klassifizierungsbereichen andere mentale Zustände (s.o.) zugeordnet werden. Natürlich können auch mehr als zwei Klassifizierungsbereiche verwendet werden, um eine möglichst genaue Klassifizierung des mentalen Zustands zu ermöglichen. Gemäß einer Weiterbildung dieser Ausgestaltung der Erfindung erfolgt das Auswählen einer Signalisierung (eines Signals) dadurch, dass dem ersten Klassifizierungsbereich mindestens ein erstes von dem Fahrer wahrnehmbares Signal und dem zweiten Klassifizierungsbereich mindestens ein zweites von dem Fahrer wahrnehmbares Signal zugeordnet ist (wobei das erste Signal von dem zweiten Signal verschieden ist), wobei das erste Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem ersten Klassifizierungsbereich zugeordnet wurde, und das zweite Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem zweiten Klassifizierungsbereich zugeordnet wurde. Wie oben bereits angedeutet, kann es sich bei dem ersten und dem zweiten Signal um unterschiedliche Arten Signalen oder um Varianten derselben Signalart handeln, etwa jeweils um ein optisches Signal, z.B. um ein erstes Signal, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht bzw. um ein zweites Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht. For example, the mental state associated with the first classification area corresponds to an under-demand of the driver and the mental state of the driver assigned to the second classification area corresponds to an excessive demand of the driver. It is of course also possible that the classification areas other mental states (see above) are assigned. Of course, more than two classification ranges can be used to allow the most accurate classification of the mental state. According to a development of this embodiment of the invention, the selection of a signaling (of a signal) takes place in that at least a first signal perceivable by the driver and the second classification region is assigned to the first classification region at least a second signal perceptible by the driver (the first signal of the second signal is different), wherein the first signal is generated when the measured value of the vital parameter has been assigned to the first classification range, and the second signal is generated when the measured value of the vital parameter has been assigned to the second classification range. As already indicated above, the first and the second signal can be different types of signals or variants of the same signal type, for example an optical signal, for example a first signal which responds to the driver's focal visual channel a second signal that responds to the driver's ambient perception channel.
Der Wert des Vitalparameters wird z.B. durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pupillometrischen Messung bestimmt wird. Bei der ggf. erfassten Fahrdynamikgröße handelt es sich z.B. um eine Beschleunigung des Fahrzeugs, die z.B. mit Sensoren eines ESP-Systems des Fahrzeugs bestimmt wird. Des Weiteren können z.B. eine Standardabweichung von der lateralen Position, eine Anzahl von Lenkbewegungen, eine mittlere Differenz zwischen einer erlaubten und der tatsächlich gefahrenen Geschwindigkeit und/oder ein Lenkwinkel als Fahrdynamikgrößen verwendet werden. The value of the vital parameter is e.g. by determining the electrodermal activity, by means of an electrocardiogram, a gaze motion measurement and / or a pupillometric measurement. The possibly recorded driving dynamics quantity is e.g. to accelerate the vehicle, e.g. is determined with sensors of an ESP system of the vehicle. Furthermore, e.g. a standard deviation from the lateral position, a number of steering movements, a mean difference between an allowed and the actually driven speed, and / or a steering angle are used as vehicle dynamics quantities.
Die Erfindung betrifft auch ein Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines wie oben beschriebenen Verfahrens, mitThe invention also relates to a support system for assisting a driver of a motor vehicle, in particular for carrying out a method as described above
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße; a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the mental state of the driver;
- einer Klassifizierungsvorrichtung zum Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und - einer Vorrichtung zum Auswählen eines vom Fahrer wahrnehmbaren Signals oder Unterdrücken einer Signalisierung des Fahrzeugs und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers. a classification device for classifying the driver's mental condition based on the measured value of the vital parameter or the vehicle dynamics quantity; and a device for selecting a signal perceptible by the driver or suppressing a signaling of the vehicle and / or selecting at least one vehicle parameter as a function of the classification of the mental state of the driver.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit den Schritten: According to a further aspect, the invention relates to a measuring method for determining a mental state of a driver of a motor vehicle, comprising the steps:
a) Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird; a) generating a first signal perceivable by the driver, which signals the driver that a first action is expected from him;
b) Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und b) generating a second signal perceptible by the driver that signals the driver that a second predetermined action is expected from him, the first signal from the second signal and / or the expected first action being different from the expected second action; and
c) Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeu- gens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer. c) measuring at least one value of at least one vital parameter of the driver correlated with the driver's mental condition and / or at least one value of at least one vehicle dynamics variable correlated with the driver's mental condition during generation of the first signal and / or performing the first action by the driver as well as during the generation of the second signal and / or the driver performing the second action.
Das Messverfahren kann insbesondere dazu dienen, die mentale Belastung, die auf einen Fahrer durch Signalisierungen des Fahrzeugs (insbesondere eines Fahrerassistenzsystems) entsteht, zu bestimmen. Denkbar ist, das oben beschriebene erfindungsgemäße Unterstützungsverfahren auf Basis dieser Messungen durchzuführen, wobei etwa verschiedenen mentalen Zuständen eines Fahrers jeweils adäquate Fahrerassistenzsystemsignale (oder Signale eines anderen Fahrzeugsystems) zugeordnet werden, von denen in Abhängigkeit von der mit dem erfindungsgemäßen Unterstützungsverfahren vorgenommenen Klassifizierung des mentalen Zustandes des Fahrers eines ausgewählt wird. The measuring method can serve, in particular, to determine the mental load that arises on a driver by signaling the vehicle (in particular a driver assistance system). It is conceivable to carry out the above-described inventive assistance method on the basis of these measurements, assigning appropriate driver assistance system signals (or signals from another vehicle system) to different driver mental states, of which, depending on the classification of the driver's mental condition Driver's one is selected.
Sollten die mit Hilfe des erfindungsgemäßen Messverfahrens durchgeführten Messungen z.B. ergeben, dass ein optisches Signal, das vorwiegend den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, ein geringere Belastung des Fahrers erzeugt als andere Signale (z.B. als ein visuell wahrnehmbares Signal, das den ambienten Wahrnehmungskanal des Fahrers an- spricht), könnte einem mentalen Überforderungszustand ein derartiges optisches Signal zugeordnet werden, um eine möglichst geringe zusätzliche mentale Belastung des Fahrers zu erzeugen. For example, if the measurements made using the measurement method of the present invention indicate that an optical signal that predominantly addresses the driver's focal visual perception channel generates less driver stress than other signals (eg, as a visually perceptible signal representing the driver's ambient perception channel) at- speaking), such a visual signal could be assigned to a mental override condition in order to generate the least possible additional mental load on the driver.
Das Messverfahren wird insbesondere mit Hilfe eines Fahrsimulators durchgeführt, der unterschiedliche Signale, wie sie z.B. typischerweise von Fahrerassistenzsystemen erzeugt werden, generieren kann. Beispielsweise handelt es sich bei dem ersten und/oder dem zweiten Signal des Messverfahrens um ein von dem Fahrer visuell, auditiv, taktil und/oder olfaktorisch wahrnehmbares Signal. Es wird darauf hingewiesen, dass das erste und das zweite Signal durchaus aus einer Sprachinformation bestehen kann, die einer Testperson übermittelt wird; z.B. eine ihm etwa akustisch (z.B. per Lautsprecher) oder visuell (etwa per Anzeige auf einem Display) übermittelte Aufgabenstellung. In particular, the measuring method is carried out with the aid of a driving simulator, which uses different signals, e.g. typically generated by driver assistance systems can generate. By way of example, the first and / or the second signal of the measuring method is a signal which the driver perceives visually, audibly, tactually and / or olfactorily. It should be noted that the first and the second signal may well consist of a language information that is transmitted to a subject; e.g. a task given to him acoustically (for example by loudspeaker) or visually (for example by display on a display).
Darüber hinaus können die Schritte a) bis c) mehrfach durchgeführt werden, wobei die Art des ersten Signals und/oder die Art des zweiten Signals bei jeder Durchführung verschieden sind. Die Wiederholungen dienen dazu, die mentale Belastung von einer Mehrzahl von Kombinationen der Signale zu bestimmen. Beispielsweise erfolgen mindestens zwei Durchführungen der Schritte a) bis c), wobei bei der ersten Durchführung als erstes und/oder zweites Signal ein visuell wahrnehmbares Signal und bei der zweiten Durchführung ein akustisches Signal verwendet wird. Denkbar ist auch, dass bei der ersten Durchführung als erstes und/oder zweites Signal eines ersten Typs und bei der zweiten Durchführung ein visuell wahrnehmbares Signal eines zweiten Typs verwendet wird. Gemäß einer Weiterbildung dieser Variante handelt es sich bei dem bei dem visuell wahrnehmbares Signal des ersten Typs um ein Signal, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, und bei dem visuell wahrnehmbares Signal des zweiten Typs um ein Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht. Denkbar ist natürlich z.B. auch, dass unterschiedliche akustische Signale verwendet werden. Mögliche Signale und mögliche Arten von zu erwartenden Handlungen sind unten in Tabelle 1 zusammengestellt. In addition, the steps a) to c) can be performed several times, wherein the type of the first signal and / or the type of the second signal are different in each implementation. The repetitions serve to determine the mental stress of a plurality of combinations of the signals. For example, at least two implementations of steps a) to c), wherein in the first implementation as the first and / or second signal, a visually perceptible signal and in the second implementation of an acoustic signal is used. It is also conceivable that in the first implementation, a visually perceptible signal of a second type is used as the first and / or second signal of a first type and in the second implementation. According to a further development of this variant, the visually perceptible signal of the first type is a signal which responds to the driver's focal visual perception channel, and the visually perceptible signal of the second type is a signal representing the driver's ambient perceptual channel responds. It is conceivable, of course, e.g. also that different acoustic signals are used. Possible signals and possible types of expected actions are summarized in Table 1 below.
Der Wert des mindestens einen Vitalparameters wird z.B. durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pu- pillometrischen Messung bestimmt. Die herangezogenen Vitalparameter des Fahrers sind entsprechend z.B. die Folgenden: - eine elektrodermale Aktivität (EDA); The value of the at least one vital parameter is determined, for example, by determining the electrodermal activity, by means of an electrocardiogram, an eye movement measurement and / or a pillometric measurement. The vital parameters of the driver used are, for example, the following: an electrodermal activity (EDA);
- mit Hilfe eines Elektrokardiogramms (EKG) bestimmte Größen wie nicht-spezifische Fluktuationen, ein tonisches Level, die Herzrate, die Herzratenvariabilität (0.1 -Komponente), wobei auch ein Referenz EDA und EKG (nicht-spezifische Fluktuationen, tonisches Level, Herzrate, Herzratenvariabilität (0.1 -Komponente) bestimmt werden kann;  - with the help of an electrocardiogram (ECG) certain variables such as nonspecific fluctuations, a tonic level, heart rate, heart rate variability (0.1 component), and also a reference EDA and ECG (non-specific fluctuations, tonic level, heart rate, heart rate variability (0.1 component) can be determined;
- mit Hilfe einer Blickbewegungsmessung bestimmte Größen wie Blickrichtung, Fixationsanzahl auf bestimmten Zielgebieten („Areas of interest" - AOI), Fixationsdauer auf AOI, Fixationsort, Sakkadenanzahl, Sakkadendauer, Lidschlussfrequenz;  - Measures such as the direction of vision, the number of fixations on specific target areas ("Areas of Interest" - AOI), fixation duration on AOI, fixation site, number of saccades, saccade duration, lid closure frequency;
- mit Hilfe der Pupillometrie bestimmte Größen wie die Amplitude der Veränderungen in phasischen Pupillenerweiterungen (z.B. zwischen 0,1 - 0,6 mm),„Index of cognitive activity (ICA)" - Index der kognitiven Aktivität  - quantities determined by means of pupillometry, such as the amplitude of changes in phasic dilatations of the pupil (for example, between 0.1-0.6 mm), "index of cognitive activity (ICA)" - index of cognitive activity
Einige der o.g. Vitalparameter können mittels einer Messvorrichtung bestimmt werden, die in ein Lenkrad eines Fahrzeugs integriert ist. Beispielweise umfasst die Messvorrichtung mindestens eine Elektrode, die an einem Lenkradkranz des Lenkrades angeordnet ist. Some of the above Vital parameters can be determined by means of a measuring device which is integrated in a steering wheel of a vehicle. For example, the measuring device comprises at least one electrode which is arranged on a steering wheel rim of the steering wheel.
Bei der mindestens einen mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße handelt es sich z.B. um eine Standardabweichung von der lateralen Position, die Anzahl der Lenkbewegungen, die mittlere Differenz zwischen einer erlaubten und der tatsächlich gefahrenen Geschwindigkeit und/oder den Lenkwinkel. Bei Durchführung des erfindungsgemäßen Verfahrens mit Hilfe eines Fahrsimulator ergeben sich diese Größen aus den Fahrsimulatordaten. The at least one vehicle dynamics quantity correlated with the driver's mental condition is e.g. by a standard deviation from the lateral position, the number of steering movements, the mean difference between a permitted and actually driven speed and / or the steering angle. When carrying out the method according to the invention with the aid of a driving simulator, these variables result from the driving simulator data.
Da eine Anzahl von unterschiedlichen Einflussparametern (Kovariabeln) das Ergebnis des Messverfahrens beeinflussen können, werden diese z.B. ebenfalls erfasst und kontrolliert. Beispielsweise werden folgende Kovariabeln der Testfahrer (Testpersonen) untersucht: Geschlecht, Alter, Fahrerfahrung, ggf. Simulatorerfahrung, letzte Handwäsche, letzte sportliche Aktivität, Drogen- und Koffeinkonsum, aktueller mentaler Zustand (z.B. müde oder erholt), Uhrzeit, Temperatur, Lärm, Fahrbahnbeschaffenheit, Straßenzustand, Jahreszeit, Luftfeuchtigkeit, Wind, Fahrzeugtyp und/oder Verkehrsdichte. Since a number of different influencing parameters (covariables) can influence the result of the measuring process, these are e.g. also recorded and controlled. For example, the following covariables of test drivers (subjects) are examined: gender, age, driving experience, possibly simulator experience, last hand wash, last sporting activity, drug and caffeine consumption, current mental state (eg tired or recovered), time, temperature, noise, road conditions , Road conditions, season, humidity, wind, vehicle type and / or traffic density.
Die Durchführung des Messverfahrens erfolgt beispielweise folgendermaßen: Es werden EDA & EKG Messsonden an die Testperson angelegt. Um sog.„non-responder" (ca. 5% der Bevölkerung), also Personen, bei denen sich kein EDA-Signal erfassen lässt, zu identifizieren, werden die Testpersonen aufgefordert, einen tiefen Atemzug zu nehmen und den Atem anzuhalten. Damit wird ebenfalls ein Basislevel von EDA und EKG erzeugt und gemessen. The measuring procedure is carried out, for example, as follows: EDA & ECG measuring probes are applied to the test person. In order to identify so-called "non-responders" (about 5% of the population), ie persons, in which no EDA signal can be detected Invite subjects to take a deep breath and hold their breath. This will also generate and measure a baseline level of EDA and ECG.
Darauf folgend werden z.B. zwei Fragebögen ausgefüllt (z.B. gemäß„NASA Task Load Index" - NASA-TLX - NASA-Belastungsindex und/oder„SAM" - Self-Assessment Manikin - Selbstein- schätzungs-Manikin), um die Grundbeanspruchung und das allgemeine Erregtheitslevel der Testperson zu erfassen. Dann wird der Testperson beispielsweise ein demographischer Fragebogen vorgelegt, insbesondere um die oben bereits erwähnten Kovariabeln Geschlecht, Alter, Fahrerfahrung, Simulator Erfahrung, letzte Handwäsche, letzte sportliche Aktivität, Drogen- und Koffeinkonsum und den aktuellen mentalen Zustand zu erfassen. Der Versuchsleiter füllt derweil einen Versuchsprotokollbogen zu Uhrzeit, Temperatur, Lärm, Fahrbahnbeschaffenheit, Straßenzustand, Jahreszeit, Luftfeuchtigkeit Wind und Fahrzeugtyp aus. Die Verkehrsdichte und eventuell auftretende Lärmstörungen werden während des Versuchs protokolliert. Subsequently, e.g. filled out two questionnaires (eg according to "NASA Task Load Index" - NASA TLX - NASA Stress Index and / or "SAM" - Self-Assessment Manikin - self-assessment manikin) to record the basic load and the general level of agitation of the test person , For example, the subject will then be presented with a demographic questionnaire, particularly to capture the covariables mentioned above, sex, age, driving experience, simulator experience, last hand wash, last physical activity, drug and caffeine consumption and current mental condition. Meanwhile, the experimenter fills out an experimental protocol sheet on time, temperature, noise, road condition, road conditions, season, humidity of wind and vehicle type. The traffic density and possibly occurring noise disturbances are logged during the experiment.
Daraufhin werden eine Blickbewegungsmessungsapparatur und eine Pupillometrieapparatur kalibriert. Danach wird den der Testperson etwa ermöglicht, im Fahrsimulator oder im Realfahrzeug Probe zu fahren. Nach einiger Übungszeit wird ein Basislevel der Fahrleistung und der betreffenden Fahrdynamikgrößen erfasst. Bei der eigentlichen Durchführung einer Messung kommen je nach Zielrichtung der Messung unterschiedliche Aufgaben, d.h. vom Fahrer (von der Testperson) erwartete Handlungen zum Tragen. Die Aufgaben sind insbesondere dazu ausgelegt, unterschiedliche Input- und Outputmodalitäten der Wahrnehmung der Testperson zu prüfen. Subsequently, an eye movement measuring apparatus and a pupillometry apparatus are calibrated. After that, the test person is enabled, for example, to drive in the driving simulator or in the real vehicle. After some practice time, a basic level of the mileage and the respective driving dynamics parameters is recorded. In the actual performance of a measurement, depending on the target direction of the measurement, different tasks, i. actions anticipated by the driver (by the subject). In particular, the tasks are designed to test different input and output modalities of the subject's perception.
Des Weiteren kann zwischen der Überprüfung einer reinen Reaktionsleistung (z.B. die Anforderung,„Ja" zu sagen, wenn ein Stimuli in Form des ersten Signals präsentiert wird) und den unterschiedlichen Ebenen einer kognitiv beanspruchenden Aufgabe (z.B. leicht, mittel und schwer) unterschieden werden. Aufgaben, die nicht unmittelbar relevant für die Fahraufgabe (d.h. die „erste Handlung") sind, werden als Sekundäraufgaben („zweite Handlung") bezeichnet. Sekundäraufgaben dienen dazu, durch unterschiedliche Beanspruchungsgrade (d.h. insbesondere durch Ausgestaltungen des„zweiten Signals") die Inanspruchnahme des Fahrers in den Fahrdaten durch seine Fahrleistung deutlich zu machen. Es können z.B. die in der folgenden Tabelle 1 zusammengestellten ersten und zweiten Signale bzw. erste und zweite Handlungen verwendet werden, die zur Erfassung einer mentalen Beanspruchung insbesondere miteinander kombiniert werden: Furthermore, a distinction can be made between the examination of a pure reaction performance (eg the requirement to say "yes" when a stimulus is presented in the form of the first signal) and the different levels of a cognitively demanding task (eg easy, medium and difficult). Tasks that are not directly relevant to the driving task (ie the "first action") are referred to as secondary tasks ("second action"), while secondary tasks are used by varying degrees of stress (ie, by designing the "second signal") the driver in the driving data by his driving performance clearly. It is possible, for example, to use the first and second signals or first and second actions which are combined in the following Table 1 and which are combined with one another for the purpose of detecting a mental stress:
Im Fall von Nr. 1 wird der Testperson ein visueller Reiz als erstes wahrnehmbares Signal (z.B. eine aufleuchtende LED) dargeboten, auf den die Testperson verbal (z.B. mit„Ja") reagieren soll ("erwartete erste Handlung"). Im zweiten Fall wird der Testperson ebenfalls ein visueller Reiz als erstes wahrnehmbares Signal (z.B. ebenfalls eine aufleuchtende LED) dargeboten, auf den sie motorisch (z.B. durch Drücken einer Taste) reagieren muss. Im dritten Fall wird der Testperson eine kognitive Aufgabe gestellt und zwar mittels eines visuellen zweiten Signals (z.B. eine Anzeige auf einem Display), die sie verbal („erwartete zweite Handlung"), z.B. durch Richtungsanweisungen, erledigen muss. In the case of # 1, the subject is presented with a visual stimulus as the first perceptible signal (eg, a flashing LED) to which the subject should respond verbally (eg, "yes") ("expected first action"). In the second case, the test person is also presented with a visual stimulus as the first perceptible signal (eg also a flashing LED), to which it has to respond by motor (eg by pressing a button). In the third case, the subject is given a cognitive task by means of a visual second signal (eg, an ad on a display) that must verbally ("expected second action"), eg, by directional instructions.
Im vierten Fall wird der Testperson z.B. ebenfalls auf einem Display eine kognitive Aufgabe geben, die sie durch Bedienung über Tasten oder direkt auf einem Touchdisplay motorisch bearbeiten kann. Im fünften Fall muss die Testperson auf ein ersten Signal in Form eines akustischen Reizes (über Lautsprecher) verbal (z.B. mit„Ja") reagieren, im sechsten Fall motorisch durch das Drücken einer Taste. Im siebten Fall wird der Testperson mittels eines zweiten Signals in Form eines akustischen Signals (ebenfalls über Lautsprecher) eine Aufgabe dargeboten, die sie durch verbales Beantworten bearbeiten muss (beispielsweise soll die Lösung der Aufgabe gesprochen werden). In the fourth case, the test subject is e.g. Also on a display give a cognitive task that they can operate by operation via buttons or directly on a touch screen motor. In the fifth case, the test person has to react verbally (eg with "yes") to a first signal in the form of an acoustic stimulus (via loudspeaker), in the sixth case by motor by pressing a button In the seventh case the test person is informed by means of a second signal in Form of an acoustic signal (also via loudspeaker) presented a task that she must work through verbal answer (for example, the solution of the task to be spoken).
Im achten Fall wird der Testperson wiederum mittels eines zweiten Signals in Form eines akustischen Signals akustisch (über Lautsprecher) eine Aufgabe dargeboten, deren Lösung sie über ein Display mittels Tasten oder einer Touchoberfläche eingeben soll („erwartete zweite Handlung"). Im neunten Fall wird ein Reiz („erstes Signal") gleichzeitig visuell und akustisch dargeboten (z.B. erscheint eine Anzeige auf einem Display und es erfolgt gleichzeitig eine Anweisung per Lautsprecher), wobei die Testperson auf dieses erste Signal verbal (z.B. mit„Ja") reagieren soll. In the eighth case, the test person is again acoustically (via loudspeaker) presented a task by means of a second signal in the form of an acoustic signal, the solution of which is to be entered via a display by means of keys or a touch surface ("expected second action") a stimulus ("first signal") simultaneously visually and acoustically presented (eg an ad appears on a display and it is simultaneously an instruction by loudspeaker), the test person should respond verbally to this first signal (eg with "yes").
Im zehnten Fall wird ebenfalls ein visuell und akustisches erstes Signal dargeboten (z.B. erscheint wieder eine Anzeige auf einem Display und es erfolgt zudem eine Anweisung per Lautsprecher), wobei die Testperson darauf motorisch (z.B. durch Drücken einer Taste) reagieren soll. Im elften Fall wird eine Aufgabe durch ein zweite Signal in Form eines sowohl visuellen als auch akustischen Signals dargeboten (z.B. durch die erwähnte Kombination einer Anzeige auf einem Display und einer Anweisung per Lautsprecher), wobei die erwartete zweite Handlung darin besteht, dass die Testperson die Lösung der Aufgabe laut sagen soll. Im zwölften Fall wird eine Aufgabe gleichzeitig ebenfalls visuell und akustisch dargeboten, wobei die Testperson die Lösung der Aufgabe als erwartete zweite Handlung über Tasten oder direkt auf einem berührungsempfindlichen Dis- play (Touchdisplay) motorisch eingeben soll. Wie erwähnt, können die in der Tabelle zusammengestellten Varianten miteinander kombiniert werden. Insbesondere können die dort enthaltenen ersten Signale und ersten Handlungen mit den in der Tabelle genannten zweiten Signalen und zweiten Handlungen kombiniert werden. Die zweiten Signale werden insbesondere zeitlich nach den ersten Signalen erzeugt. In the tenth case, a visual and audible first signal is also presented (eg a display appears again on a display and an instruction is also given by loudspeaker), whereby the test person is to respond to this by motor (eg by pressing a button). In the eleventh case, a task is presented by a second signal in the form of both a visual and an audible signal (eg, by the mentioned combination of a display on a display and an instruction by loudspeaker), the expected second action being for the subject to test Solution of the task should say aloud. In the twelfth case, a task is also presented visually and acoustically at the same time, whereby the test person solves the problem as an expected second action via keys or directly on a touch sensitive disc. to play (touch display) by motor. As mentioned, the variants compiled in the table can be combined with each other. In particular, the first signals and first actions contained therein can be combined with the second signals and second actions mentioned in the table. The second signals are generated in particular temporally after the first signals.
Die akustischen ersten und/oder zweiten Signale können z.B. in Form der folgenden akustisch bzw. visuell übermittelten Aufgabenstellungen ausgestaltet sein (Tabelle 2): The acoustic first and / or second signals may e.g. in the form of the following acoustically or visually transmitted tasks (Table 2):
Die Art der mittels des es ersten und/oder zweiten Signals übermittelten Aufgabenstellung besteht entweder in einer lediglich eine Reaktion der Testperson erfordernden oder einer mental beanspruchenden Aufgabe (kognitiv). Die„N-back"-Aufgabe ist eine spezifische Beanspruchungsaufgabe, die eine leichte, mittlere und schwere Stufe hat. Dabei muss in der leichten Stufe eine Versuchsperson eine Zahl wiederholen, die ihm in der akustischen Modalität präsentiert wurde (Beispiel: Präsentation = 3, Versuchsperson antwortet„3"), in der mittleren muss die Versuchsperson die Zahl nennen, die vor der letzten Zahl präsentiert wurde (Beispiel: Präsentation = 3 - 5 - 2 - 1 , Versuchsperson antwortet„-",„3",„5",„2"), dies schließt also Gedächtnisaufwand mit ein, und in der schweren Stufe muss die Versuchsperson die Zahl nennen, die vor der vorletzten Zahl präsentiert wurde (Beispiel: Präsentation = 3 - 5 - 2- 1 , Versuchsperson antwortet„-",„-", „N-Back mit Schnittstelleninteraktion" bedeutet, dass die Testperson nicht verbal antwortet, sondern per Eingabemittel (z.B. Schalter oder Touchscreen) die Zahl auswählt und damit manuell über eine Schnittstelle (zu einer Maschine) ausgibt. Deshalb entspricht dies der Ausgabemodalität„motorisch" in Tabelle 1 . The type of task transmitted by means of the first and / or second signal consists either in a task that requires only a reaction of the test person or a mentally demanding task (cognitively). The "N-back" task is a specific stress task that has a light, medium, and heavy level, where at the light level, a subject must repeat a number that was presented to him in the acoustic modality (Example: Presentation = 3, Subject answers "3"), in the middle the subject must name the number presented before the last number (example: presentation = 3 - 5 - 2 - 1, subject responds "-", "3", "5" , "2"), so this includes memory effort, and in the hard stage, the subject must name the number that was presented before the penultimate number (example: presentation = 3 - 5 - 2- 1, subject responds "-" , "-" "N-Back with Interface Interaction" means that the test person does not respond verbally, but rather selects the number by input means (eg switch or touch screen) and thus outputs it manually via an interface (to a machine), which corresponds to the output modality "motor" in Table 1 .
Die Aufgaben werden der Testperson entweder akustisch (insbesondere per Lautsprecherdurchsage), visuell (insbesondere per Anzeige auf einem Display) oder akustisch-visuell (insbesondere sowohl per Lautsprecher als auch über eine Anzeige auf einem Display) übermittelt. The tasks are transmitted to the test person either acoustically (in particular by loudspeaker announcement), visually (in particular by display on a display) or acoustically-visually (in particular both by loudspeaker and via an indication on a display).
Die per erstem und/oder zweitem Signal übermittelten Aufgaben werden z.B. mit der Testperson ausreichend geübt, bis sie vollständig verstanden und beherrscht werden, um Lerneffekte oder Missverständnisse auszuschließen. Ziel dabei ist es insbesondere, die genauen individuellen Muster bei unterschiedlichen Beanspruchungen des Fahrers zu klassifizieren. Mit individuellem Mustern sind die Ausprägungen der Beanspruchungen in den physiologischen Daten (EDA, EKG, Blickbewegung, Pupillometrie) gemeint, die je nach Individuum starken Schwankungen unterliegen. Es ist Ziel, anhand dieser Muster die Fahrfähigkeit zu erkennen und eine dementsprechend passende Anpassung des Fahrzeugs (Assistenzsysteme und Komfortfunktionen) vorzunehmen, wie oben in Bezug auf den ersten Erfindungsaspekt beschrieben. Das erfindungsgemäße Messverfahren könnte daher auch in einem Serienfahrzeug implementiert sein. The tasks transmitted by the first and / or second signals are e.g. sufficiently practiced with the subject until fully understood and mastered to avoid learning effects or misunderstandings. The aim is in particular to classify the exact individual pattern with different demands of the driver. Individual patterns are the expression of the stresses in the physiological data (EDA, ECG, eye movement, pupillometry), which vary greatly depending on the individual. The objective is to recognize the driving ability on the basis of these patterns and to carry out a correspondingly appropriate adaptation of the vehicle (assistance systems and comfort functions), as described above in relation to the first aspect of the invention. The measuring method according to the invention could therefore also be implemented in a production vehicle.
Am Ende der Testung (d.h. nach Beendigung des erfindungsgemäßen Messverfahrens, insbesondere nach Beendigung mehrerer Durchläufe des erfindungsgemäßen Messverfahrens) kann zudem die maximal mögliche Spannweite des EDA-Signals getestet werden. Dies kann etwa durch die sogenannte„Shockpattern-Methode" durchgeführt werden, wobei z.B. durch einen lauten Knall (z.B. in dem der Versuchsleiter auf den Tisch schlägt) eine unwillkürliche Reaktion der Testperson hervorgerufen wird. Selbstverständlich muss eine Methode gewählt werden, die schadensfrei und harmlos für den Probanden ist. Am Ende des Messverfahrens füllt die Testperson z.B. nochmals die Fragebögen NASA-TLX und SAM aus. At the end of the testing (i.e., after completion of the measuring method according to the invention, in particular after completion of several passes of the measuring method according to the invention), in addition, the maximum possible span of the EDA signal can be tested. This can be done, for example, by the so-called "shockpattern method", whereby an involuntary reaction of the subject is caused by a loud bang (eg in which the experimenter beats the table) For example, at the end of the measuring procedure, the test person fills in the questionnaires NASA-TLX and SAM again.
Die Erfindung betrifft auch Messsystem zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit The invention also relates to a measuring system for determining a mental state of a driver of a motor vehicle, with
- einer Erzeugungsvorrichtung zum Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird, und zum Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und a generating device for generating a first signal perceivable by the driver, which signals to the driver that a first action is expected from him, and for generating a second signal perceptible by the driver, which signals to the driver that a second predetermined action is expected from him, the first signal from the second signal and / or the expected first action being different from the expected second action; and
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer. a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the driver's mental state during the generation of the first signal and / or the performance of the first action by the driver as well as during the generation of the second signal and / or the driver performing the second action.
Das erfindungsgemäße Messsystem ist insbesondere Teil eines Fahrsimulators oder arbeitet mit einem Fahrsimulator zusammen. Denkbar ist allerdings auch, dass das Messsystem in einem Fahrzeug (z.B. auch in einem Serienfahrzeug) angeordnet ist. In beiden Fällen kann die Messvorrichtung des Messsystems in ein Lenkrad integriert sein. Denkbar ist z.B., dass in das Lenkrad Elektroden und/oder andere Sensoren zur Durchführung einer EDA- und/oder EKG-Messung in das Lenkrad integriert sind. The measuring system according to the invention is in particular part of a driving simulator or works together with a driving simulator. However, it is also conceivable that the measuring system is arranged in a vehicle (for example, also in a production vehicle). In both cases, the measuring device of the measuring system can be integrated in a steering wheel. It is conceivable, for example, that electrodes and / or other sensors for carrying out an EDA and / or ECG measurement are integrated in the steering wheel in the steering wheel.
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die Figuren näher erläutert. Es zeigen: The invention is explained in more detail below with reference to embodiments with reference to the figures. Show it:
Fig. 1 den Wickens-Würfel; und Fig. 1 the Wickens cube; and
Fig. 2 ein Lenkrad zur Durchführung des erfindungsgemäßen Messverfahrens. 2 shows a steering wheel for carrying out the measuring method according to the invention.
Ein bekanntes Modell der menschlichen Informationsaufnahme und -Verarbeitung und der Reaktion auf eine Information ist der in Fig. 1 dargestellte sog. Wickens-Würfel. Das mit diesem Würfel dargestellte Wickens-Modell setzt unterschiedliche Aspekte (Modalitäten, involvierte Sinneskanäle, Codes und Stufen) der Informationsverarbeitung miteinander in Verbindung. Die Aspekte (Ressourcen) werden insbesondere jeweils als dichotom angesehen. Grundsätzlich wird das menschliche Verhalten in die Phasen„Wahrnehmung",„Speicherung und Verarbeitung" (kognitive Arbeit) und das Produzieren einer Antwortreaktion eingeteilt. Die Wahrnehmungsformen („Wahrnehmungsmodalitäten") werden in visuelle, auditive oder taktile Informationen unterteilt, wobei davon ausgegangen wird, dass diese unterschiedlichen Modalitäten unterschiedlich verarbeitet werden. Innerhalb der visuellen Modalität befinden sich zudem zwei visuelle Sinneskanäle, nämlich ein fokaler und ein ambienter Kanal. Die hauptsächliche Aufgabe des fokalen Kanals ist die Objekterkennung, während der ambiente Kanal für die Wahrnehmung von Bewegung und der Orientierung zuständig ist. Unter den unterschiedlichen„Codes" versteht man zum einen die spatiale, analoge Speicherung von Informationen und zum anderen die verbalen, symbol- oder bildhaften Speicherung. Als„Stufen" werden unterschiedliche Verarbeitungsressourcenebenen bezeichnet. One known model of human information acquisition and processing and the response to information is the so-called Wickens cube illustrated in FIG. The Wickens model presented with this cube connects different aspects (modalities, involved sensory channels, codes and levels) of information processing. In particular, the aspects (resources) are each regarded as dichotomous. Basically, human behavior is divided into the phases of "perception", "storage and processing" (cognitive work) and the production of a response. The perceptual forms ("perceptual modalities") are subdivided into visual, auditory or tactile information, assuming that these different modalities are processed differently, and within the visual modality are two visual sensory channels, namely a focal and an ambient channel The main task of the focal channel is object recognition, while the ambience channel is responsible for the perception of movement and orientation.The different "codes" are understood to be the spatial, analogous storage of information and the verbal, symbolic or pictorial storage. "Levels" refer to different processing resource levels.
Mit Hilfe des erfindungsgemäßen Messverfahrens ist es möglich, bei einer Bestimmung eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges zwischen der reinen Reizaufnahme (basierend auf einem dem Fahrer präsentierten„ersten Signal") und der kognitiven Verarbeitung (basierend auf einem dem Fahrer präsentierten„zweiten Signal") zu unterscheiden. Darüber hinaus kann bei einer Untersuchung der Auswirkung der aufgenommenen Information auf den mentalen Zustand des Fahrers zwischen Informationen, die in unterschiedlichen Modalitäten (insbesondere visuell, auditiv oder taktil) aufgenommenen werden, unterschieden werden. Die mit Hilfe des erfindungsgemäßen Messverfahrens gewonnenen Erkenntnisse können insbesondere dazu verwendet werden, die Signalisierung eines Fahrzeuges (etwa eines Fahrerassistenzsystems) anzupassen (z.B. fahrerindividuell), wie oben erläutert. With the aid of the measuring method according to the invention, it is possible in a determination of a mental state of a driver of a motor vehicle between the pure stimulus recording (based on a "first signal" presented to the driver) and the cognitive processing (based on a "second signal" presented to the driver). ) to distinguish. Moreover, when examining the impact of the recorded information on the driver's mental condition, a distinction can be made between information received in different modalities (in particular, visual, auditory or tactile). The findings obtained with the aid of the measuring method according to the invention can be used in particular to adapt the signaling of a vehicle (for example a driver assistance system) (for example driver-individual), as explained above.
In Fig. 2 ist ein Lenkrad 1 dargestellt, das eine Messvorrichtung 2 umfasst, die Bestandteil eines erfindungsgemäßen Messsystems (nicht dargestellt) zur Durchführung des oben erläuterten Messverfahrens ist. Die übrigen Bestandteile des Messsystems könnten zusammen mit dem Lenkrad 1 in ein Fahrzeug integriert sein. Insbesondere könnte das Lenkrad als Bestandteil des erfindungsgemäßen Unterstützungssystems auch in einem Serienfahrzeug eingebaut sein. 2, a steering wheel 1 is shown, which comprises a measuring device 2, which is part of a measuring system according to the invention (not shown) for carrying out the measuring method explained above. The remaining components of the measuring system could be integrated together with the steering wheel 1 in a vehicle. In particular, the steering wheel could be installed as part of the support system according to the invention in a production vehicle.
Die Messvorrichtung 2 ist dazu ausgebildet, verschiedene Vitalparameter („psychophysiologischen Parameter"), die mit dem mentalen Zustand eines Fahrers korrelieren, zu bestimmen. Insbesondere weist die Messvorrichtung Elektroden 21 , 22 auf, die jeweils als EKG- und/oder EDA- Elektrode dienen. Bei den Elektroden 21 , 22 handelt es sich z.B. um Trockenelektroden. Die Elektroden 21 , 22 erstrecken sich zusammen über nahezu den gesamten äußeren Umfang des Lenkradkranzes, um sicherzustellen, dass der Fahrer sich in Kontakt mit zumindest einer der Elektroden befindet. Des Weiteren weisen die Elektroden 21 , 22 eine große Oberfläche auf; z.B. erstrecken sie sich auch (z.B. zumindest näherungsweise vollständig) um ein Skelett des Lenkradkranzes herum, d.h. sie erstrecken sich über einen Großteil des Umfanges des Lenkradskeletts, der in einer senkrecht zum äußeren Umfang orientierten Ebene liegt. Die Elektroden 21 , 22 besitzen insbesondere an den üblichen Griffstellen eines Lenkrads eine besonders große Fläche. The measuring device 2 is designed to determine various vital parameters ("psychophysiological parameters") which correlate with the mental state of a driver, In particular, the measuring device has electrodes 21, 22 which each serve as an ECG and / or EDA electrode The electrodes 21, 22 are, for example, dry electrodes Electrodes 21, 22 together extend over nearly the entire outer periphery of the steering wheel rim to ensure that the driver is in contact with at least one of the electrodes. Furthermore, the electrodes 21, 22 have a large surface area; For example, they also extend (eg at least approximately completely) around a skeleton of the steering wheel rim, ie they extend over a large part of the circumference of the steering wheel skeleton, which lies in a plane oriented perpendicular to the outer circumference. The electrodes 21, 22 have a particularly large area, in particular at the usual gripping points of a steering wheel.
Der aktuelle mentale Zustand des Fahrers wird sich in (insbesondere fahrerspezifischen) EDA- und/oder EKG-Werten niederschlagen, die zum einen dazu genutzt werden können, im Rahmen des erfindungsgemäßen Messverfahrens die Auswirkungen verschiedener Reize auf seinen mentalen Zustand zu bestimmen oder in einem Serienfahrzeug den mentalen Zustand des Fahrers zu klassifizieren und anhand der Klassifizierung eine Signalisierung des Fahrzeugs anzupassen, wie oben erläutert. The current mental state of the driver will be reflected in (in particular driver-specific) EDA and / or ECG values which, on the one hand, can be used to determine the effects of different stimuli on his mental state or in a production vehicle within the scope of the measuring method according to the invention to classify the driver's mental condition and to adapt signaling of the vehicle based on the classification, as explained above.
Die in das Lenkrad 1 integrierte Messvorrichtung weist zudem eine Auswerteeinheit 23 auf, die die von den Elektroden 21 , 22 aufgenommenen elektrischen Signale erfasst und auswertet. Beispielsweise erfasst die Auswerteeinheit 23 eine Herzrate des Fahrers. Die Quelle des menschlichen Herzschlags ist ein elektrischer Impuls, der durch ein Cluster von Zellen innerhalb des Herzens erzeugt wird. Da dieser Impuls über den Blutstrom übertragen wird, kann sie als Potentialdifferenz zwischen zwei Punkten auf dem Körper nachgewiesen werden. Die Elektroden 21 , 22 des Lenkrades 1 sind so ausgebildet, dass die Herzaktivität des Fahrers als Potentialdifferenz zwischen beiden Händen des Fahrers erfasst werden kann. Die Elektroden 21 , 22 bestehen hierfür jeweils aus zwei Segmenten und die Auswerteeinheit 23 weist einen Differenzverstärker, um sehr kleine Potentialdifferenzen registrieren zu können, sowie eine Verarbeitungseinheit zum Herausfiltern von Störsignalen auf. The measuring device integrated in the steering wheel 1 also has an evaluation unit 23, which detects and evaluates the electrical signals received by the electrodes 21, 22. For example, the evaluation unit 23 detects a heart rate of the driver. The source of the human heartbeat is an electrical impulse generated by a cluster of cells within the heart. Since this pulse is transmitted via the bloodstream, it can be detected as a potential difference between two points on the body. The electrodes 21, 22 of the steering wheel 1 are designed so that the heart activity of the driver can be detected as a potential difference between the two hands of the driver. For this purpose, the electrodes 21, 22 each consist of two segments, and the evaluation unit 23 has a differential amplifier in order to be able to register very small potential differences, as well as a processing unit for filtering out interference signals.
Die Elektroden 21 , 22 dienen zudem als Temperatursensoren, mit denen die Hauttemperatur als weiterer Vitalparameter bestimmt werden kann. Die Körpertemperatur (und damit die Hauttemperatur) gilt als ein Indikator für den mentalen Zustand des Fahrers und wird als Thermoregulation durch das zentrale Nervensystem gesteuert. Die normale Hauttemperatur der Hand variiert im Bereich zwischen 20 ° C und 40 ° C. Durch Steuerung des zentralen Nervensystems kann die Körpertemperatur durch den Schwei ß-Prozess reguliert werden. So gibt die Aktivität der Schweißdrüsen eine Rückmeldung über das sympathische Nervensystem und ist ein Merkmal, um den Fahrerzustand zu beurteilen. The electrodes 21, 22 also serve as temperature sensors, with which the skin temperature can be determined as another vital parameter. Body temperature (and thus skin temperature) is considered to be an indicator of the driver's mental condition and is controlled by the central nervous system as thermoregulation. The normal skin temperature of the hand varies in the range between 20 ° C and 40 ° C. By controlling the central nervous system, the Body temperature can be regulated by the sweat ß process. Thus, the activity of the sweat glands provides feedback on the sympathetic nervous system and is a feature to assess the condition of the driver.
Ekkrine Schweißdrüsen haben eine weite Verbreitung im ganzen Körper, vor allem an den Händen, Füßen und Stirn. Ihre Dichte auf der Hand beträgt über 2000/cm2. Ekkriner Schweiß besteht aus Wasser und Salzen, mit dem die Drüsen entweder gefüllt sind oder nicht. Deshalb kann die Aktivität der Schweißdrüsen elektrisch als Leitfähigkeitsänderung der Haut gemessen werden. Im Allgemeinen ist die Leitfähigkeitsänderung der menschlichen Haut im Bereich zwischen 0 und 50 oder äquivalent der Widerstand der menschlichen Haut zwischen 20kQ und unendlich. Entsprechend können die Elektroden 21 , 22 zur Messung der Leitfähigkeit der Haut des Fahrers ausgebildet sein. Ekkrine sweat glands have a wide spread throughout the body, especially on the hands, feet and forehead. Their density on hand is over 2000 / cm 2 . Ekkriner sweat consists of water and salts, with which the glands are either filled or not. Therefore, the activity of the sweat glands can be measured electrically as a change in the conductivity of the skin. In general, the change in conductivity of human skin is in the range between 0 and 50 or equivalent to the resistance of human skin between 20kQ and infinity. Accordingly, the electrodes 21, 22 may be configured to measure the conductivity of the driver's skin.
Die Leitfähigkeitsmessung erfolgt insbesondere auf der Grundlage des Spannungsteilerprinzips, bei dem zwei Kontakte auf der Haut erforderlich sind. Ein Pol ist z.B. auf eine Gleichspannung von 0,5 V eingestellt, und der andere dient der Potentialmessung, die von der Drüsenaktivität abhängig ist. Der Widerstandswert des Spannungsteilerwiderstands ist eingestellt auf z.B. 180kQ. Das bedeutet insbesondere, dass eine Spannung an dem Widerstand anliegt, die zwischen 0 V und 0,25 V variiert. Dieses Signal wird z.B. 8-fach verstärkt und insbesondere ein Tiefpass mit einer Grenzfrequenz von z.B. 10 Hz zur Ausfilterung des EDA-Signals darüber gelegt. In particular, conductivity measurement is based on the voltage divider principle which requires two contacts on the skin. A pole is e.g. set to a DC voltage of 0.5 V, and the other is the potential measurement, which is dependent on the glandular activity. The resistance value of the voltage dividing resistor is set to e.g. 180kQ. This means in particular that a voltage is applied to the resistor, which varies between 0 V and 0.25 V. This signal is e.g. Amplified 8 times and in particular a low pass with a cutoff frequency of e.g. 10 Hz for filtering out the EDA signal over it.
Es wird angemerkt, dass eine Gleichspannung von 0.5V nicht gefährlich für den Menschen ist. Die maximal zulässige Spannung beträgt 0.7V, um Nervenzellenanregung zu verhindern. Auch können keine Zellen Schäden durch Erhitzen oder Verbrennen nehmen, da die maximale Eingangsstromstärke z.B. 0,5V x 0,5V x δθμβ = 12.5 μΑ ist. It is noted that a DC voltage of 0.5V is not dangerous to humans. The maximum allowable voltage is 0.7V to prevent nerve cell excitation. Also, no cells can take damage by heating or burning, as the maximum input current, e.g. 0.5V x 0.5V x δθμβ = 12.5 μΑ.
Der Temperaturbereich für den Betrieb des Lenkrads und die Elektroden 21 , 2 liegt z.B. zwischen -40 ° C und +85 ° C. Die Lagerung des Lenkrades ist z.B. bei Temperaturen zwischen -40 ° C und +125 ° C möglich, wobei in diesem Temperaturbereich eine relative Luftfeuchtigkeit zwischen 5 und 95% zu erwarten ist. The temperature range for the operation of the steering wheel and the electrodes 21, 2 is e.g. between -40 ° C and + 85 ° C. The bearing of the steering wheel is e.g. at temperatures between -40 ° C and + 125 ° C possible, in which temperature range, a relative humidity between 5 and 95% is expected.

Claims

Patentansprüche claims
1 . Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges, mit den Schritten: 1 . A method of assisting a driver of a motor vehicle, comprising the steps of:
- Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;  Measuring at least one value of at least one vital parameter of the driver correlated with the driver's mental condition and / or at least one value of at least one vehicle dynamics quantity correlated with the driver's mental condition;
- Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und  Classifying the mental state of the driver based on the measured value of the vital parameter or the driving dynamics quantity; and
- Erzeugen eines vom Fahrer wahrnehmbaren Signals durch ein Fahrerassistenzsystem des Kraftfahrzeuges, wobei das Signal aus einer Mehrzahl verschiedener Signale in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers ausgewählt wird, oder Unterdrücken eines Signals des Fahrerassistenzsystems und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.  Generating a signal perceivable by the driver by a driver assistance system of the motor vehicle, wherein the signal is selected from a plurality of different signals depending on the classification of the driver's mental state, or suppressing a signal of the driver assistance system and / or selecting at least one vehicle parameter in dependence the classification of the mental condition of the driver.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass es sich bei dem Signal und/oder dem Fahrzeugparameter um ein Signal oder einen Parameter einer Sicherheitseinrichtung, eines Fahrerassistenzsystems, einer Einrichtung zum Beeinflussen der Fahrdynamik und/oder eines Komfortsystems des Fahrzeugs handelt. 2. The method according to claim 1, characterized in that the signal and / or the vehicle parameter is a signal or a parameter of a safety device, a driver assistance system, a device for influencing the driving dynamics and / or a comfort system of the vehicle.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für den Vitalparameter und/oder der Fahrdynamikgröße jeweils ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt wird, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters oder der Fahrdynamikgröße dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden. 3. The method according to claim 1 or 2, characterized in that for the vital parameter and / or the driving dynamics variable in each case a subdivided into at least a first and a second classification range expected range of values is determined, the classification ranges correspond to different mental states of the driver and the measured value of the vital parameter or the driving dynamics quantity are assigned to the first or the second classification range.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der zu erwartende Wertebereich in mehr als zwei Klassifizierungsbereiche unterteilt wird. 4. The method according to claim 3, characterized in that the expected value range is divided into more than two classification ranges.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der dem ersten Klassifizierungsbereich zugeordnete mentale Zustand einer Unterforderung des Fahrers und der dem zweiten Klassifizierungsbereich zugeordnete mentale Zustand des Fahrers einer Überforderung des Fahrers entspricht. 5. The method according to claim 3, wherein the mental state assigned to the first classification area corresponds to an under-demand of the driver and the mental state of the driver assigned to the second classification area corresponds to an excessive demand of the driver.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug ein Signal erzeugt, das signalisiert, dass eine Handlung des Fahrers erwartet wird, wobei dieses Signal in Abhängigkeit von der Klassifizierung des mentalen Zustands des aus einer Mehrzahl von dem Kraftfahrzeug bereitgestellter Signale ausgewählt wird. 6. The method according to any one of the preceding claims, characterized in that the motor vehicle generates a signal indicating that an action of the driver is expected, said signal depending on the classification of the mental state of the signals provided by the motor vehicle signals is selected.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Signal des Fahrzeugs durch ein Fahrerassistenzsystem und/oder ein Komfortsystem des Fahrzeugs erzeugt wird. 7. The method according to claim 6, characterized in that the signal of the vehicle is generated by a driver assistance system and / or a comfort system of the vehicle.
8. Verfahren nach einem der vorhergehenden Ansprüche soweit rückbezogen auf Anspruch 3, dadurch gekennzeichnet, dass 8. The method according to any one of the preceding claims as far as dependent on claim 3, characterized in that
- dem ersten Klassifizierungsbereich mindestens ein erstes von dem Fahrer wahrnehmbares Signal und dem zweiten Klassifizierungsbereich mindestens ein zweites von dem Fahrer wahrnehmbares Signal zugeordnet ist, wobei das erste Signal von dem zweiten Signal verschieden ist,  at least a first signal perceptible by the driver is associated with the first classification region and at least one second signal perceptible by the driver is associated with the second classification region, the first signal being different from the second signal,
- und wobei das erste Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem ersten Klassifizierungsbereich zugeordnet wurde, und das zweite Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem zweiten Klassifizierungsbereich zugeordnet wurde.  and wherein the first signal is generated when the measured value of the vital parameter has been assigned to the first classification range, and the second signal is generated when the measured value of the vital parameter has been assigned to the second classification range.
9. Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines Verfahrens gemäß einem der Ansprüche 1 bis 8, mit 9. A support system for assisting a driver of a motor vehicle, in particular for carrying out a method according to one of claims 1 to 8, with
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;  a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the mental state of the driver;
- einer Klassifizierungsvorrichtung zum Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und a classification device for classifying the driver's mental condition based on the measured value of the vital parameter or the vehicle dynamics quantity; and
- einer Vorrichtung zum Auswählen eines vom Fahrer wahrnehmbaren Signals oder Unterdrücken einer Signalisierung des Fahrzeugs und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers. a device for selecting a signal perceptible by the driver or suppressing a signaling of the vehicle and / or selecting at least one vehicle parameter as a function of the classification of the mental state of the driver.
10. Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit den Schritten: 10. A measuring method for determining a mental state of a driver of a motor vehicle, comprising the steps of:
a) Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird;  a) generating a first signal perceivable by the driver, which signals the driver that a first action is expected from him;
b) Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und  b) generating a second signal perceptible by the driver that signals the driver that a second predetermined action is expected from him, the first signal from the second signal and / or the expected first action being different from the expected second action; and
c) Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.  c) measuring at least one value of at least one vital parameter of the driver correlated with the driver's mental condition and / or at least one value of at least one vehicle dynamics variable correlated with the driver's mental condition during generation of the first signal and / or performing the first action by the driver Driver and during the generation of the second signal and / or making the second action by the driver.
1 1. Messverfahren nach Anspruch 10, dadurch gekennzeichnet, dass es sich bei dem ersten und/oder dem zweiten Signal um von dem Fahrer visuell, auditiv, taktil und/oder olfaktorisch wahrnehmbares Signal handelt. 1 1. A measuring method according to claim 10, characterized in that the first and / or the second signal to the driver is visually, auditory, tactile and / or olfactory perceptible signal.
12. Messverfahren nach Anspruch 10 oder 1 1 , dadurch gekennzeichnet, dass die Schritte a) bis c) mehrfach durchgeführt werden, wobei bei jeder Durchführung verschiedene erste und/oder zweite Signale verwendet werden. 12. Measuring method according to claim 10 or 1 1, characterized in that the steps a) to c) are carried out several times, wherein different first and / or second signals are used in each implementation.
13. Messverfahren nach Anspruch 12, dadurch gekennzeichnet, dass mindestens zwei Durchführungen der Schritte a) bis c) erfolgten, wobei bei der ersten Durchführung als erstes und/oder zweites Signal ein visuell wahrnehmbares Signal eines ersten Typs und bei der zweiten Durchführung ein visuell wahrnehmbares Signal eines zweiten Typs verwendet wird. 13. A measuring method according to claim 12, characterized in that at least two implementations of steps a) to c) were carried out, wherein in the first implementation as a first and / or second signal, a visually perceptible signal of a first type and the second implementation of a visually perceptible Signal of a second type is used.
14. Messverfahren nach Anspruch 13, dadurch gekennzeichnet, dass es sich bei dem visuell wahrnehmbares Signal des ersten Typs um ein Signal handelt, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, und bei dem visuell wahrnehmbares Signal des zweiten Typs um ein Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht. 14. A measuring method according to claim 13, characterized in that the visually detectable signal of the first type is a signal responsive to the driver's focal visual perception channel and the visually detectable signal of the second type is a signal indicative of the signal Ambient perception channel of the driver responds.
15. Messverfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass der Wert des Vitalparameters durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pupillometrischen Messung bestimmt wird. 15. Measuring method according to one of claims 10 to 14, characterized in that the value of the vital parameter is determined by determining the electrodermal activity, by means of an electrocardiogram, a gaze motion measurement and / or a pupillometric measurement.
16. Messverfahren nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass für den mindestens einen Vitalparameter ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt wird, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden. 16. The measuring method according to claim 10, characterized in that for the at least one vital parameter an expected range of values subdivided into at least one first and one second classification range is determined, wherein the classification ranges respectively correspond to different mental states of the driver and the measured value of the vital parameter are assigned to the first or the second classification area.
17. Messsystem zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines Messverfahrens gemäß einem der Ansprüche 10 bis 16, mit 17. Measuring system for determining a mental state of a driver of a motor vehicle, in particular for carrying out a measuring method according to one of claims 10 to 16, with
- einer Erzeugungsvorrichtung zum Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird, und zum Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und  a generating device for generating a first signal perceivable by the driver which signals to the driver that a first action is expected from the driver, and for generating a second signal perceptible by the driver, which signals the driver that a second predetermined action from him expected, wherein the first signal from the second signal and / or the expected first action is different from the expected second action; and
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.  a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the driver's mental state during the generation of the first signal and / or the performance of the first action by the driver as well as during the generation of the second signal and / or the driver performing the second action.
18. Messsystem nach Anspruch 17, dadurch gekennzeichnet, dass die Messvorrichtung (2) in ein Lenkrad (1 ) eines Kraftfahrzeuges integriert ist. 18. Measuring system according to claim 17, characterized in that the measuring device (2) is integrated in a steering wheel (1) of a motor vehicle.
EP13791942.9A 2012-10-22 2013-10-22 Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle Withdrawn EP2909827A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012110059 2012-10-22
PCT/EP2013/072056 WO2014064095A1 (en) 2012-10-22 2013-10-22 Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle

Publications (1)

Publication Number Publication Date
EP2909827A1 true EP2909827A1 (en) 2015-08-26

Family

ID=49585357

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13791942.9A Withdrawn EP2909827A1 (en) 2012-10-22 2013-10-22 Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle

Country Status (4)

Country Link
US (1) US20150258995A1 (en)
EP (1) EP2909827A1 (en)
JP (1) JP2016500874A (en)
WO (1) WO2014064095A1 (en)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
WO2013074866A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Feature recognition for configuring a vehicle console and associated devices
JP2016170485A (en) * 2015-03-11 2016-09-23 株式会社リコー Warning device, mobile body, and warning method
CN106427570A (en) * 2015-08-13 2017-02-22 华邦电子股份有限公司 Safety device of action vehicle and safety monitoring method for safety device
DE102016221873A1 (en) * 2016-11-08 2018-05-09 Bayerische Motoren Werke Aktiengesellschaft Vehicle guidance depending on an occupant
JP6729482B2 (en) * 2017-05-08 2020-07-22 トヨタ自動車株式会社 Vehicle control device
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US20180357580A1 (en) * 2017-06-09 2018-12-13 Ford Global Technologies, Llc Vehicle driver workload management
EP3416147B1 (en) * 2017-06-13 2020-01-15 Volvo Car Corporation Method for providing drowsiness alerts in vehicles
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
WO2019162739A1 (en) * 2018-02-23 2019-08-29 Pavani Das Vehicles turn enhancement system
US10578456B2 (en) 2018-03-28 2020-03-03 Intel Corporation Safety enhanced computer assisted driving method and apparatus
KR102485441B1 (en) * 2018-09-03 2023-01-06 현대자동차주식회사 Vehicle and vehicle system
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11944420B2 (en) * 2020-08-26 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Electrodermal activity acquisition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080236929A1 (en) * 2007-03-30 2008-10-02 Denso Corporation Database apparatus, attention calling apparatus and driving support apparatus
US20090268022A1 (en) * 2008-04-23 2009-10-29 Toyota Jidosha Kabushiki Kaisha Wakefulness level estimation apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6013853B2 (en) * 1974-03-05 1985-04-10 株式会社日本自動車部品総合研究所 Driver assistant method
JPH04122242A (en) * 1990-09-12 1992-04-22 Mazda Motor Corp Awake state judging device
JP2000062635A (en) * 1998-08-18 2000-02-29 Mitsubishi Motors Corp Collision warning device
KR100382154B1 (en) * 2000-02-22 2003-05-01 박원희 Device For Sensing Of Driver's Condition
DE10103401A1 (en) * 2001-01-26 2002-08-01 Daimler Chrysler Ag Hazard prevention system for a vehicle
JP2004050888A (en) * 2002-07-17 2004-02-19 Mitsuba Corp Drowsiness awaking device
JP4882499B2 (en) * 2006-05-10 2012-02-22 株式会社デンソー Speed information providing apparatus and program
JP4492652B2 (en) * 2007-07-26 2010-06-30 トヨタ自動車株式会社 Sleepiness state judgment device
JP4992959B2 (en) * 2009-11-30 2012-08-08 株式会社デンソー Collision avoidance support device and collision avoidance support program
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080236929A1 (en) * 2007-03-30 2008-10-02 Denso Corporation Database apparatus, attention calling apparatus and driving support apparatus
US20090268022A1 (en) * 2008-04-23 2009-10-29 Toyota Jidosha Kabushiki Kaisha Wakefulness level estimation apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2014064095A1 *

Also Published As

Publication number Publication date
US20150258995A1 (en) 2015-09-17
WO2014064095A1 (en) 2014-05-01
JP2016500874A (en) 2016-01-14

Similar Documents

Publication Publication Date Title
EP2909827A1 (en) Method and assistance system for assisting a driver of a motor vehicle, and measuring method and measuring system for determining a mental state of a driver of a motor vehicle
Wang et al. A novel real-time driving fatigue detection system based on wireless dry EEG
DE19983911B4 (en) Wachsamkeitsüberwachungssystem
Wang et al. The sensitivity of different methodologies for characterizing drivers’ gaze concentration under increased cognitive demand
DE102019200412A1 (en) Seating system with detection and stimulation of an occupant
DE102014220759B4 (en) Monitoring a degree of attention of a driver of a vehicle
DE102018207069B4 (en) Method and control unit for operating an autonomous vehicle
Collet et al. Measuring workload with electrodermal activity during common braking actions
DE102017008280A1 (en) vehicle seat
EP2457511A1 (en) Signal recording device for recording a difference signal for the electrical measurement of a vital parameter of a living being, electrode assembly and method
DE102014207807A1 (en) Personal driver assistance
DE102015200775A1 (en) Independent assessment of an emotional state and a cognitive burden
US20200241525A1 (en) Computer-based apparatus system for assessing, predicting, correcting, recovering, and reducing risk arising from an operator?s deficient situation awareness
Haring et al. Age-related differences in enhancement and suppression of neural activity underlying selective attention in matched young and old adults
EP3025581A1 (en) Method of detecting explosives and other target substances
Grzybowski et al. The influence of context on the processing of emotional and neutral adjectives–an ERP study
Kerautret et al. Detecting driver stress and hazard anticipation using real‐time cardiac measurement: A simulator study
DE102017216328B3 (en) A method for monitoring a state of attention of a person, processing device, storage medium, and motor vehicle
DE102020127613A1 (en) Device and method for generating a driver experience driving model by means of error monitoring
DE102019208970A1 (en) Control device for use in a motor vehicle
DE102009050763A1 (en) Method for assisting driver of vehicle i.e. motor vehicle, involves determining temporal distribution i.e. occurrence frequency of sample, and determining vigilance of driver depending on occurrence frequency of sample
Tokudome et al. Similarity dependency of the change in ERP component N1 accompanying with the object recognition learning
Stojmenova et al. Methods for assessment of cognitive workload in driving tasks
DE102020212928A1 (en) DEVICE AND METHOD FOR CONTROLLING AN EMERGENCY SITUATION WITH THE HELP OF BRAIN WAVES
DE102015224889A1 (en) Fatigue detection method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150316

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ESSERS, STEFANIE

Inventor name: DIWISCHEK, LISA

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

17Q First examination report despatched

Effective date: 20180611

18W Application withdrawn

Effective date: 20180704