EP4651800A1 - Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug - Google Patents

Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug

Info

Publication number
EP4651800A1
EP4651800A1 EP23818385.9A EP23818385A EP4651800A1 EP 4651800 A1 EP4651800 A1 EP 4651800A1 EP 23818385 A EP23818385 A EP 23818385A EP 4651800 A1 EP4651800 A1 EP 4651800A1
Authority
EP
European Patent Office
Prior art keywords
activity
vital parameter
passenger
state class
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23818385.9A
Other languages
English (en)
French (fr)
Inventor
Andreas Sebastian Binder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP4651800A1 publication Critical patent/EP4651800A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars

Definitions

  • the invention relates to a method for assessing a vital parameter of a passenger as well as a system and a motor vehicle.
  • the invention is based on the object of improving the setting of a vehicle function with respect to a passenger.
  • the object is achieved by the subject matter of the independent patent claims.
  • Advantageous developments of the invention are defined by the dependent patent claims, the following description and the figures.
  • One aspect of the invention relates to a method for assessing a vital parameter of a passenger in a vehicle. At least one vital parameter of the passenger is recorded using a first measuring unit. A vital parameter state class is determined depending on the recorded vital parameter. An activity of the passenger is recorded using a second measuring unit. The recorded activity is assigned to an activity state class. An assessment result is then determined from a comparison of the assigned vital parameter state class with the assigned activity state class. A vehicle function of the vehicle is set depending on the assessment result.
  • the first measuring unit has an electroencephalography device (EEG device).
  • EEG device records voltage fluctuations on the surface of the head.
  • the cause of these voltage fluctuations are physiological processes in individual brain cells, which contribute to the brain's information processing through changes in electrical state.
  • the voltage fluctuations have different frequencies in particular. These can be divided into frequency bands, so-called EEG bands.
  • the frequency bands can be divided into delta waves, theta waves, alpha waves, beta waves and gamma waves.
  • the at least one vital parameter of the passenger is the frequency of the voltage fluctuations recorded by the EEG device.
  • the recorded vital parameter can be assigned to the vital parameter state class.
  • Possible Vital parameter state classes include “relaxation,” “concentration,” “sleep,” and “stress.”
  • the second measuring unit for recording the passenger's activity can, for example, work according to a different functional principle to the first measuring unit.
  • the second measuring unit comprises a camera or a time-of-flight camera.
  • the camera which can also be referred to as an interior camera, records the passenger.
  • the passenger performs the activity, such as reading.
  • the activity can be recognized, for example, using a computing unit.
  • the activity can then be assigned to the activity state class.
  • There are several activity state classes for example "relaxation”, “concentration”, "sleep” and "stress”.
  • reading can be assigned to the activity state class "concentration”.
  • the vital parameter state class is compared with the activity state class.
  • the assessment result of this comparison indicates, for example, whether the assigned vital parameter state class matches the assigned activity state class. For example, if the recorded vital parameter of the passenger was assigned to the vital parameter state class “sleep” and the recorded activity of the passenger was assigned to the activity state class “concentration”, then the vital parameter state class and the activity state class do not match. From this, it can be determined, for example, as an assessment result that the passenger is in an internal state in which he could sleep. The recorded activity of reading in this example requires concentration and is therefore assigned to the activity state class “concentration”. Thus, in this example, the assigned vital parameter state class and the assigned activity state class do not match. It is possible that the passenger feels stressed and/or unwell as a result.
  • the vehicle function to be adjusted is, for example, the brightness of a light in the vehicle and/or a massage setting for a vehicle seat and/or a setting for a seat heater for the vehicle seat and/or a setting for an audio system in the vehicle. It is possible that one or more vehicle functions of the vehicle are adjusted as required depending on the assessment result.
  • the passenger is supported according to his inner, mental state, which is described by the vital parameter state class.
  • the brightness of the light can be dimmed so that the passenger can sleep.
  • the vital parameter state class matches the assigned
  • Activity state class This makes it possible for the passenger's mental state to be improved because a discrepancy between the passenger's inner state and the passenger's activity has been eliminated.
  • the passenger it is also possible for the passenger to be supported in their activity.
  • the vehicle function can be set in such a way that the passenger's inner state is adapted to the activity.
  • the brightness of the light in the vehicle can be increased. This can also eliminate the discrepancy between the passenger's inner state and the passenger's activity. This also improves the passenger's mental state and they feel comfortable and not stressed.
  • a degree of a state of the assigned vital parameter state class is determined depending on a measured value of the recorded vital parameter.
  • the assessment result is determined depending on this.
  • the degree of state expression can be referred to as a confidence value.
  • the degree of state expression can be referred to as a confidence value. For example, if the frequency of the voltage fluctuations measured by the EEG device is in a frequency range that lies in a border area between two different frequency bands, then the degree of state expression is lower than for frequencies that do not lie in such a border area.
  • delta waves have a frequency between 0.1 and ⁇ 4 Hz. Delta waves are particularly typical of a deep sleep phase. Theta waves are in the frequency range between 4 and 8 Hz. Theta waves occur particularly frequently when you are sleepy. For example, if the recorded frequency is 4 Hz, then the confidence value for theta waves can be set low.
  • the confidence value can, for example, be between 0 and 100 percent.
  • the vehicle function can be adjusted as required, since the assessment result is determined depending on the degree of the state.
  • the determined frequency is 4 Hz and the passenger is to be supported in the activity of reading, which corresponds to the activity state class "concentration".
  • it is particularly advantageous if the brightness of the light in the vehicle is set brighter than with a determined frequency that lies in a frequency range between 7 and 8 Hz.
  • At least one additional vital parameter is determined.
  • the vital parameter state class is determined depending on the additional vital parameter. This can improve the determination of the passenger's internal state.
  • the additional vital parameter can be used, for example, to verify the measured value of the first recorded vital parameter.
  • the other vital parameter is a conductivity of the passenger’s skin, which can be used to detect sweat, a passenger’s pulse or pupil dilation. of the passenger. If necessary, the additional vital parameter is recorded with another measuring unit.
  • the first recorded vital parameter is assigned to a vital parameter status class according to its measured value. At least temporarily, at least one further vital parameter can be determined at the same time and also assigned to a vital parameter status class. If necessary, the respective assigned vital parameter status classes match. In this case, a high degree of status expression can be determined.
  • AI artificial intelligence
  • a neural network is used to improve the assignment of the recorded measurements of the vital parameters.
  • the artificial intelligence can be trained in particular using data from a large number of vehicles and measurements from the measuring units. This can ensure that the vital parameter state class is determined that corresponds to the internal state of the passenger.
  • sensor data is generated to record the activity using the second measuring unit.
  • the generated sensor data is evaluated using artificial intelligence and assigned to an activity.
  • the activity is in turn assigned to the activity state class.
  • an activity can be recognized from the evaluated sensor data.
  • the activity is carried out by the passenger.
  • the recognized activity is assigned the respective activity state class.
  • the assigned activity state class is a target state of the passenger in which he should be when carrying out the recognized activity.
  • the use of artificial intelligence improves the recognition of the activity and thus the assigned activity state class.
  • the assessment result is displayed to the passenger.
  • the passenger is shown at least one suggestion.
  • the vehicle function is adjusted.
  • Different cases can be distinguished, particularly depending on the assessment result. For example, if the assessment result contains information that the assigned vital parameter state class does not match the assigned activity state class and, in particular, a high degree of state was determined, then this can be displayed to the passenger if necessary. For example, the passenger is shown "You are in a different current state" on an output unit. The display or output to the passenger can be acoustic or visual. The user can be shown a suggestion as to whether a currently determined mental state that corresponds to the vital parameter state class should be promoted or whether they would like support in changing their mental state and thus adapting it to the current activity.
  • the assigned vital parameter state class may correspond to the activity state class. If the degree of the state is low, the output unit can suggest to the passenger whether he would like to be supported according to his internal state.
  • the vital parameter state class “stress” is recognized. Then, regardless of the assigned activity state class, the passenger is shown the following suggestion, for example: “We have recognized that you are in a stressful state. Should we help you to relax?” By distinguishing between the different cases, it is possible to adjust the vehicle function as required depending on the assessment result.
  • the at least one vital parameter is recorded using an electroencephalography device of the first measuring unit.
  • an EEG device By using an EEG device, the assignment of the vital parameter to the vital parameter state class is possible in a particularly reliable manner.
  • the activity is recorded using a camera of the second measuring unit.
  • the camera records the passenger and generates sensor data.
  • the passenger's activity can be recognized by analyzing the sensor data.
  • the sensor data can also be used to record other vital parameters.
  • fleet data is used to assign the vital parameter to the vital parameter state class and/or to assign the recorded activity to the activity state class.
  • the fleet data can be used to train artificial intelligence.
  • the fleet data contains, for example, information on recorded vital parameters and the respective assigned vital parameter status classes and/or the recorded activities and the respective assigned activity status classes of a large number of vehicles, in particular more than 10 vehicles, in particular more than 100, in particular more than 1,000 vehicles.
  • the vital parameter is assigned to the vital parameter status class and/or the recorded activity is assigned to the activity status class reliably.
  • a further aspect of the invention relates to a system.
  • the system has a first measuring unit for detecting at least one vital parameter of a person. Furthermore, the system has a determination unit for determining a vital parameter state class depending on the recorded vital parameters.
  • the system has a second measuring unit for recording an activity of the person, an assignment unit for assigning the recorded activity to an activity state class and a computing unit for determining an assessment result from a comparison of the assigned vital parameter state class with the assigned activity state class and for setting a function depending on the assessment result.
  • a further aspect of the invention relates to a motor vehicle.
  • the motor vehicle has a system according to the invention.
  • an error message and/or a request for the passenger to provide feedback is issued and/or a standard setting and/or a predetermined initial state is set.
  • the invention also includes at least one computing unit for the motor vehicle.
  • the at least one computing unit can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention.
  • the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor).
  • the processor device can have program code that is set up to carry out the embodiment of the method according to the invention when executed by the processor device.
  • the program code can be stored in a data memory of the processor device.
  • a processor circuit of the processor device can, for example, have at least one circuit board and/or at least one SoC (System on Chip).
  • the invention also includes further developments of the motor vehicle according to the invention and of the system according to the invention, which have features as have already been described in connection with the further developments of the method according to the invention. For this reason, the corresponding further developments of the motor vehicle according to the invention and of the system according to the invention are not described again here.
  • the motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus.
  • the invention also includes a computer-readable storage medium, comprising commands which, when executed by a computer or a computer network, cause it to carry out an embodiment of the method according to the invention.
  • the storage medium can, for example, be designed at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory).
  • the storage medium can also, for example, be operated as a so-called app store server on the Internet.
  • the computer or computer network can provide a processor circuit with at least one microprocessor.
  • the commands can be provided as binary code or assembler and/or as source code of a programming language (e.g. C).
  • the invention also includes combinations of the features of the described embodiments.
  • the invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.
  • FIG. 1 shows an embodiment of a flow chart of a method according to the invention
  • Fig. 2 is a schematic representation of an embodiment of modules of a system according to the invention.
  • Fig. 3 is a schematic representation of an embodiment of a vehicle with a system according to the invention.
  • Fig. 1 shows an embodiment of a flow chart for a method for assessing a vital parameter of a passenger of a vehicle 15.
  • the vehicle 15 is fully autonomous.
  • a vital parameter of the passenger is recorded by means of a first measuring unit 5 (Fig. 2).
  • a first measuring unit 5 for example, an EEG device can be used as part of the first measuring unit 5. This can in particular be installed in a seat of the vehicle 15.
  • a vital parameter state class is determined depending on the recorded vital parameter. For example, there are the vital parameter state classes "relaxation”, “concentration”, “sleep” and "stress”.
  • a measurement signal from the EEG device can be evaluated, for example, by at least one computing unit 9 (Fig. 3), for example by determining a frequency band of the measurement signal. Depending on the determined frequency band, the corresponding vital parameter state class can then be assigned if necessary.
  • An example assignment of the frequency bands to the vital parameter state classes can in particular be the following.
  • Delta waves with a frequency of 0.1 Hz to ⁇ 4 Hz can be assigned to the vital parameter state class "sleep".
  • Theta waves with a frequency of 4 Hz to ⁇ 8 Hz can be assigned to the vital parameter state class “relaxation”, alpha waves with a frequency of 8 Hz to ⁇ 13 Hz to the vital parameter state class “concentration” and beta waves with a frequency between 13 Hz and ⁇ 30 Hz, in particular between 21 Hz and 38 Hz, to the vital parameter state class “stress”.
  • a step S3 an activity of the passenger is recorded by means of a second measuring unit 7 (Fig. 2).
  • the second measuring unit 7 can, for example, have a camera that is directed in particular at the passenger.
  • the camera can generate a further measurement signal, in particular camera images.
  • the recorded activity is assigned to an activity state class.
  • the further measurement signal for example from the at least one computing unit 9, is evaluated.
  • the passenger's eyes are part of the camera images.
  • the computing unit 9 can, for example, recognize and analyze the eyes, for example whether they are moving back and forth to read, are closed or are directed at something outside the vehicle 15.
  • an artificial intelligence can be trained in particular to recognize an activity of the passenger, for example from the camera images, and to assign this to an activity state class.
  • the recognized activity can be assigned to an activity state class “relaxation”, “concentration”, “sleep” or “stress”. In particular, there can be the same activity and vital parameter state classes.
  • an assessment result is determined from a comparison of the assigned vital parameter state class with the assigned activity state class. To do this, it can first be checked whether the vital parameter state class corresponds to the activity state class. In addition, in one embodiment, a degree of expression of the vital parameter state class can also be determined. In addition, it can be checked if necessary whether the vital parameter state class "stress" was assigned to the vital parameter. The assessment result can then, for example, contain information about whether the vital parameter state class corresponds to the activity state class, the degree of expression and optionally whether the vital parameter state class "stress" was assigned to the vital parameter.
  • a vehicle function of the vehicle 15 is set depending on the assessment result.
  • a massage function of a vehicle seat of the vehicle 15, an audio system and/or a video system can be set for this purpose.
  • One goal can be, for example, that the vital parameter of the passenger is changed in such a way that the vital parameter, in particular when the vital parameter is recorded again, can be assigned to the vital parameter state class that corresponds to the same activity state class.
  • Another goal can be that the degree of expression should be increased, but the vital parameter state class should not be changed.
  • the passenger is suggested to change his activity because his current activity is assigned to an activity state class that does not match the vital parameter state class.
  • the vehicle function can also be set in such a way that the passenger is supported in changing his activity.
  • steps S3 and S4 can be carried out at least temporarily simultaneously with steps S1 and S2. If necessary, step S5 can only be carried out once steps S2 and S4 have been completed.
  • Fig. 2 shows a schematic representation of an embodiment of modules of a system according to the invention for assessing at least one vital parameter of the passenger.
  • the system can have the modules “Sensory current condition” 1 , “Improvement of well-being” 2, “Sensory current activity” 3 and “Vehicle condition control” 4.
  • the “sensory current state” module 1 can carry out steps S1 and S2.
  • the “sensory current state” module 1 has, for example, the first measuring unit 5 to carry out step S1.
  • the measuring unit 5 can have an EEG device integrated into a headrest of the vehicle seat.
  • the “sensory current state” module 1 can also have a determination unit 6 to carry out step S2.
  • the determination unit 6 can in particular have an artificial intelligence module EEG state classifier, in particular a neural network.
  • the vital parameter state class can be determined according to the vital parameter. Furthermore, the degree of severity can in particular be determined.
  • the "sensor current activity” module 3 can, for example, carry out steps S3 and S4.
  • the "sensor current activity” module 3 can have the second measuring unit 7 and the allocation unit 8.
  • the second measuring unit 7 can have the camera for observing the passenger.
  • the allocation unit 8 can be a passenger activity classifier module, in particular another neural network. to recognize the activity and to assign the activity to an activity state class.
  • the “improvement in well-being” module can, for example, have at least one computing unit 9 for carrying out step S5 and, if necessary, an output unit 10.
  • the output unit 10 can output information to the passenger visually and/or acoustically.
  • the output unit 10 can output the assessment result to the passenger, for example by displaying it on a screen in the vehicle 15.
  • suggestions can be displayed to the passenger in particular depending on the assessment result.
  • the passenger can then select whether he or she would like to be supported in what way.
  • the passenger can select the suggestion, for example, by voice or a haptic input, in particular on the screen.
  • the passenger can choose whether he or she would like to be supported in changing the vital parameter so that the assigned vital parameter state class corresponds to the activity state class, or whether he or she would like to change his or her activity and maintain the current activity state class and be supported in doing so, or whether he or she would like no support.
  • the passenger can choose whether or not he would like to be supported according to his vital parameter state class.
  • the threshold can be statically defined, if applicable, or it can correspond to the average degree of expression of the previously recorded vital parameters.
  • no suggestion can be displayed and steps S1 to S5 are carried out again, in particular after a specified time interval.
  • the passenger can select whether he or she would like to be supported in relaxing.
  • the “vehicle state control” module 4 has, for example, a controller 11, an actuator 12, a controlled system 13 and a measuring element 14.
  • controllers 11 can be used, which in particular carry out step S6.
  • the desired vital parameter state class can in particular be determined depending on the passenger’s selection.
  • Possible actuators 12 can be a massage function of a vehicle seat of the vehicle 15 or other settings of the vehicle seat, an audio system of the vehicle 15 for playing music, a brightness or color of an interior lighting of the vehicle 15 or a setting for output on the screen of the vehicle 15.
  • the controlled system 13 can be the passenger, in particular his internal state and/or his well-being.
  • the measuring element 14 can have the first measuring unit 5, which in particular comprises the EEG device, and the determination unit 6, which in particular comprises the EEG state classifier module.
  • the desired vital parameter state class can be “relaxation”. Then, for example, a relaxing massage and/or dimmed interior lighting and/or relaxing music can be set. If necessary, the screen can also be switched off.
  • the desired vital parameter state class can be “concentration”. Then, for example, an activating massage and/or bright interior lighting and/or activating music can be set. If necessary, sights of the current surroundings of the vehicle 15 can be displayed on the screen.
  • the desired vital parameter state class can be "sleeping”. Then, for example, a dimmed interior lighting and/or a reclining position of the vehicle seat can be set. If necessary, the screen can be switched off.
  • Steps S1 to S6 can then be carried out again, for example after a predetermined time interval, for example 15 minutes.
  • Fig. 3 shows a schematic representation of a vehicle 15 which has the system for assessing the vital parameters of the passenger of the vehicle 15.
  • the system can, for example, have the first measuring unit 5, the second measuring unit 7, the determination unit 6, the allocation unit 8 and the at least one computing unit 9.
  • the allocation unit 8 and the determination unit 6 can in particular be part of the computing unit 9.
  • Step S1 can be carried out by means of the first measuring unit 5, which can in particular have an EEG device.
  • Step S2 can be carried out by means of the determination unit 6, which can be designed as a Kl-module EEG state classifier.
  • Step S3 can be carried out by means of the second measuring unit 7, which can include the camera.
  • Step S4 can be carried out by means of the allocation unit 8, which can be designed as a Kl-module passenger activity classifier.
  • Steps S5 and S6 can be carried out by means of the computing unit 9.
  • the examples show in particular how the well-being of passengers in autonomous ferry operations can be improved through artificial intelligence-based EEG state control.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Es soll das Wohlbefinden eines Passagiers verbessert werden. Die Erfindung betrifft ein Verfahren zur Beurteilung eines Vitalparameters eines Passagiers eines Fahrzeugs (15), aufweisend folgende Schritte: - Erfassen (S1) wenigstens eines Vitalparameters des Passagiers mittels einer ersten Messeinheit (5); - Bestimmen (S2) einer Vitalparameterzustandsklasse abhängig von dem erfassten Vitalparameter; - Erfassen (S3) einer Tätigkeit des Passagiers mittels einer zweiten Messeinheit (7); - Zuordnen (S4) der erfassten Tätigkeit zu einer Tätigkeitszustandsklasse; - Bestimmen (S5) eines Beurteilungsergebnisses aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse; und - Einstellen (S6) einer Fahrzeugfunktion des Fahrzeugs (15) abhängig vom Beurteilungsergebnis.

Description

Verfahren zur Beurteilung eines Vitalparameters eines Passagiers sowie System und Kraftfahrzeug
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zur Beurteilung eines Vitalparameters eines Passagiers sowie ein System und ein Kraftfahrzeug.
Oftmals führt ein Mensch eine Tätigkeit aus, und ist allerdings in einer anderen (geistigen) Verfassung. Das kann dazu führen, dass der Mensch sich häufig nicht wohl fühlt, beziehungsweise kann dadurch langfristig Stress entstehen. Das beschriebene Szenario ist alltäglich. Man möchte ein
Buch lesen, aber man kann sich nicht richtig konzentrieren. Oder man würde sich gerne entspannen oder schlafen, aber man kommt nicht in die richtige Verfassung dafür. Häufig ist man auch gestresst, bekommt es aber nicht mit in welcher Verfassung sich der Körper beziehungsweise der Geist gerade befindet. Passt die aktuelle Tätigkeit nicht zur aktuellen Verfassung beziehungsweise zum Geisteszustand, führt das oft zu einem schlechten Wohlbefinden, ohne oftmals zu wissen warum.
Aus der DE 10 2020 208722 A1 ein Verfahren zur Unterstützung eines Fahrzeuginsassen vor, während und nach einer Schlafpause während einer autonomen Fahrt in einem Fahrzeug bekannt.
Aus der DE 10 2019 201 695 A1 ist eine Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen bekannt.
Der Erfindung liegt die Aufgabe zugrunde, eine Einstellung einer Fahrzeugfunktion in Bezug auf einen Passagier zu verbessern. Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren definiert.
Ein Aspekt der Erfindung betrifft ein Verfahren zur Beurteilung eines Vitalparameters eines Passagiers eines Fahrzeugs. Dabei wird wenigstens ein Vitalparameter des Passagiers mittels einer ersten Messeinheit erfasst. Es wird eine Vitalparameterzustandsklasse abhängig von dem erfassten Vitalparameter bestimmt. Mittels einer zweiten Messeinheit wird eine Tätigkeit des Passagiers erfasst. Die erfasste Tätigkeit wird zu einer Tätigkeitszustandsklasse zugeordnet. Anschließend wird ein Beurteilungsergebnis aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse bestimmt. Abhängig von dem Beurteilungsergebnis wird eine Fahrzeugfunktion des Fahrzeugs eingestellt.
Beispielsweise weist die erste Messeinheit ein Elektroenzephalographiegerät (EEG-Gerät) auf. Ein EEG-Gerät zeichnet Spannungsschwankungen an einer Kopfoberfläche auf. Ursache dieser Spannungsschwankungen sind physiologische Vorgänge einzelner Gehirnzellen, die durch elektrische Zustandsänderungen zur Informationsverarbeitung des Gehirns beitragen. Die Spannungsschwankungen weisen insbesondere unterschiedliche Frequenzen auf. Diese können beispielsweise in Frequenzbänder, so genannte EEG-Bänder, eingeteilt werden. Zum Beispiel können die Frequenzbänder in Delta-Wellen, Theta-Wellen, Alpha-Wellen, Beta-Wellen und Gamma-Wellen eingeteilt werden.
Insbesondere handelt es sich bei dem wenigstens einen Vitalparameter des Passagiers um die Frequenz der mittels des EEG-Geräts erfassten Spannungsschwankungen. Je nachdem, in welchem Frequenzband die Frequenz liegt, kann der erfasste Vitalparameter der Vitalparameterzustandsklasse zugeordnet werden. Mögliche Vitalparameterzustandsklassen sind beispielsweise „Entspannung“, „Konzentration“, „Schlaf“ und „Stress“.
Die zweite Messeinheit zur Erfassung der Tätigkeit des Passagiers kann beispielsweise nach einem zur ersten Messeinheit unterschiedlichen Funktionsprinzip arbeiten. Insbesondere umfasst die zweite Messeinheit eine Kamera beziehungsweise eine Time-of-Flight Kamera. Die Kamera, welche auch als Innenraumkamera bezeichnet werden kann, erfasst den Passagier. Der Passagier führt die Tätigkeit, wie beispielsweise Lesen, aus. Durch Auswertung eines Bildsignals der Kamera kann die Tätigkeit beispielsweise mittels einer Recheneinheit erkannt werden. Die Tätigkeit kann anschließend der Tätigkeitszustandsklasse zugeordnet werden. Es gibt mehrere Tätigkeitszustandsklassen, zum Beispiel „Entspannung“, „Konzentration“, „Schlaf“ und „Stress“. Zum Beispiel kann das Lesen der Tätigkeitszustandsklasse „Konzentration“ zugeordnet werden. Insbesondere gibt es die gleichen Vitalparameterzustandsklassen wie Tätigkeitszustandsklassen.
Die Vitalparameterzustandsklasse wird mit der Tätigkeitszustandsklasse verglichen. Das Beurteilungsergebnis dieses Vergleichs gibt beispielsweise an, ob die zugeordnete Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse übereinstimmt. Wurde zum Beispiel dem erfassten Vitalparameter des Passagiers die Vitalparameterzustandsklasse „Schlaf“ zugeordnet, und die erfasste Tätigkeit des Passagiers der Tätigkeitszustandsklasse „Konzentration“, dann stimmen die Vitalparameterzustandsklasse und die Tätigkeitszustandsklasse nicht überein. Daraus kann zum Beispiel als Beurteilungsergebnis bestimmt werden, dass sich der Passagier in einem inneren Zustand befindet, in welchem er schlafen könnte. Die erfasste Tätigkeit des Lesens in diesem Beispiel erfordert Konzentration, und ist deshalb der Tätigkeitszustandsklasse „Konzentration“ zugeordnet. Somit stimmen in diesem Beispiel die zugeordnete Vitalparameterzustandsklasse und die zugeordnete Tätigkeitszustandsklasse nicht überein. Es ist möglich, dass sich der Passagier deshalb gestresst und/oder unwohl fühlt. Bei der einzustellenden Fahrzeugfunktion des Fahrzeugs handelt es sich beispielsweise um eine Helligkeit eines Lichts im Fahrzeug und/oder eine Massageeinstellung eines Fahrzeugsitzes des Fahrzeugs und/oder eine Einstellung einer Sitzheizung des Fahrzeugsitzes und/oder eine Einstellung eines Audiosystems des Fahrzeugs. Es ist möglich, dass eine oder mehrere Fahrzeugfunktionen des Fahrzeugs abhängig vom Beurteilungsergebnis bedarfsgerecht eingestellt werden.
Dabei ist es möglich, dass der Passagier entsprechend seines inneren, mentalen Zustands, welcher durch die Vitalparameterzustandsklasse beschrieben wird, unterstützt wird. Im genannten Beispiel kann dazu die Helligkeit des Lichts gedimmt werden, so dass der Passagier schlafen kann. Wenn der Passagier dann schläft, stimmt in diesem Beispiel die Vitalparameterzustandsklasse mit der zugeordneten
Tätigkeitszustandsklasse überein. Dadurch ist es möglich, dass der mentale Zustand des Passagiers verbessert wird, da eine Diskrepanz zwischen dem innerem Zustand des Passagiers und der Tätigkeit des Passagiers beseitigt wurde.
Es ist aber auch möglich, dass der Passagier in seiner Tätigkeit unterstützt wird. Dabei kann die Fahrzeugfunktion derart eingestellt werden, dass der innere Zustand des Passagiers an die Tätigkeit angepasst wird. Im bereits genannten Beispiel kann dazu die Helligkeit des Lichts im Fahrzeug erhöht werden. So kann die Diskrepanz zwischen dem inneren Zustand des Passagiers und der Tätigkeit des Passagiers ebenfalls beseitigt werden. Auch dadurch wird der mentale Zustand des Passagiers verbessert und dieser fühlt sich wohl und nicht gestresst.
In einem Ausführungsbeispiel wird ein Grad einer Zustandsausprägung der zugeordneten Vitalparameterzustandsklasse abhängig von einem Messwert des erfassten Vitalparameters ermittelt. Abhängig davon wird das Beurteilungsergebnis bestimmt. Insbesondere kann der Grad der Zustandsausprägung als Konfidenzwert bezeichnet werden. Liegt beispielsweise die Frequenz der mittels des EEG- Geräts gemessenen Spannungsschwankungen in einem Frequenzbereich, der in einem Grenzbereich zwischen zwei verschiedenen Frequenzbändern liegt, dann ist der Grad der Zustandsausprägung geringer als bei Frequenzen, die nicht in einem solchen Grenzbereich liegen. Zum Beispiel weisen Delta-Wellen eine Frequenz zwischen 0,1 bis < 4 Hz auf. Delta- Wellen sind insbesondere typisch für eine Tiefschlafphase. Theta-Wellen liegen im Frequenzbereich zwischen 4 und 8 Hz. Theta-Wellen treten insbesondere vermehrt bei Schläfrigkeit auf. Beträgt zum Beispiel die erfasste Frequenz 4 Hz, dann kann der Konfidenzwert für Theta-Wellen niedrig gesetzt werden. Der Konfidenzwert kann beispielsweise zwischen 0 und 100 Prozent liegen.
So kann die Fahrzeugfunktion bedarfsgerecht eingestellt werden, da abhängig vom Grad der Zustandsausprägung das Beurteilungsergebnis bestimmt wird. Zum Beispiel beträgt die ermittelte Frequenz 4 Hz und der Passagier soll bei der Tätigkeit Lesen, die der Tätigkeitszustandsklasse „Konzentration“ entspricht, unterstützt werden. Dann ist es in diesem Beispiel besonders vorteilhaft, wenn die Helligkeit des Lichts im Fahrzeug heller eingestellt wird als bei einer ermittelten Frequenz, die in einem Frequenzbereich zwischen 7 und 8 Hz liegt.
In einem Ausführungsbeispiel wird wenigstens ein weiterer Vitalparameter bestimmt. Abhängig von dem weiteren Vitalparameter wird die Vitalparameterzustandsklasse bestimmt. Dadurch kann die Bestimmung des inneren Zustands des Passagiers verbessert werden. Der weitere Vitalparameter kann beispielsweise dazu genutzt werden, den Messwert des ersten erfassten Vitalparameters zu verifizieren.
Beispielsweise handelt es sich bei dem weiteren Vitalparameter um eine Leitfähigkeit einer Haut des Passagiers, wodurch insbesondere Schweiß erkannt werden kann, einen Puls des Passagiers oder eine Pupillenweitung des Passagiers. Gegebenenfalls wird der weitere Vitalparameter mit einer weiteren Messeinheit erfasst.
Es ist möglich, dass der erste erfasste Vitalparameter gemäß seinem Messwert einer Vitalparameterzustandsklasse zugeordnet wird. Zumindest zeitweise gleichzeitig kann der wenigstens eine weitere Vitalparameter bestimmt werden und ebenfalls einer Vitalparameterzustandsklasse zugeordnet werden. Gegebenenfalls stimmen die jeweiligen zugeordneten Vitalparameterzustandsklassen überein. Dann kann insbesondere ein hoher Grad der Zustandsausprägung ermittelt werden.
Es ist möglich, dass künstliche Intelligenz (Kl), insbesondere ein neuronales Netz, verwendet wird, um die Zuordnung der erfassten Messwerte der Vitalparameter zu verbessern. Dazu kann die künstliche Intelligenz insbesondere mittels Daten von einer Vielzahl an Fahrzeugen und Messwerte der Messeinheiten von diesen trainiert werden. Dadurch kann sichergestellt werden, dass die Vitalparameterzustandsklasse bestimmt wird, welche dem inneren Zustand des Passagiers entspricht.
In einem Ausführungsbeispiel werden zum Erfassen der Tätigkeit mittels der zweiten Messeinheit Sensordaten erzeugt. Die erzeugten Sensordaten werden mittels künstlicher Intelligenz ausgewertet und einer Tätigkeit zugeordnet. Die Tätigkeit ist wiederum der Tätigkeitszustandsklasse zugeordnet.
Mit anderen Worten kann aus den ausgewerteten Sensordaten eine Tätigkeit erkannt werden. Die Tätigkeit wird durch den Passagier ausgeführt. Der erkannten Tätigkeit wird die jeweilige Tätigkeitszustandsklasse zugewiesen. Mit anderen Worten handelt es sich bei der zugeordneten Tätigkeitszustandsklasse um einen Soll-Zustand des Passagiers, in welchem er sich bei einer Durchführung der erkannten Tätigkeit befinden sollte. Durch die Verwendung von der künstlichen Intelligenz wird die Erkennung der Tätigkeit und damit der zugeordneten Tätigkeitszustandsklasse verbessert. In einem Ausführungsbeispiel wird das Beurteilungsergebnis dem Passagier angezeigt. Dem Passagier wird abhängig vom Beurteilungsergebnis mindestens ein Vorschlag angezeigt. Abhängig von einem Annehmen des Vorschlags durch den Passagier wird die Fahrzeugfunktion eingestellt.
Dabei können insbesondere abhängig vom Beurteilungsergebnis verschiedene Fälle unterschieden werden. Enthält zum Beispiel das Beurteilungsergebnis eine Information, dass die zugeordnete Vitalparameterzustandsklasse nicht mit der zugeordneten Tätigkeitszustandsklasse übereinstimmt und insbesondere ein hoher Grad der Zustandsausprägung ermittelt wurde, dann kann dies dem Passagier gegebenenfalls angezeigt werden. Dazu wird dem Passagier beispielsweise auf einer Ausgabeeinheit „Sie sind in einer anderen aktuellen Verfassung.“ angezeigt. Die Anzeige beziehungsweise die Ausgabe an den Passagier kann dabei akustisch oder visuell erfolgen. Dem Nutzer kann ein Vorschlag angezeigt werden, ob ein aktuell festgestellter mentaler Zustand, der der Vitalparameterzustandsklasse entspricht, gefördert werden soll oder ob er dabei unterstützt werden möchte, seinen mentalen Zustand zu verändern und damit an die aktuelle Tätigkeit anzupassen.
In einem anderen Fall kann die zugeordnete Vitalparameterzustandsklasse der Tätigkeitszustandsklasse entsprechen. Ist gegebenenfalls der Grad der Zustandsausprägung gering, kann dem Passagier auf der Ausgabeeinheit vorgeschlagen werden, ob er entsprechend seines inneren Zustands unterstützt werden möchte.
In einem weiteren Fall wird die Vitalparameterzustandsklasse „Stress“ erkannt. Dann wird, insbesondere unabhängig von der zugeordneten Tätigkeitszustandsklasse, dem Passagier beispielsweise folgender Vorschlag angezeigt: „Wir haben bei Ihnen eine stressige Verfassung erkannt, sollen wir Ihnen helfen sich zu entspannen?“. Durch die Unterscheidung der verschiedenen Fälle, wird ein bedarfsgerechtes Einstellen der Fahrzeugfunktion abhängig vom Beurteilungsergebnis ermöglicht.
In einem Ausführungsbeispiel wird der wenigstens eine Vitalparameter mittels eines Elektroenzephalographiegeräts der ersten Messeinheit erfasst. Durch Verwendung eines EEG-Geräts ist die Zuordnung des Vitalparameters zu der Vitalparameterzustandsklasse besonders zuverlässig möglich.
In einem Ausführungsbeispiel wird die Tätigkeit mittels einer Kamera der zweiten Messeinheit erfasst. Die Kamera erfasst dabei den Passagier und erzeugt Sensordaten. Durch Analyse der Sensordaten kann die Tätigkeit des Passagiers erkannt werden. Die Sensordaten können außerdem zur Erfassung des weiteren Vitalparameters verwendet werden.
In einem Ausführungsbeispiel werden zur Zuordnung des Vitalparameters zu der Vitalparameterzustandsklasse und/oder zur Zuordnung der erfassten Tätigkeit zu der Tätigkeitszustandsklasse Flottendaten verwendet.
Mittels der Flottendaten kann zum Beispiel die künstliche Intelligenz trainiert werden. Die Flottendaten enthalten beispielsweise Informationen zu erfassten Vitalparametern und den jeweils zugeordneten Vitalparameterzustandsklassen und/oder der erfassten Tätigkeiten und den jeweils zugeordneten Tätigkeitszustandsklassen von einer Vielzahl von Fahrzeugen, insbesondere mehr als 10 Fahrzeugen, insbesondere mehr als 100, insbesondere mehr als 1.000 Fahrzeugen. Durch Verwendung der Flottendaten erfolgt die Zuordnung des Vitalparameters zu der Vitalparameterzustandsklasse und/oder die Zuordnung der erfassten Tätigkeit zu der Tätigkeitszustandsklasse zuverlässig.
Ein weiterer Aspekt der Erfindung betrifft ein System. Das System weist eine erste Messeinheit zur Erfassung wenigstens eines Vitalparameters einer Person auf. Weiterhin weist das System eine Bestimmungseinheit zur Bestimmung einer Vitalparameterzustandsklasse abhängig von dem erfassten Vitalparameter auf. Das System weist eine zweite Messeinheit zur Erfassung einer Tätigkeit der Person, eine Zuordnungseinheit zur Zuordnung der erfassten Tätigkeit zu einer Tätigkeitszustandsklasse und eine Recheneinheit zur Bestimmung eines Beurteilungsergebnisses aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse und zum Einstellen einer Funktion abhängig vom Beurteilungsergebnis auf.
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug. Das Kraftfahrzeug weist ein erfindungsgemäßes System auf.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Rückmeldung des Passagiers ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Zu der Erfindung gehört auch die wenigstens eine Recheneinheit für das Kraftfahrzeug. Die wenigstens eine Recheneinheit kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Eine Prozessorschaltung der Prozessoreinrichtung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen. Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs und des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs und des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.
Die Erfindung umfasst auch Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt: Fig. 1 ein Ausführungsbeispiel eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens;
Fig. 2 eine schematische Darstellung eines Ausführungsbeispiels für Module eines erfindungsgemäßen Systems;
Fig. 3 eine schematische Darstellung eines Ausführungsbeispiels eines Fahrzeugs mit einem erfindungsgemäßen Systems.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
In Fig. 1 ist eine Ausführungsbeispiel eines Ablaufdiagramms für ein Verfahren zur Beurteilung eines Vitalparameters eines Passagiers eines Fahrzeugs 15 gezeigt. Insbesondere handelt es sich um ein voll autonom fahrbares Fahrzeug 15.
In einem Schritt S1 wird wenigstens ein Vitalparameter des Passagiers mittels einer ersten Messeinheit 5 (Fig. 2) erfasst. Dazu kann beispielsweise ein EEG-Gerät als Teil der ersten Messeinheit 5 verwendet werden. Dieses kann insbesondere in einem Sitz des Fahrzeugs 15 verbaut sein. In einem Schritt S2 wird eine Vitalparameterzustandsklasse abhängig von dem erfassten Vitalparameter bestimmt. Zum Beispiel gibt es die Vitalparameterzustandsklassen „Entspannung“, „Konzentration“, „Schlaf“ und „Stress“. Ein Messsignal des EEG-Geräts kann beispielsweise durch wenigstens eine Recheneinheit 9 (Fig. 3) ausgewertet werden, zum Beispiel indem ein Frequenzband des Messsignals bestimmt wird. Anhängig von dem bestimmten Frequenzband kann dann gegebenenfalls die entsprechende Vitalparameterzustandsklasse zugeordnet werden. Eine beispielhafte Zuordnung der Frequenzbänder zu den Vitalparameterzustandsklassen kann insbesondere folgende sein. Delta-Wellen mit einer Frequenz von 0,1 Hz bis < 4 Hz können der Vitalparameterzustandsklasse „Schlaf“ zugeordnet werden. Theta-Wellen mit einer Frequenz von 4 Hz bis < 8 Hz können der Vitalparameterzustandsklasse „Entspannung“, Alpha-Wellen mit einer Frequenz von 8 Hz bis < 13 Hz der Vitalparameterzustandsklasse „Konzentration“ und Beta-Wellen mit einer Frequenz zwischen 13 Hz und < 30 Hz, insbesondere zwischen 21 Hz und 38 Hz, der Vitalparameterzustandsklasse „Stress“ zugeordnet werden.
In einem Schritt S3 wird eine Tätigkeit des Passagiers mittels einer zweiten Messeinheit 7 (Fig. 2) erfasst. Die zweiten Messeinheit 7 kann beispielsweise eine Kamera aufweisen, die insbesondere auf den Passagier gerichtet ist. Die Kamera kann ein weiteres Messsignal, insbesondere Kamerabilder, erzeugen.
In einem Schritt S4 wird die erfasste Tätigkeit zu einer Tätigkeitszustandsklasse zugeordnet. Dazu wird zum Beispiel das weitere Messsignal, beispielsweise von der wenigstens einen Recheneinheit 9, auswertet. Zum Beispiel sind Augen des Passagiers Teil der Kamerabilder. Die Recheneinheit 9 kann zum Beispiel die Augen erkennen und analysieren, beispielsweise ob sie sich zum Lesen hin und her bewegen, geschlossen sind oder auf etwas außerhalb des Fahrzeugs 15 gerichtet sind. In einer Ausführungsform kann dazu insbesondere eine künstliche Intelligenz trainiert werden, um, beispielsweise aus den Kamerabildern, eine Tätigkeit des Passagiers zu erkennen und diese einer Tätigkeitszustandsklasse zuzuordnen. Zum Beispiel kann die erkannte Tätigkeit einer Tätigkeitszustandsklasse „Entspannung“, „Konzentration“, „Schlaf“ oder „Stress“ zugeordnet werden. Insbesondere kann es die gleichen Tätigkeits- wie Vitalparameterzustandsklassen geben.
In einem Schritt S5 wird ein Beurteilungsergebnis aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse bestimmt. Dazu kann zunächst überprüft werden ob die Vitalparameterzustandsklasse der Tätigkeitszustandsklasse entspricht. Zusätzlich kann in einer Ausführungsform auch ein Grad einer Ausprägung der Vitalparameterzustandsklasse bestimmt werden. Außerdem kann gegebenenfalls überprüft werden, ob die Vitalparameterzustandsklasse „Stress“ dem Vitalparameter zugeordnet wurde. Das Beurteilungsergebnis kann dann beispielsweise eine Information darüber enthalten, ob die Vitalparameterzustandsklasse der Tätigkeitszustandsklasse entspricht, den Grad der Ausprägung und optional ob die Vitalparameterzustandsklasse „Stress“ dem Vitalparameter zugeordnet wurde.
In einem Schritt S6 wird eine Fahrzeugfunktion des Fahrzeugs 15 abhängig vom Beurteilungsergebnis eingestellt. Dazu kann beispielsweise eine Massagefunktion eines Fahrzeugsitzes des Fahrzeugs 15, ein Audiosystem und/oder ein Videosystem eingestellt werden. Ein Ziel kann es zum Beispiel sein, dass der Vitalparameter des Passagiers so verändert wird, dass der Vitalparameter, insbesondere bei einem erneuten Erfassen des Vitalparameters, der Vitalparameterzustandsklasse zugeordnet werden kann, die der gleichen Tätigkeitszustandsklasse entspricht. Ein anderes Ziel kann es sein, dass der Grad der Ausprägung erhöht werden soll, aber die Vitalparameterzustandsklasse nicht geändert werden soll. Es ist beispielsweise auch möglich, dass dem Passagier vorgeschlagen wird seine Tätigkeit zu verändern, da seine aktuelle Tätigkeit einer Tätigkeitszustandsklasse zugeordnet ist, welche nicht mit der Vitalparameterzustandsklasse übereinstimmt. Die Fahrzeugfunktion kann dabei auch so eingestellt werden, dass der Passagier bei einer Änderung der Tätigkeit unterstützt wird. Wie im Ablaufdiagramm in Fig. 1 dargestellt, können die Schritte S3 und S4 zumindest zeitweise gleichzeitig mit den Schritten S1 und S2 durchgeführt werden. Gegebenenfalls kann der Schritt S5 erst durchgeführt werden, wenn die Schritte S2 und S4 abgeschlossen sind.
Fig. 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels für Module eines erfindungsgemäßen Systems zur Beurteilung des wenigstens einen Vitalparameters des Passagiers.
Das System kann die Module „Sensorik aktuelle Verfassung“ 1 , „Verbesserung Wohlbefinden“ 2, „Sensorik aktuelle Tätigkeit“ 3 und „Fahrzeug- Zustandsregelung“ 4 aufweisen.
Das Modul „Sensorik aktuelle Verfassung“ 1 kann dabei die Schritte S1 und S2 durchführen. Dazu weist das Modul „Sensorik aktuelle Verfassung“ 1 beispielsweise die erste Messeinheit 5 auf, um den Schritt S1 durchzuführen. Insbesondere kann die Messeinheit 5 ein in eine Kopfstütze des Fahrzeugsitzes integriertes EEG-Gerät aufweisen. Das Modul „Sensorik aktuelle Verfassung“ 1 kann außerdem eine Bestimmungseinheit 6 aufweisen, um den Schritt S2 durchzuführen. Die Bestimmungseinheit 6 kann insbesondere ein künstliches Intelligenz Modul EEG-Zustand- Klassifizierer, insbesondere ein neuronales Netz, aufweisen. Dabei kann die Vitalparameterzustandsklasse entsprechend dem Vitalparameter bestimmt werden. Weiterhin kann insbesondere der Grad der Ausprägung bestimmt werden.
Das Modul „Sensorik aktuelle Tätigkeit“ 3 kann beispielsweise die Schritte S3 und S4 durchführen. Zum Beispiel kann das Modul „Sensorik aktuelle Tätigkeit“ 3 dazu die zweite Messeinheit 7 und die Zuordnungseinheit 8 aufweisen. Die zweite Messeinheit 7 kann die Kamera zur Beobachtung des Passagiers aufweisen. Die Zuordnungseinheit 8 kann ein Kl-Modul Passagiertätigkeit-Klassifizierer, insbesondere ein weiteres neuronales Netz, zum Erkennen der Tätigkeit und zur Zuordnung der Tätigkeit zu einer Tätigkeitszustandsklasse aufweisen.
Das Modul „Verbesserung Wohlbefinden“ kann beispielsweise die wenigstens eine Recheneinheit 9 zur Durchführung des Schrittes S5 und gegebenenfalls eine Ausgabeeinheit 10 aufweisen. Die Ausgabeeinheit 10 kann Informationen an den Passagier optisch und/oder akustisch ausgeben. Insbesondere kann die Ausgabeeinheit 10 das Beurteilungsergebnis an den Passagier ausgeben werden, beispielsweise indem es auf einem Bildschirm im Fahrzeug 15 an den Passagier angezeigt wird. Dabei können dem Passager abhängig von dem Beurteilungsergebnis insbesondere Vorschläge angezeigt werden. In einer Ausführungsform kann der Passagier dann auswählen, ob er wie er unterstützt werden möchte. Die Auswahl des Vorschlags durch den Passagier kann beispielsweise durch Sprache oder eine haptische Eingabe, insbesondere auf dem Bildschirm, erfolgen.
Enthält zum Beispiel das Beurteilungsergebnis, dass die Vitalparameterzustandsklasse nicht mit der Tätigkeitszustandsklasse übereinstimmt und ist insbesondere nicht die Vitalparameterzustandsklasse „Stress“, dann kann der Passagier gegebenenfalls wählen, ob er dabei unterstützt werden möchte den Vitalparameter so zu verändern, dass die zugeordnete Vitalparameterzustandsklasse der Tätigkeitszustandsklasse entspricht, oder ob er seine Tätigkeit ändern möchte und die aktuelle Tätigkeitszustandsklasse beibehalten möchte und dabei unterstützt werden möchte, oder ob er keine Unterstützung möchte.
Enthält in einem weiteren Beispiel das Beurteilungsergebnis, dass die Vitalparameterzustandsklasse mit der Tätigkeitszustandsklasse übereinstimmt und gegebenenfalls der Grad der Ausprägung einen vorgegebenen Schwellwert unterschreitet, dann kann der Passagier auswählen ob er entsprechend seiner Vitalparameterzustandsklasse unterstützt werden möchte oder nicht. Der Schwellwert kann gegebenenfalls statisch definiert sein oder er entspricht dem durchschnittlichen Grad der Zustandsausprägung der vorangegangenen erfassten Vitalparameter. Optional, insbesondere dann, wenn der Grad der Ausprägung den vorgegebenen Schwellwert überschreitet, kann kein Vorschlag angezeigt werden und die Schritte S1 bis S5 werden, insbesondere nach einem vorgegebenen zeitlichen Intervall, erneut durchgeführt.
Enthält in einem nochmals weiteren Beispiel das Beurteilungsergebnis, dass die Vitalparameterzustandsklasse „Stress“ zugeordnet wurde, dann kann der Passagier auswählen, ob er bei einer Entspannung unterstützt werden möchte.
Das Modul „Fahrzeug -Zustandsregelung“ 4 weist beispielsweise einen Regler 11 , ein Stellglied 12, eine Regelstrecke 13 und ein Messglied 14 auf. Je nach angestrebter Vitalparameterzustandsklasse können verschiedene Regler 11 verwendet werden, die insbesondere den Schritt S6 durchführen. Die angestrebte Vitalparameterzustandsklasse kann insbesondere abhängig von der Auswahl des Passagiers bestimmt werden. Mögliche Stellglieder 12 können eine Massagefunktion eines Fahrzeugsitzes des Fahrzeugs 15 oder sonstige Einstellungen des Fahrzeugsitzes, ein Audiosystem des Fahrzeugs 15 zum Abspielen von Musik, eine Helligkeit oder Farbe einer Innenraumbeleuchtung des Fahrzeugs 15 oder eine Einstellung zur Ausgabe am Bildschirm des Fahrzeugs 15 sein. Die Regelstrecke 13 kann der Passagier, insbesondere dessen innerer Zustand und/oder sein Wohlbefinden, sein. Das Messglied 14 kann die erste Messeinheit 5, die insbesondere das EEG-Gerät umfasst, und die Bestimmungseinheit 6, die insbesondere das Kl-Modul EEG-Zustand-Klassifizierer umfasst, aufweisen.
Zum Beispiel kann die angestrebte Vitalparameterzustandsklasse „Entspannung“ sein. Dann können beispielsweise eine entspannende Massage und/oder abgedunkelte Innenraumbeleuchtung und/oder entspannende Musik eingestellt werden. Gegebenenfalls kann auch der Bildschirm abgeschaltet werden. In einem weiteren Beispiel kann die angestrebte Vitalparameterzustandsklasse „Konzentration“ sein. Dann können beispielsweise eine aktivierende Massage und/oder eine helle Innenraumbeleuchtung und/oder eine aktivierende Musik eingestellt werden. Gegebenenfalls können am Bildschirm Sehenswürdigkeiten einer aktuellen Umgebung des Fahrzeugs 15 angezeigt werden. In einem nochmals weiteren Beispiel kann die angestrebte Vitalparameterzustandsklasse „Schlafen“ sein. Dann können beispielsweise eine abgedunkelte Innenraumbeleuchtung und/oder eine Liegeposition des Fahrzeugsitzes eingestellt werden. Gegebenenfalls kann der Bildschirm abgeschaltet werden.
Entspricht die vom Messglied 14 ermittelte aktuelle Vitalparameterzustandsklasse der angestrebten Vitalparameterzustandsklasse ist das Modul „Fahrzeug -Zustandsregelung“ 4 beendet. Es kann dann, beispielsweise nach einem vorgegeben zeitlichen Intervall, beispielsweise 15 Minuten, die Schritte S1 bis S6 erneut durchgeführt werden.
In Fig. 3 ist eine schematische Darstellung eines Fahrzeugs 15, welches das System zur Beurteilung des Vitalparameters des Passagiers des Fahrzeugs 15 aufweist, gezeigt. Das System kann beispielsweise die erste Messeinheit 5, die zweite Messeinheit 7, die Bestimmungseinheit 6, die Zuordnungseinheit 8 und die wenigstens eine Recheneinheit 9 aufweisen. Die Zuordnungseinheit 8 und die Bestimmungseinheit 6 können insbesondere Teil der Recheneinheit 9 sein.
Mittels der ersten Messeinheit 5, die insbesondere ein EEG-Gerät aufweisen kann, kann der Schritt S1 ausgeführt werden. Mittels der Bestimmungseinheit 6, die als Kl-Modul EEG-Zustandsklassifizierer ausgebildet sein kann, kann der Schritt S2 ausgeführt werden. Mittels der zweiten Messeinheit 7, die die Kamera umfassen kann, kann der Schritt S3 ausgeführt werden. Mittels der Zuordnungseinheit 8, die als Kl-Modul Passagiertätigkeit-Klassifizierer ausgebildet sein kann, kann den Schritt S4 ausgeführt werden. Mittels der Recheneinheit 9 können die Schritte S5 und S6 durchgeführt werden. Insgesamt zeigen die Beispiele insbesondere, wie das Wohlbefinden des Passagiers im autonomen Fährbetrieb durch künstliche-intelligenz-basierte EEG Zustandsregelung verbessert werden kann.

Claims

PATENTANSPRÜCHE:
1 . Verfahren zur Beurteilung eines Vitalparameters eines Passagiers eines Fahrzeugs (15), aufweisend folgende Schritte:
- Erfassen (S1 ) wenigstens eines Vitalparameters des Passagiers mittels einer ersten Messeinheit (5);
- Bestimmen (S2) einer Vitalparameterzustandsklasse abhängig von dem erfassten Vitalparameter;
- Erfassen (S3) einer Tätigkeit des Passagiers mittels einer zweiten Messeinheit (7);
- Zuordnen (S4) der erfassten Tätigkeit zu einer T ätigkeitszustandsklasse;
- Bestimmen (S5) eines Beurteilungsergebnisses aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse; und
- Einstellen (S6) einer Fahrzeugfunktion des Fahrzeugs (15) abhängig vom Beurteilungsergebnis.
2. Verfahren nach Anspruch 1 , wobei ein Grad einer Zustandsausprägung der zugeordneten Vitalzustandsklasse abhängig von einem Messwert des erfassten Vitalparameters ermittelt wird und abhängig davon das Beurteilungsergebnis bestimmt wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei wenigstens ein weiterer Vitalparameter bestimmt wird und abhängig von dem weiteren Vitalparameter die Vitalparameterzustandsklasse bestimmt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Erfassen der Tätigkeit, mittels der zweiten Messeinheit (7) Sensordaten erzeugt werden, die mittels künstlicher Intelligenz ausgewertet und einer Tätigkeit zugeordnet werden, welche der Tätigkeitszustandsklasse zugeordnet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Beurteilungsergebnis an den Passagier ausgegeben wird und an den Passagier abhängig vom Beurteilungsergebnis mindestens ein Vorschlag ausgegeben wird und abhängig von einem Annehmen des Vorschlags durch den Passagier die Fahrzeugfunktion eingestellt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei der wenigstens eine Vitalparameter mittels eines Elektroenzephalographiegeräts der ersten Messeinheit (5) erfasst wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Tätigkeit mittels einer Kamera der zweiten Messeinheit (7) erfasst wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Zuordnung des Vitalparameters zu der Vitalparameterzustandsklasse und/oder zur Zuordnung der erfassten Tätigkeit zu der Tätigkeitszustandsklasse Flottendaten verwendet werden.
9. System, aufweisend:
- eine erste Messeinheit (5) zur Erfassung wenigstens eines Vitalparameters einer Person;
- Bestimmungseinheit (6) zur Bestimmung einer Vitalparameterzustandsklasse abhängig vom dem erfassten Vitalparameter;
- eine zweite Messeinheit (7) zur Erfassung einer Tätigkeit der Person;
- eine Zuordnungseinheit (8) zur Zuordnung der erfassten Tätigkeit zu einer Tätigkeitszustandsklasse; und
- wenigstens eine Recheneinheit (9) zur Bestimmung eines Beurteilungsergebnisses aus einem Vergleich der zugeordneten Vitalparameterzustandsklasse mit der zugeordneten Tätigkeitszustandsklasse und zum Einstellen einer Funktion abhängig vom Beurteilungsergebnis.
10. Kraftfahrzeug (15), das ein System nach Anspruch 9 aufweist.
EP23818385.9A 2023-01-20 2023-12-05 Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug Pending EP4651800A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023101376.9A DE102023101376A1 (de) 2023-01-20 2023-01-20 Verfahren zur Beurteilung eines Vitalparameters eines Passagiers sowie System und Kraftfahrzeug
PCT/EP2023/084258 WO2024153388A1 (de) 2023-01-20 2023-12-05 Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP4651800A1 true EP4651800A1 (de) 2025-11-26

Family

ID=89121756

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23818385.9A Pending EP4651800A1 (de) 2023-01-20 2023-12-05 Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug

Country Status (4)

Country Link
EP (1) EP4651800A1 (de)
CN (1) CN120603536A (de)
DE (1) DE102023101376A1 (de)
WO (1) WO2024153388A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0821318D0 (en) * 2008-11-24 2008-12-31 Avidan Dan Alarm system and method
US8872640B2 (en) * 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
WO2015127193A1 (en) * 2014-02-20 2015-08-27 Faurecia Automotive Seating, Llc. Vehicle seat with integrated sensors
DE102016207447A1 (de) 2016-04-29 2017-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
DE102019204201B4 (de) * 2019-03-27 2025-08-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Anpassen einer Fahrstrategie eines zumindest teilautomatisiert fahrenden Fahrzeugs
DE102020208722A1 (de) 2020-07-13 2022-01-13 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Fahrzeuginsassen vor, während und nach einer Schlafpause während einer autonomen Fahrt in einem Fahrzeug

Also Published As

Publication number Publication date
DE102023101376A1 (de) 2024-07-25
WO2024153388A1 (de) 2024-07-25
CN120603536A (zh) 2025-09-05

Similar Documents

Publication Publication Date Title
DE102019003429B4 (de) Verfahren zur Prädiktion und Verringerung kinetosebedingter Störungen
DE102019201695A1 (de) Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen
EP3197696B1 (de) Verfahren und vorrichtung zur einstellung eines thermischen komfortzustandes
DE102019204201A1 (de) Verfahren und Vorrichtung zum Anpassen einer Fahrstrategie eines zumindest teilautomatisiert fahrenden Fahrzeugs
DE102016207447A1 (de) Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
DE102020208627A1 (de) System und verfahren zum steuern eines innenumgebungszustands in einem fahrzeug
DE102020127613A1 (de) Vorrichtung und Verfahren zum Erzeugen eines Fahrer-Erfahrungs-Fahrmodells mittels Fehlerüberwachung
DE102020213483A1 (de) Einrichtung und Verfahren zur Überwachung eines Fahrers mit Epilepsie unter Verwendung von Gehirnwellen
DE102019004822A1 (de) Vorrichtung zur Durchführung einer Fahrzeugfunktion und zughöriges Verfahren
DE102016225222A1 (de) Verfahren und Vorrichtung zur Beeinflussung eines Interaktionsablaufs
DE102022118722A1 (de) Anpassungsvorrichtung, eingerichtet zur Anpassung eines Betriebs einer Steuervorrichtung eines Fahrzeugs, Verfahren und Fahrzeug
DE102023110622A1 (de) Bewertung emotionaler Zustände mit dynamischer Nutzung der Reaktionen physiologischer Sensoren
WO2017102740A1 (de) Verfahren zur erstellung einer datenstruktur, verfahren zum betrieb eines fahrzeugsystems und kraftfahrzeug
DE112020001197T5 (de) Fahrzeugleitsystem
DE102022200677A1 (de) Verfahren und System zur Ermittlung eines Kinetosewertes
DE102012016258A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102018127105A1 (de) Verfahren und Vorrichtung zur Beeinflussung eines Gemütszustands eines Benutzers eines Fahrzeuges
WO2024153388A1 (de) Verfahren zur beurteilung eines vitalparameters eines passagiers sowie system und kraftfahrzeug
DE102019203996A1 (de) Vorrichtung und Verfahren zum Erkennen von Kinetose eines Menschen in einem Fahrzeug
DE102024107862B3 (de) Ermitteln des emotionalen Zustands eines Fahrzeuginsassen
DE102024203538A1 (de) Verfahren und Fahrzeugsystem zum Steuern eines Medienerlebnisses in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug
EP4456010A1 (de) Verfahren und vorrichtung zum bereitstellen eines maschinenlernmodells zur kinetoseerkennung in einem fahrzeug
DE102019132325B4 (de) Verfahren und Anordnung zum Erhöhen des Sicherheitsgefühls in einem Rideshare-Fahrzeug, Rideshare-Fahrzeug und Computerprogrammprodukt
DE102022210066A1 (de) Kraftfahrzeug und Verfahren zum Erfassen eines Aufmerksamkeitsindikators und/oder eines physiologischen Indikators eines Nutzers
DE102016007007A1 (de) Verfahren zur Individualisierung eines Fahrzeuges

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250528

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260529