DE102011109564A1 - Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung - Google Patents

Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung Download PDF

Info

Publication number
DE102011109564A1
DE102011109564A1 DE102011109564A DE102011109564A DE102011109564A1 DE 102011109564 A1 DE102011109564 A1 DE 102011109564A1 DE 102011109564 A DE102011109564 A DE 102011109564A DE 102011109564 A DE102011109564 A DE 102011109564A DE 102011109564 A1 DE102011109564 A1 DE 102011109564A1
Authority
DE
Germany
Prior art keywords
vehicle occupant
vehicle
vital
parameter value
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102011109564A
Other languages
English (en)
Inventor
Galia Weidl
Michael Schrauf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102011109564A priority Critical patent/DE102011109564A1/de
Priority to PCT/EP2012/003107 priority patent/WO2013020648A1/de
Priority to US14/235,907 priority patent/US10327705B2/en
Publication of DE102011109564A1 publication Critical patent/DE102011109564A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), wobei ein aktueller Vitalparameterwert zumindest eines Vitalparameters des Fahrzeuginsassen (2) und gegebenenfalls ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs (1) ermittelt werden. Erfindungsgemäß wird der aktuelle Vitalparameterwert gegebenenfalls zusammen mit dem aktuellen Umgebungsparameterwert gespeichert und mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen (2) verglichen, der gegebenenfalls zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen (2) und ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung.

Description

  • Die Erfindung betrifft ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 1, eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 7 und ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung nach den Merkmalen des Oberbegriffs des Anspruchs 9.
  • Aus dem Stand der Technik ist, wie in der DE 10 2009 053 407 A1 beschrieben, ein Verfahren zur fortlaufenden Überwachung des medizinischen Zustands eines Fahrzeuginsassen, insbesondere des Fahrzeugführers, bekannt. Dabei werden mindestens ein physiologisches Signal eines physiologischen Parameters des Fahrzeuginsassen, ein Fahrzeugparameter und/oder ein Umgebungsparameter fortlaufend erfasst, ermittelt oder ausgewertet. Der physiologische Parameter des Fahrzeuginsassen wird mittels einer fahrzeuginnenseitigen Ausgabeeinheit fortlaufend ausgegeben, insbesondere auf der Instrumententafel des Fahrzeugs fortlaufend angezeigt.
  • Aus der EP 1 182 089 B2 ist ein Verfahren zur Warnung eines Fahrers eines Fahrzeugs bekannt. Dabei wird von Fahrzeugsensoren eine kritische Situation erfasst. Des Weiteren wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch eine Kameravorrichtung ein Bild des Fahrers erfasst wird und das Bild von einer Recheneinheit verarbeitet wird. Aus dem Bild wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch die Recheneinheit eine Blickrichtung des Fahrers ermittelt wird. Bei einer ermittelten hohen Aufmerksamkeit des Fahrers wird auf die Ausgabe der Warnung verzichtet. Bei mehreren gleichzeitig auszugebenden Warnungen wird eine erste Warnung vor einer kritischen Situation, die in der Blickrichtung des Fahrers liegt, erst nach einer zweiten Warnung vor einer kritischen Situation, die außerhalb der Blickrichtung des Fahrers liegt, ausgegeben.
  • In der DE 10 2009 016 936 A1 der Anmelderin, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, wird ein Fahrassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs bei Ermüdung beschrieben. Das Fahrassistenzsystem umfasst ein Müdigkeitserkennungssystem zum Erkennen einer Ermüdung des Fahrers. Bei einer mittels des Müdigkeitserkennungssystems erkannten Ermüdung des Fahrers wird ein Warnblinklicht des Fahrzeugs zum Warnen weiterer Verkehrsteilnehmer aktiviert.
  • Des Weiteren wird in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, „Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express 18, 10762–10774 (2010), dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird, ein Verfahren beschrieben, in welchem auf Grundlage mittels niedrigauflösender Videokameras unter normalen Raumlichtbedingungen erfasster Videosequenzen von Gesichtern von Personen die Herzfrequenz der Personen ermittelt wird. Dabei werden die Helligkeits-Unterschiede des von der Haut reflektierten Lichtes gemessen und ausgewertet. Es werden zunächst die Positionen von Gesichtern im Blickfeld der Kamera identifiziert, das Videobild in diesem Ausschnitt in rote, grüne und blaue Anteile herunter gebrochen und analysiert. Während eines Herzschlags dehnen sich die Blutgefäße – vor allem die Arterien – leicht aus, da der Druck steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des Lichtes, das vom Gesicht reflektiert wird.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug und ein verbessertes Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs anzugeben.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 1, eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 7 und ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 gelöst.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In einem Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug werden ein aktueller Vitalparameterwert zumindest eines Vitalparameters des Fahrzeuginsassen und gegebenenfalls ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs ermittelt.
  • Erfindungsgemäß wird der Fahrzeuginsasse identifiziert und der aktuelle Vitalparameterwert des Fahrzeuginsassen gegebenenfalls zusammen mit dem aktuellen Umgebungsparameterwert gespeichert und mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen verglichen, der gegebenenfalls zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert. D. h. der aktuelle Vitalparameterwert des jeweiligen, eindeutig identifizierten Fahrzeuginsassen wird gegebenenfalls umgebungskontextbezogen mit einem oder mehreren älteren Vitalparameterwerten dieses Fahrzeuginsassen verglichen, wobei durch die Speicherung der Vitalparameterwerte eine Kurz- bis Langzeitanalyse des Vitalzustandes des jeweiligen Fahrzeuginsassen ermöglicht ist. Der Vergleich der Entwicklung von Vitalparametern mit der Zeit umfasst kurzfristige, mittelfristige oder längerfristige Veränderungen. Es wird gegebenenfalls eine umgebungskontextbezogene Analyse eines Zeitverlaufs des Vitalparameters oder einer Mehrzahl derartiger Vitalparameter und vorzugsweise des Weiteren auch auf andere Weise ermittelter Parameter wie beispielsweise eine Aufmerksamkeit, eine Blickrichtung, unkonzentriertes Verhalten, Unruhe, Müdigkeit und/oder ein Stressniveau des Fahrzeuginsassen, insbesondere eines jeweiligen Fahrzeugführers ermöglicht. Dies ermöglicht es, einen Vitalzustand des Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus oder des emotionalen Zustandes des Fahrzeugführers bewertet werden können.
  • Die eindeutige Identifizierung des jeweiligen Fahrzeuginsassen, dessen Vitalparameterwerte jeweils ermittelt werden, kann beispielsweise mittels Gesichtserkennung durch Auswertung zumindest eines aktuell erfassten Bildes des jeweiligen Fahrzeuginsassen oder durch eine andere Möglichkeit der Identifizierung erfolgen, zum Beispiel durch eine Anmeldung im Fahrzeug mittels eines Passwortes, mittels eines Codes, durch Einlesen eines Fingerabdrucks oder mittels einer Spracherkennung. D. h. es können beispielsweise auch wenn mehrere Personen abwechselnd das Fahrzeug nutzen, die Personen eindeutig identifiziert werden und die jeweils ermittelten Vitalparameterwerte der jeweiligen Person zugeordnet und personenbezogen gespeichert und ausgewertet werden.
  • Die Vitalparameter und/oder aus diesen ermittelbare Symptome werden automatisch über kurze, mittlere und/oder längere Zeitintervallen überwacht und deren Trendentwicklung beobachtet. Dazu ist es bereits ausreichend, wenn sich der jeweilige Fahrzeuginsasse nur jeweils wenige Minuten pro Tag im Fahrzeug aufhält.
  • Insbesondere durch die umgebungskontextbezogene Analyse des aktuellen Vitalparameterwertes im Vergleich zu älteren Vitalparameterwerten kann ein aktueller Zustand, insbesondere Vitalitätszustand des Fahrzeuginsassen sehr gut beurteilt werden, da beispielsweise bei einer neuen Umgebung eine Verschlechterung von Vitalparameterwerten aufgrund eines höheren Stressniveaus normal ist. Weicht der aktuelle Vitalparameterwert jedoch sehr stark von einem älteren Vitalparameterwert ab, welcher bei einem gleichen Umgebungsparameterwert, d. h. bei einer vergleichbaren Umgebung, zum Beispiel während eines täglichen Arbeitsweges, eines täglichen Weges nach Hause, zum Einkaufen oder Training, d. h. während häufig wiederkehrender Aktivitäten ermittelt wurde oder welcher bei sich sehr ähnelnden Umgebungsparametern ermittelt wurde, beispielsweise bei einem dem Fahrzeugführer bekannten Straßentyp oder Kreuzungstyp, so deutet dies auf eine Vverschlechterung des Vitalzustandes des Fahrers und/oder auf gesundheitliche Probleme hin, welche zu einer möglichen Notsituation führen könnten oder welchen mittels der Assistenzvorrichtung entgegengewirkt werden kann, beispielsweise mit einer geeigneten Komfortfunktion des Fahrzeugs. So kann beispielsweise mittels einer Massagefunktion in einem Fahrzeugsitz eine Schmerzlinderung bewirkt werden. Um einem erhöhten Stressniveau oder einer Müdigkeit des Fahrzeugführers entgegenzuwirken, können beispielsweise mittels einer Lüftungs- und/oder Klimafunktion des Fahrzeugs ätherische Öle versprüht werden, welche aktivierend, erfrischend oder beruhigend wirken. So wirkt beispielsweise Lavendelöl beruhigend, Thymian aktivierend, Jasminöl stark spasmolytisch, sedativ und antidepressiv und Orangen- und Zitronenöl wirken stimmungsaufhellend. Des Weiteren kann entsprechend auf ein chronisches Krankheitsprofil des Fahrzeuginsassen reagiert werden, welches durch Ermittlung des oder der Vitalparameter festgestellt werden kann, beispielsweise Bluthochdruck, eine Virusinfektion oder eine chronisch obstruktive Lungenerkrankung (COPD).
  • D. h. mittels des Verfahrens ist eine ganzheitliche Situationsanalyse des Fahrzeuginsassen, des Fahrzeugs und der Fahrzeugumgebung möglich und Informationen und/oder Warnungen an den Fahrzeuginsassen sind dynamisch zu gestalten und an die ermittelten und analysierten Vitalparameter anzupassen. Des Weiteren kann die Assistenzvorrichtung oder können die Assistenzvorrichtungen an einen Vitalzustand des Fahrzeugführers angepasst werden, um auf diese Weise eine Sicherheit und einen Komfort der Fahrzeuginsassen zu optimieren.
  • Die gespeicherten Vitalparameter bzw. Vitalparameterwerte stehen, da sie im Fahrzeug aufgezeichnet und gespeichert werden, des Weiteren auch beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann. Des Weiteren kann durch eine Langzeitanalyse der gespeicherten Vitalparameter beispielsweise ein Langzeit-Elektrokardiogramm erstellt und analysiert werden und auf diese Weise beispielsweise automatisch eine Herzrhythmusstörung, auch Arrhythmie genannt, erkannt werden und der Fahrzeuginsasse gewarnt werden. Beispielsweise kann ihm ein Arztbesuch empfohlen werden.
  • Die Umgebungsparameterwerte können beispielsweise mittels einer oder mehrerer Umgebungsparametersensoreinheiten ermittelt werden, beispielsweise mittels einer Einheit zur Positionsermittlung des Fahrzeugs mittels eines globalen Navigationssatellitensystems zur Positionsbestimmung. Auf diese Weise können die ermittelten Vitalparameterwerte einer jeweiligen Fahrzeugposition und dadurch einer jeweiligen Fahrzeugumgebung zugeordnet werden. Des Weiteren kann, alternativ oder zusätzlich, diese Umgebungsparametersensoreinheit oder eine weitere Umgebungsparametersensoreinheit als eine Einrichtung zur Umgebungserfassung des Fahrzeugs ausgebildet sein, welche zum Beispiel eine Radar-, Lidar- und/oder Ultraschallsensorik und/oder ein oder mehrere Kameras, beispielsweise Mono- und/oder Stereokameras aufweist. Insbesondere mittels derartiger Kameras können beispielsweise Straßen und/oder Kreuzungen erfasst werden, so dass die Vitalparameterwerte beispielsweise einem jeweiligen Straßen- oder Kreuzungstyp, einer jeweiligen Verkehrssituation, oder zum Beispiel einer Autobahnsituation zugeordnet werden können. Dadurch können entsprechend die Vitalparameterwerte, welche in Zusammenhang mit gleichen Fahrsituationen oder Fahrzeugumgebungen ermittelt wurden, miteinander verglichen werden, so dass beispielsweise kurzfristige Verschlechterungen der Vitalparameter sehr schnell ermittelbar sind und durch die Langzeitanalyse auch langfristige Veränderungen ermittelbar sind und der Fahrzeuginsasse darauf hingewiesen werden kann.
  • Zweckmäßigerweise wird als aktueller Vitalparameterwert eine Pulsfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen und/oder eine Herzratenvariabilität und/oder eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen, auch als Sauerstoffsättigung bezeichnet, und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen und/oder Schmerzzustände des Fahrzeuginsassen ermittelt. Die Herzfrequenzvariabilität, auch als Herzratenvariabilität (HRV) bezeichnet, steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen, so dass sie über die ermittelte Herzfrequenz, Atemfrequenz und das ermittelte Atemzugvolumen ermittelbar ist. Aus der Herzfrequenzvariabilität können auch zusätzliche Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz-Kreislauf-Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden. Anhand der Vitalparameter können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser Vitalparameterwerte kann der aktuelle Vitalzustand des Fahrzeuginsassen ausreichend genau beurteilt werden, um gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme schließen zu können.
  • Der aktuelle Vitalparameterwert kann beispielsweise mittels einer Vitalparametersensoreinheit ermittelt werden, welche an einem Fahrzeugsitz, an einem Sicherheitsgurt oder an einem Lenkrad des Fahrzeugs angeordnet ist. Die Sensoreinheit kann in „Smart Textilien” am Fahrzeug oder am Fahrzeuginsassen integriert sein. Es sind beispielsweise auch eine Mehrzahl derartiger Vitalparametersensoreinheiten für einen oder mehrere Vitalparameter möglich. In einer besonders vorteilhaften Ausführungsform wird der aktuelle Vitalparameterwert jedoch, alternativ oder zusätzlich, durch Bildauswertung mittels zumindest einer Bilderfassungseinheit erfasster Bilder des Fahrzeuginsassen ermittelt. D. h. die Bilderfassungseinheit ist die Vitalparametersensoreinheit. Auf diese Weise kann auch der jeweilige Fahrzeuginsasse, dessen Vitalparameterwerte bestimmt werden, eindeutig identifiziert werden, beispielsweise mittels einer Gesichtserkennung, so dass die ermittelten Vitalparameterwerte eindeutig dem jeweiligen Fahrzeuginsassen zugeordnet und im Fahrzeug personenbezogen gespeichert und ausgewertet werden können.
  • Als Bilderfassungseinheit dient dabei vorzugsweise eine bereits im Fahrzeug, beispielsweise im Bereich einer Lenksäule oder im Bereich einesm sichtbar positionierten Telematik-Displays installierte und auf den oder die Fahrzeuginsassen, bevorzugt auf einen Fahrzeugführer gerichtete Bilderfassungseinheit. Mittels dieser Bilderfassungseinheit können auch gleichzeitig Vitalparameterwerte mehrerer Vitalparameter des jeweiligen Fahrzeuginsassen erfasst werden bzw. es können alle Daten gleichzeitig erfasst werden, aus welchen mittels einer Bildauswertung die Vitalparameterwerte des jeweiligen Fahrzeuginsassen ermittelt werden können. Derartige Bilderfassungseinheiten sind beispielsweise zur Aufmerksamkeitserkennung des Fahrzeugsführers im Fahrzeug installiert. Dabei ist bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend. Eine Robustheit einer Signaldetektion der Bilderfassungseinheit wird durch teilweise redundante Informationen beispielsweise in einem RGB Farbsignal der Bilderfassungseinheit und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit erforderlich, sondern die vorhandene Bilderfassungseinheit wird in einen Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
  • Vorzugsweise wird der aktuelle Vitalparameterwert durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameterwerte, insbesondere die Pulsfrequenz ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, „Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express 18, 10762–10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
  • Vorzugsweise wird während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchem ein ausreichend großer Hautbereich des Fahrzeuginsassen abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug installierte Bilderfassungseinheiten, welche beispielsweise zur Aufmerksamkeitserkennung eingesetzt werden, auf das Gesicht des Fahrzeuginsassen, insbesondere des Fahrzeugführers gerichtet sind. Es können mit dem Verfahren auch gleichzeitig Vitalparameterwerte ein oder mehrerer Vitalparameter von mehreren Fahrzeuginsassen ermittelt werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen befinden, und getrennt voneinander ausgewertet werden.
  • Zweckmäßigerweise werden als Bilder des Fahrzeuginsassen Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des aktuellen Vitalparameterwertes zumindest ein Farbkanal ausgewertet wird. Beispielsweise wird der zur Bildauswertung geeignete Bereich in rote, grüne und blaue Anteile, d. h. Farbkanäle unterteilt. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist.
  • Aus einer Kombination der Farbkanäle, genauer gesagt aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Farbkanälen bzw. Farbsignalen können beispielsweise die Hauttemperatur, die Sauerstoffkonzentration bzw. Sauerstoffsättigung und der Blutdruck des Fahrzeuginsassen ermittelt werden.
  • Vorzugsweise wird mittels schneller Fourier-Transformation eine spektrale Leistungsdichte des Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die Helligkeitsunterschiede des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameterwerte ermittelt werden.
  • Die auf diese Weise ermittelten Vitalparameterwerte können auch mit auf andere Weise ermittelten Werten der Fahrzeuginsassen kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes der Fahrzeuginsassen zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können beispielsweise durch in einem Fahrzeugsitz oder in Fahrersitztextilien integrierte Sensoren Bewegungen des jeweiligen Fahrzeuginsassen, insbesondere des Fahrzeugführers ermittelt werden, welche auf unkonzentriertes Verhalten, Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Dies kann beispielsweise mit der ermittelten Pulsfrequenz kombiniert werden, um eine bessere Einschätzung zu erhalten.
  • Eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug umfasst zumindest eine Vitalparametersensoreinheit zur Ermittlung eines aktuellen Vitalparameterwertes zumindest eines Vitalparameters des Fahrzeuginsassen und zumindest eine Umgebungsparametersensoreinheit zur Ermittlung zumindest eines aktuellen Umgebungsparameterwertes zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs.
  • Erfindungsgemäß ist der Fahrzeuginsasse identifizierbar und der aktuelle Vitalparameterwert des Fahrzeuginsassen ist zusammen mit dem aktuellen Umgebungsparameterwert in einer Speichereinheit speicherbar. Der aktuelle Vitalparameterwert ist in einer Auswerteeinheit mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen vergleichbar, der zusammen mit einem älteren Umgebungsparameterwert in der Speichereinheit gespeichert ist, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  • Dies ermöglicht es, wie bereits zum mittels der Vorrichtung durchführbaren Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug beschrieben, einen Vitalzustand des Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern.
  • Die eindeutige Identifizierung des jeweiligen Fahrzeuginsassen, dessen Vitalparameterwerte jeweils ermittelt werden, kann beispielsweise mittels Gesichtserkennung durch Auswertung zumindest eines aktuell erfassten Bildes des jeweiligen Fahrzeuginsassen oder durch eine andere Möglichkeit der Identifizierung erfolgen, zum Beispiel durch eine Anmeldung im Fahrzeug mittels eines Passwortes, mittels eines Codes, durch Einlesen eines Fingerabdrucks oder mittels einer Spracherkennung. D. h. es können beispielsweise auch wenn mehrere Personen abwechselnd das Fahrzeug nutzen, die Personen eindeutig identifiziert werden und die jeweils ermittelten Vitalparameterwerte der jeweiligen Person zugeordnet und personenbezogen gespeichert und ausgewertet werden.
  • Die Umgebungsparametersensoreinheit ist beispielsweise eine Einheit zur Positionsermittlung des Fahrzeugs mittels eines globalen Navigationssatellitensystems zur Positionsbestimmung. Des Weiteren kann, alternativ oder zusätzlich, diese Umgebungsparametersensoreinheit oder eine weitere Umgebungsparametersensoreinheit als eine Einrichtung zur Umgebungserfassung des Fahrzeugs ausgebildet sein, welche zum Beispiel eine Radar-, Lidar- und/oder Ultraschallsensorik und/oder eine oder mehrere Kameras, beispielsweise Mono- und/oder Stereokameras aufweist. Insbesondere mittels derartiger Kameras sind beispielsweise Straßen und/oder Kreuzungen erfassbar, so dass die Vitalparameterwerte beispielsweise einem jeweiligen Straßen- oder Kreuzungstyp oder einer jeweiligen Verkehrssituation, zum Beispielzum Beispiel einer Autobahnsituation zuzuordnen sind. Dadurch sind entsprechend die Vitalparameterwerte, welche in Zusammenhang mit gleichen Fahrsituationen oder Fahrzeugumgebungen ermittelt wurden, miteinander vergleichbar, so dass beispielsweise kurzfristige Verschlechterungen der Vitalparameter sehr schnell ermittelbar sind und durch die Langzeitanalyse auch langfristige Veränderungen ermittelbar sind und der Fahrzeuginsasse darauf hingewiesen werden kann.
  • Der aktuelle Vitalparameterwert ist mittels der Vorrichtung umgebungskontextbezogen mit einem oder mehreren älteren Vitalparameterwerten vergleichbar, wobei durch die Speicherung der Vitalparameterwerte eine Kurzzeit-, Mittelfrist- oder Langzeitanalyse des Vitalzustandes des jeweiligen Fahrzeuginsassen ermöglicht ist. D. h. es ist eine umgebungskontextbezogene Analyse eines Zeitverlaufs des Vitalparameters oder einer Mehrzahl derartiger Vitalparameter und vorzugsweise des Weiteren auch auf andere Weise ermittelter Parameter wie beispielsweise eine Aufmerksamkeit, eine Blickrichtung, unkonzentriertes Verhalten, Unruhe, Müdigkeit und/oder ein Stressniveau des Fahrzeuginsassen, insbesondere eines Fahrzeugführers ermöglicht.
  • Die Vitalparameter und/oder aus diesen ermittelbare Symptome sind automatisch über längere Zeit überwachbar und deren Trendentwicklung beobachtbar. Dazu ist es bereits ausreichend, wenn sich der jeweilige Fahrzeuginsasse nur jeweils wenige Minuten pro Tag im Fahrzeug aufhält.
  • Insbesondere durch die umgebungskontextbezogene Analyse des aktuellen Vitalparameterwertes im Vergleich zu älteren Vitalparameterwerten ist ein aktueller Zustand, insbesondere Vitalitätszustand des Fahrzeuginsassen sehr gut beurteilbar, da beispielsweise bei einer neuen Umgebung eine Verschlechterung von Vitalparameterwerten aufgrund eines höheren Stressniveaus normal ist. Weicht der aktuelle Vitalparameterwert jedoch sehr stark von einem älteren Vitalparameterwert ab, welcher bei einem gleichen Umgebungsparameterwert, d. h. bei einer vergleichbaren Umgebung, zum Beispiel während eines täglichen Arbeitsweges, eines täglichen Weges nach Hause, zum Einkaufen oder Training, d. h. während häufig wiederkehrender Aktivitäten ermittelt wurde oder welcher bei sich sehr ähnelnden Umgebungsparametern ermittelt wurde, beispielsweise bei einem dem Fahrzeugführer bekannten Straßentyp oder Kreuzungstyp, so deutet dies auf Verschlechterung des Vitalzustandes des Fahrers oder auf gesundheitliche Probleme hin, welche zu einer möglichen Notsituation führen könnten oder welchen mittels der Assistenzvorrichtung entgegengewirkt werden kann, beispielsweise mit einer geeigneten Komfortfunktion des Fahrzeugs. So kann beispielsweise mittels einer Massagefunktion in einem Fahrzeugsitz eine Schmerzlinderung bewirkt werden. Um einem erhöhten Stressniveau oder einer Müdigkeit des Fahrzeugführers entgegenzuwirken, können beispielsweise mittels einer Lüftungs- und/oder Klimafunktion des Fahrzeugs ätherische Öle versprüht werden, welche aktivierend, erfrischend oder beruhigend wirken. So wirkt beispielsweise Lavendelöl beruhigend, Thymian aktivierend, Jasminöl stark spasmolytisch, sedativ und antidepressiv und Orangen- und Zitronenöl wirken stimmungsaufhellend. Des Weiteren kann entsprechend auf ein chronisches Krankheitsprofil des Fahrzeuginsassen reagiert werden, welches durch Ermittlung des oder der Vitalparameter festgestellt werden kann, beispielsweise Bluthochdruck, eine Virusinfektion oder eine chronisch obstruktive Lungenerkrankung (COPD).
  • D. h. mittels der Vorrichtung und des mit dieser durchführbaren Verfahrens ist eine ganzheitliche Situationsanalyse des Fahrzeuginsassen, des Fahrzeugs und der Fahrzeugumgebung möglich und Informationen und/oder Warnungen an den Fahrzeuginsassen sind dynamisch zu gestalten und an die ermittelten und analysierten Vitalparameter anzupassen. Des Weiteren kann die Assistenzvorrichtung oder können die Assistenzvorrichtungen an einen Vitalzustand des Fahrzeugführers angepasst werden, um auf diese Weise eine Sicherheit und einen Komfort der Fahrzeuginsassen zu optimieren.
  • Die gespeicherten Vitalparameter bzw. Vitalparameterwerte stehen, da sie im Fahrzeug aufgezeichnet und gespeichert sind, des Weiteren auch beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann. Des Weiteren kann durch eine Langzeitanalyse der gespeicherten Vitalparameter beispielsweise ein Langzeit-Elektrokardiogramm erstellt und analysiert werden und auf diese Weise beispielsweise automatisch eine Herzrhythmusstörung, auch Arrhythmie genannt, erkannt werden und der Fahrzeuginsasse gewarnt werden. Beispielsweise kann ihm ein Arztbesuch empfohlen werden.
  • Die Vitalparametersensoreinheit ist beispielsweise an einem Fahrzeugsitz, an einem Sicherheitsgurt oder an einem Lenkrad des Fahrzeugs angeordnet. Es sind beispielsweise auch eine Mehrzahl derartiger Vitalparametersensoreinheiten für einen oder mehrere Vitalparameter möglich. In einer besonders vorteilhaften Ausführungsform umfasst die Vorrichtung jedoch, alternativ oder zusätzlich, zumindest eine Bilderfassungseinheit zur Erfassung von Bildern des Fahrzeuginsassen und eine Bildverarbeitungseinheit, mittels welcher durch Bildauswertung der erfassten Bilder ein Vitalparameterwert des Vitalparameters des Fahrzeuginsassen ermittelbar ist, wie bereits zum mittels der Vorrichtung durchführbaren Verfahren beschrieben.
  • In einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs unter Verwendung des Verfahrens zur Überwachung zumindest eines Fahrzeuginsassen wird erfindungsgemäß zumindest eine Funktion der Assistenzvorrichtung aktiviert, wenn ein aktueller Vitalparameterwert zumindest eines Vitalparameters eines jeweiligen Fahrzeuginsassen von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht und/oder von einem gespeicherten älteren Vitalparameterwert des jeweiligen Fahrzeuginsassen abweicht, der zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert. Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich verschlechternden Vitalparameterwerten des oder der Fahrzeuginsassen, insbesondere eines Fahrzeugführers, unterstützend eingreifen, um beispielsweise auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. Dies kann, da die Vitalparameterwerte umgebungskontextbezogen miteinander verglichen werden, sehr genau erfolgen, da die Gefahr einer falschen Bewertung von Vitalparameterwerten auf diese Weise stark reduziert ist. So werden beispielsweise die Funktionen der Assistenzvorrichtung nicht aktiviert, wenn eine Verschlechterung von Vitalparameterwerten lediglich auf ein erhöhtes Stressniveau aufgrund einer unbekannten Umgebung zurückzuführen ist, oder es werden gezielt beispielsweise Komfortfunktionen aktiviert, um dadurch eine Entspannung des Fahrzeuginsassen zu ermöglichen. Verschlechtern sich die ermittelten aktuellen Vitalparameterwerte jedoch gegenüber älteren Vitalparameterwerten, welche in einer vergleichbaren Umgebung erfasst wurden, beispielsweise auf einem täglichen Arbeitsweg, so deutet dies auf akute gesundheitliche Probleme und/oder auf Verschlechterung des Vitalzustandes des Fahrers hin, so dass entsprechend andere Funktionen der Assistenzvorrichtung zu aktivieren sind.
  • Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs zum Beispiel automatisch an einen Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs derart erfolgen, dass das Fahrzeug autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines nächstgelegenen Krankenhauses.
  • Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen zu warnen, beispielsweise um einen eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen auf einen schlechten oder sich verschlechternden Vitalzustand des Fahrzeugführers hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs betätigen können, um das Fahrzeug abzubremsen und/oder an den Fahrbahnrand zu steuern.
  • Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können Vitalparameterwerte des oder der Fahrzeuginsassen verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameterwerte auf eine Ermüdung insbesondere des Fahrzeugführers hindeuten. Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs aktiviert werden. Dabei können zur Erfrischung der Fahrzeuginsassen beispielsweise auch ätherische Öle oder andere erfrischende Mittel in den Innenraum des Fahrzeugs eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse kann auf diese Weise beispielsweise auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs, d. h. beispielsweise ein Autoradio.
  • Zudem können der oder die Fahrzeuginsassen auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die Vitalparameter des oder der Fahrzeuginsassen, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, insbesondere umgebungskontextbezogen, so dass auch langsame Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten Vitalparameterwerte an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs ermittelt und mit dem Notruf weitergeleitet.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 eine schematische Darstellung eines Fahrzeugs mit einem Fahrzeuginsassen und einer auf diesen gerichteten Bilderfassungseinheit,
  • 2 eine schematische Darstellung von drei Farbkanälen,
  • 3 eine Detailansicht eines Bereichs aus 2,
  • 4 eine schematische Darstellung von Koeffizienten eines erfassten Farbsignals und
  • 5 schematisch einen Verfahrensablauf.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Fahrzeuginsassen 2 und einer auf diesen gerichteten Bilderfassungseinheit 3 als Vorrichtung zur Überwachung des Fahrzeuginsassen 2. In einem Verfahren zur Überwachung des Fahrzeuginsassen 2 werden mittels der Bilderfassungseinheit 3, welche eine Vitalparametersensoreinheit bildet, Bilder des Fahrzeuginsassen 2 erfasst, beispielsweise in Form einer Videosequenz, und mittels einer Bildverarbeitungseinheit 4 ausgewertet, um auf diese Weise zumindest einen aktuellen Vitalparameterwert des Fahrzeuginsassen 2 zu ermitteln, beispielsweise eine Pulsfrequenz bzw. Herzfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen. Daraus kann eine Herzfrequenzvariabilität ermittelt werden. Die Herzfrequenzvariabilität, auch als Herzratenvariabilität (HRV) bezeichnet, steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen. Aus der Herzfrequenzvariabilität können auch zusätzliche Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz Kreislauf Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden.
  • Des Weiteren können beispielsweise eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen 2, auch als Sauerstoffsättigung bezeichnet, und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen 2 und/oder Schmerzzustände des Fahrzeuginsassen 2 ermittelt werden. Mittels des oder der ermittelten Vitalparameterwerte des Fahrzeuginsassen 2 können ein Vitalzustand des Fahrzeuginsassen 2 und eine Veränderung des Vitalzustandes beurteilt werden.
  • Anhand der Vitalparameterwerte können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser weiteren Vitalparameter kann eine Beurteilung des aktuellen Vitalzustandes des Fahrzeuginsassen 2 optimiert werden, so dass gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen 2, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
  • Die Bilderfassungseinheit 3 ist vorzugsweise eine bereits im Fahrzeug 1, beispielsweise, wie hier dargestellt, im Bereich einer Lenksäule oder im Bereich einesm sichtbar positionierten Telematik-Displays installierte und auf den Fahrzeuginsassen 2, im hier dargestellten Beispiel auf einen Fahrzeugführer gerichtete Bilderfassungseinheit 3. Zur Durchführung des Überwachungsverfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug 1 übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend. Mittels dieser Bilderfassungseinheit 3 werden die aktuellen Vitalparameterwerte des Fahrzeuginsassen 2 alle gleichzeitig erfasst bzw. es werden alle Daten gleichzeitig erfasst, aus welchen mittels einer Bildauswertung die aktuellen Vitalparameterwerte des Fahrzeuginsassen 2 ermittelt werden können.
  • Eine Robustheit einer Signaldetektion der Bilderfassungseinheit 3 wird durch teilweise redundante Informationen beispielsweise in einem RGB Farbsignal der Bilderfassungseinheit 3 und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit 3 erforderlich, sondern die vorhandene Bilderfassungseinheit 3 wird in einen Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
  • Der zumindest eine Vitalparameterwert wird bzw. die Vitalparameterwerte werden durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen 2 und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter des Fahrzeuginsassen 2, insbesondere die Pulsfrequenz bzw. Herzfrequenz und bevorzugt auch die Atemfrequenz und das Atemzugvolumen ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, „Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express 18, 10762–10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
  • Während der Bildverarbeitung wird mittels geeigneter Methoden zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich wird ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchen ein ausreichend großer Hautbereich des Fahrzeuginsassen 2 abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen 2 beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug 1 installierte Bilderfassungseinheiten 3, welche beispielsweise zur Aufmerksamkeitserkennung eingesetzt werden, wie auch im hier dargestellten Beispiel auf das Gesicht des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers gerichtet sind.
  • Das Auffinden derartiger zur Bildauswertung geeigneter Bereiche ist beispielsweise mittels Methoden zur Gesichtserkennung in Bildern möglich. Es können mit dem Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren Fahrzeuginsassen 2 ermittelt werden, wenn mehrere Fahrzeuginsassen 2 von der Bilderfassungseinheit 3 erfasst werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen 2 befinden, und getrennt voneinander ausgewertet werden. Des Weiteren kann auf diese Weise der jeweilige Fahrzeuginsasse 2 mittels der Gesichtserkennungsfunktion eindeutig identifiziert werden, so dass die ermittelten Vitalparameterwerte dem jeweiligen Fahrzeuginsassen 2 eindeutig zugeordnet werden können. So können beispielsweise auch, wenn mehrere Personen abwechselnd das Fahrzeug 1 nutzen, die Personen eindeutig identifiziert werden und die jeweils ermittelten Vitalparameterwerte der jeweiligen Person zugeordnet und personenbezogen gespeichert und ausgewertet werden.
  • Als Bilder des Fahrzeuginsassen 2 werden zweckmäßigerweise Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbanteile oder Farbkanäle aufgespalten wird, bei RGB-Bildern in die entsprechenden RGB-Farbkanäle, d. h. in einen roten Farbkanal R, einen grünen Farbkanal G und einen blauen Farbkanal B, wie in 2 dargestellt, und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal RGB ausgewertet wird. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal, d. h. der grüne Farbkanal G ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist. In 2 sind diese Verläufe der Farbkanäle RGB über die Zeit t dargestellt.
  • Durch Auswertung der niederfrequenten Schwingungen NS der Farbsignale bzw. Farbkanäle RGB wird die Atemfrequenz ermittelt, durch Auswertung der Amplituden A der niederfrequenten Schwingungen NS wird das Atemzugvolumen ermittelt und durch Auswertung der hochfrequenten Schwingungen HS wird die Herzfrequenz ermittelt. In 3 sind die hochfrequenten Schwingungen HS einer einzelnen niederfrequenten Schwingung NS eines der Farbkanäle RGB dargestellt.
  • Mittels schneller Fourier-Transformation wird eine spektrale Leistungsdichte des auszuwertenden Farbkanals RGB des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die Helligkeitsunterschiede des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter des oder der Fahrzeuginsassen 2 ermittelt werden.
  • In 4 sind Koeffizienten KR, KG, KB des in die drei Farbkanäle RGB aufgespaltenen Farbsignals einer Hautpartie des Fahrzeuginsassen 2, zum Beispiel von dessen Gesicht dargestellt. Aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Koeffizienten KR, KG, KB des RGB Farbsignals können die Hauttemperatur, der Blutdruck und die Sauerstoffsättigung des Blutes des Fahrzeuginsassen 2 ermittelt werden.
  • Das Verfahren ist aufgrund der Bilderfassungseinheit 3, welche lediglich eine geringe Auflösung aufweisen muss, sowie aufgrund der Durchführung unter normalen Umgebungslichtbedingungen, d. h. ohne zusätzliche spezielle Lichtquellen, sehr einfach und kostengünstig im Fahrzeug 1 zu implementieren und durchzuführen. Zudem ist das Verfahren sehr robust gegenüber unterschiedlichen Hautfarben sowie gegenüber Bewegungen des oder der Fahrzeuginsassen 2 während der Bilderfassung. Die Ermittlung der aktuellen Vitalparameterwerte ist dabei ausreichend exakt, um den Vitalzustand des oder der Fahrzeuginsassen 2 sowie eine Veränderung des Vitalzustandes anhand des oder der ermittelten Vitalparameterwerte ausreichend genau bestimmen zu können, so dass ein Vitalzustand, welcher beispielsweise auf eine akute Notsituation hindeutet und medizinische Hilfe erfordert oder welcher beispielsweise Auswirkungen auf das sichere Führen des Fahrzeugs 1 haben könnte, mit einer hohen Sicherheit erkennbar ist.
  • Des Weiteren wird, um derartige, auf Erkrankungen, Notzustände oder Komforteinbußen hindeutende Veränderungen der Vitalparameterwerte noch besser beurteilen zu können, mittels zumindest einer Umgebungsparametersensoreinheit 5 ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters ermittelt. Dies kann beispielsweise eine aktuelle Position des Fahrzeugs 1 sein, welche mittels eines globalen Navigationssatellitensystems zur Positionsbestimmung ermittelt wird. Alternativ oder zusätzlich können beispielsweise ein Straßen- und/oder Kreuzungstyp bestimmt werden, auf welchem sich das Fahrzeug 1 gerade befindet. Zu diesem Zweck ist die Umgebungsparametersensoreinheit 5 oder eine weitere Umgebungsparametersensoreinheit beispielsweise als Radar-, Lidar- und/oder Ultraschallsensorik und/oder ein oder mehrere Kameras, beispielsweise Mono- und/oder Stereokameras und/oder C2X Kommunikation ausgebildet. C2X steht dabei als Abkürzung für „Fahrzeug zu Kreuzung” oder „Fahrzeug zu Fahrzeug” (car to car). Das „X” kann also nicht nur ein anderes Fahrzeug sondern auch eine verkehrsrelevante Infrastruktureinheit darstellen. Die entsprechenden, umgebungsrelevanten Daten werden fusioniert, die entsprechende Entwicklung der Verkehrssituation, inklusive auch derie anderen Verkehrsteilnehmer, wird kognitiv analysiert und dasie Risiko wird bewertet in Abhängigkeit vomn den Vitalzustand, der Aufmerksamkeit oder der Ablenkung oder der Müdigkeit des Fahrers bewertet.
  • Dies ermöglicht eine kontextbezogene Analyse der ermittelten Vitalparameterwerte im Kontext der Fahrzeugumgebung. D. h. die ermittelten aktuellen Vitalparameterwerte können auf diese Weise mit bereits gespeicherten älteren Vitalparameterwerten verglichen werden, welche zu früheren Zeitpunkten an derselben Position ermittelt wurden oder welche in einer ähnlichen Umgebung ermittelt wurden, beispielsweise in einer ähnlichen Fahrsituation, zum Beispiel auf einer Autobahn. Des Weiteren kann in die kontextbezogene Analyse der erfassten Vitalparameterwerte einbezogen werden, ob sich der Fahrzeugführer gerade in einer ihm bekannten Verkehrssituation befindet, beispielsweise auf einem täglichen Weg zur Arbeit, nach Hause, zum Einkaufen oder zum Training, oder in einer ungewöhnlichen, für ihn neuen Fahrsituation, wodurch sich dessen Vitalparameterwerte beispielsweise aufgrund eines erhöhten Stressniveaus ändern. Es ist daher beispielsweise auf einfache Weise ermittelbar, ob verschlechterte Vitalparameterwerte auf eine akute Notsituation oder auf für den Fahrzeuginsassen 2 neue Umgebungsparameter zurückzuführen sind. Dementsprechend sind Funktionen einer Assistenzvorrichtung unterschiedlich zu aktivieren. In einer akuten Notsituation ist beispielsweise ein Notruf zu aktivieren und das Fahrzeug 1 durch einen gezielten Eingriff in ein Bremssystem, ein Lenksystem und/oder einen Antriebsstrang beispielsweise autonom zu steuern, um es zum Beispiel sicher anzuhalten. Bei lediglich aufgrund einer ungewohnten Umgebung verschlechterten Vitalparameterwerten sind beispielsweise stressreduzierende Funktionen der Assistenzvorrichtung zu aktivieren, zum Beispiel eine Massagefunktion im Fahrzeugsitz, eine Audioanlage des Fahrzeugs 2, um beruhigende Musik zu spielen oder eine Klima- und/oder Lüftungsfunktion des Fahrzeugs 1, mittels welcher beispielsweise ätherische Öle versprüht werden können.
  • Über die Langzeitanalyse der gespeicherten Vitalparameterwerte des Fahrzeuginsassen 2 ist des Weiteren eine langfristige Beurteilung seines Vital- und Gesundheitszustandes des jeweiligen Fahrzeuginsassen 2 möglich.
  • Um diese umgebungskontextbezogene Analyse der Vitalparameterwerte zu ermöglichen, wird der aktuell ermittelte Vitalparameterwert zusammen mit dem aktuell ermittelten Umgebungsparameterwert in einer Speichereinheit 6 gespeichert. Des Weiteren wird der aktuelle Vitalparameterwert in einer Auswerteeinheit 7 mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen 2 verglichen, der zusammen mit einem älteren Umgebungsparameterwert in der Speichereinheit 6 gespeichert ist, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  • D. h. der aktuelle Vitalparameterwert wird umgebungskontextbezogen mit einem oder mehreren älteren Vitalparameterwerten verglichen, wobei durch die Speicherung der Vitalparameterwerte die Kurzzeit-, Mittelfrist- und/oder Langzeitanalyse des Vitalzustandes des jeweiligen Fahrzeuginsassen 2 ermöglicht ist. D. h. es wird eine umgebungskontextbezogene Analyse eines Zeitverlaufs des Vitalparameters oder einer Mehrzahl derartiger Vitalparameter und vorzugsweise des Weiteren auch auf andere Weise ermittelter Parameter wie beispielsweise eine Aufmerksamkeit, Ablenkung, eine Blickrichtung, unkonzentriertes Verhalten, Unruhe, Müdigkeit und/oder ein Stressniveau des Fahrzeuginsassen 2, insbesondere eines Fahrzeugführers ermöglicht
  • Die Vitalparameter und/oder aus diesen ermittelbare Symptome werden automatisch über längere Zeit überwacht und deren Trendentwicklung beobachtet. Dazu ist es bereits ausreichend, wenn sich der jeweilige Fahrzeuginsasse 2 nur jeweils wenige Minuten pro Tag im Fahrzeug 1 aufhält.
  • Insbesondere durch die umgebungskontextbezogene Analyse des aktuellen Vitalparameterwertes im Vergleich zu älteren Vitalparameterwerten kann ein aktueller Zustand, insbesondere Vitalitätszustand des Fahrzeuginsassen 2 sehr gut beurteilt werden, da beispielsweise bei einer neuen Umgebung eine Verschlechterung von Vitalparameterwerten aufgrund eines höheren Stressniveaus normal ist. Weicht der aktuelle Vitalparameterwert jedoch sehr stark von einem älteren Vitalparameterwert ab, welcher bei einem gleichen Umgebungsparameterwert, d. h. bei einer vergleichbaren Umgebung, zum Beispiel während eines täglichen Arbeitsweges, eines täglichen Weges nach Hause, zum Einkaufen oder Training, d. h. während häufig wiederkehrender Aktivitäten ermittelt wurde oder welcher bei sich sehr ähnelnden Umgebungsparametern ermittelt wurde, beispielsweise bei einem dem Fahrzeugführer bekannten Straßentyp oder Kreuzungstyp, so deutet dies auf gesundheitliche Probleme hin, welche zu einer möglichen Notsituation führen könnten oder welchen mittels der Assistenzvorrichtung entgegengewirkt werden kann, beispielsweise, wie bereits beschrieben, mit einer geeigneten Komfortfunktion des Fahrzeugs 1. So kann beispielsweise mittels einer Massagefunktion in einem Fahrzeugsitz eine Schmerzlinderung bewirkt werden. Um einem erhöhten Stressniveau oder einer Müdigkeit des Fahrzeugführers entgegenzuwirken, können beispielsweise mittels einer Lüftungs- und/oder Klimafunktion des Fahrzeugs 1 ätherische Öle versprüht werden, welche aktivierend, erfrischend oder beruhigend wirken. So wirkt beispielsweise Lavendelöl beruhigend, Thymian aktivierend, Jasminöl stark spasmolytisch, sedativ und antidepressiv und Orangen- und Zitronenöl wirken stimmungsaufhellend. Des Weiteren kann entsprechend auf ein chronisches Krankheitsprofil des Fahrzeuginsassen 2 reagiert werden, welches durch Ermittlung des oder der Vitalparameter festgestellt werden kann, beispielsweise Bluthochdruck, eine Virusinfektion oder eine chronisch obstruktive Lungenerkrankung (COPD).
  • D. h. mittels des Verfahrens ist eine ganzheitliche Situationsanalyse des Fahrzeuginsassen 2, des Fahrzeugs 1 und der Fahrzeugumgebung möglich und Informationen und/oder Warnungen an den Fahrzeuginsassen 2 sind dynamisch zu gestalten und an die ermittelten und analysierten Vitalparameter anzupassen. Des Weiteren kann die Assistenzvorrichtung oder können die Assistenzvorrichtungen an einen Vitalzustand des Fahrzeugführers angepasst werden, um auf diese Weise eine Sicherheit und einen Komfort der Fahrzeuginsassen 2 zu optimieren.
  • Die gespeicherten Vitalparameter bzw. Vitalparameterwerte stehen, da sie im Fahrzeug 1 aufgezeichnet und gespeichert werden, des Weiteren auch beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann. Des Weiteren kann durch eine Langzeitanalyse der gespeicherten Vitalparameter beispielsweise ein Langzeit Elektrokardiogramm erstellt und analysiert werden und auf diese Weise beispielsweise automatisch eine Herzrhythmusstörung, auch Arrhythmie genannt, erkannt werden und der Fahrzeuginsasse 2 gewarnt werden. Beispielsweise kann ihm ein Arztbesuch empfohlen werden.
  • Das Überwachungsverfahren bzw. der oder die auf diese Weise ermittelten Vitalparameter des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, können, wie bereits angedeutet, in einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung des Fahrzeugs 1 verwendet werden. Dabei wird zumindest eine Funktion der Assistenzvorrichtung aktiviert, wenn ein aktueller Vitalparameterwert zumindest eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht und/oder von einem gespeicherten älteren Vitalparameterwert abweicht, der zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  • Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich verschlechternden Vitalparametern des oder der Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, unterstützend eingreifen, um beispielsweise einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen 2 zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus des Fahrzeugführers bewertet werden können.
  • Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs 1 und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug 1, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs 1 zum Beispiel automatisch an einen Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs 1 derart erfolgen, dass das Fahrzeug 1 autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines nächstgelegenen Krankenhauses.
  • Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs 1 aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs 1, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen 2 zu warnen, beispielsweise um eines eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen 2 auf sich verschlechternde Vitalparameter des Fahrzeugführers, welche möglicherweise auf einen sich verschlechtern Gesundheitszustand hindeuten, hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs 1 betätigen können oder diese durch Aktuatoren autonom betätigt werden, um das Fahrzeug 1 abzubremsen und/oder an den Fahrbahnrand zu steuern.
  • Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können Vitalparameter des oder der Fahrzeuginsassen 2 verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des Fahrzeugführers hindeuten.
  • Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs 1 aktiviert werden. Dabei können zur Erfrischung des oder der Fahrzeuginsassen 2 beispielsweise auch ätherische Öle oder andere erfrischende Mittel in einen Innenraum des Fahrzeugs 1 eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse 2 durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse 2 kann auf diese Weise zum Beispiel auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs 1 gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs 1, d. h. beispielsweise ein Autoradio.
  • Zudem können die Fahrzeuginsassen 2 auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die Vitalparameter des oder der Fahrzeuginsassen 2, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, so dass auch langsame Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen 2, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten und gespeicherten Vitalparameter an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs 1 ermittelt und mit dem Notruf weitergeleitet.
  • Die mittels des Überwachungsverfahrens ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten des oder der Fahrzeuginsassen 2 kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes des oder der Fahrzeuginsassen 2 zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können zum Beispiel durch Sensoren in einem Fahrzeugsitz bzw. in den Fahrzeugsitztextilien Bewegungen des jeweiligen Fahrzeuginsassen 2, insbesondere des Fahrzeugführers ermittelt werden, welche auf unkonzentriertes Verhalten, Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Zudem kann auch die Unaufmerksamkeitserkennungsfunktion, für welche die Bilderfassungseinheit 3 ursprünglich im Fahrzeug 1 installiert ist, genutzt werden. Auf diese Weise ermittelte zusätzliche Werte des oder der Fahrzeuginsassen 2 können beispielsweise mit der ermittelten Pulsfrequenz und/oder mit anderen ermittelten Vitalparameterwerten kombiniert werden, um eine bessere Einschätzung des Vitalzustandes des oder der Fahrzeuginsassen 2 zu erhalten.
  • In 5 ist ein Verfahrensablauf des Verfahrens zum Betrieb zumindest einer Assistenzvorrichtung des Fahrzeugs 1 unter Verwendung des Verfahrens zur Überwachung des Fahrzeuginsassen 2 im Fahrzeug 1 noch einmal schematisch dargestellt, wobei hier als Vitalparametersensoreinheit die Bilderfassungseinheit 3 verwendet wird. Dabei ist durch eine Nummerierung im Folgenden aufgeführter Verfahrensschritte nicht deren Reihenfolge im Verfahrensablauf festgelegt. Es können beispielsweise mehrere Verfahrensschritte gleichzeitig durchgeführt werden oder einige der Verfahrensschritte auch in einer anderen Reihenfolge durchgeführt werden, In einem ersten Verfahrensschritt S1 werden Bilder des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, mittels der Bilderfassungseinheit 3 erfasst. In einem zweiten Verfahrensschritt S2 wird der Fahrzeuginsasse 2 über dessen Gesicht eindeutig identifiziert, so dass in einem dritten Verfahrensschritt S3 ein Vergleich ermittelter aktueller Vitalparameterwerte mit bereits gespeicherten älteren Vitalparameterwerten des Fahrzeuginsassen 2 ermöglicht wird und in einem vierten Verfahrensschritt S4 eine Zuordnung von Umgebungsparameterwerten zu diesem Fahrzeuginsassen 2 als eine kontextbezogene Vergleichsbasis ermöglicht wird. In einem fünften Verfahrensschritt S5 werden die aktuellen Umgebungsparameterwerte mittels der Umgebungsparametersensoreinheit 5 ermittelt, beispielsweise mittels des globalen Navigationssatellitensystems zur Positionsbestimmung die Position des Fahrzeugs 1 bestimmt, wodurch ermittelt werden kann, ob sich der Fahrzeugführer in einer ihm bekannten Umgebung befindet, beispielsweise auf dem Weg zur Arbeit, nach Hause, zum Einkaufen oder zum Training. Des Weiteren ist beispielsweise mittels globaler Fusion von erfassten Daten der Umgebung eine Situationsanalyse und durch entsprechende Kameras eine Verkehrssituation ermittelbar, in welcher sich der Fahrzeugführer befindet, beispielsweise ein Kreuzungstyp oder ein Straßentyp, oder zum Beispiel eine Autobahn, so dass ein Bekanntheitsgrad der Umgebung für den Fahrzeugführer ermittelbar ist.
  • Die globale Fusion der Umgebungsdaten beinhaltet Umgebungsparameter dienermittelt mit Kameras und/oder mit Radar und/oder mit Lidar und/oder Ultraschallsensorik und/oder eine oder mehrere Kameras, beispielsweise Mono- und/oder Stereokameras und/oder C2X (car-to-car und car-to-Infrastructure) Kommunikation ermittelt werden. Diese fusionierten umgebungserfassten Daten werden mit kognitiven Verfahren analysiert, um die entsprechende Entwicklung der Verkehrssituation, einschließlich des die Verhaltens anderer Verkehrsteilnehmer, zu bewerten und mögliche Gefahren in Abhängigkeit von demn Vitalzustand, der Aufmerksamkeit bzw. der Ablenkung oder der Müdigkeit des Fahrers zu erkennen und zu vermeiden versuchen.
  • In einem sechsten Verfahrensschritt S6 wird eine Bildverarbeitung der mittels der Bilderfassungseinheit 3 vom Fahrzeuginsassen 2 erfassten Bilder durchgeführt, so dass in einem siebten Verfahrensschritt S7 die aktuellen Vitalparameterwerte ermittelt werden können. Des Weiteren werden in einem achten Verfahrensschritt S8 beispielsweise ebenfalls durch eine Bildauswertung der mittels der Bilderfassungseinheit 3 erfassten individuellen Bilder weitere Parameter ermittelt, zum Beispiel ein Aufmerksamkeitsgrad, eine Blickrichtung, ein Müdigkeitsniveau sowie unkonzentriertes Verhalten und/oder Unruhe und/oder ein Stressniveau des Fahrzeuginsassen 2. In einem neunten Verfahrensschritt S9 werden die ermittelten Vitalparameterwerte und die ermittelten weiteren Parameter zu insassenrelevanten Daten zusammengefasst. In einem zehnten Verfahrensschritt S10 erfolgt eine umgebungskontextbezogene Analyse dieser insassenrelevanten Daten unter Verwendung der Umgebungsparameterwerte, so dass eine Zustandserkennung des Fahrzeuginsassen 2 und des weiteren eine umgebungskontextbezogene Kurzzeit-, Mittelfrist- und/oder Langzeitüberwachung der Vitalparameter des Fahrzeuginsassen 2 im Zeitverlauf ermöglicht wird. Diese Analyse erfolgt in einem elften Verfahrensschritt S11, so dass in einem zwölften Verfahrensschritt S12 die bereits beschriebenen Funktionen der Assistenzvorrichtung entsprechend den ausgewerteten Vitalparameterwerten aktiviert werden können.
  • Es sind noch folgende Ausgestaltungen in Kombination mit allen bisher beschriebene Verfahren und Vorrichtungen denkbar:
    Eine robustere, frühzeitigere und mit geringerer Fehlerquote bei der Erkennung des Fahrerzustands kann bereit gestellt werden durch dessen umgebungskontextbezogene Trendanalyse in Kombination mit den insbesondere ausvon kamera-ermitteltenbasierten Vitalparametern und/oder mit gleichen oder ähnlichen kamerabasierten Fahrerbeobachtungseinrichtung zur Ermittlung von Fahrerzuständen. Ermittelte Fahrerzustände sind typischerweise die Aufmerksamkeit, Ablenkung, Müdigkeit. Zu deren Ermittlung können auch am Fahrersitz, Sicherheitsgurt, Lenkrad integrierte Sensoren herangezogen werden oder in „Smart Textilien” integrierte Sensoren zur Erkennung von Bewegungsmuster, aus denend auf unkonzentriertes Verhalten, Unruhe, Stress oder beginnende Müdigkeit geschlossen werden kann, und/oder Vitalparametern des Fahrzeuginsassen.
  • Aus denr Daten, insbesondere den Vitalparametern können weitere Information mit diagnostischemr Wert ermittelt wirdwerden z. B. bezüglich abnormaleer Gesundheitszustände des Fahrzeuginsassen. Oder es wird ein chronisches Krankheitsprofil des Fahrzeuginsassen, beispielsweise Bluthochdruck, Herzrhythmusstörung, eine Virusinfektion und/oder eine chronisch obstruktive Lungenerkrankung (COPD) erstellt. Außerdem können Trendentwicklung des Vitalzustands erkannt werden oder Veränderungen des chronischens Krankheitsprofil auf kurzzeit-, mittelfrist- und/oder llangfristiger Zeitskala
  • Anhand der gemessenen Vitalparameter kann der aktuelle Vitalzustand des Fahrzeuginsassen beurteilt werden, so dass aus weiteren Informationen z. B. besser auf eine Unaufmerksamkeit des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
  • Eine geeignete Vorrichtung kann zusätzlich einr Bedienanzeigebildschirm umfassen z. B. ein Display einer Telematikanlage oder ein eigenes, nach vorne gerichtetes Display in der Nähe des Fahrerblickfeldes oder ein Head-up Display, so dass zumindest eine Warn- oder Erinnerungsfunktion der Assistenzvorrichtung gut dargestellt werden kann.
  • Eine erfindungsgemäße Vorrichtung umfasst zumindest eine Warnung- bzw. Erinnerungsfunktion in Form von optischen, akustischen und/oder haptischen Mittel welche auf die er aktuellen Vitalsituation hinweisen, vorzugsweise verbunden mit einer Empfehlung zu geeigneten Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme und/oder Erinnerung an eine erforderliche Medikamenteneinnahme.
  • Ein erfindungsgemäße Vorrichtung kann auch zumindest eine Funktion umfassen, die unterstützende und/oder beruhigende Maßnahmen autonom aktiviert und die sich an istden individuellen Vitalzustand des Fahrers und/oder an den Umgebungskontext anpasst. Beispielsweise können im Fahrzeug Komfortfunktionen wie, Massage im Fahrzeugsitz und/oder Einspritzung ätherischen Öle aus dem Klima- und/oder Lüftungsanlage des Fahrzeugs, und/oder passende Media bzw. situationsangepasste Musik aus eine Audioanlage des Fahrzeugs vorgesehen sein.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009053407 A1 [0002]
    • EP 1182089 B2 [0003]
    • DE 102009016936 A1 [0004, 0038, 0074]

Claims (14)

  1. Verfahren zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), wobei ein aktueller Vitalparameterwert zumindest eines Vitalparameters des Fahrzeuginsassen (2) ermittelt wird, dadurch gekennzeichnet, dass der Fahrzeuginsasse (2) identifiziert wird und der aktuelle Vitalparameterwert des Fahrzeuginsassen (2) mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des selben Fahrzeuginsassen (2) verglichen wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass auch ein aktueller Umgebungsparameterwert zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs (1) ermittelt und der aktuelle Vitalparameterwert des identifizierten Fahrzeuginsassen (2) zusammen mit dem aktuellen Umgebungsparameterwert gespeichert und mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen (2) verglichen wird, der zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als aktueller Vitalparameterwert eine Pulsfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen und/oder eine Herzratenvariabilität und/oder eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen (2) und/oder autonome Körperfunktionen des Fahrzeuginsassen (2) und/oder Schmerzzustände des Fahrzeuginsassen (2) ermittelt wird.
  4. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, dass anhand der Vitalparameter das aktuelle Vitalzustandes des Fahrzeuginsassen wird beurteilt und optimiert, so dass weitere Information mit diagnostischer Wert ermittelt wird, z. B. auf eine Unaufmerksamkeit des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
  5. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass der aktuelle Vitalparameterwert durch Bildauswertung mittels zumindest einer Bilderfassungseinheit (3) erfasster Bilder des Fahrzeuginsassen (2) ermittelt wird.
  6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der aktuelle Vitalparameterwert durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen (2) und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt wird.
  7. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht wird und nur dieser Bereich ausgewertet wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass als Bilder des Fahrzeuginsassen (2) Farbbilder erfasst werden, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des aktuellen Vitalparameterwertes zumindest ein Farbkanal (RGB) ausgewertet wird.
  9. Verfahren nach einem der voran gehenden Ansprüche, dadurch gekennzeichnet, dass ebenfalls eine individuelle Anpassung ders Assistenzvorrichtung an den Vitalzustand des Fahrzeuginsassen gespeichert wird.
  10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine Funktion der Assistenzvorrichtung aktiviert wird, wenn ein aktueller Vitalparameterwert zumindest eines Vitalparameters eines jeweiligen Fahrzeuginsassen (2) von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht und/oder von einem gespeicherten älteren Vitalparameterwert des jeweiligen Fahrzeuginsassen (2) abweicht, der insbesondere zusammen mit einem älteren Umgebungsparameterwert gespeichert wurde, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  11. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs (1) und/oder eine optische, akustische und/oder haptische Warneinrichtung und/oder zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert werden oder wird.
  12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Funktion der Assistenzvorrichtung ein Fahrzeug autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines nächstgelegenen Krankenhauses.
  13. Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), umfassend zumindest eine Vitalparametersensoreinheit zur Ermittlung eines aktuellen Vitalparameterwertes zumindest eines Vitalparameters des Fahrzeuginsassen (2) und zumindest eine Umgebungsparametersensoreinheit (5) zur Ermittlung zumindest eines aktuellen Umgebungsparameterwertes zumindest eines Umgebungsparameters einer äußeren Umgebung des Fahrzeugs (1), dadurch gekennzeichnet, dass der Fahrzeuginsasse (2) identifizierbar ist und der aktuelle Vitalparameterwert des Fahrzeuginsassen (2) zusammen mit dem aktuellen Umgebungsparameterwert in einer Speichereinheit (6) speicherbar ist und dass der aktuelle Vitalparameterwert in einer Auswerteeinheit (7) mit zumindest einem bereits gespeicherten älteren Vitalparameterwert des Fahrzeuginsassen (2) vergleichbar ist, der zusammen mit einem älteren Umgebungsparameterwert in der Speichereinheit (6) gespeichert ist, welcher mit dem aktuellen Umgebungsparameterwert korrespondiert.
  14. Vorrichtung nach Anspruch 13, umfassend zumindest eine Bilderfassungseinheit (3) zur Erfassung von Bildern des Fahrzeuginsassen (2) und eine Bildverarbeitungseinheit (4), mittels welcher durch Bildauswertung der erfassten Bilder ein Vitalparameterwert des Vitalparameters des Fahrzeuginsassen (2) ermittelbar ist.
DE102011109564A 2011-08-05 2011-08-05 Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung Granted DE102011109564A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102011109564A DE102011109564A1 (de) 2011-08-05 2011-08-05 Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
PCT/EP2012/003107 WO2013020648A1 (de) 2011-08-05 2012-07-24 Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung
US14/235,907 US10327705B2 (en) 2011-08-05 2012-07-24 Method and device to monitor at least one vehicle passenger and method to control at least one assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011109564A DE102011109564A1 (de) 2011-08-05 2011-08-05 Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung

Publications (1)

Publication Number Publication Date
DE102011109564A1 true DE102011109564A1 (de) 2013-02-07

Family

ID=46614415

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011109564A Granted DE102011109564A1 (de) 2011-08-05 2011-08-05 Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung

Country Status (3)

Country Link
US (1) US10327705B2 (de)
DE (1) DE102011109564A1 (de)
WO (1) WO2013020648A1 (de)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2774533A1 (de) * 2013-03-06 2014-09-10 Machine Perception Technologies, Inc. Vorrichtungen und Verfahren zur Bestimmung und Verwendung der Herzfrequenzvariation
DE102013013869A1 (de) * 2013-08-20 2015-03-12 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung
DE102013021928A1 (de) 2013-12-20 2015-06-25 Audi Ag Komfortgerätesteuerung für ein Kraftfahrzeug
WO2015082516A3 (de) * 2013-12-04 2015-09-24 Continental Teves Ag & Co. Ohg Verfahren zum erfassen einer die aufmerksamkeit eines fahrers beschreibenden aufmerksamkeitsgrösse
WO2016005289A1 (en) * 2014-07-08 2016-01-14 Jaguar Land Rover Limited System and method for automated device control for vehicles using driver emotion
EP2977975A4 (de) * 2013-03-22 2016-03-09 Toyota Motor Co Ltd Fahrhilfevorrichtung, fahrhilfeverfahren, informationsbereitstellungsvorrichtung, informationsbereitstellungsverfahren, navigationsvorrichtung und navigationsverfahren
DE102014224484A1 (de) * 2014-12-01 2016-06-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anpassung des äußeren Erscheinungsbilds eines Kraftfahrzeugs und Kraftfahrzeug mit einem anpassbaren äußeren Erscheinungsbild
WO2016202450A1 (en) * 2015-06-19 2016-12-22 Audi Ag A method for controlling an interface device of a motor vehicle
WO2016206790A1 (en) * 2015-06-24 2016-12-29 Audi Ag A method for operating a motor vehicle, determination device and motor vehicle with a determination device
WO2017005489A1 (de) * 2015-07-07 2017-01-12 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der fahrtüchtigkeit des fahrers eines ersten kraftfahrzeugs
FR3040673A1 (fr) * 2015-09-09 2017-03-10 Peugeot Citroen Automobiles Sa Procede et dispositif d’aide a la conduite utilisant un peripherique de mesure d’au moins un parametre physiologique
CN107117174A (zh) * 2017-03-29 2017-09-01 昆明理工大学 一种驾驶员情绪监控主动安全引导装置电路系统及其控制方法
CN107252313A (zh) * 2017-05-25 2017-10-17 深圳市卡迪赛克科技有限公司 一种安全驾驶的监测方法及系统、汽车、可读存储介质
DE102016207447A1 (de) * 2016-04-29 2017-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
WO2017211527A1 (de) * 2016-06-07 2017-12-14 Jürgen Brechter Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren
DE102016215250A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs mithilfe eines mobilen Endgeräts eines Benutzers und physiologischen Vitaldaten
DE102016215251A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben einer Navigationseinrichtung eines Kraftfahrzeugs
WO2018050680A1 (de) 2016-09-16 2018-03-22 Audi Ag Verfahren zum betrieb eines kraftfahrzeugs
WO2018059995A1 (de) * 2016-09-29 2018-04-05 Audi Ag Verfahren zum betreiben eines kraftfahrzeugs mit hilfe von physiologischen vitaldaten, kraftfahrzeug und mobiles endgerät
DE102016225222A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung eines Interaktionsablaufs
DE102017201149A1 (de) 2017-01-25 2018-07-26 Audi Ag Steuervorrichtung und Steuerverfahren für ein Kraftfahrzeug
DE102017103391A1 (de) 2017-02-20 2018-08-23 Deutsche Telekom Ag Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
DE102017213714A1 (de) 2017-08-07 2019-02-07 Audi Ag Verfahren zum Ermitteln einer Erkrankungsprognose eines Kraftfahrzeuginsassen sowie Prognoseeinrichtung
DE102014010776B4 (de) 2014-07-21 2019-04-25 e.solutions GmbH Kamerasystem und Verfahren zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug
DE102018002688A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Kraftwagen mit einer Kommunikationseinheit zur Kommunikation mit einer medizinischen Einrichtung
CN110667594A (zh) * 2019-09-11 2020-01-10 浙江合众新能源汽车有限公司 一种用于汽车的可监控体重的方法、装置及存储介质
DE102018221253A1 (de) * 2018-12-07 2020-01-16 Audi Ag Verfahren, Computerprogrammprodukt und Kraftfahrzeug zur Realisierung einer Assistenzfunktion
DE102018216180A1 (de) * 2018-09-21 2020-03-26 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Notfallassistenzsystems für ein Kraftfahrzeug, Notfallassistenzsystem und Kraftfahrzeug
DE102018220904A1 (de) * 2018-12-04 2020-06-04 Zf Friedrichshafen Ag Verfahren zum Sperren und Freigeben von sicherheitsrelevanten Befehlen eines Fahrers eines Fahrzeuges
EP3748595A1 (de) * 2019-05-23 2020-12-09 IndiKar Individual Karosseriebau GmbH Vorrichtung und verfahren zur überwachung einer fahrgastzelle
EP3795405A1 (de) * 2019-09-20 2021-03-24 VitaScale GmbH Transportvorrichtung mit einer insassenkabine umfassend mindestens einen sensor zur atemgasanalyse, mindestens eine positionsbeschimmungsvorrichtung und mindestens eine datenverarbeitungsvorrichtung
DE102019131767A1 (de) * 2019-11-25 2021-05-27 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs in einer Notlage desselben sowie Kraftfahrzeug
DE102019132635A1 (de) * 2019-12-02 2021-06-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erkennung eines Zustands zumindest eines Insassen eines Fahrzeugs sowie Fahrzeug
DE102020204267A1 (de) 2020-04-01 2021-10-07 Volkswagen Aktiengesellschaft Kraftfahrzeug mit Mitteln zum Erkennen einer Veränderung des Gesundheitszustands eines Fahrzeuginsassen, insbesondere eines Fahrers
DE102020111427A1 (de) 2020-04-27 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Personalisierte Müdigkeitswarnung
DE102020114101A1 (de) 2020-05-26 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Reaktion auf die Feststellung einer erhöhten Körpertemperatur eines Insassen eines Fortbewegungsmittels
EP3882884A4 (de) * 2018-11-13 2022-01-05 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
FR3118444A1 (fr) * 2020-12-31 2022-07-01 Valeo Comfort And Driving Assistance Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
WO2022214301A1 (de) * 2021-04-06 2022-10-13 Volkswagen Aktiengesellschaft Vorrichtung und verfahren zur überwachung eines zustandes eines kraftfahrzeugführers
US11697420B2 (en) 2017-09-25 2023-07-11 Bayerische Motoren Werke Aktiengesellschaft Method and device for evaluating a degree of fatigue of a vehicle occupant in a vehicle
WO2023143721A1 (en) * 2022-01-27 2023-08-03 Lotus Tech Innovation Centre Gmbh Car driver health monitoring method and car for implementing the method
DE102022105227A1 (de) 2022-03-07 2023-09-07 Audi Aktiengesellschaft Verfahren zur Unterstützung eines Fahrzeuginsassen und Kraftfahrzeug
US11787288B2 (en) 2019-07-24 2023-10-17 Harman International Industries, Incorporated Systems and methods for user interfaces in a vehicular environment
DE102022205043A1 (de) 2022-05-20 2023-11-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs sowie Fahrzeug

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862299B2 (en) * 2011-11-16 2014-10-14 Flextronics Ap, Llc Branding of electrically propelled vehicles via the generation of specific operating output
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US20150379362A1 (en) 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
WO2014140978A1 (en) * 2013-03-14 2014-09-18 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a subject
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9754325B1 (en) 2014-05-20 2017-09-05 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9436182B2 (en) 2014-05-23 2016-09-06 Google Inc. Autonomous vehicles
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
US20150377635A1 (en) * 2014-06-27 2015-12-31 Here Global B.V. Method and apparatus for determining a drop-off and a pick-up location based on fitness goals
CN104077881A (zh) * 2014-06-30 2014-10-01 天津大学 一种基于机器视觉的婴幼儿监测方法及装置
CN104083160A (zh) * 2014-06-30 2014-10-08 天津大学 一种基于机器视觉的睡眠状态监测方法及装置
US10102587B1 (en) 2014-07-21 2018-10-16 State Farm Mutual Automobile Insurance Company Methods of pre-generating insurance claims
JP6432227B2 (ja) * 2014-09-05 2018-12-05 三菱自動車工業株式会社 車両の乗員救護補助システム
DE102014218392A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Erhalten der Fahrtüchtigkeit eines Fahrzeugführers bei Ermüdung
CN104257365A (zh) * 2014-09-15 2015-01-07 中山市乐居智能技术开发有限公司 用于笔记本电脑操作者非接触式健康监测的装置及方法
US10007263B1 (en) 2014-11-13 2018-06-26 State Farm Mutual Automobile Insurance Company Autonomous vehicle accident and emergency response
FR3028741B1 (fr) * 2014-11-25 2019-06-14 Psa Automobiles Sa. Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule
DE102014119323B4 (de) 2014-12-22 2022-06-09 Connaught Electronics Ltd. Verfahren zum Erzeugen einer personenspezifischen Information eines Fahrzeuginsassen, Einrichtung und Kraftfahrzeug
US9688271B2 (en) 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
KR101678089B1 (ko) * 2015-03-19 2016-11-23 현대자동차주식회사 차량 및 그 제어방법
KR101639804B1 (ko) * 2015-05-15 2016-07-25 주식회사 한글과컴퓨터 구급이 가능한 무인 스마트카 및 그의 운용 방법
US9733096B2 (en) 2015-06-22 2017-08-15 Waymo Llc Determining pickup and destination locations for autonomous vehicles
US9771082B2 (en) * 2015-08-13 2017-09-26 International Business Machines Corporation Reducing cognitive demand on a vehicle operator by generating passenger stimulus
US9870649B1 (en) 2015-08-28 2018-01-16 State Farm Mutual Automobile Insurance Company Shared vehicle usage, monitoring and feedback
US9744809B2 (en) * 2015-11-05 2017-08-29 Continental Automotive Systems, Inc. Enhanced sound generation for quiet vehicles
US11116426B2 (en) * 2015-12-09 2021-09-14 Zoll Medical Corporation Device administered tests and adaptive interactions
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US20210295439A1 (en) 2016-01-22 2021-09-23 State Farm Mutual Automobile Insurance Company Component malfunction impact assessment
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
KR20170111286A (ko) * 2016-03-25 2017-10-12 현대자동차주식회사 스티어링 휠에 장착된 생체 파라미터 검출장치
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
US9937792B2 (en) * 2016-07-13 2018-04-10 Ford Global Technologies, Llc Occupant alertness-based navigation
DE102016113795A1 (de) * 2016-07-27 2018-02-01 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Bereitstellung zumindest eines spezifischen Fahrzeugzustandes eines Fahrzeugs
US10209949B2 (en) * 2016-08-23 2019-02-19 Google Llc Automated vehicle operator stress reduction
CN109690601B (zh) * 2016-09-30 2022-11-18 本田技研工业株式会社 信息提供装置和移动体
CN109804400B (zh) * 2016-09-30 2022-10-18 本田技研工业株式会社 信息提供装置和移动体
US9663118B1 (en) * 2016-11-02 2017-05-30 Smartdrive Systems, Inc. Autonomous vehicle operator performance tracking
US10241511B2 (en) 2016-11-03 2019-03-26 Ford Global Technologies, Llc Emergency evacuation using autonomous driving
US10318760B2 (en) * 2017-04-10 2019-06-11 Lear Corporation System and method for privacy protection of seating biometrics
US20210153796A1 (en) * 2017-05-15 2021-05-27 Toyota Motor Europe Control device, system, and method for determining a comfort level of a driver
DE102017009353A1 (de) * 2017-10-09 2019-04-11 Daimler Ag Varfahran zur Ansteuerung von Fahrzeugfunktion
JP6780625B2 (ja) * 2017-10-26 2020-11-04 トヨタ自動車株式会社 自動運転車両の配車システム、及び自動運転車両
US20200283028A1 (en) * 2017-11-17 2020-09-10 Sony Semiconductor Solutions Corporation Information processing apparatus and information processing method
EP3494874A1 (de) 2017-12-05 2019-06-12 Koninklijke Philips N.V. System und verfahren zur detektion von reisekrankheit
US11126917B2 (en) * 2017-12-22 2021-09-21 At&T Intellectual Property I, L.P. System and method for estimating potential injuries from a vehicular incident
US11400834B2 (en) 2018-02-02 2022-08-02 State Farm Mutual Automobile Insurance Company Adjusting interior configuration of a vehicle based on external environment data
FR3079128A1 (fr) * 2018-03-26 2019-09-27 Psa Automobiles Sa Systeme et procede de gestion du stress d’un occupant d’un vehicule automobile
US11485254B2 (en) 2018-04-09 2022-11-01 State Farm Mutual Automobile Insurance Company System and method for adjusting an interior configuration of a vehicle in response to a vehicular accident
US10953888B2 (en) 2018-05-22 2021-03-23 International Business Machines Corporation Autonomous vehicle monitoring
US10921812B2 (en) 2018-05-22 2021-02-16 International Business Machines Corporation System and method for rendezvous coordination of an autonomous automotive vehicle with an ambulance
US10688867B2 (en) 2018-05-22 2020-06-23 International Business Machines Corporation Vehicular medical assistant
US11046266B1 (en) 2018-06-04 2021-06-29 State Farm Mutual Automobile Insurance Company System and method for dampening impact to a vehicle
US10836401B1 (en) * 2018-07-13 2020-11-17 State Farm Mutual Automobile Insurance Company Dynamic limiting of vehicle operation based on interior configurations
US10953830B1 (en) 2018-07-13 2021-03-23 State Farm Mutual Automobile Insurance Company Adjusting interior configuration of a vehicle based on vehicle contents
US10858011B1 (en) 2018-07-13 2020-12-08 State Farm Mutual Automobile Insurance Company Dynamic safe storage of vehicle content
JP2020052545A (ja) * 2018-09-25 2020-04-02 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
DE102019000060A1 (de) * 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems
CN110077396B (zh) * 2019-04-29 2021-09-24 北京地平线机器人技术研发有限公司 可移动设备的控制方法、控制装置及电子设备
GB2588969B (en) * 2019-11-18 2022-04-20 Jaguar Land Rover Ltd Apparatus and method for determining a cognitive state of a user of a vehicle
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
JP7306284B2 (ja) * 2020-01-31 2023-07-11 トヨタ自動車株式会社 車両および車両制御インターフェース
CN113360109A (zh) * 2020-03-05 2021-09-07 深圳市超捷通讯有限公司 车载显示方法、设备及车辆
US20220087540A1 (en) * 2020-09-21 2022-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for remote vital sign monitoring in a vehicle
US11618349B1 (en) 2021-11-08 2023-04-04 Toyota Motor North America, Inc. Transport-related occupant adjustments
WO2023195034A1 (en) 2022-04-08 2023-10-12 C.R.F. Società Consortile Per Azioni Passenger-monitoring system for a motor vehicle, and corresponding method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182089B2 (de) 2000-08-16 2008-02-27 Robert Bosch Gmbh Verfahren zur Warnung eines Fahrers eines Fahrzeugs
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
DE102009016936A1 (de) 2009-04-08 2009-11-19 Daimler Ag Fahrassistenzsystem zum Unterstützen eines Fahrers bei Ermüdung
DE102009053407A1 (de) 2009-11-14 2010-06-17 Daimler Ag Verfahren zur fortlaufenden Überwachung des medizinischen Zustands eines Fahrzeuginsassen

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465079A (en) * 1992-08-14 1995-11-07 Vorad Safety Systems, Inc. Method and apparatus for determining driver fitness in real time
DE10001261C2 (de) * 2000-01-14 2002-11-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Fahrweisenbewertung
DE10042367A1 (de) * 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
DE10103401A1 (de) * 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
DE10322458A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beeinflussung der Beanspruchung eines Fahrers in einem Kraftfahrzeug
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
JP4748084B2 (ja) * 2007-03-06 2011-08-17 トヨタ自動車株式会社 心理状態推定装置
DE102007046037B3 (de) * 2007-09-26 2009-04-16 Siemens Ag Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr
ITBO20080081A1 (it) * 2008-02-07 2009-08-08 Ferrari Spa Metodo di controllo di un veicolo per adattare il comportamento dinamico del veicolo stesso allo stato psico-fisico del guidatore
DE102010003985A1 (de) * 2010-01-04 2011-08-18 Audi Ag, 85057 Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102010044024A1 (de) * 2010-11-17 2012-05-24 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem in einem Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182089B2 (de) 2000-08-16 2008-02-27 Robert Bosch Gmbh Verfahren zur Warnung eines Fahrers eines Fahrzeugs
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
DE102009016936A1 (de) 2009-04-08 2009-11-19 Daimler Ag Fahrassistenzsystem zum Unterstützen eines Fahrers bei Ermüdung
DE102009053407A1 (de) 2009-11-14 2010-06-17 Daimler Ag Verfahren zur fortlaufenden Überwachung des medizinischen Zustands eines Fahrzeuginsassen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
POH, M.-Z.; McDUFF, D.; PICARD, R.: Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. In: Optics Express, No. 18, 2010, S. 10762-10774. *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2774533A1 (de) * 2013-03-06 2014-09-10 Machine Perception Technologies, Inc. Vorrichtungen und Verfahren zur Bestimmung und Verwendung der Herzfrequenzvariation
US9801580B2 (en) 2013-03-22 2017-10-31 Toyota Jidosha Kabushiki Kaisha Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method
EP2977975A4 (de) * 2013-03-22 2016-03-09 Toyota Motor Co Ltd Fahrhilfevorrichtung, fahrhilfeverfahren, informationsbereitstellungsvorrichtung, informationsbereitstellungsverfahren, navigationsvorrichtung und navigationsverfahren
DE102013013869A1 (de) * 2013-08-20 2015-03-12 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung
DE102013013869B4 (de) 2013-08-20 2019-06-19 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung und Kraftfahrzeug
WO2015082516A3 (de) * 2013-12-04 2015-09-24 Continental Teves Ag & Co. Ohg Verfahren zum erfassen einer die aufmerksamkeit eines fahrers beschreibenden aufmerksamkeitsgrösse
DE102013021928A1 (de) 2013-12-20 2015-06-25 Audi Ag Komfortgerätesteuerung für ein Kraftfahrzeug
WO2016005289A1 (en) * 2014-07-08 2016-01-14 Jaguar Land Rover Limited System and method for automated device control for vehicles using driver emotion
DE102014010776B4 (de) 2014-07-21 2019-04-25 e.solutions GmbH Kamerasystem und Verfahren zum Bereitstellen von Bildinformationen in einem Kraftfahrzeug
DE102014224484A1 (de) * 2014-12-01 2016-06-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anpassung des äußeren Erscheinungsbilds eines Kraftfahrzeugs und Kraftfahrzeug mit einem anpassbaren äußeren Erscheinungsbild
WO2016202450A1 (en) * 2015-06-19 2016-12-22 Audi Ag A method for controlling an interface device of a motor vehicle
WO2016206790A1 (en) * 2015-06-24 2016-12-29 Audi Ag A method for operating a motor vehicle, determination device and motor vehicle with a determination device
WO2017005489A1 (de) * 2015-07-07 2017-01-12 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der fahrtüchtigkeit des fahrers eines ersten kraftfahrzeugs
WO2017042452A1 (fr) * 2015-09-09 2017-03-16 Peugeot Citroen Automobiles Sa Procédé et dispositif d'aide à la conduite utilisant un périphérique de mesure d'au moins un paramètre physiologique
FR3040673A1 (fr) * 2015-09-09 2017-03-10 Peugeot Citroen Automobiles Sa Procede et dispositif d’aide a la conduite utilisant un peripherique de mesure d’au moins un parametre physiologique
DE102016207447A1 (de) * 2016-04-29 2017-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Insassenassistenz für ein Fahrzeug und Vorrichtung hierfür
WO2017211527A1 (de) * 2016-06-07 2017-12-14 Jürgen Brechter Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren
DE102016215250A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs mithilfe eines mobilen Endgeräts eines Benutzers und physiologischen Vitaldaten
DE102016215251A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben einer Navigationseinrichtung eines Kraftfahrzeugs
WO2018050680A1 (de) 2016-09-16 2018-03-22 Audi Ag Verfahren zum betrieb eines kraftfahrzeugs
DE102016217779A1 (de) 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
US11208038B2 (en) 2016-09-16 2021-12-28 Audi Ag Method for operating a motor vehicle
WO2018059995A1 (de) * 2016-09-29 2018-04-05 Audi Ag Verfahren zum betreiben eines kraftfahrzeugs mit hilfe von physiologischen vitaldaten, kraftfahrzeug und mobiles endgerät
US11485366B2 (en) 2016-09-29 2022-11-01 Audi Ag Method for operating a motor vehicle with the help of vital physiological data, motor vehicle and mobile terminal device
DE102016225222A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung eines Interaktionsablaufs
DE102017201149A1 (de) 2017-01-25 2018-07-26 Audi Ag Steuervorrichtung und Steuerverfahren für ein Kraftfahrzeug
DE102017201149B4 (de) * 2017-01-25 2021-03-25 Audi Ag Steuervorrichtung und Steuerverfahren für ein Kraftfahrzeug
DE102017103391A1 (de) 2017-02-20 2018-08-23 Deutsche Telekom Ag Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
CN107117174B (zh) * 2017-03-29 2019-06-11 昆明理工大学 一种驾驶员情绪监控主动安全引导装置电路系统及其控制方法
CN107117174A (zh) * 2017-03-29 2017-09-01 昆明理工大学 一种驾驶员情绪监控主动安全引导装置电路系统及其控制方法
CN107252313A (zh) * 2017-05-25 2017-10-17 深圳市卡迪赛克科技有限公司 一种安全驾驶的监测方法及系统、汽车、可读存储介质
DE102017213714A1 (de) 2017-08-07 2019-02-07 Audi Ag Verfahren zum Ermitteln einer Erkrankungsprognose eines Kraftfahrzeuginsassen sowie Prognoseeinrichtung
DE102017213714B4 (de) 2017-08-07 2020-01-09 Audi Ag Verfahren zum Ermitteln einer Erkrankungsprognose eines Kraftfahrzeuginsassen sowie Prognoseeinrichtung
US11697420B2 (en) 2017-09-25 2023-07-11 Bayerische Motoren Werke Aktiengesellschaft Method and device for evaluating a degree of fatigue of a vehicle occupant in a vehicle
DE102018002688A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Kraftwagen mit einer Kommunikationseinheit zur Kommunikation mit einer medizinischen Einrichtung
DE102018216180A1 (de) * 2018-09-21 2020-03-26 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Notfallassistenzsystems für ein Kraftfahrzeug, Notfallassistenzsystem und Kraftfahrzeug
EP3882884A4 (de) * 2018-11-13 2022-01-05 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102018220904A1 (de) * 2018-12-04 2020-06-04 Zf Friedrichshafen Ag Verfahren zum Sperren und Freigeben von sicherheitsrelevanten Befehlen eines Fahrers eines Fahrzeuges
DE102018221253A1 (de) * 2018-12-07 2020-01-16 Audi Ag Verfahren, Computerprogrammprodukt und Kraftfahrzeug zur Realisierung einer Assistenzfunktion
EP3748595A1 (de) * 2019-05-23 2020-12-09 IndiKar Individual Karosseriebau GmbH Vorrichtung und verfahren zur überwachung einer fahrgastzelle
US11787288B2 (en) 2019-07-24 2023-10-17 Harman International Industries, Incorporated Systems and methods for user interfaces in a vehicular environment
CN110667594A (zh) * 2019-09-11 2020-01-10 浙江合众新能源汽车有限公司 一种用于汽车的可监控体重的方法、装置及存储介质
EP3795405A1 (de) * 2019-09-20 2021-03-24 VitaScale GmbH Transportvorrichtung mit einer insassenkabine umfassend mindestens einen sensor zur atemgasanalyse, mindestens eine positionsbeschimmungsvorrichtung und mindestens eine datenverarbeitungsvorrichtung
DE102019131767A1 (de) * 2019-11-25 2021-05-27 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs in einer Notlage desselben sowie Kraftfahrzeug
DE102019132635A1 (de) * 2019-12-02 2021-06-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erkennung eines Zustands zumindest eines Insassen eines Fahrzeugs sowie Fahrzeug
DE102020204267A1 (de) 2020-04-01 2021-10-07 Volkswagen Aktiengesellschaft Kraftfahrzeug mit Mitteln zum Erkennen einer Veränderung des Gesundheitszustands eines Fahrzeuginsassen, insbesondere eines Fahrers
DE102020111427A1 (de) 2020-04-27 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Personalisierte Müdigkeitswarnung
DE102020114101A1 (de) 2020-05-26 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Reaktion auf die Feststellung einer erhöhten Körpertemperatur eines Insassen eines Fortbewegungsmittels
WO2022144529A1 (fr) * 2020-12-31 2022-07-07 Valeo Comfort And Driving Assistance Dispositif d'analyse de la perception d'un danger par un conducteur de véhicule et procédé associé
FR3118444A1 (fr) * 2020-12-31 2022-07-01 Valeo Comfort And Driving Assistance Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé
WO2022214301A1 (de) * 2021-04-06 2022-10-13 Volkswagen Aktiengesellschaft Vorrichtung und verfahren zur überwachung eines zustandes eines kraftfahrzeugführers
WO2023143721A1 (en) * 2022-01-27 2023-08-03 Lotus Tech Innovation Centre Gmbh Car driver health monitoring method and car for implementing the method
DE102022105227A1 (de) 2022-03-07 2023-09-07 Audi Aktiengesellschaft Verfahren zur Unterstützung eines Fahrzeuginsassen und Kraftfahrzeug
DE102022205043A1 (de) 2022-05-20 2023-11-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs sowie Fahrzeug

Also Published As

Publication number Publication date
WO2013020648A1 (de) 2013-02-14
US20140135598A1 (en) 2014-05-15
US10327705B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
DE102011109564A1 (de) Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011016772B4 (de) 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011110486A1 (de) Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102012020901B4 (de) Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
EP2877360B1 (de) Verfahren und fahrerassistenzsystem zum betreiben eines fahrzeugs bei einer gesundheitlichen störung eines fahrers
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
Lees et al. Translating cognitive neuroscience to the driver’s operational environment: a neuroergonomic approach
DE102017110283A1 (de) Steuern von funktionen und ausgaben von autonomen fahrzeugen auf der grundlage einer position und aufmerksamkeit von insassen
DE102004022581B4 (de) Fahrerassistenzsystem
DE112015000759T5 (de) Fahrunterstützungsvorrichtung
WO2014064095A1 (de) Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges
DE102015201790A1 (de) Vorrichtung und Verfahren zur Erfassung eines Fahrerzustands
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
DE102008038816A1 (de) Verfahren und Vorrichtung zur Unterstützung des Betriebs eines Fahrzeugs
DE102019208663A1 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102016215251A1 (de) Verfahren zum Betreiben einer Navigationseinrichtung eines Kraftfahrzeugs
DE102014204137A1 (de) Informationsterminal
DE112019007558T5 (de) Kognitiv-Funktion-Abschätzungsvorrichtung, Lernvorrichtung und Verfahren zur Schätzung der kognitiven Funktion
EP4077015A1 (de) Verfahren zum betreiben einer anzeigeeinheit eines fahrzeugs und anzeigeeinheit
EP3583540A1 (de) System und verfahren zur erkennung der müdigkeit eines fahrzeugführers
DE102018210593A1 (de) Fahrtüchtigkeitserkennungsvorrichtung für ein Fahrzeug
DE102021132689A1 (de) Sicherheitsfahrunterstützungsvorrichtung
DE102013013869B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung und Kraftfahrzeug
DE102020130959A1 (de) Systeme und verfahren zum erfassen der aufmerksamkeit eines insassen eines fahrzeugs
DE102015220683A1 (de) Fahrerinformationssystem mit einer Ansteuervorrichtung und einer Anzeigevorrichtung sowie Verfahren zum Betreiben eines Fahrerinformationssystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0005000000

Ipc: A61B0005180000

R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE

R084 Declaration of willingness to licence
R018 Grant decision by examination section/examining division