DE102012020901A1

DE102012020901A1 - Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number: DE102012020901A1
Application number: DE201210020901
Authority: DE
Inventors: Galia Weidl; Michael Schrauf
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2012-10-24
Filing date: 2012-10-24
Publication date: 2014-04-24
Anticipated expiration: 2032-10-25
Also published as: DE102012020901B4

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung (2) eines Fahrzeugs (1). Erfindungsgemäß wird mit zumindest einem mobilen Kommunikationsgerät (3) durch Auswertung von mittels des mobilen Kommunikationsgerätes (3) erfassten Daten zumindest ein personenbezogener Parameter zumindest eines Fahrzeuginsassen ermittelt und an die Assistenzvorrichtung (2) des Fahrzeugs (1) übertragen, wobei zumindest eine Funktion der Assistenzvorrichtung (2) in Abhängigkeit des ermittelten personenbezogenen Parameters gesteuert und/oder geregelt wird. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1 und eine Vorrichtung zur Durchführung eines derartigen Verfahrens nach den Merkmalen des Oberbegriffs des Anspruchs 9.
Aus dem Stand der Technik sind Assistenzvorrichtungen in Fahrzeugen und Verfahren zu deren Betrieb allgemein bekannt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 und eine Vorrichtung zur Durchführung eines derartigen Verfahrens mit den Merkmalen des Anspruchs 9.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem erfindungsgemäßen Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs wird mit zumindest einem mobilen Kommunikationsgerät durch Auswertung von mittels des mobilen Kommunikationsgerätes erfassten Daten zumindest ein personenbezogener Parameter zumindest eines Fahrzeuginsassen ermittelt und an die Assistenzvorrichtung des Fahrzeugs übertragen, wobei zumindest eine Funktion der Assistenzvorrichtung in Abhängigkeit des ermittelten personenbezogenen Parameters gesteuert und/oder geregelt wird.
Das in diesem Verfahren verwendete mobile Kommunikationsgerät kann beispielsweise als ein Mobiltelefon ausgebildet sein, insbesondere als ein so genanntes Smartphone. Alternativ oder zusätzlich kann das mobile Kommunikationsgerät beispielsweise auch als ein kleiner tragbarer Computer ausgebildet sein, beispielsweise als ein so genannter PDA oder als ein so genannter Tablet-Computer. Mittels dieses mobilen Kommunikationsgerätes, welches üblicherweise eine Vielzahl für die Ermittlung der personenbezogenen Parameter bzw. der hierfür erforderlichen Daten geeigneter Funktionen, Sensoren und Programme, insbesondere Anwendungsprogramme und/oder Applikationen, aufweist und welches üblicherweise ein persönlicher Besitz des jeweiligen Fahrzeuginsassen ist, dessen personenbezogene Parameter ermittelt werden sollen, und daher von diesem stets oder zumindest sehr häufig mitgeführt wird, wird es ermöglicht, eine Vielzahl personenbezogener Parameter des Fahrzeuginsassen zu ermitteln. Diese Ermittlung der personenbezogenen Parameter erfolgt dabei vollständig im mobilen Kommunikationsgerät, durch die Auswertung und Verarbeitung der Daten, welche das mobile Kommunikationsgerät erfasst hat.
Im Fahrzeug sind daher keine zusätzlichen Sensoren zur Überwachung der Fahrzeuginsassen und zur Datenermittlung erforderlich und es sind des Weiteren auch keine zusätzlichen Auswertungseinheiten zur Verarbeitung und Auswertung derartiger Daten erforderlich. Es ist lediglich eine Kommunikationsverbindung des Fahrzeugs mit dem mobilen Kommunikationsgerät erforderlich, um die vom mobilen Kommunikationsgerät ermittelten personenbezogenen Parameter an das Fahrzeug, genauer gesagt an eine oder mehrere Assistenzvorrichtungen des Fahrzeugs oder an deren Steuergeräte übertragen zu können, so dass die personenbezogenen Parameter dann zur Steuerung und/oder Regelung einer oder mehrerer Funktionen einer oder mehrerer Assistenzvorrichtungen des Fahrzeugs verwenden zu können.
Diese Kommunikationsverbindung kann als eine drahtgebundene oder besonders bevorzugt als eine drahtlose Kommunikationsverbindung ausgebildet sein, beispielsweise als eine Funkverbindung, insbesondere als eine Kurzstreckenfunkverbindung. Eine derartige Kurzstreckenfunkverbindung ist beispielsweise eine Bluetooth-Verbindung, besonders vorteilhafterweise eine so genannte Bluetooth Low Energy Funkverbindung, da auf diese Weise auch über längere Zeiträume hinweg eine Verbindung zwischen dem mobilen Kommunikationsgerät und dem Fahrzeug ermöglicht wird, ohne eine Energiequelle des mobilen Kommunikationsgerätes, welche üblicherweise als Akkumulator ausgebildet ist, zu stark zu belasten. Die Erfassung der Daten und Ermittlung der personenbezogenen Parameter mittels des mobilen Kommunikationsgerätes erfolgt besonders vorteilhafterweise berührungslos, insbesondere mittels einer Bilderfassungseinheit des mobilen Kommunikationsgerätes oder mittels einer Mehrzahl derartiger, üblicherweise als Kameras mit Foto- und/oder Videofunktionalität ausgebildeter Bilderfassungseinheiten. Das Verfahren ermöglicht eine Ermittlung der personenbezogenen Parameter eines oder mehrerer Fahrzeuginsassen mit einem oder mehreren mobilen Kommunikationsgeräten.
Da das Verfahren durchgeführt werden kann, ohne hierfür im Fahrzeug zusätzliche Sensoren und Auswerteeinheiten einbauen zu müssen, entstehen zur Herstellung des Fahrzeugs keine zusätzlichen Kosten und kein zusätzlicher Montageaufwand. Zudem ist dadurch eine Erhöhung des Gewichts des Fahrzeugs und daraus resultierend ein erhöhter Kraftstoffverbrauch und Schadstoffausstoß vermieden.
Des Weiteren ist eine hohe Akzeptanz des Verfahrens bei den Fahrzeuginsassen ermöglicht, da diese zur Durchführung des Verfahrens ihre eigenen mobilen Kommunikationsgeräte verwenden, inklusive der hierfür erforderlichen Sensoren und Algorithmen bzw. Programme, insbesondere Anwendungsprogramme und/oder Applikationen. Des Weiteren sind die Möglichkeiten zur Ermittlung der personenbezogenen Parameter auf einfache Weise erweiterbar, durch eine Installation weiterer entsprechender Programme, d. h. Anwendungsprogramme und/oder Applikationen, auf dem mobilen Kommunikationsgerät. Die ermittelten personenbezogenen Parameter ermöglichen deren kontextbezogene Verwendung zu einer ganzheitlichen Situationsanalyse von Fahrzeuginsasse, Fahrzeug und Fahrtumgebung und/oder zu einer dynamischen Gestaltung von Informationen und/oder Warnungen an den oder die Fahrzeuginsassen sowie zur Anpassung eines Fahrverhaltens durch die Assistenzvorrichtungen in Richtung Komfort und Sicherheit.
Zweckmäßigerweise wird bzw. werden als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, in eine Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs und/oder eine optische, akustische und/oder haptische Warneinrichtung gesteuert und/oder geregelt. Auf diese Weise kann das Fahrzeug, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs zum Beispiel automatisch an einen Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs derart erfolgen, dass das Fahrzeug autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines nächstgelegenen Krankenhauses.
Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen zu warnen, beispielsweise um einen eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen auf einen schlechten oder sich verschlechternden Vitalzustand des Fahrzeugführers hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs betätigen können, um das Fahrzeug abzubremsen und/oder an den Fahrbahnrand zu steuern.
Des Weiteren ist beispielsweise alternativ oder zusätzlich auch eine Steuerung und/oder Regelung einer Einrichtung des Fahrzeugs zur Überwachung der Aufmerksamkeit eines Fahrzeugführers des Fahrzeugs derart möglich, dass aktuell ermittelte und/oder beispielsweise vor Fahrtantritt ermittelte personenbezogene Parameter in die Aufmerksamkeitsüberwachung einfließen, beispielsweise ein ermittelter gestresster und/oder müder und/oder gesundheitlich beeinträchtigter Zustand des Fahrzeugführers. Der Fahrzeugführer wird dann beispielsweise wesentlich früher gewarnt, eine Pause einzulegen oder andere Maßnahmen zur Steigerung seiner Fahrtüchtigkeit zu ergreifen. Derartige Einrichtungen nach dem Stand der Technik gehen im Gegensatz dazu bei Fahrtantritt stets von einem gesunden, wachen und ausgeruhten Fahrzeugführer aus, so dass eine Warnschwelle für einen gesundheitlich belasteten und/oder müden und/oder stressbelasteten Fahrzeugführer zu hoch sein kann. Da es mittels des Verfahrens ermöglicht wird, die Warnschwelle abzusenken und an den aktuellen Zustand des Fahrzeugführers anzupassen, wird eine Verkehrssicherheit erheblich gesteigert.
Alternativ oder zusätzlich wird/werden als Funktion der Assistenzvorrichtung zweckmäßigerweise zumindest eine Komfortfunktion und/oder eine Notruffunktion gesteuert und/oder geregelt. Durch Steuerung und/oder Regelung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können zum Beispiel Vitalparameter des oder der Fahrzeuginsassen verbessert werden, beispielsweise wenn der oder die in Form von Vitalparametern ermittelten personenbezogenen Parameter auf eine Ermüdung insbesondere des Fahrzeugführers hindeuten. Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs aktiviert werden. Dabei können zur Erfrischung der Fahrzeuginsassen beispielsweise auch ätherische Öle oder andere erfrischende Mittel in den Innenraum des Fahrzeugs eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse kann auf diese Weise beispielsweise auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der ermittelten personenbezogenen Parameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs, d. h. beispielsweise ein Autoradio.
Zudem können der oder die Fahrzeuginsassen auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die personenbezogenen Parameter, insbesondere Vitalparameter, des oder der Fahrzeuginsassen, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und im mobilen Kommunikationsgerät zu speichern und deren Verlauf zu analysieren, so dass auch langsame Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten personenbezogenen Parameter, insbesondere die relevanten Vitalparameter, an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise mittels des mobilen Kommunikationsgerätes auch aktuelle Positionsdaten des Fahrzeugs ermittelt und mit dem Notruf weitergeleitet.
Vorzugsweise werden zur Ermittlung des zumindest einen personenbezogenen Parameters Daten verwendet, welche von dem Kommunikationsgerät aktuell erfasst werden und/oder in der Vergangenheit erfasst wurden. Auf diese Weise sind eine Vielzahl von personenbezogenen Parametern zu ermitteln, zu deren Ermittlung nicht nur aktuelle, sondern auch historische, d. h. in der Vergangenheit ermittelte Daten erforderlich sind. Alternativ oder zusätzlich können derartige historische Daten auch zur Präzisierung der personenbezogenen Parameter verwendet werden. Dadurch ermöglicht das Verfahren eine wesentlich genauere Bewertung eines aktuellen Zustandes des oder der Fahrzeuginsassen, beispielsweise eines Gesundheitszustandes, eines Aufmerksamkeits- bzw. Müdigkeitszustandes und/oder eines Stresszustandes des oder der Fahrzeuginsassen.
Beispielsweise sind derartige historische Daten eine körperliche Anstrengung zum Beispiel aufgrund sportlicher Aktivitäten des Fahrzeuginsassen vor Fahrtantritt, welche mit entsprechenden Sensoren des mobilen Kommunikationsgerätes erfassbar sind. Des Weiteren können Daten beispielsweise aus einem Terminkalender des mobilen Kommunikationsgerätes dazu verwendet werden, um einen Stresszustand und körperlichen Zustand des Fahrzeuginsassen zu beurteilen, beispielsweise wenn aus diesen Daten, beispielsweise aus Terminkalenderdaten und/oder mittels einer Positionsbestimmungseinheit ermittelter Daten hervorgeht, dass der Fahrzeuginsasse gerade einen langen Flug mit einer entsprechenden Zeitumstellung absolviert hat. Zudem ist aus derartigen Terminkalenderdaten beispielsweise zu ermitteln, ob der Fahrzeuginsasse in nächster Zeit einen Termin hat und daher in Eile ist. Mittels Bewegungssensoren und/oder anhand eines Nutzungsverhaltens des mobilen Gerätes ist beispielsweise zu ermitteln, ob der Fahrzeuginsasse in letzter Zeit ausreichende Ruhephasen, insbesondere einen ausreichenden Schlaf hatte oder nicht.
Zudem ist ein Stresszustand des Fahrzeuginsassen beispielsweise auch mittels eines Mikrofons des mobilen Gerätes über eine Analyse der Stimme des Fahrzeuginsassen zu ermitteln. Auch andere mittels des Mikrofons zu erfassende Geräusche oder deren Ausbleiben können auf ein erhöhtes Stressniveau und/oder auf eine höhere Unaufmerksamkeit hindeuten, zum Beispiel das Ausbleiben eines Richtungsanzeigergeräusches bei Abbiege- und/oder Wendemanövern. Als personenbezogener Parameter kann des Weiteren beispielsweise auch ein bevorzugter Fahrstil des Fahrzeuginsassen mittels entsprechender Sensoren des mobilen Kommunikationsgerätes ermittelt werden, beispielsweise mittels Beschleunigungssensoren und/oder mittels eines Kompasses und/oder mittels einer Positionsbestimmungseinheit, beispielsweise über GPS, und/oder mittels eines Gyroskops des mobilen Kommunikationsgerätes.
Beispielsweise können auf diese Weise als personenbezogene Parameter auch ein Fahrstil des Fahrzeugführers über die Positionsbestimmung, das Gyroskop und/oder den Sensor zur Beschleunigungsermittlung ermittelt werden, insbesondere ein Fahrstil abhängig von einer jeweiligen Strecke. Dadurch können entsprechende Assistenzvorrichtungen des Fahrzeugs an diesen Fahrstil angepasst werden, beispielsweise ein so genanntes elektronisches Stabilitätsprogramm, um diesen Fahrstil zu unterstützen oder Sicherheitsmaßnahmen entsprechend des Fahrstils zu ergreifen, um eine Unfallgefahr zu reduzieren. Ein derart ermittelter Fahrstil, streckenbezogen oder auch nicht streckenbezogen, kann beispielsweise auch mit einem anhand gespeicherter historischer personenbezogener Parameter ermittelten Fahrstil früherer Fahrten des Fahrzeugführers verglichen werden, um auf diese Weise beispielsweise einen Stresszustand des Fahrzeugführers anhand eines aggressiveren Fahrstils oder einen verschlechterten Vitalzustand anhand eines aktuell unsicheren Fahrstils zu ermitteln
Vorteilhafterweise wird bzw. werden der ermittelte zumindest eine personenbezogene Parameter und/oder die erfassten Daten zur Ermittlung des zumindest einen personenbezogenen Parameters im mobilen Kommunikationsgerät gespeichert. Dies ermöglicht, wie bereits beschrieben, die Ermittlung personenbezogener Parameter auch mittels historischer Daten. Zudem wird auf diese Weise eine Auswertung der personenbezogenen Parameter über einen längeren Zeitraum hinweg ermöglicht, um auf diese Weise zum Beispiel Veränderungen festzustellen. Des Weiteren können die gespeicherten personenbezogenen Parameter beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung stehen. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann.
Zweckmäßigerweise wird als personenbezogener Parameter zumindest ein Vitalparameter, ein Stresszustand des Fahrzeuginsassen und/oder zumindest ein Umgebungsparameter einer jeweiligen Umgebung des Fahrzeuginsassen ermittelt. Der Stresszustand kann, wie bereits beschrieben, auf vielfältige Weise ermittelt werden, beispielsweise durch Auswertung von Terminkalenderdaten, welche im mobilen Kommunikationsgerät gespeichert sind, und/oder durch Analyse der Stimme des Fahrzeuginsassen und/oder durch Auswertung von Umgebungsparametern, beispielsweise ein aktueller Verkehrzustand, welchen der Fahrzeuginsasse bewältigen muss. Der aktuelle Verkehrszustand ist beispielsweise mittels einer nach außen gerichteten Bilderfassungseinheit des mobilen Kommunikationsgerätes zu ermitteln. Die Ermittlung einiger personenbezogener Parameter, beispielsweise der Umgebungsparameter der jeweiligen Umgebung des Fahrzeuginsassen, kann daher auch einen Einfluss auf die Ermittlung anderer personenbezogener Parameter haben, d. h. sie können zu einer genaueren Ermittlung anderer personenbezogener Parameter dienen, beispielsweise zur Ermittlung eines Stresszustandes des Fahrzeuginsassen.
Vorzugsweise wird bzw. werden als Vitalparameter eine Pulsfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen und/oder eine Herzratenvariabilität und/oder eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen und/oder autonome Körperfunktionen des Fahrzeuginsassen und/oder Schmerzzustände des Fahrzeuginsassen ermittelt. Die Herzratenvariabilität (HRV), auch als Herzfrequenzvariabilität bezeichnet, wird beispielsweise aus der Pulsfrequenz, der Atemfrequenz und dem Atemzugvolumen ermittelt, denn sie steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen. Aus der Herzfrequenzvariabilität können auch zusätzliche Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz-Kreislauf-Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden.
Die Ermittlung der Vitalparameter ermöglicht es, einen Vitalzustand des Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs, zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus des Fahrzeugführers bewertet werden können.
Anhand der Vitalparameter können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser weiteren diagnostischen Parameter kann eine Beurteilung des aktuellen Vitalzustandes des Fahrzeuginsassen optimiert werden, so dass gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
Zweckmäßigerweise wird der zumindest eine personenbezogene Parameter mittels zumindest eines Sensors des mobilen Kommunikationsgerätes ermittelt, beispielsweise, wie bereist beschrieben, mittels zumindest einer Bilderfassungseinheit des mobilen Kommunikationsgerätes, bevorzugt mittels einer Mehrzahl von Bilderfassungseinheiten, mittels eines Sensors zur Positionsbestimmung, beispielsweise über ein globales Positionsbestimmungssystem, mittels eines Sensors zur Abstandsermittlung, mittels eines Sensors zur Beschleunigungsermittlung, mittels eines oder mehrerer Mikrofone, mittels eines Kompasses und/oder mittels eines Gyroskops. Dies ermöglicht die Ermittlung einer Vielzahl personenbezogener Parameter und insbesondere deren möglichst exakte Ermittlung. Dadurch ist eine entsprechend angepasste und dadurch optimierte Steuerung und/oder Regelung der Assistenzvorrichtung oder der Mehrzahl von Assistenzvorrichtungen des Fahrzeugs ermöglicht. Durch eine Vielzahl auf diese Weise ermittelter personenbezogener Parameter und durch deren optimierte Genauigkeit wird auch eine Genauigkeit der Steuerung und/oder Regelung der einen oder mehreren Assistenzvorrichtungen optimiert, wodurch die Akzeptanz des oder der Fahrzeuginsassen für das Verfahren und die daraus resultierende automatische Steuerung und/oder Regelung der einen oder mehreren Assistenzvorrichtungen des Fahrzeugs gesteigert wird.
Bevorzugt wird der zumindest eine Vitalparameter durch Bildauswertung mittels zumindest einer Bilderfassungseinheit des mobilen Kommunikationsgerätes erfasster Bilder des Fahrzeuginsassen ermittelt. Dafür ist es erforderlich, das mobile Kommunikationsgerät oder eine Mehrzahl derartiger mobiler Kommunikationsgeräte derart im Fahrzeug anzuordnen, dass die Bilderfassungseinheit oder die Mehrzahl von Bilderfassungseinheiten auf den oder die Fahrzeuginsassen ausgerichtet sind. Mittels dieser zumindest einen Bilderfassungseinheit werden die Vitalparameter des jeweiligen Fahrzeuginsassen alle gleichzeitig erfasst bzw. es werden alle Daten gleichzeitig erfasst, aus welchen mittels einer Bildauswertung die Vitalparameter des jeweiligen Fahrzeuginsassen ermittelt werden können. Zur Durchführung des Verfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera, d. h. die in derartigen mobilen Kommunikationsgeräten üblicherweise installierten Bilderfassungseinheiten sind hierfür geeignet. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend. Eine Robustheit einer Signaldetektion der Bilderfassungseinheit wird durch teilweise redundante Informationen beispielsweise in einem RGB-Farbsignal der Bilderfassungseinheit und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit erforderlich, sondern die vorhandene Bilderfassungseinheit wird in einen Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
Vorzugsweise werden die Vitalparameter durch eine Erfassung eines optischen Absorptionswertes reflektierten Lichts eines oder mehrerer Hautbereiche des oder der Fahrzeuginsassen und/oder durch eine Erfassung eines Intensitätswertes reflektierten Lichts eines oder mehrerer Hautbereiche des oder der Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder durch eine Ermittlung einer Änderung dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da der Blutdruck in den Gefäßen steigt. Diese Ausweitung verursacht eine Änderung in der Intensität des von dem Hautbereich reflektierten Lichts. Darüber hinaus verändert sich speziell durch das Einströmen von sauerstoffangereichertem Blut in den Gefäßen die arterielle Sauerstoffsättigung, d. h. das Verhältnis von Oxyhämoglobin zum Gesamthämoglobin, und damit das Farbspektrum des absorbierten und reflektierten Lichts an der Haut. Durch Ermittlung von Helligkeitsunterschieden (Photoplethysmographie) und Änderungen im Farbspektrum (Pulsoximetrie) des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter, insbesondere die Pulsfrequenz, die Atemfrequenz und das Atemzugvolumen, ermittelt werden. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation," Opt. Express 18, 10762–10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
Vorzugsweise wird während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchem ein ausreichend großer Hautbereich des Fahrzeuginsassen abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen und/oder dessen Hände beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht. Daher wird das mobile Kommunikationsgerät zweckmäßigerweise derart im Fahrzeug positioniert, dass dessen Bilderfassungseinheit entsprechend ausgerichtet ist, d. h. auf das Gesicht und/oder die Hände des Fahrzeuginsassen oder einer Mehrzahl von Fahrzeuginsassen. Es können mit dem Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren Fahrzeuginsassen ermittelt werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter und/oder Hände der Fahrzeuginsassen befinden, und getrennt voneinander ausgewertet werden.
Bei einem entsprechend großen Öffnungswinkel des Kameraobjektives ist es ausreichend, die Kamera im vorderen Teil des Fahrzeuginnenraums mittig anzubringen, beispielsweise auf der Mitte des Armaturenbrettes oder am oberen Ende der Mittelkonsole, und die Kamera so zur Fahrzeuglängsachse auszurichten, dass der Innenraum möglichst symmetrisch abgebildet wird.
Zweckmäßigerweise werden als Bilder des oder der Fahrzeuginsassen Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal ausgewertet wird. Beispielsweise wird der zur Bildauswertung geeignete Bereich in rote, grüne und blaue Anteile, d. h. Farbkanäle unterteilt. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist.
Aus einer Kombination der Farbkanäle, genauer gesagt aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Farbkanälen bzw. Farbsignalen können beispielsweise die Hauttemperatur, die Sauerstoffkonzentration bzw. Sauerstoffsättigung und der Blutdruck des Fahrzeuginsassen ermittelt werden.
Vorzugsweise wird mittels schneller Fourier-Transformation eine spektrale Leistungsdichte des Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter ermittelt werden.
Die auf diese Weise ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten der Fahrzeuginsassen kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes der Fahrzeuginsassen zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können beispielsweise durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Dies kann beispielsweise mit der ermittelten Pulsfrequenz und/oder mit anderen ermittelten Vitalparametern kombiniert werden, um eine bessere Einschätzung zu erhalten.
Eine erfindungsgemäße Vorrichtung zur Durchführung eines derartigen Verfahrens umfasst zumindest ein mobiles Kommunikationsgerät, welches zur Übertragung zumindest eines personenbezogenen Parameters zumindest eines Fahrzeuginsassen eines Fahrzeugs über zumindest eine Kommunikationsverbindung mit zumindest einer Assistenzvorrichtung des Fahrzeugs verbindbar oder verbunden ist.
Wie bereits im Zusammenhang mit dem mittels der Vorrichtung durchzuführenden Verfahren beschrieben, ist das mobile Kommunikationsgerät beispielsweise als ein Mobiltelefon ausgebildet, insbesondere als ein so genanntes Smartphone. Alternativ oder zusätzlich kann das mobile Kommunikationsgerät beispielsweise auch als ein kleiner tragbarer Computer ausgebildet sein, beispielsweise als ein so genannter PDA oder als ein so genannter Tablet-Computer. Mittels dieses mobilen Kommunikationsgerätes, welches üblicherweise eine Vielzahl für die Ermittlung der personenbezogenen Parameter bzw. der hierfür erforderlichen Daten geeigneter Funktionen, Sensoren und Programme, insbesondere Anwendungsprogramme und/oder Applikationen, aufweist und welches üblicherweise ein persönlicher Besitz des jeweiligen Fahrzeuginsassen ist, dessen personenbezogene Parameter ermittelt werden sollen, und daher von diesem stets oder zumindest sehr häufig mitgeführt wird, wird es ermöglicht, eine Vielzahl personenbezogener Parameter des Fahrzeuginsassen zu ermitteln. Diese Ermittlung der personenbezogenen Parameter erfolgt dabei vollständig im mobilen Kommunikationsgerät, durch die Auswertung und Verarbeitung der Daten, welche das mobile Kommunikationsgerät erfasst hat.
Im Fahrzeug sind daher keine zusätzlichen Sensoren zur Überwachung der Fahrzeuginsassen und zur Datenermittlung erforderlich und es sind des Weiteren auch keine zusätzlichen Auswertungseinheiten zur Verarbeitung und Auswertung derartiger Daten erforderlich. Es ist lediglich eine Kommunikationsverbindung des Fahrzeugs mit dem mobilen Kommunikationsgerät erforderlich, um die vom mobilen Kommunikationsgerät ermittelten personenbezogenen Parameter an das Fahrzeug, genauer gesagt an eine oder mehrere Assistenzvorrichtungen des Fahrzeugs oder an deren Steuergeräte übertragen zu können, so dass die personenbezogenen Parameter dann zur Steuerung und/oder Regelung einer oder mehrerer Funktionen einer oder mehrerer Assistenzvorrichtungen des Fahrzeugs verwenden zu können.
Diese Kommunikationsverbindung kann als eine drahtgebundene oder besonders bevorzugt als eine drahtlose Kommunikationsverbindung ausgebildet sein, beispielsweise als eine Funkverbindung, insbesondere als eine Kurzstreckenfunkverbindung. Eine derartige Kurzstreckenfunkverbindung ist beispielsweise eine Bluetooth-Verbindung, besonders vorteilhafterweise eine so genannte Bluetooth Low Energy Funkverbindung, da auf diese Weise auch über längere Zeiträume hinweg eine Verbindung zwischen dem mobilen Kommunikationsgerät und dem Fahrzeug ermöglicht wird, ohne eine Energiequelle des mobilen Kommunikationsgerätes, welche üblicherweise als Akkumulator ausgebildet ist, zu stark zu belasten. Die Erfassung der Daten und Ermittlung der personenbezogenen Parameter mittels des mobilen Kommunikationsgerätes erfolgt besonders vorteilhafterweise berührungslos, insbesondere mittels einer Bilderfassungseinheit des mobilen Kommunikationsgerätes oder mittels einer Mehrzahl derartiger, üblicherweise als Kameras mit Foto- und/oder Videofunktionalität ausgebildeter Bilderfassungseinheiten. Das mittels der Vorrichtung durchzuführende Verfahren ermöglicht eine Ermittlung der personenbezogenen Parameter eines oder mehrerer Fahrzeuginsassen mit einem oder mehreren mobilen Kommunikationsgeräten.
Da mittels der Vorrichtung das Verfahren durchgeführt werden kann, ohne hierfür im Fahrzeug zusätzliche Sensoren und Auswerteeinheiten einbauen zu müssen, entstehen zur Herstellung des Fahrzeugs keine zusätzlichen Kosten und kein zusätzlicher Montageaufwand. Zudem ist dadurch eine Erhöhung des Gewichts des Fahrzeugs und daraus resultierend ein erhöhter Kraftstoffverbrauch und Schadstoffausstoß vermieden.
Des Weiteren ist durch die Durchführung des Verfahrens mittels der Vorrichtung eine hohe Akzeptanz des Verfahrens bei den Fahrzeuginsassen ermöglicht, da diese zur Durchführung des Verfahrens ihre eigenen mobilen Kommunikationsgeräte verwenden, inklusive der hierfür erforderlichen Sensoren und Algorithmen bzw. Programme, insbesondere Anwendungsprogramme und/oder Applikationen. Des Weiteren sind die Möglichkeiten zur Ermittlung der personenbezogenen Parameter auf einfache Weise erweiterbar, durch eine Installation weiterer entsprechender Programme, insbesondere entsprechender spezifischer Anwendungsprogramme und/oder Applikationen, auf dem mobilen Kommunikationsgerät. Die ermittelten personenbezogenen Parameter ermöglichen deren kontextbezogene Verwendung zu einer ganzheitlichen Situationsanalyse von Fahrzeuginsasse, Fahrzeug und Fahrtumgebung und/oder zu einer dynamischen Gestaltung von Informationen und/oder Warnungen an den oder die Fahrzeuginsassen sowie zur Anpassung eines Fahrverhaltens durch die Assistenzvorrichtungen in Richtung Komfort und Sicherheit.
Vorteilhafterweise ist das mobile Kommunikationsgerät derart im Fahrzeug angeordnet, dass zumindest eine Bilderfassungseinheit des mobilen Kommunikationsgerätes auf einen Hautbereich des zumindest einen Fahrzeuginsassen ausgerichtet ist, insbesondere auf das Gesicht und/oder die Hände des oder der Fahrzeuginsassen. Dadurch wird im mittels der Vorrichtung durchzuführenden Verfahren die Ermittlung der Vitalparameter auf die oben beschriebene Weise ermöglicht, durch eine Erfassung eines optischen Absorptionswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Erfassung eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder durch eine Ermittlung einer Änderung dieses Intensitätswertes.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zur Durchführung eines Verfahrens zum Betrieb zumindest einer Assistenzvorrichtung des Fahrzeugs,
2 schematisch eine Darstellung eines mobilen Kommunikationsgerätes und darin angeordneter Sensoren.
3 eine schematische Darstellung von drei Farbkanälen,
4 eine Detailansicht eines Bereichs aus 3, und
5 eine schematische Darstellung von Koeffizienten eines erfassten Farbsignals.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einer Vorrichtung zur Durchführung eines Verfahrens zum Betrieb zumindest einer Assistenzvorrichtung 2 des Fahrzeugs 1. Die Vorrichtung umfasst zumindest ein mobiles Kommunikationsgerät 3, welches zur Übertragung zumindest eines personenbezogenen Parameters zumindest eines Fahrzeuginsassen des Fahrzeugs 1 über zumindest eine Kommunikationsverbindung 4 mit der zumindest einen Assistenzvorrichtung 2 des Fahrzeugs 1 verbindbar oder verbunden ist.
In dem Verfahren zum Betrieb der Assistenzvorrichtung 2 oder bevorzugt einer Mehrzahl von Assistenzvorrichtungen 2 des Fahrzeugs 1 wird mit dem mobilen Kommunikationsgerät 3 durch Auswertung von mittels des mobilen Kommunikationsgerätes 3 erfassten Daten zumindest ein personenbezogener Parameter zumindest eines Fahrzeuginsassen ermittelt und an die Assistenzvorrichtung 2 des Fahrzeugs 1 übertragen, wobei zumindest eine Funktion der Assistenzvorrichtung 2 in Abhängigkeit des ermittelten personenbezogenen Parameters gesteuert und/oder geregelt wird. Bei einer Mehrzahl von Fahrzeuginsassen werden für das Verfahren bevorzugt eine Mehrzahl von mobilen Kommunikationsgeräten 3 verwendet, wobei dann bevorzugt jedem Fahrzeuginsassen zur Durchführung des Verfahrens sein persönliches mobiles Kommunikationsgerät 3 zugeordnet wird. Diese Nutzung des persönlichen mobilen Kommunikationsgerätes 3 des jeweiligen Fahrzeuginsassen für das Verfahren hat Vorteile für die Durchführung des Verfahrens und für die Akzeptanz des Verfahrens, die im Folgenden noch näher geschildert werden.
Das in diesem Verfahren verwendete mobile Kommunikationsgerät 3 kann beispielsweise als ein Mobiltelefon ausgebildet sein, insbesondere als ein so genanntes Smartphone. Alternativ oder zusätzlich kann das mobile Kommunikationsgerät 3 beispielsweise auch als ein kleiner tragbarer Computer ausgebildet sein, beispielsweise als ein so genannter PDA oder als ein so genannter Tablet-Computer. Bei einer Nutzung mehrerer mobiler Kommunikationsgeräte 3 für das Verfahren können diese natürlich gleichartig oder unterschiedlich ausgebildet sein.
Das mobile Kommunikationsgerät 3 oder die Mehrzahl mobiler Kommunikationsgeräte 3 ist/sind derart im Fahrzeug 1 positioniert, dass die Ermittlung der personenbezogenen Parameter des oder der Fahrzeuginsassen ermöglicht ist. So kann beispielsweise jedem besetzten Fahrzeugsitz je ein mobiles Kommunikationsgerät 3 zugeordnet und auf den jeweiligen Fahrzeuginsassen ausgerichtet sein. Alternativ ist es auch möglich, die personenbezogenen Parameter mehrerer Fahrzeuginsassen mittels eines mobilen Kommunikationsgerätes 3 zu ermitteln. So ist beispielsweise, wie in 1 dargestellt, ein mobiles Kommunikationsgerät 3 im Bereich einer Instrumententafel und/oder im Bereich einer Frontscheibe des Fahrzeugs 1 positioniert, um die personenbezogenen Parameter beispielsweise eines Fahrzeugführers und/oder eines Beifahrers zu ermitteln. Sind auch hintere Fahrzeugsitze besetzt, so können ein oder mehrere mobile Kommunikationsgeräte 3 beispielsweise an Sitzlehnen von Vordersitzen angeordnet sein und nach hinten ausgerichtet sein, um die personenbezogenen Parameter dort sitzender ein oder mehrerer Fahrzeuginsassen zu ermitteln. Dies ermöglicht es beispielsweise auch, einen Gesundheits- und/oder Vitalzustand insbesondere von Kindern und/oder kranken und/oder älteren Personen zu überwachen und auf Veränderungen schnell reagieren zu können.
Mittels dieses mobilen Kommunikationsgerätes 3, welches üblicherweise eine Vielzahl für die Ermittlung der personenbezogenen Parameter bzw. der hierfür erforderlichen Daten geeigneter Funktionen, Sensoren und Programme, insbesondere Anwendungsprogramme und/oder Applikationen, aufweist und welches üblicherweise ein persönlicher Besitz des jeweiligen Fahrzeuginsassen ist, dessen personenbezogene Parameter ermittelt werden sollen, und daher von diesem stets oder zumindest sehr häufig mitgeführt wird, wird es ermöglicht, eine Vielzahl personenbezogener Parameter des Fahrzeuginsassen zu ermitteln. Diese Ermittlung der personenbezogenen Parameter erfolgt dabei vollständig im mobilen Kommunikationsgerät 3, durch die Auswertung und Verarbeitung der Daten, welche das mobile Kommunikationsgerät 3 erfasst hat.
Im Fahrzeug 1 sind daher keine zusätzlichen Sensoren zur Überwachung der Fahrzeuginsassen und zur Datenerfassung erforderlich und es sind des Weiteren auch keine zusätzlichen Auswertungseinheiten zur Verarbeitung und Auswertung derartiger Daten erforderlich. Es ist lediglich die bereits beschriebene Kommunikationsverbindung 4 des Fahrzeugs 1 mit dem mobilen Kommunikationsgerät 3 erforderlich, um die vom mobilen Kommunikationsgerät 3 ermittelten personenbezogenen Parameter an das Fahrzeug 1, genauer gesagt an eine oder mehrere Assistenzvorrichtungen 2 des Fahrzeugs 1 oder an deren Steuergeräte, übertragen zu können, so dass die personenbezogenen Parameter dann zur Steuerung und/oder Regelung einer oder mehrerer Funktionen einer oder mehrerer Assistenzvorrichtungen 2 des Fahrzeugs 1 verwendet werden können. Diese Kommunikationsverbindung 4 kann als eine drahtgebundene oder besonders bevorzugt als eine drahtlose Kommunikationsverbindung 4 ausgebildet sein, beispielsweise als eine Funkverbindung, insbesondere als eine Kurzstreckenfunkverbindung. Eine derartige Kurzstreckenfunkverbindung ist beispielsweise eine Bluetooth-Verbindung, besonders vorteilhafterweise eine so genannte Bluetooth Low Energy Funkverbindung, d. h. eine Funkverbindung, welche mit einer geringen Energie zu betreiben ist, da auf diese Weise auch über längere Zeiträume hinweg eine Verbindung zwischen dem mobilen Kommunikationsgerät 3 und dem Fahrzeug 1 bzw. dessen einer oder mehreren Assistenzvorrichtungen 2 ermöglicht wird, ohne eine Energiequelle des mobilen Kommunikationsgerätes 3, welche üblicherweise als Akkumulator ausgebildet ist, zu stark zu belasten.
Die Erfassung der Daten und Ermittlung der personenbezogenen Parameter mittels des mobilen Kommunikationsgerätes 3 erfolgt besonders vorteilhafterweise berührungslos, insbesondere mittels einer Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 oder mittels einer Mehrzahl derartiger, üblicherweise als Kameras mit Foto- und/oder Videofunktionalität ausgebildeter Bilderfassungseinheiten 3.1 des mobilen Kommunikationsgerätes 3. Das Verfahren ermöglicht eine Ermittlung der personenbezogenen Parameter eines oder mehrerer Fahrzeuginsassen mit einem oder mehreren mobilen Kommunikationsgeräten 3. Um die Ermittlung eines oder mehrerer personenbezogener Parameter mittels der Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 zu ermöglichen, ist das mobile Kommunikationsgerät 3 in dem dargestellten vorteilhaften Ausführungsbeispiel derart im Fahrzeug 1 angeordnet, dass zumindest eine Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 auf einen Hautbereich des zumindest einen Fahrzeuginsassen ausgerichtet ist. Dies ermöglicht eine im Folgenden noch näher erläuterte besonders vorteilhafte Ermittlung von als Vitalparameter ausgebildeten personenbezogenen Parametern eines oder mehrerer Fahrzeuginsassen. Vorzugsweise ist die Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 zu diesem Zweck auf das Gesicht und/oder die Hände des oder der Fahrzeuginsassen ausgerichtet.
Da das Verfahren durchgeführt werden kann, ohne hierfür im Fahrzeug 1 zusätzliche Sensoren und Auswerteeinheiten einbauen zu müssen, entstehen zur Herstellung des Fahrzeugs 1 keine zusätzlichen Kosten und kein zusätzlicher Montageaufwand. Zudem wird dadurch eine Erhöhung des Gewichts des Fahrzeugs 1 und daraus resultierend ein erhöhter Kraftstoffverbrauch und Schadstoffausstoß vermieden.
Des Weiteren ist eine hohe Akzeptanz des Verfahrens bei den Fahrzeuginsassen ermöglicht, da diese zur Durchführung des Verfahrens ihre eigenen mobilen Kommunikationsgeräte 3 verwenden, inklusive der hierfür erforderlichen Sensoren und Algorithmen bzw. Programme, insbesondere Anwendungsprogramme und/oder Applikationen. Zudem sind die Möglichkeiten zur Ermittlung der personenbezogenen Parameter auf einfache Weise erweiterbar, durch eine Installation weiterer entsprechender Programme, insbesondere entsprechender Anwendungsprogramme und/oder Applikationen, auf dem mobilen Kommunikationsgerät 3. Die ermittelten personenbezogenen Parameter ermöglichen deren kontextbezogene Verwendung zu einer ganzheitlichen Situationsanalyse von Fahrzeuginsasse, Fahrzeug 1 und Fahrtumgebung und/oder zu einer dynamischen Gestaltung von Informationen und/oder Warnungen an den oder die Fahrzeuginsassen sowie zur Anpassung eines Fahrverhaltens durch die Assistenzvorrichtungen 2 in Richtung Komfort und Sicherheit. Beispielsweise kann, um einen Komfort zu erhöhen, durch eine entsprechende Steuerung und/oder Regelung der als Audioanlage des Fahrzeugs 1 ausgebildeten Assistenzvorrichtung 2 gezielt auf Musik zurückgegriffen werden, welche auf dem mobilen Kommunikationsgerät 3 gespeichert ist, so dass beispielsweise um einen Stresszustand des Fahrzeuginsassen zu reduzieren, dessen Lieblingsmusik wiedergegeben wird.
Der zumindest eine personenbezogene Parameter oder bevorzugt eine Mehrzahl derartiger personenbezogener Parameter wird/werden zweckmäßigerweise mittels zumindest eines Sensors des mobilen Kommunikationsgerätes 3 ermittelt. In 2 sind ein derartiges mobiles Kommunikationsgerät 3, welches hier als ein Mobiltelefon, genauer gesagt als ein so genanntes Smartphone, ausgebildet ist, und die in diesem enthaltenen Sensoren beispielhaft schematisch dargestellt. Das mobile Kommunikationsgerät 3 weist beispielsweise, wie bereits beschrieben, eine Bilderfassungseinheit 3.1 oder bevorzugt zwei Bilderfassungseinheiten 3.1 auf, welche dann in entgegengesetzte Richtungen ausgerichtet sind. Zudem weist das mobile Kommunikationsgerät 3 beispielsweise einen Sensor 3.2 zur Positionsbestimmung auf, welcher eine Bestimmung einer aktuellen Position des mobilen Kommunikationsgerätes 3 mittels eines satellitengestützten globalen Positionsbestimmungssystems ermöglicht. Des Weiteren umfasst das mobile Kommunikationsgerät 3 beispielsweise einen Sensor 3.3 zur Umgebungslichterkennung, einen Sensor 3.4 zur Abstandsermittlung, einen Sensor 3.5 zur Beschleunigungsermittlung, ein Mikrofon 3.6 oder auch zwei oder mehrere Mikrofone 3.6, einen Kompass 3.7 und ein Gyroskop 3.8. Dies ermöglicht die Ermittlung einer Vielzahl personenbezogener Parameter und insbesondere deren möglichst exakte Ermittlung. Dadurch ist eine entsprechend angepasste und dadurch optimierte Steuerung und/oder Regelung der Assistenzvorrichtung 2 oder der Mehrzahl von Assistenzvorrichtungen 2 des Fahrzeugs 1 ermöglicht. Durch eine Vielzahl auf diese Weise ermittelter personenbezogener Parameter und durch deren optimierte Genauigkeit aufgrund der vielfältigen Möglichkeiten, die personenbezogenen Parameter mittels der Vielzahl von Sensoren auf verschiedene Weise zu ermitteln, wird auch eine Genauigkeit der Steuerung und/oder Regelung der einen oder mehreren Assistenzvorrichtungen 2 optimiert, wodurch die Akzeptanz des oder der Fahrzeuginsassen für das Verfahren und die daraus resultierende automatische Steuerung und/oder Regelung der einen oder mehreren Assistenzvorrichtungen 2 des Fahrzeugs 1 gesteigert wird.
Beispielsweise können auf diese Weise als personenbezogene Parameter auch ein Fahrstil des Fahrzeugführers über den Sensor 3.2 zur Positionsbestimmung, über das Gyroskop 3.8 und/oder über den Sensor 3.5 zur Beschleunigungsermittlung ermittelt werden, insbesondere ein Fahrstil abhängig von einer jeweiligen Strecke. Dadurch können entsprechende Assistenzvorrichtungen 2 des Fahrzeugs 1 an diesen Fahrstil angepasst werden, beispielsweise ein so genanntes elektronisches Stabilitätsprogramm, um diesen Fahrstil zu unterstützen oder Sicherheitsmaßnahmen entsprechend des Fahrstils zu ergreifen, um eine Unfallgefahr zu reduzieren. Ein derart ermittelter Fahrstil, streckenbezogen oder auch nicht streckenbezogen, kann beispielsweise auch mit einem anhand gespeicherter historischer personenbezogener Parameter ermittelten Fahrstil früherer Fahrten des Fahrzeugführers verglichen werden, um auf diese Weise zum Beispiel einen Stresszustand des Fahrzeugführers anhand eines aggressiveren Fahrstils oder einen verschlechterten Vitalzustand anhand eines aktuell unsicheren Fahrstils zu ermitteln.
Zur Ermittlung des zumindest einen personenbezogenen Parameters werden vorteilhafterweise Daten verwendet, welche von dem mobilen Kommunikationsgerät 3 aktuell erfasst werden und/oder in der Vergangenheit erfasst wurden. Auf diese Weise sind eine Vielzahl von personenbezogenen Parametern zu ermitteln, zu deren Ermittlung nicht nur aktuelle, sondern auch historische, d. h. in der Vergangenheit ermittelte Daten erforderlich sind. Alternativ oder zusätzlich können derartige historische Daten auch zur Präzisierung der personenbezogenen Parameter verwendet werden. Dadurch ermöglicht das Verfahren eine wesentlich genauere Bewertung eines aktuellen Zustandes des oder der Fahrzeuginsassen, beispielsweise eines Gesundheitszustandes, eines Aufmerksamkeits- bzw. Müdigkeitszustandes und/oder eines Stresszustandes des oder der Fahrzeuginsassen.
Beispielsweise sind derartige historische Daten eine körperliche Anstrengung, zum Beispiel aufgrund sportlicher Aktivitäten des Fahrzeuginsassen vor Fahrtantritt, welche mit entsprechenden Sensoren des mobilen Kommunikationsgerätes 3 erfassbar sind. Des Weiteren können Daten beispielsweise aus einem Terminkalender des mobilen Kommunikationsgerätes 3 dazu verwendet werden, um einen Stresszustand und körperlichen Zustand des Fahrzeuginsassen zu beurteilen, beispielsweise wenn aus diesen Daten, beispielsweise aus Terminkalenderdaten und/oder mittels des Sensors 3.2 zur Positionsbestimmung ermittelter Daten hervorgeht, dass der Fahrzeuginsasse gerade einen langen Flug mit einer entsprechenden Zeitumstellung absolviert hat. Zudem ist aus derartigen Terminkalenderdaten beispielsweise zu ermitteln, ob der Fahrzeuginsasse in nächster Zeit einen Termin hat und daher in Eile ist.
Mittels Bewegungssensoren und/oder anhand eines Nutzungsverhaltens des mobilen Gerätes ist beispielsweise zu ermitteln, ob der Fahrzeuginsasse in letzter Zeit ausreichende Ruhephasen, insbesondere einen ausreichenden Schlaf hatte oder nicht. Zudem ist ein Stresszustand des Fahrzeuginsassen beispielsweise auch mittels des Mikrofons 3.6 des mobilen Kommunikationsgerätes 3 über eine Analyse der Stimme des Fahrzeuginsassen zu ermitteln. Auch andere mittels des Mikrofons 3.6 zu erfassende Geräusche oder deren Ausbleiben können auf ein erhöhtes Stressniveau und/oder auf eine höhere Unaufmerksamkeit hindeuten, zum Beispiel das Ausbleiben eines Richtungsanzeigergeräusches bei Abbiege- und/oder Wendemanövern. Als personenbezogener Parameter kann des Weiteren beispielsweise auch ein bevorzugter Fahrstil des Fahrzeuginsassen mittels entsprechender Sensoren des mobilen Kommunikationsgerätes 3 ermittelt werden, beispielsweise mittels Sensoren 3.5 zur Beschleunigungsermittlung und/oder mittels des Kompasses 3.7 und/oder mittels des Sensors 3.2 zur Positionsbestimmung, beispielsweise über GPS, und/oder mittels des Gyroskops 3.8 des mobilen Kommunikationsgerätes 3.
Vorteilhafterweise wird bzw. werden der ermittelte zumindest eine personenbezogene Parameter und/oder die erfassten Daten zur Ermittlung des zumindest einen personenbezogenen Parameters im mobilen Kommunikationsgerät 3 gespeichert. Dies ermöglicht, wie bereits beschrieben, die Ermittlung personenbezogener Parameter auch mittels historischer Daten. Zudem wird auf diese Weise eine Auswertung der personenbezogenen Parameter über einen längeren Zeitraum hinweg ermöglicht, um auf diese Weise zum Beispiel Veränderungen festzustellen. Des Weiteren können die gespeicherten personenbezogenen Parameter beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung stehen. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann.
Die personenbezogenen Parameter können auch in Zusammenhang mit einer jeweils ermittelten Position des Fahrzeugs 1 bzw. des Fahrzeuginsassen gespeichert werden und auf diese Weise mit älteren an der gleichen Position gespeicherten personenbezogenen Parametern verglichen werden. Auf diese Weise ist zum Beispiel eine zeitliche Veränderung der personenbezogenen Parameter zu ermitteln, wobei die Änderung unabhängig von der Umgebung ist, da die personenbezogenen Parameter positionsgebunden und dadurch umgebungsgebunden gespeichert und mit älteren an der gleichen Position und daher in der gleichen Umgebung ermittelten personenbezogenen Parametern verglichen werden können. Auf diese Weise kann zum Beispiel ein veränderter Stresszustand an der gleichen Position einer Fahrstrecke ermittelt werden, welcher zum Beispiel auf ein verändertes Verkehrsaufkommen hindeutet. Eine daraus resultierende gezielte Steuerung und/oder Regelung der entsprechenden Assistenzvorrichtungen 2 des Fahrzeugs 1 ermöglicht dann beispielsweise durch eine geänderte Routenführung und/oder durch entsprechend angepasste Komfortfunktionen eine Stressreduzierung für den Fahrzeuginsassen.
Vorteilhafterweise wird als personenbezogener Parameter zumindest ein Vitalparameter, ein Stresszustand des Fahrzeuginsassen und/oder zumindest ein Umgebungsparameter einer jeweiligen Umgebung des Fahrzeuginsassen ermittelt. Der Stresszustand kann auf vielfältige Weise ermittelt werden, beispielsweise durch Auswertung von Terminkalenderdaten, welche im mobilen Kommunikationsgerät 3 gespeichert sind, und/oder durch Analyse der Stimme des Fahrzeuginsassen und/oder durch Auswertung von Umgebungsparametern, beispielsweise ein aktueller Verkehrzustand, welchen der Fahrzeuginsasse bewältigen muss. Der aktuelle Verkehrszustand ist beispielsweise mit einer nach außen, vorzugsweise nach vorn gerichteten Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 zu ermitteln. Die Ermittlung einiger personenbezogener Parameter, beispielsweise der Umgebungsparameter der jeweiligen Umgebung des Fahrzeuginsassen, kann daher auch einen Einfluss auf die Ermittlung anderer personenbezogener Parameter haben, d. h. sie können zu einer genaueren Ermittlung anderer personenbezogener Parameter dienen, beispielsweise zur Ermittlung eines Stresszustandes des Fahrzeuginsassen.
Vorzugsweise wird bzw. werden als Vitalparameter eine Pulsfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen und/oder eine Herzratenvariabilität und/oder eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen und/oder autonome Körperfunktionen des Fahrzeuginsassen und/oder Schmerzzustände des Fahrzeuginsassen ermittelt. Die Herzratenvariabilität (HRV), auch als Herzfrequenzvariabilität bezeichnet, wird beispielsweise aus der Pulsfrequenz, der Atemfrequenz und dem Atemzugvolumen ermittelt, denn sie steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen. Aus der Herzfrequenzvariabilität können auch zusätzliche Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz-Kreislauf-Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden.
Die besonders vorteilhafte Ermittlung eines oder mehrerer als Vitalparameter ausgebildeter personenbezogener Parameter ermöglicht es, einen Vitalzustand des Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs 1, zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen der Assistenzvorrichtung 2 oder der mehreren Assistenzvorrichtungen 2 des Fahrzeugs 1 entsprechend zu steuern und/oder zu regeln, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung 2 kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus des Fahrzeugführers bewertet werden können.
Anhand der Vitalparameter können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser weiteren diagnostischen Parameter kann eine Beurteilung des aktuellen Vitalzustandes des Fahrzeuginsassen optimiert werden, so dass gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
In einer besonders vorteilhaften Ausführungsform wird der zumindest eine Vitalparameter oder werden eine Mehrzahl von Vitalparametern durch Bildauswertung mittels zumindest einer Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 erfasster Bilder des Fahrzeuginsassen ermittelt. Dafür ist es erforderlich, das mobile Kommunikationsgerät 3 oder eine Mehrzahl derartiger mobiler Kommunikationsgeräte 3 derart im Fahrzeug 1 anzuordnen, dass die Bilderfassungseinheit 3.1 oder die Mehrzahl von Bilderfassungseinheiten 3.1 auf den oder die Fahrzeuginsassen ausgerichtet ist/sind, wie bereits beschrieben. Mittels dieser zumindest einen Bilderfassungseinheit 3.1 werden die Vitalparameter des jeweiligen Fahrzeuginsassen alle gleichzeitig erfasst bzw. es werden alle Daten gleichzeitig erfasst, aus welchen mittels einer Bildauswertung die Vitalparameter des jeweiligen Fahrzeuginsassen ermittelt werden können. Zur Durchführung des Verfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera, d. h. die in derartigen mobilen Kommunikationsgeräten 3 üblicherweise installierten Bilderfassungseinheiten 3.1 sind hierfür geeignet. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug 1 übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend.
Zur Ermittlung des zumindest einen als Vitalparameter ausgebildeten personenbezogenen Parameters oder einer Mehrzahl derartiger personenbezogener Parameter werden mittels der auf den Fahrzeuginsassen, zweckmäßigerweise auf dessen Gesicht oder Hände ausgerichteten Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 Bilder des Fahrzeuginsassen erfasst, beispielsweise in Form einer Videosequenz, und durch eine Bildverarbeitung und Bildauswertung, welche im mobilen Kommunikationsgerät 3 durchgeführt wird, werden der oder die Vitalparameter des Fahrzeuginsassen ermittelt. Mittels der ermittelten Vitalparameter des Fahrzeuginsassen können ein Vitalzustand des Fahrzeuginsassen und eine Veränderung des Vitalzustandes beurteilt werden.
Eine Robustheit einer Signaldetektion der Bilderfassungseinheit 3.1 wird durch teilweise redundante Informationen beispielsweise in einem RGB-Farbsignal der Bilderfassungseinheit 3.1 und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit 3.1 erforderlich, sondern die vorhandene Bilderfassungseinheit 3.1 wird in einen Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
Die Vitalparameter werden durch eine Erfassung eines optischen Absorptionswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Erfassung eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung des optischen Absorptionswertes reflektierten Lichts des Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung des Intensitätswertes reflektierten Lichts des Hautbereiches des Fahrzeuginsassen ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter des Fahrzeuginsassen, insbesondere die Pulsfrequenz bzw. Herzfrequenz sowie die Atemfrequenz und das Atemzugvolumen ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation," Opt. Express 18, 10762–10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
Während der Bildverarbeitung wird mittels geeigneter Methoden zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich wird ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchen ein ausreichend großer Hautbereich des Fahrzeuginsassen abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da die Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 vorzugsweise auf das Gesicht des jeweiligen Fahrzeuginsassen gerichtet ist.
Das Auffinden derartiger zur Bildauswertung geeigneter Bereiche ist beispielsweise mittels Methoden zur Gesichtserkennung in Bildern möglich. Es können mit dem Verfahren auch mittels eines mobilen Kommunikationsgerätes 3 gleichzeitig ein oder mehrere Vitalparameter von mehreren Fahrzeuginsassen ermittelt werden, wenn mehrere Fahrzeuginsassen von der Bilderfassungseinheit 3.1 des jeweiligen mobilen Kommunikationsgerätes 3 erfasst werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen befinden, und getrennt voneinander ausgewertet werden.
Als Bilder des Fahrzeuginsassen werden zweckmäßigerweise Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbanteile oder Farbkanäle aufgespalten wird, bei RGB-Bildern in die entsprechenden RGB-Farbkanäle, d. h. in einen roten Farbkanal R, einen grünen Farbkanal G und einen blauen Farbkanal B, wie in 3 dargestellt, und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal RGB ausgewertet wird. Dabei wird vorzugsweise insbesondere der grüne Anteil, d. h. der grüne Farbkanal G ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist. In 3 sind diese Verläufe der Farbkanäle RGB über die Zeit t dargestellt
Durch Auswertung der niederfrequenten Schwingungen NS der Farbsignale bzw. Farbkanäle RGB wird die Atemfrequenz ermittelt, durch Auswertung der Amplituden A der niederfrequenten Schwingungen NS wird das Atemzugvolumen ermittelt und durch Auswertung der hochfrequenten Schwingungen HS wird die Herzfrequenz ermittelt. In 4 sind die hochfrequenten Schwingungen HS einer einzelnen niederfrequenten Schwingung NS eines der Farbkanäle RGB dargestellt.
Mittels schneller Fourier-Transformation wird eine spektrale Leistungsdichte des auszuwertenden Farbkanals RGB des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die Helligkeitsunterschiede des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter des oder der Fahrzeuginsassen ermittelt werden.
In 5 sind Koeffizienten KR, KG, KB des in die drei Farbkanäle RGB aufgespaltenen Farbsignals einer Hautpartie des Fahrzeuginsassen, zum Beispiel von dessen Gesicht, dargestellt. Aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Koeffizienten KR, KG, KB des RGB-Farbsignals können die Hauttemperatur, der Blutdruck und die Sauerstoffsättigung des Blutes des Fahrzeuginsassen ermittelt werden.
Das Verfahren ist aufgrund der Bilderfassungseinheit 3.1, welche lediglich eine geringe Auflösung aufweisen muss, sowie aufgrund der Durchführung unter normalen Umgebungslichtbedingungen, d. h. ohne zusätzliche spezielle Lichtquellen, sehr einfach und kostengünstig im Fahrzeug 1 zu implementieren und durchzuführen. Zudem ist das Verfahren sehr robust gegenüber unterschiedlichen Hautfarben sowie gegenüber Bewegungen des oder der Fahrzeuginsassen während der Bilderfassung. Die Ermittlung der Vitalparameter ist dabei ausreichend exakt, um den Vitalzustand des oder der Fahrzeuginsassen sowie eine Veränderung des Vitalzustandes anhand des oder der ermittelten Vitalparameter ausreichend genau bestimmen zu können, so dass ein Vitalzustand, welcher beispielsweise auf eine akute Notsituation hindeutet und medizinische Hilfe erfordert oder welcher beispielsweise Auswirkungen auf das sichere Führen des Fahrzeugs 1 haben könnte, mit einer hohen Sicherheit erkennbar ist.
Im Verfahren werden die ermittelten personenbezogenen Parameter, d. h. die ermittelten Vitalparameter und andere personenbezogene Parameter, dazu verwendet, um zumindest eine Funktion der Assistenzvorrichtung 2 entsprechend zu steuern und/oder zu regeln, wenn beispielsweise ein ermittelter Wert zumindest eines Vitalparameters und/oder eines anderen ermittelten personenbezogenen Parameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter bzw. anderen personenbezogenen Parameter abweicht.
Für eine Langzeitanalyse, welche vorteilhafterweise umgebungskontextbezogen durchgeführt wird, ist zudem eine langfristige Beurteilung eines Zustandes, insbesondere eines Vital- und Gesundheitszustandes des jeweiligen Fahrzeuginsassen möglich.
Um diese umgebungskontextbezogene Analyse der Vitalparameter und/oder der anderen personenbezogenen Parameter zu ermöglichen, wird der aktuell ermittelte Vitalparameter und/oder andere personenbezogene Parameter zusammen mit einer aktuell ermittelten Position gespeichert, wie bereits oben beschrieben. So kann der aktuelle Vitalparameter oder andere personenbezogene Parameter mit einem älteren entsprechenden Parameter, welcher an der gleichen Position ermittelt wurde, verglichen werden. Dies ermöglicht eine Langzeitüberwachung und eine Erstellung einer Trendentwicklung.
Mittels des Verfahrens kann die Assistenzvorrichtung 2 bei schlechten oder sich verschlechternden Vitalparametern des oder der Fahrzeuginsassen, insbesondere des Fahrzeugführers, unterstützend eingreifen, um beispielsweise einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung 2 kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus des Fahrzeugführers bewertet werden können.
Vorzugsweise wird als Funktion der Assistenzvorrichtung 2 ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs 1 und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug 1, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs 1 zum Beispiel automatisch an einen Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs 1 derart erfolgen, dass das Fahrzeug 1 autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines nächstgelegenen Krankenhauses.
Des Weiteren ist beispielsweise alternativ oder zusätzlich auch eine Steuerung und/oder Regelung einer Einrichtung des Fahrzeugs 1 zur Überwachung der Aufmerksamkeit eines Fahrzeugführers des Fahrzeugs 1 derart möglich, dass aktuell ermittelte und/oder beispielsweise vor Fahrtantritt ermittelte personenbezogene Parameter in die Aufmerksamkeitsüberwachung einfließen, beispielsweise ein ermittelter gestresster und/oder müder und/oder gesundheitlich beeinträchtigter Zustand des Fahrzeugführers. Der Fahrzeugführer wird dann beispielsweise wesentlich früher gewarnt, eine Pause einzulegen oder andere Maßnahmen zur Steigerung seiner Fahrtüchtigkeit zu ergreifen. Derartige Einrichtungen nach dem Stand der Technik gehen im Gegensatz dazu bei Fahrtantritt stets von einem gesunden, wachen und ausgeruhten Fahrzeugführer aus, so dass eine Warnschwelle für einen gesundheitlich belasteten und/oder müden und/oder stressbelasteten Fahrzeugführer zu hoch sein kann. Da es mittels des Verfahrens ermöglicht wird, die Warnschwelle abzusenken und an den aktuellen Zustand des Fahrzeugführers anzupassen, wird eine Verkehrssicherheit erheblich gesteigert.
Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs 1 aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs 1, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen zu warnen, beispielsweise um einen eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen auf sich verschlechternde Vitalparameter des Fahrzeugführers, welche möglicherweise auf einen sich verschlechtern Gesundheitszustand hindeuten, hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs 1 betätigen können, um das Fahrzeug 1 abzubremsen und/oder an den Fahrbahnrand zu steuern.
Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung 2 zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können Vitalparameter des oder der Fahrzeuginsassen verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des Fahrzeugführers hindeuten.
Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs 1 aktiviert werden. Dabei können zur Erfrischung des oder der Fahrzeuginsassen beispielsweise auch ätherische Öle oder andere erfrischende Mittel in einen Innenraum des Fahrzeugs 1 eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse kann auf diese Weise zum Beispiel auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs 1 gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs 1, d. h. beispielsweise ein Autoradio.
Zudem können die Fahrzeuginsassen auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die personenbezogenen Parameter, insbesondere die Vitalparameter des oder der Fahrzeuginsassen, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, so dass auch langsame Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten und gespeicherten personenbezogenen Parameter, insbesondere die Vitalparameter, an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs 1 ermittelt und mit dem Notruf weitergeleitet.
Die im Verfahren ermittelten Vitalparameter und anderen personenbezogenen Parameter können auch mit auf andere Weise ermittelten Werten des oder der Fahrzeuginsassen kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes des oder der Fahrzeuginsassen zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können zum Beispiel durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Auf diese Weise ermittelte zusätzliche Werte des oder der Fahrzeuginsassen können beispielsweise mit der ermittelten Pulsfrequenz und/oder mit anderen ermittelten Vitalparametern und/oder anderen ermittelten personenbezogenen Parametern kombiniert werden, um eine bessere Einschätzung des Vitalzustandes des oder der Fahrzeuginsassen zu erhalten.
Wenn das Kameraobjektiv des mobilen Kommunikationsgerätes 3 einen engen Öffnungswinkel hat, muss es auf die zu erfassende Hautpartie des zu erfassenden Insassen ausgerichtet sein. Daher muss bei der Fahrzeugherstellung für die gesamte Baureihe die Anordnung des mobilen Kommunikationsgerätes im Fahrzeug in der Weise festgelegt werden, dass zumindest eine Bilderfassungseinheit 3.1 des mobilen Kommunikationsgerätes 3 auf einen Hautbereich des zumindest einen Fahrzeuginsassen ausgerichtet ist, wobei von einer durchschnittlichen Größe des mindestens einen Fahrzeuginsassen ausgegangen wird. Die Anordnung im Fahrzeug wird z. B. so festgelegt, dass die Fahrzeug-Halterung (Ablageschale, Steckplatz) des mobilen Kommunikationsgerätes für eine Baureihe auf einen durchschnittlichen Insassen ausgerichtet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102009016936 A1 [0012, 0085]

Zitierte Nicht-Patentliteratur

Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, ”Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express 18, 10762–10774 (2010) [0028]
Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, ”Non-contact, automated cardiac pulse measurements using video imaging and blind source separation,” Opt. Express 18, 10762–10774 (2010) [0073]

Claims

Verfahren zum Betrieb zumindest einer Assistenzvorrichtung (2) eines Fahrzeugs (1), dadurch gekennzeichnet, dass mit zumindest einem mobilen Kommunikationsgerät (3) durch Auswertung von mittels des mobilen Kommunikationsgerätes (3) erfassten Daten zumindest ein personenbezogener Parameter zumindest eines Fahrzeuginsassen ermittelt wird und an die Assistenzvorrichtung (2) des Fahrzeugs (1) übertragen wird, wobei zumindest eine Funktion der Assistenzvorrichtung (2) in Abhängigkeit des ermittelten personenbezogenen Parameters gesteuert und/oder geregelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Funktion der Assistenzvorrichtung (2) ein Eingriff in eine Lenkvorrichtung, in eine Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs (1) und/oder eine optische, akustische und/oder haptische Warneinrichtung und/oder zumindest eine Komfortfunktion und/oder eine Notruffunktion gesteuert und/oder geregelt wird/werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung des zumindest einen personenbezogenen Parameters Daten verwendet werden, welche von dem mobilen Kommunikationsgerät (3) aktuell erfasst werden und/oder in der Vergangenheit erfasst wurden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der ermittelte zumindest eine personenbezogene Parameter und/oder die erfassten Daten zur Ermittlung des zumindest einen personenbezogenen Parameters im mobilen Kommunikationsgerät (3) gespeichert wird/werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als personenbezogener Parameter zumindest ein Vitalparameter, ein Stresszustand des Fahrzeuginsassen und/oder zumindest ein Umgebungsparameter einer jeweiligen Umgebung des Fahrzeuginsassen ermittelt wird/werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Vitalparameter eine Pulsfrequenz und/oder eine Atemfrequenz und/oder ein Atemzugvolumen und/oder eine Herzratenvariabilität und/oder eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen und/oder autonome Körperfunktionen des Fahrzeuginsassen und/oder Schmerzzustände des Fahrzeuginsassen ermittelt wird/werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine personenbezogene Parameter mittels zumindest eines Sensors, insbesondere durch Bildauswertung zumindest einer Bilderfassungseinheit (3.1) des mobilen Kommunikationsgerätes (3) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die gesamte Baureihe des Fahrzeugs die Anordnung des mobilen Kommunikationsgerätes (3) im Fahrzeug in der Weise festgelegt wird, dass zumindest eine Bilderfassungseinheit (3.1) des mobilen Kommunikationsgerätes (3) auf einen Hautbereich des zumindest einen Fahrzeuginsassen ausgerichtet ist, wobei von einer durchschnittlichen Größe des mindestens einen Fahrzeuginsassen ausgegangen wird.
Vorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8, umfassend zumindest ein mobiles Kommunikationsgerät (3), welches zur Übertragung zumindest eines personenbezogenen Parameters zumindest eines Fahrzeuginsassen eines Fahrzeugs (1) über zumindest eine Kommunikationsverbindung (4) mit zumindest einer Assistenzvorrichtung (2) des Fahrzeugs (1) verbindbar oder verbunden ist.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass das mobile Kommunikationsgerät (3) derart im Fahrzeug (1) angeordnet ist, dass zumindest eine Bilderfassungseinheit (3.1) des mobilen Kommunikationsgerätes (3) auf einen Hautbereich des zumindest einen Fahrzeuginsassen ausgerichtet ist.