DE102022129975A1

DE102022129975A1 - Vorrichtung und Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen

Info

Publication number: DE102022129975A1
Application number: DE102022129975.9A
Authority: DE
Inventors: Johannes Feldmaier; Simone CAMBERG; Thomas Ewender
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-11-14
Filing date: 2022-11-14
Publication date: 2024-05-16

Abstract

Eine Vorrichtung eines Fahrzeugs (102) zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen (104). Die Vorrichtung (102) umfasst ein bilderzeugendes System des Fahrzeugs (102), das dazu ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder mit der Abbildung des Bereichs des Fahrzeuginnenraums zu erfassen und den Bildern entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit (136), die dazu ausgebildet ist, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten mehrere zeitlich aufeinander folgende Posen des Insassen (104) zu bestimmen, aus den Posen ein Bewegungsmuster des Insassen (104) zu ermitteln und auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen (104) zu bestimmen.

Description

Die Erfindung betrifft eine Vorrichtung eines Fahrzeugs zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen. Die Erfindung betrifft ferner ein Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen.
Das Dokument DE 10 2015 105 581 A1 offenbart ein System eines Fahrzeugs, das dazu ausgebildet ist, einen Gesundheits- oder Befindenszustand eines Fahrzeuginsassen auf Grundlage von physiologischen Daten zu ermitteln, die das System von einer Einheit empfängt, die der Insasse an seinem Körper trägt. Das System ist ferner dazu ausgebildet, Licht-, Klima- und Belüftungsfunktionen des Fahrzeugs in Abhängigkeit des ermittelten Gesundheits- oder Befindenszustands zu steuern.
Das Dokument DE 10 2012 014 707 A1 offenbart ein Fahrassistenzsystem zum Betreiben eines Fahrzeugs in Abhängigkeit eines Gesundheitszustands eines Fahrers. Das Fahrassistenzsystem umfasst eine Kameraeinrichtung zum Erfassen der Augenlidfrequenz, der Blickrichtung, des Blickrichtungswechsels und/oder der Kopfhaltung des Fahrers.
Aufgabe der Erfindung ist es, eine Vorrichtung und ein Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen anzugeben, die zuverlässiger den Gesundheitszustand eines Insassen bestimmen kann als bekannte Vorrichtungen.
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
Die vorgeschlagene Vorrichtung eines Fahrzeugs zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen umfasst ein bilderzeugendes System des Fahrzeugs, das dazu ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder mit der Abbildung des Bereichs des Fahrzeuginnenraums zu erfassen und den Bildern entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit, die dazu ausgebildet ist, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten mehrere zeitlich aufeinander folgende Posen des Insassen zu bestimmen, aus den Posen ein Bewegungsmuster des Insassen zu ermitteln und auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen zu bestimmen.
Es gibt eine Reihe von Bewegungen, die Menschen insbesondere dann ausführen, wenn sie krank sind. Hierzu zählen Niesen und Naseputzen, Husten sowie das Reiben an den Schläfen. Manche Bewegungen führen Menschen häufiger als gewöhnlich aus, wenn sie erkrankt sind. Zu diesen Bewegungen gehören auch bestimmte Lidbewegungen, beispielsweise Augenschließen und Blinzeln. Insbesondere schließen kranke Menschen ihre Augen nicht nur häufiger, sondern auch länger. Ferner können Schwitzen bzw. das Abwischen von Schweiß ein Merkmal einer Krankheit des Insassen sein. Ein weiterer Hinweis auf eine Erkrankung kann eine reduzierte Bewegungsdynamik sein, d.h. die Bewegungen des Insassen dauern länger als gewöhnlich. All diese Informationen können aus den Bilddaten extrahiert werden, beispielsweise unter Verwendung geeigneter Maschinenlernverfahren. Auf Grundlage der aus den Bilddaten extrahierten Information kann die Steuereinheit dann, beispielsweise unter Verwendung eines weiteren Maschinenlernverfahrens, den Gesundheitszustand des Insassen bestimmen. Eine einzelne Pose kann mehrdeutig sein. So kann ein Niesen andere Ursachen als eine Krankheit haben. Erst die Häufung von Posen, die auf eine Krankheit hindeuten, erlauben eine sichere Ermittlung des Gesundheitszustandes. Auf Grundlage des Bewegungsmusters des Insassen, das mehrere Posen umfasst, kann der Gesundheitszustand somit wesentlich zuverlässiger bestimmt werden.
Unter bilderzeugendes System wird in diesem Dokument jedes System verstanden, dass dazu ausgebildet ist, ein zweidimensionales oder dreidimensionales Bild zu erzeugen. Insbesondere wird unter bilderzeugendes System eine Kamera verstanden, die ein zweidimensionales Bild erfasst. Insbesondere ist die Kamera dazu ausgebildet, Licht im optischen Spektrum und/oder im infraroten Spektrum zu erfassen. Alternativ kann die Kamera eine Time-of-Flight-Kamera sein, die ein dreidimensionales Bild erfasst, insbesondere in Form einer Punktwolke. Alternativ kann das bilderzeugende System auch durch ein RADAR- oder LIDAR-System gebildet werden, das ein dreidimensionales Bild des Fahrzeuginnenraums erzeugt, insbesondere in Form einer Punktwolke.
In einer bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten Landmarken auf dem Körper des Insassen zu bestimmen und unter Verwendung der Landmarken die Posen des Insassen zu ermitteln. Auf Grundlage der Landmarken kann, beispielsweise unter Verwendung eines Skelett- und Muskelmodels, die Steuereinheit aus einem zweidimensionalen Bild des bildgebenden Systems ein dreidimensionales Modell des Insassen erzeugen. Aus diesem Modell lassen sich die Posen und damit das Bewegungsmuster des Insassen sehr zuverlässig bestimmen.
Insbesondere ist die Steuereinheit dazu ausgebildet, die Posen des Insassen unter Verwendung eines Human-Pose-Estimation Verfahrens zu ermitteln. Ein Human-Pose-Estimation Verfahren kann zuverlässig Landmarken auf dem Körper des Insassen bestimmen. Die Landmarken können wiederum zuverlässig dazu verwenden werden, die Positionen von Extremitäten als dreidimensionaler Vektor aus einem zweidimensionalen Bild zu ermitteln. Insbesondere können die Positionen von Extremitäten unter Verwendung eines Human-Pose-Estimation Verfahren auch dann ermittelt werden, wenn diese in dem Bild nicht vollständig sichtbar sind. Damit kann die Steuereinheit in dieser Ausführungsform die Posen auch dann zuverlässig ermitteln, wenn Teile des Insassen in dem Bild nicht zu sehen sind.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, das ermittelte Bewegungsmuster des Insassen in einem Speicherbereich der Steuereinheit zu speichern. Die Steuereinheit ist ferner dazu ausgebildet, das ermittelte Bewegungsmuster mit einem zu einem früheren Zeitpunkt ermittelten und gespeicherten Bewegungsmuster des Insassen zu vergleichen und aus dem Vergleich der Bewegungsmuster den Gesundheitszustand des Insassen zu bestimmen. Merkmale wie eine reduzierte Bewegungsdynamik sind oft nicht eindeutig auf eine Krankheit zurück zu führen. So werden ältere Menschen im Vergleich mit jüngeren Menschen häufig eine reduzierte Bewegungsdynamik aufweisen, ohne akut krank zu sein. Es ist daher für eine zuverlässige Bestimmung des Gesundheitszustandes des Insassen wichtig, einen Vergleich mit einem Normalzustand vorzunehmen. In dieser Ausführungsform legt die Steuereinheit ein Profil des Insassen an und speichert ermittelte Bewegungsmuster. Hierdurch kann die Steuereinheit jederzeit das aktuelle Bewegungsmuster des Insassen mit dem gespeicherten Normalzustand vergleichen, um den Gesundheitszustand des Insassen zuverlässig zu bestimmen.
Die Steuereinheit kann insbesondere dazu ausgebildet sein, dass Bewegungsmuster des Insassen mit einem vor einer Zeitspanne von ein bis vier Stunden gespeicherten Bewegungsmuster des Insassen zu vergleichen und aus dem Vergleich der Bewegungsmuster den Gesundheitszustand des Insassen zu bestimmen. Krankheiten können sich über einen Zeitraum von etwa vier Stunden entwickeln. Dieser Zeitraum entspricht der Dauer einer längeren Autofahrt. In dieser Ausführungsform kann die Steuereinheit daher zuverlässig bestimmen, ob sich der Gesundheitszustand des Insassen während der Dauer der Fahrt verschlechtert.
In einer weiteren bevorzugten Ausführungsform umfasst die Abbildung zumindest das Gesicht des Insassen und die Steuereinheit ist dazu ausgebildet, auf Grundlage der Bilddaten Gesichtsausdrücke des Insassen als die Posen zu ermitteln. Die Gesichtsausdrücke können insbesondere unter Verwendung geeigneter Maschinenlernverfahren bestimmt werden, die Landmarken in dem Gesicht des Insassen bestimmen. Beispiele für Gesichtsausdrücke, die auf eine Krankheit des Insassen deuten können sind insbesondere negative Emotionale Ausdrücke, wie beispielweise Anstrengung und Konzentration. Ein Zustand der Konzentration kann insbesondere aus einer reduzierten Pupillenbewegung abgeleitet werden, die aus dem Bilddaten leicht extrahiert werden kann. Die zusätzliche Verwendung von Gesichtsausdrücken als die Posen des Insassen macht die Bestimmung des Gesundheitszustandes des Insassen noch zuverlässiger.
In einer weiteren bevorzugten Ausführungsform umfasst die Abbildung zumindest das Gesicht des Insassen und die Steuereinheit ist dazu ausgebildet, auf Grundlage der Bilddaten mindestens ein Merkmal des Gesichts des Insassen zu ermitteln und unter Berücksichtigung des Merkmals den Gesundheitszustand des Insassen zu bestimmen. Beispiele für Merkmale des Gesichts sind ein Schwitzen oder gerötete Augen. Aber auch eine fehlende Spannung im Gesicht, die beispielsweise in einem losen Kiefer oder Mund zum Ausdruck kommt, kann ein Indiz für eine Erkrankung sein. Alle diese Merkmale können leicht, insbesondere unter Verwendung eines geeigneten Maschinenlernverfahrens, aus den Bilddaten extrahiert werden, um die die Bestimmung des Gesundheitszustandes des Insassen noch zuverlässiger zu machen. Ein Schwitzen kann beispielsweise aus einer erhöhten Reflektivität der Haut abgeleitet werden.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, das Merkmal des Gesichts des Insassen in einem oder dem Speicherbereich der Steuereinheit zu speichern. Die Steuereinheit ist ferner dazu ausgebildet, das ermittelte Merkmal mit einem zu einem früheren Zeitpunkt ermittelten und gespeicherten Merkmal des Insassen zu vergleichen und aus dem Vergleich der Merkmale den Gesundheitszustand des Insassen zu bestimmen. Einige Merkmale des Gesichts lassen sich nicht immer eindeutig einem Krankheitszustand zuordnen, beispielsweise Blässe und Augenringe. Es ist daher für eine zuverlässige Bestimmung des Gesundheitszustandes des Insassen wichtig, einen Vergleich mit einem Normalzustand vorzunehmen. In dieser Ausführungsform legt die Steuereinheit ein Profil des Insassen an und speichert ermittelte Merkmale des Gesichts. Hierdurch kann die Steuereinheit jederzeit die aktuellen Merkmale mit dem gespeicherten Normalzustand vergleichen, um den Gesundheitszustand des Insassen noch zuverlässig zu bestimmen. Die Steuereinheit kann insbesondere dazu ausgebildet sein, dass Merkmal des Gesichts des Insassen mit einem vor einer Zeitspanne von ein bis vier Stunden gespeicherten Merkmal des Gesichts des Insassen zu vergleichen und aus dem Vergleich der Merkmale den Gesundheitszustand des Insassen zu bestimmen. In dieser Ausführungsform kann die Steuereinheit daher zuverlässig bestimmen, ob sich der Gesundheitszustand des Insassen während der Dauer der Fahrt verschlechtert.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten zu ermitteln ob der Insasse durch den Mund oder durch die Nase atmet und unter Berücksichtigung der ermittelten Atmung des Insassen den Gesundheitszustand des Insassen zu bestimmen. In dieser Ausführungsform bestimmt die Steuereinheit die Atmung des Insassen als das Bewegungsmuster oder als Teil des Bewegungsmusters. Atmet der Insasse durch den Mund, kann davon ausgegangen werden, dass die Nase des Insassen verstopft ist. Eine verstopfte Nase ist ein sehr sicheres Merkmal für das vorliegenden eines Krankheitszustandes. Aus der Ermittlung, ob der Insasse durch den Mund oder durch die Nase atmet, kann daher besonders zuverlässig auf einen Krankheitszustand geschlossen werden.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten eine Pupillenbewegung des Insassen zu ermitteln und unter Berücksichtigung der Pupillenbewegung den Gesundheitszustand des Insassen zu bestimmen. Insbesondere negative emotionale Ausdrücke wie Konzentration oder Anstrengung können zuverlässig aus der Pupillenbewegung bestimmt werden. Solche negativen emotionalen Ausdrücke sind häufig eine Begleiterscheinung von Krankheitszuständen, so dass die Bestimmung des Gesundheitszustandes des Insassen unter Berücksichtigung der Pupillenbewegung des Insassen noch zuverlässiger erfolgen kann.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, eine Komfortfunktion, eine Navigationsfunktion und/oder ein Fahrassistenzsystem des Fahrzeugs in Abhängigkeit des bestimmten Gesundheitszustands des Insassen zu steuern. In dieser Ausführungsform steuert die Steuereinheit beispielsweise eine Klimaanlage oder eine Belüftung des Fahrzeugs in Abhängigkeit des bestimmten Gesundheitszustands. Die Steuereinheit kann hierdurch beispielsweise die Temperatur des Fahrzeuginnenraums oder eine Frischluftzufuhr anpassen, um den Komfort des Insassen zu erhöhen, wenn die Steuereinheit ermittelt hat, dass der Insasse erkrankt ist. Als eine weitere Komfortfunktion kann die Steuereinheit eine Einstellung des Fahrzeugsitzes vornehmen, auf dem der Insasse sitzt. Die Steuereinheit kann ferner zur Erhöhung des Komforts des Insassen auch die Beleuchtung des Fahrzeuginnenraums steuern, beispielsweise eine Beleuchtung dimmen, und/oder veranlassen, dass dem Innenraum ätherische Öle zu Beduftung zugeführt werden. Die Steuereinheit kann als eine Komfortfunktion beispielsweise auch eine Beleuchtung des Fahrzeuginnenraums anpassen, um einen erkrankten Insassen zu schonen. Weitere Komfortfunktionen, welche die Steuereinheit ansteuern kann, um den Komfort eines erkrankten Insassen zu erhöhen, sind beispielsweise eine Sitzheizung, eine Massagefunktion oder eine Medienauswahl eines Multimediasystems des Fahrzeugs. Die Steuereinheit kann ferner beispielsweise Ärzte oder Apotheken in der Nähe des Fahrzeugs als Ziel vorschlagen, wenn die Steuereinheit ermittelt hat, dass der Insasse erkrankt ist. Sollte es sich bei der Erkrankung um eine starke Einschränkung der Fahrtüchtigkeit handeln, kann die Steuereinheit dem Insassen, insbesondere einem Fahrer oder Beifahrer, auch einen Fahrerwechsel vorschlagen und/oder vorschlagen, eine Pause einzulegen. Zusätzlich kann die Steuereinheit das Niveau des Fahrassistenzsystems anheben, um einen erkrankten Insassen beim Steuern des Fahrzeuges zu unterstützen.
In einer weiteren bevorzugten Ausführungsform ist das bilderzeugende System eine Kamera, die dazu ausgebildet ist, Licht im infraroten Spektrum zu erfassen. Insbesondere ist die Kamera dazu ausgebildet, Licht im optischen Spektrum und im infraroten Spektrum zu erfassen. In dieser Ausführungsform ist das bilderzeugende System eine sogenannte RGB-IR-Kamera. Eine RGB-IR-Kamera kann auch bei schlechten Lichtverhältnissen, insbesondere nachts, ein Bild des Fahrzeuginnenraums erfassen. Damit kann die Vorrichtung auch bei schlechten Lichtverhältnissen zuverlässig den Gesundheitszustand des Insassen bestimmen.
In einer weiteren bevorzugten Ausführungsform umfasst die Vorrichtung ein Mikrophon des Fahrzeugs, das dazu ausgebildet ist, mindestens eine Tonaufnahme des Fahrzeuginnenraums zu erfassen und der Tonaufnahme entsprechende Audiodaten zu erzeugen. Die Steuereinheit ist dazu ausgebildet, unter Berücksichtigung der Audiodaten den Gesundheitszustand des Insassen zu bestimmen. Aus den Audiodaten kann beispielsweise ein Husten oder ein Niesen extrahiert werden, was ein Hinweis auf einen Krankheitszustand sein kann. Auch eine Veränderung der Stimme kann ein Hinweis auf eine Erkrankung sein. Um aus einer Veränderung der Stimme des Insassen auf eine Erkrankung schließen zu können, kann die Steuereinheit ferner ausgebildet sein, mit dem Insassen verknüpfte Audiodaten im Speicherbereich der Steuereinheit zu speichern, aktuelle Audiodaten mit zu einem früheren Zeitpunkt aufgenommenen und gespeicherten Audiodaten zu vergleichen und den Gesundheitszustand des Insassen unter Berücksichtigung des Vergleichs der Audiodaten zu bestimmen. Hierdurch kann die Steuereinheit jederzeit beispielsweise die Stimme des Insassen mit dem gespeicherten Normalzustand vergleichen, um aus einer Veränderung der Stimme den Gesundheitszustand des Insassen noch zuverlässig bestimmen zu können.
Die Erfindung betrifft ferner ein Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen. Bei dem Verfahren werden mehrere zeitlich aufeinander folgende Bilder mit der Abbildung des Bereichs des Fahrzeuginnenraums erfasst. Es werden den Bildern entsprechende Bilddaten erzeugt. Es werden auf Grundlage der Bilddaten mehrere zeitlich aufeinander folgende Posen des Insassen bestimmt. Es wird aus den Posen ein Bewegungsmuster des Insassen ermittelt. Ferner wird auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen bestimmt.
Das Verfahren hat dieselben Vorteile wie die beanspruchte Vorrichtung. Insbesondere kann das Verfahren mit den Merkmalen der auf die Vorrichtung gerichteten abhängigen Ansprüche weitergebildet werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand der Figuren näher erläutert. Darin zeigen:

1 eine perspektivische schematische Darstellung eines Cockpits eines Fahrzeugs;
2 in schematischer Darstellung ein von einer Kamera aufgenommene Bild eines Innenraums des Fahrzeugs; und
3 den Ablaufplan eines Verfahrens zum Bestimmen des Gesundheitszustandes eines Fahrzeuginsassen.

1 zeigt eine perspektivische schematische Darstellung eines Cockpits 100 eines Fahrzeugs 102.
Als ein Beispiel für einen Insassen 104 des Fahrzeugs 102 zeigt die 1 einen Fahrzeugführer, der auf einem Fahrersitz 106 des Fahrzeugs 102 sitzt. Das Cockpit 100 umfasst ein zentrales Informationsdisplay (CID) 108, ein Head Up Display 110 und ein graphisches Kombiinstrument 112, die auf einem Armaturenbrett 114 des Fahrzeugs 102 angeordnet sind. Die vorgenannten Elemente 108, 110, 112 bilden jeweils ein Anzeigeelement des Fahrzeugs 102. Das Armaturenbrett 114 umfasst ferner Luftausströmungsdüsen 116, 118 einer Klimaanlage des Fahrzeugs 102. In 1 sind beispielhaft Luftausströmungsdüsen 116 in dem Bereich einer Mittelkonsole 120 sowie eine Luftausströmungsdüse 118 auf einer Beifahrerseite gezeigt. Das Cockpit 100 umfasst ferner ein Lenkrad 122 mit Bedienelementen 124, einen Gangwahlschalter 126, eine Pedalerie 128 sowie eine Eingabeeinheit 130 mit einem Drehrad und einer Drucktastenfunktion und/oder einem Touch-Eingabefeld. Diese Eingabeeinheit 130 wird auch als Ergo Commander bezeichnet.
Im oberen Bereich einer Frontscheibe 132 des Fahrzeugs 102 ist eine Kamera 134 angeordnet. Die Kamera 134 ist ein bilderzeugendes System und ist derart angeordnet und ausgerichtet, dass die Kamera 134 Bilder mit einer Abbildung eines Bereichs des Innenraums des Fahrzeugs 102 erfassen kann. Ein beispielhaftes Bild 200 der Kamera 134 ist anhand der 2 im Folgenden beschrieben. Die Kamera 134 ist ferner dazu ausgebildet, mehrere zeitlich aufeinander folgende Bilder zu erfassen, den Bildern entsprechende Bilddaten zu erzeugen und diese an eine Steuereinheit 136 zu übertragen.
Die Steuereinheit 136 hat Datenausgänge 138 und Dateneingänge 140, die zur Verbindung mit weiteren Einheiten des Fahrzeugs 102, beispielsweise mit weiteren Sensoren, Ein- und Ausgabeneinheiten sowie Steuereinheiten von Assistenzsystemen und Komfortfunktionen wie der Klimaanalage oder einer Massagefunktion des Fahrersitzes 106, dienen. Die Steuereinheit 136 ist insbesondere dazu ausgebildet, ein Verfahren zum Bestimmen eines Gesundheitszustandes des Insassen 104 durch zu führen. Bei dem Verfahren werden durch die Kamera 134 mehrere zeitlich aufeinander folgende Bilder des Fahrzeuginnenraums erfasst und den Bildern entsprechende Bilddaten erzeugt. Auf Grundlage der Bilddaten bestimmt die Steuereinheit 136 mehrere zeitlich aufeinander folgende Posen des Insassen 104, aus denen die Steuereinheit 136 dann ein Bewegungsmuster des Insassen 104 ermittelt. Schließlich bestimmt die Steuereinheit 136 auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen 104. Das Verfahren wird im Folgenden anhand der 2 und 3 näher beschrieben.
2 zeigt in schematischer Darstellung das von der Kamera 134 aufgenommene Bild 200 des Innenraums des Fahrzeugs 102.
Die Kamera 134 hat ein beispielhaftes Sichtfeld von 120 Grad und ist in Richtung des Insassen 104 ausgerichtet. Bei anderen Ausführungsformen kann die Kamera 134 auch ein Sichtfeld in einem Bereich bis 150 Grad oder mehr haben. Insbesondere können auch weitere Kameras oder andere bilderzeugende Systeme in dem Fahrzeuginnenraum angeordnet sein.
2 zeigt ferner Landmarken auf dem Gesicht 204 und dem Oberkörper 206 des Insassen 104. Die meisten Landmarken 202 sind in dem Gesicht 204 des Insassen 104 angeordnet, insbesondere um die Augen des Insassen 104 herum. Weitere Landmarken 202 sind beispielsweise die Nackenbasis, der obere Rumpf, die rechte Schulter, die linke Schulter, der rechte Ellbogen, der linke Ellbogen, die rechte Hand, die linke Hand, die rechte Hüfte, die linke Hüfte, der untere Rumpf, das rechte Knie und das linke Knie. Die in Figure 2 gezeigten Landmarken 202 sind rein beispielhaft zu verstehen.
Die Steuereinheit 136 ist ausgebildet, die Landmarken 202 aus den von der Kamera 134 erzeugten Bilddaten zu ermitteln. Insbesondere ist die Steuereinheit 136 ausgebildet, ein geeignetes Maschinenlernverfahren durchzuführen, um die Landmarken 202 zu bestimmen. Die Landmarken 202 auf dem Körper des Insassen 104 kann die Steuereinheit 136 beispielsweise unter Verwendung bekannter Human-Pose-Estimation-Verfahren und/oder eines Skelett- und Muskelmodels ermitteln. Vergleichbare Maschinenlernverfahren existieren für die Bestimmung von Landmarken 202 in Gesichtern. Die Steuereinheit 136 ist ferner dazu ausgebildet, die Position der Landmarken 202 in einem fahrzeugfesten Koordinatensystem zu ermitteln, d.h. die Position der Landmarken 202 relativ zu bekannten Positionen im Fahrzeuginnenraum. Die bekannten Positionen können beispielsweise die Positionen von Tastern oder anderen Bedienelementen sein, die in einem Speicherbereich der Steuereinheit 136 gespeichert sind und/oder die aus den Bilddaten ermittelt werden.
Insbesondere auf Grundlage der Landmarken 202 ermittelt die Steuereinheit 136 die Posen des Insassen 104. Aus mehreren zeitlich aufeinander folgenden Posen ermittelt die Steuereinheit 136 schließlich das Bewegungsmuster des Insassen 104. Die Posen können dabei bestimmte Bewegungen sein, die auf eine Erkrankung des Insassen 104 hindeuten, beispielsweise Niesen, Naseputzen, Augenreiben, Husten und das Abwischen von Stirnschweiß. Eine weitere wichtige Pose ist die Atmung des Insassen 104. Atmet der Insasse 104 durch seinen Mund, ist das ein guter Hinweis auf eine verstopfte Nase, die wiederum in einer Erkrankung des Insassen 104 ihre Ursache haben kann. Die Posen können aber auch Gesichtsausdrücke sein, welche die Steuereinheit 136, insbesondere unter Verwendung eines geeigneten Maschinenlernverfahrens, zum Beispiel aus den Landmarken 202 in dem Gesicht 204 des Insassen 104 ermitteln kann. Insbesondere angestrengte Gesichtsausdrücke und andere negative emotionale Ausdrücke können ein Hinweis auf das Vorhandensein einer Krankheit sein.
Um die Bestimmung zuverlässiger zu machen, kann die Steuereinheit 136 aus den Bilddaten weitere präzisierende Informationen ermitteln. Insbesondere kann die Steuereinheit 136 aus den Bilddaten Merkmale des Gesichts 204 des Insassen 104 extrahieren. Beispielsweise kann die Steuereinheit 136 ermitteln, ob der Insasse besonders blass ist oder schwitzt. Die Steuereinheit 136 kann auch eine Pupillenbewegung des Insassen 104 aus den Bilddaten extrahieren. Beispielsweise ist eine reduzierte Pupillenbewegung ein Hinweis auf einen Zustand der Konzentration, der begleitend zu einer Erkrankung auftreten kann.
Ferner kann die Steuereinheit 136 einmal ermittelte Bewegungsmuster oder Merkmale als ein Profil des Insassen 104 in dem Speicherbereich der Steuereinheit 136 speichern, um später einen Vergleich mit aktuellen Bewegungsmustern und Merkmalen vornehmen zu können. Dies erlaubt es, die aktuellen Bewegungsmuster und Merkmale mit einem Normalzustand zu vergleichen, um zu ermitteln, ob der Insasse 104 erkrankt ist oder nicht.
Als Reaktion auf einen ermittelten Krankheitszustand kann die Steuereinheit 136 verschiedene Komfortfunktionen und Assistenzsysteme des Fahrzeugs 102 aktivieren. Beispielsweise kann die Steuereinheit 136 mit Hilfe der Klimaanlage die Temperatur des Fahrzeuginnenraums anpassen, um den Komfort des erkrankten Insassen 104 zu erhöhen. Die Steuereinheit 136 kann auch eine Beduftung des Fahrzeuginnenraums mit ätherischen Ölen veranlassen, um dem Insassen 104 das Atmen zu erleichtern und hierdurch seinen Komfort zu erhöhen. Zusätzliche kann die Steuereinheit 136 die Massagefunktion des Fahrsitzes aktivieren, um krankheitsbedingte Verspannungen des Insassen 104 zu lösen. Um den erkrankten Insassen 104 zu unterstützen, kann die Steuereinheit 136 Ärzte und/oder Apotheken in der Nähe des Fahrzeugs 102 als mögliche Navigationsziele vorschlagen. Zusätzlich kann die Steuereinheit 136 den Insassen 104 dazu anregen, eine Pause zu machen, beispielsweise über eine Meldung, welche die Steuereinheit 136 über eines der Anzeigeelemente 108, 110, 112 im Fahrzeuginnenraum ausgibt. Schließlich kann die Steuereinheit 136 das Niveau einer Fahrassistenz anheben, um den erkrankten Insassen 104 beim Führen des Fahrzeugs 102 zu unterstützen.
3 zeigt den Ablaufplan des Verfahrens zum Bestimmen des Gesundheitszustandes des Fahrzeuginsassen 104.
In Schritt S300 wird das Verfahren gestartet. In Schritt S302 steuert die Steuereinheit 136 die Kamera 134 derart an, dass diese mehrere zeitlich aufeinander folgende Bilder des Innenraums erfasst, den Bildern entsprechende Bilddaten erzeugt und diese an die Steuereinheit 136 überträgt. In Schritt S304 bestimmt die Steuereinheit 136 auf Grundlage der Bilddaten die mehreren zeitlich aufeinander folgenden Posen des Insassen 104. Auf Grundlage der Posen ermittelt die Steuereinheit 136 dann das Bewegungsmuster des Insassen 104. In einem optionalen Schritt S306 ermittelt die Steuereinheit 136 die Merkmale des Gesichts 204 des Insassen 104 aus den Bilddaten. In einem weiteren optionalen Schritt S308 speichert die Steuereinheit 136 das ermittelte Bewegungsmuster und die Merkmale des Gesichts 204 des Insassen 104 in dem Speicherbereich der Steuereinheit 136, um diese später mit aktuellen Bewegungsmustern und Merkmalen vergleichen zu können.
In Schritt S310 ermittelt die Steuereinheit 136 schließlich den Gesundheitszustand des Insassen 104. Die Ermittlung basiert zumindest auf dem Bewegungsmuster und kann insbesondere unter Verwendung geeigneter Maschinenlernverfahren erfolgen, die eine Klassifikation des Bewegungsmusters gestatten. Die Steuereinheit 136 kann zudem die Merkmale des Gesichts 204 des Insassen 104 beachten, um die Ermittlung des Gesundheitszustands zuverlässiger zu machen. Ferner kann die Steuereinheit 136 das Bewegungsmuster und/oder die Merkmale des Gesichts 204 des Insassen 104 mit zuvor gespeicherten Bewegungsmustern und Merkmalen vergleichen, um den Gesundheitszustand zu ermitteln. In dem optionalen Schritt S312 steuert die Steuereinheit 136 eine Komfortfunktion, eine Navigationsfunktion und/oder ein Fahrassistenzsystem des Fahrzeugs 102 in Abhängigkeit des bestimmten Gesundheitszustands. In Schritt S314 wird das Verfahren beendet.
In dem anhand der 1 bis 3 beschrieben Ausführungsbeispiel bilden die Kamera 134 und die Steuereinheit 136 eine Vorrichtung zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen 104. Weitere in den 1 bis 3 gezeigte und in der vorangegangenen Beschreibung genannte Elemente und Merkmale können Teil dieser Vorrichtung sein.
Bezugszeichenliste

100: Cockpit
102: Fahrzeug
104: Insasse
106: Fahrersitz
108, 110, 112: Anzeigeelement
114: Armaturenbrett
116, 118: Luftausströmungsdüse
120: Mittelkonsole
122: Lenkrad
124: Bedienelement
126: Gangwahlschalter
128: Pedalerie
130: Eingabeeinheit
132: Frontscheibe
134: Kamera
136: Steuereinheit
138: Datenausgang
140: Dateneingang
200: Bild
202: Landmarke
204: Gesicht
206: Oberkörper

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015105581 A1 [0002]
DE 102012014707 A1 [0003]

Claims

Vorrichtung eines Fahrzeugs (102) zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen (104), mit einem bilderzeugenden System des Fahrzeugs (102), das dazu ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder mit der Abbildung des Bereichs des Fahrzeuginnenraums zu erfassen und den Bildern entsprechende Bilddaten zu erzeugen, mit einer Steuereinheit (136), die dazu ausgebildet ist, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten mehrere zeitlich aufeinander folgende Posen des Insassen (104) zu bestimmen, aus den Posen ein Bewegungsmuster des Insassen (104) zu ermitteln und auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach Anspruch 1, wobei die Steuereinheit (136) dazu ausgebildet ist, auf Grundlage der Bilddaten Landmarken (202) auf dem Körper des Insassen (104) zu bestimmen und unter Verwendung der Landmarken (202) die Posen des Insassen (104) zu ermitteln.
Vorrichtung nach Anspruch 1 oder 2, wobei die Steuereinheit (136) dazu ausgebildet ist, das ermittelte Bewegungsmuster des Insassen (104) in einem Speicherbereich der Steuereinheit (136) zu speichern; das ermittelte Bewegungsmuster mit einem zu einem früheren Zeitpunkt ermittelten und gespeicherten Bewegungsmuster des Insassen (104) zu vergleichen; und aus dem Vergleich der Bewegungsmuster den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Abbildung zumindest das Gesicht (204) des Insassen (104) umfasst und die Steuereinheit (136) dazu ausgebildet ist, auf Grundlage der Bilddaten Gesichtsausdrücke des Insassen (104) als die Posen zu ermitteln.
Vorrichtung nach Anspruch einem der vorhergehenden Ansprüche, wobei die Abbildung zumindest das Gesicht (204) des Insassen (104) umfasst und die Steuereinheit (136) dazu ausgebildet ist, auf Grundlage der Bilddaten mindestens ein Merkmal des Gesichts (204) des Insassen (104) zu ermitteln und unter Berücksichtigung des Merkmals den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach Anspruch 5, wobei die Steuereinheit (136) dazu ausgebildet ist, das Merkmal des Gesichts (204) des Insassen (104) in einem oder dem Speicherbereich der Steuereinheit (136) zu speichern; das ermittelte Merkmal mit einem zu einem früheren Zeitpunkt ermittelten und gespeicherten Merkmal des Insassen (104) zu vergleichen und aus dem Vergleich der Merkmale den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (136) dazu ausgebildet ist, auf Grundlage der Bilddaten zu ermitteln, ob der Insasse durch den Mund oder durch die Nase atmet und unter Berücksichtigung der ermittelten Atmung des Insassen (104) den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (136) dazu ausgebildet ist, auf Grundlage der Bilddaten eine Pupillenbewegung des Insassen (104) zu ermitteln und unter Berücksichtigung der Pupillenbewegung den Gesundheitszustand des Insassen (104) zu bestimmen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (136) dazu ausgebildet ist, eine Komfortfunktion, eine Navigationsfunktion und/oder ein Fahrassistenzsystem des Fahrzeugs (102) in Abhängigkeit des bestimmten Gesundheitszustands des Insassen (104) zu steuern.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das bilderzeugende System eine Kamera (134) ist, die dazu ausgebildet ist, Licht im infraroten Spektrum zu erfassen.
Vorrichtung nach einem der vorhergehenden Ansprüche, umfassend ein Mikrophon des Fahrzeugs (102), das dazu ausgebildet ist, mindestens eine Tonaufnahme des Fahrzeuginnenraums zu erfassen und der Tonaufnahme entsprechende Audiodaten zu erzeugen, wobei die Steuereinheit (136) dazu ausgebildet ist, unter Berücksichtigung der Audiodaten den Gesundheitszustand des Insassen (104) zu bestimmen.
Verfahren zum Bestimmen eines Gesundheitszustandes eines Fahrzeuginsassen (104), bei dem mehrere zeitlich aufeinander folgende Bilder mit der Abbildung des Bereichs des Fahrzeuginnenraums erfasst werden, den Bildern entsprechende Bilddaten erzeugt werden, auf Grundlage der Bilddaten mehrere zeitlich aufeinander folgende Posen des Insassen (104) bestimmt werden, aus den Posen ein Bewegungsmuster des Insassen (104) ermittelt wird und auf Grundlage des Bewegungsmusters den Gesundheitszustand des Insassen (104) bestimmt wird.