DE102022003968A1

DE102022003968A1 - Verfahren zum Erkennen eines Schlaganfalles eines Insassen in einem Fahrzeug

Info

Publication number: DE102022003968A1
Application number: DE102022003968.0A
Authority: DE
Inventors: Julian Schmidt
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2022-12-15

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Schlaganfalles eines Insassen (2) in einem Fahrzeug (1). Erfindungsgemäß ist vorgesehen, dass mittels einer Innenraumkamera (5) fortlaufend aufgenommene Bilddaten des Insassen (2)- anhand eines mittels eines Datensatzes trainierten Modells computergestützten Sehens ausgewertet werden und/oder- mittels eines Algorithmus, insbesondere eines neuronalen Netzes, welches Schlüsselpunkte aus einem in den Bilddaten erkannten Gesichtes des Insassen (2) extrahiert, regelbasiert in Bezug auf Abstände der Schlüsselpunkte ausgewertet werden.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen eines Schlaganfalles eines Insassen in einem Fahrzeug.
Aus der DE 10 2020 206 972 A1 ist ein System zum Erkennen und Beeinflussen eines Schlaganfalles eines Fahrzeuginsassen bekannt. Das System umfasst dabei eine Steuer- und Recheneinheit mit Auswerteprogramm, welche ausgelegt ist, mittels eines systemeigenen und/oder fahrzeugeigenen und/oder externen Sensorelementes Informationen über einen physiologischen Parameter und/oder einen Vitalparameter und/oder eine Handlung und/oder einen Zustand des Fahrzeuginsassen in Bezug auf einen Schlaganfall des Fahrzeuginsassen zu erfassen. Diese zusammengefassten Informationen sind für eine Einordnung des ermittelten akuten Zustandes des Fahrzeuginsassen in einen zeitlichen Krankheitsverlauf im Zusammenhang mit einem Schlaganfall einsetzbar, so dass entsprechende Gegenmaßnahmen im Fahrzeug auslösbar sind.
Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zum Erkennen eines Schlaganfalles eines Insassen in einem Fahrzeug anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein Verfahren zum Erkennen eines Schlaganfalles eines Insassen in einem Fahrzeug sieht erfindungsgemäß vor, dass mittels einer Innenraumkamera fortlaufend aufgenommene Bilddaten des Insassen anhand eines mittels eines Datensatzes trainierten Modells computergestützten Sehens ausgewertet werden und/oder mittels eines Algorithmus, insbesondere eines neuronalen Netzes, welches Schlüsselpunkte aus einem in den Bilddaten erkannten Gesichtes des Insassen extrahiert, regelbasiert in Bezug auf Abstände der Schlüsselpunkte ausgewertet werden.
Durch Anwendung des Verfahrens ist es möglich, das Leben des Insassen des Fahrzeuges, insbesondere des Fahrers, zu retten, wobei das Verfahren automatisch angewendet werden kann, wenn die Innenraumkamera Bilddaten erfasst.
Zudem kann zur Anwendung des Verfahrens die bereits im Fahrzeug verbaute Innenraumkamera verwendet werden, so dass es nicht erforderlich ist, weitere Komponenten zu installieren, wodurch keine Mehrkosten entstehen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt die:

1 schematisch eine perspektivische Ansicht eines Ausschnittes eines Fahrzeuges mit einem Insassen auf einem Fahrersitz.

Die einzige Figur zeigt eine perspektivische Ansicht eines Ausschnittes eines Fahrzeuges 1 mit einem Insassen 2, insbesondere einem Fahrer, im Weiteren als Fahrer 2 bezeichnet, auf einem Fahrersitz 3. In einen Rückspiegel 4 des Fahrzeuges 1 ist eine Innenraumkamera 5, eine sogenannte Fahrerbeobachtungskamera, integriert.
Im Allgemeinen ist die Besonderheit eines Schlaganfalles, dass dieser von einer betroffenen Person oftmals nicht selbst bemerkt wird, bekannt. Eine vergleichsweise schnelle Behandlung eines Schlaganfalles ist essentiell, insbesondere um das Leben der Person zu retten und um ein Risiko gesundheitlicher Folgen zu verringern.
Ein Schlaganfall führt oftmals dazu, dass eine Gehirnhälfte einem Sauerstoffmangel ausgesetzt ist, woraus häufig ein Symptom einer halbseitigen Muskellähmung resultiert.
Im Folgenden wird ein Verfahren zum Erkennen eines Schlaganfalles eines Fahrers 2 in einem Fahrzeug 1 beschrieben.
Wie oben beschrieben, weist das Fahrzeug 1 eine Innenraumkamera 5 auf, welche im Fahrbetrieb des Fahrzeuges 1 fortlaufend Bilddaten erfasst, anhand welcher ein Aufmerksamkeitsgrad des Fahrers 2 ermittelt wird. Unterschreitet ein ermittelter Aufmerksamkeitsgrad des Fahrers 2 einen vorgegebenen Schwellwert, wird ein Warnhinweis in dem Fahrzeug 1 ausgegeben.
Das Verfahren sieht vor, dass die von dem Fahrer 2 aufgenommenen Bilddaten zur frühzeitigen Erkennung eines Schlaganfalles des Fahrers 2 verwendet werden.
Sind in dem Fahrzeug 1 Kameras zur Beobachtung weiterer Insassen vorhanden, so können diese weiteren Insassen auch auf mögliche Schlaganfälle hin überwacht werden. Das im Folgenden beschriebene Verfahren wird in Bezug auf den Fahrer 2 des Fahrzeuges 1 beschrieben, wobei das Verfahren analog für weitere Insassen anwendbar ist.
Insbesondere wird zur Erkennung des Schlaganfalles genutzt, dass die halbseitige Muskellähmung im Gesicht des Fahrers 2 durch herabhängende Gesichtszüge deutlich erkennbar ist, wobei die mittels der Innenraumkamera 5 erfassten Bilddaten des Fahrers 2 hierzu entsprechend ausgewertet werden.
In einer möglichen Ausführung, das heißt einer Machine-Learning-basierten Erkennung, erfolgt die Auswertung der Bilddaten derart, dass ein Datensatz erstellt wird, welcher Bilder von Gesichtern mit und ohne eine halbseitige Lähmung einer Gesichtsmuskulatur umfasst. Dieser Datensatz wird automatisch oder manuell gelabelt, das heißt markiert. Darunter ist zu verstehen, dass in jedem Bild des Datensatzes alle Gesichter durch eine sogenannte Bounding-Box markiert sind. Zu jeder Bounding-Box ist ein Label vorhanden, ob das Gesicht innerhalb der Bounding-Box von einem Schlaganfall betroffen ist oder nicht.
Daran anschließend werden eine Objekt-Detektion und ein Klassifikations-Algorithmus trainiert. Mögliche Varianten hierzu sind:

- CNN-basiert, zum Beispiel YOLO,
- Transformer-basiert, zum Beispiel Swin Transformer, oder
- eine Kombination aus beiden.

Hierfür existiert eine Vielzahl geeigneter Ansätze des computergestützten Sehens.
Mit dem Datensatz wird also ein Modell trainiert, Gesichter im Fahrzeug 1 zu erkennen und zu klassifizieren, ob bei dem Fahrer 2 ein Schlaganfall vorliegt.
Insbesondere basiert das Modell auf einem Deep Learning Verfahren, da dieses sich insbesondere zur Objekterkennung in aufgenommenen Bilddaten eignen. Denkbar sind auch Verfahren des maschinellen Lernens, wie beispielsweise eine Kombination aus einer Haar-Kaskade und einer Support Vector Machine (SVM).
In einer alternativen oder zusätzlichen Ausführung erfolgt die Erkennung eines Schlaganfalles des Fahrers 2 des Fahrzeuges 1 anhand der aufgenommenen Bilddaten der Innenraumkamera 5 mittels eines regelbasierten Ansatzes.
Hierzu ist vorgesehen, dass ein Deep Learning Modell dazu trainiert wird, Schlüsselpunkte, sogenannte Keypoints, aus in den aufgenommenen Bilddaten erkannten Gesichtern zu extrahieren. Im Vergleich zu der oben beschriebenen Ausführung, der Machine-Learning-basierten Erkennung, wird hierfür kein neuer und spezifischer Datensatz benötigt, da bereits frei zugängliche Datensätze für eine solche Auswertung existieren, eine so genannte „Facial Keypoint Detection“, welche auch als „Facial Landmark Detection“ bezeichnet wird.
Die „Facial Keypoint Detection“ sieht vor, dass ein Algorithmus, insbesondere ein Deep Learning Modell dahingehend trainiert wird, bestimmte Punkte in Gesichtern zu erkennen, die sogenannten Facial Keypoints. Mögliche Facial Keypoints sind: left_eye_center, right_eye_center, left_eye_inner_corner, left_eye_outer_corner, right_eye_inner_corner, right_eye_outer_corner, left_eyebrow_inner_end, left_eyebrow_outer_end, right_eyebrow_inner_end, right_eyebrow_outer_end, nose_tip, mouth_left_corner, mouth_right_corner, mouth_center_top_lip, mouth_center_bottom_lip. Beispielsweise können auch histogrammbasierte Methoden angewendet werden.
Basierend auf einer solchen Keypoint/Landmark-Erkennung kann anschließend regelbasiert ausgewertet werden, ob beide Gesichtshälften des Fahrers 2 des Fahrzeuges 1 symmetrisch ausgebildet sind. Hierzu werden die Facial Keypoints einer Gesichtshälfte auf die andere Gesichtshälfte gespiegelt. Daraufhin können paarweise Abstände zwischen den jeweiligen Facial Keypoints auf der linken Gesichtshälfte und der rechten Gesichtshälfte ermittelt werden. Beispielsweise kann ein Abstand zwischen mouth_right_corner und gespiegelter mouth_left_corner ermittelt werden.
Überschreitet eine Summe aller paarweisen Abstände einen vorgegebenen Grenzwert, so wird ein Schlaganfall bei dem Fahrer 2 des Fahrzeuges 1 erkannt, da die beiden Gesichtshälften als asymmetrisch zueinander eingestuft werden.
Wird mittels zumindest einer der beiden beschriebenen Ausführungen ein Schlaganfall des Fahrers 2 erkannt, wird dieser informiert und diesbezüglich ein Notruf automatisch abgesetzt oder eine Notrufnummer gewählt.
Das Verfahren sieht also vor, erfasste Bilddaten der Innenraumkamera 5 zur Erkennung des Fahrers 2 zu nutzen.
Die Auswertung der Bilddaten kann einerseits auf einer vollständigen Machine-Learning-basierten Erkennung basieren, wobei ein speziell markierter Datensatz benötigt wird. Alternativ oder zusätzlich kann andererseits die regelbasierte Erkennung herangezogen werden, wobei lediglich ein Datensatz zum Training der Keypoint-Erkennung für Gesichter erforderlich ist.
Bezugszeichenliste

1: Fahrzeug
2: Insasse/Fahrer
3: Fahrersitz
4: Rückspiegel
5: Innenraumkamera

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102020206972 A1 [0002]

Claims

Verfahren zum Erkennen eines Schlaganfalles eines Insassen (2) in einem Fahrzeug (1), dadurch gekennzeichnet, dass mittels einer Innenraumkamera (5) fortlaufend aufgenommene Bilddaten des Insassen (2) - anhand eines mittels eines Datensatzes trainierten Modells computergestützten Sehens ausgewertet werden und/oder - mittels eines Algorithmus, welcher Schlüsselpunkte aus einem in den Bilddaten erkannten Gesichtes des Insassen (2) extrahiert, regelbasiert in Bezug auf Abstände der Schlüsselpunkte ausgewertet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass wenn ein Schlaganfall des Insassen (2) in den aufgenommenen Bilddaten erkannt wird, der Insasse (2) informiert und ein Notruf automatisch abgesetzt oder eine Notrufnummer gewählt wird.