DE102022128277A1

DE102022128277A1 - Vorrichtung und Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug

Info

Publication number: DE102022128277A1
Application number: DE102022128277.5A
Authority: DE
Inventors: Johannes Feldmaier; Simone CAMBERG; Thomas Ewender
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2024-04-25

Abstract

Eine Vorrichtung eines Fahrzeugs (102) zum Anzeigen einer Textmeldung mit mindestens einem Anzeigeelement (108, 110, 112) des Fahrzeugs (102), das ausgebildet ist, einem Insassen (104) des Fahrzeugs (102) die Textmeldung anzuzeigen, mindestens einer Kamera (126) des Fahrzeugs (102), die ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder (200) mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest das Gesicht (202) des Insassen (104) umfasst, und den Bildern (200) entsprechende Bilddaten zu erzeugen, und mindestens einer Steuereinheit (130), die ausgebildet ist, das Anzeigeelement (108, 110, 112) zu steuern und die Bilddaten zu verarbeiten. Die Steuereinheit (130) ist ferner dazu ausgebildet, auf Grundlage der Bilddaten zu ermitteln, wie lange der Insasse (104) benötigt, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, auf Grundlage der ermittelten Lesezeit zu bestimmten, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, und die Schriftgröße der Textmeldung anzupassen, wenn die Steuereinheit (130) ermittelt hat, dass der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.

Description

Die Erfindung betrifft eine Vorrichtung eines Fahrzeugs zum Anzeigen einer Textmeldung. Die Erfindung betrifft ferner ein Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug.
Dokument EP 3570140 B1 offenbart eine Vorrichtung zur Steuerung eines fahrzeugmontierten Systems. Die Vorrichtung ist ausgebildet, die Schriftgröße einer Benutzeroberfläche des Systems in Abhängigkeit einer Nutzergeste anzupassen.
Dokument US 2021/64393 A1 offenbart ein System für ein Fahrzeug, bei dem verschiedene Einstellung einer Benutzeroberfläche benutzerindividuell gespeichert werden. Die benutzerindividuell gespeicherten Einstellungen umfassen unter anderem Werte für Schriftgrößen.
Moderne Fahrzeuge haben multifunktionale Anzeigeelemente, um dem Fahrzeugführer oder anderen Insassen Meldungen anzuzeigen, beispielsweise Meldungen über den Zustand des Fahrzeugs. Einige dieser Meldungen sind weniger kritisch als andere. So ist zum Beispiel der Zustand eines Multimediasystems des Fahrzeugs für den Fahrzeugführer während der Fahrt von nachrangiger Bedeutung. Andere Meldungen hingegen, zum Beispiel Warnmeldungen oder Navigationshinweise, sind zeitkritisch und müssen von dem Fahrzeugführer möglichst schnell erfasst werden. Je länger der Fahrzeugführer benötigt, um die Meldung zu erfassen, desto größer ist die durch die Meldung verursachte Ablenkung. Insbesondere Textmeldungen erfordern die erhöhte Aufmerksamkeit des Fahrzeugführers, da der Fahrzeugführer die Textmeldung zunächst lesen muss, bevor er den Inhalt der Textmeldung erfassen kann. Es ist daher wichtig, eine Textmeldung so anzuzeigen, dass diese den Fahrzeugführer so wenig wie möglich ablenkt.
Aufgabe der Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug anzugeben, die einen Fahrzeuginsassen, insbesondere einen Fahrzeugführer, möglichst wenig ablenken.
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
Die vorgeschlagene Vorrichtung eines Fahrzeugs zum Anzeigen einer Textmeldung umfasst mindestens ein Anzeigeelement des Fahrzeugs, das ausgebildet ist, einem Insassen des Fahrzeugs die Textmeldung anzuzeigen, mindestens eine Kamera des Fahrzeugs, die ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest das Gesicht des Insassen umfasst, und den Bildern entsprechende Bilddaten zu erzeugen, und mindestens eine Steuereinheit, die ausgebildet ist, das Anzeigeelement zu steuern und die Bilddaten zu verarbeiten. Die Steuereinheit ist ferner dazu ausgebildet, auf Grundlage der Bilddaten zu ermitteln, wie lange der Insasse benötigt, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen, auf Grundlage der ermittelten Lesezeit zu bestimmen, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen, und die Schriftgröße der Textmeldung anzupassen, wenn die Steuereinheit ermittelt hat, dass der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen.
Wird die momentan auf dem Anzeigeelement angezeigte Textmeldung in einer Schriftgröße angezeigt, die von dem Insassen nur schwer zu lesen ist, benötigt der Insasse mehr Zeit, die Textmeldung zu lesen, bevor er den Inhalt der Textmeldung erfassen kann. Während der Lesezeit ist die Aufmerksamkeit des Insassen auf das Anzeigeelement gerichtet, was insbesondere für einen Fahrzeugführer eine mitunter gefährliche Ablenkung darstellt. Die Steuereinheit ermittelt mit Hilfe der von der Kamera aufgenommenen Bilder des Insassen, wie lange der Insasse benötigt, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Diese ermittelte Lesezeit wird dann von der Steuereinheit als ein Maß dafür verwendet, wie gut der Insasse die Textmeldung lesen kann. Eine längere Lesezeit kann darauf hindeuten, dass der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Ab welcher Lesezeit die Steuereinheit ermittelt, dass der Insasse Schwierigkeiten hat, die Textmeldung zu lesen, kann von Textmeldung zu Textmeldung verschieden sein. Beispielswiese wird die Lesezeit von Textmeldungen im Allgemeinen länger sein, wenn diese mehr oder längere Wörter umfassen. Ermittelt die Steuereinheit, dass der Insasse die Textmeldung nur mit Schwierigkeiten lesen kann, passt die Steuereinheit die Schriftgröße der Textmeldung an, insbesondere in dem die Steuereinheit die Schrift der Textmeldung vergrößert. Alternativ kann die Steuereinheit den Insassen auffordern, eine Einstellung der Schriftgröße manuell vorzunehmen. Auch hierdurch passt die Steuereinheit die Schriftgröße der Textmeldung an. Hierdurch erleichtert die Vorrichtung dem Insassen das Lesen der Textmeldung und minimiert damit die durch die Textmeldung verursachte Ablenkung.
In einer bevorzugten Ausführungsform ist die Steuereinheit ausgebildet, auf Grundlage der Bilddaten eine Blickrichtung des Insassen zu bestimmen und auf Grundlage der Blickrichtung zu ermitteln, ob der Insasse die momentan auf dem Anzeigeelement angezeigte Textmeldung liest. Dies kann beispielsweise erfolgen, in dem die Steuereinheit auf Grundlage der Bilddaten ermittelt, ob der Insasse auf das Anzeigeelement blickt, während eine Textmeldung angezeigt wird. Aus der Information der Blickrichtung kann die Steuereinheit dann in besonders einfacher Art und Weise ermitteln, wie lange der Insasse benötigt, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Insbesondere kann die Steuereinheit aus der Blickrichtung eine Lesegeschwindigkeit bestimmen, in dem die Steuereinheit ermitteln, wie lange der Blick des Insassen benötigt, um einer Zeile der Textmeldung zu folgen. Insbesondere wenn die Steuereinheit ermittelt, dass der Blick des Insassen länger auf einer Stelle der Textmeldung verweilt, kann die Steuereinheit darauf ermitteln, dass der Insasse Schwierigkeiten hat, die Textmeldung zu lesen.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit ausgebildet, auf Grundlage der Bilddaten mindestens ein Merkmal des Gesichts des Insassen zu ermitteln und unter Berücksichtigung des Merkmals zu ermitteln, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Es gibt viele Parameter, welche die Lesezeit der Textmeldung beeinflussen können. Um die Ermittlung, ob der Insasse Schwierigkeiten hat, die Textmeldung zu lesen, zuverlässiger zu machen, können daher weitere Indikatoren betrachtet werden. Es kommen insbesondere solche Indikatoren in Frage, welche die Steuereinheit aus den Bilddaten ermitteln kann. In dieser Ausführungsform betrachtet die Steuereinheit als einen solchen Indikator zusätzlich zu der Lesezeit auch das Merkmal des Gesichts des Insassen, um zu ermitteln, ob der Insasse die Textmeldung nur mit Schwierigkeiten lesen kann. Aus Merkmalen des Gesichts eines Menschen lassen zuverlässig Aussagen über dessen emotionalen Zustand treffen, beispielsweise ob der Mensch sich gerade konzentriert. Daher kann das Merkmal des Gesichts des Insassen gut dazu verwendet werden, um zu ermitteln, ob der Insasse gerade Schwierigkeiten hat, die Textmeldung zu lesen.
Insbesondere ist die Steuereinheit ausgebildet, auf Grundlage der Bilddaten einen Gesichtsausdruck des Insassen als das Merkmal zu bestimmen. Beispielsweise ein Augenzukneifen kann ein Hinweis darauf sein, dass ein Mensch gerade Schwierigkeiten hat, etwas zu lesen. Auch Zustände der Konzentration, wie sie beim angestrengten Lesen auftreten können, lassen sich aus einem Gesichtsausdruck ermitteln. So kann beispielsweise eine reduzierte Pupillenbewegung ein Hinweis auf einen Zustand erhöhter Konzentration sein.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit ausgebildet, Landmarken in dem Gesicht des Insassen zu bestimmen, und ausgehend von den Landmarken das Merkmal zu bestimmen. Vorteilhafterweise sind die Landmarken um die Augen des Insassen angeordnet. Auf Grundlage der Landmarken kann, beispielsweise unter Verwendung eines Skelett- und Muskelmodels, die Steuereinheit aus dem zweidimensionalen Bild der Kamera ein dreidimensionales Modell des Gesichts des Insassen erzeugen. Aus diesem Modell lassen sich viele Merkmale des Gesichts des Insassen sehr zuverlässig bestimmen. Insbesondere die Blickrichtung und der Gesichtsausdruck.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit ausgebildet, auf Grundlage der Bilddaten zu bestimmen, ob der Insasse eine Sehhilfe trägt, zu bestimmen, welche Korrektionswirkung die Sehhilfe aufweist und unter Berücksichtigung der Korrektionswirkung zu ermitteln, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Das Tragen einer Sehhilfe, wie beispielsweise einer Brille oder von Kontaktlinsen, kann ein Hinweis auf eine Sehschwäche sein. Da insbesondere Brillen auch zu kosmetischen Zwecken oder zum Schutz der Augen, zum Beispiel vor Sonnenlicht, getragen werden, ist es wichtig zu bestimmen, ob die Sehhilfe eine optische Wirkung hat. Eine solche optische Wirkung kann beispielsweise aus der Größe oder der Verzerrung der Augen des Insassen relativ zu dem Rest seines Gesichts bestimmt werden. Kontaktlinsen werden hingegen nur äußerst selten zu kosmetischen Zwecken getragen. Die Steuereinheit kann daher dazu ausgebildet sein, bei transparenten Kontaktlinsen immer von einer korrigierenden Wirkung auszugehen. Kontaktlinsen können insbesondere an einem Rand erkannt werden, den diese um die Iris eines Insassen bilden und der mit einer hochauflösenden Kamera erfasst werden kann. Wird eine korrigierende Sehhilfe ermittelt, kann dies von der Steuereinheit als zusätzlicher Indikator verwendet werden, ob eine längere Lesezeit auf eine Schwierigkeit des Insassen zurückzuführen ist, die Textmeldung zu lesen. Hierdurch wird die Ermittlung durch die Steuereinheit noch zuverlässiger.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit ausgebildet, auf Grundlage der Bilddaten das Alter des Insassen zu schätzen und unter Berücksichtigung des geschätzten Alters zu ermitteln, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Mit zunehmendem Alter kann die Sehkraft eines Menschen abnehmen. Das geschätzte Alter kann daher gut als zusätzlicher Indikator verwendet werden, um zu ermitteln, ob eine längere Lesezeit darauf zurück zu führen ist, dass der Insasse Schwierigkeiten hat, die Textmeldung zu lesen.
In einer weiteren bevorzugten Ausführungsform umfasst der von der Kamera erfasste Bereich des Fahrzeuginnenraums zumindest einen Teil des Oberkörpers des Insassen. Die Steuereinheit kann ausgebildet sein, auf Grundlage der Bilddaten eine Körperhaltung des Insassen zu bestimmen und unter Berücksichtigung der Körperhaltung zu ermitteln, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Manche Menschen beugen sich instinktiv in Richtung eines Textes, wenn sie Schwierigkeiten haben den Text zu lesen. Auch versuchen Menschen teilweise durch Vor- und Zurücklehnen des Oberkörpers oder Neigen des Kopfes einen Abstand zu finden, in dem sie einen Text leichter lesen können. Daher kann auch die Körperhaltung des Insassen ein guter Indikator dafür sein, dass der Insasse Schwierigkeiten hat, die Textmeldung zu lesen.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, die Schriftgröße in mehreren zeitlich aufeinanderfolgenden Schritten anzupassen bis die Steuereinheit ermittelt, dass der Insasse keine Schwierigkeiten mehr hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. In dieser Ausführungsform wird die Schriftgröße inkrementell angepasst. Dies kann beispielsweise von Textmeldung zu Textmeldung erfolgen. Alternativ wird die Schriftgröße einer einzigen Textmeldung so lange inkrementell angepasst, bis ermittelt wird, dass der Insasse keine Schwierigkeiten mehr hat, die Textmeldung zu lesen. Die Schriftgröße inkrementell anzupassen hat den Vorteil, dass die Schriftgröße nicht nur individuell für den Insassen, sondern auch an die momentane Situation angepasst wird. So kann ein Insasse, der in der Vergangenheit keine Schwierigkeiten hatte, eine Textmeldung in einer bestimmten Schriftgröße zu lesen, zu einem anderen Zeitpunkt die Textmeldung in dieser Schriftgröße nur mit Schwierigkeiten lesen. Beispielweise kann der Insasse eine Sehhilfe, die er sonst trägt, vergessen haben oder andere äußerer Umstände, beispielsweise die Beleuchtungssituation, erschweren dem Insassen das Lesen.
In einer weiteren bevorzugten Ausführungsform umfasst die Steuereinheit mindestens ein Speicherelement und ist dazu ausgebildet, ein dem Insassen individuell zugeordnetes Profil auf dem Speicherelement zu speichern und von dem Speicherelement zu lesen. Das dem Insassen zugeordnete Profil umfasst insbesondere einen Wert für die Schriftgröße, für den die Steuereinheit ermittelt hat, dass der Insasse keine Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Die Steuereinheit kann ferner dazu ausgebildet sein, auf Grundlage der Bilddaten den Insassen zu identifizieren und die Schriftgröße der Textmeldung auf Grundlage des dem identifizierten Insassen individuell zugeordneten Profils anzupassen. In dieser Ausführungsform merkt sich die Vorrichtung die für den Insassen optimale Schriftgröße und zeigt Textmeldungen in dieser Schriftgröße an, wenn der Insasse identifiziert wird. Dies ist schneller, als zunächst zu ermitteln, ob der Insasse Schwierigkeiten hat, die Textmeldung zu lesen. Diese Voreinstellung kann aber auch als Ausgangspunkt für weitere Anpassungen der Schriftgröße dienen, sollte dies nötig sein. Hierdurch wird die durch die Textmeldung verursachte Ablenkung weiter reduziert. Ferner kann das Profil auch Informationen zu Sehhilfen umfassen, die der Insasse trägt. Hierdurch kann beispielsweise eine Anpassung der Schriftgröße erfolgen, wenn der Insasse eine Sehhilfe, die er gewöhnlich trägt, nicht trägt.
Die Erfindung betrifft ferner ein Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug. Bei dem Verfahren wird einem Insassen des Fahrzeugs mit einem Anzeigeelement des Fahrzeugs die Textmeldung angezeigt. Es werden mit mindestens einer Kamera des Fahrzeugs mehrere zeitlich aufeinander folgende Bilder mit einer Abbildung eines Bereichs des Fahrzeuginnenraums erfasst, der zumindest das Gesicht des Insassen umfasst, und den Bildern entsprechende Bilddaten zu erzeugen. Es wird auf Grundlage der Bilddaten ermittelt, wie lange der Insasse benötigt, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Es wird auf Grundlage der ermittelten Lesezeit bestimmt, ob der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen. Ferner wird die Schriftgröße der Textmeldung angepasst, wenn die Steuereinheit ermittelt hat, dass der Insasse Schwierigkeiten hat, die momentan auf dem Anzeigeelement angezeigte Textmeldung zu lesen.
Das Verfahren hat dieselben Vorteile wie die beanspruchte Vorrichtung. Insbesondere kann das Verfahren mit den Merkmalen der auf die Vorrichtung gerichteten abhängigen Ansprüche weitergebildet werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand der Figuren näher er-läutert. Darin zeigen:

1 eine perspektivische schematische Darstellung eines Cockpits eines Fahrzeugs;
2 in schematischer Darstellung ein von der Kamera aufgenommenes Bild eines Innenraums des Fahrzeugs; und
3 einen Ablaufplan eines Verfahrens zum Anzeigen der Textmeldung.

1 zeigt eine perspektivische schematische Darstellung eines Cockpits 100 eines Fahrzeugs 102.
Als ein Beispiel für einen Insassen 104 des Fahrzeugs 102 zeigt die 1 einen Fahrzeugführer, der auf einem Fahrersitz 106 des Fahrzeugs 102 sitzt. Das Cockpit 100 umfasst ein zentrales Informationsdisplay (CID) 108, ein Head Up Display 110 und ein graphisches Kombiinstrument 112, um den Fahrzeugführer und anderen Insassen 104 Informationen und Meldungen anzuzeigen. Die vorgenannten Elemente sind lediglich Beispiele für eine Vielzahl von Anzeigeelementen, die in dem Fahrzeug 102 vorgesehen sein könnten. Das Cockpit 100 umfasst ferner ein Lenkrad 114 mit Bedienelementen 116, einen Gangwahlschalter 118, eine Pedalerie 120 sowie eine Eingabeeinheit 122 mit einem Drehrad und einer Drucktastenfunktion und/oder einem Touch-Eingabefeld. Diese Eingabeeinheit 122 wird auch als Ergo Commander bezeichnet.
Im oberen Bereich einer Frontscheibe 124 des Fahrzeugs 102 ist eine Kamera 126 angeordnet. Die Kamera 126 ist derart angeordnet und ausgerichtet, dass die Kamera 126 Bilder 200 mit einer Abbildung eines Bereichs des Innenraums des Fahrzeugs 102 erfassen kann. Ein beispielhaftes Bild 200 ist anhand der 2 im Folgenden beschrieben. Die Abbildung umfasst insbesondere das Gesicht 202 und einen Teil des Oberkörpers 128 des Insassen 104. Die Kamera 126 ist ferner ausgebildet, mehrere zeitlich aufeinander folgende Bilder zu erfassen, den Bildern entsprechende Bilddaten zu erzeugen und diese an eine Steuereinheit 130 zu übertragen.
Die Steuereinheit 130 hat Datenausgänge 132 und Dateneingänge 134, die zur Verbindung mit weiteren Einheiten des Fahrzeugs 102, insbesondere mit weiteren Ein- und Ausgabeneinheiten und Steuereinheiten von Assistenzsystemen, dienen. Die Steuereinheit 130 ist ferner ausgebildet ein Verfahren zum Anzeigen einer Textmeldung durchzuführen. Bei dem Verfahren wird die Textmeldung auf zumindest einem der Anzeigeelemente 108, 110, 112 des Fahrzeugs 102 angezeigt. Ferner wird bei dem Verfahren von der Steuereinheit 130 unter Verwendung der von der Kamera 126 bereitgestellten Bilddaten ermittelt, ob der Insasse 104 Schwierigkeiten hat, die momentan angezeigte Textmeldung zu lesen. Wenn die Steuereinheit 130 ermittelt, dass der Insasse 104 Schwierigkeiten hat, wird die Schriftgröße der Textmeldung angepasst, um dem Insassen 104 das Lesen der Textmeldung zu erleichtern. Das Verfahren wird im Folgenden anhand der 2 und 3 näher beschrieben.
2 zeigt in schematischer Darstellung das von der Kamera 126 aufgenommene Bild 200 des Innenraums des Fahrzeugs 102.
Die Kamera 126 hat ein Sichtfeld von 120 Grad. Bei anderen Ausführungsformen kann die Kamera 126 auch ein Sichtfeld in dem Bereich von Grad bis 150 Grad haben. Die Kamera 126 ist in Richtung des Insassen 104 ausgerichtet, daher sind die Anzeigeelemente 108, 110, 112 des Cockpit 100 in dem Bild 200 nicht zu sehen. Da die Positionen der Kamera 126 und der Anzeigeelemente 108, 110, 112 in dem Innenraum des Fahrzeugs 102 ortsfest sind, kann die Position der Anzeigeelemente 108, 110, 112 relativ zu anderen Objekten in dem Innenraum aber leicht bestimmt werden. Hierzu können die Positionen der Anzeigeelemente 108, 110, 112 in einem Speicherelement der Steuereinheit 130 gespeichert sein.
2 zeigt ferner Landmarken 204 auf dem Gesicht 202 und dem Oberkörper 128 des Insassen 104. Die meisten Landmarken 204 sind in dem Gesicht 202 des Insassen 104 angeordnet, insbesondere um die Augen des Insassen 104 herum. Weitere Landmarken 204 sind beispielsweise die Nackenbasis, der obere Rumpf, die rechte Schulter, die linke Schulter, der rechte Ellbogen, der linke Ellbogen, die rechte Hand, die linke Hand, die rechte Hüfte, die linke Hüfte, der untere Rumpf, das rechte Knie und das linke Knie. Die in Figure 2 gezeigten Landmarken 204 sind rein beispielhaft zu verstehen.
Die Steuereinheit 130 der Vorrichtung ist ausgebildet, die Landmarken 204 aus den Bilddaten zu ermitteln. Insbesondere ist die Steuereinheit 130 ausgebildet, ein geeignetes Maschinenlernverfahren durch zu führen, um die Landmarken 204 zu bestimmen. Die Landmarken 204 auf dem Körper des Insassen 104 kann die Steuereinheit 130 beispielsweise unter Verwendung bekannter Human-Pose-Estimation-Verfahren ermitteln. Vergleichbare Maschinenlernverfahren existieren für die Bestimmung von Landmarken 204 in Gesichtern.
Aus den Landmarken 204 in dem Gesicht 202 des Insassen 104 kann die Steuereinheit 130 insbesondere eine Blickrichtung des Insassen 104 ermitteln. Hierzu ermittelt die Steuereinheit 130 auf Grundlage der Landmarken 204 zunächst eine Kopfpose, d.h. die Orientierung und Position des Kopfes des Insassen. Aus der Kopfpose kann die Steuereinheit 130 dann in Kombination mit der Pupillenposition die Blickrichtung des Insassen 104 ermitteln. Die Steuereinheit 130 ist insbesondere ausgebildet, die Blickrichtung als einen Vektor in fahrzeugfesten Koordinaten zu bestimmen. Aus der Blickrichtung kann die Steuereinheit 130 dann den Bereich des Cockpit 100 ermitteln, auf den der Blick des Insassen 104 gerichtet ist. So kann insbesondere ermittelt werden, ob der Insasse 104 gerade auf eines der Anzeigeelemente 108, 110, 112 blickt. Wird momentan eine Textmeldung auf einem der Anzeigeelemente 108, 110, 112 angezeigt und blickt der Insasse 104 auf dieses Anzeigeelement 108, 110, 112, so kann davon ausgegangen werden, dass der Insasse 104 die momentan angezeigte Textmeldung liest. Um zu bestimmen, ob der Insasse 104 Schwierigkeiten hat, die momentan angezeigte Textmeldung zu lesen, ermittelt die Steuereinheit 130 zunächst, wie lange der Insasse 104 benötigt, um die Textmeldung zu lesen. Beispielsweise kann die Steuereinheit 130 hierzu ermitteln, wie lange der Insasse 104 auf das Anzeigeelement 108, 110, 112 blickt während die Textmeldung angezeigt wird. Die Steuereinheit 130 kann aus der Blickrichtung auch ermitteln, wie lange der Insasse 104 benötigt, um eine Zeile der Meldung zu lesen. Hieraus kann eine Lesegeschwindigkeit ermittelt werden. Insbesondere, wenn diese Lesegeschwindigkeit sehr gering ist oder wenn der Blick des Insassen 104 länger auf einer Stelle der Meldung verweilt, kann die Steuereinheit 130 ermitteln, dass der Insasse 104 Schwierigkeiten hat, die momentan angezeigte Textmeldung zu lesen.
Um die Bestimmung zuverlässiger zu machen, kann die Steuereinheit 130 aus den Bilddaten weitere präzisierende Informationen ermitteln. Beispielsweise kann die Steuereinheit 130 aus den Landmarken 204 in dem Gesicht 202 des Insassen 104, insbesondere unter Verwendung eines geeigneten Maschinenlernverfahrens, einen Gesichtsausdruck des Insassen 104 ermitteln. Aus dem Gesichtsausdruck lassen sich eine Vielzahl präzisierender Informationen gewinnen. Beispielsweise tendieren Menschen dazu, die Augen zusammenzukneifen, um besser sehen zu können. Daher kann ein Augen Zusammenkneifen in Verbindung mit einer längeren Lesezeit der Textmeldung ein Hinweis darauf sein, dass der Insasse 104 die momentan angezeigte Textmeldung nur mit Schwierigkeiten lesen kann. Auch ein konzentrierter Gesichtsausdruck, beispielsweise ein leichtes Zusammenziehen der Augenbrauen und/oder eine reduzierte Pupillenbewegung, kann ein Hinweis auf eine Schwierigkeit des Insassen 104 sein, die Textmeldung zu lesen.
Aus den Landmarken 204 auf dem übrigen Körper des Insassen 104 kann die Steuereinheit 130 eine Körperhaltung des Insassen 104 bestimmen. Aus der Körperhaltung können ebenfalls präzisierende Informationen gewonnen werden. Es ist ein natürlicher Reflex von Menschen, sich näher an einen Text zu beugen, den sie nur schwer lesen können. Insbesondere von Weitsichtigkeit betroffene Menschen entfernen sich aber auch von einem Text, um diesen besser lesen zu können. Ein Beugen oder Wippen des Oberkörpers 128 des Insassen 104 kann daher in Verbindung mit einer längeren Lesezeit ebenfalls ein Hinweis darauf sein, dass der Insasse 104 die angezeigte Textmeldung nur schwer lesen kann.
3 zeigt den Ablaufplan des Verfahrens zum Anzeigen der Textmeldung.
In Schritt S300 wird das Verfahren gestartet. In Schritt S302 steuert die Steuereinheit 130 eines der Anzeigeelemente 108, 110, 112 derart an, dass das Anzeigeelement 108, 110, 112 die Textmeldung anzeigt. In Schritt S304 steuert die Steuereinheit 130 die Kamera 126 derart an, dass die Kamera 126 mindestens ein Bild 200 erfasst. Das Bild 200 umfasst eine Abbildung eines Teils des Innenraums des Fahrzeugs 102 und mindestens das Gesicht 202 des Insassen 104. Das Bild 200 kann ferner eine Abbildung eines Teils des Körpers des Insassen 104 umfassen. Aus dem Bild 200 erzeugt die Kamera 126 die Bilddaten und überträgt diese an die Steuereinheit 130. In Schritt S306 ermittelt die Steuereinheit 130, ob der Insasse 104 gerade auf das Anzeigeelement 108, 110, 112 blickt, auf dem momentan die Textmeldung angezeigt wird. Hierzu bestimmt die Steuereinheit 130 zunächst die Blickrichtung des Insassen 104 auf Grundlage der Bilddaten. Die Blickrichtung kann insbesondere als ein Vektor in den Koordinaten des Fahrzeuginnenraums bestimmt werden. Dann vergleicht die Steuereinheit 130, ob die Blickrichtung die Position des Anzeigeelemente 108, 110, 112s schneidet. Die Schritte S304 und S306 werden nun so lange wiederholt, wie der Blick des Insassen 104 auf das Anzeigeelement 108, 110, 112 gerichtet ist. Dabei nimmt die Kamera 126 eine Vielzahl zeitlich aufeinander folgender Bilder 200 des Innenraums auf. Es kann davon ausgegangen werden, dass die Zeit ist, die hierbei vergeht, der Zeit entspricht, die der Insasse 104 benötigt, die Textmeldung zu lesen. Entsprechend bestimmt die Steuereinheit 130 die vergangene Zeit als Lesezeit.
Die ermittelte Lesezeit wird in Schritt S308 mit einer vorbestimmten Lesezeit verglichen, um zu bestimmen, ob der Insasse 104 Schwierigkeiten hat, die Textmeldung zu lesen. Benötigt der Insasse 104 länger als die vorbestimmte Lesezeit, kann die Steuereinheit 130 auch nach Ablauf einer der vorbestimmten Lesezeit entsprechenden Zeit direkt zu Schritt S308 übergehen. Die vorbestimmte Zeitdauer kann insbesondere von der Länge und Komplexität der Textmeldung abhängen. Längere und komplexere Textmeldungen werden im Allgemeinen eine längere Lesezeit aufweisen. Die Komplexität einer Textmeldung kann beispielsweise aus dem Inhalt ermittelt werden. Textmeldungen, die nur aus Signalwörtern, wie beispielweise Navigationsanweisungen oder Warnungen, bestehen, haben eine geringe Komplexität. Hingegen haben Textmeldungen, die Ortsnamen oder andere seltenere Wörter enthalten, eine höhere Komplexität.
Um die Bestimmung, ob der Insasse 104 Schwierigkeiten hat, die Textmeldung zu lesen, zuverlässiger zu machen, kann die Steuereinheit 130 ausgebildet sein, weitere Faktoren zu beachten. Diese können beispielsweise der Gesichtsausdruck oder ein anderes Merkmal des Gesichts 202 des Insassen 104 oder eine Körperhaltung des Insassen 104 sein, wie dies oben in Zusammenhang mit 2 schon beschrieben worden ist. Die Steuereinheit 130 kann ferner ausgebildet sein, auf Grundlage der Bilddaten ermitteln, ob der Insasse 104 eine Sehhilfe mit einer optischen Wirkung trägt, was ein Hinweis auf eine Sehschwäche des Insassen 104 sein kann. Beispielsweise tragen Fahrzeugführer mit Kurzsichtigkeit Brillen, um entfernte Objekte besser erkennen zu können. Derartige Brillen beinträchtigen jedoch die Wahrnehmung von nahen Objekten wie zum Beispiel der auf dem Anzeigeelement 108, 110, 112 angezeigten Textmeldung. Auch Lesebrillen können die Wahrnehmung in der Textmeldung beeinflussen. Optische Sehhilfen haben eine verzerrende Wirkung, die in dem Bild 200 des Gesichts 202 des Insassen 104 gut erkannt werden kann. Auch kann die Steuereinheit 130 ausgebildet sein, auf Grundlage der Bilddaten das Alter des Insassen 104 zu schätzen. Da Sehschwächen mit zunehmendem Alter häufiger auftreten und die Sehkraft im Allgemeinen mit dem Alter eines Menschen abnimmt, kann das Alter des Insassen 104 ebenfalls eine weitere wichtige Bestimmungshilfe für die Steuereinheit 130 sein.
Hat die Steuereinheit 130 in Schritt S308 ermittelt, dass der Insasse 104 Schwierigkeiten hat, die Textmeldung zu lesen, steuert die Steuereinheit 130 in Schritt S310 das Anzeigeelement 108, 110, 112 derart an, dass dieses die Schriftgröße der Textmeldung anpasst, insbesondere vergrößert. Das Anpassen der Schriftgröße kann inkrementell erfolgen, d.h. die Schriftgröße wird solange angepasst, bis die Steuereinheit 130 ermittelt, dass der Insasse 104 keine Schwierigkeiten mehr hat, die Textmeldung zu lesen. Alternativ kann die Schriftgröße in Schritt S310 auch einmalig angepasst werden. Um die Schriftgröße anzupassen, kann die Steuereinheit 130 auch den Insassen 104 auffordern, eine Einstellung der Schriftgröße manuell vorzunehmen. Die Steuereinheit 130 kann in Schritt S310 auch weitere Parameter der Darstellung der Textmeldung anpassen, um dem Insassen 104 das Lesen der Textmeldung zu erleichtern. Beispielsweise kann die Steuereinheit 130 den Kontrast des Anzeigeelementes 108, 110, 112 erhöhen oder die Schriftstärke anpassen. Hat die Steuereinheit 130 in Schritt S308 hingegen ermittelt, dass der Insasse 104 keine Schwierigkeiten hat, die Textmeldung zu lesen, wird das Verfahren beendet. Andernfalls wird das Verfahren erst nach dem Anpassen der Schriftgröße in Schritt S310 in Schritt S312 beendet.
In einem optionalen Schritt kann die Steuereinheit 130 den Wert der Schriftgröße, bei dem der Insasse 104 die Textmeldung problemlos lesen kann, in dem Speicherelement speichern. Vorzugsweise ist der gespeicherte Wert der Schriftgröße Teil eines Profils, das dem Insassen 104 individuell zugeordnet ist. Dieser Wert kann aus dem Speicherelement gelesen werden, und als Voreinstellung für die Schriftgröße von Textmeldungen verwendet werden, wenn Insasse 104 zu einem späteren Zeitpunkt wieder identifiziert wird.
In dem anhand der 1, 2 und 3 beschrieben Ausführungsbeispiel bilden mindestens eines der Anzeigeelemente 108, 110, 112, die Kamera 126 und die Steuereinheit 130 eine Vorrichtung des Fahrzeugs 102 zum Anzeigen einer Textmeldung. Weitere in den 1, 2 und 3 gezeigte und in der vorangegangenen Beschreibung genannte Elemente und Merkmale können Teil dieser Vorrichtung sein.
Bezugszeichenliste

100: Cockpit
102: Fahrzeug
104: Insasse
106: Fahrersitz
108, 110, 112: Anzeigeelement
114: Lenkrad
116: Bedienelement
118: Gangwahlschalter
120: Pedalerie
122: Eingabeeinheit
124: Frontscheibe
126: Kamera
128: Oberkörper
130: Steuereinheit
132: Datenausgang
134: Dateneingang
200: Bild
202: Gesicht
204: Landmarke

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3570140 B1 [0002]
US 2021/64393 A1 [0003]

Claims

Vorrichtung eines Fahrzeugs (102) zum Anzeigen einer Textmeldung, mit mindestens einem Anzeigeelement (108, 110, 112) des Fahrzeugs (102), das ausgebildet ist, einem Insassen (104) des Fahrzeugs (102) die Textmeldung anzuzeigen, mit mindestens einer Kamera (126) des Fahrzeugs (102), die ausgebildet ist, mehrere zeitlich aufeinander folgende Bilder (200) mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest das Gesicht (202) des Insassen (104) umfasst, und den Bildern (200) entsprechende Bilddaten zu erzeugen, mit mindestens einer Steuereinheit (130), die ausgebildet ist, das Anzeigeelement (108, 110, 112) zu steuern und die Bilddaten zu verarbeiten, wobei die Steuereinheit (130) ferner dazu ausgebildet ist, auf Grundlage der Bilddaten zu ermitteln, wie lange der Insasse (104) benötigt, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, auf Grundlage der ermittelten Lesezeit zu bestimmten, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, und die Schriftgröße der Textmeldung anzupassen, wenn die Steuereinheit (130) ermittelt hat, dass der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach Anspruch 1, wobei die Steuereinheit (130) ausgebildet ist, auf Grundlage der Bilddaten eine Blickrichtung des Insassen (104) zu bestimmen und auf Grundlage der Blickrichtung zu ermitteln, ob der Insasse (104) die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung liest.
Vorrichtung nach Anspruch 1 oder 2, wobei die Steuereinheit (130) ausgebildet ist, auf Grundlage der Bilddaten mindestens ein Merkmal des Gesichts (202) des Insassen (104) zu ermitteln und unter Berücksichtigung des Merkmals zu ermitteln, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach Anspruch 3, wobei die Steuereinheit (130) dazu ausgebildet ist, auf Grundlage der Bilddaten einen Gesichtsausdruck des Insassen (104) als das Merkmal zu bestimmen.
Vorrichtung nach Anspruch 3 oder 4, wobei die Steuereinheit (130) dazu ausgebildet ist, Landmarken (204) in dem Gesicht (202) des Insassen (104) zu bestimmen, und ausgehend von den Landmarken (204) das Merkmal zu bestimmen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (130) dazu ausgebildet ist, auf Grundlage der Bilddaten zu bestimmen, ob der Insasse (104) eine Sehhilfe trägt, zu bestimmen, welche Korrektionswirkung die Sehhilfe aufweist und unter Berücksichtigung der Korrektionswirkung zu ermitteln, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (130) dazu ausgebildet ist, auf Grundlage der Bilddaten das Alter des Insassen (104) zu schätzen und unter Berücksichtigung des geschätzten Alters zu ermitteln, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei der von der Kamera (126) erfasste Bereich des Fahrzeuginnenraums zumindest einen Teil des Oberkörpers des Insassen (104) umfasst; und wobei die Steuereinheit (130) ausgebildet ist, auf Grundlage der Bilddaten eine Körperhaltung des Insassen (104) zu bestimmen und unter Berücksichtigung der Körperhaltung zu ermitteln, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (130) dazu ausgebildet ist, die Schriftgröße in mehreren zeitlich aufeinanderfolgenden Schritten anzupassen bis die Steuereinheit (130) ermittelt, dass der Insasse (104) keine Schwierigkeiten mehr hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (130) mindestens ein Speicherelement umfasst und dazu ausgebildet ist, ein dem Insassen (104) individuell zugeordnetes Profil auf dem Speicherelement zu speichern und von dem Speicherelement zu lesen; wobei das dem Insassen (104) zugeordnete Profil einen Wert für die Schriftgröße umfasst, für den die Steuereinheit (130) ermittelt hat, dass der Insasse (104) keine Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen; und wobei die Steuereinheit (130) ferner dazu ausgebildet ist, auf Grundlage der Bilddaten den Insassen (104) zu identifizieren und die Schriftgröße der Textmeldung auf Grundlage des dem identifizierten Insassen (104) individuell zugeordneten Profils anzupassen.
Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug (102), bei dem einem Insassen (104) des Fahrzeugs (102) mit einem Anzeigeelement (108, 110, 112) des Fahrzeugs (102) die Textmeldung angezeigt wird, bei dem mit mindestens einer Kamera (126) des Fahrzeugs (102) mehrere zeitlich aufeinander folgende Bilder (200) mit einer Abbildung eines Bereichs des Fahrzeuginnenraums erfasst werden, der zumindest das Gesicht (202) des Insassen (104) umfasst, und den Bildern (200) entsprechende Bilddaten zu erzeugen, bei dem auf Grundlage der Bilddaten ermittelt wird, wie lange der Insasse (104) benötigt, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, bei dem auf Grundlage der ermittelten Lesezeit bestimmt wird, ob der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen, und bei dem die Schriftgröße der Textmeldung angepasst wird, wenn die Steuereinheit (130) ermittelt hat, dass der Insasse (104) Schwierigkeiten hat, die momentan auf dem Anzeigeelement (108, 110, 112) angezeigte Textmeldung zu lesen.