DE102018103263A1

DE102018103263A1 - Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems

Info

Publication number: DE102018103263A1
Application number: DE102018103263.3A
Authority: DE
Inventors: Takeshi Torii; Noeru SATO; Ryuichi SUMIKAWA
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-03-15
Filing date: 2018-02-14
Publication date: 2018-09-20
Also published as: US10346698B2; JP2018156173A; JP6470334B2; CN108621794A; US20180268230A1; CN108621794B

Abstract

Ein Fahrzeug-Displaysystem (1000) weist eine Anzeigeeinrichtung (500), eine Bestimmungseinrichtung (406, 407) und eine Anzeigesteuerung (404) auf. Die Anzeigeeinrichtung (500) ist dazu ausgebildet, eine Anzeige auf einem Fenster eines Fahrzeugs bereitzustellen. Die Bestimmungseinrichtung (406, 407) ist dazu ausgebildet, Wachheitsgrade eines Fahrers und eines Insassen des Fahrzeugs zu bestimmen. Die Anzeigesteuerung (404) ist dazu ausgebildet, den Anzeigevorgang der Anzeigeeinrichtung (500) zu steuern sowie die von der Anzeigeeinrichtung (500) bereitgestellte Anzeige in Abhängigkeit von den von der Bestimmungseinrichtung (406, 407) festgestellten Wachheitsgraden des Fahrers und des Insassen zu ändern.

Description

HINTERGRUND
Die Erfindung bezieht sich auf ein Fahrzeug-Displaysystem sowie auf ein Verfahren zur Steuerung eines Fahrzeug-Displaysystems.
Die ungeprüfte japanische Patentanmeldungs-Veröffentlichung JP 2004-318 266 A offenbart eine exemplarische Fahrzeug-Displayeinrichtung bzw. Anzeigeeinrichtung, die ein äußerst sicheres Fahren eines Fahrzeugs ermöglicht. Diese Fahrzeug-Anzeigeeinrichtung optimiert eine von einer vorhandenen Anzeigeeinrichtung im Inneren des Fahrzeugs abgegebene Anzeige in Abhängigkeit von einem Wachheitsgrad eines Fahrers.
Heutzutage wird üblicherweise eine Technik verwendet, bei der ein Zustand einer Person auf der Basis von Bildinformation von dem Gesicht der Person erkannt wird. Beispielsweise offenbart die Veröffentlichung „Introduction of Driver Monitoring System“ (Einführung in Fahrer-Überwachungssysteme) von Yuto Maruyama und Atsuko Matsuoka in Oki Technical Review, Ausgabe 220, Bd. 79, Nr. 2, November 2012, eine Technik, bei der der Zustand eines Fahrers eines Fahrzeugs mittels Gesichtserkennung während der Fahrt des Fahrzeugs überwacht wird.
KURZBESCHREIBUNG
Bei einer in der JP 2004-318 266 A offenbarten Technik kann ein Fahrer eines Fahrzeugs Schwierigkeiten haben, eine Anzeige zuverlässig wahrzunehmen, wenn sein Wachheitsgrad vermindert ist.
Es ist wünschenswert, ein Fahrzeug-Displaysystem und ein Verfahren zur Steuerung eines Fahrzeug-Displaysystems anzugeben, die beide die Möglichkeit bieten, die Anzeige einer Anzeigeeinrichtung in Abhängigkeit von Aufmerksamkeitsgraden bzw. Wachheitsgraden eines Fahrers und eines Insassen eines Fahrzeugs optimal zu steuern.
Gemäß einem Aspekt schafft die vorliegende Erfindung ein Fahrzeug-Displaysystem, das Folgendes aufweist: eine Anzeigeeinrichtung, die dazu ausgebildet ist, eine Anzeige auf einem Fenster eines Fahrzeugs bereitzustellen; eine Bestimmungseinrichtung, die dazu ausgebildet ist, Wachheitsgrade eines Fahrers und eines Insassen des Fahrzeugs festzustellen; und eine Anzeigesteuerung, die dazu ausgebildet ist, die Anzeige der Anzeigeeinrichtung zu steuern sowie die von der Anzeigeeinrichtung bereitgestellte Anzeige in Abhängigkeit von den von der Bestimmungseinrichtung festgestellten Wachheitsgraden des Fahrers und des Insassen zu ändern.
Gemäß einem weiteren Aspekt schafft die Erfindung ein Verfahren zur Steuerung eines Fahrzeug-Displaysystems. Das Verfahren weist folgende Schritte auf: Feststellen von Wachheitsgraden eines Fahrers und eines Insassen, die in einem Fahrzeug fahren, wobei das Fahrzeug ein Fenster und eine Anzeigeeinrichtung aufweist, die eine Anzeige auf dem Fenster bereitstellt; und Ändern der von der Anzeigeeinrichtung bereitgestellten Anzeige in Abhängigkeit von den festgestellten Wachheitsgraden des Fahrers und des Insassen.
Figurenliste
In den Zeichnungen zeigen:

1 eine schematische Darstellung eines Beispiels einer Konfiguration eines Fahrzeugsystems gemäß einer Ausführungsform der Erfindung;
2 eine schematische Darstellung eines Beispiels einer Frontscheibenanzeige-Einrichtung bzw. HUD-Einrichtung, die eine selbstleuchtende Zwischenlagenschicht aufweist;
3 eine schematische Darstellung eines Beispiels für einen Zustand, in dem ein Fahrersensor ein Bild eines Fahrers eines Fahrzeugs aufnimmt;
4 eine schematische Darstellung eines Beispiels für die Art und Weise, in der ein Winkel, in dem ein Gesicht eines Fahrers orientiert ist, sowie weitere gesichtsbezogene Faktoren auf der Basis eines Gesichtsbereichs des Fahrers berechnet werden;
5 eine schematische Darstellung für die Detektion einer Mund-Öffnung zur Verwendung bei der Feststellung, ob der Fahrer seinen Mund öffnet;
6 eine schematische Darstellung eines Beispiels für die Art und Weise, in der festgestellt wird, ob der Fahrer seine Augen schließt;
7 eine schematische Darstellung eines Beispiels für eine Anzeige zum Fahrer hin;
8 eine schematische Darstellung eines Beispiels einer Anzeige in einer Position, in der sowohl der Fahrer als auch ein Insasse diese gut sehen können;
9 eine schematische Darstellung eines Beispiels von Anzeigen zum Fahrer und zum Insassen;
10 eine schematische Darstellung eines Beispiels für die Art und Weise, in der eine Verzerrungskorrektur für den Fahrer ausgeführt wird;
11 eine schematische Darstellung eines Beispiels für die Art und Weise, wie eine Verzerrungskorrektur sowohl für den Fahrer als auch für den Insassen ausgeführt wird;
12 eine schematische Darstellung eines Beispiels für die Art und Weise, wie eine Verzerrungskorrektur für den Insassen ausgeführt wird;
13 ein Ablaufdiagramm zur Erläuterung eines Beispiels eines Prozesses, der von dem Fahrzeugsystem gemäß einer Ausführungsform ausgeführt wird;
14 eine schematische Darstellung zur Erläuterung eines Beispiels einer Anzeige, deren Form für den Fahrer geändert wird; und
15 eine schematische Darstellung zur Erläuterung eines Beispiels einer Anzeige, deren Form für den Insassen geändert wird.

AUSFÜHRLICHE BESCHREIBUNG
Im Folgenden werden einige nicht einschränkende Ausführungsformen der Erfindung unter Bezugnahme auf die Begleitzeichnungen ausführlich beschrieben. Es sei erwähnt, dass die nachfolgende Beschreibung auf der Erläuterung dienende Beispiele der Offenbarung gerichtet ist und nicht als die Erfindung einschränkend zu verstehen ist. Solche Faktoren, wie Ziffernwerte, Formgebungen, Materialien, Komponenten, Positionen der Komponenten sowie die Art und Weise, in der die Komponenten miteinander gekoppelt sind, und dergleichen dienen lediglich der Erläuterung und sind nicht als die Erfindung einschränkend zu verstehen.
Ferner sind Elemente in den nachfolgenden exemplarischen Ausführungsformen, die nicht in einem übergeordneten unabhängigen Anspruch der Offenbarung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematischer Art sowie nicht maßstabsgetreu dargestellt. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration mit den gleichen Bezugszeichen bezeichnet, um jegliche redundante Beschreibung zu vermeiden.
Bei einer in der JP 2004-318 266 A offenbarten Technik kann selbst bei einer optimierten Anzeige ein Fahrer eines Fahrzeugs Schwierigkeiten haben, diese Anzeige zuverlässig zu erkennen bzw. zu verstehen, wenn sein Wachheitsgrad vermindert ist. Bei einer weiteren Verminderung des Wachheitsgrads ist der Fahrer möglicherweise nicht mehr in der Lage, die Anzeige zu erkennen und somit das Fahrzeug in angemessener Weise zu fahren.
Mindestens eine Ausführungsform der Erfindung schafft ein Fahrzeug-Displaysystem sowie ein Verfahren zur Steuerung eines Fahrzeug-Displaysystems, die beide die Möglichkeit bieten, die Anzeige einer Anzeigeeinrichtung in Abhängigkeit von Wachheitsgraden eines Fahrers und eines Insassen optimal zu steuern.
1 veranschaulicht in schematischer Weise ein Beispiel einer Konfiguration eines Fahrzeugsystems 1000 gemäß einer Ausführungsform der Erfindung. Das Fahrzeugsystem 1000 kann im Großen und Ganzen in einem Fahrzeug angebracht sein. Bei dem Fahrzeug kann es sich z.B., jedoch nicht ausschließlich, um ein Kraftfahrzeug handeln. Wie unter Bezugnahme auf 1 ersichtlich ist, kann das Fahrzeugsystem 1000 Fahrzeug-Außensensoren 100, einen Fahrersensor 200, einen Insassensensor 210, Sitzsensoren 300, eine Steuerung 400, eine Frontscheibenanzeigeeinrichtung bzw. Head-up-Display- (HUD-) Einrichtung 500, Lautsprecher 600 und Sitzvibratoren 700 aufweisen.
Bei den Fahrzeug-Außensensoren 100 kann es sich jeweils um eine Stereokamera, eine einäugige Kamera, ein Millimeterwellen-Radar, einen Infrarotsensor oder eine beliebige andere Erfassungseinrichtung handeln. Jeder Fahrzeug-Außensensor 100 kann einen Parameter, wie z.B. eine Position und eine Geschwindigkeit eines Objekts messen, ist jedoch nicht darauf beschränkt. Nicht einschränkende Beispiele für das Objekt können ein Fahrzeug und eine Person in der Umgebung des Fahrzeugs beinhalten.
Bei einer exemplarischen Ausführungsform kann es sich bei jedem Fahrzeug-Außensensor 100 um eine Stereokamera handeln, die ein Paar aus einer rechten und einer linken Kamera beinhaltet, die jeweils eine Abbildungseinrichtung aufweisen, wie z.B., jedoch nicht ausschließlich, einen Sensor mit ladungsgekoppelter Vorrichtung (CCD) oder einen komplementären Metall-Oxid-Halbleiter-Sensor (CMOS-Sensor).
Die Stereokamera kann ein Bild von einer Umgebung außerhalb eines Fahrzeugs aufnehmen und Information über das aufgenommene Bild an die Steuerung 400 übermitteln. Bei einer exemplarischen Ausführungsform kann es sich bei der Stereokamera um eine Farbbildkamera handeln, die in einem oberen Bereich einer Frontscheibe des Fahrzeugs angeordnet ist und Farbinformation ermitteln kann.
Bei der HUD-Einrichtung 500 kann es sich um eine Anzeigeeinrichtung bzw. Displayeinrichtung handeln, die Information direkt in einem menschlichen Gesichtsfeld anzeigt. Insbesondere kann die HUD-Einrichtung 500 ein reales Bild auf einem Fenster, wie z.B. der Frontscheibe oder einer hinteren Scheibe bzw. Heckscheibe des Fahrzeugs anzeigen. Obwohl eine bekannte HUD-Einrichtung typischerweise ein virtuelles Bild anzeigt, kann es sich bei der HUD-Einrichtung 500 bei der vorliegenden Ausführungsform um eine Anzeigeeinrichtung handeln, die ein reales Bild anzeigt.
Die HUD-Einrichtung 500 kann ein reales Bild in einem Betrachtungswinkel von ca. 360° anzeigen, so dass es Personen innerhalb und außerhalb des Fahrzeugs möglich ist, das Bild zu sehen. Bei einer alternativen Ausführungsform kann die HUD-Einrichtung 500 jedoch ein virtuelles Bild anzeigen.
Bei einer speziellen, jedoch nicht einschränkenden Ausführungsform kann es sich bei der HUD-Einrichtung 500 um eine Einrichtung handeln, die eine selbstleuchtende Zwischenlagenschicht 510 aufweist, wie dies in 2 dargestellt ist. Bei einer solchen Ausführungsform kann die selbstleuchtende Zwischenlagenschicht 510 zwischen zwei Flächenkörpern aus Glas 520 in dem Fenster des Fahrzeugs angeordnet sein, bei dem es sich z.B., um die Frontscheibe und die Heckscheibe handeln kann, wobei dies jedoch nicht abschließend zu verstehen ist.
Die selbstleuchtende Zwischenlagenschicht 510 kann ein lumineszierendes Material enthalten. Wenn ein Bereich der selbstleuchtenden Zwischenlagenschicht 510 mit Laserlicht von einem in dem Fahrzeug angebrachten Projektor 530 bestrahlt wird, kann der damit bestrahlte Bereich Licht emittieren und Objekte anzeigen, die Zeichen und Bilder beinhalten.
Die Objekte können aus allen Winkeln sichtbar sein und können somit nicht nur vom Fahrersitz aus, sondern auch von den anderen Sitzen sowie von einer beliebigen Stelle außerhalb des Fahrzeugs sichtbar sein. Bei einer alternativen Ausführungsform kann die HUD-Einrichtung 500 eine Konfiguration aufweisen, bei der eine selbstleuchtende Einrichtung an dem Fenster des Fahrzeugs angeordnet ist.
Bei einer solchen alternativen Ausführungsform kann die HUD-Einrichtung 500 einen transparenten Bildschirm bzw. eine transparente Projektionsfläche aufweisen, der bzw. die ein Element mit organischer Elektrolumineszenz (EL), eine transmissive Flüssigkristalleinrichtung oder ein beliebiges anderes Element enthält, das eine transmissive Anzeige zulässt. Bei einer weiteren alternativen Ausführungsform kann eine beliebige andere Einrichtung als die HUD-Einrichtung 500 als Anzeigeeinrichtung verwendet werden.
Bei einer solchen alternativen Ausführungsform kann als Anzeigeeinrichtung eine groß dimensionierte Flüssigkristall-Anzeigeeinrichtung, eine Anzeigeeinrichtung mit lichtemittierender Diode bzw. LED-Anzeigeeinrichtung oder eine beliebige Anzeigeeinrichtung verwendet werden, die an einem solchen Element, wie z.B., jedoch nicht ausschließlich, einem Armaturenbrett angeordnet ist. Im Folgenden wird eine Ausführungsform beschrieben, bei der die HUD-Einrichtung 500 eine Anzeige auf dem Fenster, wie z.B. der Frontscheibe und der Heckscheibe, des Fahrzeugs bereitstellt.
Bei einer Ausführungsform kann die HUD-Einrichtung 500 als „Displayeinrichtung“ bzw. „Anzeigeeinrichtung“ dienen. Die Anzeigeeinrichtung gemäß jeglicher Ausführungsform der Erfindung ist jedoch nicht auf die HUD-Einrichtung 500 beschränkt. Der Begriff „HUD-Einrichtung“ oder „Anzeigeeinrichtung“ gemäß jeder Ausführungsform der Erfindung umfasst alle und jegliche Anzeigeeinrichtungen, die im Inneren und/oder außerhalb eines Fahrzeugs vorhanden sind.
Bei einer exemplarischen Ausführungsform kann die Anzeigeeinrichtung an einer beliebigen anderen Stelle als dem Fenster außerhalb des Fahrzeugs vorgesehen sein, wie z.B. an einer Karosserie des Fahrzeugs. Bei einer exemplarischen Ausführungsform kann die Anzeigeeinrichtung an einer beliebigen anderen Stelle als dem Fenster im Inneren des Fahrzeugs vorgesehen sein, wie z.B. am Armaturenbrett und einem Sitz. Die im Inneren sowie die außerhalb des Fahrzeugs angeordneten Anzeigeeinrichtungen können in integraler Weise vorgesehen sein oder voneinander getrennt vorgesehen sein.
Der Fahrersensor 200 kann durch eine Kamera, einen Blickrichtungssensor, einen Bewegungssensor oder eine beliebige andere Erfassungseinrichtung implementiert sein. Dieser Fahrersensor 20 kann Bewegungen der Arme und des Kopfes des Fahrers, eine Blickrichtung des Fahrers sowie beliebige andere mit dem Fahrer in Beziehung stehende Parameter messen. Bei einer exemplarischen Ausführungsform, bei der der Fahrersensor 200 eine Kamera ist, kann der Fahrersensor 200 die Bewegungen der Arme und des Kopfes, die Blickrichtung sowie beliebige andere Parameter ermitteln, indem ein von der Kamera aufgenommenes Bild einer Bildverarbeitung unterzogen wird.
Bei einer weiteren exemplarischen Ausführungsform, bei der der Fahrersensor 200 ein Blickrichtungssensor ist, kann der Fahrersensor 200 die Blickrichtung unter Verwendung eines Hornhaut-Reflexionsverfahrens oder eines beliebigen anderen ähnlichen Verfahrens detektieren. Die Sitzsensoren 300 können an den jeweiligen Sitzen des Fahrzeugs angeordnet sein, und jeder der Sitzsensoren 300 kann die Feststellung treffen, ob eine Person auf einem entsprechenden Sitz sitzt.
Die Lautsprecher 600 können einen Warnton zur Innenseite und zur Außenseite des Fahrzeugs abgegeben, wenn die HUD-Einrichtung 500 eine Warnung an Personen innerhalb und außerhalb des Fahrzeugs anzeigt. Die Sitzvibratoren 700 können in den jeweiligen Sitzen im Inneren des Fahrzeugs angeordnet sein. Ferner können die Sitzvibratoren 700 die Sitze in Schwingungen versetzen, um den Fahrer sowie Insassen zu warnen, wenn die HUD-Einrichtung 500 eine Warnung im Inneren des Fahrzeugs anzeigt.
Die Steuerung 400 kann den Anzeigevorgang der HUD-Einrichtung 500 auf der Basis von Information steuern, die von den Fahrzeug-Außensensoren 100, dem Fahrersensor 200 sowie anderen Sensoren detektiert wird.
Die Steuerung 400 kann eine Umgebungsinformations-Ermittlungseinheit 402, eine Fahrerinformations-Ermittlungseinheit 404, eine Insasseninformations-Ermittlungseinheit 405, eine Fahrerzustands-Bestimmungseinrichtung 406, eine Insassenzustands-Bestimmungseinrichtung 407, eine Umgebungszustands-Bestimmungseinrichtung 408, einen Verzerrungskorrektur-Prozessor 410 und eine HUD-Steuerung 414 aufweisen.
Bei einer Ausführungsform können die Fahrerinformations-Ermittlungseinheit 404 und die Insasseninformations-Ermittlungseinheit 405 als „Bildinformations-Ermittlungseinheit“ dienen. Bei einer Ausführungsform können die Fahrerzustands-Bestimmungseinrichtung 406 und die Insassenzustands-Bestimmungseinrichtung 407 als „Bestimmungseinrichtung“ dienen. Bei einer Ausführungsform kann die HUD-Steuerung 414 als „Displaysteuerung“ bzw. „Anzeigesteuerung“ dienen. Die jeweiligen Komponenten der Steuerung 400 können in Form von Hardware oder Software implementiert sein.
Bei einer exemplarischen Ausführungsform, bei der eine Komponente der Steuerung 400 in Form von Hardware implementiert ist, kann es sich bei dieser Komponente um Schaltungseinrichtungen handeln. Bei einer weiteren exemplarischen Ausführungsform, bei der eine Komponente der Steuerung 400 durch Software implementiert ist, kann es sich bei dieser Komponente um ein Programm handeln, das eine zentrale Verarbeitungseinheit (CPU) oder einen anderen Prozessor zum Ausführen ihrer bzw. seiner Funktionen veranlasst.
Die Umgebungsinformations-Ermittlungseinheit 402 kann Information über eine Distanz zu einem Zielobjekt ermitteln, bei dem es sich in dem vorliegenden Fall um eine Person handelt. Diese Information kann als Distanzinformation bezeichnet werden. Bei einer exemplarischen Ausführungsform kann die Umgebungsinformations-Ermittlungseinheit 402 die Distanzinformation auf der Basis eines Versetzungsausmaßes zwischen entsprechenden Positionen in einem Paar aus einem rechten und einem linken Stereobild sowie mittels eines Triangulationsprinzips generieren.
Das Paar aus dem rechten und dem linken Stereobild kann von einem Set aus einer rechten und einer linken Kamera der Stereokamera aufgenommen werden, wobei diese bei einer Ausführungsform einen jeweiligen Fahrzeug-Außensensor 100 bilden.
Zusammen mit der Ermittlung der Distanzinformation kann die Umgebungsinformations-Ermittlungseinheit 402 auch Information über eine Position der Person ermitteln, und zwar aus der Information über die Bilder, die von dem Set aus der rechten und der linken Kamera der Stereokamera aufgenommen werden, die den jeweiligen Fahrzeug-Außensensor 100 bildet. Diese Information kann als Bildinformation bezeichnet werden. Ferner kann die Umgebungsinformations-Ermittlungseinheit 402 einen bekannten Gliederungsvorgang an der durch ein Triangulationsprinzip generierten Distanzinformation ausführen.
Die Umgebungsinformations-Ermittlungseinheit 402 kann Daten über ein dreidimensionales Objekt, eine Fahrbahnlinie sowie andere Objekte ermitteln, indem sie die einem Gliederungsvorgang unterzogene Distanzinformation mit vorgegebenen dreidimensionalen Daten vergleicht, bei denen es sich z.B., jedoch nicht ausschließlich, um dreidimensionale Objektdaten handelt. Durch Ausführung der Prozesse in dieser Weise kann die Steuerung 400 auch verschiedene Größen erkennen, die eine Person, ein weiteres Fahrzeug, ein Stoppschild, eine Stopplinie und einen Zugang zu einem elektronischen Mauterhebungssystem (ETC) beinhalten.
Auf der Basis der Information über die Distanz zu einem durch ein Triangulationsprinzip generierten Faktor kann die Umgebungsinformations-Ermittlungseinheit 402 auch eine Änderung in der Distanz zu dem Faktor und/oder eine Geschwindigkeit relativ zu dem Faktor berechnen. Nicht einschränkende Beispiele für den Faktor können eine Person sowie ein weiteres Fahrzeug beinhalten.
Die Änderung bei der Distanz kann unter Einbeziehung von Distanzen zu dem Faktor in Einzelbildern bestimmt werden. Die Einzelbilder können in regelmäßigen Zeitintervallen ermittelt werden. Die relative Geschwindigkeit kann durch Dividieren der in regelmäßigen Zeitintervallen ermittelten Distanzen durch die Zeiteinheit bestimmt werden.
In der vorstehend beschriebenen Weise kann die Umgebungsinformations-Ermittlungseinheit 402 die Bildinformation hinsichtlich einer Umgebung außerhalb des Fahrzeugs von den Fahrzeug-Außensensoren 100 beziehen. Ferner kann die Umgebungsinformations-Ermittlungseinheit 402 die ermittelte Bildinformation durch einen Bildanalysevorgang analysieren. Als Resultat der Analyse der Bildinformation kann die Umgebungsinformations-Ermittlungseinheit 402 Umgebungsinformation hinsichtlich der Umgebung außerhalb des Fahrzeugs ermitteln.
3 veranschaulicht in schematischer Weise ein Beispiel eines Zustands, in dem der Fahrersensor 200 ein Bild des Fahrers aufnimmt, wenn der Fahrersensor 200 durch eine Kamera implementiert ist. Wie in 3 dargestellt, kann in einem Beispiel der Fahrersensor 200 in einem oberen Bereich einer Lenksäule angebracht sein.
Bei einer exemplarischen Ausführungsform, bei der es sich bei dem Fahrersensor 200 um eine Kamera handelt, kann das von dem Fahrersensor 200 aufgenommene Bild der Steuerung 400 zugeführt werden. Die Fahrerinformations-Ermittlungseinheit 404 kann dann einen Gesichtsbereich des Fahrers aus dem empfangenen Bild durch eine Bildverarbeitungstechnik ermitteln, bei der es sich z.B., jedoch nicht ausschließlich, um eine Randerkennungs- und Gesichtserkennungstechnik handeln kann.
Die Fahrerinformations-Ermittlungseinheit 404 kann hierdurch eine Orientierung des Gesichts auf der Basis des Gesichtsbereichs ermitteln. Die Fahrerzustands-Bestimmungseinrichtung 406 kann auf der Basis der Gesichtsorientierung feststellen, ob der Fahrer zur Seite blickt. Darüber hinaus kann die Fahrerinformations-Ermittlungseinheit 404 Information über Positionen von Merkmalspunkten von vorbestimmten Teilen des Gesichts ermitteln, die als Positionsinformation bezeichnet wird.
Nicht einschränkende Beispiele für die vorbestimmten Teile des Gesichts können die Augen, die Nase und den Mund beinhalten. Auf der Basis dieser Positionsinformation kann die Fahrerzustands-Bestimmungseinrichtung 406 dann einen Zustand eines Fahrers bestimmen. In einer exemplarischen Ausführungsform kann die Fahrerzustands-Bestimmungseinrichtung 406 eine Möglichkeit feststellen, dass der Fahrer nicht mit der gebotenen Aufmerksamkeit nach vorn blickt, da er z.B. müde ist oder eingeschlafen ist.
4 veranschaulicht in schematischer Weise ein Beispiel für die Art und Weise, in der ein Winkel, in dem ein Gesicht orientiert ist, sowie weitere gesichtsbezogene Faktoren auf der Basis eines detektierten Gesichtsbereichs 10 des Fahrers berechnet werden. Auf der Basis des Gesichtsbereichs 10 des Fahrers, der aus der Bildinformation ermittelt worden ist, kann die Fahrerzustands-Bestimmungseinrichtung 406 überwachen, ob die Gesichtsorientierung des Fahrers außerhalb eines vorbestimmten Bereichs liegt, so dass dadurch eine Möglichkeit festgestellt werden kann, dass der Fahrer zur Seite blickt. In diesem Fall kann der Gesichtsbereich 10 des Fahrers aus der Positionsinformation über die Merkmalspunkte der die Augen, die Nase und den Mond beinhaltenden Bereiche des Gesichts definiert werden.
Zum Schätzen der Gesichtsorientierung kann die Fahrerzustands-Bestimmungseinrichtung 406 als ein Beispiel eine Distanz zwischen den Augen bei Betrachtung von vorn als Referenz verwenden und dann diese Referenz mit einer Distanz zwischen den Augen vergleichen, die aus der Bildinformation ermittelt wird. Wenn die aus der Bildinformation ermittelte Distanz zwischen den Augen kleiner wird als der Referenzwert, kann somit die Feststellung getroffen werden, dass das Gesicht von vorn betrachtet stärker zur Seite gerichtet ist.
4 veranschaulicht ein Detektionsresultat 20 unten rechts. Bei dem Detektionsresultat 20 ist entlang der vertikalen Achse der „vertikale Winkel der Gesichtsorientierung“ dargestellt und entlang der horizontalen Achse ist der „horizontale Winkel der Gesichtsorientierung“ dargestellt, und eine X-Markierung 30 bezeichnet „detektierte Winkel der Gesichtsorientierung“. Bei dem Detektionsresultat 20 kann es sich bei einem schattierten rechteckigen Bereich im Zentrum um einen vorderen Bereich 22 handeln.
Wenn detektierte Winkel der Gesichtsorientierung innerhalb des vorderen Bereichs 22 liegen, kann die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung treffen, dass der Fahrer nach vorn blickt. Wenn die detektierten Winkel von einem Ort innerhalb von dem vorderen Bereich 22 zu einem von dem rechten und dem linken seitlichen Bereich 24 verlagert sind, wie dies durch die X-Markierung 30 dargestellt ist, kann die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung treffen, dass der Fahrer möglicherweise zur Seite blickt. Schwellenwerte zur Unterscheidung von dem vorderen Bereich 22 sowie dem rechten und dem linken seitlichen Bereich 24 voneinander können nach Bedarf variiert werden. Bei einer exemplarischen Ausführungsform können die Schwellenwerte auf ca. -20° und +20° in der horizontalen Richtung vorgegeben werden.
Bei einer exemplarischen Ausführungsform kann die Tatsache, ob der Fahrer zur Seite blickt, folgendermaßen festgestellt werden. Als erstes kann ein Verhältnis einer Zeitdauer, über die die Winkel der Gesichtsorientierung innerhalb von einem von dem rechten und dem linken seitlichen Bereich 24 bleiben, zu einer Referenz-Zeitdauer berechnet werden. Wenn das berechnete Verhältnis einen vorbestimmten Schwellenwert übersteigt, kann die Feststellung getroffen werden, dass der Fahrer zur Seite blickt.
Wenn bei einer alternativen exemplarischen Ausführungsform die Winkel der Gesichtsorientierung über eine vorbestimmte Zeitdauer weiterhin außerhalb eines vorbestimmten Bereichs bleiben oder wenn der Fahrersensor 200 das Gesicht des Fahrers über eine vorbestimmte Zeitdauer fortlaufend nicht detektiert, kann die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung treffen, dass der Fahrer zur Seite blickt.
5 veranschaulicht in schematischer Weise eine Detektion der Mund-Öffnung zur Verwendung bei der Feststellung, ob der Fahrer seinen Mund öffnet. Wie in 5 dargestellt, kann die Tatsache, ob der Fahrer den Mund öffnet, auf der Basis einer Distanz D1 zwischen den Merkmalspunkten der oberen und unteren Bereiche des Munds festgestellt werden.
Wenn die Distanz D1 einen vorbestimmten Wert übersteigt, wie dies z.B. in dem rechten Teil der 5 dargestellt ist, die einen Mund im geöffneten Zustand zeigt, kann die Feststellung getroffen werden, dass die Möglichkeit besteht, dass der Fahrer den Mund öffnet und gähnt. Wenn bei einer exemplarischen Ausführungsform ein Zustand, in dem der Fahrer den Mund über eine vorbestimmte Zeitdauer geöffnet hält, eine vorbestimmte Anzahl von Malen detektiert wird, kann die Feststellung getroffen werden, dass eine steigende Möglichkeit besteht, dass der Fahrer schläft.
6 veranschaulicht in schematischer Weise ein Beispiel für die Art und Weise, in der festgestellt wird, ob der Fahrer seine Augen schließt. Wie in 6 dargestellt, kann die Feststellung, ob der Fahrer die Augen schließt, aus der Distanz D2 zwischen Merkmalspunkten der oberen und unteren Bereiche von einem beliebigen der Augen detektiert werden. Wenn die Distanz D2 gleich einem oder geringer als ein vorbestimmter Wert ist, wie dies z.B. in dem rechten Teil der 6 dargestellt ist, die einen Zustand mit geschlossenem Auge veranschaulicht, kann die Feststellung getroffen werden, dass der Fahrer möglicherweise schläft.
Bei einer exemplarischen Ausführungsform kann die Tatsache, ob der Fahrer schläft, folgendermaßen festgestellt werden. Als erstes kann ein Augen-Schließverhältnis berechnet werden, bei dem es sich um ein Verhältnis einer Zeitdauer, über die der Fahrer die Augen geschlossen hält, zu einer Referenzperiode handelt. Wenn das berechnete Augen-Schließverhältnis dann einen vorbestimmten Schwellenwert übersteigt, kann daraus die Feststellung getroffen werden, dass der Fahrer schläft.
Wenn bei einer weiteren exemplarischen Ausführungsform ein Zustand, in dem der Fahrer die Augen schließt, eine vorbestimmte Anzahl von Malen innerhalb einer vorgegebenen Zeitdauer detektiert wird, kann daraus die Feststellung getroffen werden, dass eine steigende Möglichkeit vorhanden ist, dass der Fahrer schläft. Bei noch einer weiteren exemplarischen Ausführungsform können Lidschläge bzw. Lidbewegungen durch Bildverarbeitung detektiert werden. Auf der Basis der Häufigkeit der Lidschläge kann dann die Feststellung getroffen werden, ob der Fahrer schläft. Diese Feststellungen, wie sie in 5 und 6 dargestellt sind, können von der Fahrerzustands-Bestimmungseinrichtung 406 vorgenommen werden.
Die Umgebungszustands-Bestimmungseinrichtung 408 in der Steuerung 400 kann Information über eine Umgebung außerhalb des Fahrzeugs auf der Basis der von der Umgebungsinformations-Ermittlungseinheit 402 ermittelten Umgebungsinformation feststellen. Die Umgebungszustands-Bestimmungseinrichtung 408 kann eine Person außerhalb des Fahrzeugs als Zielperson vorgeben und einen Zustand dieser Zielperson bestimmen.
Bei einer Ausführungsform kann der Insassensensor 210 vor einem Insassen angebracht sein, der auf dem Beifahrersitz sitzt. Bei einer exemplarischen Ausführungsform kann der Insassensensor 210 an dem Armaturenbrett vor dem Insassen auf dem Beifahrersitz angebracht sein. Bei einer alternativen exemplarischen Ausführungsform kann eine Vielzahl von Insassensensoren 210 vor jeweiligen Insassen angebracht sein, die auf allen der Insassensitze sitzen. Der Insassensensor 210 kann ein Bild von dem Insassen in ähnlicher Weise aufnehmen, in der der Fahrersensor 200 das Bild von dem Fahrer aufnimmt.
Die Insasseninformations-Ermittlungseinheit 405 kann einen Gesichtsbereich des Insassen aus dem von dem Insassensensor 210 aufgenommenen Bild durch eine Bildverarbeitungstechnik ermitteln, bei der es sich z.B., jedoch nicht ausschließlich, um eine Randerkennungs- und Gesichtserkennungstechnik handelt. Die Insasseninformations-Ermittlungseinheit 405 kann hierdurch eine Orientierung des Gesichts auf der Basis des Gesichtsbereichs ermitteln. Die Insassenzustands-Bestimmungseinrichtung 407 kann dann auf der Basis der Winkel der Gesichtsorientierung die Feststellung treffen, ob der Fahrer zur Seite blickt.
Darüber hinaus kann die Insasseninformations-Ermittlungseinheit 405 einen Zustand des Insassen aus Positionsinformation über Merkmalspunkte von vorbestimmten Bereichen des Gesichts detektieren. Nicht einschränkende Beispiele für die vorbestimmten Bereiche des Gesichts können die Augen, die Nase und den Mund beinhalten. Auf der Basis des detektierten Insassenzustands kann die Insassenzustands-Bestimmungseinrichtung 407 dann eine Möglichkeit feststellen, dass der Insasse nicht mit der gebotenen Aufmerksamkeit nach vorn blickt, da er z.B. müde ist oder schläft.
Der Insassensensor 210 und der Fahrersensor 200 können durch eine einzige Einheit implementiert sein. Bei einer derartigen Ausführungsform können die Insasseninformations-Ermittlungseinheit 405 und die Fahrerinformations-Ermittlungseinheit 404 durch eine einzige Einheit implementiert sein. Gleichermaßen können auch die Insassenzustands-Bestimmungseinrichtung 407 und die Fahrerzustands-Bestimmungseinrichtung 406 durch eine einzige Einheit implementiert sein.
Die HUD-Steuerung 414 kann den Anzeigevorgang der HUD-Einrichtung 500 steuern. Insbesondere kann die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 auf der Basis der Feststellungsresultate der Fahrerzustands-Bestimmungseinrichtung 406, der Insassenzustands-Bestimmungseinrichtung 407 sowie beliebiger anderer Bestimmungseinrichtungen ermitteln.
Bei einer Ausführungsform kann dann, wenn die Fahrzeug-Außensensoren 100 das Vorhandensein einer Person oder eines anderen Fahrzeugs in der Umgebung des Fahrzeugs detektieren, die HUD-Einrichtung 500 eine Warnung an den Fahrer anzeigen. Wenn z.B. eine Person, ein Fahrzeug oder ein anderes Objekt vor dem vorwärts fahrenden Fahrzeug vorhanden ist, kann die HUD-Einrichtung 500 eine Warnung an den Fahrer anzeigen und dadurch den Fahrer dazu auffordern, dem Bereich vor seinem Fahrzeug mehr Aufmerksamkeit zu schenken. Außerdem kann die HUD-Einrichtung 500 auch eine Warnung an eine Person oder ein weiteres Fahrzeug außerhalb von dem eigenen Fahrzeug anzeigen, da diese Warnanzeige von der Außenseite des Fahrzeugs sichtbar sein kann.
Bei einer Ausführungsform kann die Fahrerinformations-Ermittlungseinheit 404 einen Zustand des Fahrers von dem Fahrersensor 200 ermitteln. Die Fahrerzustands-Bestimmungseinrichtung 406 kann dann feststellen, ob sich der Fahrer in einem normalen Zustand befindet. Auf der Basis dieses Feststellungsresultats kann die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 steuern.
Bei einer Ausführungsform kann die Insasseninformations-Ermittlungseinheit 405 den Zustand des Insassen von dem Insassensensor 210 ermitteln. Die Insassenzustands-Bestimmungseinrichtung 407 kann dann feststellen, ob sich der Insasse in einem normalen Zustand befindet. Auf der Basis dieses Feststellungsresultats kann die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 steuern.
Für die Feststellung, ob sich der Fahrer und der Insasse in einem normalen Zustand befinden, können die Fahrerzustands-Bestimmungseinrichtung 406 und die Insassenzustands-Bestimmungseinrichtung 407 Wachheitsgrade des Fahrers und des Insassen bestimmen, und zwar auf der Basis der Feststellungsresultate, ob der Fahrer und der Insasse zur Seite blicken und ob der Fahrer und der Insasse ohne die gebotene Aufmerksamkeit nach vorn blicken, da sie z.B. müde sind oder schlafen.
In Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen kann die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 optimal steuern. Bei einer exemplarischen Ausführungsform kann die Bestimmung des jeweiligen Wachheitsgrads auf der Basis eines Müdigkeitsniveaus oder eines Gesundheitsproblems im Zusammenhang mit einer Erkrankung erfolgen.

Bei einer speziellen, jedoch nicht einschränkenden Ausführungsform kann die HUD-Steuerung 414 zwischen einer Vielzahl von Anzeigen in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen umschalten, wobei Details hiervon nachfolgend noch beschrieben werden. Die HUD-Einrichtung 500 kann hierdurch eine einzige Anzeige zum Fahrer hin oder sowohl zum Fahrer als auch zum Insassen hin bereitstellen oder kann zwei Anzeigen zum Fahrer und zu dem Insassen hin in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen bereitstellen. Auf diese Weise kann Sicherheit selbst dann gewährleistet werden, wenn ein Wachheitsgrad des Fahrers vermindert ist, ohne dass der Insasse dabei durch die Anzeige gestört wird. Tabelle 1

FAHRER/INSASSE	WACH	WACHHEITSGRAD IST VERMINDERT	NICHT WACH
WACH	ANZEIGE ZUM FAHRER	ANZEIGE ZUM FAHRER	ANZEIGE ZUM FAHRER
WACHHEITSGRAD IST VERMINDERT	ANZEIGE IM MITTELBEREICH ZWISCHEN FAHRER UND INSASSEN	ANZEIGE ZUM FAHRER	ANZEIGE ZUM FAHRER
NICHT WACH	ANZEIGEN ZUM FAHRER UND ZUM INSASSEN	ANZEIGEN ZUM FAHRER UND ZUM INSASSEN	ANZEIGEN ZUM FAHRER UND ZUM INSASSEN

Für die Bestimmung, ob der Fahrer zur Seite blickt und ob eine Möglichkeit besteht, dass der Fahrer nicht mit der gebotenen Aufmerksamkeit nach vorn blickt, da er z.B. müde ist oder schläft, kann die Fahrerzustands-Bestimmungseinrichtung 406 den Wachheitsgrad des Fahrers unter Verwendung von Schwellenwerten in drei Zustände einteilen, wie dies in der Tabelle 1 veranschaulicht ist.
Gleichermaßen kann für die Bestimmung, ob der Insasse zur Seite blickt oder ob eine Möglichkeit besteht, dass der Insasse nicht mit der gebotenen Aufmerksamkeit nach vorn blickt, da er z.B. müde ist oder schläft, die Insassenzustands-Bestimmungseinrichtung 407 den Wachheitsgrad des Insassen unter Verwendung von Schwellenwerten in drei Zustände einteilen, wie dies in der Tabelle 1 veranschaulicht ist. In der Tabelle 1 ist in der Spalte ganz links der Wachheitsgrad des Fahrers dargestellt.
Die Fahrerzustands-Bestimmungseinrichtung 406 kann zwei Schwellenwerte für die Bestimmung verwenden und den Wachheitsgrad in drei Zustände einteilen, d.h. einen Zustand, in dem der Fahrer wach ist (mit „WACH“ bezeichnet), einen Zustand, in dem der Wachheitsgrad des Fahrers vermindert ist (mit „WACHHEITSGRAD IST VERMINDERT“ bezeichnet), sowie einen Zustand, in dem der Fahrer nicht wach ist (mit „NICHT WACH“ bezeichnet). Der Zustand, in dem der Fahrer nicht wach ist, kann alternativ als Zustand definiert werden, in dem der Wachheitsgrad des Fahrers stark vermindert ist. In der Tabelle 1 ist in der obersten Zeile der Wachheitsgrad des Insassen dargestellt.
Die Insassenzustands-Bestimmungseinrichtung 407 kann zwei Schwellenwerte für die Bestimmung verwenden und den Wachheitsgrad in drei Zustände einteilen, d.h. einen Zustand, in dem der Insasse wach ist (mit „WACH“ bezeichnet), einen Zustand, in dem der Wachheitsgrad des Insassen vermindert ist (mit „WACHHEITSGRAD IST VERMINDERT“ bezeichnet), sowie einen Zustand, in dem der Insasse nicht wach ist (mit „NICHT WACH“ bezeichnet). Der Zustand, in dem der Insasse nicht wach ist, kann alternativ als Zustand definiert werden, in dem der Wachheitsgrad des Insassen stark vermindert ist.
Auf der Basis der vorstehend genannten Wachheitsgrade in der Tabelle 1 kann die HUD-Steuerung 414 zwischen der Vielzahl von Anzeigen umschalten. Bei einer exemplarischen Ausführungsform kann eine Anzeige auf der Frontscheibe vor dem Fahrer oder in dem Mittelbereich zwischen dem Fahrer und dem Beifahrersitz bereitgestellt werden, oder es können zwei Anzeigen auf der Fensterscheibe vor dem Fahrersitz und dem Beifahrersitz bereitgestellt werden.
Durch ein Umschalten zwischen diesen Anzeigen kann eine beliebige Anzeige von „ANZEIGE ZUM FAHRER“, „ANZEIGE IM MITTELBEREICH ZWISCHEN FAHRER UND INSASSEN“ und „ANZEIGEN ZUM FAHRER UND ZUM INSASSEN“ in der Tabelle 1 ausgewählt werden.
Die 7 bis 9 zeigen jeweils eine schematische Darstellung zur Erläuterung eines Beispiels für eine Anzeige, die in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen bereitgestellt wird. 7 zeigt eine schematische Darstellung eines Beispiels für eine Anzeige zum Fahrer hin. Bei einer exemplarischen Ausführungsform, wie sie in 7 dargestellt ist, kann die HUD-Einrichtung 500 eine Warnung „LOOK AHEAD CAREFULLY“ bzw. „SCHAUEN SIE AUFMERKSAM NACH VORN“ auf einer Frontscheibe 802 vor dem Fahrer anzeigen. 8 zeigt eine schematische Darstellung zur Erläuterung eines Beispiels einer Anzeige an einer Stelle, an der diese sowohl für den Fahrer als auch für den Insassen leicht sichtbar ist.
Bei einer exemplarischen Ausführungsform, wie sie in 8 dargestellt ist, kann die HUD-Einrichtung 500 die Warnmitteilung auf der Frontscheibe 808 in dem Mittelbereich zwischen dem Fahrer und dem Insassen anzeigen. 9 zeigt eine schematische Darstellung zur Erläuterung eines Beispiels für Anzeigen zu einem Fahrer und zu einem Insassen hin. Bei der exemplarischen Ausführungsform, wie sie in 9 dargestellt ist, kann die HUD-Einrichtung 500 Warnmitteilungen auf der Frontscheibe 802 vor dem Fahrer und vor dem Insassen anzeigen.
Wie aus der Tabelle 1 ersichtlich ist, kann dann, wenn der Wachheitsgrad des Fahrers hoch genug ist, damit der Fahrer das Fahrzeug in aufmerksamer Weise fahren kann, die HUD-Einrichtung 500 eine Anzeige zum Fahrer hin bereitstellen. Wenn in diesem Fall der Wachheitsgrad des Insassen vermindert ist, kann die HUD-Einrichtung 500 eine zwangsweise Erhöhung des Wachheitsgrads des Insassen vermeiden, mit anderen Worten ein zwangsweises Aufwecken des Insassen in einem müden Zustand vermeiden und eine Anzeige zum Fahrer hin bereitstellen.
Wenn der Wachheitsgrad des Fahrers z.B. aufgrund einer Bewusstlosigkeit stark vermindert ist, kann die HUD-Einrichtung 500 Anzeigen zum Fahrer und zum Insassen hin bereitstellen, die den Insassen dazu auffordern, die Tätigkeit des Fahrers zu unterstützen oder Vorkehrungen zur Gewährleistung der Sicherheit zu treffen.
Die Gesichtsorientierung der Zielperson oder eine Blickrichtung derselben können berücksichtigt werden, anstatt einfach die Warnmitteilung in einer vorbestimmten vorderen Position anzuzeigen. Wenn die Warnmitteilung auf der Frontscheibe 802 angezeigt wird, wird diese Warnmitteilung normalerweise in Abhängigkeit von einer Krümmung der Frontscheibe bzw. Windschutzscheibe 802 verzerrt.
Daher können bei einer exemplarischen Ausführungsform die Verzerrung der Warnmitteilung oder die Verzerrungen der Warnmitteilungen in Abhängigkeit von den Wachheitsgraden korrigiert werden. Auf diese Weise kann die Anzeige für einen von dem Fahrersitz und dem Beifahrersitz eingestellt und zugeschnitten werden, oder aber die Anzeigen können sowohl für den Fahrersitz als auch für den Beifahrersitz eingestellt und zugeschnitten werden.
Die 10 bis 12 zeigen jeweils eine schematische Darstellung eines Beispiels für die Art und Weise, in der die Verzerrung der Warnmitteilung in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen korrigiert wird. Die Verzerrungskorrektur kann von dem Verzerrungskorrektur-Prozessor 410 vorgenommen werden.
10 zeigt eine schematische Darstellung eines Beispiels für die Art und Weise, in der die Verzerrungskorrektur für den Fahrer erfolgt. Bei einer exemplarischen Ausführungsform, wie sie in 10 gezeigt ist, kann die Mitteilung in Vertikalrichtung nach links vergrößert werden, d.h. die Höhe auf der rechten Seite der Anzeige kann kleiner vorgegeben werden als die Höhe auf der linken Seite der Anzeige.
Wenn der Fahrer diese Mitteilung betrachtet, können alle Buchstaben in der Mitteilung so wahrgenommen werden, als hätten sie die gleiche Höhe. 11 zeigt eine schematische Darstellung eines Beispiels für die Art und Weise, in der die Verzerrungskorrektur sowohl für einen Fahrer als auch für einen Insassen erfolgt. Bei einer exemplarischen Ausführungsform, wie sie in 11 dargestellt ist, kann die Mitteilung eine gleichmäßige Höhe aufweisen, d.h. die rechte und die linke Seite der Anzeige können die gleiche Höhe aufweisen.
12 zeigt eine schematische Darstellung eines Beispiels für die Art und Weise, in der eine Verzerrungskorrektur für den Insassen erfolgt. Bei einer exemplarischen Ausführungsform, wie sie in 12 dargestellt ist, kann die Mitteilung in Vertikalrichtung nach rechts vergrößert werden, d.h. die Höhe auf der linken Seite der Anzeige kann kleiner vorgegeben werden als die Höhe auf der rechten Seite der Anzeige. Wenn der Insasse diese Mitteilung betrachtet, können alle Buchstaben in der Mitteilung so wahrgenommen werden, als hätten sie die gleiche Höhe.
Die 14 und 15 zeigen schematische Darstellungen zur Erläuterung eines Beispiels einer Anzeige, deren Formgebung in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen geändert wird. 14 zeigt schematisch ein Beispiel einer Anzeige, deren Formgebung für den Fahrer geändert wird. Bei einer exemplarischen Ausführungsform, wie sie in 14 dargestellt ist, können Buchstaben in der Anzeige in der Vertikalrichtung nach links vergrößert werden, d.h. die Größen der Buchstaben auf der rechten Seite der Anzeige können kleiner vorgegeben werden als die Größen der Buchstaben auf der linken Seite der Anzeige.
Wenn der Fahrer diese Anzeige betrachtet, kann die Anzeige als zum Fahrer hin orientiert wahrgenommen werden. 15 zeigt eine schematische Darstellung eines Beispiels einer Anzeige, deren Form für den Insassen geändert wird. Bei einer exemplarischen Ausführungsform, wie sie in 15 dargestellt ist, können Buchstaben in einer Anzeige in Vertikalrichtung nach rechts vergrößert werden, d.h. die Größen der Buchstaben auf der linken Seite der Anzeige können kleiner vorgegeben werden als die Größen der Buchstaben auf der rechten Seite der Anzeige. Wenn der Insasse diese Anzeige betrachtet, kann die Anzeige als zum Insassen hin orientiert wahrgenommen werden.
Als nächstes wird unter Bezugnahme auf ein Ablaufdiagramm der 13 ein Beispiel eines Prozesses beschrieben, der von dem Fahrzeugsystem 1000 gemäß einer Ausführungsform ausgeführt wird. Der Prozess der 13 wird von den Komponenten der Steuerung 400 ausgeführt und wird während vorbestimmter Steuerungsperioden wiederholt. In einem Schritt S10 kann die Fahrerinformations-Ermittlungseinheit 404 Fahrerinformation ermitteln, und die Fahrerzustands-Bestimmungseinrichtung 406 kann feststellen, ob der Wachheitsgrad des Fahrers vermindert ist.
Wenn die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung trifft, dass der Wachheitsgrad des Fahrers vermindert ist (Schritt S10: JA), kann der Ablauf mit einem Schritt S12 fortfahren. In dem Schritt S12 kann die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung treffen, ob der Wachheitsgrad des Fahrers stark vermindert ist.
Wenn die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung trifft, dass der Wachheitsgrad des Fahrers stark vermindert ist (Schritt S12: JA), kann der Ablauf mit einem Schritt S14 fortfahren. Diese Situation kann dem Zustand in der Tabelle 1 entsprechen, in dem der Fahrer nicht wach ist (mit „NICHT WACH“ bezeichnet). In dem Schritt S14 kann somit die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 zur Bereitstellung von Anzeigen zum Fahrer und zum Insassen hin steuern, wie dies in 9 dargestellt ist.
Durch die Bereitstellung der Anzeigen in dieser Weise kann der Insasse dazu aufgefordert werden, die Tätigkeit des Fahrers zu unterstützen oder Vorkehrungen zur Gewährleistung der Sicherheit zu treffen. Wenn die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung trifft, dass der Wachheitsgrad des Fahrers in dem Schritt S10 nicht vermindert ist (Schritt S10: NEIN), kann die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 zum Bereitstellen einer Anzeige zum Fahrer hin steuern, wie dies in 7 gezeigt ist.
Wenn die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung trifft, dass der Wachheitsgrad des Fahrers in dem Schritt S12 nicht stark vermindert ist (Schritt S12: NEIN), kann der Ablauf mit einem Schritt S16 fortfahren. In dem Schritt S16 kann die Insasseninformations-Ermittlungseinheit 405 Insasseninformation ermitteln, und die Insassenzustands-Bestimmungseinrichtung 407 kann die Feststellung treffen, ob der Wachheitsgrad des Insassen vermindert ist.
Wenn die Insassenzustands-Bestimmungseinrichtung 407 die Feststellung trifft, dass der Wachheitsgrad des Insassen vermindert ist (Schritt S16: JA), kann der Ablauf mit einem Schritt S18 fortfahren. Diese Situation kann dem Zustand entsprechen, in dem der Wachheitsgrad des Fahrers vermindert ist (bezeichnet mit „WACHHEITSGRAD IST VERMINDERT“), oder kann einem von dem Zustand, in dem der Wachheitsgrad des Insassen vermindert ist (bezeichnet mit „WACHHEITSGRAD IST VERMINDERT“), sowie dem Zustand, in dem der Insasse nicht wach ist (bezeichnet mit „NICHT WACH“), in der Tabelle 1 entsprechen.
In dem Schritt S18 kann somit die HUD-Steuerung 414 den Anzeigevorgang der HUD-Einrichtung 500 zum Bereitstellen einer Anzeige zum Fahrer hin steuern, wie dies in 7 gezeigt ist. In diesem Fall kann die HUD-Einrichtung 500 die Anzeige zum Fahrer hin bereitstellen, um den Fahrer aufzurütteln, da der Wachheitsgrad des Insassen vermindert sein kann. Optional können die Lautsprecher 600 den Warnton abgegeben und können die Sitzvibratoren 700 die Sitze in Schwingungen versetzen.
Wenn die Insassenzustands-Bestimmungseinrichtung 407 in dem Schritt S16 die Feststellung trifft, dass der Wachheitsgrad des Insassen nicht vermindert ist (Schritt S16: NEIN), kann der Ablauf mit einem Schritt S20 fortfahren. Diese Situation kann dem Zustand, in dem der Wachheitsgrad des Fahrers vermindert ist (bezeichnet mit „WACHHEITSGRAD IST VERMINDERT“) sowie dem Zustand, in dem der Insasse wach ist (bezeichnet mit „WACH“), in der Tabelle 1 entsprechen.
In dem Schritt S20 kann die HUD-Steuerung 414 somit den Anzeigevorgang der HUD-Einrichtung 500 zum Bereitstellen einer Anzeige in dem Mittelbereich zwischen dem Fahrer und dem Insassen veranlassen, wie dies in 8 dargestellt ist. Durch Bereitstellen der Anzeige in dieser Weise wird es möglich, sowohl den Fahrer als auch den Insassen aufzurütteln. Optional können die Lautsprecher 600 den Warnton abgegeben, und es können die Sitzvibratoren 700 die Sitze in Schwingung versetzen.
Nach der Ausführung des Schrittes S14, S18 oder S20 kann der Ablauf mit einem Schritt S22 fortfahren. In dem Schritt S22 kann die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung treffen, ob der Wachheitsgrad des Fahrers auf ein normales Niveau zurückgekehrt ist. Wenn die Fahrerzustands-Bestimmungseinrichtung 406 feststellt, dass der Wachheitsgrad des Fahrers auf das normale Niveau zurückgekehrt ist (Schritt S22: JA), kann der Ablauf mit einem Schritt S24 fortfahren.
In dem Schritt S24 kann die HUD-Einrichtung 500 die Anzeige löschen, und der Prozess in der aktuellen Steuerungsperiode kann abgeschlossen werden (ENDE). Wenn die Fahrerzustands-Bestimmungseinrichtung 406 die Feststellung trifft, dass der Wachheitsgrad des Fahrers nicht auf das normale Niveau zurückgekehrt ist (Schritt S22: NEIN), kann die HUD-Einrichtung 500 die Anzeige beibehalten, und der Prozess in der aktuellen Steuerungsperiode kann abgeschlossen werden (ENDE).
Gemäß einer Ausführungsform, wie sie vorstehend beschrieben ist, ist das Fahrzeugsystem 1000 in der Lage, den Anzeigevorgang der Anzeigeeinrichtung in Abhängigkeit von den Wachheitsgraden des Fahrers und des Insassen optimal zu steuern.
Die in 1 dargestellte Steuerung 400 kann mittels Schaltungseinrichtungen implementiert werden, die mindestens eine integrierte Halbleiterschaltung, wie z.B. mindestens einen Prozessor (z.B. eine zentrale Verarbeitungseinheit (CPU)), mindestens eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder mindestens eine feldprogrammierbare Gate-Anordnung (FPGA) beinhalten.
Mindestens ein Prozessor kann durch Lesen von Anweisungen von mindestens einem maschinenlesbaren, nichtflüchtigen, greifbaren Medium zum Ausführen von allen oder einem Teil der Funktionen der Steuerung 400 konfiguriert werden. Ein solches Medium kann in zahlreichen Formen vorliegen, die einen beliebigen Typ eines magnetischen Mediums, wie z.B. eine Festplatte, einen beliebigen Typ eines optischen Mediums, wie z.B. eine CD und eine DVD, einen beliebigen Typ eines Halbleiterspeichers (d.h. eine Halbleiterschaltung), wie z.B. einen flüchtigen Speicher und einen nichtflüchtigen Speicher, beinhalten.
Der flüchtige Speicher kann einen DRAM und einen SRAM beinhalten, und der nichtflüchtige Speicher kann einen ROM und einen NVRAM beinhalten. Bei dem ASIC handelt es sich um eine kundenspezifische integrierte Schaltung (IC) und bei dem FPGA um eine für die Konfiguration nach der Herstellung ausgebildete integrierte Schaltung zum Ausführen von allen oder einem Teil der Funktionen der in 1 dargestellten Steuerung 400.
Vorstehend sind zwar einige Ausführungsformen der Erfindung unter Bezugnahme auf die Begleitzeichnungen beschrieben worden, jedoch ist die Erfindung keineswegs auf die vorstehend beschriebenen Ausführungsformen beschränkt. Es versteht sich, dass Modifikationen und Änderungen von Fachleuten ausgeführt werden können, ohne dass man den Umfang verlässt, wie er durch die beigefügten Ansprüche definiert ist. Die Erfindung soll solche Modifikationen und Änderungen insofern mit umfassen, als diese im Umfang der beigefügten Ansprüche oder deren Äquivalenten liegen.
Bezugszeichenliste

10: Gesichtsbereich
20: Detektionsresultat
22: vorderer Bereich
24: seitlicher Bereich
30: X-Markierung
100: Fahrzeug-Außensensor
200: Fahrersensor
210: Insassensensor
300: Sitzsensor
400: Steuerung
402: Umgebungsinformations-Ermittlungseinheit
404: Fahrerinformations-Ermittlungseinheit
405: Insasseninformations-Ermittlungseinheit
406: Fahrerzustands-Bestimmungseinrichtung
407: Insassenzustands-Bestimmungseinrichtung
408: Umgebungszustands-Bestimmungseinrichtung
410: Verzerrungskorrektur-Prozessor
414: HUD-Steuerung
500: HUD-Einrichtung
510: selbstleuchtende Zwischenlagenschicht
520: Glas-Flächenkörper
530: Projektor
600: Lautsprecher
700: Sitzvibrator
800: Fahrzeug
802: Frontscheibe
1000: Fahrzeugsystem
D1: Distanz
D2: Distanz

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004318266 A [0002, 0004, 0011]

Zitierte Nicht-Patentliteratur

Yuto Maruyama und Atsuko Matsuoka in Oki Technical Review, Ausgabe 220, Bd. 79, Nr. 2, November 2012 [0003]

Claims

Fahrzeug-Displaysystem (1000), das Folgendes aufweist: - eine Anzeigeeinrichtung (500), die dazu ausgebildet ist, eine Anzeige auf einem Fenster eines Fahrzeugs bereitzustellen; - eine Bestimmungseinrichtung (406, 407), die dazu ausgebildet ist, Wachheitsgrade eines Fahrers und eines Insassen des Fahrzeugs festzustellen; und - eine Anzeigesteuerung (404), die dazu ausgebildet ist, den Anzeigevorgang der Anzeigeeinrichtung (500) zu steuern sowie die von der Anzeigeeinrichtung (500) bereitgestellte Anzeige in Abhängigkeit von den von der Bestimmungseinrichtung (406, 407) festgestellten Wachheitsgraden des Fahrers und des Insassen zu ändern.
Fahrzeug-Displaysystem (1000) nach Anspruch 1, wobei dann, wenn die Bestimmungseinrichtung (406, 407) die Feststellung trifft, dass der Wachheitsgrad des Fahrers nicht vermindert ist, die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass auf dem Fenster die Anzeige zum Fahrer hin bereitgestellt wird.
Fahrzeug-Displaysystem (1000) nach Anspruch 1, wobei dann, wenn die Bestimmungseinrichtung (406, 407) die Feststellung trifft, dass die Wachheitsgrade des Fahrers und des Insassen vermindert sind, die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass auf dem Fenster die Anzeige zum Fahrer hin bereitgestellt wird.
Fahrzeug-Displaysystem (1000) nach Anspruch 2 oder 3, wobei die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass die Anzeige auf dem Fenster vor dem Fahrer bereitgestellt wird.
Fahrzeug-Displaysystem (1000) nach Anspruch 2 oder 3, das weiterhin einen Verzerrungskorrektur-Prozessor aufweist, der dazu ausgebildet ist, eine Verzerrung des von der Anzeigeeinrichtung (500) angezeigten Bilds zu korrigieren, wobei die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass die Anzeige auf dem Fenster in einem Mittelbereich zwischen dem Fahrer und dem Insassen bereitgestellt wird, und wobei der Verzerrungskorrektur-Prozessor (410) die Verzerrung der Anzeige für den Fahrer korrigiert.
Fahrzeug-Displaysystem (1000) nach Anspruch 1, wobei dann, wenn die Bestimmungseinrichtung (406, 407) die Feststellung trifft, dass der Wachheitsgrad des Fahrers vermindert ist, jedoch der Wachheitsgrad des Insassen nicht vermindert ist, die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass die Anzeige auf dem Fenster in einem Mittelbereich zwischen dem Fahrer und dem Insassen bereitgestellt wird.
Fahrzeug-Displaysystem (1000) nach Anspruch 6, das ferner einen Verzerrungskorrektur-Prozessor (410) aufweist, der zum Korrigieren der Verzerrung eines von der Anzeigeeinrichtung (500) angezeigten Bilds ausgebildet ist, wobei der Verzerrungskorrektur-Prozessor (410) die Verzerrung der Anzeige für den Insassen korrigiert.
Fahrzeug-Displaysystem (1000) nach Anspruch 1, wobei dann, wenn die Bestimmungseinrichtung (406, 407) die Feststellung trifft, dass der Fahrer nicht wach ist, die Anzeigesteuerung (404) den Anzeigevorgang der Anzeigeeinrichtung (500) derart steuert, dass die Anzeige auf dem Fenster vor jedem von dem Fahrer und dem Insassen bereitgestellt wird.
Fahrzeug-Displaysystem (1000) nach einem der Ansprüche 1 bis 8, das weiterhin Folgendes aufweist: - eine Kamera (200), die zum Aufnehmen von Bildern von Zuständen des Fahrers und des Insassen ausgebildet ist; und - eine Bildinformations-Ermittlungseinheit (404, 405), die dazu ausgebildet ist, Information über die Bilder des Fahrers und des Insassen von der Kamera (200) zu ermitteln, wobei die Bestimmungseinrichtung (406, 407) die Wachheitsgrade des Fahrers und des Insassen auf der Basis der Information über die Bilder feststellt.
Verfahren zur Steuerung eines Fahrzeug-Displaysystems (1000), wobei das Verfahren folgende Schritte aufweist: - Feststellen von Wachheitsgraden eines Fahrers und eines Insassen, die in einem Fahrzeug fahren, wobei das Fahrzeug ein Fenster und eine Anzeigeeinrichtung (500) aufweist, die eine Anzeige auf dem Fenster bereitstellt; und - Ändern der von der Anzeigeeinrichtung (500) bereitgestellten Anzeige in Abhängigkeit von den festgestellten Wachheitsgraden des Fahrers und des Insassen.