DE112013001472T5

DE112013001472T5 - Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren

Info

Publication number: DE112013001472T5
Application number: DE112013001472.6T
Authority: DE
Inventors: c/o DENSO CORPORATION Inada Junya; c/o DENSO CORPORATION Enya Takeshi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-03-14
Filing date: 2013-03-08
Publication date: 2014-12-04
Also published as: JP2013218671A; US20150010207A1; JP5630518B2; US9317759B2; WO2013136740A1; KR101562877B1; CN104169993B; CN104169993A; KR20140126401A

Abstract

Eine Fahrunterstützungsvorrichtung beinhaltet: eine Gesichtsbildaufnahmeeinrichtung (S10, S810), die ein Gesichtsbild eines Fahrers eines Fahrzeugs aufnimmt; eine Blicklinienrichtungserfassungseinrichtung (S30, S820), die eine Blicklinienrichtung des Fahrers erfasst; eine Blickregionfestlegungseinrichtung (S90, S860, S890, S920, S950, S980, S1010, S1040), die eine Blickregion, auf die der Fahrer blickt, festlegt; eine Anzeigeeinrichtung (7); eine Blicklinienbewegungsbestimmungseinrichtung (S40, S830), die bestimmt, ob eine Bewegung zum Bewegen der Blicklinie des Fahrers mit einer vorbestimmten Anzeigestartanweisungsbewegung zusammenpasst; und eine Anzeigestarteinrichtung (S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200), die die Anzeigeeinrichtung zum Starten einer Anzeige von Anzeigeinformation eines Inhalts, der gemäß der Blickregion vorbestimmt ist, wenn die Bewegung zum Bewegen der Blicklinie des Fahrers mit der Anzeigestartanweisungsbewegungsübereinstimmung zusammenpasst, anweist.

Description

[Querverweis auf verwandte Anmeldung]
Diese Anmeldung basiert auf den Japanischen Patentanmeldungen mit der Nummer 2012-57561 eingereicht am 14, März, 2012 und mit der Nummer 2013-41039 eingereicht am 1. März 2013 auf deren Offenbarungen vollinhaltlich Bezug genommen wird.
[Technisches Gebiet]

betrifft eine Fahrunterstützungsvorrichtung und ein Fahrunterstützungsverfahren zum Anzeigen eines Bilds zum Unterstützen des Fahrers eines Fahrzeugs.

[Stand der Technik]
Es gibt eine bekannte Fahrunterstützungsvorrichtung, die den Fahrer durch Erfassen der Blicklinie des Fahrers eines Fahrzeugs, Aufnehmen eines Bilds eines Blickobjekts auf das der Fahrer seinen Blick richtet auf der Basis der Richtung der erfassten Blicklinie und Vergrößern und Anzeigen des aufgenommenen Bilds auf einem Anzeigebildschirm, der vor dem Fahrer vorgesehen ist, unterstützt (vgl. beispielsweise Patentliteratur 1).
Die Fahrunterstützungsvorrichtung, die in der Patentliteratur 1 beschrieben ist, hat jedoch ein derartiges Problem, dass das Blickobjekt auch in dem Fall nutzlos vergrößert angezeigt wird, in dem der Fahrer auf die Szenerie vor dem Fahrzeug blickt, obwohl er keine vergrößerte Anzeige des Blickobjekts wünscht.
(Stand der Technik Literatur)
[Patentliteratur]
[Patentliteratur 1]

JP-A-2009-43003

[Überblick über die Erfindung]
Es ist eine Aufgabe der vorliegenden Offenbarung, eine Fahrunterstützungsvorrichtung und ein Fahrunterstützungsverfahren bereitzustellen, die ein Bild zum Unterstützen des Fahrers eines Fahrzeugs anzeigen. In der Fahrunterstützungsvorrichtung und dem Fahrunterstützungsverfahren, wenn der Fahrer Anzeige eines Blickobjekts wünscht, auf das der Fahrer blickt, kann die Anzeige angemessen ausgeführt werden.
Gemäß einem ersten Aspekt der vorliegenden Offenbarung, beinhaltet eine Fahrunterstützungsvorrichtung: eine Gesichtsbildaufnahmeeinrichtung (S10, S810), die sukzessive ein Gesicht eines Fahrers eines Fahrzeugs zum Aufnehmen eines Gesichtsbilds abbildet; eine Blicklinienrichtungserfassungseinrichtung (S30, S820), die eine Blicklinienrichtung des Fahrers durch Verwenden des Gesichtsbilds, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, erfasst; eine Blickregionfestlegungseinrichtung (S90, S860, S890, S920, S950, S980, S1010, S1040), die eine Blickregion, auf die der Fahrer blickt, basierend auf der Blicklinienrichtung, die durch die Blicklinienrichtungserfassungseinrichtung erfasst wird, festlegt; eine Anzeigeeinrichtung (7) mit einem Anzeigbildschirm, der sich an einer Position befindet, bei der der Fahrer den Anzeigebildschirm visuell erkennt; eine Blicklinienbewegungsbestimmungseinrichtung (S40, S830), die bestimmt, ob eine Bewegung zum Bewegen der Blicklinie des Fahrers mit einer Anzeigestartanweisungsbewegung zusammenpasst, die vorhergehend zum Anweisen eines Starts einer Anzeige durch die Anzeigeeinrichtung festgelegt wird, basierend auf einem Erfassungsergebnis durch die Blicklinienrichtungserfassungseinrichtung; und eine Anzeigestarteinrichtung (S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200), die die Anzeigeeinrichtung zum Starten einer Anzeige von Anzeigeinformationen eines Inhalts steuert, der vorhergehend gemäß der Blickregion festgelegt wird, die durch die Blickregionfestlegungseinrichtung festgelegt wird, in einem Fall, in dem die Blicklinienbewegungsbestimmungseinrichtung bestimmt, dass die Bewegung zum Bewegen der Blicklinie des Fahrers mit der Anzeigestartanweisungsbewegungsübereinstimmung zusammenpasst.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wenn der Fahrer eine Bewegung zum Bewegen der Blicklinie ausführt, so dass die Bewegung mit der Anzeigestartanweisungsbewegung übereinstimmt, werden Anzeigeinformation eines Inhalts, der vorab gemäß einer Blickregion festgelegt wird, auf die der Fahrer blickt, in dem Anzeigbildschirm angezeigt, der sich in der Position befindet, bei der der Bildschirm visuell durch den Fahrer erkannt werden kann. Das heißt, zum Anzeigen der Anzeigeinformation eines Inhalts gemäß der Blickregion, muss der Fahrer auf eine bestimmte Region blicken und bewegt ferner nach dem Blick die Blicklinie, so dass die Bewegung mit der Anzeigestartanweisungsbewegung übereinstimmt, die vorab festgelegt ist. Demzufolge, in dem Fall, in dem der Fahrer einfach auf eine bestimmte Region blickt, wird diese Region nicht in dem Anzeigbildschirm angezeigt. Wenn der Fahrer Anzeige von Anzeigeinformationen eines Inhalts gemäß der Region wünscht, auf die er blickt, kann die Anzeige angemessen ausgeführt werden.
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung beinhaltet ein Fahrunterstützungsverfahren: sukzessives Abbilden eines Gesichts eines Fahrers eines Fahrzeugs zum Aufnehmen eines Gesichtsbilds (S10, S810);
Erfassen einer Blicklinienrichtung des Fahrers durch Verwendung des Gesichtsbilds (S30, S820);
Festlegen einer Blickregion, auf die der Fahrer blickt, basierend auf der Blicklinienrichtung (S90, S860, S890, S920, S950, S980, S1010, S1040);
Bestimmen basierend auf einem Erfassungsergebnis, wenn die Blicklinienrichtung erfasst wird, ob eine Bewegung zum Bewegen der Blicklinie des Fahrers mit einer Anzeigestartanweisungsbewegung zusammenpasst, die vorab festgelegt wird, um einen Start einer Anzeige anzuweisen (S40, S830); und
Anzeigen von Anzeigeinformationen eines Inhalts, der vorab gemäß der Blickregion festgelegt wird, auf einem Anzeigbildschirm, der an einer Position angeordnet ist, bei der der Fahrer den Anzeigebildschirm visuell erkennt, in einem Fall, in dem die Bewegung zum Bewegen der Blicklinie des Fahrers mit der Anzeigestartanweisungsbewegungsübereinstimmung zusammenpasst (S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200).
In dem Fahrunterstützungsverfahren, wenn der Fahrer eine Bewegung zum Bewegen der Blicklinie ausführt, so dass die Bewegung mit der Anzeigestartanweisungsbewegung übereinstimmt, werden Anzeigeinformation eines Inhalts, der vorab gemäß einer Blickregion festgelegt wird, auf das der Fahrer blickt in dem Anzeigbildschirm angezeigt, der sich an der Position befindet, bei der der Bildschirm visuell durch den Fahrer erkannt werden kann. Das heißt, zum Anzeigen der Anzeigeinformation eines Inhalts gemäß der Blickregion, muss der Fahrer auf eine bestimmte Region blicken und bewegt nach dem Blick die Blicklinie, so dass die Bewegung mit der Anzeigestartanweisungsbewegung übereinstimmt, die vorab festgelegt ist. Demzufolge in dem Fall, in dem der Fahrer einfach auf eine bestimmte Region blickt, wird diese Region nicht in dem Anzeigbildschirm angezeigt., wenn der Fahrer Anzeigen von Anzeigeinformation eines Inhalts gemäß der Region wünscht, auf die der Fahrer blickt, kann die Anzeige angemessen ausgeführt werden.
[Kurzbeschreibung der Zeichnungen]
Die vorstehenden und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen ersichtlicher. In den Zeichnungen:
1 ist ein Blockschaltbild, das eine schematische Konfiguration einer Fahrunterstützungsvorrichtung illustriert;
2 ist ein Diagramm, das eine Anordnung einer Anzeigbildschirmregion in einer Windschutzscheibe illustriert;
3 ist ein Ablaufdiagramm, das eine Anzeigeverarbeitung einer ersten Ausführungsform illustriert;
4 ist ein Diagramm, das eine Blickregion in Frontszeneriebilddaten illustriert;
5 ist ein Ablaufdiagramm, das eine Anzeigeverarbeitung einer zweiten Ausführungsform illustriert;
6 ist ein Ablaufdiagramm, das eine Anzeigeeinstellverarbeitung der zweiten Ausführungsform illustriert;
7 ist ein Ablaufdiagramm, das eine Anzeigeverarbeitung einer dritten Ausführungsform illustriert;
8 ist ein Ablaufdiagramm, das eine Anzeigeeinstellverarbeitung der dritten Ausführungsform illustriert;
9 ist ein Ablaufdiagramm, das eine Anzeigeeinstellverarbeitung einer vierten Ausführungsform illustriert;
10 ist ein Diagramm, das Durchlaufen (engl.: scrolling) des Anzeigebilds in der Anzeigbildschirmregion illustriert;
11 ist ein Ablaufdiagramm, das die erste Hälfte der Anzeigeverarbeitung einer fünften Ausführungsform illustriert;
12 ist ein Ablaufdiagramm, das die zweite Hälfte der Anzeigeverarbeitung der fünften Ausführungsform illustriert;
13 ist ein Blockschaltbild, das eine schematische Konfiguration einer Fahrunterstützungsvorrichtung illustriert;
14 ist ein Diagramm, das eine Situation illustriert, wenn vom Innenraum eines Fahrzeugs auf die Front des Fahrzeugs geblickt wird;
15A ist ein Ablaufdiagramm, das die erste Hälfte der Anzeigeverarbeitung einer sechsten Ausführungsform illustriert;
15B ist ein Ablaufdiagramm, das die erste Hälfte der Anzeigeverarbeitung der sechsten Ausführungsform illustriert;
16 ist ein Ablaufdiagramm, das die zweite Hälfte der Anzeigeverarbeitung der sechsten Ausführungsform illustriert;
17A ist ein Ablaufdiagramm, das die erste Hälfte der Anzeigeverarbeitung einer siebten Ausführungsform illustriert; und
17B ist ein Ablaufdiagramm, das die erste Hälfte der Anzeigeverarbeitung der siebten Ausführungsform illustriert.
[Ausführungsformen zum Ausführen der Erfindung]
(Erste Ausführungsform)
Nachfolgend wird eine erste Ausführungsform mit Bezug auf die Zeichnungen erläutert.
Eine Fahrunterstützungsvorrichtung ist an einem Fahrzeug angebracht und hat, wie in 1 illustriert ist, eine Infrarot-LED (IR-LED) 2, Kameras 3 und 5, Bildaufnahmeplatten 4 und 6, eine Head-up-Anzeige-Vorrichtung (nachfolgend genannt HUD-Einrichtung) 7 und eine Steuereinheit 8.
Die Infrarot-LED 2 emittiert Nah-Infrarot-Licht hin zum Gesicht einer Person, die im Fahrersitz eines Fahrzeugs sitzt (nachfolgend Fahrer genannt). Die Kamera 3 ist eine Nah-Infrarot-Kamera und bildet sukzessive das Gesicht des Fahrers ab. Nachfolgend werden Bilddaten, die durch Abbilden durch die Kamera 3 erlangt werden, Gesichtsbilddaten genannt. Die Gesichtsbilddaten, die durch die Kamera 3 erlangt werden, werden temporär in der Bildaufnahmeplatte 4 gespeichert.
Die Kamera 5 nimmt sukzessive Bilder der Szenerie vor dem Fahrzeug (nachfolgend ebenso als Frontszenerie bezeichnet) auf, die visuell durch den Fahrer durch die Windschutzscheibe erkannt werden kann. Nachfolgend werden Bilddaten, die durch Bildgebung der Kamera 5 erlangt werden, Frontszeneriedaten genannt. Die Bildaufnahmeplatte 6 speichert temporär die Frontszeneriedaten, die durch die Kamera 5 erlangt werden.
Die HUD-Einrichtung 7 emittiert Anzeigelicht zum Anzeigen eines Bilds von unterhalb der Windschutzscheibe hin zur Windschutzscheibe. Demzufolge erkennt der Fahrer visuell das projizierte virtuelle Bild, das der echten Szenerie vor dem Fahrzeug überlagert wird. Die HUD-Einrichtung 7 zeigt ein Bild in einer rechteckig geformten Anzeigbildschirmregion DR an, die in einem unteren Teil der Windschutzscheibe vorgesehen ist (vgl. 2).
Die Steuereinheit 8 führt unterschiedliche Verarbeitungen gemäß Eingaben von den Bildaufnahmeplatten 4 und 6 aus und steuert die HUD-Einrichtung 7 durch Verwendung von Bildern, die durch die Kameras 3 und 5 aufgenommen werden. Der Steuereinheit 8 wird ein Erfassungssignal von einem Fahrzeuggeschwindigkeitssensor 9 bereitgestellt, der die Fahrgeschwindigkeit des Fahrzeugs erfasst, an dem die Fahrunterstützungsvorrichtung angebracht ist.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, führt die Steuereinheit 8 eine Anzeigeverarbeitung zum Anzeigen eines Bilds in der Anzeigbildschirmregion DR aus, die auf der Windschutzscheibe vorgesehen ist. Die Anzeigeverarbeitung ist eine Verarbeitung, die wiederholt während der Operation der Fahrunterstützungsvorrichtung ausgeführt wird.
Wenn die Anzeigeverarbeitung ausgeführt wird, wie in 3 dargestellt ist, erlangt die Steuereinheit 8 bei S10 als erstes Gesichtsbilddaten, die nicht durch die Steuereinheit 8 von der Bildaufnahmeplatte 4 erlangt werden, in Gesichtsbilddaten, die durch die Kamera 3 aufgenommen und in der Bildaufnahmeplatte 4 gespeichert sind. Bei S20 erlangt die Steuereinheit 8 Vorwärtsszeneriebilddaten, die nicht aufgenommen durch die Steuereinheit 8 von der Bildaufnahmeplatte 6, in Vorwärtsszeneriebilddaten, die durch die Kamera 5 aufgenommen und in der Bildaufnahmeplatte 6 gespeichert werden.
Bei S30 werden unter Verwendung der Gesichtsbilddaten, die von der Bildaufnahmeplatte 4 erlangt werden, die Gesichtsorientierungsrichtung und die Blicklinienrichtung des Fahrers erfasst. Konkret wird als erstes durch Ausführen von Anpassen der Gesichtsbilddaten, die von der Bildaufnahmeplatte 4 erlangt werden, unter Verwendung eines Gesichtsformmodels, die Gesichtsorientierungsrichtung des Fahrers erfasst. Das Gesichtsformmodell ist ein Verfahren zum Ausdrücken der Form des Gesichts eines menschliches Wesens durch Ausführen einer Berechnung unter Verwendung einer Basisform, die eine Gesichtsfront durch mehrere Dreiecksnetze und n (n ist eine natürliche Zahl) Stücken von Formvektoren ausdrückt, von denen jeder die Gesichtsorientierungsrichtung ausgehend von der Basisform ausdrückt (vgl. beispielsweise, ”Takahiro Ishikawa, Simon Baker, lain Matdiews und Takea Kanade, ”Passive Driver Gaze Tracking mit Active Appearance Models”, Proceedings der 11th World Congress an Intelligent Transportation Systems, October, 2004”). Mit dem vorstehend beschriebenen Anpassen unter Verwendung des Gesichtsformmodels wird durch Extrahieren eines Auges des Fahrers von den Gesichtsbilddaten und Ausführen einer Bilderkennungsverarbeitung (beispielsweise, Musterabgleich) für das extrahierte Auge, die Blicklinienrichtung des Fahrers erfasst.
Danach, wird bei S40 auf der Basis des Erfassungsergebnisses von S30, bestimmt, ob die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist oder nicht. In dem Fall, in dem die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist (JA bei S40), wird bei S50 ein Anzeigeanweisungs-Flag F1 gesetzt und die Routine fährt mit S110 fort. Andererseits, in dem Fall, in dem die Blicklinie des Fahrers nicht auf die Anzeigbildschirmregion DR gerichtet ist (NEIN bei S40), wird bei S60 das Anzeigeanweisungs-Flag F1 gelöscht.
Ferner wird bei S70 bestimmt, ob die Blicklinie des Fahrers zur Außenseite des Fahrzeugs gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S30. In dem Fall, in dem die Blicklinie des Fahrers nicht auf die Außenseite des Fahrzeugs gerichtet ist (NEIN bei S70), wird ein Blick-Flag F2 bei S80 gelöscht und die Routine fährt mit S110 fort.
In dem Fall, in dem die Blicklinie des Fahrers zur Außenseite des Fahrzeugs gerichtet ist (JA bei S70), wird bei S90 eine Blickregion GR, auf die der Fahrer blickt, in den Vorwärtsszeneriebilddaten, auf der Basis des Erfassungsergebnisses von S30 festgelegt. Konkret, wie in 4 illustriert ist, wird ein Blickpunkt GP, auf den der Fahrer blickt, in den Vorwärtsszeneriebilddaten auf der Basis der Richtung der Blicklinie des Fahrers bestimmt und eine vorab festgelegte rechteckige Region, die den Blickpunkt GP als ein Mitte verwendet, wird als die Blickregion GR festgelegt. Danach, wie in 3 illustriert ist, wird das Blick-Flag F2 bei S100 gesetzt und die Routine fährt fort mit S110.
Wenn die Routine mit S110 fortfährt, wird bestimmt ob das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 gesetzt sind oder nicht. In dem Fall, in dem das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 nicht gesetzt sind (NEIN bei S110), ist die Anzeigeverarbeitung einmal beendet. Andererseits, in dem Fall, in dem das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 gesetzt sind (JA bei S110), wird bei S120 bestimmt, ob der Fahrer blinzelt oder nicht auf der Basis der Form des Auges, die in der Verarbeitung von S30 erfasst wird.
In dem Fall, in dem der Fahrer blinzelt (JA bei S120), werden bei S130 die Vorwärtsszeneriebilddaten in der Blickregion GR angezeigt als ein bewegtes Bild in der HUD-Einrichtung 7 angezeigt, bis eine vorab festgelegte Bewegtbildanzeigezeit (beispielsweise fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist und die Anzeigeverarbeitung ist einmal beendet. Andererseits, in dem Fall, in dem der Fahrer nicht blinzelt (NEIN bei S120), werden bei S140 die Vorwärtsszeneriebilddaten in der Blickregion GR zum Zeitpunkt, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, als ein Standbild in der HUD-Einrichtung 7 angezeigt bis eine vorab festgelegte Standbildanzeigezeit (beispielsweise fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist und die Anzeigeverarbeitung ist einmal beendet.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wird als erstes das Gesicht des Fahrers des Fahrzeugs sukzessive abgebildet, um Gesichtsbilddaten zu erlangen, (S10) und die Szenerie vor dem Fahrzeug wird ebenso sukzessive abgebildet, um Vorwärtsszeneriebilddaten zu erlangen (S20). Danach wird unter Verwendung der erlangten Gesichtsbilddaten die Richtung der Blicklinie des Fahrers erfasst (S30) und auf der Basis der erfassten Blicklinienrichtung wird die Blickregion GR, auf die der Fahrer blickt, festgelegt (S90). Die HUD-Einrichtung 7 zeigt die Bilddaten in der Blickregion GR in den erlangten Vorwärtsszeneriebilddaten in der Anzeigbildschirmregion DR an, die sich an einer Position befindet, die der Fahrer visuell erkennen kann.
Auf der Basis des Erfassungsergebnisses der Blicklinienrichtung wird bestimmt, ob der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführt oder nicht (S40). in dem Fall, in dem bestimmt wird, dass der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführt (JA bei S40), wird die Anzeige der Bilddaten in der Blickregion GR gestartet (S50, S110, S130 und S140).
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wenn der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführt, wird der Teil der Blickregion GR in der Umgebung, auf die der Fahrer in der Szenerie vor dem Fahrzeug blickt, in der Anzeigbildschirmregion DR angezeigt, die sich an der Position befindet, die der Fahrer visuell erkennen kann. Das heißt, zum Anzeigen der Blickregion GR in der Anzeigbildschirmregion DR, muss der Fahrer auf eine bestimmte Region vor dem Fahrzeug blicken und nach dem Blick die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführen. Demzufolge wird in dem Fall, in dem der Fahrer auf die Szenerie vor dem Fahrzeug blickt, die Blickregion GR nicht in der Anzeigbildschirmregion DR angezeigt. Anzeige der Blickregion GR kann angemessen ausgeführt werden, wenn es der Fahrer wünscht.
Ob der Fahrer blinzelt oder nicht, wird bestimmt, indem die erlangten Gesichtsbilddaten verwendet werden (S120). In dem Fall, in dem der Fahrer blinzelt (JA bei S120), werden die Bilddaten in der Blickregion GR als ein bewegtes Bild angezeigt (S130). Andererseits, in dem Fall, in dem der Fahrer nicht blinzelt (NEIN bei S120), werden die Bilddaten in der Blickregion GR als ein Standbild angezeigt (S140). Auf diese Weise kann während Fahren des Fahrzeugs ohne Bedienen eines Bedienelements wie beispielsweise eines Knopf oder Schalters die Bewegtbildanzeige und die Standbildanzeige einfach umgeschaltet werden.
In der vorstehend beschriebenen Ausführungsform entspricht die Verarbeitung von S10 einer Gesichtsbildaufnahmeeinrichtung und einer Gesichtsbildaufnahmeprozedur, die Verarbeitung von S30 entspricht einer Blicklinienrichtungserfassungseinrichtung und einer Blicklinienrichtungserfassungsprozedur, die Verarbeitung von S20 entspricht einer Szeneriebildaufnahmeeinrichtung und einer Szeneriebildaufnahmeprozedur, die Verarbeitung von S90 entspricht einer Blickregionfestlegungseinrichtung und einer Blickregionfestlegungsprozedur, die HUD-Einrichtung 7 entspricht einer Anzeigeeinrichtung, die Verarbeitung von S40 entspricht einer Blicklinienbewegungsbestimmungseinrichtung und einer Blicklinienbewegungsbestimmungsverarbeitung, die Verarbeitung von S50 und S110 entspricht einer Anzeigestarteinrichtung und einer Anzeigestartprozedur und die Verarbeitung von S120 entspricht einer Blinzelbestimmungseinrichtung.
(Zweite Ausführungsform)
Nachfolgend wird eine zweite Ausführungsform mit Bezug auf die Zeichnungen erläutert. In der zweiten Ausführungsform, werden nur Teile, die unterschiedlich zur ersten Ausführungsform sind, beschrieben.
Die Fahrunterstützungsvorrichtung der zweiten Ausführungsform ist die gleiche wie die der ersten Ausführungsform mit Ausnahme des Punkts, dass die Anzeigeverarbeitung geändert ist und des Punkts, dass eine Anzeigeeinstellverarbeitung hinzugefügt ist.
Die Anzeigeverarbeitung der zweiten Ausführungsform ist ähnlich zu der der ersten Ausführungsform außer, dass, wie in 5 dargestellt ist, die Verarbeitungen bei S120 bis S140 weggelassen sind und Verarbeitungen bei S210 bis S240 hinzugefügt sind.
Insbesondere in dem Fall, in dem das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 bei S110 gesetzt sind (JA bei S110), wird bei S210 ein bewegtes Objekt, das vor dem Fahrzeug existiert, erfasst. Konkret wird durch Erlangen eines optischen Flusses durch eine Bildverarbeitung unter Verwendung der Vorwärtsszeneriebilddaten eine Region, die sich unabhängig vom Fahrzeug bewegt, extrahiert und die extrahierte Region wird als ein bewegtes Objekt erfasst.
Bei S220 wird, ob ein bewegtes Objekt in der Blickregion GR existiert oder nicht, auf der Basis des Erfassungsergebnisses von S210 bestimmt. In dem Fall, in dem ein bewegtes Objekt in der Blickregion GR existiert (JA bei S220), wird bei S230 durch Anzeigen der Vorwärtsszeneriebilddaten in der Anzeigeregion, die in einer Anzeigeeinstellverarbeitung festgelegt wird, die später beschrieben wird, als ein bewegtes Bild in der HUD-Einrichtung 7 bis eine vorab festgelegte Bewegtbildanzeigezeit (beispielsweise, fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, das bewegte Objekt als ein bewegtes Bild angezeigt und die Anzeigeverarbeitung wird einmal beendet.
Andererseits, in dem Fall, in dem ein bewegtes Objekt nicht in der Blickregion GR existiert (NEIN bei S220), werden bei S240 die Vorwärtsszeneriebilddaten in der Blickregion GR zum Zeitpunkt, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, als ein Standbild in der HUD-Einrichtung 7 angezeigt bis eine vorab festgelegte Standbildanzeigezeit (beispielsweise, fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist und die Anzeigeverarbeitung ist einmal beendet.
Als nächstes ist die Anzeigeeinstellverarbeitung eine Verarbeitung, die wiederholt durch die Steuereinheit 8 während der Operation der Fahrunterstützungsvorrichtung ausgeführt wird.
Wenn die Anzeigeeinstellverarbeitung ausgeführt wird, wie in 6 illustriert ist, bestimmt als erstes bei S260 die Steuereinheit 8, ob oder nicht ein bewegtes Objekt in der Blickregion GR existiert, auf der Basis des Erfassungsergebnisses von S210. In dem Fall, in dem ein bewegtes Objekt nicht in der Blickregion GR existiert (NEIN bei S260), wird die Anzeigeeinstellverarbeitung einmal beendet. Andererseits, in dem Fall, in dem ein bewegtes Objekt in der Blickregion GR existiert (JA bei S260), wird bei S270 eine Anzeigeregion festgelegt, so dass das erfasste bewegte Objekt in der Mitte der Anzeigbildschirmregion DR positioniert ist und die Anzeigeeinstellverarbeitung wird einmal beendet.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wird, ob ein bewegtes Objekt in der Blickregion GR existiert oder nicht, bestimmt, indem die erlangten Vorwärtsszeneriebilddaten verwendet werden (S220). In dem Fall, in dem bestimmt wird, dass ein bewegtes Objekt in der Blickregion GR existiert (JA bei S220), werden die Bilddaten in der Anzeigbildschirmregion DR als ein bewegtes Bild angezeigt (S230). Insbesondere in dem Fall, in dem ein bewegtes Objekt in der Blickregion GR existiert, wird ohne eine Anweisung des Fahrers, die Anzeige automatisch in einem Modus ausgeführt, der angemessen zum Anzeigen des bewegten Objekts ist (das heißt, Bewegtbildanzeige). Demzufolge kann der Fahrer unmittelbar und einfach ein bewegtes Objekt das vor dem Fahrzeug existiert erkennen, indem er den Anzeigebildschirmregion DR sieht.
In dem Fall, in dem bestimmt wird, dass ein bewegtes Objekt in der Blickregion GR existiert (JA bei S260), wird eine Anzeigeregion festgelegt, so dass das bewegte Objekt in der Mitte der Anzeigbildschirmregion DR positioniert ist (S270). Es verhindert, dass das bewegte Objekt nicht in der Anzeigbildschirmregion DR angezeigt wird, da es sich zur Außenseite der Blickregion GR bewegt und das bewegte Objekt an einer zum Anzeigen angemessenen Position des bewegten Objekts angezeigt wird (das heißt, die Mitte der Anzeigbildschirmregion DR). Demzufolge kann der Fahrer unmittelbar und einfach ein bewegtes Objekt, das vor dem Fahrzeug existiert, erkennen, indem er die Anzeigebildschirmregion DR sieht.
In der vorstehend beschriebenen Ausführungsform, entsprechen die Verarbeitungen bei S220 und S260 einer bewegtes-Objekt-Bestimmungseinrichtung und die Verarbeitung bei S270 entspricht einer ersten Anzeigeregionsfestlegungseinrichtung.
(Dritte Ausführungsform)
Nachfolgend wird eine dritte Ausführungsform mit Bezug auf die Zeichnungen erläutert. In der dritten Ausführungsform werden nur Teile, die unterschiedlich zur ersten Ausführungsform sind, beschrieben.
Die Fahrunterstützungsvorrichtung der dritten Ausführungsform ist die gleiche wie die der ersten Ausführungsform mit Ausnahme des Punkts, dass die Anzeigeverarbeitung geändert ist und des Punkts, dass eine Anzeigeeinstellverarbeitung hinzugefügt ist.
Die Anzeigeverarbeitung der dritten Ausführungsform ist ähnlich zu der der ersten Ausführungsform außer, dass, wie in 7 dargestellt ist, die Verarbeitungen bei S120 bis S140 weggelassen sind und Verarbeitungen bei S310 bis S340 hinzugefügt sind.
Insbesondere in dem Fall, in dem das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 bei S110 nicht gesetzt sind (NEIN bei S110), wird die Anzeigeverarbeitung einmal beendet. Andererseits, in dem Fall, in dem das Anzeigeanweisungs-Flag F1 und das Blick-Flag F2 gesetzt sind (JA bei S110), wird bei S310 beispielsweise unter Verwendung einer Salienzkarte (vgl. beispielsweise, ”J. Harel, C. Koch und P. Perona, ”Graph-Based Visual Saliency”, NIPS 2006”) eine hervorstechende Region in der Blickregion GR erfasst. In der Ausführungsform ist eine Region, deren Helligkeit sich stark von anderen Regionen in den Vorwärtsszeneriebilddaten unterscheidet, als eine ”hervorstechende Region” definiert. Beispielsweise in dem Fall, in dem ein Straßenzeichen in der Frontszenerie während Fahren des Fahrzeugs existiert, entspricht das Straßenzeichen der hervorstechenden Region.
Bei S320 wird, ob eine hervorstechende Region in der Blickregion GR existiert oder nicht, auf der Basis des Erfassungsergebnisses von S310 bestimmt. In dem Fall, in dem eine hervorstechende Region in der Blickregion GR existiert (JA bei S320), wird bei S330 durch Anzeigen der Vorwärtsszeneriebilddaten in der Anzeigeregion, die in einer Anzeigeeinstellverarbeitung festgelegt wird, die später beschrieben wird, als ein bewegtes Bild in der HUD-Einrichtung 7 bis eine vorab festgelegte Bewegtbildanzeigezeit (beispielsweise, fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, die hervorstechende Region als ein bewegtes Bild angezeigt und die Anzeigeverarbeitung wird einmal beendet.
Andererseits, in dem Fall, in dem eine hervorstechende Region nicht in der Blickregion GR existiert (NEIN bei S320), werden bei S340 die Vorwärtsszeneriebilddaten in der Blickregion GR zum Zeitpunkt, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, als ein Standbild in der HUD-Einrichtung 7 bis eine vorab festgelegte Standbildanzeigezeit (beispielsweise, fünf Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist, angezeigt und die Anzeigeverarbeitung wird einmal beendet.
Als nächstes ist die Anzeigeeinstellverarbeitung eine Verarbeitung, die wiederholt durch die Steuereinheit 8 während der Operation der Fahrunterstützungsvorrichtung ausgeführt wird.
Wenn die Anzeigeeinstellverarbeitung ausgeführt wird, wie in 8 illustriert ist, bestimmt als erstes bei S360 die Steuereinheit 8, ob oder nicht eine hervorstechende Region in der Blickregion GR existiert, auf der Basis des Erfassungsergebnisses von S310. In dem Fall, in dem eine hervorstechende Region in der Blickregion GR nicht existiert (NEIN bei S360), wird die Anzeigeeinstellverarbeitung einmal beendet. Andererseits, in dem Fall, in dem eine hervorstechende Region in der Blickregion GR existiert (JA bei S360), wird bei S370 eine Anzeigeregion festgelegt, so dass die erfasste hervorstechende Region in der Mitte der Anzeigbildschirmregion DR positioniert ist und die Anzeigeeinstellverarbeitung wird einmal beendet.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wird, ob eine hervorstechende Region in der Blickregion GR existiert oder nicht, bestimmt, indem die erlangten Vorwärtsszeneriebilddaten verwendet werden (S360). In dem Fall, in dem bestimmt wird, dass eine hervorstechende Region in der Blickregion GR existiert (JA bei S360), wird die Anzeigeregion festgelegt, so dass die hervorstechende Region in der Mitte der Anzeigbildschirmregion DR positioniert ist (S370).
Demzufolge wird beispielsweise auch in dem Fall, in dem der Fahrer eine hervorstechende Region (Straßenzeichen, Hinweistafel, Fußgänger oder dergleichen) in der Frontszenerie in dem peripheren Gesichtsfeld während Fahren des Fahrzeug visuell erkennt, die hervorstechende Region in der Mitte der Anzeigbildschirmregion DR angezeigt. Demzufolge kann sogar in dem Fall, dass die Existenz selbst der hervorstechenden Region bei visueller Erkennung in dem peripheren Gesichtsfeld erkannt werden kann, aber die Details und die Situation der Region nicht korrekt erkannt werden kann, der Fahrer unmittelbar und einfach eine hervorstechende Region die vor dem Fahrzeug existiert, erkennen, indem er die Anzeigebildschirmregion DR sieht.
Sogar in dem Fall, dass, beispielsweise, obwohl der Fahrer eine hervorstechende Region in der Frontszenerie in dem zentralen Gesichtsfeld während Fahren des Fahrzeugs visuell erkennt, sich aufgrund niedriger Erfassungspräzision in der Blicklinienrichtung, der tatsächliche Blickpunkt des Fahrers und der Blickpunkt GP, der durch die Fahrunterstützungsvorrichtung 1 bestimmt wird, sich voneinander unterscheiden, wird die hervorstechende Region in der Mitte der Anzeigbildschirmregion DR angezeigt. Das heißt, sogar in dem Fall, in dem eine hervorstechende Region bei einer Position existiert, die von der Blickposition GP abweicht, wird die hervorstechende Region an einer zum Anzeigen der hervorstechende Region angemessenen Position angezeigt (das heißt, die Mitte der Anzeigbildschirmregion DR). Demzufolge kann der Fahrer unmittelbar und einfach eine hervorstechende Region erkennen, die vor dem Fahrzeug existiert, indem er die Anzeigebildschirmregion DR sieht.
In der vorstehend beschriebenen Ausführungsform entspricht die Verarbeitung bei S360 einer hervorstechende-Region-Bestimmungseinrichtung und die Verarbeitung bei S370 entspricht einer zweiten Anzeigeregionfestlegungseinrichtung.
(Vierte Ausführungsform)
Nachfolgend wird eine vierte Ausführungsform mit Bezug auf die Zeichnungen erläutert. In der vierten Ausführungsform werden nur Teile, die unterschiedlich zur ersten Ausführungsform sind, beschrieben.
Die Fahrunterstützungsvorrichtung der vierten Ausführungsform ist die gleiche wie die der ersten Ausführungsform mit Ausnahme des Punkts, dass Anzeigeeinstellverarbeitung hinzugefügt ist.
Die Anzeigeeinstellverarbeitung ist eine Verarbeitung, die wiederholt durch die Steuereinheit 8 während der Operation der Fahrunterstützungsvorrichtung ausgeführt wird.
Wenn die Anzeigeeinstellverarbeitung ausgeführt wird, wie in 9 illustriert ist, bestimmt als erstes bei S410 die Steuereinheit 8, ob oder nicht ein Standbild in der Anzeigbildschirmregion DR angezeigt wird. In dem Fall, in dem ein Standbild nicht angezeigt wird (NEIN bei S410), wird die Anzeigeeinstellverarbeitung einmal beendet.
Andererseits, in dem Fall, in dem ein Standbild angezeigt wird (JA bei S410), wird bei S420 bestimmt, ob die Blicklinie des Fahrers sukzessive für eine vorab festgelegte Anzeigeeinstellungsbestimmungszeit (in der Ausführungsform beispielsweise zwei Sekunden) auf ein Ende der Anzeigbildschirmregion DR gerichtet ist, auf der Basis des Erfassungsergebnisses von S30. In dem Fall, in dem die Blicklinie nicht sukzessive während der Anzeigeeinstellungsbestimmungszeit auf ein Ende der Anzeigbildschirmregion DR gerichtet ist (NEIN bei S420), wird die Anzeigeeinstellverarbeitung einmal beendet.
Andererseits, in dem Fall, in dem die Blicklinie sukzessive während der Anzeigeeinstellungsbestimmungszeit auf ein Ende der Anzeigbildschirmregion DR gerichtet ist (JA bei S420), wird bei S430, wie in 10 illustriert ist, eine Anzeigeregion in den Vorwärtsszeneriebilddaten festgelegt, so dass der Blickpunkt GP des Fahrers an einem Ende der Anzeigbildschirmregion DR in der Mitte der Anzeigbildschirmregion DR positioniert ist (vgl. Pfeil AL1) und die Anzeigeeinstellverarbeitung wird einmal beendet. Durch die Operation wird das Standbild, das in der Anzeigbildschirmregion DR angezeigt wird, gescrollt, so dass der Punkt, auf den durch den Fahrer an einem Ende der Anzeigbildschirmregion DR geblickt wird, die Mitte DC der Anzeigbildschirmregion DR wird.
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wird, ob der Fahrer auf ein Ende der Anzeigbildschirmregion DR blickt oder nicht, auf der Basis der erfassten Blicklinienrichtung bestimmt (S420). In dem Fall, in dem bestimmt wird, dass der Fahrer auf ein Ende der Anzeigbildschirmregion DR blickt (JA bei S420), wird eine Anzeigeregion festgelegt, so dass der Blickpunkt GP, auf den der Fahrer an einem Ende der Anzeigbildschirmregion DR blickt, in der Mitte der Anzeigbildschirmregion DR positioniert ist (S430).
Demzufolge kann durch Blicken auf ein Ende der Anzeigbildschirmregion DR, eine Region (Anzeigeregion), die in der Anzeigbildschirmregion DR angezeigt wird, in den Vorwärtsszeneriebilddaten ohne Bedienen eines Bedienelements wie beispielsweise eines Knopfs oder eines Schalters einfach geändert werden.
In der vorstehend beschriebenen Ausführungsform entspricht die Verarbeitung bei S420 einer Blickbestimmungseinrichtung und die Verarbeitung bei S430 entspricht einer dritten Anzeigeregionfestlegungseinrichtung.
(Fünften Ausführungsform)
Nachfolgend wird eine fünfte Ausführungsform mit Bezug auf die Zeichnungen erläutert. In der fünften Ausführungsform werden nur Teile, die unterschiedlich zur ersten Ausführungsform sind, beschrieben.
Die Fahrunterstützungsvorrichtung der fünften Ausführungsform ist die gleiche wie die der ersten Ausführungsform mit Ausnahme des Punkts, dass die Anzeigeverarbeitung geändert ist. Die Anzeigeverarbeitung der fünften Ausführungsform ist ähnlich zu der der ersten Ausführungsform mit Ausnahme von Punkten, dass, wie in 11 und 12 illustriert ist, die Verarbeitungen bei S110 bis S140 weggelassen sind und Verarbeitungen bei S510 und S520 und S600 bis S720 hinzugefügt sind.
Insbesondere, wenn die Verarbeitung von S90 beendet ist, wird bei S510 ein Bilderlangungszähler C1 inkrementiert (Addition mit eins). Der Wert des Bilderlangungszählers C1 wird beim Start der Operation der Fahrunterstützungsvorrichtung initialisiert und auf Null festgelegt. Bei S520 wird ein Bild in der Blickregion GR, die bei S90 festgelegt wird, aus Vorwärtsszeneriebilddaten, die zum Zeitpunkt aufgenommen werden, wenn die Blicklinie des Fahrers zur Außenseite des Fahrzeugs gerichtet ist, auf der Basis eines Bestimmungsergebnis bei S70 extrahiert und die Daten des extrahierten Bilds (nachfolgend ebenso bezeichnet als ein Blickregionbild) werden gespeichert, so dass sie mit dem Wert des Bilderlangungszählers C1 (nachfolgend ebenso bezeichnet als ein Bilderlangungszählerwert) verknüpft sind, und die Routine fährt mit S100 fort.
Wenn die Verarbeitung bei S50, S80 oder S100 beendet ist, fährt die Routine mit S600 fort, wo das Anzeigeanweisungs-Flag F1 gesetzt ist und es wird bestimmt, ob der Bilderlangungszählerwert größer als eins ist oder nicht. In dem Fall, in dem der Bilderlangungszählerwert eins oder weniger ist (NEIN bei S600), wird die Anzeigeverarbeitung einmal beendet. Andererseits, in dem Fall, in dem das Anzeigeanweisungs-Flag F1 gesetzt ist und der Bilderlangungszählerwert größer als eins ist (JA bei S600), wird bei S610 bestimmt, ob ein Fahrzeug auf dem die Fahrunterstützungsvorrichtung 1 angebracht ist (nachfolgend das Fahrzeug genannt) gestoppt ist oder nicht, auf der Basis des Erfassungsergebnisses des Fahrzeugsgeschwindigkeitssensors 9. In dem Fall, in dem das Fahrzeug nicht gestoppt ist (NEIN bei S610), wird bei S620 der Wert des Anzeigezählers C2 (nachfolgend ebenso bezeichnet als Anzeigezählerwert) der Bilderlangungszählerwert festgelegt. Bei S630 werden Daten des Blickregionbilds, die mit dem Bilderlangungszählerwert verknüpft sind, der mit dem Anzeigezählerwert übereinstimmt, in dem Blickregionbild, das durch die Verarbeitung bei S520 gespeichert wird, als ein Standbild in der HUD-Einrichtung 7 angezeigt und die Anzeigeverarbeitung wird einmal beendet. Durch die Verarbeitungen bei S620 und S630, wird das letzte der gespeicherten Blickregionbilder in der Anzeigbildschirmregion DR angezeigt.
Andererseits, in dem Fall, in dem das Fahrzeug stoppt (JA bei S610), wird bei S640 bestimmt, ob die Winkeldifferenz zwischen der Gesichtsorientierungsrichtung des Fahrers und der Blicklinienrichtung gleich oder kleiner als ein vorab festgelegter Anzeigebestimmungswinkel ist (in der Ausführungsform, beispielsweise, 10°), auf der Basis des Erfassungsergebnisses von S30. In dem Fall, in dem die Winkeldifferenz zwischen der Gesichtsorientierungsrichtung und der Blicklinienrichtung gleich oder kleiner ist als der Anzeigebestimmungswinkel (JA bei S640), fährt die Routine mit S630 fort. Durch die Operation wird das Blickregionbild, das mit dem Bilderlangungszählerwert verknüpft ist, der mit dem Anzeigezählerwert übereinstimmt, in der Anzeigbildschirmregion DR angezeigt.
In dem Fall, in dem die Winkeldifferenz zwischen der Gesichtsorientierungsrichtung und der Blicklinienrichtung größer ist als der Anzeigebestimmungswinkel bei S640 (NEIN bei S640), wird bei S660 bestimmt, ob die Gesichtsorientierungsrichtung mehr auf die linke Seite als die Blicklinienrichtung gerichtet ist oder nicht. In dem Fall, in dem die Gesichtsorientierungsrichtung mehr auf die linke Seite als die Blicklinienrichtung gerichtet ist (JA bei S660), wird bei S670 bestimmt, ob der Anzeigezählerwert größer als eins ist oder nicht.
In dem Fall, in dem der Anzeigezählerwert größer als eins ist (JA bei S670), wird der Anzeigezähler C2 bei S680 dekrementiert (Subtraktion mit eins) und die Routine fährt fort mit S700. Andererseits, in dem Fall, in dem der Anzeigezählerwert eins ist (NEIN bei S670), wird bei S690 der Wert (Anzeigezählerwert) des Anzeigezählers C2 auf den Bilderlangungszählerwert festgelegt und die Routine fährt fort mit S700.
Wenn die Routine mit S700 fortfährt, werden Daten des Blickregionbilds, das mit dem Bilderlangungszählerwert verknüpft ist, der mit dem Anzeigezählerwert übereinstimmt, als ein Standbild in der HUD-Einrichtung 7 angezeigt und die Anzeigeverarbeitung wird einmal beendet,
In dem Fall, in dem bei S660 die Gesichtsorientierungsrichtung mehr auf die rechte Seite als die Blicklinienrichtung gerichtet ist (NEIN bei S660), wird bei S710 bestimmt, ob der Anzeigezählerwert gleich dem Bilderlangungszählerwert oder nicht. In dem Fall, in dem der Anzeigezählerwert gleich dem Bilderlangungszählerwert ist (JA bei S710), fährt die Routine mit S730 fort. Andererseits, in dem Fall, in dem der Anzeigezählerwert nicht gleich dem Bilderlangungszählerwert ist (NEIN bei S710), wird der Anzeigezähler C2 bei S720 inkrementiert (Addition mit eins) und die Routine fährt fort mit S730. Wenn die Routine mit S730 fortfährt, werden die Daten des Blickregionbilds, das mit dem Bilderlangungszählerwert verknüpft ist, der mit dem Anzeigezählerwert übereinstimmt, als ein Standbild in der HUD-Einrichtung 7 angezeigt und die Anzeigeverarbeitung wird einmal beendet.
Nachfolgend wird eine Operation in dem Fall, in dem ein gespeichertes Blickregionbild in der Anzeigbildschirmregion DR in der Fahrunterstützungsvorrichtung 1 angezeigt wird, die wie vorstehend beschrieben konstruiert ist, erläutert.
Als erstes wird, in dem Fall, in dem das Fahrzeug fährt, wenn der Fahrer seine Blicklinie auf die Anzeigbildschirmregion DR richtet (JA bei S600 und NEIN bei S610), das letzte der gespeicherten Blickregionbilder in der Anzeigbildschirmregion DR angezeigt (S620 und S630). Danach, wenn der Fahrer seine Blicklinie auf die Anzeigbildschirmregion DR richtet, während das Fahrzeug stoppt, (JA bei S600 und JA bei S610), wird als erstes das letzte der gespeicherten Blickregionbilder in der Anzeigbildschirmregion DR angezeigt (S630). Wenn der Fahrer sein Gesicht nach links dreht, während er seine Blicklinie auf die Anzeigbildschirmregion DR richtet (NEIN bei S640 und JA bei S660), wird das Blickregionbild, das unmittelbar bevor das Blickregionbild, das gegenwärtig angezeigt wird, erlangt wird, in der Anzeigbildschirmregion DR angezeigt (S680 und S700). Wenn der Fahrer sein Gesicht nach rechts dreht, während er seine Blicklinie auf die Anzeigbildschirmregion DR richtet (NEIN bei S640 und NEIN bei S660), wird das Blickregionbild, das unmittelbar nach dem Blickregionbild, das gegenwärtig angezeigt wird, erlangt wird, in der Anzeigbildschirmregion DR angezeigt (S720 und S730).
Wenn der Fahrer sein Gesicht nach links dreht, während er seine Blicklinie auf die Anzeigbildschirmregion DR richtet, in einem Zustand, in dem das älteste Blickregionbild angezeigt wird (wenn der Anzeigezählerwert = 1) (NEIN bei S640 und JA bei S660), wird das letzte der gespeicherten Blickregionbilder in der Anzeigbildschirmregion DR angezeigt (S690 und S700). Wenn der Fahrer sein Gesicht nach rechts dreht, während er seine Blicklinie auf die Anzeigbildschirmregion DR richtet, in einem Zustand, in dem das letzte Blickregionbild angezeigt wird (NEIN bei S640 und NEIN bei S660), bleibt das letzte Blickregionbild angezeigt (JA bei S710).
Bei der Fahrunterstützungsvorrichtung, die wie vorstehend beschrieben konstruiert ist, wird das Bild in der Blickregion GR in den erlangten extrahiert und die extrahierten Blickregionbilddaten werden in chronologischer Reihenfolge gespeichert (S510 und S520) und die gespeicherten Blickregionbilddaten werden in der Anzeigbildschirmregion DR angezeigt (S630, S700 und S730). Die Gesichtsorientierungsrichtung des Fahrers wird durch die erlangten Gesichtsbilddaten erfasst (S30) und auf der Basis der erfassten Gesichtsorientierungsrichtung werden die anzuzeigenden Blickregionbilddaten angewiesen (S660 zu S690 und S710 und S720).
Auf diese Weise kann die Frontszenerie auf die geblickt wird, in der Anzeigbildschirmregion DR angezeigt werden und zum Blickzeitpunkt erkannt werden und zusätzlich können mehrere Blickregionbilder aufgenommen, gespeichert und später in einem Stück erkannt werden. Beispielsweise kann sogar in dem Fall, in dem das Blickregionbild zur Blickzeit nicht voll erkannt werden kann, da der Fahrer fährt, durch erneutes Anzeigen des Blickregionbilds nachdem das Fahrzeug gestoppt ist, das Blickregionbild voll erkannt werden.
Gemäß der Gesichtsorientierungsrichtung kann ohne Bedienen eines Bedienelements wie beispielsweise eines Knopfs oder eines Schalters, das Blickregionbild, das in der Anzeigbildschirmregion DR angezeigt wird, einfach geändert werden.
In der vorstehend beschriebenen Ausführungsform entsprechen die Verarbeitungen bei S510 und S520 einer Bildspeichereinrichtung, die Verarbeitungen bei S630, S700 und S730 entsprechen einer Anzeigevorrichtung für gespeicherte Bilder, die Verarbeitung bei S30 entspricht einer Gesichtsorientierungsrichtungserfassungseinrichtung und die Verarbeitungen bei S660 bis S690 und S710 und S720 entsprechen einer Anzeigeanweisungsrichtung.
(Sechste Ausführungsform)
Nachfolgend wird eine sechste Ausführungsform mit Bezug auf die Zeichnungen erläutert.
Wie in 13 illustriert ist, ist eine Fahrunterstützungsvorrichtung 101 an einem Fahrzeug angebracht und ist mit einer Navigations-ECU 103, einer Klimaanlagen-ECU 104 und einer Instrumenten-ECU 105 mittels eines fahrzeuggebundenen LAN 102 verbunden.
Die Navigations-ECU 103 ist konfiguriert, um die gegenwärtige Position des Fahrzeugs auf der Basis eines GPS-Signals, das mittels einer nicht dargestellten GPS-Antenne (globales Positionsbestimmungssystem) empfangen wird, zu erfassen. Die Navigations-ECU 103 ist konfiguriert, um eine Steuerung zum Anzeigen der gegenwärtigen Position des Fahrzeugs in einem Anzeigbildschirm 131 (vgl. 14) eines Navigationssystem, das sich in einem Armaturenbrett 130 befindet (vgl. 14), eine Steuerung zur Routenführung von der gegenwärtigen Position zu einem Ziel und dergleichen auszuführen.
Die Navigations-ECU 103 ist konfiguriert, Steuerung eines fahrzeuggebundenen Audiosystems (nicht dargestellt) auf der Basis eines Signals von einer Audiobedienschaltergruppe 132 (vgl. 14) zu steuern, die in dem Armaturenbrett 130 angebracht ist und durch den Fahrer operiert wird. Die Audiobedienschaltergruppe 132 beinhaltet einen Wechselschalter, der in dem Fall operiert wird, in dem eine zu betreibende Vorrichtung von CD-, TV- und Radiovorrichtungen umgeschaltet wird, einen Wechselschalter, der in dem Fall operiert wird, in dem nach Umschalten der zu operierenden Vorrichtung, eine Auswahl eines Kanals oder eines Musikstücks umgeschaltet wird, einen Volumenfestlegungsschalter, der in dem Fall operiert wird, in dem Volumen bzw. Lautstärke abgeglichen wird.
Die Klimaanlagen-ECU 104 ist konfiguriert, um Klimatisierung in dem Fahrzeug durch Operieren einer Autoklimaanlage (nicht dargestellt) auf der Basis eines Signals von einem Klimaanlagenbedienschaltergruppe 133 (vgl. 14), die in der Anweisungsbedientafel 130 angebracht ist und durch den Fahrer operiert wird und eines Erfassungssignals von einem Fahrzeuginnen-/Fahrzeugaußentemperatursensor (nicht dargestellt) zum Erfassen Temperaturen innerhalb und außerhalb des Fahrzeugs zu steuern. Eine Klimaanlagenbedienschaltergruppe 133 beinhaltet einen Ein-/Ausschalter, der zum Schalten von Operation/Nicht-Operation der Klimaanlage operiert wird, einen Temperaturfestlegungsschalter der zum Abgleichen einer Einstellung einer Temperatur operiert wird, einen Luftvolumenfestlegungsschalter, der zum Abgleichen einer Luftmenge operiert wird und einen Luftauslasspositionsfestlegungsschalter der zum Abgleichen einer Luftauslassposition operiert wird.
Die Instrumenten-ECU 105 steuert eine Instrumenteneinheit 140 (vgl. 14), die vor dem Fahrersitz angebracht ist und unterschiedliche Zustände des Fahrzeugs anzeigt. Die Instrumenteneinheit 140 zeigt die Fahrzeuggeschwindigkeit, die Schaltbereich eines Automatikgetriebes (nicht dargestellt), eine Motorrotationsgeschwindigkeit, einen Benzinrestbetrag, einen Zustand einer automatischen Geschwindigkeitsregelung (automatic cruise control, ACC), einen Zustand eines Spurhalteassistenten (lane keep assist, LKA) und dergleichen an.
Die Fahrunterstützungsvorrichtung 101 hat die Infrarot-LED 2, die Kamera 3, die Bildaufnahmeplatte 4, die HUD-Einrichtung 7, eine rechte Kamera 111, eine linke Kamera 112, eine hintere Kamera 113, Bildaufnahmeplatten 114, 115 und 116, eine fahrzeuggebundene LAN-Kommunikationseinheit 117 und eine Steuereinheit 118.
Da die Infrarot-LED 2, die Kamera 3, die Bildaufnahmeplatte 4 und die HUD-Einrichtung 7 dieselben wie die der erste Ausführungsform sind, wird die Beschreibung nicht wiederholt.
Die rechte Kamera 111 ist an dem rechten Endteil des Fahrzeugs angebracht (ein Seitenspiegel 151 (vgl. 14) auf der rechten Seite des Fahrzeugs in der Ausführungsform) und erlangt Bilddaten durch sukzessives Abbilden des Zustands der rechten Seite des Fahrzeugs.
Die linke Kamera 112 angebracht ist an dem linken Endteil des Fahrzeugs (ein Seitenspiegel 152 (vgl. 14) auf der linken Seite des Fahrzeugs in der Ausführungsform) und erlangt Bilddaten durch sukzessives Abbilden des Zustand der linken Seite des Fahrzeugs.
Die hintere Kamera 113 ist in einem hinteren Endteil bzw. Heckendteil des Fahrzeugs (in der Ausführungsform eine hintere Stoßstange) angebracht und erlangt Bilddaten durch sukzessives Abbilden die Zustand der Rückseite des Fahrzeugs.
Die Bildaufnahmeplatten 114, 115 und 116 speichern temporär die Bilddaten die durch die entsprechend zugeordneten Kameras 111, 112 und 113 erlangt werden.
Die fahrzeuggebundene LAN-Kommunikationseinheit 117 führt Kommunikation mit unterschiedlichen Vorrichtungen (wie beispielsweise der Navigations-ECU 103), die mit dem fahrzeuggebundenen LAN 102 verbunden sind, mittels des fahrzeuggebundenen LAN 102 aus.
Die Steuereinheit 118 ist hauptsächlich durch einen bekannten Mikrocomputer konstruiert, der eine CPU, ein ROM, ein RAM, einen I/O und eine Busleitung beinhaltet, die diese Komponenten verbindet und führt unterschiedliche Verarbeitungen auf der Basis eines Programms aus, das in dem ROM gespeichert ist.
Bei der Fahrunterstützungsvorrichtung 101, die wie vorstehend beschrieben konstruiert ist, führt die Steuereinheit 118 eine Anzeigeverarbeitung zum Anzeigen eines Bilds in der Anzeigbildschirmregion DR aus, die auf der Windschutzscheibe vorgesehen ist. Die Anzeigeverarbeitung ist eine Verarbeitung, die wiederholt während der Operation der Fahrunterstützungsvorrichtung 101 ausgeführt wird.
Wenn die Anzeigeverarbeitung ausgeführt wird, wie in 15A, 15B und 16 illustriert ist, erlangt die Steuereinheit 118 als erstes bei S810 wie bei S10 Gesichtsbilddaten, die nicht durch die Steuereinheit 8 von der Bildaufnahmeplatte 4 erlangt werden, in den Gesichtsbilddaten, die durch die Kamera 3 aufgenommen und in der Bildaufnahmeplatte 4 gespeichert werden.
Bei S820 werden wie bei S30 unter Verwendung der Gesichtsbilddaten, die von der Bildaufnahmeplatte 4 erlangt werden, die Gesichtsorientierungsrichtung und die Blicklinienrichtung des Fahrers erfasst.
Danach wird bei S830 auf der Basis des Erfassungsergebnisses von S820 bestimmt, ob die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist oder nicht. In dem Fall, in dem die Blicklinie des Fahrers auf die Anzeigbildschirmregion DR gerichtet ist (JA bei S830), wird das Anzeigeanweisungs-Flag F1 bei S840 gesetzt und die Routine fährt fort mit S1070. Andererseits, in dem Fall, in dem die Blicklinie des Fahrers nicht auf die Anzeigbildschirmregion DR gerichtet ist (NEIN bei S830), wird bei S850 das Anzeigeanweisungs-Flag F1 gelöscht.
Ferner wird bei S860 bestimmt, ob die Blicklinie des Fahrers auf die Anzeigbildschirm 131 der Navigationseinrichtung gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie des Fahrers auf die Anzeigbildschirm 131 gerichtet ist (JA bei S860), wird ein Navigations-Blick-Flag F11 bei S870 gesetzt. Ferner werden die anderen Blick-Flags F12, F13, F14, F15, F16 und F17 bei S880 gelöscht und die Routine fährt fort mit S1070. Die anderen Blick-Flags sind, wie später beschrieben wird, das Instrumenten-Blick-Flag F12, das Audio-Blick-Flag F13, F14, das Rechtsblick-Flag F15, das Linksblick-Flag F16 und das Rückblick-Flag F17.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf den Anzeigebildschirm 131 der Navigationseinrichtung gerichtet ist (NEIN bei S860), wird bei S890 bestimmt, ob die Blicklinie des Fahrers auf die Instrumenteneinheit 140 gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf die Instrumenteneinheit 140 gerichtet ist (JA bei S890), wird das Instrumenten-Blick-Flag F12 bei S900 gesetzt, die Blick-Flags außer dem Instrumenten-Blick-Flag F12 werden bei S910 gelöscht und die Routine fährt mit S1070 fort.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf die Instrumenteneinhelt 140 gerichtet ist (NEIN bei S890), wird bei S920 bestimmt, ob die Blicklinie des Fahrers auf die Audiobedienschaltergruppe 132 gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf die Audiobedienschaltergruppe 132 gerichtet ist (JA bei S920), wird das Audio-Blick-Flag F13 bei S930 gesetzt, die Blick-Flags außer dem Audio-Blick-Flag F13 werden bei S940 gelöscht und die Routine fährt fort mit S1070.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf die Audiobedienschaltergruppe 132 gerichtet ist (NEIN bei S920), wird bei S950 bestimmt, ob die Blicklinie des Fahrers auf die Klimaanlagenbedienschaltergruppe 133 gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf die Klimaanlagenoperationsschaltergruppe 133 gerichtet ist (JA bei S950), wird das Klimaanlagenblick-Flag F14 bei S960 gesetzt, die Blick-Flags außer dem Klimaanlagenblick-Flag F14 werden bei S970 gelöscht und die Routine fährt fort mit S1070.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf die Klimaanlagenbedienschaltergruppe 133 gerichtet ist (NEIN bei S950), wird bei S980 bestimmt, ob die Blicklinie des Fahrers auf die Seitenspiegel 151 auf der rechten Seite des Fahrzeugs gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf die Seitenspiegel 151 auf der rechten Seite gerichtet ist (JA bei S980), wird das Rechtsblick-Flag F15 bei S990 gesetzt, die Blick-Flags außer dem Rechtsblick-Flag F15 werden bei S1000 gelöscht und die Routine fährt fort mit S1070.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf die Seitenspiegel 151 auf der rechten Seite gerichtet ist (NEIN bei S980), wird bei S1010 bestimmt, ob die Blicklinie des Fahrers auf die Seitenspiegel 152 auf der linken Seite des Fahrzeugs gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf die Seitenspiegel 152 auf der linken Seite gerichtet ist (JA bei S1010), wird das Linksblick-Flag F16 bei S1020 gesetzt, die Blick-Flags außer dem Linksblick-Flag F16 werden bei S1030 gelöscht und die Routine fährt fort mit S1070.
Andererseits, in dem Fall, in dem die Blicklinie nicht auf die Seitenspiegel 152 auf der linken Seite gerichtet ist (NEIN bei S1010), wird bei S1040 bestimmt, ob die Blicklinie des Fahrers auf einen Rückspiegel 153 (vgl. 14) gerichtet ist oder nicht, auf der Basis des Erfassungsergebnisses von S820. In dem Fall, in dem die Blicklinie auf den Rückspiegel 153 gerichtet ist (JA bei S1040), wird das Rückblick-Flag F17 bei S1050 gesetzt, die Blick-Flags außer dem Rückblick-Flag F17 werden bei S1060 gelöscht und die Routine fährt fort mit S1070.
Wenn die Routine mit S1070 fortfährt, wird, ob das Anzeigeanweisungs-Flag F1 gesetzt ist und eines der Blick-Flags F11, F12, F13, F14, F15, F16 und F17 gesetzt ist oder nicht, bestimmt. In dem Fall, in dem das Anzeigeanweisungs-Flag F1 und mindestes irgendwelche der Blick-Flags nicht gesetzt sind (NEIN bei S1070), wird die Anzeigeverarbeitung einmal beendet. Andererseits, in dem Fall, in dem das Anzeigeanweisungs-Flag F1 gesetzt ist und irgendeines der Blick-Flags gesetzt ist (JA bei S1070), wird bei S1080 bestimmt, ob das Navigations-Blick-Flag F11 gesetzt ist oder nicht.
In dem Fall, in dem das Navigations-Blick-Flag F11 gesetzt ist (JA bei S1080), wird bei S1090 eine Navigationsbildschirmanzeigeverarbeitung ausgeführt. Nach Vervollständigung der Navigationsbildschirmanzeigeverarbeitung, fährt die Routine mit S1210 fort. In der Navigationsbildschirmanzeigeverarbeitung werden konkret Bilddaten, die ein Bild ausdrücken, das in dem Anzeigbildschirm 131 der Navigationseinrichtung angezeigt wird, von der Navigations-ECU 103 mittels des fahrzeuggebundenen LAN 102 erlangt und die HUD-Einrichtung 7 wird veranlasst, die erlangten Bilddaten bis eine vorab festgelegte Bildanzeigezeit (beispielsweise drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist, anzuzeigen.
Andererseits, in dem Fall, in dem das Navigations-Blick-Flag F11 nicht gesetzt ist (NEIN bei S1080), wird bei S1100 bestimmt, ob das Instrumenten-Blick-Flag F12 gesetzt ist oder nicht. In dem Fall, in dem das Instrumenten-Blick-Flag F12 gesetzt ist (JA bei S1100), wird bei S1110 eine Instrumenteneinheitanzeigeverarbeitung ausgeführt. Nach Vervollständigung der Instrumenteneinheitanzeigeverarbeitung, fährt die Routine mit S1210 fort. In der Instrumenteneinheitanzeigeverarbeitung wird konkret als erstes auf der Basis des Erfassungsergebnisses von S820, eine Region, auf die die Blicklinie des Fahrers in der Instrumenteneinheit 140 gerichtet ist, spezifiziert. In der Instrumenteneinheitanzeigeverarbeitung werden Informationen, die in der spezifizierten Region angezeigt werden, von der Instrumenten-ECU 105 mittels des fahrzeuggebundenen LAN 102 erlangt und die HUD-Einrichtung 7 wird veranlasst, die erlangten Informationen bis eine vorab festgelegte Bildanzeigezeit (beispielsweise drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist, anzuzeigen.
Beispielsweise in dem Fall, in dem die Blicklinie des Fahrers auf die Region gerichtet ist, in der die Fahrzeuggeschwindigkeit in der Instrumenteneinheit 140 angezeigt wird, werden in der Instrumenteneinheitanzeigeverarbeitung, Fahrzeuggeschwindigkeitsinformationen, die die Fahrzeuggeschwindigkeit angeben, von der Instrumenten-ECU 105 erlangt und die HUD-Einrichtung 7 wird veranlasst, ein Bild anzuzeigen, das die erlangten Fahrzeuggeschwindigkeitsinformationen angibt.
Andererseits, in dem Fall, in dem das Instrumenten-Blick-Flag F12 nicht gesetzt ist (NEIN bei S1100), wird bei S1120 bestimmt, ob das Audio-Blick-Flag F13 gesetzt ist oder nicht. In dem Fall, in dem das Audio-Blick-Flag F13 gesetzt ist (JA bei S1120), wird bei S1130 eine Audiobedienschalteranzeigeverarbeitung ausgeführt. Nach Vervollständigung der Audiobedienschalteranzeigeverarbeitung, fährt die Routine fort mit S1210. In der Audiobedienschalteranzeigeverarbeitung, wird konkret als erstes, auf der Basis des Erfassungsergebnisses von S820, ein Schalter in der Audiobedienschaltergruppe 132 spezifiziert, auf den die Blicklinie des Fahrers gerichtet ist. In der Audiobedienschalteranzeigeverarbeitung werden Festlegungszustandsinformationen, die den gegenwärtigen Zustand angeben, der durch die Operation des spezifizierten Schalters festgelegt ist, von der Navigations-ECU 103 mittels das Fahrzeuggebundenes LAN 102 erlangt und die HUD-Einrichtung 7 wird veranlasst die erlangten Informationen anzuzeigen, bis eine vorab festgelegte Bildanzeigezeit (beispielsweise, drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist.
Beispielsweise, in dem Fall, in dem die Blicklinie des Fahrers auf den Volumenfestlegungsschalter in der Audiobedienschalteranzeigeverarbeitung gerichtet ist, werden Volumeninformationen, die das gegenwärtige Volumen angeben, von der Instrumenten-ECU 105 erlangt und die HUD-Einrichtung 7 wird veranlasst, ein Bild anzuzeigen, das die erlangten Volumeninformationen angibt.
In dem Fall, in dem Festlegungszustandsinformationen der Schalter, die in der Audiobedienschalteranzeigeverarbeitung spezifiziert werden, durch die HUD-Einrichtung 7 angezeigt werden, ändert die Navigations-ECU 103 den Festlegungszustand des spezifizierten Schalters auf der Basis der Operation von Lenkradschaltern 161 und 162 (vgl. 14), die für ein Lenkrad ST vorgesehen sind (vgl. 14). Beispielsweise, in dem Fall, in dem die Blicklinie des Fahrers auf den Volumenfestlegungsschalter gerichtet ist, wird das Bild, das das Volumen angibt, in der Anzeigbildschirmregion DR angezeigt. Wenn der Fahrer den Lenkradschalter 161 operiert, nimmt das Volumen der Klangausgabe vom Audiosystem zu und das Bild, das Zunahme des Volumens angibt, wird in der Anzeigbildschirmregion DR angezeigt. Andererseits, wenn der Fahrer den Lenkradschalter 162 operiert, nimmt das Volumen der Klangausgabe vom Audiosystem aus und das Bild, das angibt, dass das Volumen graduell abnimmt, wird in der Anzeigbildschirmregion DR angezeigt.
Andererseits, in dem Fall, in dem das Audio-Blick-Flag F13 nicht gesetzt ist (NEIN bei S1120), wird bei S1140 bestimmt, ob das Klimaanlagenblick-Flag F14 gesetzt ist oder nicht. In dem Fall, in dem das Klimaanlagenblick-Flag F14 gesetzt ist (JA bei S1140), wird bei S1150 die Klimaanlagenbedienschalteranzeigeverarbeitung ausgeführt. Nach Vervollständigung der Klimaanlagenbedienschalteranzeigeverarbeitung, fährt die Routine fort mit S1210. In der Klimaanlagenbedienschalteranzeigeverarbeitung, wird konkret als erstes, auf der Basis des Erfassungsergebnisses von S820, eine Schalter, auf den die Blicklinie des Fahrers in der Klimaanlagenbedienschaltergruppe 133 gerichtet ist, spezifiziert. In der Klimaanlagenbedienschalteranzeigeverarbeitung, werden Festlegungszustandsinformationen, die den gegenwärtigen Zustand angeben, der durch die Operation des spezifizierten Schalters festgelegt wird, von der Klimaanlagen-ECU 104 mittels das Fahrzeuggebundenes LAN 102 erlangt und die HUD-Einrichtung 7 wird veranlasst, die erlangten Informationen bis eine vorab festgelegte Bildanzeigezeit (beispielsweise, drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist, anzuzeigen.
Beispielsweise in dem Fall, in dem die Blicklinie auf die Ein-/Ausschalter, in der Klimaanlagenbedienschalteranzeigeverarbeitung gerichtet ist, werden die Ein-/Aus-Informationen, die angeben, ob die Klimaanlage operiert oder stoppt, von der Klimaanlagen-ECU 104 erlangt und die HUD-Einrichtung 7 wird veranlasst, ein Bild anzuzeigen, das die erlangten Ein-/Aus-Informationen angibt.
In dem Fall, in dem die Festlegungszustandsinformationen der Schalter, die in der Klimaanlagenbedienschalteranzeigeverarbeitung spezifiziert werden, durch die HUD-Einrichtung 7 angezeigt werden, ändert die Klimaanlagen-ECU 104 den Festlegungszustand des spezifizierten Schalters auf der Basis von Operation der Lenkradschalter 161 und 162, die für das Lenkrad ST vorgesehen sind. Beispielsweise in dem Fall, in dem die Blicklinie des Fahrers auf die Ein-/Ausschalter gerichtet ist, wird ein Bild, das die Ein-/Aus-Informationen angibt, in der Anzeigbildschirmregion DR angezeigt. Wenn der Fahrer den Lenkradschalter 161 operiert, wird die Operation/Nicht-Operation der Klimaanlage umgeschaltet und ein Bild, das angibt, ob die Klimaanlage operiert oder stoppt, wird in der Anzeigbildschirmregion DR angezeigt.
Andererseits, in dem Fall, in dem das Klimaanlagenblick-Flag F14 nicht gesetzt ist (NEIN bei S1140), wird bei S1160 bestimmt, ob das Rechtsblick-FlagF15 gesetzt ist oder nicht. In dem Fall, in dem das Rechtsblick-Flag F15 gesetzt ist (JA bei S1160), wird bei S1170 die Anzeigeverarbeitung für den rechten Seitenspiegel ausgeführt und nach Vervollständigung der Anzeigeverarbeitung für den rechten Seitenspiegel, fährt die Routine fort mit S1210. In der Anzeigeverarbeitung für den rechten Seitenspiegel, werden konkret als erstes Bilddaten aufgenommen durch die rechte Kamera 111 und gespeichert Bildaufnahmeplatte 114 von der Bildaufnahmeplatte 114 erlangt. In der Anzeigeverarbeitung für den rechten Seitenspiegel wird die HUD-Einrichtung 7 veranlasst, die von der Bildaufnahmeplatte 114 erlangten Bilddaten bis eine vorab festgelegte Bildanzeigezeit (beispielsweise, drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist, anzuzeigen.
Andererseits, in dem Fall, in dem das Rechtsblick-Flag F15 nicht gesetzt ist (NEIN bei S1160), wird bei S1180 bestimmt, ob das Linksblick-Flag F16 gesetzt ist oder nicht. In dem Fall, in dem das Linksblick-Flag F16 gesetzt ist (JA bei S1180), wird bei S1190 die Anzeigeverarbeitung für den linken Seitenspiegel ausgeführt und nach Vervollständigung der Anzeigeverarbeitung für den linken Seitenspiegel fährt die Routine fort mit S1210. In der Anzeigeverarbeitung für den linken Seitenspiegel werden konkret als erstes Bilddaten aufgenommen durch die linke Kamera 112 und gespeichert in der Bildaufnahmeplatte 115 von der Bildaufnahmeplatte 115 erlangt. In der Anzeigeverarbeitung für den linken Seitenspiegel wird die HUD-Einrichtung 7 veranlasst, die von der Bildaufnahmeplatte 115 erlangten Bilddaten anzuzeigen, bis eine vorab festgelegte Bildanzeigezeit (beispielsweise, drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist.
Andererseits, in dem Fall, in dem das Linksblick-Flag F16 nicht gesetzt ist (NEIN bei S1180), wird bei S1200 eine Rückspiegelanzeigeverarbeitung ausgeführt und nach Vervollständigung der Rückspiegelanzeigeverarbeitung fährt die Routine fort mit S1210. In der Rückspiegelanzeigeverarbeitung werden konkret als erstes Bilddaten aufgenommen durch die hintere Kamera 113 und gespeichert in der Bildaufnahmeplatte 116 von der Bildaufnahmeplatte 116 erlangt. In der Rückspiegelanzeigeverarbeitung wird die HUD-Einrichtung 7 veranlasst, die von der Bildaufnahmeplatte 116 erlangten Bilddaten anzuzeigen, bis eine vorab festgelegte Bildanzeigezeit (beispielsweise, drei Sekunden) ab dem Zeitpunkt abläuft, wenn die Blicklinie des Fahrers auf den Anzeigebildschirmregion DR gerichtet ist.
Wenn die Routine mit S1210 fortfährt, wird das Anzeigeanweisungs-Flag F1 gelöscht. Ferner werden bei S1220 alle Blick-Flags F11, F12, F13, F14, F15, F16 und F17 gelöscht und wird die Anzeigeverarbeitung einmal beendet.
Bei der Fahrunterstützungsvorrichtung 101, die wie vorstehend beschrieben konstruiert ist, wird als erstes das Gesicht des Fahrers des Fahrzeugs sukzessive abgebildet, um Gesichtsbilddaten zu erlangen (S810). Danach wird unter Verwendung der erlangten Gesichtsbilddaten, die Richtung der Blicklinie des Fahrers erfasst (S820) und auf der Basis der erfassten Blicklinienrichtung, wird bestimmt worauf aus der folgenden Gruppe des Anzeigbildschirms 131, der Navigationseinrichtung, der Instrumenteneinheit 140, der Audiobedienschaltergruppe 132, der Klimaanlagenbedienschaltergruppe 133, des Seitenspiegels 151 auf der rechten Seite des Fahrzeugs, des Seitenspiegels 152 auf der linken Seite des Fahrzeugs und des Rückspiegel 153 der Fahrer blickt (S860, S890, S920, S950, S980, S1010 und S1040).
Auf der Basis des Erfassungsergebnisses der Blicklinienrichtung wird bestimmt, ob der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion ausführt DR oder nicht (S830). In dem Fall, in dem bestimmt wird, dass der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion ausführt DR (JA bei S830), wird die HUD-Einrichtung 7, die die Anzeigbildschirmregion DR aufweist, die an einer Position angeordnet ist, die visuell durch den Fahrer erkannt werden kann, veranlasst die Anzeigeinformation eines Inhalts anzuzeigen, der gemäß der Region auf die der Fahrer blickt vorliegt (S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190 und S1200).
Bei der Fahrunterstützungsvorrichtung 101, die wie vorstehend beschrieben konstruiert ist, wenn der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführt, werden die Anzeigeinformationen des vorab festgelegten Inhalts in der Anzeigbildschirmregion DR, die sich an der Position befindet, die der Fahrer visuell erkennen kann, gemäß der Blickregion, auf die durch den Fahrer geblickt wird, angezeigt. Das heißt, zum Anzeigen der Anzeigeinformationen des vorab festgelegten Inhalts in der Anzeigbildschirmregion DR gemäß der Blickregion, auf die durch den Fahrer geblickt wird, muss der Fahrer auf eine bestimmte Region in dem Fahrzeug blicken und nach dem Blick die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR ausführen. Demzufolge wird in dem Fall, in dem der Fahrer einfach auf eine bestimmte Region blickt, die Blickregion nicht in der Anzeigbildschirmregion DR angezeigt. Anzeige von Anzeigeinformationen eines Inhalts gemäß einer Blickregion kann angemessen ausgeführt werden, wenn es der Fahrer wünscht.
In dem Fall, in dem der Anzeigebildschirm 131 der Navigationseinrichtung in der Blickregion beinhaltet ist (JA bei S1080), wird die HUD-Einrichtung 7 veranlasst, ein Bild anzuzeigen, das in dem Anzeigbildschirm 131 der Navigationseinrichtung angezeigt wird (S1090). Demzufolge, in dem Fall, indem der Fahrer einfach auf den Anzeigebildschirm 131 blickt, wird das Bild, das in dem Anzeigbildschirm 131 angezeigt wird, nicht in der Anzeigbildschirmregion DR angezeigt. Wenn der Fahrer wünscht, dass das Bild, das in dem Anzeigbildschirm 131 angezeigt wird, in der Anzeigebildschirmregion DR angezeigt wird, wird dies angemessen ausgeführt.
In dem Fall, in dem Fahrzeugzustandsinformationen (beispielswelse Fahrzeuggeschwindigkeit) die durch die Instrumenteneinheit 140 angezeigt werden, in der Blickregion beinhaltet sind (JA bei S1100), wird die HUD-Einrichtung 7 veranlasst, die Fahrzeugzustandsinformationen anzuzeigen, die in der Blickregion beinhaltet sind (S1100). Demzufolge, in dem Fall, in dem der Fahrer einfach auf die Instrumenteneinheit 140 blickt, werden die Fahrzeugzustandsinformation, die in der Instrumenteneinheit 140 angezeigt werden, nicht in der Anzeigbildschirmregion DR angezeigt. Wenn der Fahrer wünscht, dass die Fahrzeugzustandsinformationen, die durch die Instrumenteneinheit 140 angezeigt werden, in der Anzeigebildschirmregion DR angezeigt werden, wird dies angemessen ausgeführt.
Die Audiobedienschaltergruppe 132 und die Klimaanlagenbedienschaltergruppe 133, die zum Ändern der Operationszustände des fahrzeuggebundenen Audiosystems und der Autoklimaanlage, die in dem Fahrzeug angebracht ist, operiert werden, befinden sich in dem Armaturenbrett 130 das visuell durch den Fahrer erkannt werden kann. In dem Fall, in dem ein Schalter in der Audiobedienschaltergruppe 132 und der Klimaanlagenbedienschaltergruppe 133 in der Blickregion beinhaltet sind (JA bei S1120 und JA bei S1140), wird die HUD-Einrichtung 7 veranlasst, Anzeigeinformation anzuzeigen, die einen gegenwärtigen Operationszustand angeben, der durch einen Schalter geändert werden kann, der in der Blickregion beinhaltet ist (S1130 und S1150). Demzufolge werden in dem Fall, in dem der Fahrer einfach auf die Audiobedienschaltergruppe 132 oder die Klimaanlagenbedienschaltergruppe 133 blickt, Informationen, die einen Operationszustand angeben, der durch die Schalter in der Audiobedienschaltergruppe 132 oder der Klimaanlagenbedienschaltergruppe 133 geändert werden kann, nicht in der Anzeigbildschirmregion DR angezeigt, wenn der Fahrer wünscht Informationen, die den gegenwärtigen Operationszustand angeben, der durch die Schalter in der Schaltergruppen 132 und 133 geändert werden kann, in der Anzeigebildschirmregion DR anzuzeigen, kann dies angemessen ausgeführt werden.
Die Kameras 111, 112 und 113 nehmen sukzessive Bilder der Szenerie, die in den Spiegeln 151, 152 und 153 reflektiert wird, zum Überprüfen der Rückseite des Fahrzeugs, zum Erlangen eines Szeneriebild auf der Rückseite des Fahrzeugs. In dem Fall, in dem die Spiegel 151, 152 oder 153 in der Blickregion beinhaltet sind (JA bei S1160, JA bei S1180 oder NEIN bei S1180), wird die HUD-Einrichtung 7 veranlasst, das Szeneriebild anzuzeigen, das durch die Kamera 111, 112 oder 113 aufgenommen wird (S1170, S1190 oder S1200). Demzufolge wird in dem Fall, in dem der Fahrer einfach auf die Spiegel 151, 152 oder 153 blickt, das Szeneriebild, das durch die Kamera 111, 112 oder 113 aufgenommen wird, nicht in der Anzeigbildschirmregion DR angezeigt. Wenn der Fahrer wünscht, dass das Szeneriebild, das durch die Kamera 111, 112 oder 113 aufgenommen wird, in der Anzeigebildschirmregion DR angezeigt wird, kann dies angemessen ausgeführt werden.
In der vorstehend beschriebenen Ausführungsform entspricht die Verarbeitung von S810 einer Gesichtsbildaufnahmeeinrichtung und einer Gesichtsbildaufnahmeprozedur, die Verarbeitung von S820 entspricht einer Blicklinienrichtungserfassungseinrichtung und einer Blicklinienrichtungserfassungsprozedur, die Verarbeitungen von S860, S890, S920, S950, S980, S1010 und S1040 entsprechen einer Blickregionfestlegungseinrichtung und einer Blickregionfestlegungsprozedur, die Verarbeitung von S830 entspricht einer Blicklinienbewegungsbestimmungseinrichtung und einer Blicklinienbewegungsbestimmungsverarbeitung und die Verarbeitungen bei S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190 und S1200 entsprechen einer Anzeigestarteinrichtung und einer Anzeigestartprozedur.
Der Anzeigebildschirm 131 entspricht einem Anzeigbildschirm in einem Fahrzeug, die Instrumenteneinheit 140 entspricht einer Fahrzeugzustandsanzeigeeinrichtung, die Audiobedienschaltergruppe 132 und die Klimaanlagenbedienschaltergruppe 133 entsprechen Operationseinheiten, die Spiegeln 151, 152 und 153 entsprechen fahrzeuggebundenen Spiegeln und die Kameras 111, 112 und 113 entsprechen einer Heck-Szeneriebildaufnahmeeinrichtung.
(Siebte Ausführungsform)
Nachfolgend wird eine siebte Ausführungsform mit Bezug auf die Zeichnungen erläutert. In der siebten Ausführungsform werden nur Teile, die unterschiedlich zur sechsten Ausführungsform sind, beschrieben.
Die Fahrunterstützungsvorrichtung 101 der siebten Ausführungsform ist die gleiche wie die der sechsten Ausführungsform mit Ausnahme des Punkts, dass die Anzeigeverarbeitung geändert ist.
Die Anzeigeverarbeitung der siebten Ausführungsform ist ähnlich zu der der sechsten Ausführungsform mit Ausnahme des Punkts, dass, wie dargestellt ist in 17A und 17B, die Verarbeitung bei S835 hinzugefügt ist.
In dem Fall, in dem die Blicklinie des Fahrers bei S830 auf den Anzeigebildschirmregion DR gerichtet ist (JA bei S830), wird bei S835 bestimmt, ob der Fahrer blinzelt oder nicht, auf der Basis der Form des Auges, das in der Verarbeitung von S820 extrahiert wird.
In dem Fall, in dem der Fahrer blinzelt (JA bei S835), fährt die Routine mit S840 fort. Andererseits, in dem Fall, in dem der Fahrer nicht blinzelt (NEIN bei S835), fährt die Routine fort mit S1070.
Bei der Fahrunterstützungsvorrichtung 101, die wie vorstehend beschrieben konstruiert ist, wird unter Verwendung der erlangten Gesichtsbilddaten bestimmt, ob der Fahrer geblinzelt hat oder nicht (S835). In dem Fall, in dem bestimmt wird, dass der Fahrer die Bewegung zum Richten seiner Blicklinie auf die Anzeigebildschirmregion DR ausgeführt hat (JA bei S830) und dass der Fahrer geblinzelt hat (JA bei S835), veranlasst die Fahrunterstützungsvorrichtung 101 die HUD-Einrichtung 7 Anzeigen der Anzeigeinformationen zu starten.
Bei der Fahrunterstützungsvorrichtung 101, die wie vorstehend beschrieben konstruiert ist, muss der Fahrer zum Anzeigen der Blickregion GR in der Anzeigbildschirmregion DR, auf eine bestimmte Region vor dem Fahrzeug blicken und muss nach dem Blick zusätzlich zur Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion DR blinzeln. Das heißt, in dem Fall, in dem der Fahrer die Bewegung zum Richten der Blicklinie auf die Anzeigebildschirmregion nach einem Blick ausführt DR, obwohl der Fahrer nicht wünscht, die Blickregion GR anzuzeigen, da der Fahrer nicht blinzelt, zeigt die Fahrunterstützungsvorrichtung 101 die Anzeigeinformation nicht an. Demzufolge kann die Fahrunterstützungsvorrichtung 101 angemessener bestimmen, ob der Fahrer Anzeigen der Blickregion GR wünscht oder nicht.
In der vorstehend beschriebenen Ausführungsform entspricht die Verarbeitung von S835 einer Blinzelbestimmungseinrichtung.
Beispielsweise wird in der vorhergehenden Ausführungsform ein Bild in der Windschutzscheibe durch Verwenden der HUD-Einrichtung 7 angezeigt. Beispielsweise ist ebenso möglich, zu eine Vorrichtung anzubringen, die einen Anzeigebildschirm wie eine Flüssigkristallanzeigeeinrichtung vor dem Fahrer in einem Fahrzeug aufweist und das Blickregionbild in dem Anzeigbildschirm anzeigt.
Obwohl das bewegte Objekt in der Mitte der Anzeigbildschirmregion in der zweiten Ausführungsform angezeigt wird und die hervorstechende Region in der Mitte der Anzeigbildschirmregion in der dritten Ausführungsform angezeigt wird, kann durch Ausführen einer betonten Anzeige durch Umgeben des bewegten Objekts oder der hervorstechende Region, die in der Anzeigbildschirmregion DR angezeigt werden, mit einem Rechteck oder dergleichen, Erkennen der Existenz des bewegten Objekts oder der hervorstechenden Region vereinfacht werden.
In der fünften Ausführungsform, wenn der Fahrer blickt, werden die Blickregionbilddaten gespeichert. Wenn der Fahrer die Bewegung zum Richten die Blicklinie hin zum Anzeigebildschirmregion DR wie in der erste Ausführungsform ausführt, können nur die Blickregionbilddaten, wenn der Teil der Blickregion GR in der Umgebung auf die durch den Fahrer geblickt wird in der Szenerie vor dem Fahrzeug in der Anzeigbildschirmregion DR angezeigt werden, die sich an einer Position befindet, die visuell durch den Fahrer erkannt werden kann, gespeichert werden. Es is ebenso möglich, Blickregionbilddaten zu speichern, wenn der Fahrer einen Erlangungsknopf während werfen eines Blicks drückt.
In der fünften Ausführungsform wird, ob das Fahrzeug gestoppt ist oder nicht, auf der Basis eines Erfassungsergebnisses des Fahrzeugssensors 9 bestimmt. Beispielsweise ist ebenso möglich, zu bestimmen, dass das Fahrzeug gestoppt ist, wenn die Schaltposition ”Parken (P)” ist oder die Handbremse angezogen ist.
In der sechsten Ausführungsform wird die HUD-Einrichtung 7 veranlasst, ein Bild anzuzeigen, das in dem Anzeigbildschirm 131 der Navigationseinrichtung angezeigt wird. In dem Fall, in dem sich ein Smartphone in einem Fahrzeug befindet, ist es ebenso möglich, die HUD-Einrichtung 7 zu veranlassen, ein Bild anzuzeigen, das in dem Anzeigbildschirm des Smartphone angezeigt wird, wenn der Fahrer auf den Anzeigebildschirm des Smartphones blickt. In diesem Fall ist es beispielsweise möglich, so zu konstruieren, dass Funkkommunikation zwischen der Navigationseinrichtung und dem Smartphone ausgeführt werden kann und die Fahrunterstützungsvorrichtung 101 Bilddaten, die das Bild ausdrücken, das in dem Anzeigbildschirm der Smartphones angezeigt wird, von der Navigations-ECU 103 mittels das Fahrzeuggebundenes LAN 102 erlangt.
Obwohl die Kameras 111 und 112 in der sechsten Ausführungsform in den Seitenspiegels 151 bzw. 152 angebracht sind, können die Kameras 111 und 112 in einem Heckteil des Fahrzeugs angebracht sein.
Obwohl die hintere Kamera 113 in der sechsten Ausführungsform in der hinteren Stoßstange angebracht ist, kann die hintere Kamera 113 nahe des Rückspiegels 153 angebracht werden.
Obwohl die HUD-Einrichtung 7 in der sechsten Ausführungsform veranlasst wird, die Bilder aufgenommen durch die Kameras 111, 112 und 113 anzuzeigen, kann durch Verarbeiten von Bildern, die durch die rechte Kamera 111, die linke Kamera 112 und die hintere Kamera 113 aufgenommen werden, ein Bild in dem Seitenspiegel 151 auf der rechten Seite, ein Bild in dem Seitenspiegel 152 auf der linken Seite oder ein Bild in dem Rückspiegel 153 betrachtet vom Gesichtspunkt des Fahrers, der im Fahrersitz sitzt, in der Anzeigbildschirmregion DR angezeigt werden.
Obwohl in der sechsten Ausführungsform ein Bild durch Verwenden der HUD-Einrichtung 7 angezeigt wird, ist die vorliegende Erfindung nicht auf die Ausführungsform beschränkt und kann auf eine Vorrichtung angewandt werden, die ein Bild vor dem Fahrer anzeigen kann (beispielsweise eine Flüssigkristallanzeige).
Obwohl in der sechsten Ausführungsform Bilddaten aufgenommen durch die Kameras 111, 112 und 113 in den jeweiligen Bildaufnahmeplatten 114, 115 und 116 gespeichert werden, können Bilddaten erlangt durch die Kameras 111, 112 und 113 in einer einzelnen Bildaufnahmeplatte gespeichert werden.
Während die vorliegende Offenbarung mit Bezug auf ihre bevorzugten Ausführungsformen beschrieben ist, ist es ersichtlich, dass die Offenbarung nicht auf die bevorzugten Ausführungsformen und Modifikationen beschränkt ist. Die vorliegende Offenbarung soll unterschiedliche Modifikationen und äquivalente Anordnungen abdecken. Ferner befinden sich neben den unterschiedlichen Kombinationen und Konfigurationen, die bevorzugt sind, weitere Kombinationen und Konfigurationen, die mehr, weniger oder nur ein einzelnes Element beinhalten, ebenso im Lichte der Lehre und im Umfang der vorliegenden Offenbarung.

Claims

Fahrunterstützungsvorrichtung, aufweisend: eine Gesichtsbildaufnahmeeinrichtung (S10, S810), die sukzessive ein Gesicht eines Fahrers eines Fahrzeugs zum Aufnehmen eines Gesichtsbilds abbildet; eine Blicklinienrichtungserfassungseinrichtung (S30, S820), die eine Blicklinienrichtung des Fahrers durch Verwenden des Gesichtsbilds, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, erfasst; eine Blickregionfestlegungseinrichtung (S90, S860, S890, S920, S950, S980, S1010, S1040), die eine Blickregion, auf die der Fahrer blickt, basierend auf der Blicklinienrichtung, die durch die Blicklinienrichtungserfassungseinrichtung erfasst wird, festlegt; eine Anzeigeeinrichtung (7) mit einem Anzeigbildschirm, der sich an einer Position befindet, bei der der Fahrer den Anzeigebildschirm visuell erkennt; eine Blicklinienbewegungsbestimmungseinrichtung (S40, S830), die bestimmt, ob eine Bewegung zum Bewegen der Blicklinie des Fahrers mit einer Anzeigestartanweisungsbewegung zusammenpasst, die vorhergehend zum Anweisen eines Starts einer Anzeige durch die Anzeigeeinrichtung festgelegt wird, basierend auf einem Erfassungsergebnis durch die Blicklinienrichtungserfassungseinrichtung; und eine Anzeigestarteinrichtung (S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200), die die Anzeigeeinrichtung zum Starten einer Anzeige von Anzeigeinformationen eines Inhalts steuert, der vorhergehnd gemäß der Blickregion festgelegt wird, die durch die Blickregionfestlegungseinrichtung festgelegt wird, in einem Fall, in dem die Blicklinienbewegungsbestimmungseinrichtung bestimmt, dass die Bewegung zum Bewegen der Blicklinie des Fahrers mit der Anzeigestartanweisungsbewegungsübereinstimmung zusammenpasst.
Fahrunterstützungsvorrichtung gemäß Anspruch 1, ferner aufweisend: eine Szeneriebildaufnahmeeinrichtung (S20), die sukzessive eine Szenerie vor dem Fahrzeug abbildet, um ein Szeneriebild aufzunehmen, wobei die Anzeigeeinrichtung ein Bild in einer vorbestimmten Anzeigeregion auf dem Anzeigebildschirm anzeigt, wobei das Bild, das in dem Szeneriebild beinhaltet ist, durch die Szeneriebildaufnahmeeinrichtung erlangt wird, und wobei die Anzeigestarteinrichtung die Blickregion, die durch die Blickregionfestlegungseinrichtung festgelegt wird, als die Anzeigeregion festlegt und ferner das Bild in der Anzeigeregion als die Anzeigeinformationen festlegt, wobei das Bild, das in dem Szeneriebild beinhaltet ist, durch die die Szeneriebildaufnahmeeinrichtung erlangt wird.
Fahrunterstützungsvorrichtung gemäß Anspruch 2, ferner aufweisend: eine Blinzelbestimmungseinrichtung (S120), die unter Verwendung eines Gesichtsbilds, das durch die Gesichtsbildaufnahmeeinrichtung erlangt wird, bestimmt, ob der Fahrer blinzelt, wobei die Anzeigeeinrichtung eine Bewegtbildanzeige oder eine Standbildanzeige des Bilds in der Anzeigeregion basierend auf einem Bestimmungsergebnis der Blinzelbestimmungseinrichtung ausführt.
Fahrunterstützungsvorrichtung gemäß Anspruch 2, ferner aufweisend: eine bewegtes-Objekt-Bestimmungseinrichtung (S220, S260), die unter Verwendung des Szeneriebilds, das durch die Szeneriebildaufnahmeeinrichtung erlangt wird, bestimmt, ob ein bewegtes Objekt in der Blickregion existiert, die durch die Blickregionfestlegungseinrichtung festgelegt wird, wobei die Anzeigeeinrichtung das Bild in der Anzeigeregion als ein bewegtes Bild anzeigt, in einem Fall, in dem die bewegtes-Objekt-Bestimmungseinrichtung bestimmt, dass das bewegte Objekt in der Blickregion existiert.
Fahrunterstützungsvorrichtung gemäß Anspruch 4, ferner aufweisend: eine erste Anzeigeregionsfestlegungseinrichtung (S270), die die Anzeigeregion festlegt, so dass das bewegte Objekt in der Mitte des Anzeigbildschirm positioniert ist, in einem Fall, in dem die bewegtes-Objekt-Bestimmungseinrichtung bestimmt, dass das bewegte Objekt in der Blickregion existiert.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 2 bis 5, ferner aufweisend: eine hervorstechende-Region-Bestimmungseinrichtung (S360), die unter Verwendung des Szeneriebilds, das durch die Szeneriebildaufnahmeeinrichtung erlangt wird, bestimmt, ob eine hervorstechende Region in der Blickregion existiert, die durch die Blickregionfestlegungseinrichtung festgelegt wird; und eine zweite Anzeigeregionfestlegungseinrichtung (S370), die die Anzeigeregion festlegt, so dass die hervorstechende Region in der Mitte des Anzeigbildschirms positioniert ist, in einem Fall, in dem die hervorstechende-Region-Bestimmungseinrichtung bestimmt, dass die hervorstechende Region in der Blickregion existiert.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 2 bis 6, ferner aufweisend: eine Blickbestimmungseinrichtung (S420), die basierend auf der Blicklinienrichtung, die durch die Blicklinienrichtungserfassungseinrichtung erfasst wird, bestimmt, ob der Fahrer auf einen peripheren Teil des Anzeigbildschirms blickt; und eine dritte Anzeigeregionfestlegungseinrichtung (S430), die die Anzeigeregion festlegt, so dass ein Punkt auf den durch den Fahrer in dem peripheren Teil des Anzeigbildschirms geblickt wird, in der Mitte des Anzeigbildschirm positioniert ist, in einem Fall, in dem die Blickbestimmungseinrichtung bestimmt, dass der Fahrer auf den peripheren Teil des Anzeigbildschirms blickt.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 2 bis 7, ferner aufweisend: ein Bildspeichereinrichtung (S510, S520), die ein Bild in der Blickregion extrahiert, die durch die Blickregionfestlegungseinrichtung festgelegt wird, wobei das Bild in dem Szeneriebild beinhaltet ist, das durch die Szeneriebildaufnahmeeinrichtung erlangt wird, und extrahierte Bilder in chronologischer Reihenfolge speichert; eine Anzeigeeinrichtung (S630, S700, S730) für ein gespeichertes Bild, die ein Bild anzeigt, das in der Bildspeichereinrichtung gespeichert ist; ein Gesichtsorientierungsrichtungserfassungseinrichtung (S30), die eine Gesichtsorientierungsrichtung des Fahrers durch Verwenden eines Gesichtsbilds erfasst, das durch die Gesichtsbildaufnahmeeinrichtung erlangt wird; und eine Anzeigeanweisungseinrichtung (S660 bis S690, S710 bis S720), die ein Bild, das durch die Speicherbildanzeigeeinrichtung angezeigt wird, basierend auf der Gesichtsorientierungsrichtung anweist, die durch die Gesichtsorientierungsrichtungserfassungseinrichtung erfasst wird.
Fahrunterstützungsvorrichtung gemäß Anspruch 1, wobei ein Anzeigbildschirm einer fahrzeuggebundenen Anzeigeeinrichtung, die in einer Fahrgastzelle des Fahrzeugs angebracht ist, einen Fahrzeugfahrgastzellenanzeigbildschirm (131) bereitstellt, und wobei die Anzeigestarteinrichtung ein Bild, das in dem Fahrzeugfahrgastzellenanzeigbildschirm angezeigt wird, als die Anzeigeinformation festlegt, in einem Fall, in dem der Fahrzeugfahrgastzellenanzeigbildschirm in der Blickregion beinhaltet ist.
Fahrunterstützungsvorrichtung gemäß Anspruch 1 oder 9, ferner aufweisend: eine Fahrzeugzustandsanzeigeeinrichtung (140), die an einer Position angeordnet ist, bei der der Fahrer die Fahrzeugzustandsanzeigeeinrichtung visuell erkennt, und Fahrzeugzustandsinformationen anzeigt, die einen Zustand des Fahrzeugs angeben, wobei die Anzeigestarteinrichtung die Fahrzeugzustandsinformationen, die in der Blickregion beinhaltet sind, als die Anzeigeinformation in einem Fall festlegt, in dem Fahrzeugzustandsinformationen, die durch die Fahrzeugzustandsanzeigeeinrichtung angezeigt werden, in der Blickregion beinhaltet sind.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 1, 9 und 10, wobei eine Operationseinheit (132, 133), die operiert wird, wenn ein Operationszustand einer fahrzeuggebundenen Vorrichtung, die in dem Fahrzeug angebracht ist, geändert wird, an einer Position angeordnet ist, bei der die Operationseinheit visuell durch einen Fahrer erkannt wird, und wobei die Anzeigestarteinrichtung Informationen, die einen Operationszustand angeben, der durch die die Operationseinheit änderbar ist und in der Blickregion beinhaltet ist, als die Anzeigeinformationen festlegt, wobei der Operationszustand in einem gegenwärtigen Operationszustand der fahrzeuggebundenen Vorrichtung in einem Fall beinhaltet ist, in dem die Operationseinheit in der Blickregion beinhaltet ist.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 1, 9, 10 und 11, ferner aufweisend: eine Rückwärtsszeneriebildaufnahmeeinrichtung (111, 112, 113), die sukzessive eine Szenerie die auf einem fahrzeuggebundenen Spiegel (151, 152, 153) reflektiert wird, zum Überprüfen eines Hecks des Fahrzeugs abbildet, zum Erlangen eines Rückwärtsszeneriebilds des Fahrzeugs, wobei die Anzeigestarteinrichtung das Szeneriebild, das durch die Rückwärtsszeneriebildaufnahmeeinrichtung erlangt wird, als die Anzeigeinformationen festlegt, in einem Fall, in dem der fahrzeuggebundene Spiegel in der Blickregion beinhaltet ist.
Fahrunterstützungsvorrichtung gemäß einem der Ansprüche 1, 9, 10, 11 und 12, ferner aufweisend: eine Blinzelbestimmungseinrichtung (S835), die unter Verwendung eines Gesichtsbildes, das durch die Gesichtsbildaufnahmeeinrichtung erlangt wird, bestimmt, ob der Fahrer blinzelt, wobei die Anzeigestarteinrichtung die Anzeigeeinrichtung zum Starten einer Anzeige der Anzeigeinformation steuert, in einem Fall, in dem die Blicklinienbewegungsbestimmungseinrichtung bestimmt, dass die Bewegung zum Bewegen der Blicklinie durch den Fahrer mit der Anzeigestartanweisungsbewegung zusammenpasst und die Blinzelbestimmungseinrichtung bestimmt, dass der Fahrer blinzelt.
Fahrunterstützungsverfahre, umfassend: sukzessives Abbilden eines Gesichts eines Fahrers eines Fahrzeugs zum Aufnehmen eines Gesichtsbilds (S10, S810); Erfassen einer Blicklinienrichtung des Fahrers durch Verwendung des Gesichtsbilds (S30, S820); Festlegen einer Blickregion, auf die der Fahrer blickt, basierend auf der Blicklinienrichtung (S90, S860, S890, S920, S950, S980, S1010, S1040); Bestimmen basierend auf einem Erfassungsergebnis, wenn die Blicklinienrichtung erfasst wird, ob eine Bewegung zum Bewegen der Blicklinie des Fahrers mit einer Anzeigestartanweisungsbewegung zusammenpasst, die vorab festgelegt wird, um einen Start einer Anzeige anzuweisen (S40, S830); und Anzeigen von Anzeigeinformationen eines Inhalts, der vorab gemäß der Blickregion festgelegt wird, auf einem Anzeigbildschirm, der an einer Position angeordnet ist, bei der der Fahrer den Anzeigebildschirm visuell erkennt, in einem Fall, in dem die Bewegung zum Bewegen der Blicklinie des Fahrers mit der Anzeigestartanweisungsbewegungsübereinstimmung zusammenpasst (S50, S110, S840, S1070, S1090, S1110, S1130, S1150, S1170, S1190, S1200).