DE102022103251B4

DE102022103251B4 - Umgebungsbild-Anzeigevorrichtung

Info

Publication number: DE102022103251B4
Application number: DE102022103251.5A
Authority: DE
Inventors: Shinya Aoki; Yoshitsugu YAMASHITA; Akira Sugie; Tomoki MIYATA; Jun Kamishima; Yamato YORIFUJI; Kohei Maejima
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2021-02-17
Filing date: 2022-02-11
Publication date: 2023-05-04
Anticipated expiration: 2042-02-12
Also published as: US11830409B2; DE102022103251A1; CN114945083A; JP2022125859A; US20220262297A1

Abstract

Umgebungsbild-Anzeigevorrichtung mit:einer Radgeschwindigkeit-Bezugseinheit (F31), die Radgeschwindigkeiten eines Fahrzeugs (9) bezieht;einer Radschlupf-Bestimmungseinheit (F32), die einen Schlupfzustand oder einen Nicht-Schlupfzustand eines Rads des Fahrzeugs basierend auf den Radgeschwindigkeiten bestimmt, die von der Radgeschwindigkeit-Bezugseinheit bezogen werden;einer Bildbezugseinheit (F1), die mehrere Kamerabilder von jeweiligen Kameras (2) bezieht, wobei jede der Kameras nacheinander einen Umgebungsbereich des Fahrzeugs aufnimmt;einem Bildspeicher (M1), der als ein vergangenes Bild das Kamerabild speichert, das einen Bereich in einer Fahrtrichtung des Fahrzeugs angibt, unter den Kamerabildern, die von der Bildbezugseinheit bezogen werden;einer Verbundbild-Erzeugungseinheit (F7), die ein Umgebungsbild erzeugt, das eine Umgebung des Fahrzeugs durch Synthetisieren der Kamerabilder angibt, die von der Bildbezugseinheit bezogen werden; undeiner Anzeigesteuereinheit (F8), die das Umgebungsbild, das von der Verbundbild-Erzeugungseinheit erzeugt wird, auf einer Anzeige (3) anzeigt, wobei,die Anzeigesteuereinheit in dem Nicht-Schlupfzustand ein transparentes Bild anzeigt, das auf transparente Weise einen Abschnitt unter einem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird, und,die Anzeigesteuereinheit in dem Schlupfzustand eine Anzeige des transparenten Bildes deaktiviert, das den Abschnitt unter dem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird.

Description

Die vorliegende Offenbarung betrifft eine Umgebungsbild-Anzeigevorrichtung.
Herkömmlicherweise ist eine Umgebungsüberwachungsvorrichtung bekannt, die eine Unterbodensituation auf einer Anzeigevorrichtung anzeigt.
Die vorliegende Offenbarung stellt eine Umgebungsüberwachungsvorrichtung bereit, die konfiguriert zum: Beziehen von Radgeschwindigkeiten eines Fahrzeugs; Bestimmen eines Schlupfzustands oder eines Nicht-Schlupfzustands eines Rads des Fahrzeugs basierend auf den bezogenen Radgeschwindigkeiten; Beziehen von mehreren Kamerabildern von jeweiligen Kameras; Speichern des Kamerabildes, das einen Bereich in einer Fahrtrichtung des Fahrzeugs angibt, als ein früheres Bild; Erzeugen eines Umgebungsbildes, das eine Umgebung bzw. Peripherie des Fahrzeugs durch Synthetisieren der Kamerabilder angibt, wobei das Umgebungsbild auf einer Anzeige angezeigt wird. Die Umgebungsbild-Anzeigevorrichtung zeigt in dem Nicht-Schlupfzustand ein transparentes Bild an, das auf transparente Weise einen Abschnitt unter einem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird. Die Umgebungsbild-Anzeigevorrichtung deaktiviert in dem Schlupfzustand die Anzeige des transparenten Bildes.
Die Druckschrift DE 10 2014 204 872 A1 zeigt ein Anzeigesystem für ein Fahrzeug sowie ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs auf einer Anzeigevorrichtung des Fahrzeugs, zum Beispiel in einer Ansicht von oben, welche das Fahrzeug in der Umgebung darstellt. Bei dem Verfahren wird eine Bildinformation einer Umgebung des Fahrzeugs an einer ersten Position erfasst. Zusätzlich wird eine Bewegung des Fahrzeugs von der ersten Position zu einer zweiten Position erfasst, wobei sich in der zweiten Position zumindest ein Teil der in der Bildinformation erfassten Umgebung unter dem Fahrzeug befindet. Der Teil der erfassten Bildinformation, welcher die Umgebung unter dem Fahrzeug zeigt, wenn sich das Fahrzeug in der zweiten Position befindet, wird in Kombination mit einer vorgegebenen Abbildung des Fahrzeugs in der zweiten Position auf einer Anzeigevorrichtung des Fahrzeugs dargestellt.
Eine Aufgabe der vorliegenden Offenbarung ist es, eine Umgebungsbild-Anzeigevorrichtung mit hoher Zuverlässigkeit bereitzustellen.
Diese Aufgabe wird durch die Umgebungsbild-Anzeigevorrichtung gemäß dem Anspruch 1 gelöst. Erfindungsgemäße Weiterbildungen sind Gegenstand der Unteransprüche.
Die vorstehenden und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung in Bezug auf die zugehörigen Zeichnungen klarer. In den Zeichnungen:

1 ist ein Blockdiagramm, das eine Konfiguration eines Umgebungsbild-Anzeigesystems zeigt;
2 ist ein Diagramm, das eine Installationsposition und einen Bildaufnahmebereich jeder Kamera zeigt;
3 ist ein Blockdiagramm, das eine Konfiguration einer Bilderzeugungs-ECU zeigt;
4 ist ein Diagramm, das eine Projektionsoberfläche zeigt, die zum Erzeugen eines Fahrtrichtungsbildes verwendet wird;
5 ist ein Diagramm, das ein Fahrtrichtungsbild zeigt, das ein transparentes Bild enthält;
6 ist ein Diagramm, das ein Anzeigebild zeigt;
7 ist ein Ablaufdiagramm, das einen Steuerprozess zeigt, der von einem Umgebungsbild-Anzeigesystem ausgeführt wird;
8 ist ein Ablaufdiagramm, das einen Steuerprozess zeigt, der von einem Umgebungsbild-Anzeigesystem gemäß einem zweiten Ausführungsbeispiel ausgeführt wird;
9 ist ein Diagramm, das ein Fahrtrichtungsbild zeigt, das ein transparentes Bild gemäß dem zweiten Ausführungsbeispiel enthält;
10 ist ein Diagramm, das ein Fahrtrichtungsbild in einem Änderungszustand von dem transparenten Bild zu einem nicht-transparenten Bild gemäß dem zweiten Ausführungsbeispiel zeigt;
11 ist ein weiteres Diagramm, das ein Fahrtrichtungsbild zeigt, welches das nicht-transparente Bild gemäß dem zweiten Ausführungsbeispiel enthält;
12 ist ein Ablaufdiagramm, das einen Steuerprozess zeigt, der von einem Umgebungsbild-Anzeigesystem gemäß einem dritten Ausführungsbeispiel ausgeführt wird;
13 ist ein Diagramm, das ein Fahrtrichtungsbild in einem Änderungszustand von dem transparenten Bild zu einem nicht-transparenten Bild gemäß dem dritten Ausführungsbeispiel zeigt; und
14 ist ein weiteres Diagramm, das ein Fahrtrichtungsbild in dem Änderungszustand von dem transparenten Bild zu dem nicht-transparenten Bild gemäß dem dritten Ausführungsbeispiel zeigt.

Die ungeprüfte japanische Patentveröffentlichung Nr. JP 2016-21653 A offenbart eine Umgebungsüberwachungsvorrichtung, die eine Unterbodensituation eines Fahrzeugs auf einer Anzeigevorrichtung anzeigt. Der Unterbodenbereich ist ein blinder Fleck in der Umgebung des Fahrzeugs. Auf die Offenbarung dieses Dokuments wird hier vollinhaltlich Bezug genommen.
In der Struktur des zuvor beschriebenen Dokuments werden der Bewegungsbetrag und die Position des Fahrzeugs basierend auf Informationen wie beispielsweise optischem Fluss, Radgeschwindigkeit, GPS usw. geschätzt, und das vergangene Bild wird als ein Unterbodenbild angezeigt. Jedoch erfordert eine Bildverarbeitung, wie beispielsweise ein optischer Fluss, eine große Verarbeitungslast, und dies kann Zeit benötigen, um den Bewegungsbetrag des Fahrzeugs zu schätzen. Wenn der Bewegungsbetrag des Weiteren basierend auf der Radgeschwindigkeit geschätzt wird, kann sich der geschätzte Bewegungsbetrag signifikant von dem tatsächlichen Bewegungsbetrag unterscheiden, wenn das Rad in einem Schlupfzustand ist. Wenn ein fehlerhaftes Bild als das Unterbodenbild angezeigt wird, kann der Benutzer die Situation unter dem Fahrzeugboden missverstehen, und eine Zuverlässigkeit des Umgebungsbilds kann abnehmen. Aus diesem Grund und aus anderen, nicht beschriebenen Gründen ist eine weitere Verbesserung einer Umgebungsbild-Anzeigevorrichtung erforderlich.
Gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine Umgebungsbild-Anzeigevorrichtung: eine Radgeschwindigkeit-Bezugseinheit, die Radgeschwindigkeiten eines Fahrzeugs bezieht; eine Radschlupf-Bestimmungseinheit, die einen Schlupfzustand oder einen Nicht-Schlupfzustand eines Rads des Fahrzeugs basierend auf den Radgeschwindigkeiten bestimmt, die von der Radgeschwindigkeit-Bezugseinheit bezogen werden; eine Bildbezugseinheit, die mehrere Kamerabilder von jeweiligen Kameras bezieht, wobei jede der Kameras nacheinander einen Umgebungsbereich des Fahrzeugs aufnimmt; einen Bildspeicher, der als ein vergangenes Bild das Kamerabild speichert, das einen Bereich in einer Fahrtrichtung des Fahrzeugs angibt, unter den Kamerabildern, die von der Bildbezugseinheit bezogen werden; eine Verbundbild-Erzeugungseinheit, die ein Umgebungsbild erzeugt, das eine Umgebung bzw. Peripherie des Fahrzeugs durch Synthetisieren der Kamerabilder angibt, die von der Bildbezugseinheit bezogen werden; und eine Anzeigesteuereinheit, die das Umgebungsbild, das von der Verbundbild-Erzeugungseinheit erzeugt wird, auf einer Anzeige anzeigt. Die Anzeigesteuereinheit zeigt in dem Nicht-Schlupfzustand ein transparentes Bild an, das auf transparente Weise einen Abschnitt unter einem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird. Die Anzeigesteuereinheit deaktiviert in dem Schlupfzustand eine Anzeige des transparenten Bildes, das den Abschnitt unter dem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird.
Gemäß der zuvor beschriebenen Umgebungsbild-Anzeigevorrichtung zeigt die Anzeigesteuereinheit in dem Nicht-Schlupfzustand das transparentes Bild an, das auf transparente Weise den Abschnitt unter dem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird. In dem Schlupfzustand zeigt die Anzeigesteuereinheit das transparente Bild nicht an, das den Abschnitt unter dem Boden des Fahrzeugs zeigt, durch Verwendung des vergangenen Bildes, das basierend auf den aktuellen Radgeschwindigkeiten ausgewählt wird. Somit ist es in dem Schlupfzustand möglich, zu verhindern, dass der Benutzer eine Unterbodensituation missversteht, indem ein fehlerhaftes Bild als das Unterbodenbild angezeigt wird. Daher ist es möglich, eine Umgebungsbild-Anzeigevorrichtung mit hoher Zuverlässigkeit bereitzustellen.
Die offenbarten Aspekte in dieser Beschreibung unterscheiden sich in ihren technischen Lösungen voneinander, um ihre jeweiligen Aufgaben zu erfüllen. Die in dieser Beschreibung offenbarten Aufgaben, Merkmale und Vorteile werden in Bezug auf die folgenden ausführlichen Beschreibungen und zugehörigen Zeichnungen klarer.
Ausführungsbeispiele werden in Bezug auf die Zeichnungen beschrieben. In einigen Ausführungsbeispielen können funktionell und/oder strukturell entsprechenden und/oder zugehörigen Teilen die gleichen Bezugszeichen gegeben werden, oder Bezugszeichen mit unterschiedlichen Ziffern, die auf gleich oder höher als der Hunderterstelle platziert sind. Für entsprechende Teile und/oder zugehörige Teile kann auf die Beschreibung anderer Ausführungsbeispiele verwiesen werden.
Erstes Ausführungsbeispiel
In 1 zeigt ein Umgebungsbild-Anzeigesystem 1 auf einer Anzeige 3 ein Umgebungsbild bzw. Peripheriebild an, das eine Umgebung bzw. Peripherie eines Eigenfahrzeugs 9 angibt, an dem das System montiert ist. Die Umgebung des Fahrzeugs 9 kann Positionen um das Fahrzeug 9 herum in verschiedenen Richtungen beinhalten, wie beispielsweise vorne, hinten, seitlich und nach unten. Das Umgebungsbild kann ein Bild in Teilrichtungen anstelle der gesamten Umgebung des Fahrzeugs 9 beinhalten. Zum Beispiel kann das Umgebungsbild ein Bild beinhalten, das nur die vordere Richtung oder nur die hintere Richtung des Fahrzeugs zeigt. In der folgenden Beschreibung wird das mit dem Umgebungsbild-Anzeigesystem 1 ausgestattete Fahrzeug 9 auch als ein Eigenfahrzeug bezeichnet.
Zum Beispiel ist das Eigenfahrzeug ein Vierrad-Fahrzeug mit Antriebsleistungsquelle und soll nicht nur auf einer Straße mit befestigter Straßenoberfläche, sondern auch auf einer unbefestigten Straße fahren. Als Fahrmodi hat das Eigenfahrzeug einen Normalmodus und einen Geländemodus. Der zum Fahren auf der befestigten Straße geeignete Fahrmodus wird als der Normalmodus festgelegt. Der zum Fahren auf unbefestigten Straßen geeignete Fahrmodus wird als Geländemodus festgelegt. Das Verteilungssteuerverfahren der Antriebskraft auf die vorderen, hinteren, linken und rechten Räder in dem Normalmodus unterscheidet sich von dem des Geländemodus. Bekanntlich zeigt das Gelände eine Bodenoberfläche mit größeren Konkavitäten und Konvexitäten an, wie beispielsweise eine steinige Straße. Das Gelände kann auch als ein anderes Gelände als Straßengelände verstanden werden, d.h. das Gelände ohne Instandhaltung bzw. Pflege. Die vorliegende Offenbarung kann auch auf ein Fahrzeug angewendet werden, von dem nicht erwartet wird, dass es in dem Gelände fährt. Das Eigenfahrzeug kann ein benzinbetriebenes Fahrzeug mit einem Verbrennungsmotor als eine Antriebsquellenvorrichtung sein oder kann ein Elektrofahrzeug oder ein Hybridfahrzeug mit einem Elektromotor als eine Antriebsquellenvorrichtung sein.
In der folgenden Erläuterung werden eine Vorne-Hinten-Richtung, eine Links-Rechts-Richtung und eine Oben-Unten-Richtung in Bezug auf das Eigenfahrzeug definiert. Insbesondere entspricht die Vorne-Hinten-Richtung einer Längsrichtung des Eigenfahrzeugs. Die Links-Rechts-Richtung entspricht einer Breitenrichtung des Eigenfahrzeugs. Die Oben-Unten-Richtung entspricht einer Höhenrichtung des Eigenfahrzeugs. Aus einem anderen Blickwinkel entspricht die Oben-Unten-Richtung einer Richtung senkrecht zu einer Ebene parallel zu sowohl der Vorne-Hinten-Richtung als auch der Links-Rechts-Richtung. In der vorliegenden Offenbarung wird die Ebene senkrecht zu der Höhenrichtung des Eigenfahrzeugs auch als eine Fahrzeughorizontalebene bezeichnet. Die Richtung senkrecht zu der Höhenrichtung des Eigenfahrzeugs wird auch als eine Fahrzeughorizontalrichtung bezeichnet, und die Fahrzeughorizontalrichtung enthält die Vorne-Hinten-Richtung und die Links-Rechts-Richtung.
Der parallele Zustand in der vorliegenden Offenbarung ist nicht auf einen vollständig parallelen Zustand beschränkt. Ein Zustand, in dem er innerhalb von 20 Grad von einem vollständig parallelen Zustand abgewinkelt ist, kann als der parallele Zustand betrachtet werden. Das heißt, der parallele Zustand kann einen im Wesentlichen parallelen Zustand mit einem Neigungswinkel von 20 Grad oder weniger beinhalten. Ähnlich ist ein senkrechter Zustand in der vorliegenden Offenbarung nicht auf einen vollständig senkrechten Zustand beschränkt.
Das Umgebungsbild-Anzeigesystem 1 beinhaltet eine Bilderzeugungs-ECU 70, eine oder mehrere Kameras 2, eine Anzeige 3, ein Berührungsfeld 4, eine Bedientaste 5 und einen Fahrzeugzustandssensor. In der vorliegenden Offenbarung wird die ECU als Abkürzung für „electronic control unit“ (elektronische Steuereinheit) verwendet und gibt jede Art von elektronischer Steuervorrichtung an.
Die Bilderzeugungs-ECU 70 ist kommunizierbar mit jeder Kamera 2, der Anzeige 3, dem Berührungsfeld 4, der Bedientaste 5 und dem Fahrzeugzustandssensor 6 verbunden. Jede der zuvor erwähnten Vorrichtungen und die Bilderzeugungs-ECU 70 können individuell durch eine dedizierte Leitung verbunden sein oder können über ein in dem Fahrzeug ausgestatteten Kommunikationsnetzwerk verbunden sein. Zum Beispiel können die Kamera 2 und die Bilderzeugungs-ECU 70 direkt durch eine dedizierte Videosignalleitung verbunden sein.
Die Bilderzeugungs-ECU 70 erzeugt ein Verbundbild bzw. zusammengesetztes Bild der Umgebung des Fahrzeugs von einem beliebigen Blickpunkt aus basierend auf den Bilddaten, die von jeder Kamera 2 aufgenommen werden. Die Bilderzeugungs-ECU 70 zeigt das erzeugte Verbundbild auf der Anzeige 3 an. Die Bilderzeugungs-ECU 70 kann den Fahrbetrieb des Fahrzeugs 9 unterstützen, indem sie das Verbundbild erzeugt und anzeigt. Die Bilderzeugungs-ECU 70 wird von einem Computer bereitgestellt. Die Bilderzeugungs-ECU 70 enthält einen Prozessor 71, einen RAM 72, einen Speicher 73, eine Kommunikationsschnittstelle (IF) 74, eine Busleitung, die diese Komponenten verbindet. Die Bilderzeugungs-ECU 70 entspricht einem Beispiel der Umgebungsbild-Anzeigevorrichtung der vorliegenden Offenbarung.
Der Prozessor 71 ist mit dem RAM 72 kombiniert und wird durch eine Hardware zum Ausführen einer arithmetischen Verarbeitung bereitgestellt. Zum Beispiels wird der Prozessor 71 durch eine zentrale Verarbeitungseinheit (CPU) bereitgestellt. Der Prozessor 71 führt durch Zugreifen auf den RAM 72 verschiedene Prozesse zum Funktionieren als die später beschriebenen Funktionsblöcke aus. Der RAM 72 wird durch ein flüchtiges Speichermedium bereitgestellt.
Der Speicher 73 enthält ein nichtflüchtiges Speichermedium wie beispielsweise einen Flash-Speicher. Der Speicher 73 speichert ein Bilderzeugungsprogramm als Firmware und verschiedene Zeichnungsdaten zum Erzeugen des Verbundbildes. Die Zeichnungsdaten enthalten Daten, die eine Form einer Projektionsoberfläche TS angeben, Daten, die ein dreidimensionales (3D) Modell des Aussehens des Eigenfahrzeugs angeben, Daten, die ein 3D-Modell jeder Komponente des Eigenfahrzeugs angeben, oder dergleichen. Zum Beispiel enthalten die Komponenten, für welche die 3D-Modelldaten vorbereitet werden, Reifen, das Lenkrad, das Armaturenbrett, Säulen, Karosseriebleche oder dergleichen. Das Ausführen des Bilderzeugungsprogramms durch den Prozessor 71 entspricht dem Ausführen des Anzeigesteuerverfahrens, das ein Verfahren ist, das dem Bilderzeugungsprogramm entspricht.
Die Kommunikations-IF 74 ist ein Schaltungsmodul, das als eine Schnittstelle zur Kommunikation mit anderen Vorrichtungen bzw. Geräten dient. Die Kommunikations-IF 74 wird durch ein analoges Schaltungselement, einen IC oder dergleichen bereitgestellt. Die Einzelheiten der Bilderzeugungs-ECU 70 werden später beschrieben.
Die Kamera 2 ist eine an dem Fahrzeug montierte Kamera und nimmt Bilder auf, welche die Umgebung des Eigenfahrzeugs angeben, und gibt die aufgenommenen Bilddaten an die Bilderzeugungs-ECU 70 aus. Jede Kamera 2 enthält zumindest ein Objektiv bzw. Linse und ein Bildaufnahmeelement und nimmt das Bild auf, das die Umgebung des Eigenfahrzeugs angibt. Die Kameras 2 sind an unterschiedlichen Montagepositionen des Eigenfahrzeugs montiert, um Bilder mit unterschiedlichen Bereichen bzw. Reichweiten aufzunehmen. Wie in 2 gezeigt, enthält das Umgebungsbild-Anzeigesystem 1 des vorliegenden Ausführungsbeispiels eine vordere Kamera 2F, eine hintere Kamera 2B, eine rechte Kamera 2R und eine linke Kamera 2L als die Kameras 2. Diese vier Kameras 2 sind an verschiedenen Positionen des Eigenfahrzeugs angebracht und nehmen Bilder auf, welche die Umgebung des Eigenfahrzeugs in verschiedenen Richtungen angeben. Im Folgenden werden spezifische Beispiele beschrieben.
Die vordere Kamera 2F ist eine Bildaufnahmevorrichtung, die Bilder in der vorderen Richtung des Fahrzeugs aufnimmt. Die vordere Kamera 2F ist an einem vorderen Ende des Eigenfahrzeugs, wie beispielsweise einem Frontgrill, angebracht, wobei ihre optische Achse 2Fa der vorderen Richtung des Eigenfahrzeugs zugewandt ist. Wenn das Fahrzeug 9 in der Vorwärtsrichtung fährt, fungiert die vordere Kamera 2F als die Kamera 2, die Bilder in der Fahrtrichtung aufnimmt.
Die hintere Kamera 2B ist eine Bildaufnahmevorrichtung, die ein Bild in der Rückwärtsrichtung des Fahrzeugs aufnimmt. Die hintere Kamera 2B ist an einem hinteren Ende des Eigenfahrzeugs angebracht, wie beispielsweise an einer vorgegebenen Position auf einer hinteren Oberfläche der Fahrzeugkarosserie nahe einem hinteren Nummernschild oder einem hinteren Fenster, wobei ihre optische Achse 2Ba der hinteren Richtung des Eigenfahrzeugs zugewandt ist. Wenn das Fahrzeug 9 in der Rückwärtsrichtung fährt, fungiert die hintere Kamera 2B als die Kamera 2, die Bilder in der Fahrtrichtung aufnimmt.
Die rechte Kamera 2R ist eine Bildaufnahmevorrichtung, die ein Bild auf der rechten Seite des Eigenfahrzeugs aufnimmt. Zum Beispiel ist die rechte Kamera 2R an einem rechten Außenspiegel angebracht, wobei ihre optische Achse 2Ra der rechten Richtung des Eigenfahrzeugs zugewandt ist. Die linke Kamera 2L ist eine Bildaufnahmevorrichtung, die ein Bild auf der linken Seite des Eigenfahrzeugs aufnimmt. Zum Beispiels ist die linke Kamera 2L an einem linken Seitenspiegel angebracht, wobei ihre optische Achse 2La der linke Richtung des Eigenfahrzeugs zugewandt ist.
Als ein Objektiv für jede Kamera 2 kann ein Weitwinkelobjektiv wie beispielsweise ein Fischaugenobjektiv verwendet werden, und jede Kamera 2 hat einen Blickwinkel 9 von 180 Grad oder mehr. Daher ist es durch Verwendung von vier Kameras 2 möglich, ein Bild aufzunehmen, das die gesamte Umgebung des Eigenfahrzeugs angibt. Die Montageposition jeder zuvor beschriebenen Kamera 2 kann nach Bedarf geeignet geändert werden. Zum Beispiel kann die vordere Kamera 2F an einem Rückspiegel, einem oberen Ende der Windschutzscheibe oder dergleichen angebracht sein. Zum Beispiel kann die rechte Kamera 2R oder die linke Kamera 2L nahe einer Basis einer A-Säule oder einer B-Säule angeordnet sein. Die Kamera 2 kann zum Beispiel auf dem Dach, am Armaturenbrett, in der Nähe des Fensterrahmens oder dergleichen nachgerüstet werden.
Die Montagemodusdaten, welche die Montageposition und die Montagehaltung jeder Kamera 2 relativ zu dem Fahrzeug 9 angeben, können in dem Speicher 73 gespeichert werden. Zum Beispiel kann die Montageposition jeder Kamera 2 als ein Punkt in einem dreidimensionalen (3D) Fahrzeugkoordinatensystem dargestellt werden, das ein dreidimensionales Koordinatensystem mit einem Mittelpunkt ist, der an einer vorgegebenen Position des Fahrzeugs 9 definiert ist. Zum Beispiel kann die X-Achse des dreidimensionalen Fahrzeugkoordinatensystems parallel zu der Links-Rechts-Richtung des Fahrzeugs 9 festgelegt werden. Die Y-Achse des dreidimensionalen Fahrzeugkoordinatensystems kann parallel zu der Vorne-Hinten-Richtung des Fahrzeugs festgelegt werden. Die Z-Achse des dreidimensionalen Fahrzeugkoordinatensystems kann parallel zu der Höhenrichtung des Fahrzeugs festgelegt werden. Zum Beispiel kann die rechte Richtung des Fahrzeugs einer positiven Richtung der X-Achse entsprechen, die vordere Richtung des Fahrzeugs kann einer positiven Richtung der Y-Achse entsprechen und die Aufwärtsrichtung des Fahrzeugs kann einer positiven Richtung der Z-Achse entsprechen. Zum Beispiel kann die Mitte des 3D-Koordinatensystems des Fahrzeugs auf eine Mitte der Hinterradwelle festgelegt werden.
Die Anzeige 3 enthält ein dünnes Anzeigefeld wie beispielsweise ein Flüssigkristallanzeigefeld, und zeigt verschiedene Arten von Informationen und Bildern auf dem dünnen Anzeigefeld an. Die Anzeige 3 kann auf dem Armaturenbrett des Eigenfahrzeugs angeordnet sein, so dass der Benutzer den Bildschirm visuell erkennen kann. Die Anzeige 3 kann mit der Bilderzeugungs-ECU 70 integriert werden, indem sie zusammen mit der Bilderzeugungseinheit 70 in demselben Gehäuse angeordnet ist. Die Anzeige 3 kann auch durch eine separate Vorrichtung bereitgestellt werden, die separat von der Bilderzeugungs-ECU 70 angeordnet ist. Die Anzeige 3 enthält ein Berührungsfeld 4, das auf dem Anzeigefeld angeordnet ist, und ist in der Lage, von dem Benutzer vorgenommene Vorgänge anzunehmen.
Zum Beispiel kann das Berührungsfeld 4 durch ein kapazitives Berührungsfeld bereitgestellt werden und gibt ein Signal aus, das eine von dem Benutzer berührte Position anzeigt. Hier bezieht sich der Benutzer hauptsächlich auf einen Fahrer, der ein Insasse ist, der auf dem Fahrersitz des Fahrzeugs sitzt. Der Benutzer kann einen Insassen umfassen, der auf dem Beifahrersitz des Fahrzeugs sitzt.
Die Bedientaste 5 ist eine Bedienkomponente, die eine Bedienung annimmt bzw. akzeptiert, die von dem Benutzer an dem auf der Anzeige 3 angezeigten Inhalt vorgenommen wird. Zum Beispiel kann die Bedientaste 5 durch einen Schalter zum Anzeigen des von der Bilderzeugungs-ECU 70 erzeugten Verbundbildes auf der Anzeige 3 und zum Ändern einer Blickpunktposition des Verbundbildes vorgesehen sein. Zum Beispiel kann die Bedientaste 5 an dem Lenkrad des Eigenfahrzeugs vorgesehen sein und empfängt hauptsächlich eine Betätigung, die durch den Fahrer des Eigenfahrzeugs vorgenommen wird. Der Benutzer kann verschiedene Bedienungen auf dem Umgebungsbild-Anzeigesystem 1 durch Verwendung der Bedientasten 5 und des Berührungsgeldes 4 durchführen. Wenn der Benutzer die Bedientaste 5 oder das Berührungsfeld 4 bedient, wird ein Bediensignal, das den Inhalt der Bedienung angibt, in die Bilderzeugungs-ECU 70 eingegeben. Der Bedientaste 5 kann auch auf dem Armaturenbrett angeordnet sein.
Das Umgebungsbild-Anzeigesystem 1 kann als eine Bedienkomponente einen Fahrmodusschalter enthalten, der es dem Fahrer ermöglicht, den Fahrmodus des Fahrzeugs 9 von dem Normalmodus in den Geländemodus umzuschalten. Die Bedienkomponente zum Umschalten des Fahrmodus kann ein Wahlschalter sein. Der Schalthebel des Eigenfahrzeugs kann mit dem Fahrmodusschalter ausgestattet sein.
Der Fahrzeugzustandssensor 6 erfasst eine Zustandsgröße bezüglich der Fahrsteuerung des Eigenfahrzeugs. Insbesondere ist der Fahrzeugzustandssensor 6 eine Sensorgruppe, die einen oder mehrere Sensoren enthält. Der Fahrzeugzustandssensor 6 enthält einen Radgeschwindigkeitssensor 6s. Der Radgeschwindigkeitssensor 6s erfasst eine Radgeschwindigkeit basierend auf einem Drehzustand des Rads des Eigenfahrzeugs. Als den Radgeschwindigkeitssensor 6s kann ein Sensor angenommen werden, der die Drehung des Rads basierend auf einer Änderung in einem Impulssignal erfasst. In diesem Fall nimmt die Anzahl der pro Zeiteinheit erhaltenen Impulssignale mit einer Erhöhung der Drehgeschwindigkeit des Rads zu. Der Radgeschwindigkeitssensor 6s muss kein Sensor sein, der die Radgeschwindigkeit als ein Erfassungsziel direkt erfasst, sondern kann ein Sensor sein, der eine Zustandsgröße erfasst, die zum Berechnen der Radgeschwindigkeit verwendet wird. Der Radgeschwindigkeitssensor 6s erfasst die Radgeschwindigkeit jedes Rads des Eigenfahrzeugs. Wenn zum Beispiel das Eigenfahrzeug vier Räder hat, das heißt ein vorderes rechtes Rad, ein vorderes linkes Rad, ein hinteres rechtes Rad und ein hinteres linkes Rad, wird die Drehzahl jedes Rads einzeln erfasst.
Der Fahrzeugzustandssensor 6 kann zusätzlich zu dem Radgeschwindigkeitssensor 6s auch einen Schaltsensor, einen Fahrzeuggeschwindigkeitssensor, einen Lenkwinkelsensor, einen Beschleunigungssensor oder dergleichen enthalten. Der Schaltsensor erfasst eine Schaltposition. Der Fahrzeuggeschwindigkeitssensor erfasst eine Fahrgeschwindigkeit des Eigenfahrzeugs. Der Lenkwinkelsensor erfasst einen Drehwinkel des Lenkrads des Eigenfahrzeugs. Der Beschleunigungssensor erfasst eine auf das Eigenfahrzeug wirkende Beschleunigung in zumindest eine der Richtungen, Vorne-Hinten-Richtung, Links-Rechts-Richtung und Oben-Unten-Richtung. Als der Beschleunigungssensor kann zum Beispiel ein 3-Achsen-Beschleunigungsmesser verwendet werden. Ein Erfassungswert des Beschleunigungssensors kann zum Bestimmen einer Fahrzeugstellung in Bezug auf die horizontale Ebene verwendet werden.
Der Sensortyp, der in dem Umgebungsbild-Anzeigesystem 1 als der Fahrzeugzustandssensor 6 enthalten ist, kann nach Bedarf geeignet ausgelegt werden, und es ist nicht notwendig, alle der zuvor erwähnten Sensoren in das Umgebungsbild-Anzeigesystem aufzunehmen. Der Fahrzeugzustandssensor 6 kann auch einen Fahrzeughöhensensor, einen Kreiselsensor, einen Azimutwinkelsensor oder dergleichen enthalten. Jeder Sensor gibt an die Bilderzeugungs-ECU 70 Daten aus, die einen aktuellen Wert der als Erfassungsziel festgelegten Zustandsgröße angeben.
Wie in 3 gezeigt, enthält die Bilderzeugungs-ECU 70 als Funktionsblöcke eine Bildbezugseinheit F1, eine Bedienempfangseinheit F2, eine Fahrzeugzustands-Bezugseinheit F3, eine Anzeigefestleg-Bezugseinheit F4, eine Bilderkennungseinheit F5, eine Verbundbild-Erzeugungseinheit F7, eine Anzeigesteuereinheit F8 und eine Bildausgabeeinheit F9. Die Bilderzeugungs-ECU 70 enthält einen Bildspeicher M1, der ein Speicher zum vorübergehenden Speichern der Bilddaten ist. Zum Beispiel kann der Bildspeicher M1 durch einen Teilspeicherbereich des RAM 72 bereitgestellt werden. In dem Bildspeicher M1 können die Fahrzeugpositionsinformationen und die Richtungsinformationen des Fahrzeugs 9 zum Zeitpunkt der Aufnahme des Bilds in Verbindung mit dem von jeder Kamera 2 aufgenommenen Bild gespeichert werden.
Die Bildbezugseinheit F1 bezieht Bilddaten, die von jeder Kamera 2 aufgenommen werden. Durch Kombinieren der von jeder Kamera 2 aufgenommen Bilddaten können Bilddaten erhalten werden, welche die gesamte Umgebung des Eigenfahrzeugs angeben. Die Bildbezugseinheit F1 wandelt das von der Kamera 2 ausgegebene Bildsignal in digitale Bilddaten in einem Datenformat um und gibt dann die umgewandelten Bilddaten an die Bilderkennungseinheit F5 und die Verbundbild-Erzeugungseinheit F7 aus.
Zum Beispiel speichert der Bildspeicher M1 die Bilddaten, die von jeder Kamera 2 erfasst werden, jedes Mal, wenn sich das Eigenfahrzeug um eine vorgegebene Distanz bewegt, die im Voraus definiert ist. Die gespeicherten Bilddaten werden den Positionsinformationen und Stellungsinformationen des Eigenfahrzeugs zugeordnet, die separat aus den Bilddaten bezogen werden. Zum Beispiel kann der vorgegebene Distanz auf 0,1m, 0,3m, 0,5m oder dergleichen festgelegt werden. Nachfolgend wird die vorgegebene Distanz zum Speichern der Bilddaten auch als Speicherdistanz bezeichnet. Wenn die Speicherdistanz auf 0,1 m festgelegt ist, sind die als nächstes zu speichernden Bilddaten im Vergleich zu den zuletzt gespeicherten Bilddaten, die durch Aufnehmen eines um 0,1 m in der Fahrtrichtung verschobenen Bereichs erhalten werden. Anstelle der Speicherdistanz kann ein Speicherzeitintervall festgelegt werden und die von jeder Kamera 2 aufgenommenen Bilddaten können jedes Mal gespeichert werden, wenn das Speicherzeitintervall abläuft.
Wenn sich das Fahrzeug zum Beispiel vorwärts bewegt, kann der Bildspeicher M1 Bilddaten speichern, die von der vorderen Kamera 2F aufgenommen werden. Die vordere Kamera 2F nimmt Bilder des Bodens von direkt unter dem vorderen Ende des Fahrzeugs bis 3 Meter voraus auf. Wenn sich das Fahrzeug rückwärts bewegt, kann der Bildspeicher M1 Bilddaten speichern, die von der hinteren Kamera 2B aufgenommen werden. Die hintere Kamera 2B nimmt Bilder des Bodens von direkt unterhalb des hinteren Endes des Fahrzeugs bis 3 Meter dahinter auf.
Verschiedene Modi können als der Speichermodus der Bilddaten in dem Bildspeicher M1 verwendet werden. Zum Beispiel überschreibt und speichert die Bildbezugseinheit F1 neue Daten im ältesten aktualisierten Bereich in dem Bildspeicher M1. Das heißt, der Bildspeicher M1 kann als ein Ringspeicher konfiguriert sein. Der Ringspeicher ist ein logisch in einer Ringform angeordneter Speicherbereich. Die Bildbezugseinheit F1 kann konfiguriert sein, die innerhalb des letzten Speicherintervalls bezogenen Bilder bzw. Einzelbilder in einem Bereich zu speichern, der sich von den Bilddaten unterscheidet, die für jede zuvor beschriebene Speicherdistanz bezogen werden. Die in dem Bildspeicher M1 gespeicherten Bilddaten werden von der Verbundbild-Erzeugungseinheit F7 verwendet. Die Bildbezugseinheit F1 kann gemäß den Objektiveigenschaften eine Bildverarbeitung, wie beispielsweise eine Verzerrungskorrektur, eine Vergrößerung oder Verkleinerung, ein Zuschneiden des von der Kamera 2 bezogenen Bildes durchführen. In diesem Fall werden die nach der Bildverarbeitung erhaltenen Bilddaten in dem Bildspeicher M1 gespeichert.
Die Bedienempfangseinheit F2 empfängt das Bediensignal, das von der Bedientaste 5 oder dem Berührungsfeld 4 ausgegeben wird. Das Bediensignal gibt den Inhalt der Bedienung des Benutzers an, die auf der Bedientaste 5 oder dem Berührungsfeld 4 durchgeführt wird. Als ein Ergebnis akzeptiert die Bedienempfangseinheit F2 die Bedienung des Benutzers zum Anzeigen von Bilddaten, wie beispielsweise einem zusammengesetzten Bild. Die Bedienempfangseinheit F2 gibt Daten entsprechend dem empfangenen Bediensignal an die Anzeigesteuereinheit F8 aus.
Die Fahrzeugzustands-Bezugseinheit F3 bezieht Informationen, die den Zustand des Eigenfahrzeugs angeben, von anderen Vorrichtungen des Eigenfahrzeugs, wie beispielsweise dem Fahrzeugzustandssensor 6. Die Fahrzeugzustands-Bezugseinheit F3 enthält eine Radgeschwindigkeit-Bezugseinheit F31 und eine Radschlupf-Bestimmungseinheit F32. Die Radgeschwindigkeit-Bezugseinheit F31 bezieht die Radgeschwindigkeit jedes Rads, die durch den Radgeschwindigkeitssensor 6s erfasst wird. Zum Beispiel kann die Radgeschwindigkeits-Bezugseinheit F31 individuell die Radgeschwindigkeit des rechten Vorderrads, die Radgeschwindigkeit des linken Vorderrads, die Radgeschwindigkeit des rechten Hinterrads und die Radgeschwindigkeit des linken Hinterrads beziehen.
Die Radschlupf-Bestimmungseinheit F32 bestimmt, ob ein Rad des Eigenfahrzeugs in einem Schlupfzustand ist. Wenn zum Beispiel eines der Vorderräder in einem Schlupfzustand ist, unterscheidet sich eine Reibungsgröße zwischen dem rechten Vorderrad und dem Boden signifikant von einer Reibungsgröße zwischen dem linken Vorderrad und dem Boden. Somit besteht eine große Differenz zwischen der Radgeschwindigkeit des rechten Vorderrads und der Radgeschwindigkeit des linken Vorderrads. Wenn die Differenz zwischen der Radgeschwindigkeit des rechten Vorderrads und der Radgeschwindigkeit des linken Vorderrads gleich oder größer als eine vorgegebene Schlupfzustandsgeschwindigkeit ist, bestimmt die Radschlupf-Bestimmungseinheit, dass das Rad in einem Schlupfzustand ist. In einem Nicht-Schlupfzustand kann sich die Radgeschwindigkeit des rechten Vorderrads von der Radgeschwindigkeit des linken Rads unterscheiden, wenn das Fahrzeug um eine Kurve fährt. Unter Berücksichtigung dieses Falls wird die Schlupfzustandsgeschwindigkeit geeignet festgelegt, so dass der Nicht-Zustand und der Schlupfzustand des Fahrzeugs geeignet bestimmt werden können.
Das Verfahren zum Bestimmen des Schlupfzustands des Rads ist nicht auf das zuvor beschriebene Verfahren beschränkt. Anstatt dass die Radschlupf-Bestimmungseinheit F32 bestimmt, ob das Rad in dem Schlupfzustand ist, basierend auf der Radgeschwindigkeit, kann eine andere ECU als die Bilderzeugungs-ECU 70 den Schlupfzustand des Rads bestimmen. In dieser Konfiguration bezieht die Radschlupf-Bestimmungseinheit F32 das Radschlupf-Bestimmungsergebnis, das durch die ECU bestimmt wird, die sich von der Bilderzeugungs-ECU 70 unterscheidet.
Die Fahrzeugzustands-Bezugseinheit F3 bezieht von verschiedenen Sensoren die Schaltposition, die Beschleunigung in jeder Erfassungsachsenrichtung, die Fahrzeuggeschwindigkeit, den Lenkwinkel und dergleichen. Die Fahrzeugzustands-Bezugseinheit F3 kann verschiedene Zustandsgrößen von anderen ECUs beziehen. Zum Beispiel können Informationen wie beispielsweise der Lenkwinkel von einer in dem Lenksystem enthaltenen ECU bezogen werden. Die Fahrzeugzustands-Bezugseinheit F3 kann von der Bilderkennungseinheit F5 einen Änderungsbetrag einer Bewegungsdistanz pro Zeiteinheit und einen Betrag der Richtungsänderung pro Zeiteinheit beziehen. Das heißt, die Fahrzeugzustands-Bezugseinheit F3 kann verschiedene Informationen bezüglich des Zustands des Eigenfahrzeugs nicht nur von dem Sensor, sondern auch von anderen ECUs, der Bilderkennungseinheit F5 oder dergleichen beziehen. Die Fahrzeugzustands-Bezugseinheit F3 kann verschiedene Arten von Informationen kombinieren und die Bewegungsdistanz des Fahrzeugs 9, den Betrag der Richtungsänderung des Fahrzeugs 9 oder dergleichen berechnen. Die Richtung des Fahrzeugs 9 kann nicht nur den Gierwinkel enthalten, in den das Fahrzeug 9 gerichtet ist, sondern auch einen Neigungswinkel, einen Rollwinkel oder dergleichen.
Die Anzeigefestleg-Bezugseinheit F4 bezieht die Festlegung des Bildes, das auf der Anzeige 3 anzuzeigen ist. Die Anzeigefestlegung kann eine Festlegung enthalten, die sich auf eine Helligkeit der Anzeige 3 bezieht. Die Anzeigefestlegung kann eine Festlegung enthalten, die sich auf eine Anzeigezeit und eine Anzeigedauer bezieht. Die Anzeigefestlegung kann eine Festlegung enthalten, die sich auf eine Blickpunktposition des anzuzeigenden Bildes bezieht. Die Anzeigefestlegung kann eine Festlegung enthalten, die sich auf einen Anzeigeeffekt bezieht, wenn das Anzeigebild umgeschaltet wird. Die Anzeigefestlegung kann durch die Benutzerbedienung geändert werden, die auf dem Berührungsfeld 4 oder auf der Bedientaste 5 vorgenommen wird.
Die Bilderkennungseinheit F5 erfasst eine Position eines vorgegebenen Erfassungsziels, einen Typ des vorgegebenen Erfassungsziels oder dergleichen durch Analysieren des von der Kamera 2 bezogenen Bilds. Die Bilderkennungseinheit F5 hat einen Funktionsidentifizierer, der den Typ des Erfassungsziels basierend auf dem Bildmerkmalsvektor identifiziert. Die Bilderkennungseinheit F5 identifiziert ein Objekt zum Beispiel durch Verwendung eines Convolutional Neural Network (CNN; faltendes neuronales Netzwerk) oder Deep Neural Network (DNN; tiefes neuronales Netzwerk), auf die jeweils Deep Learning angewandt wird. Das Erfassungsziel enthält Fußgänger, andere Fahrzeuge, Straßenmarkierungen, wie beispielsweise Fahrbahnmarkierungen, die auf befestigten Straßen markiert sind, und Straßenränder. Zusätzlich zu der als Fahrbahnmarkierung vorgesehene Linie kann die Straßenmarkierung eine Linie enthalten, die einen Parkrahmen oder dergleichen angibt.
Die Bilderkennungseinheit F5 ist in der Lage, basierend auf Merkmalspunkten, die vorläufig auf dem Bild festgelegt sind, den Fahrtbetrag und den Richtungsänderungsbetrag des Eigenfahrzeugs durch Vergleichen der Merkmalspunkte in einem Rahmen mit den Merkmalspunkten in einem anderen Rahmen zu schätzen. Das heißt, der Fahrbetrag und der Richtungsänderungsbetrag werden basierend auf dem Änderungsbetrag der Fahrzeugposition geschätzt. Zum Beispiel kann die Bilderkennungseinheit F5 eine aktuelle Position in Bezug auf einen Referenzpunkt, den Richtungsänderungsbetrag der Fahrzeugkarosserie, der Gierrate und dergleichen durch Verwendung eines optischen Flussverfahrens oder dergleichen schätzen. Der optische Fluss ist als ein Interframe-Differenzverfahren bekannt. Der optische Fluss ist eine Information, welche die Bewegung eines Objekts anzeigt, das in den Bilddaten als ein Vektor enthalten ist. Das Objekterkennungsergebnis der Bilderkennungseinheit F5 und das Schätzergebnis der Eigenfahrzeugposition und dergleichen werden an die Anzeigesteuereinheit F8, die Fahrzeugzustands-Bezugseinheit F3 und die Verbundbild-Erzeugungseinheit F7 ausgegeben.
Die Verbundbild-Erzeugungseinheit F7 führt eine Bildverarbeitung zum Erzeugen des Verbundbildes, wie beispielsweise eines Fahrtrichtungsbildes AP und eines transparenten Bildes CP, durch, die später beschrieben werden. Die Verbundbild-Erzeugungseinheit F7 projiziert mehrere Bilddaten, die von der Kamera 2 aufgenommen werden, auf eine virtuelle Projektionsoberfläche TS und erzeugt das von dem virtuellen Blickpunkt VP aus betrachtete Verbundbild durch Verwendung der auf die Projektionsoberfläche TS projizierten Daten.
Wie konzeptionell in 4 gezeigt, ist die Projektionsoberfläche TS eine virtuelle dreidimensionale Ebene, die dem Umgebungsbereich des Eigenfahrzeugs entspricht. Der zentrale Bereich der Projektionsoberfläche TS ist als Fahrzeugbereich definiert, welcher der Position des Eigenfahrzeugs entspricht. Zum Beispiel wird der Fahrzeugbereich als ein rechteckiger flacher Abschnitt festgelegt. Der Fahrzeugbereich enthält einen Bereich, der sich mit dem Eigenfahrzeug in der Höhenrichtung des Eigenfahrzeugs überlappt. Mit anderen Worten enthält der Fahrzeugbereich einen Bereich, der nicht direkt von der Kamera 2 abgebildet werden kann. Die Projektionsoberfläche TS hat eine ebene Form entlang der horizontalen Richtung des Fahrzeugs in dem Nahbereich des Fahrzeugbereichs und hat eine gekrümmte Form an einer Position, die von dem Fahrzeugbereich entfernt ist, und die Neigung der gekrümmten Form nimmt mit zunehmendem Abstand von dem Fahrzeugbereich zu. Das heißt, die Projektionsoberfläche TS hat insgesamt eine nach unten konvex gekrümmte Form. Das Projizieren eines Kamerabildes auf die Projektionsoberfläche TS entspricht einem Textur-Mapping des Kamerabildes auf die Projektionsoberfläche TS.
Die Form der Projektionsoberfläche TS kann nach Bedarf geändert werden. Die Form der Projektionsoberfläche TS kann in dem gesamten Bereich als eine horizontale Ebene festgelegt werden. Die Projektionsoberfläche TS kann eine Form haben, in der ein gekrümmter Bereich, wie beispielsweise ein nach unten konvexer Bereich, von dem Randabschnitt des Fahrzeugbereichs ohne den zuvor beschriebenen ebenen Bereich beginnt.
Die Anzeigesteuereinheit F8 steuert den Betrieb der Verbundbild-Erzeugungseinheit F7. Zum Beispiel steuert die Anzeigesteuereinheit F8 den virtuellen Blickpunkt VP, der verwendet wird, um das Verbundbild zu erzeugen. Die Verbundbild-Erzeugungseinheit F7 enthält eine Kamerabild-Verbundeinheit F71 und eine Fahrzeugmodell-Zuordnungseinheit F72. Die Kamerabild-Verbundeinheit F71 projiziert ein von jeder Kamera aufgenommenes Bild auf die Projektionsoberfläche TS. Die Fahrzeugmodell-Zuordnungseinheit F72 ordnet ein Modellbild des Fahrzeugs 9 an einer vorgegebenen Position auf der Projektionsoberfläche TS an, auf die das durch die Kamera aufgenommene Bild projiziert wird.
Die Anzeigesteuereinheit F8 steuert umfassend den gesamten Betrieb der Bilderzeugungs-ECU 70. Zum Beispiel steuert die Anzeigesteuereinheit F8 die Verbundbild-Erzeugungseinheit F7 und die Anzeigebild-Erzeugungseinheit F81 basierend auf der Informationsausgabe von der Bedienempfangseinheit F2 und der Fahrzeugzustands-Bezugseinheit F3. Als Ergebnis werden das Verbundbild und das Anzeigebild DP gemäß dem Fahrzustand des Eigenfahrzeugs und der Festlegung des Benutzers erzeugt.
Die Anzeigesteuereinheit F8 bestimmt, ob die Fahrtrichtung des Eigenfahrzeugs die Vorwärtsrichtung oder die Rückwärtsrichtung ist, basierend auf zum Beispiel einer Signalausgabe von dem Schaltsensor oder der Drehrichtung des Reifens. Die Anzeigesteuereinheit F8 bestimmt basierend auf dem Eingangssignal von dem Fahrmodusschalter, ob eine Fahrumgebung das Gelände ist.
Wenn das Verbundbild erzeugt wird, legt die Anzeigesteuereinheit F8 die Position und die Sichtlinienrichtung des virtuellen Blickpunkts VP basierend auf der Fahrtrichtung des Eigenfahrzeugs und dem Signal von dem Berührungsfeld 4 oder der Bedientaste 5 fest. Zum Beispiel kann der virtuelle Blickpunkt VP als eine Vogelperspektive oder eine Fahrerperspektive festgelegt werden. 4 zeigt die Blickpunktposition, wenn der virtuelle Blickpunkt VP als die Vogelperspektive festgelegt ist.
Wenn die Vogelperspektive als der virtueller Blickpunkt VP festgelegt ist, befindet sich die Blickpunktposition direkt über dem Eigenfahrzeug und die Sichtlinienrichtung weist direkt nach unten. Die Vogelperspektive kann angewendet werden, wenn ein Vogelperspektiven-Bild erzeugt wird, das ein Bild des Eigenfahrzeugs und seiner Umgebung ist, von direkt über dem Eigenfahrzeug aus betrachtet. Der Blickwinkel der Vogelperspektive kann geeignet eingestellt werden, um den Nahbereich des Eigenfahrzeugs einzubeziehen. Die Blickpunktposition der Vogelperspektive ist nicht auf direkt über dem Eigenfahrzeug beschränkt. Zum Beispiel kann die Blickposition eine Position sein, die von direkt über dem Eigenfahrzeug in die hintere Richtung, in die vordere Richtung oder in die seitliche Richtung verschoben ist. Die Vogelperspektive entspricht einem Beispiel eines Fahrzeugaußen-Blickpunkts, der ein Blickpunkt ist, bei dem der virtuelle Blickpunkt VP außerhalb der Fahrgastzelle angeordnet ist.
Der Fahrerblickpunkt ist der virtuelle Blickpunkt VP, bei dem die Blickpunktposition auf angenommene Positionen der Fahreraugen in der Fahrgastzelle festgelegt ist. Zum Beispiel kann die Sichtlinienrichtung des Fahrerblickpunkts diagonal nach vorne und nach unten festgelegt werden, um den Nahbereich der Vorderräder einzuschließen. Zum Beispiel kann die diagonal nach unten gerichtete Richtung eine Richtung sein, die um etwa 20 Grad bis 30 Grad von der horizontalen Ebene des Fahrzeugs nach unten gerichtet ist. Mit der Vorwärts-Diagonal-Abwärts-Richtung als eine Referenzrichtung kann die Sichtlinienrichtung des Fahrerblickpunkts so konfiguriert sein, um basierend auf der Benutzerbedienung auf dem Berührungsfeld 4 in jede Richtung änderbar zu sein. Der Blickwinkel des Fahrerblickpunkts kann geeignet eingestellt werden, um den Nahbereich der Vorderräder einzuschließen.
Die angenommenen Positionen der Fahreraugen können nahe an der Kopfstütze des Fahrersitzes festgelegt sein. Als angenommene Positionen der Fahreraugen kann ein Augenellipsensatz für jedes Fahrzeugmodell verwendet werden. Die Augenellipse ist ein virtueller Raumbereich, der für jedes Fahrzeug entsprechend dem Fahrzeugtyp definiert ist. Die Augenellipse wird basierend auf dem Augenbereich, der statistisch die räumliche Verteilung der Augenpunkte des Insassen darstellt, in eine virtuelle Ellipsoidform festgelegt. Der Fahrerblickpunkt entspricht einem Beispiel eines Fahrzeuginnenblickpunkts, der ein Blickpunkt ist, bei dem der virtuelle Blickpunkt VP in der Fahrgastzelle angeordnet ist. Als weiteres Beispiel kann die Position des Fahrerblickpunkts auf eine Position festgelegt werden, die von den angenommenen Positionen der Fahreraugen verschoben ist. Zum Beispiel kann der Fahrerblickpunkt auf eine Position festgelegt werden, die von den angenommenen Positionen der Fahreraugen in Richtung zu dem Beifahrersitz verschoben ist. Zum Beispiel kann eine Position in der Mitte des Fahrersitzes und des Beifahrersitzes als die Position des Fahrerblickpunkts festgelegt werden.
Die Bilderzeugungs-ECU 70 des vorliegenden Ausführungsbeispiels hat als ein Betriebsmodus einen Umgebungsbild-Anzeigemodus zum Anzeigen eines Fahrtrichtungsbilds AP, wie in 5 gezeigt. Einzelheiten des Verfahrens zum Erzeugen des Fahrtrichtungsbildes AP werden später beschrieben.
Das Fahrtrichtungsbild AP kann ein transparentes Bild CP enthalten, das ein Verbundbild ist, das eine Straßenoberfläche unter dem Boden des Fahrzeugs zeigt, als ob der Unterboden der Fahrzeugkarosserie transparent wäre. Wenn das Fahrtrichtungsbild AP das transparente Bild CP enthält, das die Straßenoberfläche unter dem Fahrzeugboden zeigt, kann der Umgebungsbild-Anzeigemodus auch als Unterbodenanzeigemodus bezeichnet werden. Die Anzeigesteuereinheit F8 kann den Anzeigemodus basierend auf zumindest einer der Faktoren, der spezifischen Position des Schalthebels oder der Benutzerbedienung umschalten. Zum Beispiel kann die Anzeigesteuereinheit F8 den Anzeigemodus als Reaktion darauf, dass die später beschriebene Umgebungsbild-Anzeigebedingung erfüllt ist, auf den Umgebungsbild-Anzeigemodus festlegen. In der folgenden Beschreibung wird ein Bild, das mit dem als Fahrerblickpunkt festgelegten virtuellen Blickpunkt VP erzeugt wird, als das Fahrtrichtungsbild AP als ein Beispiel beschrieben.
Die Anzeigebild-Erzeugungseinheit F81 erzeugt das Anzeigebild DP wie in 6 gezeigt. Das Anzeigebild DP ist ein auf der Anzeige 3 anzuzeigendes Bild. Das Anzeigebild DP enthält ein Fahrtrichtungsbild AP und ein Symbolbild 3i. Das Symbolbild 3i gibt symbolisch den Bereich des Umgebungsbilds an, das auf der Anzeige 3 angezeigt wird. 6 zeigt ein Bild, in dem der vordere Bereich des Fahrzeugs als der Bereich des Umgebungsbildes festgelegt ist.
Die Anzeigebild-Erzeugungseinheit F81 erzeugt das Anzeigebild DP durch Verwendung des Verbundbildes, das durch die Verbundbild-Erzeugungseinheit F7 zusammengesetzt wird, des Kamerabildes, das durch die Bildbezugseinheit F1 bezogen wird, des Symbolbildes 3i und dergleichen. Die Kombination von Bildern, die in dem Anzeigebild DP enthalten sein sollen, wird durch die Anzeigesteuereinheit F8 gemäß der Fahrtrichtung des Eigenfahrzeugs und der Benutzerbedienung auf dem Berührungsfeld 4 oder dergleichen bestimmt.
Die Bildausgabeeinheit F9 wandelt das von der Anzeigebild-Erzeugungseinheit F81 erzeugte Anzeigebild DP in ein Videosignal um und gibt das Videosignal an die Anzeige 3 aus. Somit wird das Anzeigebild DP auf der Anzeige 3 angezeigt. Das Anzeigebild DP, welches das Verbundbild enthält, das die Umgebung des Eigenfahrzeugs zeigt und von dem virtuellen Blickpunkt VP aus betrachtet wird, wird auf der Anzeige 3 angezeigt.
Nachfolgend wird der von der Verbundbild-Erzeugungseinheit F7 ausgeführte Vorgang zum Erzeugen des Fahrtrichtungsbildes AP, welches das transparente Bild CP enthält, beschrieben. Die Kamerabild-Verbundeinheit F71 projiziert jedes Kamerabild, das von der Bildbezugseinheit F1 bezogen wird, auf die Projektionsoberfläche TS in einem virtuellen dreidimensionalen Raum, wie in 4 gezeigt. Die Projektionsposition jedes Kamerabildes auf der Projektionsoberfläche TS wird im Voraus in Bezug auf die entsprechenden Informationen, wie beispielsweise Tabellendaten, definiert.
Zum Beispiel projiziert die Kamerabild-Verbundeinheit F71 die Bilddaten der vorderen Kamera 2F auf den vorderen Bereich der Projektionsoberfläche TS. Die Kamerabild-Verbundeinheit F71 projiziert die Bilddaten der hinteren Kamera 2B auf den hinteren Bereich der Projektionsoberfläche TS. Die Kamerabild-Verbundeinheit F71 projiziert die Bilddaten der rechten Kamera 2R auf den rechten Bereich der Projektionsoberfläche TS und projiziert die Bilddaten der linken Kamera 2L auf den linken Bereich der Projektionsoberfläche TS.
Verschiedene Verfahren können zum Anzeigen von Bildern in einem überlappenden Bereich angewendet werden. Der Überlappungsbereich ist ein Bereich, in dem sich Bildaufnahmebereiche von zwei oder mehr Kameras 2 überlappen. Zum Beispiel können die Bilddaten mehrerer Kameras 2 in einem geeigneten Verhältnis gemischt werden, oder Bilddaten mehrerer Kameras 2 können an einer vorgegebenen Grenzlinie miteinander verbunden werden.
Aus dem vergangenen Bild, das in dem Bildspeicher M1 gespeichert ist, wird ein Bild extrahiert, das einen Abschnitt zeigt, von dem angenommen wird, dass er sich in dem Fahrzeugbereich befindet. Dann wird bei Bedarf eine Drehkorrektur an dem extrahierten Bild ausgeführt, und dann wird das Bild auf den Fahrzeugbereich projiziert. Da das Bild, das auf den Fahrzeugbereich projiziert wird, ein Bild des Bereichs ist, der sich direkt unter dem Eigenfahrzeug befindet, das heißt ein Bild des Unterbodens, kann das Bild als ein Unterbodenbild bezeichnet werden.
Wenn sich das Eigenfahrzeug zum Beispiel vorwärts bewegt, kann das Unterbodenbild durch Verwendung eines Bildes der vorderen Kamera erzeugt werden, das 3 Meter hinter der aktuellen Position als ein vergangenes Bild aufgenommen wird. Wenn sich das Eigenfahrzeug rückwärts bewegt, kann das Unterbodenbild durch Verwendung der hinteren Kamera erzeugt werden, das 3 Meter vor der aktuellen Position als das vergangene Bild aufgenommen wird. Das heißt, ein Unterbodenbild wird durch Verwendung des vergangenen Bildes erzeugt, wenn sich das Eigenfahrzeug an einer Position befindet, die der aktuellen Position in Fahrtrichtung gegenüberliegt.
Wenn sich das Eigenahrzeug vorwärts bewegt, kann das Unterbodenbild durch Verwendung der vorderen Kamerabilder erzeugt werden, die zu mehreren Zeitpunkten zwischen der Position 3 Meter hinter der aktuellen Position und der aktuellen Position als die vergangenen Bilder aufgenommen werden. In diesem Fall wird ein Unterbodenbild basierend auf mehreren vergangenen Bildern erzeugt. Dasselbe gilt, wenn sich das Fahrzeug rückwärts bewegt. Die Bilddaten des vergangenen Bildes, das auf den Unterbodenabschnitt projiziert wird, der dem Fahrzeugbereich entspricht, können jederzeit aktualisiert werden, wenn sich das Fahrzeug 9 bewegt.
Die Anzeigesteuereinheit F8 steuert die Verbundbild-Erzeugungseinheit F7, um den virtuellen Blickpunkt VP für den dreidimensionalen Raum festzulegen, der die Projektionsoberfläche TS enthält. Die Verbundbild-Erzeugungseinheit F7 kann den virtuellen Blickpunkt VP festlegen, der auf eine beliebige Sichtlinienrichtung von einer beliebigen Blickpunktposition innerhalb des dreidimensionalen Raums gerichtet ist.
Die Fahrzeugmodell-Zuordnungseinheit F72 ordnet verschiedene Bildelemente über das Eigenfahrzeug auf dem virtuellen dreidimensionalen Raum an, der die Projektionsoberfläche TS enthält, auf welche die Kamerabilder projiziert werden. Wenn der virtuelle Blickpunkt VP außerhalb der Fahrgastzelle festgelegt ist, wie beispielsweise die Vogelperspektive, wird dem Fahrzeugbereich eine Fahrzeuggrenzlinie Lvc zugewiesen, die den Straßenoberflächenbereich angibt, in dem sich der Fahrzeugboden befindet. Die Fahrzeuggrenzlinie Lvc gibt einen Umriss des Fahrzeugs an, wenn die Fahrzeugkarosserie von oben senkrecht auf die Straßenoberfläche projiziert wird, und entspricht einer Linie, die eine äußere Form des Fahrzeugs 9 in der Vogelperspektive angibt.
Im Folgenden wird das Fahrtrichtungsbild AP beschrieben, das erzeugt wird, wenn der virtuelle Blickpunkt VP in der Fahrgastzelle angeordnet ist, wie beispielsweise der Fahrerblickpunkt in Bezug auf 5. Das in 5 gezeigte Fahrtrichtungsbild AP nimmt einen Fall an, in dem sich das Eigenfahrzeug auf einem Parkplatz befindet, bei dem Parklücken durch Parkrahmen markiert sind. Das Fahrtrichtungsbild AP zeigt hauptsächlich eine Umgebung des Eigenfahrzeugs in Fahrtrichtung.
Das Fahrtrichtungsbild AP enthält ein erstes Fahrtrichtungsbild AP1 und ein zweites Fahrtrichtungsbild AP2. Das erste Fahrtrichtungsbild AP1 entspricht einem aktuellen Bild, das aktuell von der Kamera 2 aufgenommen und auf die Projektionsoberfläche projiziert wird. Das zweite Fahrtrichtungsbild AP2 entspricht einem vergangenen Kamerabild, das von der Kamera 2 in der Vergangenheit aufgenommen und auf die Projektionsoberfläche projiziert wird. Das erste Fahrtrichtungsbild AP1 zeigt einen Aufnahmebereich, der von der Kamera 2 in Echtzeit aufgenommen werden kann, und das zweite Fahrtrichtungsbild AP2 zeigt einen Aufnahmebereich, der nicht in Echtzeit aufgenommen werden kann. Das Unterbodenbild, das die Straßenoberfläche in dem Fahrzeugbereich zeigt, entspricht dem zweiten Fahrtrichtungsbild AP2, das einen Aufnahmebereich zeigt, der nicht in Echtzeit von der Kamera 2 aufgenommen werden kann. In den Figuren ist eine Grenze zwischen dem ersten Fahrtrichtungsbild AP1 und dem zweiten Fahrtrichtungsbild AP2 durch eine Zweipunkt-Strichlinie gezeigt.
Wenn der virtuelle Blickpunkt VP der Fahrerblickpunkt ist, kann die Fahrzeugmodell-Zuordnungseinheit F72 ein 3D-Reifenmodell Pt, ein 3D-Karosseriemodell, ein 3D-Innenraummodell an vorgegebenen Positionen in dem dreidimensionalen Raum zusätzlich zu der Fahrzeuggrenzlinie Lvc anordnen. In den Figuren ist als Beispiel ein Fall dargestellt, in dem nur das 3D-Reifenmodell Pt angeordnet ist. Das 3D-Reifenmodell Pt ist ein 3D-Modell des Reifens und wird als Ganzes durchsichtig bzw. durchscheinend festgelegt. Das 3D-Reifenmodell Pt kann nur eine undurchsichtige Konturlinie oder eine durchsichtige Konturlinie des Reifens enthalten. Das heißt, ein anderer Abschnitt als die Konturlinie des 3D-Reifenmodells Pt kann farblos und transparent festgelegt sein.
Der Begriff durchsichtig bzw. durchscheinend ist hier nicht auf einen Zustand beschränkt, in dem die Transparenz 50% beträgt, und kann zum Beispiel einen Bereich der Transparenz von 50% bis 80% beinhalten. Das heißt, der Begriff durchsichtig bzw. durchscheinend kann einen Zustand beinhalten, der vage die Existenz des Ziels angibt. Transparenz ist ein Parameter, der angibt, dass je höher der Wert ist, desto transparenter. In der vorliegenden Offenbarung entspricht die Transparenz von 100% dem vollständig transparenten Zustand. Die Transparenz oder Opazität eines Bildes ist ein Konzept, das dem Alphawert eines Pixels entspricht. Generell gilt, dass je kleiner der Alpha-Wert ist, desto höher der Grad der Transparenz.
Das 3D-Karosseriemodell ist ein 3D-Modell der Fahrzeugkarosserie und wird als Ganzes durchsichtig bzw. durchscheinend festgelegt. Das 3D-Körpermodell kann nur eine undurchsichtige bzw. opake Konturlinie oder eine durchsichtig bzw. durchscheinend Konturlinie der Fahrzeugkarosserie enthalten. Das heißt, ein anderer Abschnitt als die Konturlinie des 3D-Karosseriemodell kann farblos und transparent festgelegt werden. Das 3D-Innenraummodell ist ein 3D-Modell, das ein Armaturenbrett, ein Lenkrad und A-Säulen zeigt.
Das 3D-Reifenmodell Pt, das 3D-Karosseriemodell, das 3D-Innenraummodell und dergleichen sind 3D-Modelle, welche die Komponentenelemente des Eigenfahrzeugs zeigen, und können als Komponentenelementmodelle bezeichnet werden. Das in dem dreidimensionalen Raum angeordnete 3D-Modell zum Erzeugen des Verbundbildes kann geeignet eingestellt werden. Zum Beispiel kann die Anordnung des 3D-Reifenmodells Pt, des 3D-Karosseriemodells, des 3D-Innenraummodells und dergleichen weggelassen werden.
Die Fahrzeugmodell-Zuordnungseinheit F72 kann Skalenlinien zeichnen, die einen Abstand von dem Fahrzeugende zu einem Abschnitt des Bilds angeben, und Fahrzeugbreitenlinien, welche die Fahrzeugbreite angeben. Die Fahrzeugmodell-Zuordnungseinheit F72 kann eine geplante Trajektorielinie bzw. Bahnkurvenlinie, die eine Linie ist, die angibt, dass die geplante Fahrttrajektorie bzw. Fahrbahnkurve dem Lenkwinkel des Fahrzeugs 9 entspricht, als ein weiteres Bildelement in Bezug auf das Fahrzeug 9 zeichnen. Die Fahrzeugbreitenlinie kann auch als die geplante Trajektorielinie fungieren. Die Fahrzeuggrenzlinie Lvc, die geplante Trajektorielinie und dergleichen zeigen Informationen über das Fahrzeug 9. Somit können die Fahrzeuggrenzlinie Lvc, die geplante Trajektorielinie und dergleichen als ein Fahrzeuginformationsbild bezeichnet werden. Die geplante Trajektorielinie, die Skalenlinien, die Fahrzeugbreitenlinien und dergleichen können auch als Führungsinformationen für den Fahrbetrieb des Fahrers fungieren. Daher kann die angezeigte Linie, wie beispielsweise die geplante Trajektorielinie, als eine Führungslinie bezeichnet werden.
Die Verbundbild-Erzeugungseinheit F7 führt ein Rendering an den verschiedenen Bildelementen durch, die in dem dreidimensionalen Raum einschließlich der Projektionsebene TS gemäß dem virtuellen Blickpunkt VP existieren. Die Verbundbild-Erzeugungseinheit F7 schneidet ein Bildelement aus, das in einem vorgegebenen Betrachtungswinkel enthalten ist, wenn es von dem virtuellen Blickpunkt VP aus betrachtet wird, indem die Bilddaten verwendet werden, in denen verschiedene Bildelemente gerendert sind. Als Ergebnis erzeugt die Verbundbild-Erzeugungseinheit F7 das Verbundbild, das den Bereich unter dem Boden des Eigenfahrzeugs und den Bereich um das Eigenfahrzeug herum zeigt, wie von dem virtuellen Blickpunkt VP aus betrachtet. Zum Beispiel wird als das transparente Bild CP ein Unterbodenbild erzeugt, in dem der Boden der Fahrzeugkarosserie transparent ist. In der vorstehenden Beschreibung wird als ein Beispiel ein Ausführungsbeispiel beschrieben, bei dem das Verbundbild in der Reihenfolge des Projizierens der Kamerabilder auf die Projektionsoberfläche TS und des anschließenden Hinzufügens von Bildelementen erzeugt wird. Alternativ kann jeder zuvor beschriebene Prozess parallel ausgeführt werden.
Zur Erzeugung des Verbundbildes können verschiedene Verfahren eingesetzt werden. Zum Beispiel können das Straßenoberflächenbild, das basierend auf dem Kamerabild erzeugt wird, die Fahrzeuggrenzlinie Lvc und das dreidimensionale Modell der Komponentenelemente des Fahrzeugs 9 in unterschiedlichen Ebenen angeordnet sein. Zum Beispiel kann das Verbundbild durch Kombinieren von drei Ebenen erzeugt werden, wie beispielsweise einer Kamerabildebene, einer Grenzlinienebene und einer 3D-Modellebene. Die Kamerabildebene enthält das Straßenoberflächenbild, das ein Bild der Projektionsoberfläche TS ist, auf die das Kamerabild projiziert wird. Die Grenzlinienebene ist eine Ebene, auf der die Fahrzeuggrenzlinie Lvc angeordnet ist. Die 3D-Modellebene enthält das dreidimensionale Modell wie beispielsweise das 3D-Reifenmodell Pt. Wenn mehrere Ebenen kombiniert werden, wird die Kamerabildebene als die unterste Hintergrundebene festgelegt, und die Grenzlinienebene und die 3D-Modellebene können auf der Kamerabildebene überlagert werden. Die Ebenenstruktur kann auch nach Bedarf geändert werden. Wenn jedes Bildelement einzeln behandelt wird, indem mehrere Ebenen verwendet werden, wird das Bild, in dem jede Ebene schließlich integriert wird, zum Verbundbild.
Im Folgenden wird das auf der Anzeige 3 anzuzeigende Anzeigebild DP beschrieben. Wie in 6 gezeigt, erzeugt die Anzeigebild-Erzeugungseinheit F81 als das Anzeigebild DP ein Bild, welches das Fahrtrichtungsbild AP und das Symbolbild 3i enthält.
Der Anzeigeinhalt des Anzeigebildes DP ist nicht auf das zuvor beschriebene Beispiel beschränkt und kann nach Bedarf geändert werden. Zum Beispiel können ein von der rechten Kamera 2R aufgenommenes rechtes Kamerabild und ein von der linken Kamera 2L aufgenommenes linkes Kamerabild zusammen mit dem Fahrtrichtungsbild AP angeordnet werden. Alternativ können das Fahrtrichtungsbild AP, das rechte Kamerabild und das linke Kamerabild in Panoramaweise als ein kontinuierliches Panoramabild angezeigt werden. Gemäß einem solchen Layout des Anzeigebilds DP ist es möglich, den Fahrer visuell über die linke und rechte Umgebung zu benachrichtigen bzw. zu informieren, während eine gute Sichtbarkeit des Fahrtrichtungsbilds AP aufrechterhalten wird. Durch Betrachten des Anzeigebildes DP kann der Fahrer den Zustand des Bodens in der Nähe der Vorderräder bei Vorwärtsbewegung erkennen und kann zur selben Zeit auch die Situation an der seitlichen Umgebung des Fahrzeugs erkennen.
Das rechte Kamerabild kann durch Ausschneiden eines Abschnitts aus dem Kamerabild erzeugt werden, das von der rechten Kamera 2R aufgenommen wird. In einem anderen Beispiel kann durch Ausschneiden eines Abschnitts aus dem Verbundbild erzeugt werden, das durch Rendern innerhalb eines vorgegebenen Blickwinkels erhalten wird, wenn ein rechter Abschnitt des Eigenfahrzeugs als der virtuelle Blickpunkt VP festgelegt ist. Das linke Kamerabild kann durch dasselbe Erzeugungsverfahren wie das rechte Kamerabild durch Verwendung des Kamerabilds der linken Kamera 2L erzeugt werden.
Das Symbolbild 3i kann als ein Schalter zum Umschalten des Anzeigeinhalts des Anzeigebilds DP in Reaktion auf eine von dem Benutzer vorgenommene Berührungsbedienung fungieren. Ob der Benutzer das Symbolbild 3i berührt, kann basierend auf einem Berührungspositionssignal bestimmt werden, das von dem Berührungsfeld 4 ausgegeben wird. Wenn der Benutzer die Berührungsbedienung auf dem Symbolbild 3i vornimmt und die Berührungsbedienung erfasst wird, verwendet die Anzeigesteuereinheit F8 zum Beispiel das Anzeigebild DP, das nur das Fahrtrichtungsbild AP enthält, als das Umgebungsbild für das Panoramabild einschließlich der linken und rechten Kamerabilder als das Umgebungsbild zusätzlich zu dem Fahrtrichtungsbild.
Im Folgenden wird ein Umgebungsbild-Anzeigeprozess für ein Umgebungsbild beschrieben, der eine Reihe von Prozessen enthält, die ausgeführt werden, wenn die Bilderzeugungs-ECU 70 das Anzeigebild DP erzeugt und anzeigt. Die Bilderzeugungs-ECU 70 startet das in 7 gezeigte Ablaufdiagramm als Reaktion darauf, dass die Umgebungsbild-Anzeigebedingung erfüllt ist. Die Umgebungsbild-Anzeigebedingung ist eine Bedingung zum Aktivieren der Anzeige des Anzeigebilds DP. Zum Beispiel kann die Bilderzeugungs-ECU 70 bestimmen, dass die Umgebungsbild-Anzeigebedingung erfüllt ist, wenn die Benutzerbedienung an der Bedientaste 5 zum Beispiel durch Drücken der Bedientaste 5 vorgenommen wird. In einem anderen Beispiel kann die Bilderzeugungs-ECU 70 konfiguriert sein, um zu bestimmen, dass die Umgebungsbild-Anzeigebedingung als Reaktion auf eine Erfassung einer Benutzerbedienung erfüllt ist, die auf dem Berührungsfeld 4 zum Anzeigen des Anzeigebilds DP vorgenommen wird. Die Bilderzeugungs-ECU 70 kann den Prozess als Reaktion darauf starten, dass die Bedienempfangseinheit F2 ein Signal bezieht, das die Ausführung einer Bedienung durch den Benutzer zum Anzeigen des Verbundbildes angibt.
Spezifische Bedingungen zum Anzeigen des Umgebungsbilds können die Schaltposition, die den Festlegungszustand des Getriebes angibt, die Fahrzeuggeschwindigkeit und dergleichen enthalten. Zum Beispiel kann die Umgebungsbild-Anzeigebedingung zumindest eine der Faktoren, die Schaltposition, die auf einen spezifischen Bereich festgelegt ist, oder die Fahrzeuggeschwindigkeit, die niedriger als ein vorgegebener Niedriggeschwindigkeits-Schwellenwert ist, enthalten. Der spezifische Bereich, der die Umgebungsbild-Anzeigebedingung erfüllt, kann einen vorgegebenen niedrigen Bereich, einen Rückwärtsbereich oder dergleichen enthalten. Der vorgegebene Niedriggeschwindigkeits-Schwellenwert kann zum Beispiel 10 km/h, 15 km/h, 20 km/h oder dergleichen sein. Wenn die Bedienempfangseinheit F2 eine durch den Benutzer an dem Blickpunktschalter über das Berührungsfeld 4 oder dergleichen vorgenommene Bedienung in einem Zustand annimmt, in dem das vordere Kamerabild oder das hintere Kamerabild auf der Anzeige 3 angezeigt wird, bestimmt die Bilderzeugungs-ECU, dass die Umgebungsbild-Anzeigebedingung erfüllt ist.
Der in 7 gezeigte Prozess kann wiederholt ausgeführt werden, bis eine Anzeigeendbedingung erfüllt ist. Die Anzeigeendbedingung kann zum Beispiel in einem Fall erfüllt sein, in dem die Schaltposition auf einen anderen Bereich als den spezifischen Bereich festgelegt ist, in einem Fall, in dem sich die Fahrzeuggeschwindigkeit auf ein Niveau ändert, das gleich oder höher als der vorgegebene Niedriggeschwindigkeits-Schwellenwert ist, in einem Fall, in dem die Bedientaste 5 erneut durch den Benutzer gedrückt wird. Das heißt, die Anzeigeendbedingung wird so festgelegt, um erfüllt zu sein, wenn die Umgebungsbild-Anzeigebedingung nicht länger erfüllt ist. Wenn die Bilderzeugungs-ECU 70 erfasst, dass die Bedienung zum Deaktivieren der Anzeige des Anzeigebilds DP durch den Benutzer auf dem Berührungsfeld 4 vorgenommen wird, kann die Bilderzeugungs-ECU 70 bestimmen, dass die Anzeigeendbedingung erfüllt ist.
In S101 bezieht die Bildbezugseinheit F1 Kamerabilder, die von jeder der vier Kameras 2 erhalten werden. Das Beziehen von Kamerabildern wird mit ablaufender Zeit wiederholt, und die neuesten Kamerabilder werden nacheinander bezogen.
Der Bildspeicher M1 speichert die Kamerabilder, die von den Kameras 2 in Fahrtrichtung aufgenommen werden, jedes Mal, wenn das Eigenfahrzeug um die Speicherdistanz fährt. Die Bildbezugseinheit F1 speichert das Bild, das von der Kamera 2 in der Fahrtrichtung aufgenommen wird, als einen ersten Speicherprozess, wenn ein Zustand, in dem die Umgebungsbild-Anzeigebedingung nicht erfüllt ist, in einen Zustand umgeschaltet wird, in dem die Umgebungsbild-Anzeigebedingung erfüllt ist. Nach dem Beziehen des Kamerabilds schreitet der Prozess zu S102 voran.
In S102 bezieht die Anzeigefestleg-Bezugseinheit F4 die Anzeigefestlegung. Die Anzeigefestleg-Bezugseinheit F4 bezieht zum Beispiel die Festlegung, ob der virtuelle Blickpunkt VP der Fahrerblick oder die Vogelperspektive ist.
Wenn das transparente Bild CP zum ersten Mal als Reaktion auf das Einschalten der Antriebsleistung erzeugt wird, wird die Standardfestlegung des virtuellen Blickpunkts VP aktiviert. Die Standardfestlegung kann Positionen und visuelle Linienrichtungen enthalten, die von einem Designer oder einem Benutzer im Voraus festgelegt werden. Die Standardfestlegung kann zum Beispiel einen Fahrerblickpunkt so festlegen, dass die Sichtlinienrichtung diagonal nach vorne und unten gerichtet ist. Der virtuelle Blickpunkt VP kann auf die gleiche Position und Richtung des virtuellen Blickpunkts VP festgelegt werden, wie bei der letzten Anzeige des transparenten Bildes CP. In diesem Fall kann die Anzeigesteuereinheit F8 als ein vorbereitender Prozess so konfiguriert sein, um die Festlegdaten des letzten virtuellen Blickpunkts VP zum Anzeigen des transparenten Bilds CP in dem RAM 72 oder dergleichen zu sichern.
Des Weiteren können die Position und die Sichtlinienrichtung des virtuellen Blickpunkts VP gemäß der Fahrtrichtung des Eigenfahrzeugs bestimmt werden. Wenn zum Beispiel die Fahrtrichtung des Eigenfahrzeugs vorwärts ist, kann der Fahrerblickpunkt, dessen Sichtlinienrichtung diagonal nach vorne und unten gerichtet ist, wie zuvor beschrieben, als der virtuelle Blickpunkt VP übernommen werden. Wenn zum Beispiel die Fahrtrichtung des Eigenfahrzeugs rückwärts ist, kann der Fahrerblickpunkt, dessen Sichtlinienrichtung diagonal nach hinten und unten gerichtet ist, als der virtuelle Blickpunkt VP übernommen werden. Die Sichtlinienrichtung des virtuellen Blickpunkts VP kann gemäß dem Lenkwinkel festgelegt werden.
Im Folgenden wird ein Beispiel beschrieben, bei dem der Fahrerblickpunkt, dessen Sichtlinienrichtung diagonal nach vorne und unten gerichtet ist, als der virtuelle Blickpunkt VP übernommen wird. Nach dem Beziehen der Anzeigefestlegung schreitet der Prozess zu S111 voran.
In S111 bezieht die Fahrzeugzustands-Bezugseinheit F3 den Fahrzeugzustand. Der Fahrzeugzustand gibt den Zustand des Eigenfahrzeugs an, wie beispielsweise die Schaltposition und die Fahrzeuggeschwindigkeit. Insbesondere bezieht die Radgeschwindigkeits-Bezugseinheit F31 der Fahrzeugzustands-Bezugseinheit F3 die Radgeschwindigkeit des Eigenfahrzeugs. Nach dem Beziehen des Fahrzeugzustands schreitet der Prozess zu S112 voran.
In S112 berechnet die Fahrzeugzustands-Bezugseinheit F3 eine Radgeschwindigkeitsdifferenz zwischen der linken Radgeschwindigkeit und der rechten Radgeschwindigkeit. Genauer gesagt wird die Differenz zwischen der Radgeschwindigkeit des rechten Vorderrads und der Radgeschwindigkeit des linken Vorderrads als die Radgeschwindigkeitsdifferenz berechnet. Als weiteres Beispiel kann die Differenz zwischen der Radgeschwindigkeit des rechten Hinterrads und der Radgeschwindigkeit des linken Hinterrads als die Radgeschwindigkeitsdifferenz berechnet werden. Nach dem Berechnen der Radgeschwindigkeitsdifferenz schreitet der Prozess zu S113 voran.
In S113 bestimmt die Radschlupf-Bestimmungseinheit F32, ob ein Rad des Eigenfahrzeugs in dem Schlupfzustand ist. Die Radschlupf-Bestimmungseinheit F32 bestimmt, dass ein Vorderrad des Eigenfahrzeugs in dem Schlupfzustand ist, wenn die Differenz zwischen der Radgeschwindigkeit des rechten Vorderrads und der Radgeschwindigkeit des linken Vorderrads gleich oder größer als eine vorgegebene Schlupfzustand-Radgeschwindigkeit ist. Alternativ kann die Radschlupf-Bestimmungseinheit F32 bestimmen, dass ein Hinterrad des Eigenfahrzeugs in dem Schlupfzustand ist, wenn die Differenz zwischen der Radgeschwindigkeit des rechten Hinterrads und der Radgeschwindigkeit des linken Hinterrads gleich oder größer als die vorgegebene Schlupfzustand-Radgeschwindigkeit ist. Zu diesem Zeitpunkt wird vorzugsweise die Differenz zwischen der linken Radgeschwindigkeit und der rechten Radgeschwindigkeit berechnet, indem der durchschnittliche Geschwindigkeitswert pro Zeiteinheit als die Radgeschwindigkeit jedes Rads anstelle des momentanen Geschwindigkeitswerts als die Radgeschwindigkeit jedes Rads verwendet wird. Mit dieser Konfiguration ist es möglich, eine fehlerhafte Bestimmung bezüglich des Schlupfzustands zu unterbinden.
Das Schlupfzustands-Bestimmungsverfahren ist nicht auf das zuvor erwähnte Verfahren beschränkt, bei dem der Schlupfzustand basierend auf der Differenz zwischen der linken Radgeschwindigkeit und der rechten Radgeschwindigkeit bestimmt wird. Wenn zum Beispiel die Radgeschwindigkeit in Bezug auf die Ausgangsleistung einer Leistungsquelle, wie beispielsweise eines Verbrennungsmotors oder eines Fahrmotors, bemerkenswert hoch ist, kann die Reibung zwischen dem Reifen und dem Boden als sehr klein bestimmt werden, das heißt, das Fahrzeug ist in dem Schlupfzustand.
Wenn ein Bestimmungsergebnis von einer ECU bezogen wird, die einen Schlupfzustand basierend auf der Radgeschwindigkeit bestimmt, anders als die Bilderzeugungs-ECU 70, kann die Radschlupf-Bestimmungseinheit F32 das Bestimmungsergebnis beziehen und das bezogene Ergebnis als das Schlupfzustands-Bestimmungsergebnis übernehmen.
In einem Fall, in dem zumindest eines der Räder, Vorderrad oder Hinterrad, des Eigenfahrzeugs als in dem Schlupfzustand befindlich bestimmt wird (S113: JA), schreitet der Prozess zu S119 voran. In einem Fall, in dem alle Räder des Eigenfahrzeugs nicht in dem Schlupfzustand sind, das heißt in dem Nicht-Schlupfzustand (S113: NEIN), schreitet der Prozess zu S118.
In S118 aktualisiert die Verbundbild-Erzeugungseinheit F7 das vergangene Bild, das zum Erzeugen des transparenten Bildes CP basierend auf der Radgeschwindigkeit verwendet wird. Insbesondere kann eine von dem Eigenfahrzeug zurückgelegte Strecke basierend auf der Radgeschwindigkeit berechnet werden, und ein Kamerabild, das zuvor die Straßenoberfläche unter dem Boden des Eigenfahrzeugs zu dem aktuellen Zeitpunkt aufgenommen hat, kann aus den in dem Bildspeicher M1 gespeicherten vergangenen Bildern bezogen werden und als das vergangene Bild festgelegt werden.
Das letzte Kamerabild in der Fahrtrichtung wird in dem Bildspeicher M1 als Kandidat für ein neues vergangenes Bild gespeichert. Unter den Kamerabildern, die als Kandidaten für das vergangene Bild gespeichert sind, wird das Kamerabild, das durch Aufnehmen der Position des Fahrzeugs erhalten wird, das unter dem Boden des Eigenfahrzeugs vorbeifährt, aus dem Bildspeicher M1 gelöscht. Mit anderen Worten wird in Bezug auf die Position unter dem Boden des Eigenfahrzeugs als eine Referenz nur das Kamerabild in der Fahrtrichtung als der Kandidat für das vergangene Bild gespeichert, und das Kamerabild auf der entgegengesetzten Seite der Fahrtrichtung wird aus dem Bildspeicher gelöscht. Nach dem Aktualisieren des vergangenen Bildes basierend auf der Radgeschwindigkeit schreitet der Prozess zu S121 voran.
In S119 hält die Verbundbild-Erzeugungseinheit F7 das vergangene Bild aufrecht, unmittelbar bevor bestimmt wird, dass das Rad in dem Schlupfzustand ist. In einem Fall, in dem basierend auf der Radgeschwindigkeit bestimmt wird, dass das Eigenfahrzeug um die Speicherdistanz in der Fahrtrichtung gefahren ist, wird das neu aufgenommene Kamerabild nicht gespeichert und der aktuell gespeicherte Kandidat des vergangenen Bildes nicht gelöscht. Nachdem das vergangene Bild unmittelbar vor dem Schlupfzustand aufrechterhalten wurde, schreitet der Prozess zu S121 voran.
In S121 synthetisiert die Kamerabild-Verbundeinheit F71 die Kamerabilder. Insbesondere bildet die Kamerabild-Verbundeinheit F71 die Bilddaten jeder Kamera 2 und das vergangene Bild auf vorgegebenen Positionen auf der Projektionsoberfläche TS ab, wie zuvor beschrieben. In dem Nicht-Schlupfzustand wird das aktualisierte vergangene Bild, das auf der Radgeschwindigkeit basiert, auf den Fahrzeugbereich projiziert. In dem Schlupfzustand wird das vergangene Bild unmittelbar vor dem Schlupfzustand auf den Fahrzeugbereich projiziert. Nach dem Synthetisieren der Kamerabilder schreitet der Prozess zu S122 voran.
In S122 ordnet die Fahrzeugmodell-Zuordnungseinheit F72 das Fahrzeugmodell, wie beispielsweise die Fahrzeuggrenzlinie Lvc oder das 3D-Reifenmodell Pt, dem Verbundbild zu. Als andere Bildelemente können die geplante Trajektorielinie, die Skalenlinien, die Fahrzeugbreitenlinien, das 3D-Modell außer dem 3D-Reifenmodell Pt oder dergleichen dem Verbundbild hinzugefügt werden. Nach dem Zuordnen des Fahrzeugmodells schreitet der Prozess zu S125 voran.
In S125 erzeugt die Verbundbild-Erzeugungseinheit F7 das Fahrtrichtungsbild AP, um das transparente Bild CP einzubeziehen. Insbesondere wird der Renderprozess an dem Verbundbild ausgeführt, nachdem das Fahrzeugmodell gemäß dem virtuellen Blickpunkt VP hinzugefügt wird, und das Bildelement, das in dem vorgegebenen Blickwinkel enthalten ist, wenn es von dem virtuellen Blickpunkt VP aus betrachtet wird, wird ausgeschnitten. Wenn der virtuelle Blickpunkt VP auf den Fahrerblickpunkt festgelegt wird, das heißt diagonal nach unten und vorne, werden Bildelemente einschließlich der Vorderräder und des vorderen Endes des Eigenfahrzeugs als das Fahrtrichtungsbild AP ausgeschnitten.
In dem Fahrtrichtungsbild AP entspricht der Ausschnittabschnitt, auf den das Echtzeitkamerabild projiziert wird, dem ersten Fahrtrichtungsbild AP1. In dem Fahrtrichtungsbild AP entspricht der Ausschnittabschnitt, auf den das vergangene Bild projiziert wird, dem zweiten Fahrtrichtungsbild AP2.
Das erste Fahrtrichtungsbild AP1 ist ein Verbundbild, das durch Synthetisieren der Kamerabilder erhalten wird, die von drei Kameras 2 aufgenommen werden, das heißt, der vorderen Kamera 2F, der rechten Kamera 2R und der linken Kamera 2L. Das zweite Fahrtrichtungsbild AP2 ist ein Verbundbild, das durch Synthetisieren mehrerer vergangener Bilder erhalten wird, die zu unterschiedlichen Zeitpunkten aufgenommen wurden. Jedes vergangene Bild, das in dem zweiten Fahrtrichtungsbild AP2 enthalten ist, ist ein Kamerabild, das durch Durchführen einer Korrektur, wie beispielsweise einer Drehkorrektur, an dem durch die vordere Kamera 2F aufgenommenen Kamerabild erhalten wird.
Wenn das Rad des Eigenfahrzeugs nicht in dem Schlupfzustand ist, wird das zweite Fahrtrichtungsbild AP2 mit einem geeigneten vergangenen Bild in Übereinstimmung mit der Bewegung des Eigenfahrzeugs aktualisiert. Wenn das Rad des Eigenfahrzeugs in dem Schlupfzustand ist, wird das vergangene Bild, das an der Position unmittelbar vor dem Beginn des Schlupfzustands aufgenommen wird, als das zweite Fahrtrichtungsbild AP2 aufrechterhalten, und das vergangene Bild ändert sich in dem Schlupfzustand nicht. Das erste Fahrtrichtungsbild AP1 wird immer auf ein Bild festgelegt, in dem die aktuell aufgenommenen Kamerabilder synthetisiert werden, unabhängig davon, ob das Rad in einem Schlupfzustand oder in einem Nicht-Schlupfzustand ist.
In S141 erzeugt die Anzeigebild-Erzeugungseinheit F81 das Anzeigebild DP, um das Fahrtrichtungsbild AP einzubeziehen, das durch die Verbundbild-Erzeugungseinheit F7 erzeugt wird. Nach dem Erzeugen des Anzeigebildes DP schreitet der Prozess zu S142 voran.
In S142 gibt die Bildausgabeeinheit F9 das Anzeigebild DP an die Anzeige 3 aus. Insbesondere gibt die Bildausgabeeinheit F9 an die Anzeige 3 ein Signal aus, das durch Umwandeln der digitalen Bilddaten des Anzeigebilds DP, das durch die Anzeigebild-Erzeugungseinheit F81 erzeugt wird, in ein vorgegebenes Signalformat erhalten wird. Somit wird das Anzeigebild DP einschließlich des Fahrtrichtungsbildes AP auf der Anzeige 3 angezeigt. Nach dem Ausgeben des Anzeigebildes DP wird der Umgebungsbild-Anzeigeprozess beendet. Der Prozess kann wiederholt ausgeführt werden, bis die Anzeigeendbedingung erfüllt ist, und das letzte Umgebungsbild kann kontinuierlich angezeigt werden.
Im Folgenden werden technische Effekte des zuvor beschriebenen Ausführungsbeispiels beschrieben. In dem zuvor beschriebenen Ausführungsbeispiel zeigt die Anzeigesteuereinheit F8 in dem Nicht-Schlupfzustand des Fahrzeugs das Fahrtrichtungsbild AP an, um das transparente Bild CP durch Verwendung des vergangenen Bilds einzubeziehen, das basierend auf der aktuellen Radgeschwindigkeit ausgewählt wird. In dem Schlupfzustand zeigt die Anzeigesteuereinheit F8 das Fahrtrichtungsbild AP an, um das transparente Bild CP durch Verwendung des vergangenen Bilds unmittelbar vor dem Beginn des Schlupfzustands einzubeziehen. Mit anderen Worten zeigt in dem Nicht-Schlupfzustand die Anzeigesteuereinheit F8 das transparente Bild CP an, das die Straßenoberfläche unter dem Boden des Fahrzeugs 9 durch Verwendung des vergangenen Bilds zeigt, das basierend auf der aktuellen Radgeschwindigkeit ausgewählt wird. In dem Schlupfzustand zeigt die Anzeigesteuereinheit F8 das transparente Bild CP nicht durch Verwendung des vergangenen Bilds an, das basierend auf der aktuellen Radgeschwindigkeit ausgewählt wird. Somit ist es möglich, die Anzeige des transparenten Bildes CP durch Verwendung des Kamerabildes an einer Position zu unterbinden, die sich signifikant von der tatsächlichen Unterbodenposition als das vergangene Bild unterscheidet. Daher kann die Anzeige eines Bilds, das sich signifikant von der tatsächlichen Umgebung des Fahrzeugs unterscheidet, als das Umgebungsbild in dem Schlupfzustand unterbunden werden. Daher ist es möglich, eine hochzuverlässige Umgebungsbild-Anzeigevorrichtung bereitzustellen.
Die Aktualisierung des vergangenen Bildes und die Schlupfzustandsbestimmung werden basierend auf der Radgeschwindigkeit durchgeführt. Daher ist es einfach, die Verarbeitungslast im Vergleich zu einem Fall zu reduzieren, in dem das vergangene Bild durch ein Verfahren aktualisiert wird, das eine Bildverarbeitung des Kamerabilds enthält, wie beispielsweise das optische Flussverfahren. Daher ist es möglich, das vergangene Bild einfach mit hoher Geschwindigkeit zu aktualisieren und die Zeitverzögerung zu verkürzen, die bei der Umgebungsbild-Anzeigeverarbeitung auftritt.
In dem Schlupfzustand zeigt die Anzeigesteuereinheit F8 das Fahrtrichtungsbild AP so an, um das transparente Bild CP einzubeziehen, das durch Verwendung des vergangenen Bildes erzeugt wird, unmittelbar bevor das Rad des Fahrzeugs zu schlupfen beginnt. Mit anderen Worten zeigt die Anzeigesteuereinheit F8 das transparente Bild CP an, das angezeigt wird, unmittelbar bevor das Rad zu schlupfen beginnt, wenn bestimmt wird, dass das Rad in dem Schlupfzustand ist. Daher ist es einfach, die Abweichung zwischen dem transparenten Bild CP und der tatsächlichen Unterbodenposition im Vergleich zu einem Fall zu reduzieren, in dem das transparente Bild CP durch Verwendung des vergangenen Bilds, das basierend auf der Radgeschwindigkeit in dem Schlupfzustand ausgewählt wird, erzeugt und angezeigt wird.
Das Fahrtrichtungsbild AP enthält das Kamerabild der vorderen Kamera 2F, das Kamerabild der linken Kamera 2L und das Kamerabild der rechten Kamera 2R. Das heißt, die Anzeigesteuereinheit F8 zeigt das Umgebungsbild an, das durch Verwendung des Kamerabilds in der Fahrtrichtung des Fahrzeugs 9 und des Kamerabilds in der Links-Rechts-Richtung synthetisiert wird. Daher kann durch das Umgebungsbild ein breiterer Umgebungsbereich verglichen mit einem Fall angezeigt werden, in dem das Umgebungsbild, das nur durch Verwendung des Kamerabilds in der Fahrtrichtung erzeugt wird, angezeigt wird.
Die Radschlupf-Bestimmungseinheit F32 bestimmt, dass das Rad in dem Schlupfzustand ist, wenn die Differenz zwischen der Radgeschwindigkeit des linken Rads und der Radgeschwindigkeit des rechten Rads gleich oder größer als die vorgegebene Schlupfzustand-Radgeschwindigkeit ist. Somit kann die Radschlupf-Bestimmungseinheit den Radschlupf nur basierend auf der Radgeschwindigkeit bestimmen. Verglichen mit einem Fall, bei dem der Radschlupf zum Beispiel durch andere Vorrichtungen als den Radgeschwindigkeitssensor 6s bestimmt wird, wird der Radschlupf durch einen Beschleunigungssensor zum Erfassen der Beschleunigung des Fahrzeugs 9 und eine Positionserfassungsvorrichtung zum Erfassen einer Position des Fahrzeugs bestimmt, wobei die Radschlupfbestimmung gemäß dem obigen Ausführungsbeispiel in einer einfachen Konfiguration vorgenommen werden kann.
Das Fahrtrichtungsbild AP enthält das transparente Bild CP, das die Umgebung des Eigenfahrzeugs zeigt. Das transparente Bild wird auf transparente Weise erzeugt, als ob die Komponenten des Fahrzeugs 9, wie beispielsweise das Armaturenbrett und der Unterboden der Fahrzeugkarosserie, transparent wären. Somit kann der Benutzer durch Bestätigen eines solchen Umgebungsbildes den Zustand der Umgebung des Eigenfahrzeugs von dem Blickpunkt in der Fahrgastzelle bestätigen und kann den Zustand der Umgebung des Eigenfahrzeugs intuitiv erfassen.
Das Fahrtrichtungsbild AP enthält das Fahrzeugmodell, wie beispielsweise die Fahrzeuggrenzlinie Lvc, und das 3D-Reifenmodell Pt. Basierend auf der in dem Fahrtrichtungsbild AP enthaltenen Fahrzeuggrenzlinie Lvc kann der Benutzer leicht ein Gefühl des Abstands von der Fahrzeugkarosserie zu einem dreidimensionalen Objekt erkennen, wie beispielsweise einem Felsen, einem Bordstein oder einer Klappe, die in dem Nahbereich des Fahrzeugs vorhanden sind. Somit ist es möglich, das Risiko zu reduzieren, dass die Fahrzeugkarosserie unbeabsichtigt mit dem dreidimensionalen Objekt in Kontakt kommt. Der Benutzer kann die Positionen der Fahrzeugkarosserie und der Reifen in Bezug auf die Fahrbahnmarkierungen, Bordsteine, Felsen usw., die sich unter der Fahrzeugkarosserie befinden, leicht erkennen. Infolgedessen ist es möglich, während der Geländefahrt detaillierte Fahroperationen durchzuführen, wie beispielsweise das Aufsetzen des Reifens auf einem gezielten Felsen. Während der Straßenfahrt ist es möglich, auf einfache Weise detaillierte Fahroperationen durchzuführen, wie beispielsweise das Bewegen der Fahrzeugkarosserie in Richtung zu dem Straßenrand hin, ohne dass die Reifen mit dem Bordstein in Kontakt kommen.
Der Effekt des vorliegenden Ausführungsbeispiels wurde in Bezug auf das Beispiel beschrieben, in dem der Fahrerblickpunkt mit nach vorne gerichteter Sichtlinienrichtung als der virtuelle Blickpunkt VP festgelegt ist. Der gleiche Effekt kann erzielt werden, wenn die Sichtlinienrichtung in andere Richtungen gerichtet ist, wie beispielsweise nach hinten, seitlich und diagonal seitlich. Der gleiche Effekt kann erzielt werden, wenn der virtuelle Blickpunkt VP an einer beliebigen anderen Position als dem Fahrerblickpunkt in der Fahrgastzelle angeordnet ist. Der gleiche Effekt kann erzielt werden, wenn der virtuelle Blickpunkt VP auf die Außenfläche des Fahrzeugs 9 festgelegt ist oder auf einen Punkt festgelegt ist, der außerhalb des Nahbereichs der Außenfläche des Fahrzeugs positioniert ist. Zum Beispiel kann sich der äußere Nahbereich des Fahrzeugs auf einen Bereich innerhalb von 0,2m von der Außenfläche des Fahrzeugs 9 beziehen. Die Außenfläche kann einen hinteren Flächenabschnitt, einen vorderen Endabschnitt, ein Dach und linke und rechte Seitenflächenabschnitte beinhalten. Jeder Seitenflächenabschnitt kann Türbleche, Kotflügel, Säulen oder dergleichen enthalten.
Der virtuelle Blickpunkt VP kann geeignet an verschiedenen Positionen in der Fahrgastzelle festgelegt werden. Zum Beispiel kann der virtuelle Blickpunkt VP so festgelegt werden, dass die Blickpunktposition in der Nähe des Seitenspiegels festgelegt wird oder in der Mitte der Decke in der Fahrgastzelle oder dergleichen festgelegt wird. Die Anzeigesteuereinheit F8 kann den Innenblickpunkt in der Fahrgastzelle so festlegen, dass die Blickpunktposition hinter der Augenellipse festgelegt und die Sichtlinienrichtung diagonal nach hinten und unten verläuft. Dieser Innenblickpunkt wird auch als Innenrückblickpunkt bezeichnet. Gemäß einem solchen Innenrückblickpunkt ist es möglich, den Nahbereich der Hinterräder in einer größeren Größe als das Fahrtrichtungsbild AP anzuzeigen, wenn sich das Fahrzeug rückwärts bewegt. Mit dieser Konfiguration wird es für den Fahrer einfacher, die Situation um die Hinterräder und den hinteren Stoßfänger herum während der Rückwärtsbewegung zu erkennen.
In dem obigen Ausführungsbeispiel wird die Anzeige 3 durch eine an dem Fahrzeug montierten Anzeige bereitgestellt. Eine Vorrichtung, die das Bild anzeigt, das von der Bilderzeugungs-ECU 70 erzeugt wird, ist nicht auf die fahrzeugmontierte Anzeige beschränkt. Die Anzeige 3 kann eine Anzeigevorrichtung sein, die von einem mobilen Endgerät, wie beispielsweise einem Smartphone zur Fernsteuerung des Fahrzeugs 9, bereitgestellt wird. Die Anzeige 3 kann eine Anzeigevorrichtung sein, die in einem Verwaltungszentrum bereitgestellt wird, welches das Fahrzeug 9 ferngesteuert verwaltet.
Zweites Ausführungsbeispiel
Das zweite Ausführungsbeispiel ist eine Abwandlung des zuvor beschriebenen ersten Ausführungsbeispiels. Bei diesem Ausführungsbeispiel enthält das Fahrtrichtungsbild AP anstelle des transparenten Bildes CP das nicht-transparente Bild BP, das durch graduelles Verringern der Transparenz des Schlupfzustandsbildes erzeugt wird, das in überlagerter Weise auf dem vergangenen Bild angezeigt wird.
Im Folgenden wird ein Umgebungsbild-Anzeigeprozess in Bezug auf das in 8 gezeigte Ablaufdiagramm beschrieben. In der folgenden Beschreibung kann derselbe Teile wie in dem ersten Ausführungsbeispiel weggelassen werden. Die Bilderzeugungs-ECU 70 startet den Umgebungsbild-Anzeigeprozess als Reaktion darauf, dass die Umgebungsbild-Anzeigebedingung erfüllt ist. Wenn die Radschlupf-Bestimmungseinheit F32 in S113 bestimmt, dass das Fahrzeug in dem Nicht-Schlupfzustand ist (S113: NEIN), schreitet der Prozess zu S118 voran. Wenn die Radschlupf-Bestimmungseinheit F32 in S113 bestimmt, dass das Fahrzeug in dem Schlupfzustand ist (S113: JA), schreitet der Prozess zu S219 voran.
In S118 aktualisiert die Verbundbild-Erzeugungseinheit F7 das vergangene Bild basierend auf der Radgeschwindigkeit. Dann schreitet der Prozess zu S121 voran und die Kamerabild-Verbundeinheit F71 synthetisiert das Kamerabild. Dann schreitet der Prozess zu S122 voran und die Fahrzeugmodell-Zuordnungseinheit F72 ordnet das Fahrzeugmodell dem Verbundbild zu. Dann schreitet der Prozess zu S125 voran und die Verbundbild-Erzeugungseinheit F7 erzeugt das Fahrtrichtungsbild AP, um das transparente Bild CP einzubeziehen. Dann schreitet der Prozess zu S241 voran.
In S219 übernimmt die Verbundbild-Erzeugungseinheit F7 das Schlupfzustandsbild anstelle des vergangenen Bilds. Das Schlupfzustandsbild ist ein Bild, das anzuzeigen ist, wenn das Rad in dem Schlupfzustand ist. Das Schlupfzustandsbild kann unter einer Bedingung ordnungsgemäß festgelegt werden, dass das Bild den Benutzer nicht irreführt, dass der aktuelle Unterboden angezeigt wird. Als Schlupfzustandsbild kann ein Bild einer einzigen Farbe wie beispielsweise Schwarz oder Weiß übernommen werden. Als Schlupfzustandsbild kann ein Bild übernommen werden, das angibt, dass das Fahrzeug in dem Schlupfzustand ist, mit einer Zeichennachricht. Das Schlupfzustandsbild kann mit einer Farbe festgelegt werden, die sich von der Farbe der Straßenoberfläche oder der Farbe des Fahrzeugmodells unterscheidet. Nach Übernahme des Schlupfzustandsbildes anstelle des vergangenen Bildes schreitet der Prozess zu S231 voran.
In S231 synthetisiert die Verbundbild-Erzeugungseinheit F7 ein Bild durch Verwendung des Kamerabilds und des Schlupfzustandsbilds. Insbesondere werden die Bilddaten jeder Kamera 2 und das Schlupfzustandsbild auf die vorgegebenen Positionen auf der Projektionsoberfläche TS abgebildet. Das Schlupfzustandsbild wird auf den Fahrzeugbereich projiziert. Somit wird das Schlupfzustandsbild mit dem Abschnitt kombiniert, der dem Unterboden des Fahrzeugs entspricht. Nach dem Synthetisieren der Bilder schreitet der Prozess zu S232 voran.
In S232 ordnet die Fahrzeugmodell-Zuordnungseinheit F72 das Fahrzeugmodell, wie beispielsweise die Fahrzeuggrenzlinie Lvc oder das 3D-Reifenmodell Pt, dem Verbundbild zu. Nach dem Zuordnen des Fahrzeugmodells schreitet der Prozess zu S235 voran.
In S235 erzeugt die Verbundbild-Erzeugungseinheit F7 das Fahrtrichtungsbild AP, um das nicht-transparente Bild BP einzubeziehen. Das nicht-transparente Bild BP unterscheidet sich von dem transparenten Bild CP. Das nicht-transparente Bild BP zeigt die Straßenoberfläche unter dem Unterboden des Fahrzeugs nicht auf eine transparente Weise wie das transparente Bild CP. Somit ist es möglich, ein Missverständnis des transparenten Bildes CP durch den Benutzer zu vermeiden. Die Verbundbild-Erzeugungseinheit F7 führt ein Rendern an dem Verbundbild durch, nachdem das Fahrzeugmodell gemäß dem virtuellen Blickpunkt VP zugeordnet wird. Die Verbundbild-Erzeugungseinheit F7 erzeugt das Fahrtrichtungsbild AP so, um das nicht transparente Bild BP durch Ausschneiden eines Bildelements einzubeziehen, das in dem vorgegebenen Blickwinkel enthalten ist, wenn es von dem virtuellen Blickpunkt VP aus betrachtet wird.
Im Folgenden wird als Beispiel ein Verfahren zum Erzeugen des Fahrtrichtungsbildes AP beschrieben, wenn das transparente Bild CP auf das nicht-transparente Bild BP umgeschaltet wird, um das Fahrtrichtungsbild AP zu erzeugen. In 9 ist das erste Fahrtrichtungsbild AP1 ein Bild, das durch Synthetisieren der aktuellen Kamerabilder erhalten wird, die von der vorderen Kamera 2F, der rechten Kamera 2R und der linken Kamera 2L aufgenommen werden. Das zweite Fahrtrichtungsbild AP2 ist ein vergangenes Bild, das von der vorderen Kamera 2F aufgenommen wird. In diesem Zustand enthält sowohl das erste Fahrtrichtungsbild AP1 als auch das zweite Fahrtrichtungsbild AP2 die weiße Linie, die den Parkrahmen angibt.
In 10 wird das zweite Fahrtrichtungsbild AP2 durch Synthetisieren des vergangenen Bilds und des Schlupfzustandsbilds erzeugt. Insbesondere wird das zweite Fahrtrichtungsbild AP2 durch Überlagern des Schlupfzustandsbildes mit erhöhter Transparenz auf das vergangene Bild unmittelbar vor dem Schlupfzustand erzeugt. Mit anderen Worten wird das zweite Fahrtrichtungsbild AP2 durch Überlagern des halbtransparenten Bildes in dem Schlupfzustand auf das vergangene Bild unmittelbar vor dem Schlupfzustand erzeugt. In 10 werden Schraffuren mit großen Abständen auf das vergangene Bild unmittelbar vor dem Schlupfzustand angewendet, um zu zeigen, dass das zweite Fahrtrichtungsbild AP2 durch Überlagern des halbtransparenten Bilds in dem Schlupfzustand auf das vergangene Bild unmittelbar vor dem Schlupfzustand erzeugt wird.
Wenn das Schlupfzustandsbild ein schwarzes Bild ist, wird das vergangene Bild auf transparente Weise durch schwarze Farbe angezeigt. Somit ist es für den Benutzer schwierig, das vergangene Bild unmittelbar vor dem Schlupfzustand visuell zu erkennen. Wenn das Schlupfzustandsbild das Zeichenbild ist, das den Schlupfzustand des Fahrzeugs angibt, kann das Zeichen, das den Schlupfzustand angibt, hell gefärbt sein, und das Schlupfzustandsbild wird mit dem vergangenen Bild unmittelbar vor dem Schlupfzustand überlagert. Da in den vorherigen Beispielen das transparente Bild, das die Straßenoberfläche unter dem Fahrzeug zeigt, angezeigt wird, ist die weiße Linie des Parkrahmens in dem zweiten Fahrtrichtungsbild AP2 enthalten.
In 11 enthält das zweite Fahrtrichtungsbild AP2 nur das Schlupfzustandsbild, das durch das nicht-transparente Bild BP bereitgestellt wird. In 11 wird eine Schraffur mit kleineren Abständen im Vergleich zu 10 angewendet, um zu zeigen, dass das zweite Fahrtrichtungsbild AP2 nur das Schlupfzustandsbild enthält. Wenn das Schlupfzustandsbild ein schwarzes Bild ist, wird das gesamte zweite Fahrtrichtungsbild AP2 schwarz, und das vergangene Bild unmittelbar vor dem Schlupfzustand kann von dem Benutzer nicht visuell erkannt werden. Wenn das Schlupfzustandsbild das Zeichenbild ist, das den Schlupfzustand angibt, kann nur das Zeichen, das den Schlupfzustand angibt, von dem Benutzer visuell erkannt werden, und das vergangene Bild unmittelbar vor dem Schlupfzustand kann vom Benutzer nicht visuell erkannt werden.
Da das Schlupfzustandsbild kein Bild ist, das auf transparente Weise die Straßenoberfläche unter dem Fahrzeug zeigt, ist die weiße Linie des Parkrahmens nicht in dem zweiten Fahrtrichtungsbild AP2 enthalten. Wenn jedoch das aktuelle Kamerabild kombiniert und in dem ersten Fahrtrichtungsbild AP1 angezeigt wird, ist die weiße Linie des Parkrahmens in dem ersten Fahrtrichtungsbild enthalten. Der Benutzer kann das Umgebungsbild anders als unter dem Fahrzeugboden durch Bestätigung des ersten Fahrtrichtungsbilds AP1 bestätigen. Der Benutzer kann erkennen, dass das Rad in dem Schlupfzustand ist, durch Bestätigung, dass das Schlupfzustandsbild anstelle des Unterbodenbilds in dem zweiten Fahrtrichtungsbild AP2 angezeigt wird.
Wenn das Fahrtrichtungsbild AP so erzeugt wird, um das nicht-transparente Bild BP einzubeziehen, wie in der Reihenfolge von 9, 10 und 11 gezeigt, wird das Bild, das nur das vergangene Bild enthält, graduell auf das Bild durch Bildverarbeitung umgeschaltet, das nur den Schlupfzustand enthält. Insbesondere wird die Transparenz des Schlupfzustandsbildes kontinuierlich von 100% auf null reduziert. Nach dem Erzeugen des Fahrtrichtungsbildes AP, um das nicht-transparente Bild BP einzubeziehen, schreitet der Prozess zu S241 voran.
In S241 erzeugt die Anzeigebild-Erzeugungseinheit F81 das Anzeigebild DP, um das Fahrtrichtungsbild AP einzubeziehen, das durch die Verbundbild-Erzeugungseinheit F7 erzeugt wird. Während des Nicht-Schlupfzustands wird das Anzeigebild DP so erzeugt, um das transparente Bild CP einzubeziehen. Während des Schlupfzustands wird das Anzeigebild DP so erzeugt, um das nicht-transparente Bild BP einzubeziehen. Unmittelbar nachdem das Rad aus dem Nicht-Schlupfzustand in den Schlupfzustand eintritt, wird das Anzeigebild DP so erzeugt, um das transparente Bild CP einzubeziehen, in dem das halbtransparente Schlupfzustandsbild mit dem vergangenen Bild unmittelbar vor dem Schlupfzustand überlagert wird. Nach dem Erzeugen des Anzeigebildes DP schreitet der Prozess zu S242 voran.
In S242 gibt die Bildausgabeeinheit F9 das Anzeigebild DP an die Anzeige 3 aus. In dem Nicht-Schlupfzustand zeigt die Anzeige 3 das Anzeigebild DP einschließlich des transparenten Bildes CP an. In dem Schlupfzustand zeigt die Anzeige 3 das Anzeigebild DP einschließlich des nicht-transparenten Bildes BP an. Unmittelbar nachdem das Rad aus dem Nicht-Schlupfzustand in den Schlupfzustand eintritt, zeigt die Anzeige 3 das Anzeigebild DP an, das so erzeugt wird, um das transparente Bild CP einzubeziehen, in dem das halbtransparente Schlupfzustandsbild unmittelbar vor dem Schlupfzustand dem vorherigen Bild überlagert wird. Nach dem Ausgeben des Anzeigebilds DP wird der Umgebungsbild-Anzeigeprozess beendet. Der Prozess kann wiederholt ausgeführt werden, bis die Anzeigeendbedingung erfüllt ist, und das letzte Umgebungsbild kann kontinuierlich angezeigt werden.
Im Folgenden werden technische Effekte des vorliegenden Ausführungsbeispiels beschrieben. Gemäß dem vorliegenden Ausführungsbeispiel zeigt die Anzeigesteuereinheit F8 das nicht-transparente Bild BP an, das die Straßenoberfläche unter dem Fahrzeugbodenabschnitt in undurchsichtiger Weise zeigt, das heißt in nicht-transparenter Weise in dem Schlupfzustand. Daher ist es möglich, zu verhindern, dass der Benutzer die Situation unter dem Fahrzeugboden in dem Schlupfzustand missversteht.
In dem Nicht-Schlupfzustand wird das transparente Bild CP angezeigt. In dem Schlupfzustand wird das nicht-transparente Bild BP angezeigt. Somit kann der Benutzer durch Erkennen, ob das transparente Bild CP angezeigt wird oder das nicht-transparente Bild BP angezeigt wird, erkennen, ob das Fahrzeug in dem Schlupfzustand oder in dem Nicht-Schlupfzustand ist.
Wenn die Anzeigesteuereinheit F8 das transparente Bild CP, das in dem Nicht-Schlupfzustand angezeigt wird, auf das nicht-transparente Bild BP umschaltet, das in dem Schlupfzustand angezeigt wird, wird die Transparenz graduell verringert, um das nicht-transparente Bild BP anzuzeigen. Daher kann der Benutzer den Anzeigeumschalteffekt visuell als den Anzeigeeffekt erkennen, der mit dem Bildumschalten verbunden ist. Somit ist es beim Umschalten von dem transparenten Bild CP zu dem nicht-transparenten Bild BP möglich, zu verhindern, dass der Benutzer missversteht, dass die Anzeige 3 oder dergleichen außer Betrieb ist.
Das Verfahren zum Anzeigen des Fahrtrichtungsbildes AP, welches das nicht-transparente Bild BP enthält, ist nicht auf das zuvor beschriebene Verfahren beschränkt. Zum Beispiel kann das nicht-transparente Bild BP anstelle des transparenten Bildes CP angezeigt werden, indem das vergangene Bild dem Schlupfzustandsbild überlagert wird und die Transparenz des vergangenen Bildes schrittweise erhöht wird.
Drittes Ausführungsbeispiel
Das dritte Ausführungsbeispiel ist eine Abwandlung der zuvor beschriebenen Ausführungsbeispiele. In dem vorliegenden Ausführungsbeispiel wird das Fahrtrichtungsbild AP, welches das nicht-transparente Bild BP enthält, anstelle des transparenten Bilds CP angezeigt, indem der Bereich, in dem das nicht-transparente Bild BP angezeigt wird, in dem Schlupfzustand allmählich erweitert bzw. verbreitert wird.
Im Folgenden wird ein Umgebungsbild-Anzeigeprozess in Bezug auf das in 12 gezeigte Ablaufdiagramm beschrieben. In der folgenden Beschreibung kann derselbe Teil wie in dem ersten Ausführungsbeispiel weggelassen werden. Die Bilderzeugungs-ECU 70 startet den Umgebungsbild-Anzeigeprozess als Reaktion darauf, dass die Umgebungsbild-Anzeigebedingung erfüllt ist. Das Kamerabild wird in S101 bezogen. Dann schreitet der Prozess zu S102 voran und bezieht die Anzeigefestlegungen. Dann schreitet der Prozess zu S111 voran und bezieht den Fahrzeugzustand. Dann schreitet der Prozess zu S112 voran und die Radgeschwindigkeitsdifferenz wird berechnet. Dann schreitet der Prozess zu S313 voran.
In S313 bestimmt die Radschlupf-Bestimmungseinheit F32 eine Möglichkeit von Radschlupf basierend auf der Radgeschwindigkeit. Die Radschlupf-Bestimmungseinheit F32 kann bestimmen, dass das Vorderrad des Eigenfahrzeugs in dem Schlupfzustand sein kann, wenn die Differenz zwischen der Radgeschwindigkeit des rechten Vorderrads und der Radgeschwindigkeit des linken Vorderrads größer als eine vorgegebene Nicht-Schlupfzustand-Radgeschwindigkeit ist. Die Nicht-Schlupfzustand-Radgeschwindigkeit wird auf einen niedrigeren Wert als die Schlupfzustand-Radgeschwindigkeit festgelegt.
Wenn die Radgeschwindigkeitsdifferenz gleich oder kleiner als die Nicht-Schlupfzustand-Radgeschwindigkeit ist, wird bestimmt, dass das Rad in dem Nicht-Schlupfzustand ist. Wenn die Radgeschwindigkeitsdifferenz größer als die Nicht-Schlupfzustand-Radgeschwindigkeit und kleiner als die Schlupfzustand-Radgeschwindigkeit ist, kann das Rad in dem Schlupfzustand oder in dem Nicht-Schlupfzustand sein. Das heißt, wenn die Radgeschwindigkeitsdifferenz größer als die Nicht-Schlupfzustand-Radgeschwindigkeit und kleiner als die Schlupfzustand-Radgeschwindigkeit ist, wird bestimmt, dass die Möglichkeit eines Radschlupfs besteht. Wenn die Radgeschwindigkeitsdifferenz größer oder gleich der Schlupfzustand-Radgeschwindigkeit ist, ist es sehr wahrscheinlich, dass das Rad in dem Schlupfzustand ist. Wenn die Möglichkeit eines Radschlupfes besteht, das heißt, das Fahrzeug sich in einem potentiellen Schlupfzustand befindet (S313: JA), schreitet der Prozess zu S314 voran. Wenn kein Radschlupf möglich ist (S313: NEIN), wird bestimmt, dass das Fahrzeug in dem Nicht-Schlupfzustand ist, und der Prozess schreitet zu S118 voran.
In S314 berechnet die Bilderkennungseinheit F5 den Bewegungsbetrag des Fahrzeugs 9 basierend auf dem Kamerabild. Der Bewegungsbetrag des Fahrzeugs 9 kann durch Verwendung einer Bildverarbeitung, wie beispielsweise des optischen Flussverfahrens, berechnet werden. Wenn der Bewegungsbetrag des Fahrzeugs 9 basierend auf dem Kamerabild berechnet wird, ist der Bewegungsbetrag des Fahrzeugs 9 selbst dann im Wesentlichen null, wenn sich die Räder in dem Schlupfzustand drehen, und der Bewegungsbetrag des Fahrzeugs 9 nimmt gemäß der Drehung der Räder in dem Nicht-Schlupfzustand zu. Nach dem Berechnen des Bewegungsbetrags des Fahrzeugs 9 basierend auf dem Kamerabild schreitet der Prozess zu S315 voran.
In S315 bestimmt die Radschlupf-Bestimmungseinheit F32, ob das Rad des Eigenfahrzeugs in dem Schlupfzustand ist. Insbesondere, wenn der Bewegungsbetrag des Fahrzeugs 9 im Wesentlichen null ist, wird bestimmt, dass das Fahrzeug in dem Schlupfzustand ist. Wenn der Bewegungsbetrag des Fahrzeugs 9 äquivalent zu dem Bewegungsbetrag ist, der basierend auf der Radgeschwindigkeit berechnet wird, wird bestimmt, dass das Fahrzeug in dem Nicht-Schlupfzustand ist. Wenn bestimmt wird, dass das Fahrzeug in dem Schlupfzustand ist (S315: JA), schreitet der Prozess zu S219 voran. Wenn bestimmt wird, dass das Fahrzeug in dem Nicht-Schlupfzustand ist (S315: NEIN), schreitet der Prozess zu S118 voran.
In S219 übernimmt die Verbundbild-Erzeugungseinheit F7 das Schlupfzustandsbild anstelle des vergangenen Bilds. Dann schreitet der Prozess zu S231 voran und das Kamerabild und das Schlupfzustandsbild werden als das Verbundbild synthetisiert. Dann schreitet der Prozess zu S232 voran, und das Fahrzeugmodell wird dem Verbundbild zugeordnet. Dann schreitet der Prozess zu S335 voran.
In S335 erzeugt die Verbundbild-Erzeugungseinheit F7 das Fahrtrichtungsbild AP so, um das nicht-transparente Bild BP einzubeziehen. Im Folgenden wird als ein Beispiel ein Verfahren zum Erzeugen des Fahrtrichtungsbildes AP beschrieben, wenn das transparente Bild CP auf das nicht-transparente Bild BP umgeschaltet wird, um das Fahrtrichtungsbild AP zu erzeugen.
In 13 ist das erste Fahrtrichtungsbild AP1 ein Bild, das durch Synthetisieren der aktuellen Kamerabilder erhalten wird, die von der vorderen Kamera 2F, der rechten Kamera 2R und der linken Kamera 2L aufgenommen werden. Das zweite Fahrtrichtungsbild AP2 ist ein Bild, das sowohl das transparente Bild CP, das das vergangene Bild ist, das von der vorderen Kamera 2F aufgenommen wird, als auch das nicht-transparente Bild BP enthält, das das Schlupfzustandsbild ist. Das transparente Bild CP wird auf den linken und mittleren Abschnitten des zweiten Fahrtrichtungsbilds AP2 aufrechterhalten, und das nicht-transparente Bild BP wird auf dem rechten Abschnitt des zweiten Fahrtrichtungsbilds AP2 übernommen. Das heißt, das nicht-transparente Bild BP wird als ein Teil des zweiten Fahrtrichtungsbildes AP2 übernommen. In 13 wird das zweite Fahrtrichtungsbild AP2 in einem Zustand angezeigt, in dem der Bereich des transparenten Bildes CP breiter als der Bereich des nicht-transparenten Bildes BP ist.
Wie in 14 gezeigt, enthält das zweite Fahrtrichtungsbild AP2 sowohl das transparente Bild CP, das das vergangene Bild ist, das von der vorderen Kamera 2F aufgenommen wird, als auch das nicht-transparente Bild BP, das das Schlupfzustandsbild ist. Das transparente Bild CP wird in dem linken Abschnitt des zweiten Fahrtrichtungsbilds AP2 aufrechterhalten, und das nicht-transparente Bild BP wird in dem rechten und mittleren Abschnitt des zweiten Fahrtrichtungsbilds AP2 übernommen. In 14 wird das zweite Fahrtrichtungsbild AP2 in einem Zustand angezeigt, in dem der Bereich des nicht-transparenten Bilds BP breiter als der Bereich des transparenten Bilds CP ist.
Wenn das Fahrtrichtungsbild AP so erzeugt wird, um das nicht-transparente Bild BP einzubeziehen, wie in der Reihenfolge von 9, 13 und 14 gezeigt, wird das Bild, das nur das vergangene Bild enthält, graduell auf das Bild durch Bildverarbeitung umgeschaltet, das nur das Schlupfzustandsbild enthält. Insbesondere wird der Bereich des transparenten Bildes CP in dem zweiten Fahrtrichtungsbild AP2 graduell verringert und der Bereich des nicht-transparenten Bildes BP wird graduell vergrößert. Das nicht-transparente Bild BP ist nicht auf den Modus des Expandierens von dem rechten Ende zu dem linken Ende des zweiten Fahrtrichtungsbildes AP2 beschränkt, wie in dem zuvor beschriebenen Beispiel beschrieben. Zum Beispiel kann der Bereich des nicht-transparenten Bildes BP von dem linken Ende zu dem rechten Ende in dem zweiten Fahrtrichtungsbild AP2 vergrößert werden. Zum Beispiel kann der Bereich des nicht-transparenten Bildes BP von dem oberen Ende zu dem unteren Ende in dem zweiten Fahrtrichtungsbild AP2 vergrößert werden. Zum Beispiel kann der Bereich des nicht-transparenten Bildes BP von dem mittleren Abschnitt in Richtung zu dem äu-ßeren Umfangsrand in dem zweiten Fahrtrichtungsbild AP2 vergrößert werden.
Nach dem Erzeugen des Fahrtrichtungsbildes AP, um das nicht-transparente Bild BP einzubeziehen, schreitet der Prozess zu S241 voran, um das Anzeigebild DP zu erzeugen. Dann schreitet der Prozess zu S242 voran und das Anzeigebild DP wird ausgegeben. Nach dem Ausgeben des Anzeigebildes DP wird der Umgebungsbild-Anzeigeprozess beendet. Der Umgebungsbild-Anzeigeprozess kann wiederholt ausgeführt werden, bis die Anzeigeendbedingung erfüllt ist, und das letzte Umgebungsbild kann kontinuierlich angezeigt werden.
Im Folgenden werden technische Effekte des vorliegenden Ausführungsbeispiels beschrieben. Gemäß dem zuvor beschriebenen Ausführungsbeispiel zeigt die Anzeigesteuereinheit F8 das nicht-transparente Bild BP durch graduelles Erweitern bzw. Verbreitern des Bereichs des nicht-transparenten Bilds BP an, wenn das transparente Bild CP auf das nicht-transparente Bild BP umgeschaltet wird. Somit ist es beim Umschalten von dem transparenten Bild CP zu dem nicht-transparenten Bild BP möglich, zu verhindern, dass der Benutzer missversteht, dass die Anzeige 3 oder dergleichen außer Betrieb ist.
Wenn die Radschlupf-Bestimmungseinheit F32 basierend auf der Radgeschwindigkeit bestimmt, dass das Rad in dem potenziellen Schlupfzustand ist, bestimmt die Radschlupf-Bestimmungseinheit F32 des Weiteren basierend auf dem Kamerabild, das über die Zeit aufgenommen wird, ob das Rad in dem Schlupfzustand ist. Daher ist es möglich eine hochgenaue Schlupfzustandsbestimmung durch Verwendung des Kamerabilds vorzunehmen. Wenn basierend auf der Radgeschwindigkeit bestimmt wird, dass das Fahrzeug nicht in dem potenziellen Schlupfzustand ist, wird die Schlupfzustandsbestimmung durch Verwendung des Kamerabilds nicht durchgeführt. Die Schlupfzustandsbestimmung durch Verwendung des Kamerabildes erfordert eine größere Verarbeitungslast als die Schlupfzustandsbestimmung basierend auf der Radgeschwindigkeit. Daher kann die für die Schlupfzustandsbestimmung erforderliche Verarbeitungslast im Vergleich zu einem Fall reduziert werden, in dem die Schlupfzustandsbestimmung immer durch Verwendung der Kamerabilder durchgeführt wird. Somit ist es einfach, die Verarbeitungslast für die Schlupfzustandsbestimmung und die Ausgabe des Umgebungsbildes zu reduzieren, und die Verarbeitungsdauer kann verkürzt werden.
Weitere Ausführungsbeispiele
Die Offenbarung in dieser Beschreibung und den Zeichnungen ist nicht auf die beispielhaften Ausführungsbeispiele beschränkt. Die vorliegende Offenbarung enthält zuvor beschriebene Ausführungsbeispiele und von einem Fachmann vorgenommene Abwandlungen der zuvor beschriebenen Ausführungsbeispiele. Zum Beispiel ist die vorliegende Offenbarung nicht auf eine Kombination der in den Ausführungsbeispielen beschriebenen Komponenten und/oder Elemente beschränkt. Die vorliegende Offenbarung kann durch verschiedene unterschiedliche Kombinationen ausgeführt werden. Die vorliegende Offenbarung kann eine zusätzliche Konfiguration enthalten, die zu den zuvor beschriebenen Ausführungsbeispielen hinzugefügt werden kann. Die vorliegende Offenbarung enthält auch Abwandlungen, die Teilkomponenten/Elemente der zuvor beschriebenen Ausführungsbeispiele enthalten. Die vorliegende Offenbarung enthält auch den Austausch oder die Kombination von Komponenten und/oder Elementen zwischen einem Ausführungsbeispiel und einem anderen. Der in der vorliegenden Offenbarung offenbarte technische Umfang ist nicht auf die zuvor beschriebenen Ausführungsbeispiele beschränkt. Es versteht sich, dass einige offenbarte technische Bereiche durch die Beschreibung der Ansprüche angegeben sind und jede Abwandlung innerhalb der äquivalenten Bedeutung und des Umfangs der Beschreibung der Ansprüche enthält.
Die Offenbarung in der Beschreibung, den Zeichnungen und dergleichen ist nicht durch die Beschreibung der Ansprüche beschränkt. Die Offenbarungen in der Beschreibung, den Zeichnungen und dergleichen enthalten die in den Ansprüchen beschriebenen technischen Ideen und erstrecken sich des Weiteren auf eine größere Vielfalt technischer Ideen als die in den Ansprüchen beschriebenen. Somit können verschiedene technische Ideen aus der Offenbarung der Beschreibung, den Zeichnungen und dergleichen extrahiert werden, ohne auf die Beschreibung der vorliegenden Offenbarung beschränkt zu sein.
Die Bilderzeugungseinheit und das Verfahren dafür gemäß der vorliegenden Offenbarung können durch einen oder mehrere Spezialcomputer implementiert werden. Ein solcher Spezialcomputer kann vorgesehen sein (i) durch Konfigurieren (a) eines Prozessors und eines Speichers, der zum Ausführen einer oder mehrerer Funktionen programmiert ist, die durch ein Computerprogramm ausgestaltet sind, oder (ii) durch Konfigurieren (b) eines Prozessors, der eine oder mehrere dedizierte Hardware-Logikschaltungen enthält, oder (iii) durch Konfigurieren durch eine Kombination aus (a) einem Prozessor und einem Speicher, der programmiert ist, um eine oder mehrere Funktionen auszuführen, die durch ein Computerprogramm ausgestaltet sind, und (b) einem Prozessor, der eine oder mehrere dedizierte Hardware-Logikschaltungen enthält. Die Technik zum Realisieren der Funktionen jeder Funktionseinheit, die in der Vorrichtung oder dem Verfahren enthalten ist, muss nicht notwendigerweise Software enthalten, und alle Funktionen können durch Verwendung einer oder mehrerer Hardwareschaltungen realisiert werden. Des Weiteren kann das Computerprogramm als ein Programmprodukt in einem computerlesbaren, nichtflüchtigen materiellen Speichermedium als Anweisungen gespeichert sein, die von einem Computer auszuführen sind.

Claims

Umgebungsbild-Anzeigevorrichtung mit: einer Radgeschwindigkeit-Bezugseinheit (F31), die Radgeschwindigkeiten eines Fahrzeugs (9) bezieht; einer Radschlupf-Bestimmungseinheit (F32), die einen Schlupfzustand oder einen Nicht-Schlupfzustand eines Rads des Fahrzeugs basierend auf den Radgeschwindigkeiten bestimmt, die von der Radgeschwindigkeit-Bezugseinheit bezogen werden; einer Bildbezugseinheit (F1), die mehrere Kamerabilder von jeweiligen Kameras (2) bezieht, wobei jede der Kameras nacheinander einen Umgebungsbereich des Fahrzeugs aufnimmt; einem Bildspeicher (M1), der als ein vergangenes Bild das Kamerabild speichert, das einen Bereich in einer Fahrtrichtung des Fahrzeugs angibt, unter den Kamerabildern, die von der Bildbezugseinheit bezogen werden; einer Verbundbild-Erzeugungseinheit (F7), die ein Umgebungsbild erzeugt, das eine Umgebung des Fahrzeugs durch Synthetisieren der Kamerabilder angibt, die von der Bildbezugseinheit bezogen werden; und einer Anzeigesteuereinheit (F8), die das Umgebungsbild, das von der Verbundbild-Erzeugungseinheit erzeugt wird, auf einer Anzeige (3) anzeigt, wobei, die Anzeigesteuereinheit in dem Nicht-Schlupfzustand ein transparentes Bild anzeigt, das auf transparente Weise einen Abschnitt unter einem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird, und, die Anzeigesteuereinheit in dem Schlupfzustand eine Anzeige des transparenten Bildes deaktiviert, das den Abschnitt unter dem Boden des Fahrzeugs durch Verwendung des vergangenen Bildes zeigt, das basierend auf aktuellen Radgeschwindigkeiten ausgewählt wird.
Umgebungsbild-Anzeigevorrichtung nach Anspruch 1, wobei, die Anzeigesteuereinheit in dem Schlupfzustand ein nicht-transparentes Bild anzeigt, das den Abschnitt unter dem Boden des Fahrzeugs nicht auf die transparente Weise zeigt.
Umgebungsbild-Anzeigevorrichtung nach Anspruch 2, wobei, wenn die Anzeigesteuereinheit das transparente Bild, das in dem Nicht-Schlupfzustand angezeigt wird, auf das nicht-transparente Bild umschaltet, das in dem Schlupfzustand angezeigt wird, die Anzeigesteuereinheit graduell eine Transparenz ändert, um das nicht-transparente Bild anzuzeigen.
Umgebungsbild-Anzeigevorrichtung nach Anspruch 2, wobei, wenn die Anzeigesteuereinheit das transparente Bild, das in dem Nicht-Schlupfzustand angezeigt wird, auf das nicht-transparente Bild umschaltet, das in dem Schlupfzustand angezeigt wird, die Anzeigesteuereinheit graduell einen Bereich des nichttransparenten Bilds vergrößert, um das nicht-transparente Bild anzuzeigen.
Umgebungsbild-Anzeigevorrichtung nach Anspruch 1, wobei, die Anzeigesteuereinheit in dem Schlupfzustand das transparente Bild anzeigt, das angezeigt wird, unmittelbar bevor das Rad des Fahrzeugs in den Schlupfzustand eintritt.
Umgebungsbild-Anzeigevorrichtung nach einem der Ansprüche 1 bis 5, wobei die Bildbezugseinheit das Kamerabild in der Fahrtrichtung des Fahrzeugs und Kamerabilder in der linken und rechten Richtung des Fahrzeugs bezieht, und die Anzeigesteuereinheit das Umgebungsbild anzeigt, das durch Verwendung des Kamerabilds in der Fahrtrichtung des Fahrzeugs und der Kamerabilder in der linken und rechten Richtung des Fahrzeugs erzeugt wird.
Umgebungsbild-Anzeigevorrichtung nach einem der Ansprüche 1 bis 6, wobei die Radgeschwindigkeit-Bezugseinheit als die Radgeschwindigkeiten eine Radgeschwindigkeit eines rechten Rads und eine Radgeschwindigkeit eines linken Rads bezieht, und die Radschlupf-Bestimmungseinheit den Schlupfzustand des Rads bestimmt, wenn eine Differenz zwischen der Radgeschwindigkeit des rechten Rads und der Radgeschwindigkeit des linken Rads gleich oder größer als eine vorgegebene Schlupfzustand-Radgeschwindigkeit ist.
Umgebungsbild-Anzeigevorrichtung nach einem der Ansprüche 1 bis 7, wobei, als Reaktion auf das Bestimmen, dass basierend auf den Radgeschwindigkeiten keine Möglichkeit von Radschlupf besteht, die Radschlupf-Bestimmungseinheit bestimmt, dass das Rad des Fahrzeugs in dem Nicht-Schlupfzustand ist, und als Reaktion auf das Bestimmen, dass basierend auf den Radgeschwindigkeiten eine Möglichkeit von Radschlupf besteht, die Radschlupf-Bestimmungseinheit basierend auf einer zeitlichen Änderung der Kamerabilder des Weiteren bestimmt, ob das Rad des Fahrzeugs in dem Schlupfzustand oder in dem Nicht-Schlupfzustand ist.