DE112010005670B4

DE112010005670B4 - Fahrunterstützungsvorrichtung, Fahrunterstützungssystem und Fahrunterstützungs-Kameraeinheit

Info

Publication number: DE112010005670B4
Application number: DE112010005670.6T
Authority: DE
Inventors: Tatsuya Mitsugi
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-06-18
Filing date: 2010-06-18
Publication date: 2015-11-12
Anticipated expiration: 2030-06-19
Also published as: JPWO2011158304A1; US20130057690A1; WO2011158304A1; DE112010005670T5; US9007462B2; JP5052708B2

Abstract

Fahrunterstützungsvorrichtung (1, 4), die mit einer Kamera (2) verbunden ist, die an einem Fahrzeug angebracht ist und ein Weitwinkelobjektiv aufweist zum Bildgeben einer Straßenoberfläche in einer Richtung, in der sich das Fahrzeug bewegt, und auf einer Anzeigevorrichtung (18) ein Bild auf Grundlage eines Kamerabildes anzeigt, bei dem es sich um ein Bild handelt, das durch die Kamera aufgenommen wird, wobei die Fahrunterstützungsvorrichtung umfasst: einen Informationsspeicherabschnitt (11, 11a), der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsverzerrung des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und eine Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt (10), der eine Fahrzeuginformation erfasst, einschließlich einem Gangzustand, bei dem es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; ein Fahrzeugzustands-Beurteilungsabschnitt (12), der einen Fahrzeugzustand beurteilt, bei dem es sich um einen Zustand des Fahrzeugs handelt, auf Grundlage der Fahrzeuginformation; und einen Bilderzeugungsabschnitt (16), der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands zur Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; eines Zustands zum Start der Bewegung, wobei es sich um einen Zustand handelt, bis ...

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Fahrunterstützungsvorrichtung, die ein Fahren unterstützt, indem ein Fahrer die Lage bzw. Umstände um ein Fahrzeug im Fall einer Rückwärts- oder Vorwärtsbewegung eines angehaltenen Fahrzeugs visuell überprüfen kann.
Stand der Technik
Eine Fahrunterstützungsvorrichtung führt eine Bildgebung der Lage um ein Fahrzeug durch, mittels einer Kamera, die an dem Fahrzeug angebracht ist, und ändert ein aufgenommenes Kamerabild gemäß einem Zustand des Fahrzeugs, um dieses anzuzeigen. Es gibt z. B. eine Fahrunterstützungsvorrichtung (Patentdokument 1), in dem eine Lage um ein Fahrzeug durch eine Vielzahl von Kameras aufgenommen wird, wobei Bilder der Anzahl von Standpunkten, die mit der Anzahl von Kameras zusammenhängen, derart angezeigt werden, dass ein Fahrer die Umgebungslage leicht erfassen kann, wenn das Fahrzeug stoppt, und die Bilder, die durch die jeweiligen Kameras aufgenommen werden, werden zu einem Bild von einem Standpunkt synthetisiert, um derart angezeigt zu werden, dass der Fahrer die Anzeige leicht versteht, wenn sich das Fahrzeug bewegt. Ferner gibt es eine Fahrunterstützungsvorrichtung (Patentdokument 2), in der eine virtuelle Kamera an einer Position eingestellt ist, die sich von der Position einer tatsächlichen Kamera unterscheidet, und ein Ansichtswinkel der virtuellen Kamera wird groß eingestellt, wenn ein Lenkwinkel groß ist, und der Ansichtswinkel der virtuellen Kamera wird klein eingestellt, wenn der Lenkwinkel klein ist; ein Abstand zu einem Hindernis während der Bewegung eines Fahrzeugs kann somit leicht erfasst werden.
DE 10 2004 043 236 A1 beschreibt eine Überwachung einer Fahrzeugumgebung, bei der in einer Kameraeinheit bezüglich einer Beziehung zwischen einer Bildhöhe eines entsprechenden Bildabschnitts eines auf einem Aufnahmeelement ausgebildeten Bilds und einem Bildwinkel von Lichtstrahlen, welche auf die entsprechenden Bildabschnitte einfallen, ein Linsensystem so ausgelegt ist, dass ein Änderungsbetrag der Bildhöhe bezüglich einer Änderung des Bildwinkels an einem Randabschnitt des Bilds größer als in einem Mittelteil des Bilds ist.
DE 10 2004 048 185 B4 beschreibt ein Verfahren zum Betrieb eines elektronischen Einsichtnahmesystems eines Fahrzeugs zur Einsichtnahme des Fahrzeugführers auf den beanspruchten Fahrweg, mit zumindest zwei optischen Sensoren, einer Bildanzeigeeinheit und einer Detektoreinrichtung, wobei die von den optischen Sensoren generierten Bilder in einer Auswahl oder gemeinsam auf der Bildanzeigeeinheit darstellbar sind, und wobei mittels der Detektoreinrichtung der Bewegungszustand des Fahrzeugs detektierbar ist, und wobei die Detektion des Bewegungszustands zumindest über einen Fahrzeuggeschwindigkeitssensor und/oder über einen Gangstatussensor zur Erkennung der Fahrtrichtung des Fahrzeugs erfolgt, und wobei die Auswahl der auf der Bildanzeigeeinheit dargestellten, von den optischen Sensoren generierten Bilder vom Bewegungszustand des Fahrzeugs abhängig getroffen werden kann, so dass die Detektion des Bewegungszustands des einen Anhänger aufweisenden Fahrzeugs zumindest über einen Sensor zur Erkennung der Winkelstellung des Anhängers relativ zum Fahrzeug erfolgt.
DE 10 2008 038 463 A1 beschreibt eine Bildverarbeitungsvorrichtung, die es einem Benutzer erlaubt, problemlos einen momentanen Zustand eines Blickwinkels zu erkennen. Wenn ein Blickwinkel von einem Weitwinkel in einen Telebildwinkel umgeschaltet wird, wird dabei eine bestimmte Zeit vor dem Schaltvorgang eine Bereichsanzeige durchgeführt.
Die Bereichsanzeige umfasst einen Telebildrahmen, der aus Linien gebildet ist, die eine Grenze eines Bilds darstellen, und eine bestimmte Zeit vor dem Umschalten dargestellt werden. Nach der bestimmten Zeit wir dein Telebild dargestellt und die Bereichsanzeige nicht länger dargestellt.
Dokumente im Stand der Technik

Patentdokument 1: Japanisches ungeprüftes Patent mit der Veröffentlichungsnummer 2005-236493
Patentdokument 2: Japanisches ungeprüftes Patent mit der Veröffentlichungsnummer 2008-149879

Offenbarung der Erfindung
Durch die Erfindung zu lösende Probleme
Da die Fahrunterstützungsvorrichtung des Patentdokuments 1 aus einer Vielzahl von Standpunkten zu einem Bild von einem Standpunkt umschaltet, bei und unmittelbar nach dem Start der Bewegung des Fahrzeugs, ist eine Bestätigung der Lage bei und unmittelbar nach dem Start der Bewegung schwierig. Es besteht somit ein Problem darin, dass das Fahrzeug nicht langsam bewegt werden kann, während die Lage um das Fahrzeug bestätigt wird. Da ferner die Fahrunterstützungsvorrichtung des Patentdokuments 2 ein Bild mit einem kleinen Ansichtswinkel anzeigt, wenn die Bewegung in einem Zustand gestartet wird, in dem der Lenkwinkel klein ist, besteht ein Problem darin, dass die Bestätigung der Umgebungslage schwierig ist, unabhängig von der Zeit, wenn das Fahrzeug mit der Bewegung beginnt. Wie oben erläutert schaltet die Fahrunterstützungsvorrichtung nach Patentdokument 1 und 2 die Anzeige des Bildes gemäß der Lage des Fahrzeugs nicht geeignet um.
Eine Aufgabe der vorliegenden Erfindung besteht daher in der Bereitstellung einer Fahrunterstützungsvorrichtung, die ein Bild anzeigen kann, das einen breiten Bereich einer Straßenoberfläche in einer Richtung bestätigen kann, in der sich ein Fahrzeug bewegt, bevor dem Start der Bewegung des Fahrzeugs und für eine vorbestimmte Zeitperiode vom Start der Bewegung, und ein Bild, das geeignet ist ein Abstandsgefühl zu erfassen bzw. bereitzustellen, nachdem eine vorbestimmte Zeitperiode vom Start der Bewegung des Fahrzeugs abgelaufen ist.
Mittel zum Lösen des Problems
Gemäß der vorliegenden Erfindung wird eine Fahrunterstützungsvorrichtung bereitgestellt, die mit einer Kamera verbunden ist, die an einem Fahrzeug angebracht ist und ein Weitwinkelobjektiv aufweist zum Bildgeben einer Straßenoberfläche einer Richtung, in der sich das Fahrzeug bewegt, und auf einer Anzeigevorrichtung ein Bild auf Grundlage eines Kamerabildes anzeigt, bei dem es sich um ein Bild handelt, das durch die Kamera aufgenommen wird, wobei die Fahrunterstützungsvorrichtung umfasst: einen Informationsspeicherabschnitt, der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsverzerrung des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und eine Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt, der eine Fahrzeuginformation erfasst, einschließlich einem Gangzustand, bei dem es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; ein Fahrzeugzustands-Beurteilungsabschnitt, der einen Fahrzeugzustand beurteilt, bei dem es sich um einen Zustand des Fahrzeugs handelt, auf Grundlage der Fahrzeuginformation; und einen Bilderzeugungsabschnitt, der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands zur Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; ein Zustand zum Start der Bewegung, wobei es sich um einen Zustand handelt, bis eine vorbestimmte Bedingung während der Bewegung vom Start der Bewegung vorliegt und in dem sich das Fahrzeug bewegt; und ein Zustand während der Bewegung, wobei es sich um einen Zustand handelt in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, für den Fahrzeugzustand, und der Bilderzeugungsabschnitt ein Weitwinkelbild erzeugt, bei dem es sich um ein Bild handelt, das einen weiten Bereich sehen kann, obwohl es eine Abbildungsverzerrung aufweist, wenn der Fahrzeugzustand der Zustand der Vorbereitung zur Bewegung oder der Zustand des Starts der Bewegung ist, und ein Bild ohne Abbildungsverzerrung erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert werden, wenn der Fahrzeugzustand der Zustand während der Bewegung ist.
Gemäß der vorliegenden Erfindung wird eine Fahrunterstützungs-Kameraeinheit bereitgestellt, die ein Bild einer Straßenoberfläche eine Richtung aufnimmt, in der sich ein Fahrzeug bewegt, und an einer Anzeigevorrichtung ein Bild auf Grundlage eines aufgenommenen Kamerabildes anzeigt, wobei die Fahrunterstützungs- Kameraeinheit umfasst: eine Kamera, die an dem Fahrzeug angebracht ist, und ein Weitwinkelobjektiv zur Bildgebung der Straßenoberfläche aufweist; einen Informationsspeicherabschnitt, der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsinformation des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und einer Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt, der eine Fahrzeuginformation erfasst, einschließlich einem Gangzustand, wobei es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; einen Fahrzeugzustands-Beurteilungsabschnitt, der einen Fahrzeugzustand beurteilt, wobei es sich um einen Zustand des Fahrzeugs handelt, basierend auf der Fahrzeuginformation; und einen Bilderzeugungsabschnitt, der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands der Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; einen Zustand des Starts der Bewegung, wobei es sich um einen Zustand handelt, bis eine vorbestimmte Bedingung während der Bewegung vorliegt, vom Start der Bewegung und wobei sich das Fahrzeug bewegt; und einen Zustand während der Bewegung, wobei es sich um einen Zustand handelt, in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, für den Fahrzeugzustand, und der Bilderzeugungsabschnitt ein Weitwinkelbild erzeugt, wobei es sich um ein Bild handelt, das einen weiten Bereich sehen kann, obwohl es eine Abbildungsverzerrung aufweist, wenn der Fahrzeugzustand der Zustand der Vorbereitung der Bewegung oder der Zustand des Starts der Bewegung ist, und ein Bild ohne Abbildungsverzerrung erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert sind, wenn der Fahrzeugzustand der Zustand während der Bewegung ist.
Vorteilhafter Effekt der Erfindung
Gemäß der vorliegenden Erfindung kann ein Bild angezeigt werden, mit dem ein breiter Bereich einer Straßenoberfläche in einer Richtung bestätigt werden kann, in dem sich ein Fahrzeug bewegt, vor dem Start der Bewegung des Fahrzeugs und für eine vorbestimmte Zeitperiode vom Start der Bewegung, und es kann ein Bild angezeigt werden, mit dem ein Abstandsgefühl erfasst werden kann, nachdem eine vorbestimmte Zeitperiode vom Start der Bewegung des Fahrzeugs abgelaufen ist.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm zur Darstellung einer Information eines Fahrunterstützungssystems gemäß Ausführungsform 1;
2 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Führungslinien-Berechnungsabschnitts des Fahrunterstützungssystems gemäß Ausführungsform 1;
3 ist ein Beispiel von Führungslinien im realen Raum, die durch einen Führungslinien-Erzeugungsblock des Fahrunterstützungssystems gemäß Ausführungsform 1 berechnet werden;
4 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Kamerabild-Korrekturabschnitts des Fahrunterstützungssystems gemäß Ausführungsform 1;
5 ist ein Beispiel eines Führungslinienbilds, das in einer ersten Anzeigebedingung des Fahrunterstützungssystems gemäß Ausführungsform 1 angezeigt wird;
6 ist ein Beispiel eines Führungslinienbilds, das in einer zweiten Anzeigebedingung in dem Fahrunterstützungssystem gemäß Ausführungsform 1 angezeigt wird;
7 sind Fotographien von Bildern, die an einer Anzeigevorrichtung angezeigt werden, die durch Beispiele die Beziehung zwischen einem Weitwinkelbild, das in der ersten Anzeigebedingung angezeigt wird, und einem nicht verzerrten Bild, das in der zweiten Anzeigebedingung angezeigt wird, in dem Fahrunterstützungssystem gemäß Ausführungsform 1 erläutert;
8 sind Fotographien von Bildern, die an der Anzeigevorrichtung angezeigt werden, die durch Beispiele die Beziehung zwischen dem in der ersten Anzeigebedingung angezeigten Weitwinkelbild und einem nicht verzerrten Bild von einem unterschiedlichen Betrachtungspunkt, das in einer dritten Anzeigebedingung angezeigt wird, in dem Fahrunterstützungssystem gemäß Ausführungsform 1 erläutert;
9 ist ein Beispiel eines Führungslinienbilds, das in einer vierten Anzeigebedingung in dem Fahrunterstützungssystem gemäß Ausführungsform 1 angezeigt wird;
10 ist ein Diagramm zur Erläuterung von Änderungen in einem Fahrzeugzustand, erkannt durch einen Anzeigebedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 1;
11 ist ein Flussdiagramm zur Erläuterung eines Betriebs, der Fahrzeugzustände in dem Fahrzeugbedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 1 beurteilt;
12 ist ein Flussdiagramm zur Erläuterung eines Betriebs, der Fahrzeugzustände in dem Anzeigebedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 1 beurteilt;
13 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Fahrunterstützungssystems gemäß Ausführungsform 2;
14 ist ein Diagramm zur Erläuterung von Änderungen in einem Fahrzeugzustand, erkannt durch einen Anzeigebedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 2;
15 ist ein Flussdiagramm zur Erläuterung eines Betriebs, der Fahrzeugzustände in dem Anzeigebedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 2 beurteilt;
16 ist ein Flussdiagramm zur Erläuterung eines Betriebs, der Fahrzeugzustände in dem Anzeigebedingungs-Bestimmungsabschnitt des Fahrunterstützungssystems gemäß Ausführungsform 2 beurteilt;
17 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Fahrunterstützungssystems gemäß Ausführungsform 3; und
18 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Fahrunterstützungssystems gemäß Ausführungsform 4.
Modi zum Ausführen der Erfindung
Ausführungsform 1
1 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Fahrunterstützungssystems gemäß Ausführungsform 1. Das Fahrunterstützungssystem gemäß 1 ist durch Aufnahme einer Host-Einheit 1, die als eine Fahrunterstützungsvorrichtung dient, und einer Kameraeinheit 2 konfiguriert. Eine elektronische Steuereinheit 3 ist eine elektrische Steuereinheit (ECU), die im Allgemeinen an einem Fahrzeug angebracht ist und elektronische Vorrichtungen, mit denen ein Fahrzeug ausgestattet ist, durch eine elektronische Schaltung steuert, und die elektronische Steuereinheit 3 ist eine Fahrzeuginformations-Ausgabevorrichtung, die eine Fahrzeuginformation erfasst und diese an die Host-Einheit 1 ausgibt. Die Fahrzeuginformations-Ausgabevorrichtung in der vorliegenden Ausführungsform gibt eine Fahrzeuginformation an die Host-Einheit 1 aus, wobei die Fahrzeuginformation insbesondere eine Gangzustandsinformation enthält, die die Position eines Auswahlschalthebels anzeigt, der durch die Betätigung eines Fahrers bedient wird, um einen Getriebezustand des Fahrzeugs (im Folgenden als „Gangzustand” bezeichnet) zu ändern, sowie eine Geschwindigkeitsinformation, die die Geschwindigkeit des Fahrzeugs anzeigt, eine Beschleunigungsinformation, die die Beschleunigung eines Fahrzeugs anzeigt, eine Bewegungsabstandinformation, die einen Bewegungsabstand des Fahrzeugs in einem Zyklus anzeigt, in dem die Fahrzeuginformation erfasst wird, und eine Parkbremsinformation, die die Position einer Feststellbremse anzeigt, und dergleichen. Das Fahrzeug ist ein Automatikgetriebe-(engl. Automatic Transmission bzw. AT)Fahrzeug, bei dem der Fahrer keine Kupplung betätigen muss.
Eine Navigationsvorrichtung, die eine Routenführung zu dem Ziel durchführt, ist weithin an einem Automobil (Fahrzeug) angebracht. Bei den Navigationsvorrichtungen kann es sich um einen Typ handeln, der vorab in einem Fahrzeug angebracht ist, sowie um einen anderen Typ, der separat von einem Fahrzeug verkauft wird, um an dem Fahrzeug angebracht zu werden. Ein Anschlussgerät bzw. Terminal zum Ausgeben der Fahrzeuginformation wird an der ECU bereitgestellt, so dass eine kommerziell erhältliche Navigationsvorrichtung angebracht werden kann. Das Fahrunterstützungssystem gemäß der vorliegenden Ausführungsform kann daher die Fahrzeuginformation erfassen, indem die Host-Einheit 1 mit dem Ausgabeterminal verbunden wird. Die Host-Einheit 1 kann im Übrigen mit der Navigationsvorrichtung integriert werden; alternativ kann die Host-Einheit 1 von der Navigationsvorrichtung separiert werden.
Die Host-Einheit 1 überlagert ein Führungslinienbild, bei dem es sich um ein Bild von Führungslinien handelt, die an einer vorbestimmten Position hinter dem Fahrzeug bezüglich des Fahrzeugs eingestellt werden, auf einem Kamerabild, bei dem es sich um ein Bild handelt, das das Fahrzeug umgibt (insbesondere dahinter) und durch eine Kamera aufgenommen wird, die ein Weitwinkelobjektiv aufweist, das als ein Bildgebungsabschnitt dient, den die Kameraeinheit 2 aufweist; und die Host-Einheit 1 zeigt das überlagerte Bild auf einem Anzeigeabschnitt 18 (Anzeigevorrichtung), wie zum Beispiel einem Monitor in dem inneren des Fahrzeugs an. Ein Fahrzeugzustand bezüglich der Bewegung, bei dem es sich um einen Zustand eines Fahrzeugs handelt, wird durch die Geschwindigkeit des Fahrzeugs, dem Gangzustand, und dergleichen beurteilt; und ein Bild, das gemäß dem beurteilten Fahrzeugzustand angezeigt wird, wird verändert, um dem Fahrer die Erkennung der umgebenden Lage zu ermöglichen.
Die Host-Einheit 1 enthält: einen Anzeigeabschnitt 18, der ein Bild anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt 10, der die von der elektronischen Steuereinheit 3 ausgegebene Fahrzeuginformation erfasst; einen Informationsspeicherabschnitt 11 (Führungslinien-Erzeugungs-Informationsspeicherabschnitt), in dem eine Information zum Berechnen von Führungslinien gespeichert ist; einen Anzeigebedingungs-Bestimmungsabschnitt 12 (Fahrzeugzustands-Beurteilungsabschnitt), der eine Anzeigebedingungs-Information erzeugt, die zur Anzeige des Führungslinienbilds und des Kamerabilds durch den Anzeigeabschnitt 18 in einer Art und Weise führt, die auf der durch den Fahrzeuginformations-Erfassungsabschnitt 10 erfassten Fahrzeuginformation basiert; einen Führungslinien-Berechnungsabschnitt 13 (Führungslinien-Informationserzeugungsabschnitt), der eine Führungslinieninformation berechnet, bei der es sich um eine Information bezüglich der Abbildungsposition und Form der Führungslinien auf Grundlage der Information, die in dem Informationsspeicherabschnitt 11 gespeichert ist und der Anzeigebedingungsinformation handelt; einen Linienabbildungsabschnitt 14 (Führungslinien-Bilderzeugungsabschnitt), der das Führungslinienbild erzeugt, indem die Führungslinien auf Grundlage der durch den Führungslinien-Berechnungsabschnitt 13 berechneten Führungslinieninformation gezeichnet bzw. abgebildet werden; einen Kamerabild-Empfangsabschnitt 15, der das von der Kameraeinheit 2 übertragene Kamerabild empfängt; einen Kamerabild-Korrekturabschnitt 16 (Bilderzeugungsabschnitt), der das durch den Kamerabild-Empfangsabschnitt 15 empfangene Kamerabild auf Grundlage der in dem Informationsspeicherabschnitt 11 gespeicherten Information und der Anzeigebedingungsinformation korrigiert; und einen Bildüberlagerungsabschnitt 17, der das Führungslinienbild und das korrigierte Kamerabild überlagert, durch Einstellen des Führungslinienbilds, ausgegeben von dem Linienzeichnungsabschnitt 14, und des korrigierten Kamerabilds, ausgegeben von dem Kamerabild-Korrekturabschnitt 16, auf Bilder unterschiedlicher Schichten. Das Führungslinienbild und das korrigierte Kamerabild unterschiedlicher Schichten, ausgegeben von dem Bildüberlagerungsabschnitt 17, werden in einem Bild synthetisiert bzw. dargestellt, das an dem Anzeigeabschnitt 18 angezeigt wird. Im Übrigen bilden der Kamerabild-Korrekturabschnitt 16 und der Bildüberlagerungsabschnitt 17 Bildausgabeabschnitte aus.
Wenn der Gangzustand des Fahrzeugs, der durch den Fahrzeuginformations-Erfassungsabschnitt 10 der Host-Einheit 1 erfasst wird, rückwärts ist (Rückwärtsbewegung), bewirkt die Host-Einheit 1 an der Kamera der Kameraeinheit 2 eine Steuerung, um ein aufgenommenes Kamerabild zu übertragen.
Durch die oben erwähnte Konfiguration wird ein Bild auf dem Anzeigeabschnitt 18 angezeigt, indem das durch den Linienzeichnungsabschnitt 14 erzeugte Führungslinienbild dem Kamerabild überlagert wird, das von der Kameraeinheit 2 übertragen wird; und durch Bestätigen dieses Bilds kann der Fahrer des Fahrzeugs das Fahrzeug unter Verwendung der Führungslinien als ein Kriterium einparken, während die Begleitumstände hinter und um das fahrende Fahrzeug visuell überprüft werden. Wenn im Übrigen ein Ziel von dem Fahrer festgelegt wird, kann das durch die Kamera aufgenommene Bild an dem Anzeigeabschnitt 18 angezeigt werden.
Im Folgenden wird jedes grundlegende Element, das die Fahrunterstützungsvorrichtung ausbildet, erläutert.
Gemäß 1 wird die folgende Information in dem Informationsspeicherabschnitt 11 als Führungslinien-Berechnungsinformation zum Berechnen von Führungslinien, die später beschrieben werden, gespeichert.

(A) Anbringungsinformation. Eine Anbringungsinformation ist eine Information, welche anzeigt, dass die Kamera an dem Fahrzeug in einer Art und Weise angebracht ist, mit anderen Worten eine Information, die eine Anbringungsposition und einen Anbringungswinkel der Kamera zeigt.
(B) Betrachtungswinkelinformation. Eine Betrachtungswinkelinformation ist eine Winkelinformation, die einen Bereich eines aufzunehmenden Gegenstands durch die Kamera der Kameraeinheit 2 anzeigt, und eine Anzeigeinformation, die einen Anzeigebereich während der Anzeige des Bilds auf dem Anzeigeabschnitt 18 anzeigt. Die Winkelinformation enthält den maximalen horizontalen Winkel der Ansicht Xa und den maximalen vertikalen Winkel der Ansicht Ya oder den diagonalen Winkel der Ansicht der Kamera. Die Anzeigeinformation enthält die maximale horizontale Zeichnungspixelgröße Xp und die maximale vertikale Zeichnungspixelgröße Yp des Anzeigeabschnitts 18.
(C) Projektionsinformation. Eine Projektionsinformation ist eine Information, die ein Projektionssystem des Objektivs zur Verwendung in der Kamera der Kameraeinheit 2 anzeigt. Da ein Fischaugenobjektiv für das Weitwinkelobjektiv, das die Kamera aufweist, in der vorliegenden Ausführungsform verwendet wird, wird eine von einer stereographischen Projektion einer Äquidistanzprojektion, einer Equisolid-Angle-Projektion und einer orthographischen Projektion für einen Wert der Projektionsinformation verwendet.
(D) Objektiv-Abbildungsverzerrungsinformation. Eine Objektiv-Abbildungsverzerrungsinformation ist eine Information der Charakteristiken des Objektivs bezüglich einer Abbildungsverzerrung eines Bilds aufgrund des Objektivs.
(E) Standpunktinformation. Eine Standpunktinformation ist eine Information bezüglich einer unterschiedlichen Position unter der Annahme, dass die Kamera vorhanden ist.
(F) Führungslinien-Abstandsinformation. Eine Führungslinien-Abstandsinformation ist eine Parkbreiteninformation, eine Fahrzeugbreiteninformation und eine Abstandsinformation eines sicheren Abstands, eines verhaltenen Abstands und eines Warnabstands von dem hinteren Ende des Fahrzeugs. Die Parkbreiteninformation ist eine Information, die eine Parkbreite anzeigt (zum Beispiel die Breite einer Parkfläche), der eine vorbestimmte Randbreite zur Breite des Fahrzeugs hinzugefügt wird. Die Abstandsinformation des sicheren Abstands, des verhaltenen Abstands und des Warnabstands von dem hinteren Ende des Fahrzeugs ist ein Abstand mit Blick nach hinten von dem hinteren Ende des Fahrzeugs und zeigt ein Kriterium des Abstands hinter dem Fahrzeug an, zum Beispiel ist der sichere Abstand 1 m, der verhaltene Abstand 50 cm und der Warnabstand ist 10 cm, jeweils von dem hinteren Ende des Fahrzeugs. Der Fahrer kann durch den sicheren Abstand, den verhaltenen Abstand und den Warnabstand, jeweils von dem hinteren Ende des Fahrzeugs, erfassen, wie viel Abstand von dem hinteren Ende des Fahrzeugs zu einem Hindernis besteht, das hinter dem Fahrzeug gesehen wird.

Die (C) Projektionsinformation, die (D) Objektiv-Abbildungsverzerrungsinformation und die (E) Standpunktinformation ist im Übrigen auch eine Information zum Erzeugen von Bildern, die zum Transformieren des Kamerabilds verwendet werden, das durch die Kamera aufgenommen wird.
2 ist ein Blockdiagramm zur Darstellung der Konfiguration des Führungslinien-Berechnungsabschnitts 13. Der Führungslinien-Berechnungsabschnitt 13 ist durch Aufnahme eines Führungslinien-Erzeugungsblocks 131, eines Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblocks 132, eines Projektionsfunktions-Berechnungsblocks 133, eines Projektionsebene-Transformationsfunktions-Berechnungsblocks 134, eines Standpunkttransformations-Funktionsberechnungsblocks 135 und eines Projektionsbildausgabe-Transformationsfunktions-Berechnungsblocks 136 konfiguriert. Der Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132, der Projektionsfunktions-Berechnungsblock 133, und der Standpunkttransformations-Funktionsberechnungsblock 135 können nicht gemäß der Anzeigebedingungsinformation betrieben werden. Daher wird zur Vereinfachung zuerst eine Beschreibung des Falls angegeben, bei dem alle oben erwähnten jeweiligen grundlegenden Elemente arbeiten.
Der Führungslinien-Erzeugungsblock 131 stellt virtuell Führungslinien auf der Straßenoberfläche hinter dem Fahrzeug ein, auf Grundlage der Führungslinien-Abstandsinformation, die aus dem Informationsspeicherabschnitt 11 erfasst wird, wenn die Gangzustands-Information, bei der der Gangzustand des Fahrzeugs rückwärts ist, von dem Fahrzeuginformations-Erfassungsabschnitt 10 eingegeben wird. 3 zeigt ein Beispiel der Führungslinien im realen Raum, die durch den Führungslinien-Erzeugungsblock 131 berechnet werden. Gerade Linien L1 in 3 sind Führungslinien, die die Breite der Parkfläche anzeigen, die geraden Linien L2 sind Führungslinien, die die Breite des Fahrzeugs anzeigen, und die geraden Linien L3 bis L5 sind Führungslinien, die den Abstand von dem hinteren Ende des Fahrzeugs anzeigen. L3 zeigt den Warnabstand, L4 zeigt den verhaltenen Abstand und L5 zeigt den sicheren Abstand. Die geraden Linien L1 und L2 beginnen von der geraden Linie L3, die am nächsten zu dem Fahrzeug ist, und weisen eine Länge auf, die annähernd gleich oder größer als die Länge der Parkfläche von der dem Fahrzeug abgewandten Seite ist. Die geraden Linien L3 bis L5 werden derart gezeichnet, um beide geraden Seitenlinien L2 zu verbinden. Eine Richtung D1 zeigt eine Richtung an, in der das Fahrzeug in die Parkfläche eintritt. Im Übrigen werden beide Führungslinien der Fahrzeugbreite und der Parkbreite angezeigt; es kann jedoch auch nur eine angezeigt werden. Ferner können die Führungslinien, die den Abstand von dem hinteren Ende des Fahrzeugs anzeigen, gleich oder geringer als zwei Linien sein, oder gleich oder mehr als vier Linien. Die Führungslinien können zum Beispiel an der Position des gleichen Abstands wie die Länge des Fahrzeugs von jeder der geraden Linien L3 bis L5 angezeigt werden. Nur die Führungslinien parallel zu der Fahrrichtung des Fahrzeugs (L1 und L2 in 3) und jede der Führungslinien, die den Abstand von dem hinteren Ende des Fahrzeugs anzeigen, können angezeigt werden. Ein Anzeigemuster (Farbe, Dicke, Linientyp und dergleichen) der Führungslinien, die parallel zu der Fahrrichtung des Fahrzeugs sind, kann gemäß dem Abstand von dem hinteren Ende des Fahrzeugs geändert werden. Wenn nur die Führungslinien, die den Abstand von dem hinteren Ende des Fahrzeugs anzeigen, angezeigt werden, kann die Länge davon entweder die Parkbreite oder die Fahrzeugbreite sein. Wenn die Länge der Parkbreite angezeigt wird, können Abschnitte, die mit der Fahrzeugbreite zusammenhängen, und andere Abschnitte in einem unterschiedlichen Anzeigemuster angezeigt werden.
Der Führungslinien-Erzeugungsblock 131 gibt Auffindungskoordinaten eines Anfangspunkts und eines Endpunkts von jeder in 3 gezeigten Führungslinie aus. Jeder Funktionsberechnungsblock an einem nachfolgenden Abschnitt berechnet Koordinatenwerte, die einen vergleichbaren Einfluss ausüben, wie der Einfluss, der durch Aufnahme durch die Kamera empfangen wird, bezüglich notwendiger Punkte auf jeder Führungslinie. Der Linienzeichnungsabschnitt 14 erzeugt das Führungslinienbild auf Grundlage der Führungslinieninformation als ein berechnetes Resultat. Danach wird das Bild auf dem Anzeigeabschnitt 18 angezeigt, indem das Führungslinienbild dem Kamerabild ohne Abweichung überlagert wird. Im Folgenden werden zur Vereinfachung die Koordinaten P = (x, y) auf den Führungslinien, die auf der Straßenoberfläche hinter dem Fahrzeug virtuell eingestellt werden, wie in 3 gezeigt, als ein Beispiel erläutert. Im Übrigen können die Koordinaten P als eine Position in rechtwinkligen Koordinaten definiert werden, in denen zum Beispiel ein Punkt auf der Straßenoberfläche hinter dem Fahrzeug als der Ursprung angesehen wird, wobei der Punkt um einen vorbestimmten Abstand von dem Fahrzeug separiert ist.
Der Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132 führt eine Transformation in Koordinaten i(P) durch, die der Objektiv-Abbildungsverzerrung unterliegen, indem eine Objektiv-Abbildungsverzerrungsfunktion i() berechnet wird, die auf Grundlage der Objektiv-Abbildungsverzerrungsinformation bestimmt wird, die von dem Informationsspeicherabschnitt 11 erfasst wird, bezüglich der Koordinaten P, die die durch den Führungslinien-Erzeugungsblock 131 berechneten Führungslinien anzeigen. Bei der Objektiv-Abbildungsverzerrungsfunktion i() handelt es sich um eine, bei der eine Abbildungsverzerrung, der das Kamerabild aufgrund der Objektivform unterliegt, wenn eine Gegenstand durch die Kamera der Kameraeinheit 2 aufgenommen wird, durch eine Funktion wiedergegeben wird. Die Objektiv-Abbildungsverzerrungsfunktion i() kann zum Beispiel durch ein Modell nach Zhang bezüglich der Objektiv-Abbildungsverzerrung gefunden werden. In dem Modell nach Zhang wird die Objektiv-Abbildungsverzerrung durch eine Strahlungsabbildungsverzerrung moduliert, und die folgende Berechnung wird durchgeführt.
Wenn (u, v) als normalisierte Koordinaten angesehen werden, die frei von dem Einfluss der Objektiv-Abbildungsverzerrung sind, und (um, vm) als normalisierte Koordinaten unter dem Einfluss der Objektiv-Abbildungsverzerrung angesehen werden, wird die folgende Beziehung begründet. um = u + u·(k1·r2 + k2·r⁴) vm = v + v·(k1·r2 + k2·r⁴) r² = u² + u² wobei k₁ und k₂ Koeffizienten zu dem Zeitpunkt sind, wenn die Objektiv-Abbildungsverzerrung aufgrund der Strahlenabbildungsverzerrung durch eine Polynomial-Gleichung wiedergegeben wird und Konstanten des Objektivs sind.
Die folgende Beziehung besteht zwischen den Koordinaten P = (x, y) und den Koordinaten i = (xm, ym), die der Objektiv-Abbildungsverzerrung unterliegen. xm = x + (x – x₀)·(k1·r² + k2·r⁴) ym = y + (y – y₀)·(k1·r² + k2·r⁴) r² = (x – x₀)² + (y – y₀)² wobei (x₀, y₀) ein Punkt auf der Straßenoberfläche ist, der mit einem Hauptpunkt zusammenhängt, der als Zentrum der Strahlenabbildungsverzerrung dient, in Koordinaten, die frei von dem Einfluss der Objektiv-Abbildungsverzerrung sind. (x₀, y₀) wird aus der Anbringungsinformation der Kameraeinheit 2 gefunden. Im Übrigen ist eine optische Achse des Objektivs in dem Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132 und dem Projektionsfunktions-Berechnungsblock 133 senkrecht zu der Straßenoberfläche und geht durch (x₀, y₀).
Der Projektionsfunktions-Berechnungsblock 133 führt eine Transformation in Koordinaten h(i(P)) unter dem Einfluss aufgrund des Projektionssystems (im Folgenden eine Projektionsabbildungsverzerrung) durch, indem ferner eine Funktion h() durch das Projektionssystem berechnet wird, die auf Grundlage der Projektionsinformation bestimmt wird, die von dem Informationsspeicherabschnitt 11 erfasst wird, bezüglich der Koordinaten i(P), die der Objektiv-Abbildungsverzerrung unterliegen, die von dem Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132 ausgegeben werden. Die Funktion h() durch das Projektionssystem wird durch eine Funktion bezüglich eines Lichteinfalls bei einem Winkel θ repräsentiert, im Zusammenhang damit, wie weit entfernt von dem Zentrum des Objektivs das Objektiv auf eine Position fokussiert. Wenn eine Brennweite des Objektivs f ist, ist ein Einfallswinkel des einfallenden Lichts, d. h. ein Halbwinkel der Ansicht gleich θ, und eine Bildhöhe eines Bildgebungsbereichs der Kamera (der Abstand zwischen dem Objektivzentrum und der fokussierenden Position) gleich Y, wobei die Funktion h() durch das Projektionssystem die Bildhöhe Y berechnet, indem eine der folgenden Gleichungen für jedes Projektionssystem verwendet wird.

stereographische Projektion Y = 2·f·tan(θ/2)

Äquidistanzprojektion Y = f·θ

Equisolid-Angle-Projektion Y = 2·f·sin(θ/2)

orthographische Projektion Y = f·sinθ
Der Projektionsfunktions-Berechnungsblock 133 führt eine Transformation der Koordinaten i(P) durch, die der Objektiv-Abbildungsverzerrung unterliegen, die von dem Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132 ausgegeben wird, in den Einfallswinkel θ bezüglich des Objektivs, berechnet die Bildhöhe Y durch eine Substitution in einer der obigen Projektionsgleichungen, gibt die Bildhöhe Y in Koordinaten zurück; und entsprechend werden die Koordinaten h(i(P)), die der Projektionsabbildungsverzerrung unterliegen, berechnet.
Der Projektionsebene-Transformationsfunktions-Berechnungsblock 134 führt eine Transformation in Koordinaten f(h(i(P))) durch, die einer Projektionsebenen-Transformation unterliegen, indem ferner eine Projektionsebenen-Transformationsfunktion f() berechnet wird, die auf Grundlage der Anbringungsinformation bestimmt wird, die von dem Informationsspeicherabschnitt 11 erfasst wird, bezüglich der Koordinaten h(i(P)), die der Projektionsabbildungsverzerrung unterliegen, die von dem Projektionsfunktions-Berechnungsblock 133 ausgegeben wird. Die Projektionsebenen-Transformation ist eine Transformation, die einen Einfluss gemäß einem Anbringungszustand ausübt, da das durch die Kamera aufgenommene Bild von dem Anbringungszustand, wie zum Beispiel der Anbringungsposition und dem Anbringungswinkel der Kamera, abhängt. Durch diese Transformation werden die jeweiligen Koordinaten, die die Führungslinien anzeigen, in Koordinaten transformiert, wie durch die Kamera aufgenommen, die an dem Fahrzeug an der Position angebracht ist, die durch die Anbringungsinformation definiert ist. Die Anbringungsinformation zur Verwendung in der Projektionsebenen-Transformationsfunktion f() ist eine Höhe L der Anbringungsposition der Kamera bezüglich der Straßenoberfläche, ein vertikaler Anbringungswinkel Φ, bei dem es sich um einen Neigewinkel der optischen Achse der Kamera bezüglich der vertikalen Linie handelt, ein horizontaler Anbringungswinkel θh, bei dem es sich um einen Neigewinkel bezüglich der Zentrallinie handelt, die entlang der Länge des Fahrzeugs von hinten nach vorn verläuft, und einen Abstand H von dem Zentrum der Fahrzeugbreite. Die Projektionsebenen-Transformationsfunktion f() wird durch eine geometrische Funktion dargestellt, die eine derartige Anbringungsfunktion verwendet. Im Übrigen weicht die Kamera nicht in eine Neigerotationsrichtung ab, in der die optische Achse als eine Rotationsachse betrachtet wird, und die Kamera ist richtig angebracht.
Der Standpunkt-Transformationsfunktions-Berechnungsblock 135 führt eine Transformation in Koordinaten j(f(h(i(P)))) durch, wobei eine Standpunkttransformation durchgeführt wird, indem ferner eine Standpunkttransformationsfunktion j() berechnet wird, die auf Grundlage der Standpunktinformation bestimmt wird, die aus dem Informationsspeicherabschnitt 11 erfasst wird bezüglich der Koordinaten f(h(i(P))), die der Projektionsebenen-Transformation unterliegen, die von dem Projektionsebenen-Transformationsfunktions-Berechnungsblock 134 ausgegeben werden. Das erfasste Bild ist, wenn der Gegenstand durch die Kamera aufgenommen wird, wie ein Bild, in dem der Gegenstand von der Position gesehen wird, in der die Kamera angebracht ist. Die Standpunkttransformation besteht darin, dass dieses Bild in ein Bild transformiert wird, wie durch eine Kamera aufgenommen, die an einer unterschiedlichen Position vorhanden ist (zum Beispiel eine Kamera, die virtuell eingestellt ist, um an der Position einer vorbestimmten Höhe in der Straßenoberfläche hinter dem Fahrzeug auf die Straßenoberfläche gerichtet zu werden), d. h., das Bild wird in ein Bild von einem unterschiedlichen Standpunkt transformiert. Die Standpunkttransformation verwendet eine Transformationsart für das ursprüngliche Bild, die als eine affine Transformation bezeichnet wird. Die affine Transformation ist eine Koordinatentransformation, bei der eine parallele Bewegung und eine lineare Abbildung kombiniert werden. Die parallele Bewegung in der affinen Transformation korrespondiert mit einer Bewegung der Kamera von der Anbringungsposition, wie durch die Anbringungsinformation definiert, zu der obigen unterschiedlichen Position. Die lineare Abbildung korrespondiert mit einer Rotation der Kamera von einer Richtung, wie durch die Anbringungsinformation definiert, um mit einer Richtung der Kamera übereinzustimmen, die an der obigen unterschiedlichen Position vorhanden ist. Die Standpunktinformation besteht aus einer Parallelbewegungsinformation bezüglich der Differenz zwischen der Anbringungsposition der Kamera und der Position des unterschiedlichen Standpunkts und einer Rotationsinformation bezüglich der Differenz zwischen der durch die Kameraanbringungsinformation definierten Richtung und der Richtung des unterschiedlichen Standpunkts. Im Übrigen ist eine Bildtransformation, die in der Standpunkttransformation verwendet wird, nicht auf die affine Transformation beschränkt; es kann jedoch eine unterschiedliche Transformationsart verwendet werden.
Der Projektionsbild-Ausgabefunktions-Berechnungsblock 136 führt eine Transformation in Koordinaten g(j(f(h(i(P))))) für die Ausgabe eines Projektionsbilds durch, indem ferner eine Projektionsbild-Ausgabefunktion g() berechnet wird, die auf Grundlage des Winkels einer Betrachtungsinformation bestimmt wird, die von dem Informationsspeicherabschnitt 11 erfasst wird bezüglich der Koordinaten j(f(h(i(P)))), die der Standpunkttransformation unterliegen. Da die Größe des Kamerabilds, das durch die Kamera aufgenommen wird, sich im Allgemeinen von der Größe des Bilds unterscheidet, das durch den Anzeigeabschnitt 18 angezeigt werden kann, wird das Kamerabild in eine Größe geändert, die durch den Anzeigeabschnitt 18 angezeigt werden kann. Der Projektionsbild-Ausgabefunktions-Berechnungsblock 136 wendet somit eine Transformation entsprechend der Änderung des Kamerabilds auf die Größe an, die durch den Anzeigeabschnitt 18 angezeigt werden kann bezüglich der Koordinaten j(f(h(i(P)))), die der Standpunkttransformation unterliegen; und somit kann das Kamerabild im Bildmaßstab angepasst werden. Die Projektionsbildausgabe-Transformationsfunktion g() wird durch eine Abbildungsfunktion wiedergegeben, die den maximalen horizontalen Ansichtswinkel Xa und den maximalen vertikalen Ansichtswinkel Ya der Kamera und die maximale horizontale Zeichnungspixelgröße Xp und die maximale vertikale Zeichnungspixelgröße Yp in der Projektionsbildausgabe verwendet.
Im Übrigen wird in der obigen Beschreibung eine Berechnung in der Reihenfolge der Objektiv-Abbildungsverzerrungsfunktion, der Projektionsfunktion, der Standpunkttransformationsfunktion, der Projektionsebenen-Transformationsfunktion und der Projektionsbildausgabefunktion bezüglich der die Führungslinien anzeigenden jeweiligen Koordinaten durchgeführt; eine Reihenfolge zum Berechnen der jeweiligen Funktionen kann jedoch nicht in dieser Reihenfolge sein.
Die Projektionsebenen-Transformationsfunktion f() in dem Projektionsebenen-Transformationsfunktions-Berechnungsblock 134 enthält im Übrigen den Ansichtswinkel der Kamera (den maximalen horizontalen Ansichtswinkel Xa und den maximalen vertikalen Ansichtswinkel Ya der Kamera) als eine Information, die die Größe des aufgenommenen Kamerabilds anzeigt. Selbst dann, wenn ein Teil des Kamerabilds, das durch den Kamerabild-Empfangsabschnitt 15 empfangen wird, für die Anzeige herausgeschnitten wird, können die Führungslinien daher angezeigt werden, um mit dem teilweise herausgeschnittenen Kamerabild übereinzustimmen, indem ein Koeffizient des Ansichtswinkels der Kamera in der Projektionsebenen-Transformationsfunktion f() geändert wird.
4 ist ein Blockdiagramm zur Darstellung der Konfiguration des Kamerabild-Korrekturabschnitts 16. Der Kamerabild-Korrekturabschnitt 16 ist durch einen Objektiv-Abbildungsverzerrungs-Umkehrfunktions-Berechnungsblock 161, einen Projektions-Abbildungsverzerrungs-Umkehrfunktions-Berechnungsblock 162 und einen Standpunkt-Transformationsfunktions-Berechnungsblock 163 konfiguriert. Es ist möglich, dass diese Konfigurationen nicht gemäß der Anzeigebedingungsinformation arbeiten. Zur Vereinfachung wird daher zuerst der Fall beschrieben, wenn alle grundlegenden Elemente arbeiten.
Der Objektiv-Abbildungsverzerrungs-Umkehrfunktions-Berechnungsblock 161 findet eine Umkehrfunktion i^–1() der oben erwähnten Objektiv-Abbildungsverzerrungsfunktion i() auf Grundlage der Objektiv-Abbildungsverzerrungsinformation, die in der Information zum Erzeugen von Bildern enthalten ist, und führt eine Berechnung bezüglich des Kamerabilds durch. Da das von der Kameraeinheit 2 übertragene Kamerabild unter dem Einfluss der Objektiv-Abbildungsverzerrung steht, wenn dieses durch die Kamera aufgenommen wird, kann eine Korrektur an dem Kamerabild vorgenommen werden, um es von dem Einfluss der Objektiv-Abbildungsverzerrung zu befreien, indem die Objektiv-Abbildungsverzerrungs-Umkehrfunktion i^–1() berechnet wird.
Der Projektions-Umkehrfunktions-Berechnungsblock 162 findet eine Umkehrfunktion h^–1() der oben erwähnten Projektionsfunktion h() auf Grundlage der Projektionsinformation, die in der Information zum Erzeugen von Bildern enthalten ist, und führt eine Berechnung bezüglich des Kamerabilds durch, das frei von dem Einfluss der Objektiv-Abbildungsverzerrung ist, und das von dem Objektiv-Abbildungsverzerrungs-Umkehrfunktions-Berechnungsblock 161 ausgegeben wird. Da das von der Kameraeinheit 2 übertragene Kamerabild der Abbildungsverzerrung durch das Projektionssystem des Objektivs ist, wenn eine Aufnahme durch die Kamera erfolgt, kann eine Korrektur an dem Kamerabild durchgeführt werden, um dieses von der Projektionsabbildungsverzerrung zu befreien, indem die Projektions-Umkehrfunktion h^–1() berechnet wird.
Der Standpunkt-Transformations-Berechnungsblock 163 wendet die oben erwähnte Standpunkt-Transformationsfunktion j() auf Grundlage der Standpunktinformation an, die in der Information zum Erzeugen von Bildern enthalten ist, bezüglich des Kamerabilds, das frei von der Projektions-Abbildungsverzerrung ist, das von dem Projektions-Umkehrfunktions-Berechnungsblock 162 ausgegeben wird. Somit kann das Kamerabild erfasst werden, indem die Standpunkttransformation durchgeführt wird.
In 1 überlagert der Bildüberlagerungsabschnitt 17 das Führungslinienbild und das korrigierte Kamerabild als Bilder unterschiedlicher Schichten, so dass das Führungslinienbild, berechnet und gezeichnet durch den Linienzeichenabschnitt 14, dem korrigierten Kamerabild überlagert wird, das von dem Kamerabild-Korrekturabschnitt 16 ausgegeben wird. Der Anzeigeabschnitt 18 wendet die Projektionsbild-Ausgabefunktion g() bezüglich des korrigierten Kamerabilds in dem Führungslinienbild und dem korrigierten Kamerabild unterschiedlicher Schichten an; und entsprechend wird die Größe des korrigierten Kamerabilds auf die Größe geändert, die durch den Anzeigeabschnitt 18 angezeigt werden kann. Dann werden das Führungslinienbild und das korrigierte Kamerabild, dessen Größe geändert wurde, für die Anzeige synthetisiert bzw. dargestellt. Die Projektionsbild-Ausgabefunktion g() kann durch den Kamerabild-Korrekturabschnitt 16 ausgeführt werden. Projektionsbild-Ausgabefunktion g() kann bezüglich des Führungslinienbilds durch den Anzeigeabschnitt 18 ausgeführt werden, nicht jedoch durch den Führungslinien-Berechnungsabschnitt 13.
Im Folgenden wird der Betrieb erläutert. Der Betrieb des Führungslinien-Berechnungsabschnitts 13 unterscheidet sich von dem des Kamerabild-Korrekturabschnitts 16 gemäß der Anzeigebedingungsinformation, die von dem Anzeigebedingungs-Bestimmungsabschnitt 12 ausgegeben wird. Zum Beispiel sind die folgenden vier Anzeigebedingungen für die Anzeigebedingungsinformation durch die Differenz im Betrieb des Kamerabild-Korrekturabschnitts 16 vorstellbar, d. h. durch die Differenz im Anzeigeverfahren des Kamerabilds. Selbst in dem Fall, dass irgendeine Anzeigebedingung verwendet wird, wird im Übrigen das Führungslinienbild gezeichnet, um mit dem Kamerabild übereinzustimmen.

(1) In einer ersten Anzeigebedingung führt der Kamerabild-Korrekturabschnitt 16 eine Korrektur des Kamerabilds durch. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, der die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem hinzugefügt sind, und die Projektionsebenen-Transformation wird angewendet. Das Objektiv der Kamera der Kameraeinheit 2 ist ein sogenanntes Fischaugenobjektiv, das einen Ansichtswinkel aufweist, der gleich oder größer als 180 Grad ist; und daher zeigt das Kamerabild einen breiten Bereich an, einschließlich der Peripherie einer Installationsposition der Kamera, erfasst leicht die Lage um das Fahrzeug, und ist geeignet zur Bestätigung, ob zum Zeitpunkt des Starts des Fahrzeugs um das Fahrzeug ein Fußgänger vorhanden ist oder nicht.

Obwohl das in der ersten Anzeigebedingung angezeigte Bild die Abbildungsverzerrung aufweist, ist das Bild ein Bild, mit dem ein breiter Bereich gesehen werden kann; und daher wird das in der ersten Anzeigebedingung angezeigte Bild als ein Weitwinkelbild bezeichnet.

(2) In einer zweiten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das Kamerabild, um die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem zu eliminieren. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, für die nur die Projektionsebenen-Transformation verwendet wird. Es wird ein Bild in einem rechtwinkligen Koordinatensystem erstellt, mit dem man ein Abstandsgefühl erfassen kann; und daher ist das Bild ein Bild, das während der Rückwärtsbewegung geeignet ist, in der es wichtig ist, ein Abstandsgefühl zu erlangen. Im Übrigen ist der Ansichtswinkel in einem Maße beschränkt, dass eine Linearität beibehalten wird, und daher wird, verglichen mit der ersten Anzeigebedingung, ein visuelles Feld eingeschränkt. Das in der zweiten Anzeigebedingung angezeigte Bild, bei dem es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind, als ein nicht verzerrtes Bild bezeichnet.
(3) In einer dritten Anzeigebedingung eliminiert der Kamerabild-Korrekturabschnitt 16 die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem und korrigiert das Kamerabild, wie durch die Standpunkttransformation durchgeführt. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, für die die Projektionsebenen-Transformation und die Standpunktinformation angewendet werden. Ein Standpunkt nach der Durchführung der Standpunkttransformation befindet sich zum Beispiel an einer vorbestimmten Position, an dem das hintere mittlere Ende des Fahrzeugs an dem Ende des Bilds positioniert ist und eine vorbestimmte Höhe (zum Beispiel 5 m), und von dem Standpunkt wird gerade nach unten geblickt. Das Kamerabild, das durch die Standpunkttransformation zu diesem Standpunkt erhalten wird, wird ein Bild, in dem die Straßenoberfläche hinter dem Fahrzeug direkt von oben gesehen wird, und wird ein Bild, bei dem der Winkel zwischen parallelen oder senkrechten Richtungen zu dem Fahrzeug als ein rechter Winkel gesehen wird, und ein Abstandsgefühl in der Nähe eines tatsächlichen Abstands in einer horizontalen Richtung und einer vertikalen Richtung kann erlangt werden; und daher kann die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche leicht erfasst werden. Das in der dritten Anzeigebedingung angezeigte Bild wird als ein nicht verzerrtes Bild von einem unterschiedlichen Standpunkt bezeichnet.
(4) In einer vierten Anzeigebedingung korrigiert der Kamerabild-Korrekturabschnitt 16 das durch die Standpunkttransformation erlangte Kamerabild. Der Führungslinien-Berechnungsabschnitt 13 berechnet die Führungslinieninformation, der die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem hinzugefügt sind, und die Projektionsebenen-Transformation und die Standpunkttransformation werden angewendet. Der Standpunkt nach Durchführung der Standpunkttransformation ist gleich zu dem Fall der dritten Anzeigebedingung. Das Kamerabild, das durch die Standpunkttransformation zu diesem Standpunkt erlangt wird, wird ein Bild, in dem die Straßenoberfläche hinter dem Fahrzeug direkt von oben gesehen wird, und ein breiter Bereich um das Fahrzeug kann gesehen werden, obwohl die Abbildungsverzerrung vorhanden ist. Das in der vierten Anzeigebedingung angezeigte Bild wird als ein Weitwinkelbild von einem unterschiedlichen Standpunkt bezeichnet. Das in der dritten Anzeigebedingung oder der vierten Anzeigebedingung angezeigte Bild wird ferner als ein Bild von einem unterschiedlichen Standpunkt bezeichnet.

Wenn die Anzeigebedingungsinformation die erste Anzeigebedingung ist, werden grundlegende Elemente außer dem Standpunkt-Transformationsfunktions-Berechnungsblock 135 in der Konfiguration des Führungslinien-Berechnungsabschnitts 13, gezeigt in 2, in Betrieb gesetzt. D. h., dass berechnete Resultate durch den Standpunkt-Transformationsfunktions-Berechnungsblock 132, dem Projektionsfunktions-Berechnungsblock 133 und dem Projektionsebenen-Transformationsfunktions-Berechnungsblock 134 in den Projektionsbildausgabe-Transformationsfunktions-Berechnungsblock 136 eingegeben werden. Als ein Ergebnis wird ein durch den Linienzeichnungsabschnitt 14 erzeugtes Führungslinienbild so wie in 5 gezeigt. 5 ist ein Beispiel des Führungslinienbilds, das in der ersten Anzeigebedingung erzeugt wird. Um eine Übereinstimmung mit einem Kamerabild zu erzielen, das die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem aufweist, wird ein Führungslinienbild erzeugt, indem eine vergleichbare Abbildungsverzerrung hinzugefügt wird. In 5 sind die Linien L1a Führungslinien, die die Breite der Parkfläche anzeigen, und korrespondieren mit den geraden Linien L1 in 3. Die Linien L2a sind Führungslinien, die die Breite des Fahrzeugs anzeigen, und korrespondieren mit den geraden Linien L2 in 3. Die Linien L3a bis L5a sind Führungslinien, die den Abstand von dem Fahrzeug anzeigen, und korrespondieren zu den geraden Linien L3 bis L5 in 5. Ferner sind alle grundlegenden Elemente des Kamerabild-Korrekturabschnitts 16, der in 4 gezeigt ist, in Betrieb gesetzt. D. h., dass der Kamerabild-Korrekturabschnitt 16 die eingegebenen Kamerabilder direkt an den Bildüberlagerungsabschnitt 17 ausgeben.
Wenn die Anzeigebedingungsinformation die zweite Anzeigebedingung ist, wird der Standpunkt-Transformationsfunktions-Berechnungsblock 132, der Projektionsfunktions-Berechnungsblock 133 und der Standpunkt-Transformationsfunktions-Berechnungsblock 135 in der Konfiguration des Führungslinien-Berechnungsabschnitts 13, gezeigt in 2, in Betrieb gesetzt. D. h., dass die Koordinaten P, die von dem Führungslinien-Erzeugungsblock 131 ausgegeben werden, direkt in den Projektionsebenen-Transformationsfunktions-Berechnungsblock 134 eingegeben werden. Als ein Ergebnis wird ein Führungslinienbild, das durch den Linienzeichnungsabschnitt 14 erzeugt wird, so wie in 6 gezeigt. 6 ist ein Beispiel des Führungslinienbilds, das unter der zweiten Anzeigebedingung erzeugt wird. Das Führungslinienbild ohne Abbildungsverzerrung wird erzeugt, um eine Übereinstimmung mit dem Kamerabild zu erlangen, indem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind. In 6 sind gerade Linien L1b Führungslinien, die die Breite der Parkfläche anzeigen, und korrespondieren mit den geraden Linien L1 in 3. Die geraden Linien L2b sind Führungslinien, die die Breite des Fahrzeugs anzeigen, und korrespondieren mit den geraden Linien L2 in 3. Die geraden Linien L3b bis L5b sind Führungslinien, die den Abstand von dem Fahrzeug an zeigen, und korrespondieren mit den geraden Linien L3 bis L5 in 3. Ferner sind die grundlegenden Elemente außer dem Standpunkt-Transformationsfunktions-Berechnungsblock 163 in der Konfiguration des Kamerabild-Korrekturabschnitts 16, der in 4 gezeigt ist, in Betrieb gesetzt. D. h., dass Kamerabilder, die von dem Projektionsumkehrfunktions-Berechnungsblock 162 ausgegeben werden, in den Bildüberlagerungsabschnitt 17 als korrigiertes Kamerabild eingegeben werden.
In 7 werden Fotographien von Bildern gezeigt, die an der Anzeigevorrichtung angezeigt werden, wodurch beispielhaft die Beziehung zwischen dem in der ersten Anzeigebedingung angezeigten Weitwinkelbild und dem in der zweiten Anzeigebedingung angezeigten Bild ohne Abbildungsverzerrung erläutert wird. Der obere Abschnitt der 7 ist das Weitwinkelbild, das in der ersten Anzeigebedingung angezeigt wird, und ein breiter Bereich wird angezeigt, obwohl ein peripherer Abschnitt des Bilds eine Abbildungsverzerrung aufweist. Der untere Abschnitt davon ist das Bild ohne Abbildungsverzerrung, das in der zweiten Anzeigebedingung angezeigt wird. In dem Bild ohne Abbildungsverzerrung wird ein Abschnitt, der mit einem schwarzen Rechteck an einem zentralen Abschnitt des Weitwinkelbilds umgeben ist, in einem Zustand ohne Abbildungsverzerrung angezeigt.
Vorteile der Verwendung des Fischaugenobjektivs werden im Folgenden erläutert. Wenn die Abbildungsverzerrung aus dem Bild eliminiert wird, ist der Ansichtswinkel gemäß dem Projektionssystem in einem Maße beschränkt, dass eine Linearität beibehalten wird. Je breiter der Ansichtswinkel wird, und je näher das Ende des Bilds heranrückt, umso größer wird daher ein Gefühl der Unbehaglichkeit. Wenn zum Beispiel im Fall der Verwendung eines normalen Objektivs ein Brennpunkt des Objektivs f ist, ist ein Einfallswinkel des einfallenden Lichts, d. h. ein halber Ansichtswinkel gleich θ, und eine Bildhöhe in einem Bildgebungsbereich der Kamera ist Y, so dass eine Beziehung Y = f·tanθ erfüllt ist. Die Bildhöhe Y ist eine Tangensfunktion (tanθ); und daher erreicht ein Bereich, in dem die Tangensfunktion durch eine gerade Linie angenähert werden kann, d. h. das Einfallslicht des Einfallswinkels in einem Bereich von ca. 0 = –45 bis +45 Grad ist, den Bildbereich mit einer geringen Bildverzerrung. Da jedoch das einfallende Licht des Einfallswinkels außer in diesem Bereich einer starken Abbildungsverzerrung unterliegt, kann ein derart einfallendes Licht den Bildgebungsbereich nicht erreichen; selbst dann, wenn dieser erreicht werden kann, wird ein Bild mit einer großen Abbildungsverzerrung geformt. Diesbezüglich verwendet die Kameraeinheit 2 gemäß der vorliegenden Ausführungsform das Fischaugenobjektiv; und daher kann eine Bildgebung mit einer geringen Abbildungsverzerrung bei einem Betrachtungswinkel durchgeführt werden, der größer ist als der normaler Objektive. Zum Beispiel wird in einer stereographischen Projektion eines Projektionssystems des Fischaugenobjektivs eine Beziehung Y = 2·f·tan(θ/2) erfüllt; die Tangensfunktion ist jedoch eine Funktion von θ/2 und daher ändert sich Y nahezu proportional zu θ in einem Bereich von ca. θ = –90 bis +90 Grad. Mit anderen Worten kann eine Korrektur an einem Bild mit im Wesentlichen keiner Abbildungsverzerrung bei einem Ansichtswinkel von nahezu 180 Grad durchgeführt werden.
Wenn die Anzeigebedingungsinformation die dritte Anzeigebedingung ist, werden grundlegende Elemente außer dem Objektiv-Abbildungsverzerrungs-Funktionsberechnungsblock 132 und dem Projektionsfunktions-Berechnungsblock 133 in der Konfiguration des Führungslinien-Berechnungsabschnitts 13, gezeigt in 2, in Betrieb gesetzt. D. h., dass die Koordinaten P der Punkte auf den Führungslinien, erzeugt durch den Führungslinienerzeugungsblock 131, direkt in den Standpunkt-Transformationsfunktions-Berechnungsblock 135 eingegeben werden. Als ein Ergebnis wird ein Führungslinienbild, das durch den Linienzeichnungsabschnitt 14 erzeugt wird, so wie in 3 gezeigt. Ferner werden alle grundlegenden Elemente des Kamerabild-Korrekturabschnitts 16, wie in 4 gezeigt, in Betrieb gesetzt. Es erfolgt eine Anzeige, indem ein Führungslinienbild ohne Abbildungsverzerrung, wie es von einem unterschiedlichen Standpunkt gesehen wird, auf einem Kamerabild, wie es von einem unterschiedlichen Standpunkt gesehen wird, überlagert wird, indem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert werden.
Fotographien von Bildern, die an der Anzeigevorrichtung angezeigt werden, werden in 8 gezeigt, wodurch beispielhaft die Beziehung zwischen dem in der ersten Anzeigebedingung angezeigten Weitwinkelbild und dem in der dritten Anzeigebedingung angezeigten nicht verzerrten Bild von einem unterschiedlichen Standpunkt erläutert wird. Der untere Abschnitt der 8 ist das Bild ohne Abbildungsverzerrung, das in der dritten Anzeigebedingung angezeigt wird. In dem nicht verzerrten Bild von einem unterschiedlichen Standpunkt wird ein Abschnitt, der mit einem schwarzen Rechteck an einem zentralen Abschnitt des Weitwinkelbilds umgeben ist, als ein Bild ohne Abbildungsverzerrung angezeigt, wie es von einem Standpunkt oberhalb und hinter dem Fahrzeug gesehen wird.
Wenn die Anzeigebedingungsinformation die vierte Anzeigebedingung ist, werden alle grundlegenden Elemente des Führungslinien-Berechnungsabschnitts 13, wie in 2 gezeigt, in Betrieb gesetzt. Als ein Ergebnis wird ein Führungslinienbild, das durch den Linienzeichnungsabschnitt 14 erzeugt wird, wie in 9. 9 ist ein Beispiel des Führungslinienbilds, das in der vierten Anzeigebedingung erzeugt wird. Um eine Übereinstimmung mit einem Kamerabild zu erreichen, das die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem aufweist, ist das Kamerabild so wie von einem unterschiedlichen Standpunkt aufgenommen; es wird ein Führungslinienbild erzeugt, dem eine vergleichbare Abbildungsverzerrung hinzugefügt wird, wodurch das Führungslinienbild wie von einem unterschiedlichen Standpunkt gesehen wird. In 9 sind die Linien L1c Führungslinien, die die Breite der Parkfläche anzeigen, und korrespondieren mit den geraden Linien L1 in 3. Die Linien L2c sind Führungslinien, die die Breite des Fahrzeugs anzeigen, und korrespondieren mit den geraden Linien L2 in 3. Die Linien L3c bis L5c sind Führungslinien, die den Abstand von dem Fahrzeug anzeigen, und korrespondieren mit den geraden Linien L3 bis L5 in 3. Ferner wird nur der Standpunkt-Transformationsfunktions-Berechnungsblock 163 in der Konfiguration des Kamerabild-Korrekturabschnitts 16, wie in 4 gezeigt, in Betrieb gesetzt. D. h., dass ein Kamerabild, das durch den Kamerabild-Empfangsabschnitt 15 empfangen wird, direkt in den Standpunkt-Transformationsfunktions-Berechnungsblock 163 eingegeben wird, und ein Bild, indem die Standpunkttransformation durch den Standpunkt-Transformationsfunktions-Berechnungsblock 163 durchgeführt wird, an den Bildüberlagerungsabschnitt 17 als ein korrigiertes Kamerabild ausgegeben.
Im Folgenden wird beschrieben, wie der Anzeigebedingungs-Bestimmungsabschnitt 13 arbeitet und den Fahrzeugzustand erkennt, wenn sich das Fahrzeug rückwärts bewegt und parkt. 10 ist ein Diagramm zur Erläuterung von Änderungen in einem Fahrzeugzustand, der durch den Anzeigebedingungs-Bestimmungsabschnitt 13 erkannt wird.
Der durch den Anzeigebedingungs-Bestimmungsabschnitt 13 erkannte Fahrzeugzustand enthält die folgenden Zustände. Im Übrigen wird die Fahrzeuggeschwindigkeit als positiv angesehen, wenn sich das Fahrzeug in eine Rückwärtsrichtung bewegt.
Anfangszustand (JA): Ein Zustand außer dem im Folgenden erwähnten. Wenn eine Kraftmaschine des Fahrzeugs startet, gelangt der Fahrzeugzustand in einen Anfangszustand, bei dem es sich nicht um einen Zustand handelt, der durch die Fahrunterstützungsvorrichtung unterstützt wird. Nachdem einer der folgenden Zustände erreicht wird, wenn der Gangzustand nicht rückwärts (Rückwärtsbewegung) in einem nicht angehaltenem Zustand ist und eine Geschwindigkeit V gleich oder größer als eine vorbestimmte Geschwindigkeit (Vr1) ist, geht der Fahrzeugzustand in den Anfangszustand (JA) zurück. Wenn die Geschwindigkeit V gleich oder größer als die vorbestimmte Geschwindigkeit (Vr1) ist, ist es möglich, dass ein Fahrer unnötiger Weise denkt, eine Bewegungsrichtung sorgfältig zu beobachten; und daher wird der Fahrzeugzustand in den Anfangszustand (JA) zurückgesetzt.
Obwohl das im Folgenden Erwähnte nicht alle Bedingungen sind, unter denen es sich um den Anfangszustand (JA) handelt, kann dieser als Anfangszustand (JA) beurteilt werden, wenn die im Folgenden erwähnte Bedingung erfüllt ist. Die im Folgenden erwähnte Bedingung C_JA wird als eine Bedingung bezeichnet, bei der es sich um eine deutliche Anfangszustandsbedingung handelt.

C_JA: = (Geschwindigkeit V ist negativ), oder (Geschwindigkeit V ist gleich oder größer als eine vorbestimmte Geschwindigkeit (Vr1)), oder (Geschwindigkeit V ist nicht 0 und der Gangzustand ist ein anderer als rückwärts).

Zustand zur Vorbereitung für eine Rückwärtsbewegung (JB): Ein Zustand zur Vorbereitung der Rückwärtsbewegung. Eine Bedingung C_JB für einen Zustand der Vorbereitung einer Rückwärtsbewegung (JB) ist wie folgt.

C_JB: = (Gangzustand ist rückwärts), und (Bewegungsabstand L ist 0), und (Geschwindigkeit V ist 0).

Zustand zum Starten einer Rückwärtsbewegung (JC): Ein Zustand bis das Fahrzeug einen vorbestimmten Abstand (L1) vom Start der Rückwärtsbewegung bewegt wird. Wenn die Geschwindigkeit V in dem Zustand der Vorbereitung der Rückwärtsbewegung (JB) positiv ist, gelangt der Fahrzeugzustand in einen Zustand zum Starten der Rückwärtsbewegung.

C_JC: = (Gangzustand ist rückwärts), und (Bewegungsabstand L ist positiv und geringer als ein vorbestimmter Abstand (L1), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)).

Zustand zum Ermöglichen einer Rückwärtsbewegung (JD): Ein Zustand bis das Fahrzeug einen vorbestimmten Abstand (L1) vom Start der Rückwärtsbewegung bewegt wird und in dem das Fahrzeug stoppt.

C_JC: = (Gangzustand ist rückwärts) und (Bewegungsabstand L ist positiv und geringer als ein vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist 0), und (Parkbremse ist aus (wirkungslos)).

Wenn im Übrigen eine Parkbremse AN ist (wirksam), in einem Zustand der Ermöglichung der Rückwärtsbewegung (JD), ist der Fahrzeugzustand in einem Zustand zum Stoppen der Rückwärtsbewegung (JM), der im Folgenden erläutert wird.
Zustand zum Deaktivieren einer Rückwärtsbewegung (JE): Ein Zustand, wenn das Getriebe nicht im Rückwärtsgang in dem Zustand der Aktivierung einer Rückwärtsbewegung (JD) ist und eine vorbestimmte Zeit (Tn1) nicht abgelaufen ist. Wenn die vorbestimmte Zeit (Tn1) abgelaufen ist, ist der Fahrzeugzustand in dem Anfangszustand (JA).

C_JD: = (Bewegungsabstand L ist positiv und geringer als ein vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist 0), und (Gangzustand ist nicht rückwärts), und (Zeitdauer (Tn) außerhalb des Rückwärtsgangs ist geringer als vorbestimmte Zeit (Tn1)), und (Parkbremse ist AUS).

Wenn im Übrigen die Parkbremse AN in dem Zustand der Deaktivierung der Rückwärtsbewegung (JE) ist, ist der Fahrzeugzustand in dem Zustand zum Stoppen der Rückwärtsbewegung (JM), der im Folgenden beschrieben wird. Wenn der Gangzustand rückwärts ist, ist der Fahrzeugzustand in dem Zustand zum Aktivieren bzw. Ermöglichen einer Rückwärtsbewegung (JD).
Wenn das Fahrzeug geparkt wird, wird der Fahrzeugzustand als Zustand zum Deaktivieren einer Rückwärtsbewegung (JE) bis zur vorbestimmten Zeit (Tn1) behandelt, um in der Lage zu sein, den Zustand zum Stoppen einer Rückwärtsbewegung (JM) zu ändern, selbst dann, wenn der Gangzustand geändert wird, bevor die Parkbremse nach dem Stopp des Fahrzeugs AN ist.
Rückwärtsbewegungszustand (JF): Ein Zustand, in dem eine Rückwärtsbewegung fortgesetzt wird, selbst dann, wenn die Bewegung gleich oder größer als der vorbestimmte Abstand (L1) vom Start der Rückwärtsbewegung ist und eine Bremsbedingung nicht eingerichtet wird, bei der es sich um eine Bedingung zum Erfassen einer Verschiebung zum Stoppen handelt. Wenn die Bremsbedingung eingerichtet wird, ist der Fahrzeugzustand in einem nächsten Zustand der Verschiebung zum Stoppen einer Rückwärtsbewegung (JG). Die Bremsbedingung besteht darin, dass eine Verzögerung, insbesondere, eine negative Beschleunigung a für eine vorbestimmte Zeit (ta1) anhält. Der Grund der Bereitstellung einer Zeitdauerbedingung für die Verzögerung besteht darin, ein häufiges Umschalten des Rückwärtsbewegungszustands (JF) und des Zustands zum Verschieben zum Stopp einer Rückwärtsbewegung (JG) in einem kurzen Intervall zu verhindern, wenn eine Fluktuation zwischen negativ und gleich oder größer als 0 in der Beschleunigung a häufig erzeugt wird.

C_JF: = (Gangzustand ist rückwärts), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)), und (Bremsbedingung C_gn, liegt nicht vor).
C_gn: = (Beschleunigung a ist negativ) und (Zeitdauer Ta), in der die Beschleunigung a negativ ist, ist gleich oder größer als vorbestimmte Zeit (Ta1)).

Zustand zum Verschieben in einen Stopp der Rückwärtsbewegung (JG); ein Zustand, in dem die Rückwärtsbewegung fortgesetzt wird, wobei die Bremsbedingung vorliegt nachdem der Rückwärtsbewegungszustand (JF) eingestellt wird.

C_JG: = (Gangzustand ist rückwärts), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)) und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)), und (Bremsbedingung C_gn liegt vor).

Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH): Ein Zustand, in dem das Fahrzeug in einem Zustand stoppt, der eine Rückwärtsbewegung ermöglicht, nachdem der Zustand zum Verschieben in einen Stopp der Rückwärtsbewegung (JG) eingenommen wird.

C_JH: = (Gangzustand ist rückwärts,) und (Parkbremse ist AUS), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist 0).

Zustand zum Deaktivieren einer erneuten Rückwärtsbewegung (JK): Ein Zustand, in dem das Getriebe nicht im Rückwärtsgang ist, in dem Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH) und die vorbestimmte Zeit (Tn1) nicht abgelaufen ist. Wenn die vorbestimmte Zeit (Tn1) abgelaufen ist, ist der Fahrzeugzustand der Anfangszustand (JA).

C_JD: = (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)) und (Geschwindigkeit V ist 0), und (Gangzustand ist nicht rückwärts), und (Zeitdauer (Tn) außer rückwärts ist geringer als vorbestimmte Zeit (Tn1)), und (Parkbremse ist AUS).

Wenn die Parkbremse im Übrigen in dem Zustand zur Aktivierung einer Rückwärtsbewegung (JE) AN ist, ist der Fahrzeugzustand ein Zustand zum Stoppen der Rückwärtsbewegung (JM), der im Folgenden erläutert wird. Wenn der Gangzustand rückwärts ist, ist der Fahrzeugzustand der Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH).
Erneuter Rückwärtsbewegungszustand (JL): Ein Zustand, in dem das Fahrzeug sich rückwärts bewegt, gerade nach dem Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH).

C_JL: = (Gangzustand ist rückwärts), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)).

Zustand zum Stoppen der Rückwärtsbewegung (JM): Ein Zustand, in dem das Fahrzeug in einem Zustand stoppt, in dem die Rückwärtsbewegung nicht aktiviert ist, nachdem ein Zustand eingenommen wird, bei dem es sich nicht um den Zustand zur Vorbereitung der Rückwärtsbewegung (JB) handelt.

C_JM: = (Geschwindigkeit V ist 0) und (Parkbremse ist (AN).

Bezüglich derartiger Fahrzeugzustände bestimmt der Anzeigebedingungs-Bestimmungsabschnitt 13 die Anzeigebedingungen wie folgt.

1) In dem Zustand zur Vorbereitung der Rückwärtsbewegung (JB), dem Zustand des Starts der Rückwärtsbewegung (JC), dem Zustand zum Aktivieren der Rückwärtsbewegung (JE) und dem Zustand zum Deaktivieren der Rückwärtsbewegung (JE), ist die Anzeigebedingung die erste Anzeigebedingung. Das Kamerabild ist ein Bild das durch die Kamera direkt aufgenommen wird und die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem aufweist. Das Objektiv der Kamera der Kameraeinheit 2 ist das so genannte Fischaugenobjektiv, das einen Ansichtswinkel gleich oder größer als 180 Grad aufweist; das Kamerabild zeigt daher einen breiten Bereich an, einschließlich der Peripherie einer Installationsposition der Kamera, erfasst leicht die Lage und Umgebung des Fahrzeugs, und ist für die Bestätigung geeignet, ob sich um das Fahrzeug zum Zeitpunkt des Starts des Fahrzeugs ein Fußgänger befindet oder nicht. Da das Führungslinienbild auch angezeigt wird, um mit dem Kamerabild übereinzustimmen, kann ein Abstand in der Parkfläche leicht erfasst werden.

In diesem Fall ist der Zustand zur Vorbereitung der Rückwärtsbewegung (JB), der Zustand zum Aktivieren einer Rückwärtsbewegung (JD) und der Zustand zum Deaktivieren einer Rückwärtsbewegung (JE) ein Zustand zum Vorbereiten auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt. In dieser Ausführungsform wird eine vorbestimmte Bedingung während der Bewegung, die beurteilt, dass sich das Fahrzeug in einem Zustand während einer Bewegung befindet, als solche angesehen, bei der das Fahrzeug sich um den vorbestimmten Abstand (L1) bewegt. Der Zustand zum Starten der Rückwärtsbewegung (JC), bei dem es sich um den Zustand handelt, bis sich das Fahrzeug um den vorbestimmten Abstand (L1) bewegt und in dem das Fahrzeug sich rückwärts bewegt, ein Zustand zum Starten der Bewegung.

(2) In dem Rückwärtsbewegungszustand (JF) ist die Anzeigebedingung die zweite Anzeigebedingung. Das Kamerabild, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind und das Führungslinienbild daran angepasst ist, wird angezeigt. Es wird ein Bild in einem rechtwinkligen Koordinatensystem erzeugt, das empfänglich zum Erfassen eines Abstandgefühls ist; das Bild ist daher ein Bild, das während der Rückwärtsbewegung geeignet ist, was wichtig ist, um ein Gefühl für den Abstand zu erlangen.

Der Rückwärtsbewegungszustand (JF), in dem sich das Fahrzeug rückwärts bewegt, nach der Bewegung um einen vorbestimmten Abstand (L1) ist der Zustand während der Bewegung, wobei es sich um den Zustand handelt, in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt.

(3) In dem Zustand der Verschiebung zum Stoppen der Rückwärtsbewegung (JG), dem Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH), dem Zustand zum Stoppen der Rückwärtsbewegung (JM), und dem Zustand zum Deaktivieren einer erneuten Rückwärtsbewegung (JK), ist die Anzeigebedingung in der dritten Anzeigebedingung. Das Kamerabild, das durch die Standpunkttransformation durchgeführt wird, wird zu einem Bild, in dem die Straßenoberfläche hinter dem Fahrzeug direkt von oben gesehen wird, und wird ein Bild, in dem der Winkel zwischen den Richtungen, die parallel oder senkrecht zu dem Fahrzeug sind, als ein rechter Winkel gesehen wird, und ein Abstandsgefühl in der Nähe eines tatsächlichen Abstandes in einer horizontalen Richtung und einer Richtung erfasst wird; und daher kann die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche leicht erfasst werden.

Der Verschiebezustand zum Stoppen einer Rückwärtsbewegung (JG) ist ein Zustand der Verschiebung zum Stoppen, wobei dies ein Zustand ist, der erfasst, dass eine vorbestimmte Bedingung zum Erfassen der Verschiebung zum Stoppen (in dieser Ausführungsform die Bremsbedingung C_gn), die erfasst, dass das Fahrzeug mit dem Stopp beginnt, vorliegt. Der Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH), der Zustand zum Stoppen der Rückwärtsbewegung (JM), und der Zustand zum Deaktivieren einer erneuten Rückwärtsbewegung (JK) sind ein Stoppzustand, wobei es sich um einen Zustand handelt, in dem das Fahrzeug nach dem Verschiebezustand zum Stoppen stoppt.

(4) In dem erneuten Rückwärtsbewegungszustand (JL), ist eine Anzeige in der ersten Anzeigebedingung, um den breiten Bereich hinter dem Fahrzeug während einer Zeitperiode der Bestätigung der Lage einer Bewegungsrichtung von angenähert mehreren Sekunden anzuzeigen, nachdem in den Zustand gewechselt wurde. Danach ist eine Anzeige in der dritten Anzeigebedingung vergleichbar zu dem Verschiebezustand zum Stoppen.

Der erneute Rückwärtsbewegungszustand (JL) ist ein erneuter Bewegungszustand, wobei es sich um einen Zustand handelt, in dem sich das Fahrzeug nach dem Stoppzustand bewegt.
Der Anfangszustand (JA) ist kein Zustand, der durch die Fahrunterstützungsvorrichtung der vorliegenden Erfindung unterstützt wird; und daher wird ein Bildschirm der Navigationsvorrichtung auf der Anzeigevorrichtung angezeigt. Wenn in den Anfangszustand (JA) zurückgekehrt wird, nachdem der Zustand zum Vorbereiten für eine Rückwärtsbewegung (JB) eingenommen wird, wird ein Bildschirm angezeigt, der vor der Einnahme des Zustands zum Vorbereiten für eine Rückwärtsbewegung (JB) angezeigt wurde, oder ein Bildschirm, der durch den Zustand zu dem Zeitpunkt bestimmt wird, wenn in den Anfangszustand (JA) zurückgekehrt wird. Im Übrigen kann ein Bildschirm in einem Zustand direkt vor der Änderung in den Anfangszustand (JA) angezeigt werden, bis ein Ereignis erzeugt wird, das die Anzeige des Bildschirms ändert.
11 und 12 sind jeweils ein Flussdiagramm zur Erläuterung des Betriebs, der Fahrzeugzustände in dem Anzeigebedingungs-Bestimmungsabschnitt 12 beurteilt. Im Folgenden wird eine Beschreibung mit Bezug auf 11 und 12 angegeben, einschließlich einer Beziehung zu der Zeichnung zur Erläuterung der Änderungen im Zustand der 10.
Wenn die Kraftmaschine des Fahrzeugs in S1 startet, stellt der Anzeigebedingungs-Bestimmungsabschnitt 12 einen Fahrzeugzustand (im Folgenden als S₀ wiedergegeben) auf den Anfangszustand (JA) ein und ein Bewegungsabstand L wird auf L = 0 in S2 eingestellt. Eine Verarbeitung nach S3 wird danach wiederholt in einem Zyklus (ΔT) ausgeführt, in dem die Fahrzeuginformation von der ECU eingegeben wird, und ein neuer Fahrzeugzustand (im Folgenden als S_N wiedergegeben) wird bestimmt. In S3 erfolgt eine Überprüfung, ob oder ob nicht die Bedingung C_JA vorliegt, bei der es sich klar um den Anfangszustand handelt. Im Übrigen wird in 11 und 12 rückwärts (Rückwärtsbewegung) durch R wiedergegeben. Wenn C_JA vorliegt wird S_N in S4 auf den Anfangszustand (JA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (alle Pfeile, die in den Anfangszustand (JA) der 10 gehen). Bevor zu S3 zurückgekehrt wird, wird der Fahrzeugzustand auf S₀ = S_N in S5 eingestellt.
Wenn C_JA in S4 nicht vorliegt erfolgt eine Überprüfung, ob oder ob nicht S₀ in S6 der Anfangszustand (JA) ist. Wenn im Übrigen C_JA nicht vorliegt, die Geschwindigkeit V gleich oder größer als 0 und geringer als die vorbestimmte Geschwindigkeit (V_R1) ist; und wenn die Geschwindigkeit V nicht 0 ist, ist der Gangzustand rückwärts.
(1) Verarbeitung in dem Anfangszustand (JA)
Wenn S₀ der Anfangszustand (JA) in S6 ist wird eine Überprüfung durchgeführt, ob oder ob nicht die Bedingung C_JB in S7 vorliegt. Wenn C_JB vorliegt wird S_N für den Zustand der Vorbereitung für eine Rückwärtsbewegung (JB) in S8 eingestellt (ein Pfeil t1 der 10). Wenn C_JB nicht vorliegt wird S_N auf den Anfangszustand (JA) in S9 eingestellt (ein Pfeil t2 der 10).
Wenn S₀ in S6 nicht der Anfangszustand (JA) ist, wird eine notwendige Information zur Beurteilung des Fahrzeugzustands in S10 bis S16 berechnet. Ein Bewegungsabstand Lm von dem vorhergehenden Verarbeitungspunkt, der aus der Fahrzeuginformation erfasst wird, wird in S10 zu dem Bewegungsabstand L hinzuaddiert (L = L + Lm). Es erfolgt eine Überprüfung, ob oder ob nicht der Gangzustand in S11 gleich R ist. Wenn der Gangzustand R (rückwärts) ist, wird eine Zeitdauer (Tn), in der der Gangzustand nicht R ist, in S12 auf 0 (Tn = 0) eingestellt. Wenn der Gangzustand gleich R ist, wird in S13 eine Zeit von einem Zyklus (ΔT) zu der Zeitdauer (Tn) hinzuaddiert (Tn = Tn + ΔT). Ferner wird in S14 eine Überprüfung vorgenommen, ob oder ob nicht die Beschleunigung a negativ ist (a < 0). Wenn die Beschleunigung a negativ ist, wird in S15 die Zeit von einem Zyklus (ΔT) zu der Zeitdauer (Ta) hinzuaddiert, bei der die Beschleunigung a negativ ist (Ta = Ta + ΔT). Wenn die Beschleunigung a nicht negativ ist, wird in S16 die Zeitdauer (Ta), bei der die Beschleunigung a negativ ist, auf 0 eingestellt (Ta = 0).
In S17 erfolgt eine Überprüfung, ob oder ob nicht S₀ der Zustand der Vorbereitung für eine Rückwärtsbewegung (JB) ist.
(2) Verarbeitung in dem Zustand zur Vorbereitung auf eine Rückwärtsbewegung (JB)
Wenn in S17 S₀ der Zustand der Vorbereitung auf eine Rückwärtsbewegung (JB) ist, wird eine Überprüfung vorgenommen, ob oder ob nicht die Geschwindigkeit V 0 ist. Wenn die Geschwindigkeit nicht 0 ist, wird in S19 S_N auf den Zustand zum Starten der Rückwärtsbewegung (JC) eingestellt (ein Pfeil t3 der 10). Wenn die Geschwindigkeit V 0 ist, wird in S20 eine Überprüfung vorgenommen, ob oder ob nicht der Gangzustand gleich R ist und die Parkbremse gleich AUS ist. Wenn der Gangzustand gleich R ist und die Parkbremse AUF ist, wird in S21 S_N auf den Zustand zur Vorbereitung auf die Rückwärtsbewegung (JB) eingestellt (ein Pfeil t4 der 10). Wenn dies nicht der Fall ist wird in S22 S_N auf den Anfangszustand (JA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil t5 der 10).
Wenn S₀ nicht der Zustand zur Vorbereitung auf eine Rückwärtsbewegung (JB) in S17 ist, erfolgt eine Überprüfung, ob oder ob nicht S₀ in S23 der Zustand zum Starten der Rückwärtsbewegung (JC) ist.
(3) Verarbeitung in dem Zustand zum Starten der Rückwärtsbewegung (JC)
Wenn in S23 S₀ der Zustand zum Starten der Rückwärtsbewegung (JC) ist, erfolgt in S24 eine Überprüfung, ob oder ob nicht der Bewegungsabstand L gleich oder größer als der vorbestimmte Abstand L1 ist (L ≥ L1). Wenn L ≥ L1 vorliegt, wird in S25 S_N auf den Rückwärtsbewegungszustand (JF) eingestellt (ein Pfeil t6 der 10). Wenn L < L1 vorliegt, erfolgt in S26 eine Überprüfung, ob oder ob nicht die Geschwindigkeit v 0 ist (V = 0). Wenn die Geschwindigkeit V nicht 0 ist, wird in S27 S_N auf den Zustand zum Starten der Rückwärtsbewegung (JC) eingestellt (ein Pfeil t7 der 10). Wenn die Geschwindigkeit V 0 ist, wird in S28 S_N auf den Zustand zum Aktivieren einer Rückwärtsbewegung (JD) eingestellt (ein Pfeil t8 der 10).
Wenn S₀ in S23 nicht der Zustand zum Starten der Rückwärtsbewegung (JC) ist, erfolgt in S29 eine Überprüfung, ob oder ob nicht S₀ der Zustand zum Aktivieren der Rückwärtsbewegung (JD) ist.
(4) Verarbeitung in dem Zustand zum Aktivieren der Rückwärtsbewegung (JD)
Wenn S₀ in S29 der Zustand zur Aktivierung der Rückwärtsbewegung (JD) ist, erfolgt in S30 eine Überprüfung, ob oder ob nicht die Geschwindigkeit V 0 ist (V = 0). Wenn die Geschwindigkeit V nicht 0 ist, wird S_N in S31 auf den Zustand zum Starten der Rückwärtsbewegung (JC) eingestellt (ein Pfeil t10 der 10). Wenn die Geschwindigkeit V 0 ist, wird in S32 eine Überprüfung vorgenommen, ob oder ob nicht die Parkbremse gleich AN ist. Wenn die Parkbremse AN ist, wird der Bewegungsabstand L in S33 auf L1 (L = L1) eingestellt und S_N wird auf den Zustand zum Stoppen der Rückwärtsbewegung (JM) eingestellt (ein Pfeil t11 der 10). Wenn die Parkbremse AUS ist, erfolgt in S34 eine Überprüfung, ob oder ob nicht der Gangzustand gleich R ist. Wenn der Gangzustand gleich R ist, wird S_N in S35 auf den Zustand zur Aktivierung der Rückwärtsbewegung (JD) eingestellt (ein Pfeil t12 der 10). Wenn der Gangzustand nicht R ist, wird S_N in S36 auf dem Zustand zur Deaktivierung eine Rückwärtsbewegung (JE) eingestellt (ein Pfeil t13 der 10).
Wenn S₀ in S29 nicht der Zustand zur Aktivierung einer Rückwärtsbewegung (JD) ist, erfolgt in S37 eine Überprüfung, ob oder ob nicht S₀ der Zustand zum Deaktivieren der Rückwärtsbewegung (JE) ist.
(5) Verarbeitung in dem Zustand zur Deaktivierung der Rückwärtsbewegung (JE)
Wenn S₀ ins S37 der Zustand zur Deaktivierung der Rückwärtsbewegung (JE) ist, erfolgt in S38 eine Überprüfung, ob oder ob nicht die Parkbremse AN ist. Wenn die Parkbremse AN ist wird der Bewegungsabstand L in S39 auf L1 (L = L1) eingestellt und S_N wird auf den Zustand zum Stopp der Rückwärtsbewegung (JM) eingestellt (ein Pfeil t14 der 10). Wenn die Parkbremse AUS ist erfolgt in S40 eine Überprüfung, ob oder ob nicht der Gangzustand gleich R ist. Wenn der Gangzustand R ist wird S_N in S41 auf den Zustand zur Aktivierung einer Rückwärtsbewegung (JD) eingestellt (ein Pfeil t15 der 10). Wenn der Gangzustand nicht R ist wird in S42 eine Überprüfung durchgeführt, ob oder ob nicht die Zeitdauer (Tn), in der der Gangzustand nicht R ist, gleich oder größer als die vorbestimmte Zeit (Tn1) ist. Wenn die Zeitdauer (Tn) gleich oder größer als die vorbestimmte Zeit (Tn1) ist, wird in S43 S_N auf den Anfangszustand (JA) eingestellt, und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil t16 der 10). Wenn die Zeitdauer (Tn) gleich oder größer als die vorbestimmte Zeit (Tn1) ist, wird in S44 S_N auf den Zustand zur Deaktivierung einer Rückwärtsbewegung (JE) eingestellt (ein Pfeil t17 der 10).
Wenn S₀ in S37 nicht der Zustand zur Deaktivierung einer Rückwärtsbewegung (JE) ist, wird in S45 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der Rückwärtsbewegungszustand (JF) oder der Zustand zum Verschieben hin zu einem Stopp der Rückwärtsbewegung (JG) ist.
(6) Verarbeitung in den Rückwärtsbewegungszustand (JF) oder dem Zustand der Verschiebung zum Stoppen der Rückwärtsbewegung (JG)
Wenn S₀ in S45, gezeigt in 12, der Rückwärtsbewegungszustand (JF) oder der Zustand zur Verschiebung zum Stoppen der Rückwärtsbewegung (JE) ist, wird in S46 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V gleich 0 ist (V = 0). Wenn die Geschwindigkeit V 0 ist, wird S_N in S47 in den Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) eingestellt (Pfeile t18, t19 der 10). Wenn die Geschwindigkeit V nicht 0 ist wird in S48 eine Überprüfung durchgeführt, ob oder ob nicht die Bremsbedingung C_gn vorliegt. Wenn C_gn vorliegt wird S_N in S49 auf den Zustand zum Verschieben zum Stopp der Rückwärtsbewegung (JG) eingestellt (Pfeile t20, t21 der 10). Wenn C_gn nicht vorliegt wird S_N in S50 in den Rückwärtsbewegungszustand (JF) eingestellt (Pfeile t22, t23 der 10).
Wenn S₀ nicht der Rückwärtsbewegungszustand (JF) oder der Zustand zum Verschieben zum Stopp der Rückwärtsbewegung (JG) in S45 ist, erfolgt in S51 eine Überprüfung, ob oder ob nicht S₀ der Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) ist.
(7) Verarbeitung in dem Zustand der Aktivierung einer neuen Rückwärtsbewegung (JH)
Wenn S₀ in S51 der Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) ist, wird in S52 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V gleich 0 ist. Wenn die Geschwindigkeit V nicht 0 ist wird in S53 S_N in den erneut Rückwärtsbewegungszustand (JL) eingestellt (ein Pfeil t26 der 10). Wenn die Geschwindigkeit V 0 ist wird in S54 eine Überprüfung durchgeführt, ob oder ob nicht die Parkbremse AN ist. Wenn die Parkbremse AN ist wird in S55 S_N in den Zustand zum Stoppen der Rückwärtsbewegung (JM) eingestellt (ein Pfeil t27 der 10). Wenn die Parkbremse AUS ist wird in S56 eine Überprüfung durchgeführt, ob oder ob nicht der Gangzustand gleich R ist. Wenn der Gangzustand gleich R ist wird in S57 S_N in den Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) eingestellt (ein Pfeil t28 der 10). Wenn der Gangzustand nicht R ist wird in S58 S_N in den Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) eingestellt (ein Pfeil t29 der 10).
Wenn S₀ in S51 nicht der Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) ist wird in S59 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) ist.
(8) Verarbeitung in dem Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK)
Wenn S₀ in S59 der Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) ist, wird in S60 eine Überprüfung durchgeführt, ob oder ob nicht die Parkbremse gleich AN ist. Wenn die Parkbremse gleich AN ist, wird in S61 S_N in den Zustand zum Stoppen der Rückwärtsbewegung (JM) eingestellt (ein Pfeil t31 der 10). Wenn die Parkbremse AUS ist, wird in S62 eine Überprüfung durchgeführt, ob oder ob nicht der Gangzustand gleich R ist. Wenn der Gangzustand gleich R ist wird in S63 S_N in den Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) eingestellt (ein Pfeil t32 der 10). Wenn der Gangzustand nicht gleich R ist, wird in S64 eine Überprüfung durchgeführt, ob oder ob nicht die Zeitdauer (Tn), in der der Gangzustand nicht R ist, gleich oder größer als die vorbestimmte Zeit (Tn1) ist. Wenn die Zeitdauer (Tn) gleich oder größer als die vorbestimmte Zeit (Tn1) ist, wird SN in S65 in den Anfangszustand (JA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil t33 der 10). Wenn die Zeitdauer (Tn) nicht gleich oder größer als die vorbestimmte Zeit (Tn1) ist, wird S_N in S66 in den Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) eingestellt (ein Pfeil t34 der 10).
Wenn S₀ in S59 nicht der Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) ist, wird in S67 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der erneute Rückwärtsbewegungszustand (JL) ist.
(9) Verarbeitung in dem erneuten Rückwärtsbewegungszustand (JL)
Wenn S₀ in S67 der erneute Rückwärtsbewegungszustand (JL) ist, wird in S68 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V gleich 0 ist. Wenn die Geschwindigkeit V 0 ist, wird S_N in S69 in den Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH) eingestellt (ein Pfeil t35 der 10). Wenn die Geschwindigkeit V nicht gleich 0 ist wird S_N in S70 in den erneuten Rückwärtsbewegungszustand (JL) eingestellt (ein Pfeil t36 der 10).
Wenn S₀ in S66 nicht der Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK) ist, wird S_N der Zustand zum Stoppen der Rückwärtsbewegung (JM).
(10) Verarbeitung in dem Zustand zum Stoppen der Rückwärtsbewegung (JM)
Wenn S₀ der Zustand zum Stoppen der Rückwärtsbewegung (JM) ist, wird in S71 eine Überprüfung durchgeführt, ob oder ob nicht C_JM vorliegt. Wenn C_JM vorliegt wird in S72 S_N in den Zustand zum Stoppen der Rückwärtsbewegung (JM) eingestellt (ein Pfeil t38 der 10). Wenn C_JM nicht vorliegt wird S_N in S73 auf den Anfangszustand (JA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil t39 der 10).
Auf diese Art und Weise wird von dem Getriebezustand (Gangzustand), der Geschwindigkeit V, dem Bewegungsabstand L, der Beschleunigung a und dem Zustand der Parkbremse eine Beurteilung getroffen, in welchem Zustand sich das Fahrzeug befindet; d. h., dass eine Beurteilung getroffen wird, in welchem Zustand aus dem Zustand der Vorbereitung der Rückwärtsbewegung (JB), den Zustand zum Starten der Rückwärtsbewegung (JC), den Zustand zur Aktivierung der Rückwärtsbewegung (JD), dem Zustand der Deaktivierung der Rückwärtsbewegung (JE), den Rückwärtsbewegungszustand (JF), dem Zustand zum Verschieben zum Stopp der Rückwärtsbewegung (JG), dem Zustand zur Aktivierung einer erneuten Rückwärtsbewegung (JH), dem Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK), dem erneuten Rückwärtsbewegungszustand (JL), dem Zustand zum Stopp der Rückwärtsbewegung (JM) und dem Anfangszustand (JA) das Fahrzeug ist. Ein Kamerabild, das zur Unterstützung des Fahrers geeignet ist, kann gemäß dem beurteilten Fahrzeugzustand angezeigt werden.
In dem Zustand zur Vorbereitung der Bewegung, bei der es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt, d. h., dem Zustand der Vorbereitung auf eine Rückwärtsbewegung (JB), dem Zustand der Aktivierung einer Rückwärtsbewegung (JD), und dem Zustand der Deaktivierung einer Rückwärtsbewegung (JE); und in dem Zustand zum Start der Bewegung, bei dem es sich um einen Zustand handelt, in dem das Fahrzeug sich bewegt, bis eine vorbestimmte Bedingung während der Bewegung vom Start der Bewegung vorliegt, d. h., dem Zustand des Starts der Rückwärtsbewegung (JC), wird insbesondere ein Weitwinkelbild angezeigt, bei dem es sich um ein Kamerabild eines weiten Bereichs handelt, obwohl aufgrund des Fischaugenobjektivs eine Abbildungsverzerrung vorliegt; und daher kann die Lage der Umgebung zum Zeitpunkt des Starts der Bewegung leicht bestätigt werden.
In dem Zustand während der Bewegung, bei dem es sich um den Zustand handelt, in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, d. h., dem Rückwärtsbewegungszustand (JF), wird ein nicht abbildungsverzerrtes Bild angezeigt, bei dem es sich um ein Bild handelt, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert werden; und daher wird ein Abstandsgefühl leicht erfasst und eine Rückwärtsbewegung kann bis zu einer geeigneten Position leicht durchgeführt werden.
In dem Zustand des Verschiebens zum Stopp, bei dem es sich um den Zustand zur Erfassung handelt, dass die vorbestimmte Bedingung der Erfassung eines Verschiebens zum Stopp vorliegt, wobei erfasst wird, dass ein sich bewegendes Fahrzeug mit dem Stopp beginnt, d. h., der Zustand zum Verschieben zum Stopp der Rückwärtsbewegung (JG); der Stoppzustand, d. h., der Zustand, in dem das Fahrzeug nach dem Zustand der Verschiebung zum Stoppen stoppt, d. h., der Zustand zum Aktivieren einer erneuten Rückwärtsbewegung (JH); der Zustand zur Deaktivierung einer erneuten Rückwärtsbewegung (JK); und der Zustand zum Stoppen der Rückwärtsbewegung (JM), wird das nicht verzerrte Bild von einem unterschiedlichen Standpunkt angezeigt, bei dem es sich um ein Bild handelt, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind, und dass von einem unterschiedlichen Standpunkt oberhalb und hinter dem Fahrzeug gesehen wird. Die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche wird daher leicht erfasst.
In dem erneuten Bewegungszustand, d. h. dem Zustand, in dem das Fahrzeug nach dem Stoppzustand sich bewegt, d. h., der erneute Rückwärtsbewegungszustand (JL), wird ein Weitwinkelbild angezeigt, bei dem es sich um ein Kamerabild eines weiten Bereichs handelt, obwohl eine Abbildungsverzerrung aufgrund des Fischaugenobjektivs vorliegt, und zwar für eine vorbestimmte Zeitperiode der Bestätigung der Lage einer Bewegungsrichtung, nachdem der erneute Bewegungszustand eingenommen wird; und daher wird die Lage der Umgebung zum Zeitpunkt des Starts der Bewegung leicht bestätigt. Nachdem die Zeitperiode der Bestätigung der Lage bzw. Umstände der Bewegungsrichtung abgelaufen ist, wird das abbildungsverzerrungsfreie Bild von einem unterschiedlichen Standpunkt angezeigt; und daher wird die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche leicht erfasst.
In diesem Fall wurde der Fall erläutert, wenn sich der Fahrzeugzustand bis zum Zustand des Stopps der Rückwärtsbewegung (JM) ändert; selbst im Fall, wenn sich der Fahrzeugzustand in den Anfangszustand (JA) ändert, bevor der Zustand zum Verschieben zum Stopp der Rückwärtsbewegung (JG) erreicht wird, wird jedoch das Kamerabild des weiten Bereichs (mit einer Abbildungsverzerrung) aufgrund des Fischaugenobjektivs zum Zeitpunkt des Starts der Rückwärtsbewegung angezeigt; und daher kann die Umgebungslage zum Zeitpunkt des Starts der Rückwärtsbewegung leicht bestätigt werden. Wenn sich der Fahrzeugzustand von dem Rückwärtsbewegungszustand (JF) in den Anfangszustand (JA) ändert, wird ein Bild während der Rückwärtsbewegung angezeigt, in dem eine Abbildungsverzerrung eliminiert wird und das Abstandsgefühl leicht erfasst werden kann; eine Rückwärtsbewegung kann daher bis zu einer geeigneten Position leicht durchgeführt werden.
In diesem Fall erfolgt eine Anzeige durch Überlagerung des Führungslinienbildes auf dem Kamerabild; der oben erwähnte Effekt kann jedoch nur durch Anzeigen des Kamerabildes erhalten werden, das gemäß dem Fahrzeugzustand geändert wird. Indem auch das Führungslinienbild angezeigt wird, wird die Position nach der Bewegung des Fahrzeugs leicht erfasst, und dieses insbesondere beim Stoppen für das Parken wirksam.
Der Fall, wenn der Bewegungsabstand vom Starten der Bewegung gleich oder größer als der vorbestimmte Abstand ist, wird als die vorbestimmte Bedingung während der Bewegung angesehen; es kann jedoch eine andere Bedingung verwendet werden, z. B., wenn die Zeit vom Start der Bewegung gleich oder größer als eine vorbestimmte Zeit ist, die Geschwindigkeit des Fahrzeugs gleich oder größer als eine vorbestimmte Geschwindigkeit ist, und dergleichen. Der Fall, wenn die Bremsung für eine vorbestimmte Zeit fortgesetzt wird, wird als die vorbestimmte Bedingung der Erfassung eines Verschiebens zum Stopp angesehen, wobei erfasst wird, dass ein sich bewegendes Fahrzeug mit dem Stopp beginnt; es kann jedoch eine andere Bedingung verwendet werden, z. B., wenn die Geschwindigkeit des Fahrzeugs gleich oder geringer als eine vorbestimmte Geschwindigkeit ist, die Geschwindigkeit des Fahrzeugs gleich oder geringer als eine vorbestimmte Geschwindigkeit ist, nach der Bewegung um einen vorbestimmten Abstand vom Start der Bewegung, und dergleichen. Eine Bedingung, die beurteilt, dass das Fahrzeug stoppt, besteht darin, dass die Geschwindigkeit Null ist und die Parkbremse AN ist; es kann jedoch eine andere Bedingung verwendet werden, z. B. wenn eine vorbestimmte Zeit vom Stopp abgelaufen ist, und dergleichen.
Das nicht abbildungsverzerrte Bild hinter dem Fahrzeug kann nur in dem Fall angezeigt werden, wenn eine Information eines Lenkwinkels einer Lenkvorrichtung, die eine Bewegungsrichtung des Fahrzeugs ändert, auch als Fahrzeuginformation eingegeben wird, und es kann beurteilt werden, dass sich das Fahrzeug in einem bewegenden Zustand befindet und aus dem Lenkwinkel nahezu geradeaus fährt. In dem Fall, wenn der Lenkwinkel groß ist und sich das Fahrzeug während der Drehung bewegt, kann das Fahrzeug ein Hindernis in der Nähe des Fahrzeugs vermeiden; und daher wird das Weitwinkelbild bevorzugt, wobei leicht erfasst werden kann, ob oder ob nicht das Fahrzeug das Hindernis vermeiden kann.
Der Fahrzeuginformations-Erfassungsabschnitt erfasst den Bewegungsabstand des Fahrzeugs in einem Zyklus von der elektronischen Steuereinheit; es wird jedoch nur die Geschwindigkeit erfasst und der Bewegungsabstand in einem Zyklus kann durch eine trapezförmige Näherung unter Verwendung einer vorhergehenden und gegenwärtigen Geschwindigkeit und der Zeit von einem Zyklus gefunden werden. Die Beschleunigung kann durch die elektronische Steuereinheit ausgegeben werden oder kann aus der vorhergehenden und der gegenwärtigen Geschwindigkeit in dem Fahrzeuginformations-Erfassungsabschnitt gefunden werden. Der Fahrzeuginformations-Erfassungsabschnitt kann in jeder Form vorliegen, solange der Fahrzeugzustand erfasst wird, der für die Fahrunterstützungsvorrichtung notwendig ist.
Das Obenstehende ist auch für andere Ausführungsformen anwendbar.
Ausführungsform 2
Die bisherige Beschreibung hat den Fall betrachtet, wenn ein Fahrzeug rückwärts fährt und gemäß dem Fahrunterstützungssystem gemäß Ausführungsform 1 einparkt; es gibt jedoch einen Fall, wenn ein Fahrzeug vorwärts fährt und einparkt. Wenn das Fahrzeug vorwärts fährt und einparkt kann ein Fahrer im Fall eines kleinen Fahrzeugs die Lage um das Fahrzeug direkt visuell überprüfen; und daher ist die Fahrunterstützungsvorrichtung nicht wirklich notwendig. In dem Fall eines großen Fahrzeugs, das mit einem Fahrersitz an einer hohen Position ausgestattet ist, ist jedoch die Lage vor dem Fahrzeug auch schwierig von dem Fahrersitz zu beurteilen; und daher wird die Fahrunterstützungsvorrichtung stark benötigt. Ein Fahrunterstützungssystem gemäß Ausführungsform 2 beurteilt daher einen Zustand eines Fahrzeugs und schaltet ein anzuzeigendes Kamerabild um, wenn sich das Fahrzeug bewegt und einparkt. Eine Konfiguration wird ferner derart gestaltet, dass ein Führungslinienbild nicht auf der Straßenoberfläche angezeigt wird.
13 ist ein Blockdiagramm zur Darstellung der Konfiguration des Fahrunterstützungssystems gemäß Ausführungsform 2. Es werden nur Punkte beschrieben, die sich von 1 unterscheiden, bei der es sich um die Konfiguration der Ausführungsform 1 handelt. In 13 ist das Fahrunterstützungssystem durch Aufnahme einer Host-Einheit 1a konfiguriert, die als eine Fahrunterstützungsvorrichtung dient, sowie eine Kameraeinheit 2.
Die Host-Einheit 1a weist keinen Führungslinien-Berechnungsabschnitt 13 (Führungslinien-Informationserzeugungsabschnitt), einen Linienzeichnungsabschnitt 14 (Führungslinien-Bilderzeugungsabschnitt) und einen Bildüberlagerungsabschnitt 17 auf. Ein Bild, das durch einen Kamerabild-Korrekturabschnitt 16 ausgegeben wird, wird daher auf einem Anzeigeabschnitt 18 angezeigt, und der Kamerabild-Korrekturabschnitt 16 bildet einen Bildausgabeabschnitt aus.
Eine Ansichtswinkelinformation, Projektionsinformation, Objektiv-Abbildungsverzerrungsinformation und Standpunktinformation wird in einem Informationsspeicherabschnitt 11a gespeichert. Ein Fahrzeuginformations-Erfassungsabschnitt 10a erfasst eine Gangzustandsinformation, die einen Zustand eines Getriebes des Fahrzeugs (Gangzustand) anzeigt, eine Geschwindigkeitsinformation, die die Geschwindigkeit des Fahrzeugs anzeigt, und eine Bewegungsabstandsinformation, die einen Bewegungsabstand des Fahrzeugs in einem Zyklus anzeigt, in dem die Fahrzeuginformation erfasst wird. Ein Anzeigebedingungs-Bestimmungsabschnitt 12a (Fahrzeugzustands-Beurteilungsabschnitt) erzeugt eine Anzeigebedingungsinformation, dass dazu führt, das der Anzeigeabschnitt 18 das Kamerabild in einer Art und Weise anzeigt, die auf der Fahrzeuginformation basiert, die durch den Fahrzeuginformations-Erfassungsabschnitt 10a erfasst wird.
Die Kameraeinheit 2 weist eine Kamera auf, die an einer Position eingestellt ist, mit der ein Bereich aufgenommen werden kann, bei dem es sich um einen Bereich vor dem Fahrzeug handelt, und der nicht von dem Fahrersitz eingesehen werden kann. Wenn der Gangzustand, der durch den Fahrzeuginformations-Erfassungsabschnitt 10a der Host-Einheit 1a erfasst wird, ein Zustand ist, der eine Vorwärtsbewegung zulässt, z. B. in dem Fall von Low (L), Second (S), Drive (D) und Neutral (N); die Host-Einheit 1 steuert die Kamera der Kameraeinheit 2 um das Kamerabild aufzunehmen und zu übertragen. Der Gangzustand, bei dem es sich um einen Zustand handelt, der eine Vorwärtsbewegung zulässt, wird als ein Vorwärtsgang (abgekürzt als Fw) bezeichnet.
Es wird nun erläutert, wie der Anzeigebedingungs-Bestimmungsabschnitt 13 arbeitet, wenn das Fahrzeug vorwärts fährt und einparkt. 14 ist ein Diagramm zur Erläuterung von Änderungen in einem Fahrzeugzustand, der durch den Anzeigebedingungs-Bestimmungsabschnitt 13 erkannt wird.
Der Fahrzeugzustand, der durch den Anzeigebedingungs-Bestimmungsabschnitt 13 erkannt wird, enthält die folgenden Zustände. Im Übrigen wird die Geschwindigkeit des Fahrzeugs als positiv angesehen, wenn sich das Fahrzeug in einer Vorwärtsrichtung bewegt.
Angangszustand (KA); ein Zustand außer der im Folgenden erwähnte. Wenn eine Kraftmaschine des Fahrzeugs startet wird der Fahrzeugzustand ein Anfangszustand, bei dem es sich nicht um einen Zustand handelt, der durch die Fahrunterstützungsvorrichtung unterstützt wird. Wenn der Gangzustand nicht der Vorwärtsgang ist und eine Geschwindigkeit V gleich oder größer als eine vorbestimmte Geschwindigkeit (Vr1) ist, kehrt der Fahrzeugzustand in den Anfangszustand (KA) zurück.
Obwohl die folgende Erwähnung nicht alle der Bedingungen erwähnt, bei denen es sich um den Anfangszustand (KA) handelt, kann geurteilt werden, dass der Anfangszustand (KA) vorliegt, wenn die im Folgenden erwähnte Bedingung erfüllt ist. Eine im Folgenden erwähnte Bedingung C_KA wird als eine Bedingung bezeichnet, bei dem es sich um einen klaren Anfangszustand während der Vorwärtsbewegung handelt.

C_KA: = (Geschwindigkeit V ist negativ), oder (Geschwindigkeit V ist gleich oder größer als vorbestimmte Geschwindigkeit (Vr1)), oder (Gangzustand ist nicht Vorwärtsgang).

Zustand zum Vorbereiten für eine Vorwärtsbewegung (KB): Ein Zustand der Vorbereitung auf eine Vorwärtsbewegung.
Eine Bedingung C_KB für einen Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) ist wie folgt.

C_KB: = (Gangzustand ist ein Vorwärtsgang), und (Bewegungsabstand L ist Null), und (Geschwindigkeit V ist Null).

Zustand zum Starten der Vorwärtsbewegung (KC): Ein Zustand bis das Fahrzeug sich um einen vorbestimmten Abstand von dem Start der Vorwärtsbewegung bewegt. Wenn die Geschwindigkeit V in dem Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) positiv ist, wird der Fahrzeugzustand ein Zustand zum Starten der Vorwärtsbewegung.

C_KC: = (Gangzustand ist ein Vorwärtsgang), und (Bewegungsabstand L ist positiv und geringer als vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)).

Zustand der Aktivierung einer Vorwärtsbewegung (KD): Ein Zustand bis sich das Fahrzeug um einen vorbestimmten Abstand vom Start einer Vorwärtsbewegung bewegt und wenn das Fahrzeug stoppt, und eine vorbestimmte Zeit (Tz1) vom Stopp nicht abgelaufen ist.

C_KD: = (Gangzustand ist ein Vorwärtsgang), und (Bewegungsabstand L ist positiv und geringer als vorbestimmte Abstand (L1)), und (Geschwindigkeit V ist Null) und (Zeitdauer (Tz), bei der Geschwindigkeit V Null ist und geringer als vorbestimmte Zeit (Tz1)).

Wenn im Übrigen die vorbestimmte Zeit (Tz1) oder mehr vom Stopp vergeht, wird der Fahrzeugzustand auf den Anfangszustand (KA) eingestellt.
Vorwärtsbewegungszustand (KE): Ein Zustand, in dem die Vorwärtsbewegung fortgesetzt wird, selbst dann, wenn die Bewegung gleich oder mehr als der vorbestimmte Abstand (L1) vom Start der Vorwärtsbewegung ist und eine Bedingung geringer Geschwindigkeit nicht vorliegt, bei der es sich um eine Bedingung zum Erfassen einer Verschiebung zum Stopp handelt. Wenn die Bedingung einer geringen Geschwindigkeit vorliegt wird der Fahrzeugzustand in einen nächsten Zustand zum Verschieben zum Stopp der Vorwärtsbewegung (KF) eingestellt. Die Bedingung einer geringen Geschwindigkeit besteht darin, dass die Geschwindigkeit V, die geringer als eine vorbestimmte Geschwindigkeit ist (Vr2, Vr2 < Vr1), für eine vorbestimmte Zeit (Tv2) fortgesetzt wird. Der Grund der Bereitstellung einer Bedingung einer Zeitdauer für die Geschwindigkeit V, die geringer als eine vorbestimmte Geschwindigkeit (Vr2) ist, besteht darin, dass ein häufiges Umschalten zwischen dem Vorwärtsbewegungszustand (KE) und dem Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF) in einem kurzem Intervall vermieden werden soll, wenn in der Geschwindigkeit V häufig eine Fluktuation zwischen gleich oder größer als und geringer als die vorbestimmte Geschwindigkeit (Vr2) erzeugt wird.
Wenn sich das Fahrzeug gleich oder größer als der vorbestimmte Abstand (L1) bewegt, ohne dass die Geschwindigkeit V gleich oder größer als die vorbestimmte Geschwindigkeit (Vr2) wird, ist der Fahrzeugzustand der Vorwärtsbewegungszustand (KE) bis zu der vorbestimmten Zeit (Tv2) von der Erfassung einer Bewegung gleich oder größer als der vorbestimmte Abstand (L1).

C_KE: = (Gangzustand ist ein Vorwärtsgang), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)), und (Bedingung der geringen Geschwindigkeit C_lw liegt vor).
C_ew: = (Geschwindigkeit V ist geringer als vorbestimmte Geschwindigkeit (Vr23)), und (Zeitdauer (Tv) bei der Geschwindigkeit V geringer als vorbestimmte Geschwindigkeit (Vr2) ist, und gleich oder größer als vorbestimmte Zeit (Tv2)).

Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF): Ein Zustand, in dem die Vorwärtsbewegung fortgesetzt wird, wobei die Bedingung einer geringen Geschwindigkeit vorliegt, nachdem der Vorwärtsbewegungszustand (KE) eingestellt wird.

C_KF: = (Gangzustand ist Vorwärtsgang), und (Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)), und (Geschwindigkeit V ist positiv und weniger als vorbestimmte Geschwindigkeit (Vr1)), und (Bedingung der geringen Geschwindigkeit C_lw liegt vor).

Zustand zum Stoppen der Vorwärtsbewegung (KG): Ein Zustand, wenn das Fahrzeug stoppt nachdem Vorwärtsbewegungszustand (KE) eingenommen wird und die vorbestimmte Zeit (Tz1) vom Stopp nicht abgelaufen ist.

C_KG: = (Geschwindigkeit V = 0) und (Gangzustand ist ein Vorwärtsgang), und (Zeitdauer (Tz), zu der die Geschwindigkeit V 0 ist, ist geringer als die vorbestimmte Zeit (Tz1)).

Erneuter Vorwärtsbewegungszustand (KH): Ein Zustand, in dem sich das Fahrzeug vorwärts bewegt, nach einem Zustand der Aktivierung einer erneuten Vorwärtsbewegung (JH).

C_KH: = (Gangzustand ist ein Vorwärtsgang), und (Geschwindigkeit V ist positiv und geringer als vorbestimmte Geschwindigkeit (Vr1)), und Bewegungsabstand L ist gleich oder größer als vorbestimmter Abstand (L1)).

(1) In dem Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB), dem Zustand des Starts der Vorwärtsbewegung (KC), und dem Zustand der Aktivierung der Vorwärtsbewegung (KD), ist die Anzeigebedingung eine erste Anzeigebedingung. Das Kamerabild ist ein Bild, das durch die Kamera direkt aufgenommen wird und weist eine Objektiv-Abbildungsverzerrung und eine Abbildungsverzerrung durch ein Projektionssystem auf. Ein Objektiv bzw. eine Linse der Kamera der Kameraeinheit 2 ist ein so genanntes Fischaugenobjektiv, welches einen Ansichtswinkel aufweist, der gleich oder größer als 180 Grad ist; und daher zeigt das Kamerabild einen breiten Bereich an, einschließlich der Peripherie einer Installationsposition der Kamera, erfasst leicht die Lage um das Fahrzeug, und ist für die Bestätigung geeignet, ob oder ob nicht ein Fußgänger zum Zeitpunkt des Start des Fahrzeugs um das Fahrzeug ist.

In diesem Fall ist der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) und der Zustand zur Aktivierung der Vorwärtsbewegung (KD) ein Zustand der Vorbereitung auf die Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt. In dieser Ausführungsform wird eine vorbestimmte Bedingung während der Bewegung, die beurteilt, dass das Fahrzeug in einem Zustand während der Bewegung ist, als solche betrachtet, dass das Fahrzeug sich um den vorbestimmten Abstand (L1) bewegt. Der Zustand zum Start der Vorwärtsbewegung (KC), wobei es sich um einen Zustand handelt bis das Fahrzeug sich um den vorbestimmten Abstand (L1) bewegt und in dem sich das Fahrzeug vorwärts bewegt, ist ein Zustand des Starts der Bewegung.

(2) In dem Vorwärtsbewegungszustand (KE) ist die Anzeigebedingung eine zweite Anzeigebedingung. Es wird das Kamerabild angezeigt, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind. Es wird ein Bild in einem rechtwinkligen Koordinatensystem hergestellt, das zur Erfassung eines Abstandsgefühls geeignet ist; und daher ist das Bild ein Bild, das während der Vorwärtsbewegung geeignet ist, wobei dies wichtig ist, um das Abstandsgefühl zu erfassen.

Der Vorwärtsbewegungszustand (KE), in dem sich das Fahrzeug vorwärts bewegt, nachdem sich um den vorbestimmten Abstand (L1) bewegt wurde, ist der Zustand während der Bewegung, wobei es sich um den Zustand handelt, in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt.

(3) In dem Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF) und dem Zustand zum Stopp der Vorwärtsbewegung (KG) ist die Anzeigebedingung eine dritte Anzeigebedingung. Ein Standpunkt nach Durchführung der Standpunkttransformation befindet sich z. B. an einer vorbestimmten Position, an der das vordere mittlere Ende des Fahrzeugs an einem Ende des Bildes und einer vorbestimmten Höhe (z. B. 5 m) positioniert ist, und von dem Standpunkt wird gerade nach unten gesehen. Das Kamerabild, das durch die Standpunkttransformation zu diesem Standpunkt erhalten wird, wird ein Bild, in dem die Straßenoberfläche vor dem Fahrzeug direkt von oben gesehen wird, und wird ein Bild, in dem der Winkel zwischen Richtungen, die parallel oder senkrecht zu dem Fahrzeug sind, als ein rechter Winkel gesehen werden, und ein Abstandsgefühl in der Nähe eines tatsächlichen Abstands in einer horizontalen Richtung und einer vertikalen Richtung kann erfasst werden; und daher wird die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche leicht erfasst.

Der Zustand des Verschiebens zum Stopp der Vorwärtsbewegung (KF) ist ein Zustand des Verschiebens zum Stoppen, wobei es sich um einen Zustand handelt, der erfasst, dass eine vorbestimmte Bedingung der Erfassung des Verschiebens zum Stoppen vorliegt (in dieser Ausführungsform ist die Bedingung eine geringe Geschwindigkeit Clw), wobei erfasst wird, dass das Fahrzeug mit dem Stopp beginnt. Der Zustand des Stopps der Vorwärtsbewegung (KG) ist ein Stoppzustand, bei dem es sich um einen Zustand handelt, in dem das Fahrzeug nach dem Zustand des Verschiebens zum Stoppen stoppt.

(4) In dem erneuten Vorwärtsbewegungszustand (KH) erfolgt eine Anzeige in der ersten Anzeigebedingung, um einen breiten Bereich hinter dem Fahrzeug anzuzeigen, während einer Zeitperiode der Bestätigung der Lage einer Bewegungsrichtung von ca. einigen Sekunden nach der Änderung in den Zustand. Danach erfolgt die Anzeige in der dritten Anzeigebedingung, vergleichbar zu dem Stoppzustand.

Der erneute Vorwärtsbewegungszustand (KH) ist ein erneuter Bewegungszustand, wobei es sich um einen Zustand handelt, in dem sich das Fahrzeug nach Startzustand bewegt.
Der Anfangszustand (KA) ist kein Zustand, der durch die Fahrunterstützungsvorrichtung der vorliegenden Erfindung unterstützt wird; und daher wird ein Bildschirm einer Navigationsvorrichtung auf einer Anzeigevorrichtung angezeigt. Wenn in den Anfangszustand (KA) zurückgekehrt wird, nachdem der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) eingenommen wird, wird ein Bildschirm angezeigt, bevor der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) eingenommen wird, oder ein Bildschirm, der durch den Zustand zum Zeitpunkt bestimmt wird, wenn in den Anfangszustand (KA) zurückgekehrt wird. Ein Bildschirm in einem Zustand gerade vor der Änderung in den Anfangszustand (KA) kann im Übrigen angezeigt werden, bis ein Ereignis erzeugt wird, das die Anzeige des Bildschirms ändert.
15 und 16 sind jeweils ein Flussdiagramm zur Erläuterung des Betriebs, der Fahrzeugzustände in den Anzeigebedingungs-Bestimmungsabschnitt 12a beurteilt. Im Folgenden wird eine Beschreibung angegeben mit Bezug auf 15 und 16, einschließlich der Beziehung zu der Zeichnung zur Erläuterung von Änderungen im Zustand der 14.
Wenn zuerst die Kraftmaschine des Fahrzeugs in U1 startet stellt der Anzeigebedingungs-Bestimmungsabschnitt 12 einen Fahrzeugzustand (S₀) in U2 in den Anfangszustand (KA) ein. Danach wird eine Verarbeitung nach U3 wiederholt in einem Zyklus (ΔT) ausgeführt, in dem die Fahrzeuginformation von einer ECU eingegeben wird und ein neuer Fahrzeugzustand (S_N) bestimmt wird. In U3 erfolgt eine Überprüfung, ob oder ob nicht die Bedingung C_KA vorliegt, bei der es sich deutlich um den Anfangszustand während der Vorwärtsbewegung handelt. Wenn C_KA vorliegt wird S_N in U4 auf den Anfangszustand (KA) eingestellt und ein Bewegungsabstand L wird auf L = 0 eingestellt (alle Pfeile, die in den Anfangszustand (KA) der 14 gehen). Bevor zu U3 zurückgekehrt wird, wird der Fahrzeugzustand in U5 auf S₀ = S_N eingestellt.
Wenn in U3 C_KA nicht vorliegt wird in U6 eine Überprüfung vorgenommen, ob oder ob nicht S₀ der Anfangszustand (KA) ist. Wenn im Übrigen C_KA nicht vorliegt ist die Geschwindigkeit V gleich oder größer als 0 und geringer als die vorbestimmte Geschwindigkeit (Vr1), und der Gangzustand ist der Vorwärtsgang.
(1) Verarbeitung in dem Anfangszustand (KA)
Wenn S₀ in U6 der Anfangszustand (KA) ist, wird in U7 eine Überprüfung durchgeführt, ob oder ob nicht die Bedingung C_KB vorliegt. Wenn C_KB vorliegt wird in U8 SN auf den Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) eingestellt (ein Pfeil w1 der 14). Wenn C_KB nicht vorliegt wird in U9 S_N auf den Anfangszustand (KA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil w2 der 14).
Wenn S₀ nicht der Anfangszustand (KA) in U6 ist wird eine notwendige Information zum Beurteilen des Fahrzeugzustands in U10 bis U16 berechnet. Ein Bewegungsabstand Lm von dem vorhergehenden Verarbeitungspunkt, der aus der Fahrzeuginformation erfasst wird, wird in U10 dem Bewegungsabstand L hinzugefügt (L = L + Lm). Es erfolgt eine Überprüfung, ob oder ob nicht die Geschwindigkeit V in U11 0 ist. Wenn die Geschwindigkeit V 0 ist wird in U12 eine Zeit von einem Zyklus (ΔT) zu der Zeitdauer (Tz) hinzugefügt (Tz = Tz + ΔT). Wenn die Geschwindigkeit V nicht 0 ist wird in U13 die Zeitdauer (Tz), bei der die Geschwindigkeit V 0 ist, auf 0 eingestellt (Tz = 0). Ferner wird in U14 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V geringer als die vorbestimmte Geschwindigkeit (Vr2) ist (V < Vr2). Wenn die Geschwindigkeit V geringer als die vorbestimmte Geschwindigkeit (Vr2) ist, wird in U15 eine Zeit von einem Zyklus (ΔT) der Zeitdauer (Tv) hinzugefügt, bei der die Geschwindigkeit V geringer als die vorbestimmte Geschwindigkeit (Vr2) ist (Tv = Tv + ΔT). Wenn die Geschwindigkeit V nicht geringer als die vorbestimmte Geschwindigkeit (Vr2) ist wird in U16 die Zeitdauer (Tv), zu der die Geschwindigkeit V geringer als die vorbestimmte Geschwindigkeit (Vr2) ist, auf 0 eingestellt (Tv = 0).
Es wird in U17 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) ist.
(2) Verarbeitung in dem Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB)
Wenn S₀ in U17 der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) ist, wird in U18 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V gleich 0 ist. Wenn die Geschwindigkeit V 0 ist wird in U19 S_N auf den Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) eingestellt (ein Pfeil w3 der 14). Wenn die Geschwindigkeit V nicht 0 ist, wird in U20 S_N auf den Zustand zum Start der Vorwärtsbewegung (KC) eingestellt (ein Pfeil w4 der 14).
Wenn S₀ in U17 nicht der Zustand der Vorbereitung auf eine Vorwärtsbewegung (KB) ist, wird in U21 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der Zustand zum Start der Vorwärtsbewegung (KC) ist.
(3) Verarbeitung in dem Zustand zum Start der Vorwärtsbewegung (KC)
Wenn S₀ in U21 der Zustand zum Start der Vorwärtsbewegung (KC) ist, erfolgt in U22 eine Überprüfung, ob oder ob nicht der Bewegungsabstand L gleich oder größer als der vorbestimmte Abstand L1 ist (L ≥ L1). Wenn L ≥ L1 vorliegt wird in U23 S_N auf den Vorwärtsbewegungszustand (KE) eingestellt (ein Pfeil w6 der 14). Wenn L < L1 vorliegt wird in U24 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V 0 ist (V = 0). Wenn die Geschwindigkeit V 0 ist, wird in U25 S_N auf den Zustand der Aktivierung einer Vorwärtsbewegung (KD) eingestellt (ein Pfeil w7 der 14). Wenn die Geschwindigkeit V nicht 0 ist wird in U26 S_N auf den Zustand zum Start der Vorwärtsbewegung (KC) eingestellt (ein Pfeil w8 der 14).
Wenn in U21 S₀ nicht der Zustand zum Start der Vorwärtsbewegung (KC) ist, erfolgt in U27 eine Überprüfung, ob oder ob nicht S₀ der Zustand zur Aktivierung der Vorwärtsbewegung (KD) ist.
(4) Verarbeitung in dem Zustand zur Aktivierung der Vorwärtsbewegung (KD)
Wenn in U27, wie in 16 gezeigt, S₀ der Zustand zur Aktivierung der Vorwärtsbewegung (KD) ist, wird in U28 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V 0 ist (V = 0). Wenn die Geschwindigkeit V nicht 0 ist wird in U29 S_N auf den Zustand zum Start der Vorwärtsbewegung (KC) eingestellt (ein Pfeil w10 in 10). Wenn die Geschwindigkeit V 0 ist, wird in U30 eine Überprüfung durchgeführt, ob oder ob nicht die abgelaufene Zeit (Tz), bei der die Geschwindigkeit V 0 ist, gleich oder größer als der vorbestimmte Wert (Tz1) ist (Tz ≥ Tz1). Wenn Tz ≥ Tz1 vorliegt wird in U31 S_N auf den Anfangszustand (KA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil w11 der 14). Wenn Tz < Tz1 vorliegt, wird in U32 S_N auf den Zustand der Aktivierung der Vorwärtsbewegung (KD) eingestellt (ein Pfeil w12 der 14).
Wenn in U27 S₀ nicht der Zustand der Aktivierung der Vorwärtsbewegung (KD) ist, erfolgt in U33 eine Überprüfung, ob oder ob nicht S₀ der Zustand zur Deaktivierung der Vorwärtsbewegung (JE) ist.
(5) Verarbeitung in dem Vorwärtsbewegungszustand (KE) oder dem Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF)
Wenn in U33 S₀ der Vorwärtsbewegungszustand (KE) oder der Zustand zum Verschieben zum Stopp der Vorwärtsbewegung (KF) ist, erfolgt in U34 eine Überprüfung, ob oder ob nicht die Geschwindigkeit V 0 ist (V = 0). Wenn die Geschwindigkeit V 0 ist wird in U35 S_N auf den Zustand zum Stopp der Vorwärtsbewegung (KG) eingestellt (Pfeile w13, w14 der 14). Wenn die Geschwindigkeit V nicht 0 ist, wird in U36 eine Überprüfung durchgeführt, ob oder ob nicht die Bedingung einer geringen Geschwindigkeit C_lw vorliegt. Wenn C_lw vorliegt wird in U37 S_N auf den Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF) eingestellt (Pfeile w15, w16 der 14). Wenn C_lw nicht vorliegt wird in U38 S_N auf den Vorwärtsbewegungszustand (KE) eingestellt (Pfeile w17, w18 der 14).
Wenn S₀ in U33 nicht der Vorwärtsbewegungszustand (KE) oder der Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF) ist, wird in U39 eine Überprüfung durchgeführt, ob oder ob nicht S₀ der Zustand zum Stopp der Vorwärtsbewegung (KG) ist.
(6) Verarbeitung in dem Zustand zum Stopp der Vorwärtsbewegung (KG)
Wenn in U39 S₀ der Zustand zum Stopp der Vorwärtsbewegung (KG) ist erfolgt in U40 eine Überprüfung, ob oder ob nicht die Geschwindigkeit V gleich 0 ist (V = 0). Wenn die Geschwindigkeit V nicht 0 ist wird in U41 S_N auf den erneuten Vorwärtsbewegungszustand (KH) eingestellt (ein Pfeil w21 der 14). Wenn die Geschwindigkeit V 0 ist, wird in U42 eine Überprüfung durchgeführt, ob oder ob nicht die abgelaufene Zeit Tz, zu der die Geschwindigkeit V 0 ist, gleich oder größer als der vorbestimmte Wert (Tz1) ist (Tz ≥ Tz1). Wenn Tz ≥ Tz1 vorliegt wird in U43 S_N auf den Anfangszustand (KA) eingestellt und der Bewegungsabstand L wird auf L = 0 eingestellt (ein Pfeil w22 der 14). Wenn Tz < Tz1 vorliegt wird S_N in U44 auf den Zustand zum Stopp der Vorwärtsbewegung (KG) eingestellt (ein Pfeil w23 der 14).
Wenn S₀ in U39 nicht der Zustand zum Stopp der Vorwärtsbewegung (KG) ist, ist der Fahrzeugzustand der erneut Vorwärtsbewegungszustand (KH).
(7) Verarbeitung in dem erneuten Vorwärtsbewegungszustand (KH)
Wenn S₀ der erneute Vorwärtsbewegungszustand (KH) ist, wird in U45 eine Überprüfung durchgeführt, ob oder ob nicht die Geschwindigkeit V 0 ist. Wenn die Geschwindigkeit V 0 ist wird S_N in U46 auf den Zustand zum Stopp der Vorwärtsbewegung (KG) eingestellt (ein Pfeil w24 der 14). Wenn die Geschwindigkeit V nicht 0 ist, wird S_N in U47 auf den erneuten Vorwärtsbewegungszustand (KH) eingestellt (ein Pfeil w25 der 14).
Auf diese Art und Weise kann aus dem Zustand des Getriebes (Gangzustand), der Geschwindigkeit V und dem Bewegungsabstand L eine Beurteilung getroffen werden, in welchem Zustand das Fahrzeug ist; d. h., dass beurteilt wird, in welchem Zustand aus dem Zustand der Vorbereitung auf die Vorwärtsbewegung (KB), dem Zustand des Starts der Vorwärtsbewegung (KC), dem Zustand der Aktivierung der Vorwärtsbewegung (KD), dem Vorwärtsbewegungszustand (KE), dem Zustand der Vierschiebung zum Stopp der Vorwärtsbewegung (KF), dem Zustand des Stopps der Vorwärtsbewegung (KG), dem erneuten Vorwärtsbewegungszustand (KH) und dem Anfangszustand (KA) das Fahrzeug ist. Ein Kamerabild, das zur Unterstützung des Fahrers geeignet ist, kann gemäß dem beurteilten Fahrzeugzustand angezeigt werden. Insbesondere wird in dem Zustand der Vorbereitung der Vorwärtsbewegung (KB) und dem Zustand des Starts der Vorwärtsbewegung (KC) das Kamerabild (ohne Abbildungsverzerrung) eines breiten Bereichs aufgrund des Fischaugenobjektivs angezeigt; und daher kann die Umgebungslage zum Zeitpunkt des Starts der Vorwärtsbewegung leicht bestätigt werden. Ein Bild, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind, wird in dem Vorwärtsbewegungszustand (KE) angezeigt; und daher wird ein Abstandsgefühl leicht erfasst und die Vorwärtsbewegung kann bis zu einer geeigneten Position leicht durchgeführt werden. Ein Bild, in dem die Objektiv-Abbildungsverzerrung und die Abbildungsverzerrung durch das Projektionssystem eliminiert sind, und das von oberhalb des Fahrzeugs in den Zustand des Verschiebens zum Stopp der Vorwärtsbewegung (KF), dem Zustand der Aktivierung der erneuten Vorwärtsbewegung (JH) und dem Zustand des Stopps der Vorwärtsbewegung (KG) gesehen wird; und daher wird die Positionsbeziehung des Fahrzeugs auf der Straßenoberfläche leicht erfasst.
In diesem Fall wurde der Fall erläutert, wenn sich der Fahrzeugzustand bis zum Zustand des Stopps der Vorwärtsbewegung (KG) ändert; selbst in dem Fall, in dem sich der Fahrzeugzustand bis zu dem Anfangszustand (KA) ändert, bevor der Zustand der Verschiebung zum Stopp der Vorwärtsbewegung (KF) eingenommen wird, wird das Kamerabild des breiten Bereichs aufgrund des Fischaugenobjektivs zum Zeitpunkt des Starts der Vorwärtsbewegung angezeigt; und daher wird die Umgebungslage zum Zeitpunkt des Starts der Vorwärtsbewegung leicht bestätigt. Wenn sich der Fahrzeugzustand von dem Vorwärtsbewegungszustand (KE) in den Anfangszustand (KA) ändert wird ein Bild während der Vorwärtsbewegung angezeigt, in dem die Abbildungsverzerrung eliminiert ist und das Abstandsgefühl leicht erfasst wird; und daher kann eine Vorwärtsbewegung bis zu einer geeigneten Position leicht durchgeführt werden.
Das Bild wird angezeigt, sodass der Fahrer leicht die Lage der Straßenoberfläche in einer Bewegungsrichtung erfassen kann, wenn sich das Fahrzeug in Ausführungsform 1 rückwärts bewegt, und wenn sich das Fahrzeug in Ausführungsform 2 vorwärts bewegt. Wenn das Fahrzeug eine Bewegung nach hinten oder nach vorne startet kann die Straßenoberfläche in der Bewegungsrichtung gemäß dem Fahrzeugzustand in einer geeigneten Art und Weise angezeigt werden.
In den bisher beschriebenen Ausführungsformen wird der Fahrer nur unterstützt, wenn sich das Fahrzeug in der gleichen Richtung wie die Richtung vor dem Stopp bewegt, wenn das Fahrzeug die Bewegung stoppt und sich dann erneut bewegt. Der Fahrer kann auch unterstützt werden, wenn sich das Fahrzeug in einer unterschiedlichen Richtung von der Richtung vor dem Stopp bewegt, wenn das Fahrzeug die Bewegung stoppt und sich dann erneut bewegt.
Das oben erwähnte ist auch für andere Ausführungsformen anwendbar.
Ausführungsform 3
In den Ausführungsformen 1 und 2 enthält die Host-Einheit den Anzeigeabschnitt; es kann jedoch auch eine Konfiguration ausgebildet werden, sodass eine Bildausgabevorrichtung 4, die ein synthetisiertes Bild ausgibt, in dem ein Führungslinienbild auf einem Kamerabild überlagert wird, mit einer externen Anzeigevorrichtung 5 kombiniert wird, z. B. eine in einem Fahrzeug angebrachte Navigationsvorrichtung zur Anzeige auf der Anzeigevorrichtung 5 des durch die Bildausgabevorrichtung 4 ausgegebenen synthetisierten Bildes. In dieser Ausführungsform ist die Bildausgabevorrichtung 4 eine Fahrunterstützungsvorrichtung. 17 ist ein Blockdiagramm zur Darstellung der Konfiguration eines Fahrunterstützungssystems gemäß Ausführungsform 3. Die gleichen Bezugszeichen werden an identischer oder korrespondierender der grundlegenden Elemente in 1 vergeben und deren Beschreibung wird weggelassen. In 17 wird eine Gangzustandsinformation von einer elektronischen Steuereinheit 3 an einen Fahrzeuginformations-Erfassungsabschnitt 10 und die Anzeigevorrichtung 5 ausgegeben. Eine Verbindungsschnittstelle mit der elektronischen Steuereinheit 3 in der Bildausgabevorrichtung 4 ist gleich zu der einer allgemeinen Navigationsvorrichtung; und daher kann eine Kommunikation zwischen der Bildausgabevorrichtung 4 und der elektronischen Steuereinheit 3 ohne die Vorbereitung einer speziellen Schnittstelle durchgeführt werden. Ein Bildsignal, das durch die Bildausgabevorrichtung 4 ausgegeben wird, wird in einen externen Eingabeanschluss der Anzeigevorrichtung 5 eingegeben.
Die Anzeigevorrichtung 5 schaltet in einen Modus zum Anzeigen eines Bildes um, das in den externen Eingabeanschluss eingegeben wurde, und zeigt das Bild an, das von der Bildausgabevorrichtung 4 ausgegeben wird, während die Gangzustandsinformation, wobei ein Gangzustand eines Fahrzeugs rückwärts ist, von der elektronischen Steuereinheit 3 eingegeben wird. Wenn daher ein Fahrer des Fahrzeugs das Getriebe auf rückwärts verschiebt, wird das synthetisierte Bild von der Bildausgabevorrichtung 4 ausgegeben, um das synthetisierte Bild auf der Anzeigevorrichtung 5 anzuzeigen. Auf diese Art und Weise wird ein Bild der Straßenoberfläche hinter dem Fahrzeug während des Parkens angezeigt; und das Parken kann entsprechend unterstützt werden.
Im Übrigen zeigt die oben erwähnte Anzeigevorrichtung 5 das Bild an, das von der Bildausgabevorrichtung 4 ausgegeben wird, wenn die Gangzustandsinformation, wobei der Gangzustand des Fahrzeugs rückwärts ist, von der elektronischen Steuereinheit 3 eingegeben wird. Zusätzlich dazu wird ein Umschaltungsschalter zum Umschalten des Modus zum Anzeigen des Bildes, das von dem externen Eingabeanschluss der Anzeigevorrichtung 5 eingegeben wird, an der Anzeigevorrichtung 5 bereitgestellt, und das von der Bildausgabevorrichtung 4 ausgegebene Bild kann angezeigt werden, wenn ein Nutzer den Umschaltungsschalter betätigt. Dies ist auch für andere Ausführungsformen anwendbar.
Asführungsform 4
In Ausführungsform 1 bestimmt die Host-Einheit die Anzeigebedingung auf Grundlage des Fahrzeugzustands und synthetisiert das Kamerabild, das von der Kameraeinheit übertragen wird, und das Führungslinienbild. Der Fahrzeuginformations-Erfassungsabschnitt, der Anzeigebedingungs-Bestimmungsabschnitt und der Kamerabild-Korrekturabschnitt können in die Kameraeinheit eingebaut werden. Die Kameraeinheit, die das Bild in einer geeigneten Anzeigebedingung gemäß dem Fahrzeugzustand basierend auf dem aufgenommenen Kamerabild ausgibt, wird als eine Fahrunterstützungs-Kameraeinheit bezeichnet. In dieser Ausführungsform 4 werden die Fahrunterstützungs-Kameraeinheit und eine Anzeigevorrichtung, die ein Bild anzeigt, das durch die Fahrunterstützungs-Kameraeinheit ausgegeben wird, kombiniert, um ein Fahrunterstützungssystem auszubilden.
Die Fahrunterstützungs-Kameraeinheit in dieser Ausführungsform weist auch eine Konfiguration zum Erzeugen eines Führungslinienbildes auf, wie z. B. einen Informationsspeicherabschnitt, einen Führungslinien-Berechnungsabschnitt und einen Linienzeichnungsabschnitt; und die Fahrunterstützungs-Kameraeinheit gibt ein synthetisiertes Bild aus, in dem das Führungslinienbild auf einem Kamerabild verlagert ist.
18 ist ein Blockdiagramm zur Darstellung der Konfiguration des Fahrunterstützungssystems gemäß Ausführungsform 4. In 18 werden die gleichen Bezugszeichen identischen oder korrespondierend zu den grundlegenden Elementen in 17 vergeben und deren Beschreibung wird weggelassen. Ein Bildgebungsabschnitt 21 der Kameraeinheit 2a nimmt die Straßenoberfläche hinter einem Fahrzeug auf, während eine Gangzustandsinformation empfangen wird, in der ein Gangzustand des Fahrzeugs rückwärts ist, aus einem Fahrzeuginformations-Erfassungsabschnitts 10. Ein Kamerabild, das durch den Bildgebungsabschnitt 21 aufgenommen wird, wird an einen Kamerabild-Korrekturabschnitt 16 ausgegeben. Der Kamerabild-Korrekturabschnitt 16 korrigiert das Kamerabild wie in Ausführungsform 1 und dergleichen. Ein Bildüberlagerungsabschnitt 18 gibt ein synthetisiertes Bild aus, in dem das durch den Kamerabild-Korrekturabschnitt 16 ausgegebene Bild und das durch den Linienzeichnungsabschnitt 14 ausgegebene Führungslinienbild überlagert sind. Ein Bildsignal, das durch die Kameraeinheit 2a ausgegeben wird, wird in einen externen Eingabeanschluss einer Anzeigevorrichtung 5 eingegeben.
Die Anzeigevorrichtung 5 in dieser Ausführungsform schaltet auch in einen Modus zum Anzeigen eines Bildes um, das in den externen Eingabeanschluss eingegeben wird, während die Gangzustandsinformation, in der ein Gangzustand eines Fahrzeugs rückwärts ist, von der elektronischen Steuereinheit 3 eingegeben wird, wie im Fall der Ausführungsform 3. Das Bild zur Fahrunterstützung wird daher an der Anzeigevorrichtung 5 angezeigt, wenn ein Getriebe des Fahrzeugs gemäß dem Betrieb eines Fahrers des Fahrzeugs in einem Rückwärtszustand ist.
Bezugszeichenliste

1, 1a: Host-Einheit (Fahrunterstützungsvorrichtung)
2: Kameraeinheit (Kamera)
2a: Kameraeinheit (Fahrunterstützungs-Kameraeinheit)
3: Elektronische Steuereinheit
4: Bildausgabevorrichtung (Fahrunterstützungsvorrichtung)
5: Anzeigevorrichtung
10: Fahrzeuginformations-Erfassungsabschnitt
11: Informationsspeicherabschnitt (Führungslinien-Informationsspeicherabschnitt)
11a: Informationsspeicherabschnitt
12, 12a: Anzeigebedingungs-Bestimmungsabschnitt (Fahrzeugzustands-Beurteilungsabschnitt)
13: Führungslinien-Berechnungsabschnitt (Führungslinien-Informationserzeugungsabschnitt)
14: Linienzeichnungsabschnitt (Führungslinien-Bilderzeugungsabschnitt)
15: Kamerabild-Empfangsabschnitt
16: Kamerabild-Korrekturabschnitt (Bilderzeugungsabschnitt)
17: Bildüberlagerungsabschnitt
18: Anzeigeabschnitt (Anzeigevorrichtung)
21: Bildgebungsabschnitt (Kamera)

Claims

Fahrunterstützungsvorrichtung (1, 4), die mit einer Kamera (2) verbunden ist, die an einem Fahrzeug angebracht ist und ein Weitwinkelobjektiv aufweist zum Bildgeben einer Straßenoberfläche in einer Richtung, in der sich das Fahrzeug bewegt, und auf einer Anzeigevorrichtung (18) ein Bild auf Grundlage eines Kamerabildes anzeigt, bei dem es sich um ein Bild handelt, das durch die Kamera aufgenommen wird, wobei die Fahrunterstützungsvorrichtung umfasst: einen Informationsspeicherabschnitt (11, 11a), der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsverzerrung des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und eine Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt (10), der eine Fahrzeuginformation erfasst, einschließlich einem Gangzustand, bei dem es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; ein Fahrzeugzustands-Beurteilungsabschnitt (12), der einen Fahrzeugzustand beurteilt, bei dem es sich um einen Zustand des Fahrzeugs handelt, auf Grundlage der Fahrzeuginformation; und einen Bilderzeugungsabschnitt (16), der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands zur Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; eines Zustands zum Start der Bewegung, wobei es sich um einen Zustand handelt, bis eine vorbestimmte Bedingung während der Bewegung vom Start der Bewegung vorliegt und in dem sich das Fahrzeug bewegt; und einen Zustand während der Bewegung, wobei es sich um einen Zustand handelt in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, für den Fahrzeugzustand, und der Bilderzeugungsabschnitt ein Weitwinkelbild erzeugt, bei dem es sich um ein Bild handelt, das einen weiten Bereich sehen kann, obwohl es eine Abbildungsverzerrung aufweist, wenn der Fahrzeugzustand der Zustand der Vorbereitung zur Bewegung oder der Zustand des Starts der Bewegung ist, und ein Bild ohne Abbildungsverzerrung erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert werden, wenn der Fahrzeugzustand der Zustand während der Bewegung ist.
Fahrunterstützungsvorrichtung nach Anspruch 1, wobei der Informationsspeicherabschnitt eine Standpunktinformation speichert, die aus einer Parallelbewegungsinformation besteht, wobei es sich um eine Differenz zwischen einer Position eines Standpunkts, der an einer anderen Position von der Kamera vorliegt, und einer Anbringungsposition der Kamera handelt, und eine Rotationsinformation, wobei es sich um eine Differenz zwischen einer Richtung des Standpunkts und einer Richtung handelt, in der die Kamera angebracht ist; wobei der Fahrzeugzustands-Beurteilungsabschnitt einen Zustand der Verschiebung zum Stopp beurteilt, wobei es sich um einen Zustand handelt, der erfasst, dass eine vorbestimmte Bedingung zum Erfassen einer Verschiebung zum Stopp vorliegt, wobei erfasst wird, dass das sich bewegende Fahrzeug mit dem Stopp beginnt; und der Bilderzeugungsabschnitt ein Bild ohne Abbildungsverzerrung von einem unterschiedlichen Standpunkt erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert werden, und das von dem Standpunkt gesehen wird, wenn der Fahrzeugzustand in dem Zustand der Verschiebung zum Stopp ist.
Fahrunterstützungsvorrichtung nach Anspruch 2, wobei der Fahrzeugzustands-Beurteilungsabschnitt einen Stoppzustand beurteilt, bei dem es sich um einen Zustand handelt, in dem das Fahrzeug nach dem Zustand der Verschiebung zum Stoppen stoppt; und der Bilderzeugungsabschnitt das Bild ohne Abbildungsverzerrung von einem unterschiedlichen Standpunkt erzeugt, wenn der Fahrzeugzustand der Stoppzustand ist.
Fahrunterstützungsvorrichtung nach Anspruch 3, wobei der Fahrzeugzustands-Beurteilungsabschnitt einen erneuten Bewegungszustand beurteilt, wobei es sich um einen Zustand handelt, in dem sich das Fahrzeug nach dem Stoppzustand bewegt; und der Bilderzeugungsabschnitt das Weitwinkelbild für eine vorbestimmte Zeitperiode zum Bestätigen der Lage einer Bewegungsrichtung erzeugt, nachdem der Fahrzeugzustand der erneute Bewegungszustand wird.
Fahrunterstützungsvorrichtung nach Anspruch 4, wobei der Bilderzeugungsabschnitt das Bild ohne Abbildungsverzerrung von einem unterschiedlichen Standpunkt erzeugt, wenn der Fahrzeugzustand der erneute Bewegungszustand ist, nach der Zeitperiode zur Bestätigung der Lage der Bewegungsrichtung.
Fahrunterstützungsvorrichtung nach Anspruch 4 oder Anspruch 5, wobei der Fahrzeugzustands-Beurteilungsabschnitt den erneuten Bewegungszustand beurteilt, wenn sich das Fahrzeug bewegt, bis eine vorbestimmte Bedingung zum Bestimmen des Stopps vorliegt, und den Zustand der Vorbereitung auf eine Bewegung, den Zustand des Starts der Bewegung und den Zustand während der Bewegung beurteilt, nachdem die Bedingung zum Bestimmen des Stopps vorliegt.
Fahrunterstützungsvorrichtung nach Anspruch 1, ferner umfassend: einen Führungslinien-Informationsspeicherabschnitt (11), der eine Führungslinien-Abstandsinformation speichert, bezüglich eines Abstands von Führungslinien, die auf der Straßenoberfläche eingestellt wird, in der Richtung, in der sich das Fahrzeug bewegt, und einer Anbringungsinformation, die eine Anbringungsposition und einen Anbringungswinkel der Kamera an dem Fahrzeug anzeigt; einen Führungslinien-Informationserzeugungsabschnitt (13), der eine Führungslinieninformation an der Position eines Bildes der Führungslinien erzeugt, die auf der Straßenoberfläche angestellt werden, auf Grundlage der in dem Führungslinien-Informationsspeicherabschnitt gespeicherten Information, wobei das Bild durch den Bilderzeugungsabschnitt erzeugt wird; und einen Führungslinien-Bilderzeugungsabschnitt (14), der ein Führungslinienbild erzeugt, das die Führungslinien auf Grundlage der Führungslinieninformation repräsentiert, wobei die Anzeigevorrichtung ein Bild anzeigt, in dem das Führungslinienbild dem Bild überlagert wird, das durch den Bilderzeugungsabschnitt erzeugt wird.
Fahrunterstützungssystem umfassend: eine Kamera (2), die an einem Fahrzeug angebracht ist, und ein Weitwinkelobjektiv aufweist, zum Bildgeben einer Straßenoberfläche in einer Richtung, in der sich das Fahrzeug bewegt; und eine Fahrunterstützungsvorrichtung (4), die mit der Kamera verbunden ist und auf einer Anzeigevorrichtung (5) ein Bild anzeigt, basierend auf einem durch die Kamera aufgenommenen Kamerabild, wobei die Fahrunterstützungsvorrichtung umfasst: einen Informationsspeicherabschnitt (11), der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsverzerrung des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und eine Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt (10), der eine Fahrzeuginformation erfasst, einschließlich einem Gangzustand, bei dem es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; einen Fahrzeugzustands-Beurteilungsabschnitt (12), der einen Fahrzeugzustand beurteilt, bei dem es sich um einen Zustand des Fahrzeugs handelt, auf Grundlage der Fahrzeuginformation; und einen Bilderzeugungsabschnitt (16), der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands zur Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; ein Zustand zum Start der Bewegung, wobei es sich um einen Zustand handelt, bis eine vorbestimmte Bedingung während der Bewegung vom Start der Bewegung vorliegt und in dem sich das Fahrzeug bewegt; und ein Zustand während der Bewegung, wobei es sich um einen Zustand handelt in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, für den Fahrzeugzustand, und der Bilderzeugungsabschnitt ein Weitwinkelbild erzeugt, bei dem es sich um ein Bild handelt, das einen weiten Bereich sehen kann, obwohl es eine Abbildungsverzerrung aufweist, wenn der Fahrzeugzustand der Zustand der Vorbereitung zur Bewegung oder der Zustand des Starts der Bewegung ist, und ein Bild ohne Abbildungsverzerrung erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert werden, wenn der Fahrzeugzustand der Zustand während der Bewegung ist.
Fahrunterstützungs-Kameraeinheit (2a), die ein Bild einer Straßenoberfläche eine Richtung aufnimmt, in der sich ein Fahrzeug bewegt, und an einer Anzeigevorrichtung ein Bild auf Grundlage eines aufgenommenen Kamerabildes anzeigt, wobei die Fahrunterstützungs-Kameraeinheit umfasst: eine Kamera (21), die an dem Fahrzeug angebracht ist, und ein Weitwinkelobjektiv zur Bildgebung der Straßenoberfläche aufweist; einen Informationsspeicherabschnitt (11), der eine Information zur Erzeugung von Bildern speichert, wobei die Information eine Objektiv-Abbildungsverzerrungsinformation enthält, die eine Abbildungsinformation des Kamerabildes aufgrund einer Objektivform der Kamera anzeigt, und einer Projektionsinformation, die eine Abbildungsverzerrung des Kamerabildes durch ein Projektionssystem des Weitwinkelobjektivs anzeigt; einen Fahrzeuginformations-Erfassungsabschnitt (10), der eine Fahrzeuginformation erfasst, einschließlich eines Gangzustandes, wobei es sich um einen Zustand eines Getriebes des Fahrzeugs handelt, und eine Geschwindigkeit; einen Fahrzeugzustands-Beurteilungsabschnitt (12), der einen Fahrzeugzustand beurteilt, wobei es sich um einen Zustand des Fahrzeugs handelt, basierend auf der Fahrzeuginformation; und einen Bilderzeugungsabschnitt (16), der das Kamerabild gemäß dem Fahrzeugzustand verarbeitet, unter Verwendung der Information zur Erzeugung von Bildern, und ein Bild erzeugt, das an der Anzeigevorrichtung angezeigt wird, wobei der Fahrzeugzustands-Beurteilungsabschnitt ausgebildet ist zur Beurteilung: eines Zustands der Vorbereitung auf eine Bewegung, wobei es sich um einen Zustand handelt, in dem das Fahrzeug bewegbar ist und stoppt; einen Zustand des Starts der Bewegung, wobei es sich um einen Zustand handelt, bis eine vorbestimmte Bedingung während der Bewegung vorliegt, vom Start der Bewegung und wobei sich das Fahrzeug bewegt; und einen Zustand während der Bewegung, wobei es sich um einen Zustand handelt, in dem sich das Fahrzeug bewegt, nachdem die Bedingung während der Bewegung vorliegt, für den Fahrzeugzustand, und der Bilderzeugungsabschnitt ein Weitwinkelbild erzeugt, wobei es sich um ein Bild handelt, das einen weiten Bereich sehen kann, obwohl es eine Abbildungsverzerrung aufweist, wenn der Fahrzeugzustand der Zustand der Vorbereitung der Bewegung oder der Zustand des Starts der Bewegung ist, und ein Bild ohne Abbildungsverzerrung erzeugt, wobei es sich um ein Bild handelt, in dem die Abbildungsverzerrung aufgrund der Objektivform und die Abbildungsverzerrung durch das Projektionssystem aus dem Kamerabild eliminiert sind, wenn der Fahrzeugzustand der Zustand während der Bewegung ist.