DE112017003282T5

DE112017003282T5 - Peripherieüberwachungsvorrichtung

Info

Publication number: DE112017003282T5
Application number: DE112017003282.2T
Authority: DE
Inventors: Kazuya Watanabe
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2016-06-29
Filing date: 2017-03-14
Publication date: 2019-03-21
Also published as: US20190149774A1; CN109314767A; WO2018003193A1; US10855954B2; JP6642306B2; JP2018006921A

Abstract

Eine Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel umfasst einen Speicher, der in sich Bilddaten speichert, die durch einen Bildgeber bzw. Bildsensor erzeugt werden, der bei einem Fahrzeug angebracht ist; eine Umschaltsteuerungseinrichtung, die zwischen einer ersten Anzeigebetriebsart, in der derzeitige Bilddaten, die derzeit durch den Bildgeber bzw. Bildsensor erzeugt werden, angezeigt werden, und einer zweiten Anzeigebetriebsart, in der frühere Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor erzeugt worden sind, angezeigt werden, für eine Anzeige der Bilddaten, die in dem Speicher gespeichert sind, umschaltet; und eine Ausgabeeinrichtung, die Informationen zu einer Anzeigevorrichtung zu der Zeit eines Umschaltens zwischen der ersten Anzeigebetriebsart für ein Anzeigen der derzeitigen Bilddaten, die derzeit durch den Bildgeber bzw. Bildsensor erzeugt werden, und der zweiten Anzeigebetriebsart für ein Anzeigen der früheren Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor erzeugt worden sind, ausgibt. Die Informationen stellen einen Übergang der Bilddaten zwischen einer Zeit, wenn die früheren Bilddaten erzeugt werden, und einer Zeit dar, wenn die derzeitigen Bilddaten erzeugt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft im Allgemeinen eine Peripherieüberwachungsvorrichtung.
HINTERGRUND DER ERFINDUNG
Herkömmlicherweise ist eine Fahrzeugparkassistenztechnik vorgeschlagen worden, die Benutzern eine Fahrerunterstützung bereitstellt, indem die umliegende Umgebung eines Fahrzeugs mit einer Kamera, die bei einem Fahrzeug eingebaut ist, abgebildet wird, um Bilddaten als ein Ergebnis der Abbildung anzuzeigen.
ZITIERUNGSLISTE
Patentdruckschrift
Patentdruckschrift 1: Japanische Patentoffenlegungsschrift Nr. 2016-021653
KURZZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEM
Es gibt jedoch Raum für Verbesserungen in dem herkömmlichen Anzeigeverfahren von Bilddaten, die durch eine Kamera des Fahrzeugs erzeugt werden. Beispielsweise ist es wünschenswert, eine Anzeigebetriebsart bereitzustellen, um es einem Benutzer zu der Zeit eines Umschaltens von Bilddaten zu ermöglichen, die Situation besser zu verstehen.
MITTEL ZUR LÖSUNG DES PROBLEMS
Eine Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel umfasst einen Speicher, der in sich Bilddaten speichert, die durch einen Bildsensor erzeugt werden, der bei einem Fahrzeug angebracht ist; eine Umschaltsteuerungseinrichtung, die zwischen einer ersten Anzeigebetriebsart und einer zweiten Anzeigebetriebsart für eine Anzeige der Bilddaten, die in dem Speicher gespeichert sind, umschaltet, wobei die erste Anzeigebetriebsart eine Betriebsart ist, in der derzeitige Bilddaten angezeigt werden, die zweite Anzeigebetriebsart eine Betriebsart ist, in der frühere Bilddaten angezeigt werden, die derzeitigen Bilddaten derzeit durch den Bildsensor erzeugt werden, wobei die früheren Bilddaten zuvor durch den Bildsensor erzeugt worden sind; und eine Ausgabeeinrichtung, die Informationen zu einer Anzeigevorrichtung zu der Zeit eines Umschaltens zwischen der ersten Anzeigebetriebsart für ein Anzeigen der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, und der zweiten Anzeigebetriebsart für ein Anzeigen der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, ausgibt, wobei die Informationen einen Übergang der Bilddaten zwischen einer Zeit, wenn die früheren Bilddaten erzeugt werden, und einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, darstellen. Mit einer derartigen Konfiguration ermöglicht es beispielsweise ein Anzeigen der Informationen, die den Übergang darstellen, einem Benutzer, die Positionsbeziehung einfach zu verstehen.
In der Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel gibt zu der Zeit eines Umschaltens der Anzeige der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, zu der Anzeige der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, die Ausgabeeinrichtung Bilddaten aus, die durch den Bildsensor während einer Zeitdauer von einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, zu einer Zeit erzeugt werden, wenn die früheren Bilddaten erzeugt werden. Mit einer derartigen Konfiguration ermöglicht es beispielsweise ein Anzeigen der Bilddaten einem Benutzer, die Positionsbeziehung leicht zu verstehen.
In der Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel überlagert die Ausgabeeinrichtung für eine Anzeige der Bilddaten, die durch den Bildsensor erzeugt werden, Informationen auf die Bilddaten für eine Ausgabe, wobei die Informationen eine derzeitige Position des Fahrzeugs angeben. Mit einer derartigen Konfiguration ermöglicht es beispielsweise eine Überlagerung der Informationen, die die derzeitige Position des Fahrzeugs angeben, einem Benutzer, die Positionsbeziehung leicht zu verstehen.
In der Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel gibt zu der Zeit eines Umschaltens der Anzeige der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, auf die Anzeige der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, die Ausgabeeinrichtung Informationen zu den früheren Bilddaten aus, wobei die Informationen einen Übergang einer Bewegung des Fahrzeugs während einer Zeitdauer von einer Zeit, wenn die früheren Bilddaten erzeugt werden, zu einer Zeit darstellen, wenn die derzeitigen Bilddaten erzeugt werden. Mit einer derartigen Konfiguration kann ein Benutzer beispielsweise durch Ausgeben der Informationen, die den Übergang einer Bewegung des Fahrzeugs darstellen, leicht die Positionsbeziehung verstehen.
In der Peripherieüberwachungsvorrichtung gemäß einem Ausführungsbeispiel speichert der Speicher in sich Bilddaten, die von dem Bildsensor ausgegeben werden, der einen Bereich abbildet, der eine Straßenoberfläche in einer Fahrrichtung des Fahrzeugs umfasst, und die Umschaltsteuerungseinrichtung schaltet zwischen der ersten Anzeigebetriebsart und der zweiten Anzeigebetriebsart um, wobei die erste Anzeigebetriebsart eine Betriebsart ist, in der derzeitige Bilddaten, die die Straßenoberfläche in einer derzeitigen Fahrrichtung des Fahrzeugs umfassen, angezeigt werden, wobei die zweite Anzeigebetriebsart eine Betriebsart ist, in der frühere Bilddaten, die die Straßenoberfläche in einer früheren Fahrrichtung des Fahrzeugs umfassen, als Bilddaten angezeigt werden, die einen Unterboden des Fahrzeugs darstellen, wobei die derzeitigen Bilddaten und die früheren Bilddaten beide durch den Bildsensor erzeugt werden. Mit einer derartigen Konfiguration kann ein Benutzer beispielsweise den derzeitigen Zustand des Unterbodens des Fahrzeugs leicht verstehen.
Figurenliste

1 zeigt eine perspektivische Darstellung, die ein Beispiel eines Fahrzeugs gemäß einem ersten Ausführungsbeispiel veranschaulicht, wobei eine transparente Darstellung eines Teils des Fahrgastraums bereitgestellt wird;
2 zeigt eine Draufsicht (Vogelperspektive), die ein Beispiel des Fahrzeugs gemäß dem ersten Ausführungsbeispiel veranschaulicht;
3 zeigt ein Blockschaltbild, das ein Beispiel eines Peripherieüberwachungssystems in dem Fahrzeug gemäß dem ersten Ausführungsbeispiel veranschaulicht;
4 zeigt ein Blockschaltbild, das eine Konfiguration einer Peripherieüberwachungseinheit, die in einer ECU implementiert ist, gemäß dem ersten Ausführungsbeispiel veranschaulicht;
5 zeigt ein Schaubild, das eine Abbildungsregion veranschaulicht, die durch einen Bildgeber bzw. Bildsensor in dem Fahrzeug gemäß dem ersten Ausführungsbeispiel aufgenommen wird;
6 zeigt ein Schaubild, das einen Aufbau eines Ringspeichers gemäß dem ersten Ausführungsbeispiel veranschaulicht;
7 zeigt ein Schaubild, das einen beispielhaften Bildschirm in einer Derzeitiges-Bild-Anzeigebetriebsart veranschaulicht, der durch eine Anzeigeverarbeitungseinrichtung gemäß dem ersten Ausführungsbeispiel anzuzeigen ist;
8 zeigt ein Schaubild, das einen beispielhaften Bildschirm in einer Früheres-Bild-Anzeigebetriebsart veranschaulicht, der durch die Anzeigeverarbeitungseinrichtung gemäß dem ersten Ausführungsbeispiel anzuzeigen ist;
9 zeigt ein Schaubild zur Erklärung eines Übergangs der Bilddaten, die durch eine Bildauswahleinrichtung ausgewählt werden, gemäß dem ersten Ausführungsbeispiel;
10 zeigt ein Schaubild, das einen Übergang des Anzeigebereichs, der zu einer Anzeigevorrichtung durch eine Ausgabeeinrichtung ausgegeben wird, gemäß dem ersten Ausführungsbeispiel veranschaulicht;
11 zeigt ein Flussdiagramm, das die Verarbeitungssequenz zur Speicherung von Bilddaten in der Peripherieüberwachungseinheit gemäß dem ersten Ausführungsbeispiel veranschaulicht;
12 zeigt ein Flussdiagramm, das die Anzeigeverarbeitungssequenz der Peripherieüberwachungseinheit gemäß dem ersten Ausführungsbeispiel veranschaulicht;
13 zeigt ein Flussdiagramm, das die Verarbeitungssequenz zum Anzeigen eines Bildschirms in der Früheres-Bild-Anzeigebetriebsart in der Peripherieüberwachungseinheit gemäß dem ersten Ausführungsbeispiel veranschaulicht;
14 zeigt ein Schaubild, das einen Übergang der Anzeigebereiche, die zu der Anzeigevorrichtung durch eine Ausgabeeinrichtung ausgegeben werden, gemäß einem zweiten Ausführungsbeispiel veranschaulicht; und
15 zeigt ein Flussdiagramm, das die Verarbeitungssequenz zum Anzeigen eines Bildschirms in der Früheres-Bild-Anzeigebetriebsart in einer Peripherieüberwachungseinheit gemäß einem zweiten Ausführungsbeispiel veranschaulicht.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Beispielhafte Ausführungsbeispiele und eine nachstehende Modifikation umfassen gleiche oder ähnliche Elemente. Nachstehend werden somit die gleichen oder ähnliche Elemente durch gemeinsame Bezugszeichen bezeichnet, wobei redundante Erklärungen teilweise weggelassen werden. Teile eines Ausführungsbeispiels oder einer Modifikation können mit entsprechenden Teilen eines anderen Ausführungsbeispiels oder einer anderen Modifikation ersetzt werden. Die Konfigurationen und die Positionen der Teile eines Ausführungsbeispiels oder der Modifikation sind die gleichen wie die in einem anderen Ausführungsbeispiel oder einer anderen Modifikation, solange es nicht explizit auf andere Weise genannt wird.
Erstes Ausführungsbeispiel
1 zeigt eine teilweise transparente perspektivische Darstellung, die ein Beispiel eines Innenraums 2a eines Fahrzeugs 1 gemäß dem ersten Ausführungsbeispiel veranschaulicht. Das Fahrzeug 1 kann beispielsweise ein Automobil (Verbrennungskraftmaschinenautomobil) sein, das eine (nicht veranschaulichte) Verbrennungskraftmaschine als eine Antriebsquelle umfasst, oder es kann ein Automobil (wie beispielsweise ein elektrisches Fahrzeug und ein Brennstoffzellenautomobil) sein, das einen (nicht veranschaulichten) elektrischen Motor als eine Antriebsquelle umfasst. Das Fahrzeug 1 kann ein Automobil (Hybridautomobil) sein, das beide hiervon als eine Antriebsquelle umfasst. Das Fahrzeug 1 kann verschiedene Getriebe und verschiedene Vorrichtungen (wie beispielsweise Systeme und Bauelemente) umfassen, die für eine Ansteuerung der Verbrennungskraftmaschine oder des elektrischen Motors erforderlich sind. Ein Typ, die Anzahl und eine Auslegung von Vorrichtungen, die das Antreiben von Rädern 3 des Fahrzeugs 1 zur Folge haben, können auf verschiedenerlei Weise eingestellt werden.
Wie es in 1 veranschaulicht ist, definiert ein Fahrzeugkörper 2 einen Innenraum 2a, in dem ein (nicht veranschaulichter) Insasse fährt. In dem Innenraum 2a sind eine Lenkung 4, eine Beschleunigungsbetätigungseinrichtung 5, eine Bremsbetätigungseinrichtung 6, eine Getriebebetätigungseinrichtung 7 angeordnet, während ein Fahrer als ein Insasse sich einem Sitz 2b gegenübersieht. Die Lenkung 4 ist beispielsweise ein Lenkrad, das von einer Instrumententafel (einem Armaturenbrett) 24 herausragt. Die Beschleunigungsbetätigungseinrichtung 5 ist beispielweise ein Beschleunigungseinrichtungspedal bzw. Gaspedal, das zu den Füßen des Fahrers angeordnet ist. Die Bremsbetätigungseinrichtung 6 ist beispielsweise ein Bremspedal, das zu den Füßen des Fahrers angeordnet ist. Die Getriebebetätigungseinrichtung 7 ist beispielsweise ein Schalthebel, der aus einer Mittelkonsole herausragt. Die Lenkung 4, die Beschleunigungsbetätigungseinrichtung 5, die Bremsbetätigungseinrichtung 6 und die Getriebebetätigungseinrichtung 7 sind nicht hierauf begrenzt.
In dem Innenraum 2a sind eine Anzeigevorrichtung 8 (eine Anzeigeausgabeeinrichtung) und eine Audioausgabevorrichtung 9 (Audioausgabeeinrichtung) angeordnet. Die Anzeigevorrichtung 8 ist beispielsweise eine Flüssigkristallanzeige (LCD) und eine organische Elektrolumineszenzanzeige (OELD). Die Audioausgabevorrichtung 9 ist beispielsweise ein Lautsprecher. Gemäß dem ersten Ausführungsbeispiel ist die Anzeigevorrichtung 8 beispielsweise durch eine transparente Bedienungseingabeeinrichtung 10 (wie beispielsweise ein Berührungsfeld) bedeckt. Der Insasse kann ein sich bewegendes Bild (Bild), das auf dem Bildschirm der Anzeigevorrichtung 8 angezeigt wird, über die Bedienungseingabeeinrichtung 10 betrachten. Der Insasse kann Bedienungseingaben (Befehlseingaben) durch ein Bedienen bzw. Betätigen der Bedienungseingabeeinrichtung 10 ausführen, was ein Berühren, Drücken oder eine Bewegung mit seinem oder ihrem Finger bei einer Position umfasst, die dem sich bewegenden Bild (Bild) entspricht, das auf dem Bildschirm der Anzeigevorrichtung 8 angezeigt wird. In dem Ausführungsbeispiel sind als ein Beispiel die Anzeigevorrichtung 8, die Audioausgabevorrichtung 9 und die Bedienungseingabeeinrichtung 10 beispielsweise auf einer Monitorvorrichtung bzw. Überwachungsvorrichtung 11 angeordnet, die bei der Mitte des Armaturenbretts 24 in einer Fahrzeugbreitenrichtung (laterale Richtung) angeordnet ist. Die Monitorvorrichtung 11 umfasst (nicht veranschaulichte) Bedienungselemente bzw. Betätigungselemente, wie beispielsweise einen Schalter, eine Tastatur, einen Joystick und eine Drucktaste. Alternativ hierzu kann eine (nicht veranschaulichte) Audioausgabevorrichtung bei einer zu der Monitorvorrichtung 11 unterschiedlichen Position in dem Innenraum 2a angeordnet sein. Eine andere Audioausgabevorrichtung, die von der Audioausgabevorrichtung 9 der Monitorvorrichtung 11 unterschiedlich ist, kann ein Audiosignal ausgeben. In dem Ausführungsbeispiel wird beispielsweise die Monitorvorrichtung 11 als ein Navigationssystem und als ein Audiosystem verwendet. Eine Monitorvorrichtung für eine Peripherieüberwachungsvorrichtung kann getrennt von derartigen Systemen bereitgestellt sein.
Wie es in den 1 und 2 veranschaulicht ist, ist in dem Ausführungsbeispiel das Fahrzeug 1 als ein Beispiel ein Vier-Rad-Fahrzeug (ein Vier-Rad-Automobil), wobei es zwei rechte und linke Vorderräder 3F und zwei rechte und linke Hinterräder 3R umfasst. Die Reifenwinkel der Vorderräder 3F ändern sich (lenken) beispielsweise zusammen mit der Betätigung der Lenkung 4 (des Lenkrads). Ein Lenksystem 13 ist beispielsweise ein elektrisches Servolenksystem oder ein Steer-by-Wire- (SBW-)System. Das Lenksystem 13 steuert eine Betätigungseinrichtung 12a an, um ein Drehmoment (Unterstützungsdrehmoment) zu der Lenkung 4 für ein Unterstützen einer Lenkkraft hinzuzufügen, um die Vorderräder 3F zu lenken. In einem anderen Ausführungsbeispiel kann das Lenksystem 13 die Vorderräder und die Hinterräder unabhängig oder miteinander koordiniert lenken. Die zwei Vorderräder 3F werden im Wesentlichen parallel in der gleichen Phase (in der gleichen Phase, in der gleichen Lenkrichtung, in der gleichen Drehrichtung) gelenkt, wobei die zwei Hinterräder 3R im Wesentlichen parallel in der gleichen Phase als ein Beispiel gelenkt werden. Die Antriebsräder können auf verschiedene Weise eingestellt sein.
In dem Ausführungsbeispiel ist als ein Beispiel, wie es in 2 veranschaulicht ist, das Fahrzeug 1 (der Körper 2) mit einer Vielzahl von (in dem Ausführungsbeispiel vier als ein Beispiel) Bildgebern bzw. Bildsensoren 16 (16a bis 16d) versehen. Die Bildgeber bzw. Bildsensoren 16 sind digitale Kameras, die einen Bildsensor, wie beispielsweise eine Ladungskopplungsvorrichtung (CCD) oder einen komplementären Metalloxidhalbleiter-(CMOS)-Bildsensor (CIS), umfassen. Die Bildgeber bzw. Bildsensoren 16 können Bilddaten (Bewegungsbilddaten, Rahmendaten) bei einer bestimmten Bildrate ausgeben. Die Bildgeber bzw. Bildsensoren 16 umfassen jeweils eine Weitwinkellinse oder eine Fischaugenlinse und können einen horizontalen Bereich (Sehwinkel) von beispielsweise 140° bis 190° aufnehmen. Die optischen Achsen der Bildgeber bzw. Bildsensoren 16 werden nach unten gerichtet (vertikal oder schräg nach unten gerichtet) eingestellt. Somit geben die Bildgeber bzw. Bildsensoren 15 sequentiell Bilddaten einer Außenumgebung um das Fahrzeug 1 herum aus, einschließlich einer Straßenoberfläche, auf der das Fahrzeug 1 bewegbar ist.
In dem Ausführungsbeispiel ist als ein Beispiel der Bildgeber bzw. Bildsensor 16a bei einem vorderen Ende 2c (einem Ende in einer Draufsicht) des Körpers 2 (auf der vorderen Seite in der Fahrzeuglängsrichtung) auf der Frontstoßstange angeordnet. Ein Bildgeber bzw. Bildsensor 16b ist bei einem linksseitigen Ende 2d des Körpers 2 (auf der linken Seite in der Fahrzeugbreitenrichtung) bei einem linken Seitenspiegel 2g (einem Vorsprung) angeordnet. Ein Bildgeber bzw. Bildsensor 16c ist bei einem hinteren Ende 2e des Körpers 2 (die Heckseite in der Fahrzeuglängsrichtung) auf einer unteren Wand einer hinteren Kofferraumklappe 2h angeordnet. Der Bildgeber bzw. Bildsensor 16d ist bei einem rechtsseitigen Ende 2f des Körpers 2 (der rechten Seite in der Fahrzeugbreitenrichtung) bei dem rechten Seitenspiegel 2g (einem Vorsprung) angeordnet. Das Ausführungsbeispiel soll jedoch nicht einschränken, wie die Kameras bei dem Fahrzeug zu installieren sind, wobei die Kameras in beliebiger Weise installiert sein können, solange die Kameras Bilddaten, die in Bezug auf das Fahrzeug 1 nach vorne, seitlich und nach hinten gerichtet sind, erzeugen können.
Eine ECU 24 kann eine Berechnung und Bildverarbeitung bei den Bilddaten, die durch die Bildgeber bzw. Bildsensoren 16 erzeugt werden, ausführen und die Bilddaten, die der Bildverarbeitung unterzogen worden sind, auf der Anzeigevorrichtung 8 anzeigen.
3 zeigte ein Blockschaltbild zur Erklärung der Konfiguration des Fahrzeugs 1 gemäß dem Ausführungsbeispiel. Wie es in 3 veranschaulicht ist, umfasst das Fahrzeug 1 ferner das Lenksystem 13, ein Bremssystem 18, einen Lenkwinkelsensor 19, einen Beschleunigungseinrichtungssensor 20, einen Schaltsensor 21, einen Raddrehzahlsensor 22, ein fahrzeuginternes Netzwerk 23 und die ECU 24 (elektronische Steuerungseinheit). Die Monitorvorrichtung 11, das Lenksystem 13, die Bildgeber bzw. Bildsensoren 16, das Bremssystem 18, der Lenkwinkelsensor 19, der Beschleunigungseinrichtungssensor 20, der Schaltsensor 21, der Raddrehzahlsensor 22 und die ECU 24 fungieren als ein Peripherieüberwachungssystem (eine Peripherieüberwachungsvorrichtung).
Die Monitorvorrichtung 11, das Lenksystem 13, das Bremssystem 18, der Lenkwinkelsensor 19, der Beschleunigungseinrichtungssensor 20, der Schaltsensor 21, der Raddrehzahlsensor 22 und die ECU sind elektrisch durch ein fahrzeuginternes Netzwerk 23 als eine elektrische Kommunikationsleitung verbunden. Beispielsweise ist das fahrzeuginterne Netzwerk 23 ein Controller-Area-Netzwerk (CAN).
In dem Ausführungsbeispiel ist das Fahrzeug 1 mit zwei Beschleunigungssensoren 26 (26a, 26b) versehen. Das Ausführungsbeispiel soll jedoch die Beschleunigungssensoren nicht hierauf begrenzen, wobei der Beschleunigungssensor ein beliebiger Sensor sein kann, der in der Lage ist, die Beschleunigung des Fahrzeugs 1 in der lateralen bzw. seitlichen Richtung zu erfassen. In dem Ausführungsbeispiel werden Beschleunigungen in den Längsrichtungen und in den horizontalen Richtungen hergeleitet.
Das Lenksystem 13 ist beispielsweise ein elektrisches Servolenksystem oder ein Steer-by-Wire-(SBW-)System. Das Lenksystem 13 umfasst eine Betätigungseinrichtung 13a und einen Drehmomentsensor 13b. Das Lenksystem 13 wird durch die ECU 24 beispielsweise gesteuert und veranlasst die Betätigungseinrichtung 13a zu arbeiten. Der Drehmomentsensor 13b überträgt das Drehmoment zu der ECU 24.
Das Bremssystem 18 umfasst eine Betätigungseinrichtung 18a und einen Bremssensor 18b. Das Bremssystem 18 legt eine Bremskraft an die Räder 3 über die Betätigungseinrichtung 18a an. Der Bremssensor 18b überträgt beispielsweise die Position des Bremspedals als einen bewegbaren Teil der Bremsbetätigungseinrichtung 6 zu der ECU 24.
Der Lenkwinkelsensor 19 ist ein Sensor, der beispielsweise den Lenkbetrag der Lenkung 4, wie eines Lenkrads, erfasst. Der Lenkwinkelsensor 19 überträgt Lenkwinkelinformationen, wie beispielsweise den Lenkbetrag der Lenkung 4, die durch einen Fahrer gelenkt wird, oder den Lenkbetrag der Räder 3 zu der Zeit einer automatischen Lenkung zu der ECU 24.
Der Beschleunigungseinrichtungssensor 20 ist ein Versatzsensor, der beispielsweise die Position des Beschleunigungspedals bzw. Gaspedals als einen bewegbaren Teil der Beschleunigungsbetätigungseinrichtung 5 erfasst. Der Beschleunigungseinrichtungssensor 20 überträgt die Position der Beschleunigungsbetätigungseinrichtung 5 zu der ECU 24.
Der Schaltsensor 21 ist ein Sensor, der beispielsweise die Position eines bewegbaren Teils der Getriebebetätigungseinrichtung 7 erfasst und die Position des bewegbaren Teils der Getriebebetätigungseinrichtung 7 zu der ECU 24 als Schaltinformationen überträgt.
Der Raddrehzahlsensor 22 ist ein Sensor, der den Betrag einer Drehung oder die Drehzahl pro Einheitszeit der Räder 3 erfasst. Der Raddrehzahlsensor 22 überträgt einen Raddrehzahlimpulszählwert, der die erfasste Drehzahl angibt, zu der ECU 24 als Raddrehzahlinformationen.
Die ECU 24 kann Ergebnisse der Erfassung von dem Drehmomentsensor 13b, dem Bremssensor 18b, dem Lenkwinkelsensor 19, dem Beschleunigungseinrichtungssensor 20, dem Schaltsensor 21, dem Raddrehzahlsensor 22 und den Beschleunigungssensoren 26 sowie Befehlssignale (Steuerungssignale, Bedienungssignale bzw. Betätigungssignale, Eingangssignale, Daten) von der Bedienungseingabeeinrichtung 10 oder dergleichen über das fahrzeuginterne Netzwerk 23 empfangen.
Die ECU 24 empfängt Bilddaten von den Bildgebern bzw. Bildsensoren 16. Die ECU 24 kann die Bilddaten von den Bildgebern bzw. Bildsensoren 16 über das fahrzeuginterne Netzwerk 23 empfangen. Die ECU 24 ist beispielsweise ein Computer. Die ECU 24 umfasst eine zentrale Verarbeitungseinheit (CPU) 24a, einen Nurlesespeicher (ROM) 24b, einen Speicher mit wahlfreiem Zugriff (RAM) 24c, eine Anzeigesteuerungseinrichtung 24d, eine Audiosteuerungseinrichtung 24e und ein Halbleiterlaufwerk bzw. ein Solid-State-Drive (SSD) 24f. Die CPU 24a, das ROM 24b und das RAM 24c können in dem gleichen Gehäuse integriert sein.
Die CPU 24a liest ein Computerprogramm aus einer nichtflüchtigen Speichervorrichtung, wie beispielsweise dem ROM 24b, und führt verschiedene Typen von Betrieben und Steuerungen dem Computerprogramm folgend aus. Beispielsweise führt die CPU 24a eine Bildverarbeitung bei dem Bild, das auf der Anzeigevorrichtung 8 anzuzeigen ist, aus.
Das ROM 24b speichert in sich Computerprogramme und Parameter, die für eine Ausführung der Computerprogramme erforderlich sind. Das RAM 24c speichert zeitweilig in sich verschiedene Typen von Daten, die in den Betrieben der CPU 24a verwendet werden. Die Anzeigesteuerungseinrichtung 24d führt hauptsächlich unter den Betrieben, die durch die ECU 24 ausgeführt werden, eine Verarbeitung, wie beispielsweise ein Beschaffen von Bildern von den Bildgebern bzw. Bildsensoren 16 und ein Ausgeben hiervon zu der CPU 24a, sowie eine Datenumwandlung eines anzuzeigenden Bilds aus, das von der CPU 24a beschafft worden ist und auf der Anzeigevorrichtung 8 anzuzeigen ist. Unter den Betrieben, die durch die ECU 24 ausgeführt werden, verarbeitet die Audiosteuerungseinrichtung 24e hauptsächlich ein Audiosignal, das von der CPU 24a beschafft worden ist und zu der Audioausgabevorrichtung 9 auszugeben ist. Das SSD 24f ist ein wiederbeschreibbarer nichtflüchtiger Speicher und behält Daten, die von der CPU 24a beschafft werden, auch bei einem Ausschalten der ECU 24.
4 zeigt ein Blockschaltbild, das eine Konfiguration einer Peripherieüberwachungseinheit 400 veranschaulicht, die bei der ECU 24 gemäß dem Ausführungsbeispiel implementiert wird. Eine Beschaffungseinrichtung 401, eine Winkelberechnungseinrichtung 402, eine Speicherverarbeitungseinrichtung 403, eine Empfangseinrichtung 405, eine Umschaltsteuerungseinrichtung 406 und eine Anzeigeverarbeitungseinrichtung 407, die in 4 veranschaulicht sind, werden implementiert, indem die CPU 24a, die als die ECU 24 bereitgestellt ist, die in 3 veranschaulicht ist, veranlasst wird, eine Software auszuführen, die in dem ROM 24b (einem computerlesbaren Aufzeichnungsmedium) gespeichert ist. Die Software (das Computerprogramm) kann über ein anderes computerlesbares Aufzeichnungsmedium bereitgestellt werden. Die Peripherieüberwachungseinheit 400 implementiert ebenso einen Ringspeicher 404 bei dem RAM 24c.
5 zeigt ein Schaubild, das eine Abbildungsregion veranschaulicht, die durch den Bildgeber bzw. den Bildsensor 16a in dem Fahrzeug 1 gemäß dem Ausführungsbeispiel aufgenommen wird. Wie es in 5 veranschaulicht ist, nimmt der Bildgeber bzw. Bildsensor 16a ein Bild eines Bereichs, der die Straßenoberfläche in der Fahrrichtung des Fahrzeugs 1 abdeckt, und eines Bereichs über der Straßenoberfläche (in der Richtung, die zu der Schwerkraftrichtung entgegengesetzt ist) auf, wobei der Bereich zumindest den Horizont umfasst. Eine Straßenoberfläche 501 nahe den Vorderrädern 3F des Fahrzeugs 1 ist jedoch in einer Abbildungsregion 502, die durch den Bildgeber bzw. Bildsensor 16a aufgenommen wird, nicht beinhaltet. Es ist ebenso schwierig, dass ein Bereich unter dem Boden nahe den Fronträdern 3F in der Abbildungsregion beinhaltet ist, beispielsweise aufgrund der Position der Stoßstange in dem Fahrzeug 1 (aufgrund des Aufbaus des Fahrzeugs 1).
Somit ist es, während derzeit erzeugte Bilddaten betrachtet werden, für einen Benutzer schwierig zu sehen, ob es irgendein Hindernis nahe den Vorderrädern 3F des Fahrzeugs 1 gibt. In Anbetracht dessen kann die Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16a erzeugt worden sind, in Reaktion auf eine Anforderung des Benutzers anzeigen. Das heißt, die Bilddaten, die zuvor erzeugt worden sind, beziehen sich auf Bilddaten, die weiter hinten als die derzeitige Position des Fahrzeugs 1 erzeugt werden.
Beispielsweise ist es für die Peripherieüberwachungseinheit 400 möglich, einem Benutzer Bilddaten einer Abbildungsregion 503 als Bilddaten zu präsentieren, die durch den Bildgeber bzw. Bildsensor 16a bei einer Position hinter dem Fahrzeug 1 erzeugt werden. Da die Straßenoberfläche 501 in der Abbildungsregion 503 beinhaltet ist, kann ein Benutzer die Straßenoberfläche 501 nahe den Vorderrädern 3F überprüfen. Auf diese Weise kann der Benutzer bei einer Überprüfung des Zustands der Straßenoberfläche 501 fahren, was Belastungen verringert, die ein Fahren mit sich bringt. Wieder unter Bezugnahme auf 4 wird nachstehend eine Konfiguration der Peripherieüberwachungseinheit 400 erklärt.
Die Beschaffungseinrichtung 401 beschafft verschiedene Typen von Informationen von verschiedenen Sensoren des Fahrzeugs 1. Die Beschaffungseinrichtung 401 gemäß dem Ausführungsbeispiel beschafft die Bilddaten von dem Bildgeber bzw. Bildsensor 16a bis 16d des Fahrzeugs 1, der die Umgebung des Fahrzeugs 1 abbildet, und Beschleunigungsdaten von dem Beschleunigungssensor 26a, 26b des Fahrzeugs 1. Die Beschaffungseinrichtung 401 beschafft ebenso die Lenkwinkelinformationen von dem Lenkwinkelsensor 19 und die Raddrehzahlinformationen von dem Raddrehzahlsensor 22.
Die Beschaffungseinrichtung 401 verknüpft ebenso Bilddaten, deren Abbildungszeit und eine Zeit, zu der eine Beschleunigung erfasst wird, im Wesentlichen miteinander übereinstimmen, die Lenkwinkelinformationen und die Raddrehzahlinformationen miteinander.
Die Winkelberechnungseinrichtung 402 berechnet einen Neigungswinkel (einen Nickwinkel und einen Rollwinkel) des Fahrzeugs 1 auf der Grundlage der Beschleunigungsdaten, die durch die Beschleunigungssensoren 26a, 26b beschafft werden. Der Nickwinkel ist ein Winkel, der eine Neigung des Fahrzeugs 1 in Bezug auf die Seitenachse angibt, und der Rollwinkel ist ein Winkel, der eine Neigung des Fahrzeugs 1 in Bezug auf die Längsachse angibt.
Die Winkelberechnungseinrichtung 402 verknüpft ebenso den Rollwinkel und den Nickwinkel, die aus Beschleunigungsdaten berechnet werden, mit den Bilddaten, die mit diesen Beschleunigungsdaten verknüpft sind. Dies kann es dem Benutzer ermöglichen, den Rollwinkel und den Nickwinkel des Fahrzeugs 1 zu der Zeit, zu der die Bilddaten erzeugt werden, zu erkennen.
Die Speicherverarbeitungseinrichtung 403 umfasst eine Korrektureinrichtung 411, eine Positionsschätzeinrichtung 412 und eine Speichereinheit 413, wobei sie die Bilddaten, die auf der Anzeigevorrichtung 8 anzuzeigen sind, erzeugt und speichert.
Die Korrektureinrichtung 411 wendet eine Drehungskorrektur bei Bilddaten an, die ein Bild um die Vorderseite (Fahrrichtung) des Fahrzeugs 1 herum umfassen, die durch den Bildgeber bzw. Bildsensor 16a erzeugt werden.
Die Korrektureinrichtung 411 gemäß dem Ausführungsbeispiel wendet eine Drehungskorrektur bei Bilddaten auf der Grundlage des Rollwinkels, der mit den Bilddaten verknüpft ist, unter Verwendung der Koordinaten der Position bei der Mitte der Linse, mit der der Bildgeber bzw. Bildsensor 16a die Bilddaten erzeugt hat, als einen Ursprungspunkt eines Anzeigebereichs der Bilddaten an. Die Daten, die für die Drehungskorrektur anzuwenden sind, sind nicht auf Bilddaten begrenzt, die durch den Bildgeber bzw. Bildsensor 16a erzeugt werden, wobei sie Bilddaten sein können, die ein Bild um die Heckseite des Fahrzeugs 1 herum, das durch den Bildgeber bzw. Bildsensor 16c erzeugt wird, beispielsweise umfassen.
Die Korrektureinrichtung 411 korrigiert ebenso die Bilddaten, indem ein Bereich, der die Stoßstange des Fahrzeugs 1 umfasst, aus den Bilddaten ausgeschnitten wird, die ein Bild um die Vorderseite (in der Fahrrichtung) des Fahrzeugs 1 herum umfassen, das durch den Bildgeber bzw. Bildsensor 16a erzeugt wird.
Die Positionsschätzeinrichtung 412 berechnet den Bewegungsbetrag des Fahrzeugs 1 aus der Position, bei der ein vorangegangenes Bild erzeugt worden ist, auf der Grundlage der Beschleunigungsdaten, der Lenkwinkelinformationen und der Raddrehzahlinformationen und schätzt die derzeitige Position des Fahrzeugs 1.
Die Positionsschätzeinrichtung 412 kann ebenso die derzeitige Position des Fahrzeugs 1 schätzen, indem der Bewegungsbetrag des Fahrzeugs 1 aus dem optischen Fluss, der auf den Bilddaten beruht, berechnet wird. Wenn ein Benutzer beabsichtigt, den Unterbodenzustand des Fahrzeugs 1, beispielsweise den Zustand nahe den Vorderrädern 3F des Fahrzeugs 1, zu verstehen, fährt der Benutzer oftmals im Gelände. Bei dem Geländefahren können die Räder 3 beispielsweise aufgrund einer rauen Straßenoberfläche beispielsweise rutschen. In einem derartigen Fall ist es sehr wahrscheinlich, dass ein geschätzter Bewegungsbetrag des Fahrzeugs 1, der auf der Drehzahl der Räder 3 beruht, einen Fehler umfasst. In einem derartigen Fall ermöglicht ein Schätzen des Bewegungsbetrags des Fahrzeugs 1 und der Position des Fahrzeugs 1 auf der Grundlage des optischen Flusses eine Verbesserung in der Genauigkeit der Schätzung der derzeitigen Position.
Die Speichereinheit 413 speichert die durch die Korrektureinrichtung 411 korrigierten Bilddaten in dem Ringspeicher 404 zusammen mit den Positionsinformationen des Fahrzeugs 1. Ein Intervall, bei dem Daten gespeichert werden, ist nicht auf ein bestimmtes Intervall begrenzt, wobei die Daten beispielsweise alle 0,1 Meter gespeichert werden können. In dem Ausführungsbeispiel werden, um den Unterboden des Fahrzeugs 1 anzuzeigen, frühere bzw. vergangene Bilddaten angezeigt. In dem Ausführungsbeispiel werden, wenn die Bilddaten auf die früheren Bilddaten geschaltet werden, Bilddaten, die während der Zeitdauer zwischen einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, und einer Zeit erzeugt werden, wenn die früheren Bilddaten erzeugt werden, sequentiell als eine Animation angezeigt. Auf diese Weise wird ein Video, das eine Bewegung des Fahrzeugs 1, die die Route zurückgeht, auf der das Fahrzeug 1 vorangefahren ist, angezeigt, wobei von den derzeitigen Bilddaten aus begonnen wird. Auf diese Weise kann ein Benutzer verstehen, welcher Bereich auf der Anzeigevorrichtung 8 angezeigt wird. In dem Ausführungsbeispiel werden Bilddaten in Einheiten von 0,1 Metern gespeichert, wobei aber dieses Speicherintervall ein beliebiges Intervall sein kann, bei dem die Animation ruckfrei angezeigt wird.
Der Ringspeicher 404 speichert in sich die derzeitigen Bilddaten, die von dem Bildgeber bzw. Bildsensor 16a ausgegeben werden, der den Bereich abbildet, der die Straßenoberfläche in der Fahrrichtung des Fahrzeugs umfasst, in Verbindung mit den Informationen zu der Zeit einer Erzeugung der Bilddaten. 6 zeigt ein Schaubild, das eine Konfiguration des Ringspeichers 404 veranschaulicht. Wie es in 6 veranschaulicht ist, speichert der Ringspeicher 404 in sich Bilddaten sowie eine Neigung (Fahrrichtung) und die Positionsinformationen des Fahrzeugs 1 zu der Zeit, zu der die Bilddaten erzeugt werden, in Verbindung miteinander. Die Bilddaten, die in dem Ringspeicher 404 gespeichert werden, sind nicht auf die Bilddaten begrenzt, die von dem Bildgeber bzw. Bildsensor 16a ausgegeben werden. Wenn das Fahrzeug 1 sich rückwärts bewegt, können die Bilddaten, die von dem Bildgeber bzw. Bildsensor 16c ausgegeben werden, in Verbindung mit den Informationen der Zeit, zu der das Bild aufgenommen wird, gespeichert werden. Auf diese Art und Weise kann der Unterbodenzustand angezeigt werden, auch während das Fahrzeug 1 sich rückwärts bewegt.
Wie es in 6 veranschaulicht ist, ist der Ringspeicher 404 ein Pufferspeicher, der logisch in einer Ringform angeordnet ist. In dem Ringspeicher 404 wird in Reaktion auf eine Speicheranforderung von der Speichereinheit 413 ein am weitesten zurückliegend aktualisierter Bereich mit den Bilddaten überschrieben, für die eine Speicherung angefordert worden ist.
Die Empfangseinrichtung 405 empfängt Befehlssignale (Steuerungssignale) beispielsweise von der Bedienungseingabeeinrichtung 10. Unter diesen Befehlssignalen empfängt die Empfangseinrichtung 405 gemäß dem Ausführungsbeispiel eine Umschaltbetätigung, um zu bestimmen, welche der derzeitigen Bilddaten, die durch den Bildgeber bzw. Bildsensor 16a erzeugt werden, und der früheren Bilddaten, die in dem Ringspeicher 404 gespeichert sind (das heißt Bilddaten für eine Unterbodenanzeige des Fahrzeugs 1), auf der Anzeigevorrichtung 8 anzuzeigen sind.
Die Umschaltsteuerungseinrichtung 406 schaltet eine Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) auf eine Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart) um, wenn die Bilddaten, die in dem Ringspeicher 404 gespeichert sind, anzuzeigen sind. Die Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) ist eine Betriebsart zum Anzeigen der derzeit durch den Bildgeber bzw. Bildsensor 16 erzeugten Bilddaten, die eine Straßenoberfläche in der Richtung umfassen, in der das Fahrzeug 1 derzeit fährt. Die Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart) ist eine Betriebsart für ein Anzeigen von Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16 erzeugt worden sind und eine Straßenoberfläche in der Richtung umfassen, in der das Fahrzeug in der Vergangenheit gefahren ist, als Bilddaten, die den Unterbodenzustand des Fahrzeugs 1 darstellen.
Die Anzeigeverarbeitungseinrichtung 407 umfasst eine Bildauswahleinrichtung 421, eine Überlagerungseinrichtung 422 und eine Ausgabeeinrichtung 423, wobei sie einen Anzeigebetrieb bei der Anzeigevorrichtung 8 auf der Grundlage einer Betätigung, die durch die Empfangseinrichtung 405 empfangen wird, ausführt.
7 zeigt ein Schaubild, das einen beispielhaften Bildschirm in der Derzeitiges-Bild-Anzeigebetriebsart veranschaulicht, der durch die Anzeigeverarbeitungseinrichtung 407 anzuzeigen ist. Wie es in 7 veranschaulicht ist, präsentiert der beispielhafte Bildschirm in der Derzeitiges-Bild-Anzeigebetriebsart zusätzlich zu den Bilddaten 701, die durch den Bildgeber bzw. Bildsensor 16a erzeugt werden, Bilddaten 702, die durch den Bildgeber bzw. Bildsensor 16d nahe dem rechten Vorderrad 3F des Fahrzeugs 1 erzeugt werden, und Bilddaten 703, die durch den Bildgeber bzw. Bildsensor 16b nahe dem linken Vorderrad 3F des Fahrzeugs 1 erzeugt werden. Des Weiteren zeigt ein Anzeigebereich 704 Informationen an, die erkennbar den Nickwinkel und den Rollwinkel des Fahrzeugs 1 darstellen. Anders ausgedrückt wird der Rollwinkel durch ein Symbol 711 dargestellt, der das Fahrzeug 1 angibt, wobei der Nickwinkel durch eine Entfernung zwischen einer Mittellinie, die durch das Symbol 711 hindurchgeht, und dem Horizont dargestellt wird. In dem Ausführungsbeispiel wird eine derartige Anzeigebetriebsart verwendet, um den Rollwinkel und den Nickwinkel in einer erkennbaren Art und Weise zu präsentieren, wobei aber das Ausführungsbeispiel nicht hierauf begrenzt ist, wobei die Anzeigebetriebsart eine beliebige andere Anzeigebetriebsart sein kann.
Die Bilddaten 701 zeigen ebenso Trajektorien 751, 752 an, die die Fahrrichtungen der Vorderräder 3F auf der Grundlage des Lenkwinkels angeben, der von dem Lenkwinkelsensor 19 beschafft wird. Auf diese Art und Weise kann ein Benutzer bei einer Überprüfung der Fahrrichtung des Fahrzeugs 1 fahren.
Mit dem beispielhaften Bildschirm, der in 7 veranschaulicht ist, ist es jedoch schwierig, den Zustand nahe des Bereichs unter dem Boden des Fahrzeugs 1 zu überprüfen. Um sich mit diesem Problem zu befassen, führt in der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel die Umschaltsteuerungseinrichtung 406 eine Umschaltsteuerung aus, um einen Bereich nahe des Unterbodens des Fahrzeugs 1 anzuzeigen, das heißt, um zu der Früheres-Bild-Anzeigebetriebsart umzuschalten. Das Umschaltverfahren ist nicht auf ein bestimmtes Verfahren begrenzt, wobei die Umschaltsteuerungseinrichtung 406 konfiguriert sein kann, den Bildschirm, der durch die Anzeigeverarbeitungseinrichtung 407 angezeigt wird, umzuschalten, wenn ein Drücken einer Anzeigeumschalttaste durch die Empfangseinrichtung 405 empfangen wird, beispielsweise nachdem das Fahrzeug 1 gestoppt hat.
8 zeigt ein Schaubild, das einen beispielhaften Bildschirm in der Früheres-Bild-Anzeigebetriebsart veranschaulicht, der durch die Anzeigeverarbeitungseinrichtung 407 anzuzeigen ist. In dem in 8 veranschaulichten Beispiel sind die Bilddaten 702 nahe des rechten Vorderrads 3F, die Bilddaten 703 nahe des linken Vorderrads 3F des Fahrzeugs 1 und der Anzeigebereich 704, der den Rollwinkel und den Nickwinkel erkennbar anzeigt, die Gleichen wie die in 7, die den derzeitigen Zustand des Fahrzeugs 1 zeigen.
Bilddaten 801 sind Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16a des Fahrzeugs 1 erzeugt worden sind. Die derzeitige Position des Fahrzeugs 1 in den Bilddaten 801 kann aus dem Bewegungsbetrag des Fahrzeugs 1 geschätzt werden, der berechnet wird, nachdem die Bilddaten 801 erzeugt worden sind. Die Anzeigeverarbeitungseinrichtung 704 zeigt folglich Identifikationsinformationen an, die in identifizierbarer Art und Weise die derzeitige Position des Fahrzeugs 1 darstellen. In dem in 8 veranschaulichten Beispiel werden eine Umrisslinie 811, die die äußere Form des Fahrzeugs 1 darstellt, und Umrisslinien 812, 813, die die äußeren Formen der Vorderräder 3F des Fahrzeugs 1 darstellen, als ein Beispiel der Identifikationsinformationen angezeigt, durch die die derzeitige Position des Fahrzeugs 1 identifizierbar ist.
Die Umrisslinien 812, 813, die die äußeren Formen der Vorderräder 3F darstellen, sind Umrisslinien, die auf dem derzeitigen Lenkwinkel beruhen, der durch den Lenkwinkelsensor 19 erfasst wird. Hierdurch kann ein Benutzer den derzeitigen Reifenwinkel und die derzeitige Position des Fahrzeugs 1 erkennen, indem die Umrisslinien 812, 813 betrachtet werden. Die Umrisslinie 811, die die äußere Form des Fahrzeugs 1 darstellt, und die Umrisslinien 812, 813, die die äußeren Formen der Vorderräder 3F darstellen, sind auf die Bilddaten 801 für eine Anzeige überlagert. Dies ermöglicht es einem Benutzer, die Straßenoberfläche und den Zustand der Straßenoberfläche unter dem Boden einschließlich der Nähe der Vorderräder 3F des Fahrzeugs 1 zu erkennen. Hierdurch kann die Peripherieüberwachungseinheit 400 einen Benutzer mit einer Umgebung für ein Fahren des Fahrzeugs versehen, um beispielsweise ein Hindernis nahe der Vorderräder 3F zu vermeiden. Auf diese Art und Weise kann das Ausführungsbeispiel die Hindernisse bei einem Fahren verringern und den Komfort bei dem Fahren verbessern.
Die Informationen für eine Überlagerung auf die Bilddaten sind nicht auf die Identifikationsinformationen begrenzt, durch die bestimmte Teile des Fahrzeugs 1 identifizierbar sind (wie beispielsweise die Umrisslinien 811, 812, 813). Die Anzeigeverarbeitungseinrichtung 704 gemäß dem Ausführungsbeispiel kann beispielsweise Trajektorien in der Fahrrichtung auf der Grundlage des derzeitigen Lenkwinkels des Fahrzeugs 1 auf den Bilddaten in Reaktion auf eine Anforderung eines Benutzers anzeigen.
Wieder unter Bezugnahme auf 4 wird nachstehend eine Konfiguration der Anzeigeverarbeitungseinrichtung 704 erklärt. Die Bildauswahleinrichtung 421 wählt Bilddaten, die auf der Anzeigevorrichtung 8 anzuzeigen sind, aus den Bilddaten aus, die in dem Ringspeicher 404 gespeichert sind, wenn die Empfangseinrichtung 405 eine Bedienung bzw. Betätigung für ein Umschalten zu der Früheres-Bild-Anzeigebetriebsart (für eine Unterbodenanzeige des Fahrzeugs 1) empfängt.
Wenn die Umschaltsteuerungseinrichtung 406 die Derzeitiges-Bild-Anzeigebetriebsart zu der Früheres-Bild-Anzeigebetriebsart umschaltet, wählt die Bildauswahleinrichtung 421 gemäß dem Ausführungsbeispiel sequentiell Bilddaten, die durch den Bildgeber bzw. Bildsensor 16 während der Zeitdauer zwischen der Zeit, wenn die derzeitigen Bilddaten durch den Bildgeber bzw. Bildsensor 16 erzeugt werden, und einer Zeit erzeugt werden, wenn die Bilddaten, die in der Früheres-Bild-Anzeigebetriebsart anzuzeigen sind, erzeugt werden, aus dem Ringspeicher 404 aus.
Die Bildauswahleinrichtung 421 wählt dann die am weitesten vorangegangenen Bilddaten aus den Bilddaten, die in dem Ringspeicher 404 gespeichert sind, als die Bilddaten aus, die in der Früheres-Bild-Anzeigebetriebsart anzuzeigen sind (die Bilddaten für eine Unterbodenanzeige des Fahrzeugs 1).
9 zeigt ein Schaubild zur Erklärung eines Übergangs der Bilddaten, die durch die Bildauswahleinrichtung 421 ausgewählt werden. Wie es in 9 veranschaulicht ist, wählt die Bildauswahleinrichtung 421 sequentiell die Bilddaten aus, die zu einer Zeit t₇ zu einer Zeit t₂ jeweils erzeugt werden, die zwischen einer derzeitigen Zeit t₈ und einer Zeit t₁ liegen, zu der die Bilddaten, die in der Früheres-Bild-Anzeigebetriebsart anzuzeigen sind, erzeugt werden. Nach einer Auswahl der Bilddaten, die zu der Zeit t₇ bis zu der Zeit t₂ erzeugt werden, in einer retrospektiven Art und Weise von Jetzt zu der Vergangenheit, wie es vorstehend beschrieben ist, wählt die Bildauswahleinrichtung 421 die Bilddaten aus, die zu der Zeit t₁ erzeugt werden. Somit kann die Anzeigevorrichtung 8 gemäß dem Ausführungsbeispiel eine Animationsanzeige der Bilddaten implementieren, bis der Unterboden des Fahrzeugs 1 angezeigt wird.
Die Überlagerungseinrichtung 422 überlagert die Informationen, die die derzeitige Position des Fahrzeugs angeben, auf die Bilddaten. Die Überlagerungseinrichtung 422 gemäß dem Ausführungsbeispiel überlagert die Identifikationsinformationen, durch die die derzeitige Position des Fahrzeugs 1 identifizierbar ist (die Umrisslinie, die die äußere Form des Fahrzeugs 1 angibt, und die Umrisslinien, die die äußeren Formen der Vorderräder 3F des Fahrzeugs 1 angeben), auf den Anzeigebereich der Bilddaten, die durch die Bildauswahleinrichtung 421 ausgewählt werden, auf der Grundlage der Positionsinformationen des Fahrzeugs 1 zu der derzeitigen Zeit t₈ und auf der Grundlage der Positionsinformationen, die mit den Bilddaten verknüpft sind, die durch die Bildauswahleinrichtung 421 ausgewählt werden. Somit kann für eine Animationsanzeige die Ausgabeeinrichtung 423 sequentiell Bilddaten ausgeben, auf die die Identifikationsinformationen bezüglich der derzeitigen Position des Fahrzeugs für eine Anzeige überlagert sind.
Für ein Umschalten der Anzeige von den derzeit durch den Bildgeber bzw. Bildsensor 16 erzeugten Bilddaten zu den früheren Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16 erzeugt worden sind, gibt die Ausgabeeinrichtung 423 sequentiell die Bilddaten, die durch den Bildgeber bzw. Bildsensor 16, die die Identifikationsinformationen aufweisen, die darauf durch die Überlagerungseinrichtung 422 überlagert werden, während der Zeitdauer zwischen der Zeit t₈ , zu der die derzeitigen Bilddaten erzeugt werden, und der Zeit t₁ , zu der die früheren Bilddaten erzeugt worden sind, erzeugt werden (die Bilddaten, die zu der Zeit t₂ bis zu der Zeit t₇ erzeugt werden), aus.
10 zeigt ein Schaubild, das einen Übergang bzw. eine Veränderung des Anzeigebereichs, der zu der Anzeigevorrichtung 8 durch die Ausgabeeinrichtung 423 ausgegeben wird, veranschaulicht.
Ein Anzeigebereich 1001 in 10 zeigt die derzeit durch den Bildgeber bzw. Bildsensor 16a erzeugten Bilddaten. Trajektorien 1051, 1052, die die Fahrrichtung angeben, sind auf die Bilddaten, die in dem Anzeigebereich 1001 angezeigt werden, überlagert. Eine Stoßstange 1053 erscheint in den Bilddaten.
Die Empfangseinrichtung 405 empfängt dann eine Umschaltbetätigung von der Derzeitiges-Bild-Anzeigebetriebsart zu der Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart). In Reaktion hierauf schaltet die Umschaltsteuerungseinrichtung 406 die Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) zu der Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart) um. Dann gibt die Ausgabeeinrichtung 423 sequentiell Anzeigebereiche 1002 bis 1005 (als einen zeitlichen Rücklauf) aus.
Der Anzeigebereich 1002 zeigt die derzeit durch den Bildgeber bzw. Bildsensor 16a erzeugten Bilddaten an. Die Bilddaten, die in dem Anzeigebereich 1002 angezeigt werden, lassen die Trajektorien 1051, 1052 und die Stoßstange 1053 im Vergleich mit den Bilddaten, die in dem Anzeigebereich 1001 angezeigt werden, weg.
Der Anzeigebereich 1003 zeigt dann die Bilddaten an, die zuvor durch den Bildgeber bzw. Bildsensor 16a erzeugt worden sind (beispielsweise zu der Zeit t₇ oder der Zeit t₆ , die in 9 veranschaulicht sind). Identifikationsinformationen 1061, die die derzeitige Position des Fahrzeugs 1 angeben, sind auf die Bilddaten, die in dem Anzeigebereich 1003 angezeigt werden, überlagert.
Der Anzeigebereich 1004 präsentiert die Bilddaten, die durch den Bildgeber bzw. Bildsensor 16a weiter vorangehend als die Bilddaten erzeugt werden, die in dem Anzeigebereich 1003 angezeigt werden (beispielsweise zu der Zeit t₅ bis zu der Zeit t₂ , die in 9 veranschaulicht sind). Identifikationsinformationen 1071, die die derzeitige Position des Fahrzeugs 1 angeben, sind ebenso auf die Bilddaten, die auf dem Anzeigebereich 1004 angezeigt werden, überlagert. Auf diese Art und Weise gehen die Identifikationsinformationen bezüglich der derzeitigen Position des Fahrzeugs 1 allmählich als eine Vorwärtsbewegung über, was es einem Benutzer ermöglicht, zu verstehen, welche Art von Bilddaten derzeit angezeigt werden.
Der Anzeigebereich 1005 zeigt Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16a erzeugt worden sind (beispielsweise zu der Zeit t₁ , die in 9 veranschaulicht ist) und den Unterboden des Fahrzeugs 1 darstellen, in der Früheres-Bild-Anzeigebetriebsart. Diese Bilddaten sind die am weitesten vorangegangenen Bilddaten, die in dem Ringspeicher 404 gespeichert sind. Identifikationsinformationen 1081, die die derzeitige Position des Fahrzeugs 1 angeben, sind ebenso auf die Bilddaten, die in dem Anzeigebereich 1005 angezeigt werden, überlagert. Auf diese Weise kann ein Benutzer den Unterbodenzustand des Fahrzeugs 1 und die Positionsbeziehung in Bezug auf das Fahrzeug 1 verstehen.
Eine Verarbeitung zur Speicherung der Bilddaten in der Peripherieüberwachungseinheit 400 gemäß einem Ausführungsbeispiel wird nachstehend erklärt. 11 zeigt ein Flussdiagramm, das die Verarbeitungssequenz der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel veranschaulicht.
Zu Beginn bilden die Bildgeber bzw. Bildsensoren 16 die Umgebung des Fahrzeugs 1 ab (S1101). Insbesondere bildet der Bildgeber bzw. Bildsensor 16a einen Bereich, der die Straßenoberfläche und den Horizont umfasst, innerhalb des Bereichs in der Fahrrichtung des Fahrzeugs 1 ab.
Die Beschaffungseinrichtung 401 beschafft dann die Bilddaten von den Bildgebern bzw. Bildsensoren 16 sowie die Beschleunigungsdaten von den Beschleunigungssensoren 26 (S1102).
Die Winkelberechnungseinrichtung 402 berechnet dann den Rollwinkel und den Nickwinkel des Fahrzeugs 1 aus den Beschleunigungsdaten (S1103).
Die Korrektureinrichtung 411 wendet dann eine Drehungskorrektur bei den Bilddaten auf der Grundlage des Rollwinkels an (S1104).
Die Korrektureinrichtung 411 korrigiert dann die Bilddaten, indem der Bereich, der die Stoßstange umfasst, aus den Bilddaten entfernt wird (S1105).
Die Positionsschätzeinrichtung 412 berechnet dann den Bewegungsbetrag des Fahrzeugs 1 und schätzt die derzeitige Position des Fahrzeugs 1 auf der Grundlage der Beschleunigungsdaten, der Lenkwinkelinformationen und der Raddrehzahlinformationen (S1106).
Die Speichereinheit 413 bestimmt dann, ob die Position des Fahrzeugs 1 sich um eine bestimmte Entfernung (beispielsweise 0,1 Meter) oder mehr von der Position geändert hat, bei der die derzeitigen Bilddaten unmittelbar zuvor gespeichert werden (S1107). Wenn die Speichereinheit 413 bestimmt, dass die Position sich nicht um die bestimmte Entfernung geändert hat (NEIN bei S1107), wird die Verarbeitung beendet. Das Ausführungsbeispiel beschreibt ein Beispiel zum Speichern der derzeitigen Bilddaten, wenn die Position sich um eine bestimmte Entfernung oder mehr geändert hat. Das Speicherverfahren ist jedoch nicht hierauf begrenzt, wobei die derzeitigen Bilddaten gespeichert werden können, wenn sich die Position um einen bestimmten Lenkwinkel oder mehr geändert hat, oder sie können bei einem bestimmten Zeitintervall gespeichert werden.
Wenn die Speichereinheit 413 bestimmt, dass sich die Position um eine bestimmte Entfernung (beispielsweise 0,1 Meter) oder mehr von der Position geändert hat, bei der die Bilddaten zuvor gespeichert werden (JA bei S1107), überschreibt die Speichereinheit 413 den am weitesten vorangegangen aktualisierten Bereich des Ringspeichers 404 mit den korrigierten derzeitigen Bilddaten (S1108). Die Speichereinheit 413 speichert dann die derzeitigen Bilddaten in Verbindung mit den Positionsinformationen der Bilddaten.
Die Speichereinheit 413 aktualisiert dann die Positionsinformationen zu der Zeit eines Erzeugens der Bilddaten, die in dem Ringspeicher 404 gespeichert werden, auf die Positionsinformationen, die auf der derzeitigen Position (als Ursprungspunkt) beruhen (S1109). Durch die Aktualisierung kann der Ringspeicher 404 die Positionsinformationen kontinuierlich ohne Überlauf behalten.
Die Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel kann dann die Bilddaten, die in dem Ringspeicher 404 gespeichert sind, als die Bilddaten für eine Unterbodenanzeige bereitstellen.
Ein Anzeigebetrieb der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel wird nachstehend erklärt. 12 zeigt ein Flussdiagramm, das die Verarbeitungssequenz der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel veranschaulicht.
Zu Beginn bestimmt die Peripherieüberwachungseinheit 400, ob die Empfangseinrichtung 405 eine Betätigung bzw. Bedienung für eine Unterbodenanzeige (eine Anzeige in der Früheres-Bild-Anzeigebetriebsart) empfangen hat (S1201). Wenn sie bestimmt, dass die Empfangseinrichtung 405 keine Bedienung bzw. Betätigung für eine Unterbodenanzeige (Anzeige in der Früheres-Bild-Anzeigebetriebsart) empfangen hat (NEIN bei S1201), zeigt die Anzeigeverarbeitungseinrichtung 407 einen Bildschirm in der Derzeitiges-Bild-Anzeigebetriebsart an (S1202).
Wenn sie bestimmt, dass die Empfangseinrichtung 405 eine Betätigung bzw. Bedienung für eine Unterbodenanzeige (Anzeige in der Früheres-Bild-Anzeigebetriebsart) empfangen hat (JA bei S1201), schaltet die Umschaltsteuerungseinrichtung 406 die Derzeitiges-Bild-Anzeigebetriebsart auf die Früheres-Bild-Anzeigebetriebsart um, wobei die Anzeigeverarbeitungseinrichtung 407 einen Bildschirm in der Früheres-Bild-Anzeigebetriebsart anzeigt (S1203).
Eine Bildschirmanzeige in der Früheres-Bild-Anzeigebetriebsart bei S1203 in 12 wird nachstehend erklärt. 13 zeigt ein Flussdiagramm, das die Verarbeitungssequenz der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel veranschaulicht.
Zuerst wählt die Bildauswahleinrichtung 421 Bilddaten unmittelbar vor den derzeit angezeigten Bilddaten (die unmittelbar zuvor gespeichert werden) aus den Bilddaten aus, die in dem Ringspeicher 404 gespeichert sind (S1301).
Die Überlagerungseinrichtung 422 überlagert die Informationen, die die derzeitige Position des Fahrzeugs angeben (Umrisslinien), auf die ausgewählten Bilddaten (S1302).
Die Ausgabeeinrichtung 423 gibt die Bilddaten, auf die die Informationen, die die derzeitige Position des Fahrzeugs angeben (Umrisslinien), überlagert sind, zu der Anzeigevorrichtung 8 aus (S1303).
Die Bildauswahleinrichtung 421 bestimmt, ob die am weitesten vorangegangenen Bilddaten unter den Bilddaten, die in dem Ringspeicher 404 gespeichert sind, ausgegeben worden sind (S1304). Wenn die Bildauswahleinrichtung 421 bestimmt, dass die am weitesten vorangegangenen Bilddaten noch nicht ausgegeben worden sind (NEIN bei S1304), wird die Verarbeitung von S1301 an wiederholt.
Wenn die Bildauswahleinrichtung 421 bestimmt, dass die am weitesten vorangegangenen Bilddaten ausgegeben worden sind (JA bei S1304), wird die Verarbeitung beendet, wobei berücksichtigt wird, dass die Bilddaten in der Früheres-Bild-Anzeigebetriebsart angezeigt worden sind.
Durch die vorstehend beschriebene Steuerung ermöglicht es die Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel durch ein sequentielles Anzeigen der Bilddaten, die in dem Ringspeicher 404 gespeichert sind, einem Benutzer zu erkennen, dass die Anzeigebetriebsart zu der Früheres-Bild-Anzeigebetriebsart umgeschaltet worden ist.
Das Ausführungsbeispiel hat ein Beispiel beschrieben, in dem die Anzeige durch ein Drücken der Anzeigeumschalttaste umgeschaltet wird. Wann die Anzeige umgeschaltet wird, ist jedoch nicht hierauf begrenzt. Beispielsweise können die früheren Bilddaten immer angezeigt werden, während das Fahrzeug sich bewegt, oder die Anzeige kann zu den früheren Bilddaten unter der Bedingung umgeschaltet werden, dass das Fahrzeug 1 gestoppt hat.
Das Ausführungsbeispiel hat ebenso ein Beispiel zum Umschalten der Derzeitiges-Bild-Anzeigebetriebsart auf die Früheres-Bild-Anzeigebetriebsart beschrieben. Alternativ hierzu kann die vorstehend beschriebene Anzeigesteuerung beispielsweise ebenso bei einem Umschalten der Früheres-Bild-Anzeigebetriebsart auf die Derzeitiges-Bild-Anzeigebetriebsart angewendet werden.
Zweites Ausführungsbeispiel
Das erste Ausführungsbeispiel hat ein Beispiel eines sequentiellen Ausgebens der Bilddaten von dem Ringspeicher 404 zu der Anzeigevorrichtung 8 beschrieben. Das Ausführungsbeispiel ist jedoch nicht auf ein derartiges Beispiel eines sequentiellen Ausgebens der Bilddaten von dem Ringspeicher 404 zu der Anzeigevorrichtung 8 begrenzt. Die Anzeigevorrichtung 8 kann ebenso beliebige Informationen sequentiell anzeigen, solange die Informationen einen Übergang der Bilddaten während der Zeitdauer zwischen den zwei Betriebsarten zu der Zeit eines Umschaltens der Anzeige der Bilddaten in der Derzeitiges-Bild-Anzeigebetriebsart auf die Anzeige der früheren Bilddaten in der Früheres-Bild-Anzeigebetriebsart darstellen. Ein zweites Ausführungsbeispiel beschreibt ein Beispiel eines sequentiellen Ausgebens bei dem früheren Bild von Informationen, die einen Übergang bzw. eine Veränderung der Bewegung des Fahrzeugs 1 von einer Zeit, wenn die früheren Bilddaten erzeugt werden, zu einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, darstellen. Die Peripherieüberwachungseinheit weist die gleiche Konfiguration wie die gemäß dem ersten Ausführungsbeispiel auf, wobei Erklärungen hiervon weggelassen werden.
14 zeigt ein Schaubild, das einen Übergang der Anzeigebereiche, die zu der Anzeigevorrichtung 8 durch die Ausgabeeinrichtung 423 ausgegeben werden, veranschaulicht.
Ein Anzeigebereich 1401, der in 14 veranschaulicht ist, zeigt die derzeit durch den Bildgeber bzw. Bildsensor 16a erzeugten Bilddaten an. Trajektorien 1451, 1452, die die Fahrrichtung angeben, sind auf die Bilddaten, die in dem Anzeigebereich 1401 angezeigt werden, überlagert. Die Stoßstange 1053 erscheint ebenso in den Bilddaten.
Die Empfangseinrichtung 405 empfängt dann eine Bedienung bzw. Betätigung zum Umschalten der Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) auf die Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart). Dann gibt die Ausgabeeinrichtung 423 sequentiell in einer Reihenfolge von Anzeigebereichen 1402 bis 1405 aus.
Der Anzeigebereich 1402 zeigt dann die am weitesten vorangegangenen Bilddaten unter den Bilddaten, die in dem Ringspeicher 404 gespeichert sind, an.
Der Anzeigebereich 1403 zeigt die am weitesten vorangegangenen Bilddaten, auf die Identifikationsinformationen 1461 bezüglich der Position des Fahrzeugs 1 überlagert sind, auf der Grundlage der Positionsinformationen an, die mit den Bilddaten verknüpft sind, die zuvor durch den Bildgeber bzw. Bildsensor 16a erzeugt worden sind (beispielsweise zu der Zeit t₂ oder der Zeit t₃ , die in 9 veranschaulicht sind).
Der Anzeigebereich 1404 zeigt die am weitesten vorangegangenen Bilddaten, auf die Identifikationsinformationen 1471 bezüglich der Position des Fahrzeugs 1 überlagert sind, auf der Grundlage der Positionsinformationen an, die mit den Bilddaten verknüpft sind, die aktueller sind als die Bilddaten, die in dem Anzeigebereich 1403 angezeigt werden (beispielsweise die Bilddaten, die zu der Zeit t₄ bis zu der Zeit t₇ erzeugt werden, die in 9 veranschaulicht sind). Hierdurch wird eine Animationsanzeige, die zeigt, dass sich das Fahrzeug 1 in Richtung der derzeitigen Position bewegt, implementiert.
Der Anzeigebereich 1405 zeigt die am weitesten vorangegangenen Bilddaten, auf die die Identifikationsinformationen 1481 bezüglich der Position des Fahrzeugs 1 überlagert sind, auf der Grundlage der Positionsinformationen an, die mit den derzeitigen Bilddaten verknüpft sind (die beispielsweise zu der Zeit t₈ erzeugt werden, die in 9 veranschaulicht ist).
Somit gibt gemäß dem Ausführungsbeispiel zu der Zeit eines Umschaltens der Anzeige von den derzeit durch den Bildgeber bzw. Bildsensor 16 erzeugten Bilddaten zu den Bilddaten, die zuvor durch den Bildgeber bzw. Bildsensor 16 erzeugt worden sind, die Ausgabeeinrichtung 423 sequentiell bei den früheren Bilddaten Information, die einen Übergang der Bewegung des Fahrzeugs 1 während der Zeitdauer zwischen der Zeit, wenn die früheren Bilddaten erzeugt werden, zu der Zeit darstellen, wenn die derzeitigen Bilddaten erzeugt werden, aus.
Durch eine derartige Anzeige kann ein Benutzer das Umschalten der Anzeige zu den früheren Bilddaten erkennen.
Eine Bildschirmanzeige in der Früheres-Bild-Anzeigebetriebsart bei S1203, der in 12 veranschaulicht ist, wird nachstehend erklärt. 15 zeigt ein Flussdiagramm, das die Verarbeitungssequenz der Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel veranschaulicht.
Zuerst wählt die Bildauswahleinrichtung 421 die am weitesten vorangegangenen Bilddaten aus den Bilddaten aus, die in dem Ringspeicher 404 gespeichert sind (S1501).
Die Bildauswahleinrichtung 421 stellt dann die Positionsinformationen, die den ausgewählten, am weitesten vorangegangenen Bilddaten entsprechen, als einen Anfangswert ein (S1502).
Die Überlagerungseinrichtung 422 überlagert dann auf die am weitesten vorangegangen Bilddaten die Identifikationsinformationen bezüglich der Position des Fahrzeugs 1 entsprechend den eingestellten Positionsinformationen (S1503). Während die Positionsinformationen auf den Anfangswert eingestellt werden, werden Identifikationsinformationen bezüglich der Position des Fahrzeugs 1 nicht überlagert.
Die Ausgabeeinrichtung 423 gibt dann zu der Anzeigevorrichtung 8 die Bilddaten aus, auf die die Identifikationsinformationen bezüglich der Position des Fahrzeugs 1 überlagert sind (S1504).
Die Bildauswahleinrichtung 421 bestimmt dann, ob die eingestellten Positionsinformationen den derzeitigen Bilddaten entsprechen (S1505). Wenn die Bildauswahleinrichtung 421 bestimmt, dass die eingestellten Positionsinformationen nicht den derzeitigen Bilddaten entsprechen (NEIN bei S1505), stellt die Bildauswahleinrichtung 421 Positionsinformationen, die um eins aktueller als die eingestellten Positionsinformationen sind, aus den Bilddaten, die in dem Ringspeicher 404 gespeichert sind, als den Parameter ein, der bei der Überlagerung in S1503 verwendet wird (S1506), wobei sie die Verarbeitung bei S1503 und danach ausführt.
Wenn die Bildauswahleinrichtung 421 bestimmt, dass die eingestellten Positionsinformationen den derzeitigen Bilddaten entsprechen (JA bei S1505), wird die Verarbeitung beendet.
Durch die Steuerung, wie sie vorstehend beschrieben ist, ermöglicht es die Peripherieüberwachungseinheit 400 gemäß dem Ausführungsbeispiel einem Benutzer zu erkennen, dass die Anzeigebetriebsart zu der Früheres-Bild-Anzeigebetriebsart umgeschaltet worden ist, indem der Übergang der Bewegung des Fahrzeugs 1 auf der Grundlage der Positionsinformationen, die in dem Ringspeicher 404 gespeichert sind, angezeigt wird.
Modifikation
Das vorstehend beschriebene Ausführungsbeispiel hat ein Beispiel eines Anzeigens der Bilddaten, die in dem Ringspeicher 404 gespeichert sind, wenn die Anzeigebetriebsart zu der Früheres-Bild-Anzeigebetriebsart umgeschaltet wird, nachdem die Speicherverarbeitungseinrichtung 403 die vorangegangenen Bilddaten in dem Ringspeicher 404 gespeichert hat, beschrieben.
Das Ausführungsbeispiel ist jedoch nicht auf eine derartige Anzeigesequenz begrenzt, wobei Bilddaten, die mit vorangegangenen Bilddaten synthetisiert werden, als Bilddaten angezeigt werden können, die den Unterbodenzustand des Fahrzeugs 1 darstellen.
In dieser Modifikation erzeugt, nachdem Bilddaten, die durch den Bildgeber bzw. Bildsensor 16a erzeugt werden, der gleichen Drehungskorrektur unterzogen worden sind, wie in den vorstehend beschriebenen Ausführungsbeispielen, die Speicherverarbeitungseinrichtung 403 Vogelperspektivenbilddaten, die den Boden um das Fahrzeug 1 herum in der Fahrrichtung von oben zeigen, aus den Bilddaten.
Die Positionsschätzeinrichtung 412 schätzt dann den Bewegungsbetrag des Fahrzeugs 1 zwischen der Position, bei der die derzeitigen Bilddaten erzeugt werden, und der Position, bei der die vorangegangenen Bilddaten erzeugt werden.
Die Speicherverarbeitungseinrichtung 403 synthetisiert dann derzeitige Vogelperspektivenbilddaten mit den vorangegangenen Vogelperspektivenbilddaten auf der Grundlage des Bewegungsbetrags.
Wenn die Empfangseinrichtung 405 eine Bedienung bzw. Betätigung zum Umschalten der Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) auf die Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart) empfängt, überlagert die Überlagerungseinrichtung 422 Informationen bezüglich der derzeitigen Position des Fahrzeugs 1 auf die Vogelperspektivenbilddaten. Die Anzeigeverarbeitungseinrichtung 407 schaltet dann die derzeitigen Bilddaten zu den synthetisierten Vogelperspektivenbilddaten um. Die Vogelperspektivenbilddaten können einer Bildumwandlung auf solche, die von einem bestimmten Blickpunkt aus betrachtet werden (beispielsweise die Position, bei der die Bilddaten durch den Bildgeber bzw. Bildsensor 16 erzeugt werden) unterzogen werden. Die Anzeigeverarbeitungseinrichtung 407 zeigt dann die Vogelperspektivenbilddaten in einem retrospektiven Bilddurchlaufmodus (Animationsanzeige) von dem aktuellsten synthetisierten Bereich zu dem am weitesten vorangegangenen synthetisierten Bereich an.
Gemäß den Ausführungsbeispielen und der Modifikation, die vorstehend beschrieben sind, kann ein Benutzer für ein Umschalten der Derzeitiges-Bild-Anzeigebetriebsart (erste Anzeigebetriebsart) und der Früheres-Bild-Anzeigebetriebsart (zweite Anzeigebetriebsart) einfach erkennen, dass die Betriebsart umgeschaltet worden ist, indem Informationen, die einen Übergang der Bilddaten zwischen einer Zeit, wenn die früheren Bilddaten erzeugt werden, und einer Zeit darstellen, wenn die derzeitigen Bilddaten erzeugt werden, zu der Anzeigevorrichtung sequentiell ausgegeben werden. Des Weiteren kann durch ein Anzeigen der Informationen, die einen Übergang der Bilddaten zwischen der Zeit, wenn die früheren Bilddaten erzeugt werden, und der Zeit darstellen, wenn die derzeitigen Bilddaten erzeugt werden, bei der Anzeigevorrichtung ein Benutzer einfach die Positionsbeziehung zwischen den Bereichen, die auf der Anzeigevorrichtung angezeigt werden, verstehen. Durch die Fahrzeugunterbodenanzeige kann ein Benutzer den Zustand unter dem Fahrzeugboden überprüfen.
Ausführungsbeispiele der vorliegenden Erfindung sind vorstehend erklärt worden, wobei diese Ausführungsbeispiele aber lediglich als Beispiele präsentiert werden, wobei es nicht beabsichtigt ist, den Umfang der vorliegenden Erfindung in irgendeiner Weise zu begrenzen. Es ist möglich, diese neuen Ausführungsbeispiele in verschiedenen anderen Ausführungsbeispielen zu implementieren, wobei verschiedene Weglassungen, Ersetzungen und Modifikationen weiterhin innerhalb des Umfangs möglich sind, wobei von dem Gegenstand der vorliegenden Erfindung nicht abgewichen wird. Derartige Ausführungsbeispiele und zugehörige Modifikationen fallen weiterhin in den Umfang der vorliegenden Erfindung und in den Umfang der Erfindung, der durch die beigefügten Patentansprüche definiert ist, sowie in einen zugehörigen Äquivalenzbereich.

Claims

Peripherieüberwachungsvorrichtung mit: einem Speicher, der in sich Bilddaten speichert, die durch einen Bildsensor erzeugt werden, der bei einem Fahrzeug angebracht ist; einer Umschaltsteuerungseinrichtung, die zwischen einer ersten Anzeigebetriebsart und einer zweiten Anzeigebetriebsart für eine Anzeige der Bilddaten, die in dem Speicher gespeichert sind, umschaltet, wobei die erste Anzeigebetriebsart eine Betriebsart ist, in der derzeitige Bilddaten angezeigt werden, die zweite Anzeigebetriebsart eine Betriebsart ist, in der frühere Bilddaten angezeigt werden, die derzeitigen Bilddaten derzeit durch den Bildsensor erzeugt werden, wobei die früheren Bilddaten zuvor durch den Bildsensor erzeugt worden sind; und einer Ausgabeeinrichtung, die Informationen zu einer Anzeigevorrichtung zu der Zeit eines Umschaltens zwischen der ersten Anzeigebetriebsart für ein Anzeigen der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, und der zweiten Anzeigebetriebsart für ein Anzeigen der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, ausgibt, wobei die Informationen einen Übergang der Bilddaten zwischen einer Zeit, wenn die früheren Bilddaten erzeugt werden, und einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, darstellen.
Peripherieüberwachungsvorrichtung nach Anspruch 1, wobei zu der Zeit eines Umschaltens der Anzeige der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, zu der Anzeige der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, die Ausgabeeinrichtung Bilddaten ausgibt, die durch den Bildsensor während einer Zeitdauer von einer Zeit, wenn die derzeitigen Bilddaten erzeugt werden, zu einer Zeit erzeugt werden, wenn die früheren Bilddaten erzeugt werden.
Peripherieüberwachungsvorrichtung nach Anspruch 2, wobei die Ausgabeeinrichtung für eine Anzeige der Bilddaten, die durch den Bildsensor erzeugt werden, Informationen auf die Bilddaten für eine Ausgabe überlagert, wobei die Informationen eine derzeitige Position des Fahrzeugs angeben.
Peripherieüberwachungsvorrichtung nach Anspruch 1, wobei zu der Zeit eines Umschaltens der Anzeige der derzeitigen Bilddaten, die derzeit durch den Bildsensor erzeugt werden, auf die Anzeige der früheren Bilddaten, die zuvor durch den Bildsensor erzeugt worden sind, die Ausgabeeinrichtung Informationen zu den früheren Bilddaten ausgibt, wobei die Informationen einen Übergang einer Bewegung des Fahrzeugs während einer Zeitdauer von einer Zeit, wenn die früheren Bilddaten erzeugt werden, zu einer Zeit darstellen, wenn die derzeitigen Bilddaten erzeugt werden.
Peripherieüberwachungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Speicher in sich Bilddaten speichert, die von dem Bildsensor ausgegeben werden, der einen Bereich abbildet, der eine Straßenoberfläche in einer Fahrrichtung des Fahrzeugs umfasst, und die Umschaltsteuerungseinrichtung zwischen der ersten Anzeigebetriebsart und der zweiten Anzeigebetriebsart umschaltet, wobei die erste Anzeigebetriebsart eine Betriebsart ist, in der derzeitige Bilddaten, die die Straßenoberfläche in einer derzeitigen Fahrrichtung des Fahrzeugs umfassen, angezeigt werden, wobei die zweite Anzeigebetriebsart eine Betriebsart ist, in der frühere Bilddaten, die die Straßenoberfläche in einer früheren Fahrrichtung des Fahrzeugs umfassen, als Bilddaten angezeigt werden, die einen Unterboden des Fahrzeugs darstellen, wobei die derzeitigen Bilddaten und die früheren Bilddaten beide durch den Bildsensor erzeugt werden.