DE102017112357B4

DE102017112357B4 - Anzeigesteuerungseinrichtung

Info

Publication number: DE102017112357B4
Application number: DE102017112357.1A
Authority: DE
Inventors: Takuya HASHIKAWA; Naotaka Kubota; Yoji Inui; Morio Sakai
Original assignee: Aisin Corp
Current assignee: Aisin Corp
Priority date: 2016-06-28
Filing date: 2017-06-06
Publication date: 2023-01-05
Anticipated expiration: 2037-06-07
Also published as: US20170372682A1; CN107539218B; CN107539218A; JP2018006865A; DE102017112357A1; JP6720729B2; US10157595B2

Abstract

Anzeigesteuerungseinrichtung, mit:einer Empfangseinheit (141), die eine Eingabe zum Designieren eines ersten Punktes auf einem ersten Bild empfängt, das auf einem Anzeigebildschirm (8) angezeigt wird, der in einem Fahrzeuginnenraum (2a) bereitgestellt ist und eine periphere Umgebung eines Fahrzeugs (1) zu einem ersten Zeitpunkt zeigt;einer Anzeigeverarbeitungseinheit (142), die ein erstes Anzeigeobjekt an dem ersten Punkt anzeigt;einer Spezifizierungseinheit (144), die einen zweiten Punkt spezifiziert, an dem sich ein erstes Ziel, das sich an dem ersten Punkt befindet, auf einem zweiten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zeigt; undeiner Aktualisierungseinheit (145), die zusammen mit dem zweiten Bild das erste Anzeigeobjekt an dem zweiten Punkt auf dem zweiten Bild anzeigt,wobei die Empfangseinheit eine Eingabe zum Designieren eines dritten Punktes auf einem dritten Bild, das auf dem Anzeigebildschirm angezeigt wird, empfängt,das dritte Bild ein Bild ist, auf dem das erste Anzeigeobjekt angezeigt wird und das die periphere Umgebung des Fahrzeugs zu einem dritten Zeitpunkt zeigt,die Anzeigeverarbeitungseinheit ein zweites Anzeigeobjekt an dem dritten Punkt auf dem dritten Bild anzeigt,die Spezifizierungseinheit einen vierten Punkt, an dem sich das erste Ziel in einem vierten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem vierten Zeitpunkt nach dem dritten Zeitpunkt zeigt, und einen fünften Punkt spezifiziert, an dem sich das zweite Ziel, das sich an dem dritten Punkt befindet, in dem vierten Bild befindet, unddie Aktualisierungseinheit zusammen mit dem vierten Bild das erste Anzeigeobjekt an dem vierten Punkt auf dem vierten Bild und das zweite Anzeigeobjekt an dem fünften Punkt auf dem vierten Bild anzeigt.

Description

TECHNISCHES GEBIET
Hierin offenbarte Ausführungsbeispiele betreffen eine Fahrzeuganzeigesteuerungseinrichtung.
HINTERGRUND
Im Stand der Technik gibt es eine Technik zum Aufnehmen eines Bildes einer peripheren Umgebung eines Fahrzeugs unter Verwendung einer Kamera, die in dem Fahrzeug bereitgestellt ist, und zum Bereitstellen des aufgenommenen Bildes an einen Fahrer über einen Anzeigebildschirm, der innerhalb eines Fahrzeuginnenraums bereitgestellt ist. Siehe zum Beispiel Internationale Veröffentlichung WO 2011/010346 A1 .
Es gibt jedoch zum Beispiel einen Fall, in dem ein Fahrer nicht weiß, wo ein Felsen bzw. Stein, den der Fahrer einmal auf dem Anzeigebildschirm während der Fahrt auf einem Off-Road-Gelände, wie etwa einer felsigen bzw. steinigen Region beachtet hat, auf dem Anzeigebildschirm angezeigt wird, während das Fahren fortgesetzt wird.
Somit existiert eine Notwendigkeit für eine Anzeigesteuerungseinrichtung, die ein Ziel, das der Fahrer beachtet, auf eine einfach verständliche Weise anzeigt.
Die Druckschrift US 2014/0 176 350 A1 offenbart ein Verfahren zum Unterstützen eines Fahrers bei der Spurführung eines Fahrzeugs auf einer Fahrbahn. Das Verfahren umfasst ein Anzeigen eines aufgezeichneten Bildes für den Fahrer auf einer Anzeigeeinheit, wobei das Bild die Fahrzeugumgebung darstellt, ein Einlesen eines Betriebssignals, das auf einer Benutzerschnittstelle durch den Fahrer eingegeben wird ein Auswählen eines Objekts, das in dem Bild enthalten ist, unter Verwendung des Betriebssignals, ein Anzeigen einer Markierung auf der Anzeigeeinheit, wobei die Markierung in einem Bereich des Bildes angezeigt wird, der das Objekt darstellt, und ein Verwenden des Objekts zum Bestimmen mindestens eines Längssteuerungsparameters für eine Fahrstrecke, die von dem Fahrzeug befahren werden soll, um den Fahrer bei der Spurführung zu unterstützen.
Die Druckschrift JP 2006- 252 389 A offenbart eine Umfangsüberwachungsvorrichtung mit einer Umfangsüberwachungs-ECU zur Durchführung einer Differentialverarbeitung von Bildern, die von einer ersten Kamera und einer zweiten Kamera aufgenommen wurden, um dreidimensionale Objekte zu extrahieren und das dreidimensionale Objekt, das wahrscheinlich mit einem Fahrzeug kollidieren wird, als das Hindernis aus den extrahierten dreidimensionalen Objekten zu detektieren. Die Umfangsüberwachungs-ECU ist mit einer Hervorhebungsanzeige-Verarbeitungseinrichtung zur Vorbereitung eines Hervorhebungsanzeige-Rahmens W, der dem Hindernis gegeben wird, und einer Plotting-Verarbeitungseinrichtung, die eine Hervorhebungsanzeige, die von der Hervorhebungsanzeigeeinrichtung 35 vorbereitet wurde, plottet, versehen.
Die Druckschrift DE 10 2005 034 201 A1 offenbart ein Umgebungsüberwachungssystem für ein Fahrzeug.
Die Druckschrift US 2015/0 179 219 A1 offenbart ein Videoverarbeitungsverfahren zur Auswahl und Verfolgung von Objekten.
Die Druckschrift US 2014/0 104 100 A1 offenbart ein Verfahren zur Verfolgung eines Zielobjekts.
KURZFASSUNG
Als ein Beispiel umfasst eine Anzeigesteuerungseinrichtung gemäß einem Aspekt dieser Offenbarung: eine Empfangseinheit, die eine Eingabe zum Designieren eines ersten Punktes auf einem ersten Bild empfängt, das auf einem Anzeigebildschirm, der in einem Fahrzeuginnenraum bereitgestellt ist, angezeigt wird und eine periphere Umgebung eines Fahrzeugs zu einem ersten Zeitpunkt zeigt; eine Anzeigeverarbeitungseinheit, die ein erstes Anzeigeobjekt an dem ersten Punkt anzeigt; eine Spezifizierungseinheit, die einen zweiten Punkt, an dem sich ein erstes Ziel, das sich an dem ersten Punkt befindet, auf einem zweiten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zeigt, spezifiziert; und eine Aktualisierungseinheit, die zusammen mit dem zweiten Bild das erste Anzeigeobjekt an dem zweiten Punkt auf dem zweiten Bild anzeigt. Dementsprechend, da das erste Anzeigeobjekt dazu angepasst ist, der Position, an der sich das Ziel, das durch einen Benutzer designiert ist, befindet, zu folgen, kann die Anzeigesteuerungseinrichtung das Ziel, das der Benutzer beachtet, auf eine einfach verständliche Weise anzeigen.
Die Empfangseinheit empfängt eine Eingabe zum Designieren eines dritten Punktes auf einem dritten Bild, das auf dem Anzeigebildschirm angezeigt wird, empfangen, das dritte Bild ist ein Bild, in dem das erste Anzeigeobjekt angezeigt wird und das die periphere Umgebung des Fahrzeugs zu einem dritten Zeitpunkt zeigt, die Anzeigeverarbeitungseinheit zeigt ein zweites Anzeigeobjekt an dem dritten Punkt auf dem dritten Bild an, die Spezifizierungseinheit spezifiziert einen vierten Punkt, an dem sich das erste Ziel in einem vierten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem vierten Zeitpunkt nach dem dritten Zeitpunkt zeigt, und einen fünften Punkt, an dem sich ein zweites Ziel, das sich an dem dritten Punkt befindet, in dem vierten Bild befindet, und die Aktualisierungseinheit zeigt zusammen mit dem vierten Bild das erste Anzeigeobjekt an dem vierten Punkt auf dem vierten Bild und das zweite Anzeigeobjekt an dem fünften Punkt auf dem vierten Bild an. Da die Anzeigesteuerungseinrichtung dazu in der Lage ist, mehrere Anzeigeobjekte anzuzeigen und dem Anzeigeobjekt zu ermöglichen, den Positionen, an denen sich die entsprechenden Ziele entsprechend befinden, zu folgen, wird der Komfort des Benutzers verbessert.
Als ein Beispiel kann in der Anzeigesteuerungseinrichtung gemäß dem Aspekt dieser Offenbarung das erste Anzeigeobjekt eine Anzeigeform aufweisen, die von einer Anzeigeform des zweiten Anzeigeobjekts verschieden ist. Dementsprechend wird aufgrund einer Operation, die es dem Benutzer zum Beispiel ermöglicht, ein Ziel, das der Benutzer vermeiden will, und ein Ziel auf einer Route, das der Benutzer passieren will, zu unterscheiden und zu markieren, ein Komfort des Benutzers weiter verbessert.
Als ein Beispiel umfasst eine Anzeigesteuerungseinrichtung gemäß einem weiteren Aspekt dieser Offenbarung: eine Empfangseinheit, die eine Eingabe zum Designieren eines ersten Punktes auf einem ersten Bild empfängt, das auf einem Anzeigebildschirm, der in einem Fahrzeuginnenraum bereitgestellt ist, angezeigt wird und eine periphere Umgebung eines Fahrzeugs zu einem ersten Zeitpunkt zeigt; eine Anzeigeverarbeitungseinheit, die ein erstes Anzeigeobjekt an dem ersten Punkt anzeigt; eine Spezifizierungseinheit, die einen zweiten Punkt, an dem sich ein erstes Ziel, das sich an dem ersten Punkt befindet, auf einem zweiten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zeigt, spezifiziert; und eine Aktualisierungseinheit, die zusammen mit dem zweiten Bild das erste Anzeigeobjekt an dem zweiten Punkt auf dem zweiten Bild anzeigt. Die Eingabe ist eine Eingabe, die zwei erste Punkte designiert, die Spezifizierungseinheit spezifiziert den zweiten Punkt für jedes erste Ziel, das sich an jedem der zwei ersten Punkte befindet, das erste Anzeigeobjekt, das durch die Anzeigeverarbeitungseinheit angezeigt wird, ist eine Linie, die die ersten Punkte verbindet, und das erste Anzeigeobjekt, das durch die Aktualisierungseinheit angezeigt wird, ist eine Linie, die die zweiten Punkte verbindet. Dementsprechend wird aufgrund einer Operation, die dem Benutzer ermöglicht, eine Spur, die der Benutzer passieren will, auf dem Anzeigebildschirm zu zeichnen und das Fahrzeug zu lenken, um entlang der gezeichneten Spur zu fahren, der Komfort des Benutzers verbessert.
Als ein Beispiel kann in der Anzeigesteuerungseinrichtung gemäß dem Aspekt dieser Offenbarung das erste Bild durch eine erste Abbildungseinrichtung aufgenommen werden, die in dem Fahrzeug bereitgestellt ist und in eine erste Richtung gerichtet ist, und kann das zweite Bild durch eine zweite Abbildungseinrichtung aufgenommen werden, die in dem Fahrzeug bereitgestellt ist und in eine zweite Richtung gerichtet ist, die von der ersten Richtung verschieden ist. Auch wenn die Position des designierten Ziels außerhalb des Abbildungsbereichs der ersten Abbildungseinrichtung ist, wird das Anzeigeobjekt an der Position angezeigt, an der das designierte Ziel angezeigt wird, wenn sich das designierte Ziel innerhalb des Abbildungsbereichs von anderen Abbildungseinrichtungen befindet. Somit kann die Anzeigesteuerungseinrichtung das Ziel, das der Benutzer beachtet, auf eine einfach verständliche Weise anzeigen.
Als ein Beispiel kann in der Anzeigesteuerungseinrichtung gemäß dem Aspekt dieser Offenbarung das erste Bild zu dem ersten Zeitpunkt durch die Abbildungseinrichtung, die in dem Fahrzeug bereitgestellt ist, aufgenommen werden, kann das zweite Bild einen Bereich unter einem Boden des Fahrzeugs zeigen, und kann die Anzeigeverarbeitungseinheit das zweite Bild von einem fünften Bild erzeugen, das durch die Abbildungseinrichtung zu einem fünften Zeitpunkt vor dem zweiten Zeitpunkt aufgenommen wird. Dementsprechend, da die Anzeigesteuerungseinrichtung ein Bild anzeigen kann, das einen Bereich unter dem Boden des Fahrzeugs zeigt und die Position, an der sich das designierte Ziel befindet, markieren kann, wird der Komfort des Benutzers verbessert.
Figurenliste
Die vorstehenden und zusätzliche Merkmale und Charakteristika dieser Offenbarung werden aus der folgenden detaillierten Beschreibung ersichtlicher, die mit Bezug auf die anhängigen Zeichnungen betrachtet wird, in denen zeigen:

1 eine perspektivische Ansicht, die ein beispielhaftes Fahrzeug, an dem eine Anzeigesteuerungseinrichtung gemäß einem Ausführungsbeispiel angebracht ist, darstellt, in der ein Fahrzeuginnenraum teilweise betrachtet wird;
2 eine Draufsicht (Sicht von oben), die das beispielhafte Fahrzeug, an dem die Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel angebracht ist, darstellt;
3 ein Blockdiagramm, das ein beispielhaftes Anzeigesteuerungssystem mit der Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel darstellt;
4 eine Ansicht, die eine beispielhafte Eingabe zum Designieren eines Punktes gemäß dem Ausführungsbeispiel darstellt;
5 eine Ansicht, die ein Anzeigebeispiel einer Markierung gemäß dem Ausführungsbeispiel darstellt;
6 eine Ansicht, die ein Anzeigebeispiel gemäß dem Ausführungsbeispiel nach einer Aktualisierung darstellt;
7 eine Ansicht, die einen anderen beispielhaften Anzeigebildschirm gemäß dem Ausführungsbeispiel darstellt;
8 ein Blockdiagramm, das eine funktionale Konfiguration einer ECU gemäß dem Ausführungsbeispiel darstellt;
9 eine Ansicht, die einen beispielhaften virtuellen Raum zum Erzeugen von Hilfsinformationen gemäß dem Ausführungsbeispiel darstellt;
10 ein Ablaufdiagramm, das eine beispielhafte Operation einer Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel darstellt;
11 eine Ansicht, die ein anderes Anzeigebeispiel einer Markierung gemäß dem Ausführungsbeispiel darstellt;
12 eine Ansicht, die eine beispielhafte Eingabe zum Designieren einer Spur gemäß dem Ausführungsbeispiel darstellt;
13 eine Ansicht, die ein Anzeigebeispiel einer Spur gemäß dem Ausführungsbeispiel darstellt;
14 eine Ansicht, die ein Anzeigebeispiel eines Vogelperspektivenbildes gemäß dem Ausführungsbeispiel darstellt;
15 eine Ansicht, die ein Anzeigebeispiel eines Vogelperspektivenbildes gemäß dem Ausführungsbeispiel darstellt; und
16 eine Ansicht, die ein Anzeigebeispiel gemäß dem Ausführungsbeispiel darstellt, die einen Teil unter einem Boden eines Fahrzeugs anzeigt.

DETAILLIERTE BESCHREIBUNG
Nachstehend wird ein Beispiel, in dem eine Anzeigesteuerungseinrichtung des vorliegenden Ausführungsbeispiels an einem Fahrzeug 1 angebracht ist, beschrieben.
<Ausführungsbeispiel>
Das Fahrzeug 1 des Ausführungsbeispiels kann zum Beispiel ein Fahrzeug mit einer (nicht dargestellten) Brennkraftmaschine als eine Antriebsquelle, das heißt ein Brennkraftmaschinenfahrzeug, ein Fahrzeug mit einem (nicht dargestellten) Elektromotor als eine Antriebsquelle, das heißt ein elektrisches Fahrzeug oder ein Brennstoffzellenfahrzeug, ein Hybridfahrzeug mit sowohl der Brennkraftmaschine als auch dem Elektromotor als eine Antriebsquelle und ein Fahrzeug mit irgendeiner anderen Antriebsquelle sein. Zusätzlich können in dem Fahrzeug 1 verschiedene Getriebeeinrichtungen angebracht sein und verschiedene Einrichtungen, die zum Antreiben der Brennkraftmaschine und des Elektromotors erforderlich sind, zum Beispiel Systeme oder Teile, können angebracht sein. Zusätzlich können zum Beispiel das Verfahren, die Anzahl und das Layout der Einrichtungen bezüglich des Antreibens der Räder 3 in dem Fahrzeug 1 auf verschiedene Weisen eingestellt werden.
1 ist eine perspektivische Ansicht, die ein beispielhaftes Fahrzeug 1 darstellt, an dem eine Anzeigesteuerungseinrichtung gemäß einem Ausführungsbeispiel angebracht ist, in der ein Fahrzeuginnenraum 2a des Fahrzeugs 1 teilweise betrachtet wird. 2 ist eine Draufsicht (Sicht von oben), die das beispielhafte Fahrzeug 1 darstellt, an dem die Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel angebracht ist. 3 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Anzeigesteuerungssystems 100 mit der Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel darstellt.
Wie in 1 veranschaulicht ist, konfiguriert eine Fahrzeugkarosserie 2 den Fahrzeuginnenraum 2a, in den ein Benutzer (nicht dargestellt) einsteigt. In dem Fahrzeuginnenraum 2a sind zum Beispiel eine Lenkeinheit 4, eine Beschleunigungsoperationseinheit 5, eine Bremsoperationseinheit 6 und eine Gangschaltoperationseinheit 7 in einem Zustand bereitgestellt, in dem diese einem Sitz 2b eines Fahrers als der Benutzer gegenüberliegen. Die Lenkeinheit 4 ist zum Beispiel ein Griff, der von einem Armaturenbrett hervorsteht, die Beschleunigungsoperationseinheit 5 ist zum Beispiel ein Beschleunigerpedal, das sich unter den Füßen des Fahrers befindet, die Bremsoperationseinheit 6 ist zum Beispiel ein Bremspedal, das sich unter den Füßen des Fahrers befindet, und die Gangschaltoperationseinheit 7 ist zum Beispiel ein Schalthebel, der aus einer Mittelkonsole hervorsteht. Unterdessen sind die Lenkeinheit 4, die Beschleunigungsoperationseinheit 5, die Bremsoperationseinheit 6 und die Gangschaltoperationseinheit 7 nicht darauf beschränkt.
Zusätzlich ist in dem Fahrzeuginnenraum 2a eine Monitoreinrichtung 10 mit einem Anzeigebildschirm 8 bereitgestellt. Der Anzeigebildschirm 8 ist zum Beispiel durch eine Flüssigkristallanzeige (LCD) oder eine organische elektrolumineszente Anzeige (OELD) konfiguriert. Zusätzlich ist der Anzeigebildschirm 8 mit einer transparenten Operationseingabeeinheit 9 abgedeckt. Die Operationseingabeeinheit 9 ist zum Beispiel ein berührungsempfindliches Feld. Der Benutzer kann ein Bild, das auf dem Anzeigebildschirm 8 angezeigt wird, durch die Operationseingabeeinheit 9 betrachten. Zusätzlich kann der Benutzer eine Operationseingabe durch Betätigen, das heißt Berühren, Drücken oder Bewegen, der Operationseingabeeinheit 9 mit zum Beispiel dem Finger an einer Position, die dem Bild entspricht, das auf dem Anzeigebildschirm 8 angezeigt wird, ausführen. Die Monitoreinrichtung 10 ist zum Beispiel in dem Mittelabschnitt des Armaturenbretts in der Fahrzeugbreitenrichtung des Armaturenbretts, das heißt in der Links-/ Rechts-richtung installiert. Zusätzlich kann die Monitoreinrichtung 10 eine Operationseingabeeinheit zusätzlich zu dem berührungsempfindlichen Feld umfassen. Zum Beispiel kann die Monitoreinrichtung 10 mit einem Schalter, einer Wählvorrichtung, einem Joystick, oder einer Drucktaste als eine andere Operationseinheit bereitgestellt sein. Die Monitoreinrichtung 10 kann ebenso als zum Beispiel ein Navigationssystem oder ein Audiosystem verwendet werden.
Zusätzlich, wie in 1 und 2 dargestellt ist, ist in diesem Ausführungsbeispiel das Fahrzeug 1 zum Beispiel ein Vierradfahrzeug und umfasst ein linkes und rechtes Vorderrad 3F und ein linkes und rechtes Hinterrad 3R. Zusätzlich wird der Reifenwinkel der Vorderräder 3F als Reaktion auf eine Operation der Lenkeinheit 4 geändert. Wie in 3 dargestellt ist, umfasst das Fahrzeug 1 ein Lenksystem 12, das zumindest zwei Räder 3 lenkt. Das Lenksystem 12 umfasst ein Stellglied 12a und einen Drehmomentsensor 12b. Das Lenksystem 12 wird zum Beispiel durch eine elektronische Steuerungseinheit (ECU) 14 elektronisch gesteuert und betätigt das Stellglied 12a. Das Lenksystem 12 ist zum Beispiel eine elektrische Servolenkung oder ein Steer-by-Wire-System (SBW-System). Das Lenksystem 12 unterstützt eine Lenkkraft durch Aufbringen eines Drehmoments, das heißt eines Unterstützungsdrehmoments, auf die Lenkeinheit 4 durch das Stellglied 12a, oder lenkt die Räder 12 durch das Stellglied 12a. In diesem Fall kann das Stellglied 12a ein Rad 3 lenken oder kann mehrere Fahrzeugräder 3 lenken. Zusätzlich erfasst der Drehmomentsensor 12b zum Beispiel das Drehmoment, das durch den Fahrer auf die Lenkeinheit 4 aufgebracht wird.
Zusätzlich ist in diesem Ausführungsbeispiel, wie in 2 dargestellt ist, das Fahrzeug 1 mit einer Abbildungseinheit 15 (hier vier Abbildungseinheiten 15a bis 15d) bereitgestellt, die die periphere Umgebung des Fahrzeugs 1 abbildet. Jede Abbildungseinheit 15 ist eine Abbildungseinrichtung, die ein Abbildungselement wie etwa eine Ladungskopplungseinrichtung (CCD, „charge coupled device“) oder einen CMOS-Bildsensor (CIS) umfasst, und kann ein Bild, in dem die periphere Umgebung aufgenommen wird, durch das Abbildungselement aufnehmen. Jede Abbildungseinheit 15 kann Bilddaten bei einer vorbestimmten Rahmenrate ausgeben.
In diesem Ausführungsbeispiel ist die Abbildungseinheit 15a an einem vorderen Ende 2c der Fahrzeugkarosserie 2 (zum Beispiel einem Frontgrill) bereitgestellt. Die Abbildungseinheit 15a kann ein Bild der peripheren Umgebung in der vorderen Richtung des Fahrzeugs 1 aufnehmen. Jedoch wird die Richtung, in der der Fahrer, der in dem Sitz 2b sitzt, der vorderen Seite gegenübersteht, das heißt die Fahrzeugfrontscheibenseite aus der Sicht des Fahrers, als die Frontrichtung des Fahrzeugs 1 und die Frontseite der Fahrzeugkarosserie 2 bezeichnet. Die Abbildungseinheit 15b ist auf einem linken Ende 2d der Fahrzeugkarosserie 2 bereitgestellt, genauer an einem linken Türspiegel 2g. Die Abbildungseinheit 15c ist an einem hinteren Ende 2e der Fahrzeugkarosserie 2 bereitgestellt, genauer an einem Wandabschnitt unter einer Kofferraumklappe 2h. Die Abbildungseinheit 15c kann ein Bild der peripheren Umgebung in der hinteren Richtung des Fahrzeugs 1 aufnehmen. Die Abbildungseinheit 15d ist an einem rechten Ende 2f der Fahrzeugkarosserie 2 bereitgestellt, genauer an einem rechten Türspiegel 2g. Die Abbildungseinheit 15d kann ein Bild der peripheren Umgebung in die rechte Richtung des Fahrzeugs aufnehmen.
Die periphere Umgebung bedeutet hier die Situation um das Fahrzeugs 1 herum. In einem Beispiel umfasst die periphere Umgebung die Straßenoberfläche um das Fahrzeug 1 herum. Zusätzlich, solange jede Abbildungseinheit 15 ein Bild ausgeben kann, in dem die periphere Umgebung des Fahrzeugs 1 aufgenommen wird, sind die Konfiguration für jede Abbildungseinheit 15, die Anzahl von Abbildungseinheiten 15, die Region, an der jede Abbildungseinheit 15 installiert ist, und die Richtung jeder Abbildungseinheit 15 nicht auf die vorstehende Beschreibung beschränkt. Die Bereiche, die durch die mehreren Abbildungseinheiten 15 aufgenommen werden können, könnten einander überlappen oder könnten sich nicht überlappen.
Wie in 3 dargestellt ist, sind in dem Anzeigesteuerungssystem 100 die Monitoreinrichtung 10, ein Beschleunigungssensor 13, die elektronische Steuerungseinheit (ECU) 14, ein Bremssystem 18, ein Lenkwinkelsensor 19, ein Beschleunigersensor 20, ein Schaltsensor 21 und ein Raddrehzahlsensor 22 über ein fahrzeugseitiges Netzwerk 23 miteinander elektrisch verbunden. Das fahrzeugseitige Netzwerk 23 ist zum Beispiel als ein Steuerungsbereichsnetzwerk (CAN, „controller area network“) konfiguriert. Die ECU 14 kann zum Beispiel das Bremssystem 18 durch Senden eines Steuerungssignals über das fahrzeugeigene Netzwerk 23 steuern. Zusätzlich kann die ECU 14 Erfassungsergebnisse von zum Beispiel einem Drehmomentsensor 12b, dem Beschleunigungssensor 13, einem Bremssensor 18b, dem Lenkwinkelsensor 19, dem Beschleunigersensor 20, dem Schaltsensor 21 und dem Raddrehzahlsensor 22 über das fahrzeugseitige Netzwerk 23 empfangen. Zusätzlich kann die ECU 14 ein Anweisungssignal von zum Beispiel der Operationseingabeeinheit 9 empfangen. Die ECU 14 ist ein Beispiel der Anzeigesteuerungseinrichtung.
Hier werden Hauptmerkmale der Anzeigesteuerungseinrichtung beschrieben.
Die Anzeigesteuerungseinrichtung zeigt ein Bild, das durch Abbilden der peripheren Umgebung erhalten wird, auf dem Anzeigebildschirm 8 an. 4 ist eine Ansicht, die die beispielhafte Anzeige des Anzeigebildschirms 8 darstellt. In diesem Beispiel wird ein Bild, das durch die Abbildungseinheit 15a beschafft wird und in dem die periphere Umgebung in der vorderen Richtung des Fahrzeugs 1 aufgenommen ist, auf dem Anzeigebildschirm 8 angezeigt. Auf dem Anzeigebildschirm 8 sind eine Linie 201, die das vordere Ende 2c des Fahrzeugs 1 angibt, zwei Linien 202, die von dem vorderen Ende 2c der Fahrzeugkarosserie 2 um eine vorbestimmte Entfernung entfernt sind, zwei Linien 203, die Kurse angeben, entlang denen das rechte und linke Ende 2d und 2f der Fahrzeugkarosserie 2 fortfahren, wenn das Fahrzeug 1 geradeaus fährt, eine Linie 204, die einen Kurs angibt, entlang dem die Mitte der Fahrzeugkarosserie 2 passiert, wenn das Fahrzeug 1 geradeaus fährt, und zwei Anzeigeobjekte 205, die vorhergesagte Kurse des linken und rechten vorderen Rades 3f angeben, auf dem Bild, in dem die periphere Umgebung in die vordere Richtung des Fahrzeug 1 aufgenommen ist, überlagert. Wie in 4 dargestellt ist, sind die Anzeigeobjekte 205 zum Beispiel Rahmenlinien mit einer Breite entsprechend der Breite von Reifen. Nachstehend werden die entsprechenden Linien 201 bis 204 und die Anzeigeobjekte 205 als Hilfsinformationen bezeichnet.
In dem Zustand von 4 kann die Anzeigesteuerungseinrichtung eine Operationseingabe zum Designieren bzw. Bezeichnen eines Punktes auf dem Bild, das angezeigt wird, über die Operationseingabeeinheit 9 empfangen. Der Punkt auf dem Bild ist mit anderen Worten eine Position auf dem Bild und Koordinatenwerte auf dem Bild. Wenn zum Beispiel der Fahrer einen Punkt 301 berührt, zeigt die Anzeigesteuerungseinrichtung eine Markierung 401 an dem Punkt 301 an.
5 ist eine Ansicht, die das Anzeigebeispiel des Anzeigebildschirms 8 in einem Zustand darstellt, in dem die Markierung 401 angezeigt wird. Die Markierung 401 ist hier ein Anzeigeobjekt mit einer runden Rahmenlinie.
Die Markierung 401 ist ein dediziertes Anzeigeobjekt, das im Voraus vorbereitet ist. Die Anzeigeform der Markierung 401 (Form, Farbe und Größe) kann beliebig entworfen werden. Die Markierung 401 dient zum Angeben eines Ziels, das sich an dem Punkt 301 befindet, und dient mit anderen Worten zum Markieren des Ziels, das sich an dem Punkt 301 befindet, auf dem Anzeigebildschirm 8. Somit ist in einem Beispiel die Markierung 401 ein Anzeigeobjekt, das verarbeitet wird, um durchscheinend zu sein, um zu ermöglichen, dass das Ziel, das sich an dem Punkt 301 befindet, durch die Markierung 401 sichtbar ist. Die Markierung 401 kann ein Anzeigeobjekt mit nur einer Rahmenlinie sein. Zusätzlich ist die Form der Markierung 401 zum Beispiel eine runde Form, eine rechteckige Form oder eine Flaggenform. Zusätzlich kann die Anzeigesteuerungseinrichtung verschiedene Anzeigeformen der Markierung 401 dem Benutzer zur Auswahl vorschlagen. Die Anzeigesteuerungseinrichtung kann die ausgewählte Anzeigeform der Markierung 401 an dem Punkt 301 anzeigen.
Wenn der Fahrer das Fahrzeug 1 fährt, nachdem die Markierung 401 angezeigt wird, variiert die periphere Umgebung relativ mit Bezug auf das Fahrzeug 1 gemäß der Bewegung des Fahrzeugs 1. Die Anzeigesteuerungseinrichtung beschafft periodisch Bilder und aktualisiert sequentiell den Anzeigebildschirm 8 mit den beschafften Bildern. Das heißt, nachdem die periphere Umgebung geändert wird, aktualisiert die Anzeigesteuerungseinrichtung das Bild auf dem Anzeigebildschirm 8 in ein Bild, in dem die geänderte periphere Umgebung aufgenommen wird.
6 ist eine Ansicht, die das Anzeigebeispiel des Anzeigebildschirms 8 nach einer Aktualisierung darstellt. Die Anzeigesteuerungseinrichtung spezifiziert eine Position, an der sich das Ziel, das sich an dem Punkt 301 in dem Bild von 4 befindet, in dem Bild nach einer Aktualisierung befindet, und zeigt die Markierung 401 an der spezifizierten Position an. Zum Beispiel zeigt die Anzeigesteuerungseinrichtung die Markierung 401 an einem Punkt an, an dem sich ein bestimmtes Ziel (zum Beispiel ein Felsen) in einem Bild befindet, in dem die periphere Umgebung zu einem bestimmten Zeitpunkt aufgenommen ist. Dann, wenn die Position, an der sich das Ziel befindet, in dem Bild nach einer Aktualisierung, bei der die periphere Umgebung zu einem nachfolgenden Zeitpunkt aufgenommen wird, bewegt wird, veranlasst die Anzeigesteuerungseinrichtung, dass die Markierung 401 der Position, an der sich das Ziel befindet, folgt. Der Fahrer ist dazu in der Lage, ein Ziel, das der Fahrer beachtet, auf dem Anzeigebildschirm 8 zu bezeichnen, wodurch ermöglicht wird, dass die Markierung 401 an einer Position, an der das Ziel angezeigt wird, angezeigt wird. Zusätzlich, da die Markierung 401 der Position, an der sich das Ziel befindet, folgt, wenn die Position, an der sich das Ziel befindet, aufgrund einer Fahrt bewegt wird, verliert der Benutzer das Ziel auf dem Anzeigebildschirm 8 nicht aus den Augen. Das heißt, die Anzeigesteuerungseinrichtung des Ausführungsbeispiels kann das Ziel, das der Benutzer beachtet, auf eine einfach verständliche Weise anzeigen.
Zusätzlich kann der Fahrer auf Hilfsinformationen zum Lenken Bezug nehmen. Wenn die Anzeigesteuerungseinrichtung Hilfsinformationen anzeigt, kann der Fahrer die positionelle Beziehung zwischen dem Ziel, das der Fahrer beachtet, und der momentanen Position des Fahrzeugs 1 und die positionelle Beziehung zwischen dem Ziel, das der Fahrer beachtet, und der vorhergesagten Position des Fahrzeugs 1 einfach begreifen. Zusätzlich zeigt die Anzeigesteuerungseinrichtung die Hilfsinformationen nicht notwendigerweise an. Zusätzlich könnte die Anzeigesteuerungseinrichtung einen Teil der Hilfsinformationen nicht anzeigen. Zusätzlich könnte die Anzeigesteuerungseinrichtung ein Umschalten zwischen einem Anzeigen und Nichtanzeigen der Hilfsinformationen gemäß einer Benutzeroperationseingabe durchführen.
Zusätzlich kann die Anzeigesteuerungseinrichtung unterschiedliche Elemente von Informationen parallel auf dem Anzeigebildschirm 8 anzeigen. 7 ist eine Ansicht, die ein anderes Anzeigebeispiel des Anzeigebildschirms 8 darstellt. In 7 wird ein Bild, das durch die Abbildungseinheit 15a beschafft wird und in dem die periphere Umgebung in die vordere Richtung des Fahrzeugs 1 aufgenommen ist, in einem Bereich 81 des Anzeigebildschirms 8 in der gleichen beispielhaften Form, die in 4 bis 6 dargestellt ist, angezeigt. Zusätzlich wird ein Bild, das durch die Abbildungseinheit 15b beschafft wird und in dem die periphere Umgebung in die linke Richtung des Fahrzeugs 1 aufgenommen ist, in einem Bereich 82 des Anzeigebildschirms 8 angezeigt. Zusätzlich wird ein Bild, das durch die Abbildungseinheit 15d durch Abbilden der peripheren Umgebung in die rechte Richtung des Fahrzeugs 1 beschafft wird, in einem Bereich 83 des Anzeigebildschirms 8 angezeigt. Zusätzlich wird ein Bild, das die Neigung des Fahrzeugs 1 in die Links-Rechts-Richtung zeigt, in einem Bereich 84 des Anzeigebildschirms 8 angezeigt. Die Neigung des Fahrzeugs 1 relativ zu der Links-Rechts-Richtung wird basierend auf zum Beispiel einem Erfassungswert des Beschleunigungssensors 13 berechnet.
Beschreibungen werden wieder mit Bezug auf 3 vorgenommen. Die ECU 14 umfasst zum Beispiel eine zentrale Verarbeitungseinheit (CPU) 14a, einen Festwertspeicher (ROM) 14b, einen Direktzugriffspeicher (RAM) 14c, eine Anzeigesteuerung 14d und eine SSD 14e (ein Solid-State-Laufwerk und einen Flashspeicher). Die CPU 14a steuert das gesamte Fahrzeug 1. Die CPU 14a kann ein Programm lesen, das in einer nichtflüchtigen Speichereinrichtung wie etwa dem ROM 14b installiert und gespeichert ist, und kann eine Berechnungsverarbeitung gemäß dem Programm ausführen. Der RAM 14c speichert vorübergehend verschiedene Arten von Daten, die für die Berechnung der CPU 14a verwendet werden. Zusätzlich führt die Anzeigesteuerung 14d zum Beispiel eine Bildverarbeitung unter Verwendung eines Bildes, das von jeder Abbildungseinheit 15 beschafft wird, und eine Verarbeitung (zum Beispiel Synthese) eines Bildes, das auf dem Anzeigebildschirm 8 angezeigt wird, unter Berechnungsverarbeitungen in der ECU 14 aus. Die SSD 14e ist eine wiederbeschreibbare, nichtflüchtige Speichereinheit und kann Daten speichern, auch wenn die ECU 14 abgeschaltet ist. Zusätzlich können die CPU 14a, der ROM 14b und der RAM 14c zum Beispiel in dem gleichen Gehäuse integriert sein. Zusätzlich kann die ECU anstelle der CPU 14a einen anderen logischen Operationsprozessor oder eine Logikschaltung wie etwa einen Digitalsignalprozessor (DSP) verwenden. Zusätzlich kann anstelle der SSD 14e ein Festplattenlaufwerk (HDD) installiert sein und die SSD 14d und die HDD können separat von der ECU 14 bereitgestellt sein.
8 ist ein Blockdiagramm, das eine funktionale Konfiguration der ECU 14 gemäß dem Ausführungsbeispiel darstellt. Die ECU 14 umfasst hauptsächlich eine Empfangseinheit 141 und eine Anzeigesteuerungseinheit 142.
Die Empfangseinheit 141 kann eine Operationseingabe zum Designieren bzw. Bezeichnen eines Punktes auf einem Bild, das auf dem Anzeigebildschirm 8 angezeigt wird, die in die Operationseingabeeinheit 9 eingegeben wird, empfangen. Zusätzlich kann die Empfangseinheit 141 eine Operationseingabe zum Freigeben der Anzeige der Markierung 401, die in die Operationseingabeeinheit 9 eingegeben wird, empfangen.
Irgendein Eingabeverfahren kann als ein Verfahren zum Eingeben der Operationseingabe zum Freigeben der Anzeige der Markierung 401 angewendet werden. Wenn zum Beispiel die Markierung 401 berührt wird, während die Markierung 401 angezeigt wird, erkennt die Empfangseinheit 141 die Berührung als eine Operationseingabe zum Freigeben der Anzeige der Markierung 401.
Nachstehend wird die Operationseingabe zum Designieren des Punktes auf dem Bild als eine Markierungsanweisung bezeichnet. Zusätzlich wird die Operationseingabe zum Freigeben der Anzeige der Markierung 401 als eine Anzeigefreigabeanweisung bezeichnet.
Die Anzeigeverarbeitungseinheit 142 zeigt ein Bild, das die periphere Umgebung zeigt, auf dem Anzeigebildschirm 8 an.
Welches der Bilder, das von den mehreren Abbildungseinheiten 15 erhalten wird, auf dem Anzeigebildschirm 8 anzuzeigen ist, kann beliebig entworfen werden. Zum Beispiel wählt die Anzeigeverarbeitungseinheit 142 eines der Bilder, die von den entsprechenden Abbildungseinheiten 15 erhalten werden, basierend auf einer Operationseingabe von der Operationseingabeeinheit 9 oder gemäß voreingestellten Inhalten aus. Zusätzlich zeigt die Anzeigeverarbeitungseinheit 142 das ausgewählte Bild auf dem Anzeigebildschirm 8 an. Wenn zum Beispiel eine Betriebsart zum Anzeigen eines Bildes einer Szene vor dem Fahrzeug 1 ausgewählt oder voreingestellt ist, wählt die Anzeigeverarbeitungseinheit 142 ein Bild, das von der Abbildungseinheit 15a erhalten wird, aus und zeigt dieses an.
Zusätzlich kann die Anzeigeverarbeitungseinheit 142 ein Bild von der Abbildungseinheit 15 auf dem Anzeigebildschirm 8 verarbeiten und anzeigen. Die Verarbeitung umfasst ein Zuschneiden, ein Maskieren, ein Zusammensetzen von mehreren Bildern, eine Filterverarbeitung von manchen oder allen Bildern, ein Anzeigen von irgendeinem Anzeigeobjekt zusätzlich zu den vorstehend erwähnten Objekten, eine Korrektur und eine Betrachtungspunktumwandlung. Das Zusammensetzen von mehreren Bildern ist zum Beispiel eine nahtlose Verbindung eines Bildes, das durch die Abbildungseinheit 15a beschafft wird und in dem die periphere Umgebung in die vordere Richtung des Fahrzeugs 1 aufgenommen ist, und von Bildern, die durch die Abbildungseinheit 15b und die Abbildungseinheit 15d beschafft werden, und in denen die peripheren Umgebungen in die linke und rechte Richtung des Fahrzeugs 1 aufgenommen werden. Die Korrektur ist zum Beispiel eine Verzerrungskorrektur oder eine Gammakorrektur. In einem Beispiel ist eine Betrachtungspunktumwandlung eine Erzeugung eines Vogelperspektivenbildes von dem Bild, das durch jede Abbildungseinheit 15 beschafft wird.
Nachstehend, soweit es nicht anders spezifiziert ist, umfasst ein Bild nicht nur ein unverarbeitetes Bild, sondern ebenso ein verarbeitetes Bild. Das Bild, das von jeder Abbildungseinheit 15 erhalten wird, kann zu irgendeinem Zeitpunkt verarbeitet werden, bevor dieses auf dem Anzeigebildschirm 8 angezeigt wird.
Zusätzlich zeigt die Anzeigeverarbeitungseinheit 142 die Markierung 401 an einem designierten Punkt an, wenn eine Markierungsanweisung durch die Empfangseinheit 141 empfangen wird, während ein Bild auf dem Anzeigebildschirm 8 angezeigt wird. Zusätzlich, wenn eine Anzeigefreigabeanweisung durch die Empfangseinheit 141 empfangen wird, während die Markierung 401 angezeigt wird, beendet die Anzeigeverarbeitungseinheit 142 die Anzeige der Markierung 401.
Zusätzlich zeigt die Anzeigeverarbeitungseinheit 142 Hilfsinformationen auf einem Bild an. Die Hilfsinformationen werden durch eine Hilfsinformationsberechnungseinheit 143, die später beschrieben wird, berechnet.
Zusätzlich beschafft die Anzeigeverarbeitungseinheit 142 sequentiell Bilder, die von der Abbildungseinheit 15 ausgegeben werden, bei einer vorbestimmten Rahmenrate.
Die Anzeigeverarbeitungseinheit 142 umfasst weiterhin die Hilfsinformationsberechnungseinheit 143, eine Spezifizierungseinheit 144 und eine Aktualisierungseinheit 145.
Die Aktualisierungseinheit 145 aktualisiert ein Bild, das auf dem Anzeigebildschirm 8 angezeigt wird, zu einem Bild, das sequentiell von der Abbildungseinheit 15 zu beschaffen ist. Gleichzeitig kann sich die Aktualisierungsrate von einer Rahmenrate, bei der die Abbildungseinheit 15 ein Bild ausgibt, unterscheiden.
Die Aktualisierungseinheit 145 aktualisiert die Anzeigeposition der Markierung 401 beim Aktualisieren des Bildes, das auf dem Anzeigebildschirm 8 angezeigt wird. Die Anzeigeposition der Markierung 401 auf dem aktualisierten Bild wird durch die Spezifizierungseinheit 144 spezifiziert. Zusätzlich aktualisiert die Aktualisierungseinheit 145 Hilfsinformationen beim Aktualisieren des Bildes.
Die Spezifizierungseinheit 144 spezifiziert eine Position, an der sich das Ziel, das sich an dem designierten Punkt befindet, in dem Bild, das durch die Aktualisierungseinheit 145 aktualisiert wird, befindet, das heißt das Bild, das die periphere Umgebung des Fahrzeugs 1 zu einem späteren Zeitpunkt als dem Zeitpunkt, wenn eine Eingabe zum Designieren des Punktes empfangen wird, zeigt. Zusätzlich informiert die Spezifizierungseinheit 144 die Aktualisierungseinheit 145 über die spezifizierte Position.
Zu dieser Zeit bezieht sich in dem Ausführungsbeispiel das Ziel, das sich an dem designierten Punkt befindet, auf die Situation der peripheren Umgebung, die an dem designierten Punkt auf dem Bild aufgenommen wird. Die Spezifizierungseinheit 144 könnte nicht spezifizieren, was sich an dem designierten Punkt befindet. Auch wenn sich zum Beispiel eine Pfütze an dem designierten Punkt befindet, könnte die Spezifizierungseinheit 144 das Ziel, das sich an dem designierten Punkt befindet, nicht als die Pfütze identifizieren.
Nachstehend wird das Ziel, das sich an dem designierten Punkt durch die Markierungsanweisung befindet, als ein designiertes Ziel bezeichnet. Zusätzlich wird die Position auf dem Bild, an dem sich das designierte Ziel befindet, als die Anzeigeposition des designierten Ziels bezeichnet.
Irgendein Verfahren kann als ein Verfahren des Spezifizierens der Anzeigeposition des designierten Ziels eingesetzt werden. In einem Beispiel berechnet die Spezifizierungseinheit 144 einen Merkmalsbetrag um den designierten Punkt herum und speichert diesen. Die Spezifizierungseinheit 144 berechnet den Merkmalsbetrag von jedem Bereich auf dem Bild nach einem Aktualisieren und sucht nach einer Position mit einem Merkmalsbetrag, der mit dem gespeicherten Merkmalsbetrag übereinstimmt oder diesem am nächsten ist. Zusätzlich spezifiziert die Spezifizierungseinheit 144 die Position, die durch Suchen erhalten wird, als die Anzeigeposition des designierten Ziels.
Der Merkmalsbetrag ist ein numerischer Wert des Merkmals eines Bildes. Der Berechnungsalgorithmus des Merkmalsbetrags ist beliebig. Zusätzlich ist der Bereich, innerhalb dem der Merkmalsbetrag beschafft wird, beliebig. Zum Beispiel berechnet die Spezifizierungseinheit 144 den Merkmalsbetrag von Daten von insgesamt 9 Pixel, die in einem Bereich umfasst sind, der um ein Pixel, das sich an dem designierten Punkt befindet, zentriert ist, das heißt ein rechteckiger Bereich mit einer Größe von drei Pixel in der vertikalen Richtung und drei Pixel in der horizontalen Richtung.
Zusätzlich kann die Spezifizierungseinheit 144 einen Variationsbetrag in dem Zustand des Fahrzeugs 1 verwenden, um eine Suchgeschwindigkeit und Genauigkeit basierend auf dem Merkmalsbetrag zu verbessern. Zum Beispiel berechnet die Spezifizierungseinheit 144 einen Bewegungsbetrag des Fahrzeugs 1 und/oder einen Variationsbetrag in der Richtung des Fahrzeugs 1 als den Variationsbetrag in dem Zustand des Fahrzeugs 1 basierend auf erfassten Signalen von zum Beispiel dem Lenkwinkelsensor 19, dem Beschleunigersensor 20, dem Raddrehzahlsensor 22, dem Beschleunigungssensor 13, einem (nicht dargestellten) GPS und Ähnlichem. Zusätzlich berechnet die Spezifizierungseinheit 144 einen Variationsbetrag in der Position der Abbildungseinheit 15 und einen Variationsbetrag in der Optikachsenrichtung der Abbildungseinheit 15 von dem Variationsbetrag in dem Zustand des Fahrzeugs 1. Zusätzlich schätzt die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels basierend auf dem berechneten Variationsbetrag in der Position der Abbildungseinheit 15 und dem berechneten Variationsbetrag in der Optikachsenrichtung der Abbildungseinheit 15 und sucht nach der geschätzten Position in Priorität.
In einem anderen Beispiel kann die Spezifizierungseinheit 144 eine Position basierend auf nur dem Variationsbetrag in dem Zustand des Fahrzeugs 1 spezifizieren. Das heißt die Spezifizierungseinheit 144 berechnet den Variationsbetrag in der Position der Abbildungseinheit 15 und den Variationsbetrag in der Optikachsenrichtung der Abbildungseinheit 15 und spezifiziert die Anzeigeposition des designierten Ziels basierend auf dem berechneten Variationsbetrag in der Position der Abbildungseinheit 15 und dem berechneten Variationsbetrag in der Optikachsenrichtung der Abbildungseinheit 15.
In einem weiteren Beispiel kann die Spezifizierungseinheit 144 die Position des designierten Ziels in der peripheren Umgebung beschaffen. Zum Beispiel umfasst das Fahrzeug 1 eine Einrichtung, die die Entfernung zu dem Ziel und die Ausrichtung, in der sich das Ziel befindet, messen kann, wie etwa einen Laserbereichsscanner, ein Sonar oder eine Stereokamera. Die Abbildungseinheit 15 kann eine Stereokamera sein. Die Spezifizierungseinheit 144 beschafft und speichert die Entfernung zu dem Ziel, das sich an der designierten Position befindet, und die Ausrichtung, in der sich das Ziel befindet, wenn eine Eingabe zum Designieren eines Punktes durch die Operationseingabeeinheit 9 empfangen wird. Zusätzlich berechnet die Spezifizierungseinheit 144 eine Position, an der sich das Ziel, das sich an der designierten Position befindet, in dem Bild, das durch die Aktualisierungseinheit 145 aktualisiert wird, befindet, basierend auf der gespeicherten Entfernung und Ausrichtung und dem Variationsbetrag in dem Zustand des Fahrzeugs 1.
Auf diese Weise kann die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels durch irgendein Verfahren spezifizieren. In der Beschreibung des Ausführungsbeispiels spezifiziert die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels basierend auf dem Merkmalsbetrag.
Zusätzlich speichert in diesem Ausführungsbeispiel die Spezifizierungseinheit 144 den Merkmalsbetrag der spezifizierten Position in einem überschreibenden Format, um den Merkmalsbetrag zum Suchen zu einem nächsten Aktualisierungszeitpunkt zu verwenden. Die positionelle Beziehung zwischen dem designierten Ziel und dem Fahrzeug 1 wird durch das Fahren des Fahrzeugs 1 sequentiell geändert. Deshalb kann der Merkmalsbetrag der Anzeige des designierten Ziels gemäß einem Zeitpunkt, an dem das Bild aufgenommen wird, langsam geändert werden. Die Spezifizierungseinheit 144 speichert mit Bezug auf den Merkmalsbetrag der Anzeigeposition des designierten Ziels einen Merkmalsbetrag, der von dem letzten Bild erhalten wird, in einem überschreibenden Format, und verwendet den Merkmalsbetrag zum Suchen zu dem nächsten Aktualisierungszeitpunkt, wodurch die Wahrscheinlichkeit des erfolgreichen Spezifizierens und die Spezifizierungsgenauigkeit verbessert werden.
Gleichzeitig könnte die Spezifizierungseinheit 144 den gespeicherten Merkmalsbetrag nicht notwendigerweise aktualisieren.
Die Hilfsinformationsberechnungseinheit 143 berechnet Hilfsinformationen, wann immer ein Bild aktualisiert wird. Irgendein Verfahren kann als das Berechnungsverfahren der Hilfsinformationen eingesetzt werden.
In einem Beispiel stellt die Hilfsinformationsberechnungseinheit 143 einen virtuellen Raum ein, in dem das Fahrzeug 1 von einer Position über der Fahrzeugkarosserie 2 aus der Vogelperspektive betrachtet wird. In dem virtuellen Raum wird die Draufsicht der Fahrzeugkarosserie 2 eingestellt. Wie in 9 dargestellt ist, erzeugt die Hilfsinformationsberechnungseinheit 143 zuerst Hilfsinformationen auf einem virtuellen Raum 200. Die Hilfsinformationsberechnungseinheit 143 stellt in dem virtuellen Raum 200 eine Linie 211 an dem Ende 2c ein, stellt zwei Linien 212 mit vorbestimmten Entfernungswerten von dem Ende 2c ein, stellt Linien 213 auf den Erweiterungen an dem linken und rechten Ende 2d und 2f in der Vorwärtsrichtung des Fahrzeugs 1 ein und stellt eine Linie 214 auf der Mittellinie des linken und rechten Endes 2d und 2f ein. Zusätzlich beschafft die Hilfsinformationsberechnungseinheit 143 einen momentanen Lenkwinkel von dem Lenkwinkelsensor 19 und berechnet den Kurs, entlang dem das linke und rechte Vorderrad 3F fortfahren, wenn sich das Fahrzeug 1 bei dem beschafften Lenkwinkel vorwärtsbewegt. Zwei kreisförmige Bögen 216, die in 9 durch gestrichelte Linien dargestellt sind, zeigen die Kurse, entlang denen das linke und rechte Vorderrad 3F fortfahren. Die kreisförmigen Bögen 216 sind Abschnitte von kreisförmigen Spuren, entlang denen sich das linke und rechte Vorderrad 3F bewegt, wenn ein Fahren bei dem momentanen Lenkwinkel fortgesetzt wird. Die Hilfsinformationsberechnungseinheit 143 stellt in dem virtuellen Raum 200 Anzeigeobjekte 215 ein, die die Kurse darstellen, entlang denen das linke und rechte Vorderrad 3F bis zu einer Zeit nach einem Ablauf einer kurzen Zeit fortfahren, auf den Bögen, die durch die gestrichelten Linien dargestellt sind. Die Hilfsinformationsberechnungseinheit 143 berechnet Hilfsinformationen, die auf dem Bild auf dem Anzeigebildschirm 8 anzuzeigen sind, durch eine Betrachtungspunktumwandlung der Linien 211 bis 214 und der Anzeigeobjekte 215, die in dem virtuellen Raum 200 eingestellt sind.
Manche oder alle der Empfangseinheit 141, der Anzeigeverarbeitungseinheit 142, der Hilfsinformationsberechnungseinheit 143, der Spezifizierungseinheit 144 und der Aktualisierungseinheit 145 werden implementiert, wenn die CPU 14a, die als die ECU 14 konfiguriert ist, ein Programm ausführt, das in dem ROM 14b gespeichert ist. Manche oder alle der Empfangseinheit 141, der Anzeigeverarbeitungseinheit 142, der Hilfsinformationsberechnungseinheit 143, der Spezifizierungseinheit 144 und der Aktualisierungseinheit 145 können durch die Anzeigesteuerung 14d implementiert werden. Manche oder alle der Empfangseinheit 141, der Anzeigeverarbeitungseinheit 142, der Hilfsinformationsberechnungseinheit 143, der Spezifizierungseinheit 144 und der Aktualisierungseinheit 145 können durch eine Hardwareschaltung implementiert werden. Die Spezifizierungseinheit 144 speichert einen Merkmalsbetrag zum Beispiel in der SSD 14e oder dem RAM 14c.
Nachfolgend wird die Operation der Anzeigesteuerungseinrichtung des Ausführungsbeispiels, das wie vorstehend beschrieben konfiguriert ist, beschrieben. 10 ist ein Ablaufdiagramm, das eine beispielhafte Operation der Anzeigesteuerungseinrichtung gemäß dem Ausführungsbeispiel darstellt. Hier wird als ein Beispiel die Anzeigesteuerungseinrichtung unter der Annahme beschrieben, dass ein Bild, in dem die periphere Umgebung in der vorderen Richtung des Fahrzeugs 1 aufgenommen ist, auf dem Anzeigebildschirm 8 angezeigt wird, wie in den Anzeigebeispielen, die in 4 bis 6 dargestellt sind. Das heißt, in der Verarbeitung von 10 zeigt die Anzeigesteuerungseinrichtung ein Bild, das von der Abbildungseinheit 15a ausgegeben wird, auf dem Anzeigebildschirm 8 an.
Zuerst beschafft die Anzeigeverarbeitungseinheit 142 ein Bild, das von der Abbildungseinheit 15a ausgegeben wird (S1). Die Hilfsinformationsberechnungseinheit 143 berechnet Hilfsinformationen (S2). Die Anzeigeverarbeitungseinheit 142 überlagert die Hilfsinformationen auf das beschaffte Bild (S3) und zeigt das Bild, auf dem die Hilfsinformationen überlagert wurden, auf dem Anzeigebildschirm 8 an (S4).
Nachfolgend bestimmt die Anzeigeverarbeitungseinheit 142, ob eine Markierungsanweisung eingegeben wird oder nicht (S5). Wenn durch die Anzeigeverarbeitungseinheit 142 bestimmt ist, dass keine Markierungsanweisung eingegeben wird (S5: Nein), kehrt die Verarbeitung zurück zu S1. Das heißt, in S1 beschafft die Anzeigeverarbeitungseinheit 142 ein neues Bild von der Abbildungseinheit 15a.
Wenn bestimmt ist, dass die Markierungsanweisung eingegeben wird (S5: Ja), zeigt die Anzeigeverarbeitungseinheit 142 die Markierung 401 an dem designierten Punkt an (S6). In der Verarbeitung von S6 überlagert die Anzeigeverarbeitungseinheit 142 die Markierung 401 auf dem Bild, das auf dem Anzeigebildschirm 8 angezeigt wird. Die Spezifizierungseinheit 144 berechnet und speichert den Merkmalsbetrag der Anzeigeposition eines designierten Ziels (S7).
Nachfolgend beschafft die Anzeigeverarbeitungseinheit 142 ein neues Bild (S8). Das neue Bild, das durch die Verarbeitung von S8 beschafft wird, ist ein Bild, das durch Abbilden der peripheren Umgebung nach dem Zeitpunkt erhalten wird, an dem das Bild, das angezeigt wird, aufgenommen wurde.
Die Hilfsinformationsberechnungseinheit 143 berechnet Hilfsinformationen, die auf dem neuen Bild zu überlagern sind (S9). Die Spezifizierungseinheit 144 spezifiziert die Anzeigeposition des designierten Ziels in dem neuen Bild basierend auf dem gespeicherten Merkmalsbetrag (S10). Danach aktualisiert die Spezifizierungseinheit 144 den gespeicherten Merkmalsbetrag (S11). Das heißt, die Spezifizierungseinheit 144 speichert den Merkmalsbetrag der Anzeigeposition des designierten Ziels in dem neuen Bild in einem überschreibenden Format.
Die Aktualisierungseinheit 145 überlagert die Markierung 401 auf der spezifizierten Anzeigeposition (S12) und überlagert die Hilfsinformationen auf dem neuen Bild (S13), wodurch Anzeigeinhalte des Anzeigebildschirms 8 auf das neue Bild, auf dem die Hilfsinformationen und die Markierung 401 überlagert sind, aktualisiert werden (S14). Das heißt, die Aktualisierungseinheit 145 zeigt zusammen mit dem neuen Bild die Markierung 401 an der spezifizierten Anzeigeposition auf dem neuen Bild an. Zusätzlich kann die Aktualisierungseinheit 145 die Hilfsinformationen und die Markierung 401 nach einem Aktualisieren des Anzeigeinhalts des Anzeigebildschirms 8 zu dem neuen Bild überlagern.
Die Anzeigeverarbeitungseinheit 142 bestimmt, ob eine Anzeigefreigabeanweisung eingegeben wird oder nicht (S15). Wenn durch die Anzeigeverarbeitungseinheit 142 bestimmt ist, dass keine Anzeigefreigabeanweisung eingegeben wird (S15: Nein), kehrt die Verarbeitung zurück zu S8. Wenn durch die Anzeigeverarbeitungseinheit 142 bestimmt ist, dass die Anzeigefreigabeanweisung eingegeben wird (S15: Ja), kehrt die Verarbeitung zurück zu S1.
Auf diese Weise beschafft die Anzeigeverarbeitungseinheit 142 gemäß dem Ausführungsbeispiel ein Bild, das durch Abbilden der peripheren Umgebung des Fahrzeugs 1 zu einem bestimmten Zeitpunkt erhalten wird (S1), und, wenn eine Markierungsanweisung eingegeben wird (S5: Ja), zeigt die Markierung 401 an dem designierten Punkt durch die Markierungsanweisung an (S6). Danach beschafft die Anzeigeverarbeitungseinheit 142 ein Bild, das durch Abbilden der peripheren Umgebung nach dem Zeitpunkt, an dem das Bild, das durch die Verarbeitung von S1 beschafft wird, aufgenommen wurde, erhalten wird (S8). Die Spezifizierungseinheit 144 spezifiziert die Anzeigeposition des designierten Ziels in dem neuen Bild (S10). Die Aktualisierungseinheit 145 zeigt zusammen mit dem neuen Bild die Markierung 401 an der spezifizierten Anzeigeposition auf dem neuen Bild an (S12 und S14). Deshalb, da die Markierung 401 der Position folgt, an der sich das Ziel befindet, das durch den Benutzer designiert ist, kann die Anzeigesteuerungseinrichtung das Ziel, das der Benutzer beachtet, auf eine einfach verständliche Weise anzeigen.
Hier wurden Beschreibungen mit Bezug auf ein Beispiel vorgenommen, in dem eine Markierung 401 angezeigt wird. Die Anzeigesteuerungseinrichtung kann mehrere Markierungen 401 auf dem Anzeigebildschirm 8 anzeigen. Speziell kann mit der Verarbeitung von S6 oder mit der Verarbeitung von S14 zum Beispiel die Empfangseinheit 141 eine neue Markierungsanweisung empfangen, während eine Markierung 401 angezeigt wird. Die Anzeigeverarbeitungseinheit 142 fügt die Anzeige der Markierung 401 zu einem neuen Punkt, der durch eine neu eingegebene Markierungsanweisung designiert ist, durch Ausführen der Verarbeitung von S6 als Reaktion auf die neu eingegebene Markierungsanweisung hinzu. Das heißt, die Anzeigesteuerungseinrichtung zeigt die vorhandene Markierung 401 und die neue Markierung 401 auf dem Anzeigebildschirm 8 an. Danach beschafft die Anzeigeverarbeitungseinheit 142 ein Bild, das durch Abbilden der peripheren Umgebung nach dem Zeitpunkt erhalten wird, an dem das Bild, das angezeigt wird, aufgenommen wurde, und auf dem die vorhandene Markierung 401 und die neue Markierung 401 überlagert sind. Die Spezifizierungseinheit 144 spezifiziert jede einer Position, an der sich das Ziel, das sich an der Anzeigeposition der vorhandenen Markierung 401 befindet, in dem neu beschafften Bild befindet, und einer Position, an der sich das Ziel, das sich an der Anzeigeposition der neuen Markierung 401 befindet, in dem neu beschafften Bild befindet. Zusätzlich zeigt die Aktualisierungseinheit 145 das neue Bild an, zeigt die vorhandene Markierung 401 an der Position, an der sich das Ziel, das sich an der Anzeigeposition der vorhandenen Markierung 401 befindet, auf dem neu beschafften Bild befindet, an, und zeigt die neue Markierung 401 an der Position, an der sich das Ziel, das sich an der Anzeigeposition der neuen Markierung 401 befindet, auf dem neu beschafften Bild befindet, an. Auf diese Weise, da die Anzeigesteuerungseinrichtung die mehreren Markierungen 401 anzeigen kann und dafür sorgen kann, dass die entsprechenden Markierungen 401 den Positionen, an denen sich die entsprechenden Ziele befinden, entsprechend folgen, wird der Komfort des Benutzers verbessert. Wenn zum Beispiel der Benutzer mehrere Punkte markiert, die der Benutzer vermeiden will, oder Punkte, die der Benutzer auf der Route passieren will, können die entsprechenden Markierungen 401 eine Untersuchung der Route unterstützen.
Zusätzlich kann die Anzeigesteuerungseinrichtung die Anzeigeform von jeder Markierung 401 ändern, wenn die mehreren Markierungen 401 auf dem Anzeigebildschirm 8 angezeigt werden. Wie zum Beispiel in 11 dargestellt ist, besitzt eine Markierung 401a eine kreisförmige Form und besitzt eine andere Markierung 401b eine rechteckige Form. Dahingehend zeigt die Anzeigesteuerungseinrichtung unterschiedliche Formen von Anzeigeobjekten für die entsprechenden Markierungen 401 an und veranlasst, dass die Anzeigepositionen der Markierungen 401a und 401b den Positionen, an denen sich die einzelnen entsprechenden Ziele befinden, folgen. Deshalb, da der Benutzer ein Ziel, das der Benutzer vermeiden will, und ein Ziel, das der Benutzer auf der Route passieren will, voneinander unterscheiden und markieren kann, wird der Komfort des Benutzers weiter verbessert. Zusätzlich kann die Anzeigeverarbeitungseinheit 142 dem Benutzer mehrere Anzeigeobjekte präsentieren, um dem Benutzer zu ermöglichen, die Anzeigeform des Anzeigeobjekts für jede Markierung 401 auszuwählen.
Zusätzlich kann die Anzeigesteuerungseinrichtung dazu konfiguriert sein, eine Eingabe einer Anzeigefreigabeanweisung für jede Markierung 401 einzeln zu empfangen, wenn mehrere Markierungen 401 auf dem Anzeigebildschirm 8 angezeigt werden. Wenn zum Beispiel eine Eingabe empfangen wird, die eine der mehreren Markierungen 401, die angezeigt wird, berührt, erkennt die Empfangseinheit 141 die Eingabe als eine Eingabe einer Anweisung zum Freigeben der Anzeige der berührten Markierung 401. Dadurch führt die Aktualisierungseinheit 145 eine überlagerte Anzeige der berührten Markierung 401 von der Zeit an, wenn die Verarbeitung von S7 nachfolgend ausgeführt wird, nicht durch. Die Spezifizierungseinheit 144 kann den gespeicherten Merkmalsbetrag bezüglich des Ziels, das durch die Anzeigefreigabeanweisung designiert ist, löschen.
Zusätzlich kann die Anzeigesteuerungseinrichtung dazu konfiguriert sein, eine Eingabe einer Anweisung zum gemeinsamen Freigeben der Anzeige von allen Markierungen 401 zu empfangen. Zum Beispiel zeigt die Anzeigeverarbeitungseinheit 142 eine kollektive Löschtaste für den Anzeigebildschirm 8 an. Wenn eine Eingabe empfangen wird, die die kollektive Löschtaste berührt, erkennt die Empfangseinheit 141 die Eingabe als eine Anzeigefreigabeanweisung zum gemeinsamen Freigeben der Anzeige von allen Markierungen 401. Wenn die Anzeigefreigabeanweisung zum gemeinsamen Freigeben der Anzeige von allen Markierungen 401 durch die Empfangseinheit 141 empfangen wird, führt die Anzeigesteuerungseinrichtung die Verarbeitung von S1 aus.
Zusätzlich ist die Operationseingabeeinheit, die die Eingabe der Anzeigefreigabeanweisung empfängt, nicht nur auf das berührungsempfindliche Feld beschränkt. Die Anzeigesteuerungseinrichtung kann dazu konfiguriert sein, eine Eingabe der Anzeigefreigabeanweisung durch Betätigen irgendeiner Operationseingabeeinheit zu ermöglichen.
Zusätzlich ist die Freigabebedingung der Anzeige der Markierung 401 nicht nur auf die Eingabe der Anzeigefreigabeanweisung beschränkt. In einem Beispiel, wenn die Anzeigeposition des designierten Ziels von einem vorbestimmten Bereich in dem Anzeigebildschirm 8 abweicht oder wenn die Anzeigeposition des designierten Ziels sich innerhalb eines vorbestimmten Bereichs in dem Anzeigebildschirm 8 befindet, kann die Anzeigesteuerungseinrichtung die Anzeige der entsprechenden Markierung 401 freigeben.
Zusätzlich kann die Anzeigesteuerungseinrichtung eine Eingabe zum Designieren einer Spur auf dem Bild, das angezeigt wird, empfangen und kann ein lineares Anzeigeobjekt, das der designierten Spur folgt, anzeigen. Die Anzeigesteuerungseinrichtung veranlasst, dass das lineare Anzeigeobjekt einer Änderung in der peripheren Umgebung auf dem Anzeigebildschirm 8 folgt.
Irgendein Verwaltungsverfahren kann als das Spurverwaltungsverfahren eingesetzt werden. In einem Beispiel verwaltet die Anzeigesteuerungseinrichtung eine Spur als eine Gruppe von Punkten. Wie in 12 dargestellt ist, wenn der Benutzer den Finger auf dem berührungsempfindlichen Feld als die Operationseingabeeinheit 9 von einem Punkt 302 zu einem Punkt 305 über einen Punkt 303 und einen Punkt 304 zieht, erkennt die Empfangseinheit 141 eine Eingabe zum Designieren der Spur, die den Punkt 302 als einen Startpunkt und den Punkt 305 als einen Endpunkt aufweist und den Punkt 303 und den Punkt 304 passiert. Somit, wie in 13 dargestellt ist, zeigt die Verarbeitungseinheit 142 eine Linie, die den Punkt 302 und den Punkt 303 verbindet, eine Linie, die den Punkt 303 und den Punkt 304 verbindet, und eine Linie, die den Punkt 304 und den Punkt 305 verbindet, als lineare Anzeigeobjekte 402, die jeweils einer Spur folgen, an. Jede Linie, die die Punkte verbindet, kann eine gerade Linie oder eine gekrümmte Linie sein. Die gekrümmte Linie kann ein kreisförmiger Bogen oder eine quadratische Kurve sein. Wenn ein neues Bild beschafft wird, spezifiziert die Spezifizierungseinheit 144 eine Anzeigeposition, an der sich ein Ziel, das sich an jeder Position der Punkte 302 bis 305 befindet, auf einem neuen Bild befindet, und die Aktualisierungseinheit 145 erzeugt ein lineares Anzeigeobjekt, das der Spur auf dem neuen Bild folgt durch Verbinden von spezifizierten Anzeigepositionen unter Verwendung einer Linie.
Zusätzlich kann irgendein Verfahren als ein Verfahren des Beschaffens eines Satzes von Punkten, die eine Spur konfigurieren, eingesetzt werden. In einem Beispiel kann die Anzeigesteuerungseinrichtung den Startpunkt und den Endpunkt einer Spur als einen Satz von Punkten zum Konfigurieren der Spur verwalten. In einem anderen Beispiel kann die Anzeigesteuerungseinrichtung sequentiell Punkte erfassen, die der Finger eines Benutzers in einem konstanten Zeitintervall berührt, während der Benutzer den Finger gleiten lässt, und kann sequentiell erfasste Punkte als einen Satz von Punkten, die die Spur konfigurieren, beschaffen. In einem weiteren Beispiel kann die Anzeigesteuerungseinrichtung sequentiell mehrere Punkte auf der Spur an jeder konstanten Entfernung erfassen, und kann die sequentiell erfassten Punkte als einen Satz von Punkten, die die Spur konfigurieren, beschaffen. Die Anzahl von Punkten, die zu beschaffen sind, ist zum Beispiel 2 oder mehr.
Durch Konfigurieren der Anzeigesteuerungseinrichtung, so dass diese dazu in der Lage ist, eine Spur anzuzeigen, kann der Benutzer eine Spur, die der Benutzer passieren will, auf dem Anzeigebildschirm 8 zeichnen und kann ein Lenken durchführen, um zu veranlassen, dass das Fahrzeug 1 entlang der gezeichneten Spur fortfährt, und als ein Ergebnis wird der Komfort des Benutzers verbessert. Zusätzlich, wenn gleichzeitig Hilfsinformationen überlagert und angezeigt werden, kann der Benutzer ein Lenken durchführen, um zum Beispiel zu veranlassen, dass die gezeichnete Spur dem Anzeigeobjekt 205, das den erwarteten Kurs der Vorderräder 3F angibt, folgt. Ein Verfahren des Löschens der gezeichneten Spur kann beliebig entworfen werden. Die gezeichnete Spur könnte gelöscht werden, nachdem das Fahrzeug 1 die Route passiert hat, oder könnte nicht gelöscht werden. Zusätzlich kann die gezeichnete Spur von dem Abschnitt, der von einem vorbestimmten Bereich auf dem Anzeigebildschirm 8 abweicht, gelöscht werden.
Zusätzlich, wie in 14 veranschaulicht ist, kann die Anzeigesteuerungseinrichtung ein Vogelperspektivenbild auf dem Anzeigebildschirm 8 anzeigen. Zusätzlich, in einem Fall, in dem eine Operationseingabe einer Betriebsartumschaltung von dem Benutzer eingegeben wird, während das in 5 dargestellte Bild angezeigt wird, kann die Anzeigesteuerungseinrichtung das Bild, das auf dem Anzeigebildschirm 8 angezeigt wird, zu einem Vogelperspektivenbild, das in 14 dargestellt ist, umschalten. Die Anzeigeverarbeitungseinheit 142 erzeugt ein Vogelperspektivenbild durch eine Betrachtungspunktumwandlung und eine Zusammensetzung eines Bildes, das durch die Abbildungseinheit 15a aufgenommen wird, eines Bildes, das durch die Abbildungseinheit 15b aufgenommen wird, eines Bildes, das durch die Abbildungseinheit 15c aufgenommen wird, und eines Bildes, das durch die Abbildungseinheit 15d aufgenommen wird. In dem Beispiel von 14 ist zur Referenz eine gestrichelte Linie an dem Nahtabschnitt des Bildes von jeder Abbildungseinheit 15 angezeigt.
Zusätzlich, wenn die Markierung 401 vor einem Bildumschalten angezeigt wurde und sich ein designiertes Ziel auf dem Bild nach einem Umschalten befindet, kann die Anzeigesteuerungseinrichtung die Markierung 401 an der Position, an der sich das designierte Ziel auf dem Bild nach einem Umschalten befindet, anzeigen. In dem Beispiel von 14 wird die Markierung 401 auf dem Abschnitt, der durch die Abbildungseinheit 15a aufgenommen wird, in dem Vogelperspektivenbild angezeigt.
Die Anzeigeverarbeitungseinheit 142 kann ein Vogelperspektivenbild, auf dem die Markierung 401 überlagert ist, durch eine Betrachtungspunktumwandlung und Zusammensetzung erzeugen, nachdem die Markierung 401 auf dem Bild von der Abbildungseinheit 15 durch die Aktualisierungseinheit 145 überlagert ist. Zusätzlich, nach einem Erzeugen des Vogelperspektivenbildes, kann die Anzeigeverarbeitungseinheit 142 die Spezifizierungseinheit 144 veranlassen, die Anzeigeposition der Markierung 401 zu spezifizieren, und kann die Aktualisierungseinheit 145 veranlassen, die Markierung 401 auf dem Vogelperspektivenbild zu überlagen. Die Spezifizierungseinheit 144 kann die Anzeigeposition des designierten Ziels auf dem Vogelperspektivenbild spezifizieren und kann die Anzeigeposition des designierten Ziels auf mehreren Bildern, bevor das Vogelperspektivenbild erzeugt wird, spezifizieren.
Zusätzlich, wie in dem Anzeigebeispiel von 7 und in dem Anzeigebeispiel von 14, wenn Bilder von den mehreren Abbildungseinheiten 15 auf dem Anzeigebildschirm 8 direkt oder nach einem Verarbeiten angezeigt werden, kann die Spezifizierungseinheit 144 den Suchbereich nicht nur auf ein Bild von einer Abbildungseinheit 15, sondern ebenso auf ein Bild von einer anderen Abbildungseinheit 15 erhöhen. Zum Beispiel gibt es einen Fall, in dem eine Markierungsanweisung über das Bild von einer Abbildungseinheit 15 eingegeben wird und, zu einem späteren Zeitpunkt, ein designiertes Ziel auf einem Bild von einer anderen Abbildungseinheit 15, die in eine Richtung, die von der der einen Abbildungseinheit 15 verschieden ist, ausgerichtet ist, aufgenommen wird. In diesem Fall spezifiziert die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels auf dem Bild von der anderen Abbildungseinheit 15 durch Suchen nach dem Bild von der anderen Abbildungseinheit 15. Die Aktualisierungseinheit 145 zeigt die Markierung 401 an der spezifizierten Anzeigeposition auf dem Bild von der anderen Abbildungseinheit 15 an.
In einem Fall zum Beispiel, in dem die Position des designierten Ziels in der peripheren Umgebung auf die linke Seite des Fahrzeugs 1 bewegt wird, wenn das Fahren fortgesetzt wird, nachdem das Bild, das in 13 veranschaulicht ist, auf dem Anzeigebildschirm 8 angezeigt wird, bewegt die Anzeigesteuerungseinrichtung die Markierung 401 zu einem Abschnitt, der durch Abbilden der linken Richtung des Fahrzeugs 1 durch die Abbildungseinheit 15b erhalten wird, in dem Vogelperspektivenbild, wie in 15 veranschaulicht ist.
Auf diese Weise spezifiziert die Anzeigesteuerungseinrichtung die Anzeigeposition eines designierten Ziels von mehreren Bildern, die durch unterschiedliche Abbildungseinheiten 15 aufgenommen werden, und zeigt die Markierung 401 an der spezifizierten Position an. Auch wenn das designierte Ziel außerhalb des Abbildungsbereichs einer Abbildungseinheit 15 ist, kann die Anzeigesteuerungseinrichtung die Markierung 401 an der Anzeigeposition des Ziels anzeigen, wenn das designierte Ziel sich innerhalb des Abbildungsbereichs der anderen Abbildungseinheiten 15 befindet. Somit ist die Anzeigesteuerungseinrichtung dazu in der Lage, das Ziel, das der Benutzer beachtet, auf eine einfach verständliche Weise anzuzeigen.
Zusätzlich, wenn Bilder von den mehreren Abbildungseinheiten 15 einzeln auf dem Anzeigebildschirm 8 angezeigt werden und ein designiertes Ziel in mehreren Bildern aufgenommen wird, kann die Anzeigesteuerungseinrichtung die Markierung 401 auf den mehreren Bildern, in denen das designierte Ziel aufgenommen wird, anzeigen.
Zusätzlich kann die Anzeigeverarbeitungseinheit 142 ein Bild, das von der Abbildungseinheit 15 vorher beschafft wird, speichern und kann ein Bild erzeugen, das die momentane periphere Umgebung zeigt, basierend auf dem gespeicherten vorhergehend Bild, um das Bild auf dem Anzeigebildschirm 8 anzuzeigen. Zusätzlich kann die Anzeigeverarbeitungseinheit 142 die Markierung 401 auf einem Bild, das die momentane periphere Umgebung zeigt, die basierend auf dem vorhergehenden Bild erzeugt wird, anzeigen. Zusätzlich kann die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels von dem Bild, das die momentane periphere Umgebung zeigt, die basierend auf dem vorhergehenden Bild erzeugt wird, spezifizieren, und die Aktualisierungseinheit 145 kann die Markierung 401 an der spezifizierten Anzeigeposition anzeigen.
Wie zum Beispiel in 16 dargestellt ist, kann die Anzeigesteuerungseinrichtung ein Bild auf dem Anzeigebildschirm anzeigen, um einen Bereich unter dem Boden des Fahrzeugs 1 auf dem Anzeigebildschirm 8 zu zeigen. In 16 ist ein Anzeigeobjekt 220 eine Rahmenlinie, die die Kontur der Fahrzeugkarosserie 2 angibt. Ein Bereich, der durch das Anzeigeobjekt 220 umgeben ist, gibt die Straßenoberfläche unter dem Boden des Fahrzeugs 1 an. Zusätzlich wird die Markierung 401 auf dem Bild, das einen Bereich unter dem Boden des Fahrzeugs 1 zeigt, angezeigt. Die Anzeigeverarbeitungseinheit 142 speichert entsprechende vorhergehende Bilder, die von den Abbildungseinheiten 15a bis 15d beschafft werden, und produziert das Bild, das einen Bereich unter dem Boden des Fahrzeugs 1 zeigt, basierend auf den entsprechenden gespeicherten Bildern. Wenn das Fahrzeug 1 zum Beispiel geradeaus fährt, passiert das Fahrzeug 1 die Straßenoberfläche, die in einem Bild aufgenommen ist, das durch die Abbildungseinheit 15a zu einer bestimmten Zeit aufgenommen wird, zu einem späteren Zeitpunkt. Dementsprechend, wenn die Anzeigeverarbeitungseinheit 142 das Bild, das durch die Abbildungseinheit 15 zu einem leicht früheren Zeitpunkt aufgenommen wurde, speichert, kann die Anzeigeverarbeitungseinheit 142 das Bild als das Bild verwenden, das die Situation der Straßenoberfläche, die das Fahrzeug 1 passiert, zeigt. Die Anzeigeverarbeitungseinheit 142 kann ein Bild, das durch die Abbildungseinheit 15 außer der Abbildungseinheit 15a aufgenommen wird, verwenden, oder kann ein Bild, das durch Zusammensetzen von Bildern, die durch die mehreren Abbildungseinheiten 15 aufgenommen werden, verwenden. Die Anzeigeverarbeitungseinheit 142 kann einen Variationsbetrag in dem Zustand des Fahrzeugs 1 von einem Zeitpunkt, an dem das gespeicherte Bild aufgenommen wurde, zu einem momentanen Zeitpunkt berechnen, und kann ein Bild, das einen Bereich unter dem Boden des Fahrzeugs zu einem momentanen Zeitpunkt zeigt, unter Verwendung des berechneten Variationsbetrags erzeugen. Die Anzeigeverarbeitungseinheit 142 kann ein Bild, das die Situation auf der Straßenoberfläche zeigt, die das Fahrzeug 1 passiert, durch Durchführen einer Verarbeitung wie etwa eines Ausschneidens oder einer Betrachtungspunktumwandlung bezüglich des gespeicherten Bildes erzeugen.
Auf diese Weise kann die Anzeigeverarbeitungseinheit 142 ein Bild, das den Zustand der Straßenoberfläche unter dem Boden des Fahrzeugs 1 zu einem momentanen Zeitpunkt zeigt, basierend auf dem Bild erzeugen, das durch die Abbildungseinheit zu einem Zeitpunkt vor dem momentanen Zeitpunkt aufgenommen wurde. Zusätzlich, wenn das designierte Ziel auf dem Bild aufgenommen wird, das den Zustand der Straßenoberfläche unter dem Boden des Fahrzeugs 1 zu dem momentanen Zeitpunkt zeigt, kann die Spezifizierungseinheit 144 die Anzeigeposition des designierten Ziels in dem entsprechenden Bild spezifizieren und die Aktualisierungseinheit 145 kann das Bild anzeigen und kann ebenso die Markierung 401 an der spezifizierten Anzeigeposition anzeigen. Dementsprechend, da die Anzeigesteuerungseinrichtung ein Bild anzeigen kann, das die periphere Umgebung außerhalb des Abbildungsbereichs der Abbildungseinheit 15 zeigt, und die Position, an der sich das designierte Ziel in dem Bild befindet, markieren kann, wird der Komfort des Benutzers verbessert.
Unterdessen ist ein Verfahren des Beschaffens des Bildes, das einen Bereich unter dem Boden des Fahrzeugs 1 zeigt, nicht auf die vorstehende Beschreibung beschränkt. Die Abbildungseinheit 15 kann auf der Unterseite des Bodens des Fahrzeugs 1 bereitgestellt sein und das Bild, das einen Bereich unter dem Boden des Fahrzeugs 1 zeigt, kann durch die Abbildungseinheit 15 beschafft werden.
Obwohl die Ausführungsbeispiele dieser Offenbarung vorstehend beschrieben wurden, sind die Ausführungsbeispiele und Modifikationen lediglich beispielhaft und sind nicht dazu gedacht, den Umfang dieser Offenbarung zu beschränken. Die Ausführungsbeispiele oder die Modifikationen können in anderen verschiedenen Formen implementiert werden und können auf verschiedene Weisen weggelassen, ersetzt, kombiniert oder geändert werden, ohne sich von dem Umfang des Gegenstandes dieser Offenbarung zu entfernen. Zusätzlich kann jedes Ausführungsbeispiel oder jede Modifikation durch teilweise Ändern einer Konfiguration oder einer Form von dieser implementiert werden.
Die Prinzipien, ein bevorzugtes Ausführungsbeispiel und eine Betriebsart der Operation der vorliegenden Erfindung wurden in der vorhergehenden Spezifikation beschrieben. Jedoch ist die Erfindung, die geschützt werden soll, nicht als auf die besonderen offenbarten Ausführungsbeispiele beschränkt auszulegen. Weiterhin sind die hierin beschriebenen Ausführungsbeispiele als beschreibend und nicht als beschränkend zu betrachten. Variationen und Änderungen können durch andere vorgenommen werden und Äquivalente können eingesetzt werden, ohne sich von dem Geist der vorliegenden Erfindung zu entfernen. Dementsprechend ist es ausdrücklich gewünscht, dass all solche Variationen, Änderungen und Äquivalente, die innerhalb des Geistes und Umfangs der vorliegenden Erfindung liegen, die durch die Ansprüche definiert ist, hierbei miteingeschlossen sind.

Claims

Anzeigesteuerungseinrichtung, mit: einer Empfangseinheit (141), die eine Eingabe zum Designieren eines ersten Punktes auf einem ersten Bild empfängt, das auf einem Anzeigebildschirm (8) angezeigt wird, der in einem Fahrzeuginnenraum (2a) bereitgestellt ist und eine periphere Umgebung eines Fahrzeugs (1) zu einem ersten Zeitpunkt zeigt; einer Anzeigeverarbeitungseinheit (142), die ein erstes Anzeigeobjekt an dem ersten Punkt anzeigt; einer Spezifizierungseinheit (144), die einen zweiten Punkt spezifiziert, an dem sich ein erstes Ziel, das sich an dem ersten Punkt befindet, auf einem zweiten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zeigt; und einer Aktualisierungseinheit (145), die zusammen mit dem zweiten Bild das erste Anzeigeobjekt an dem zweiten Punkt auf dem zweiten Bild anzeigt, wobei die Empfangseinheit eine Eingabe zum Designieren eines dritten Punktes auf einem dritten Bild, das auf dem Anzeigebildschirm angezeigt wird, empfängt, das dritte Bild ein Bild ist, auf dem das erste Anzeigeobjekt angezeigt wird und das die periphere Umgebung des Fahrzeugs zu einem dritten Zeitpunkt zeigt, die Anzeigeverarbeitungseinheit ein zweites Anzeigeobjekt an dem dritten Punkt auf dem dritten Bild anzeigt, die Spezifizierungseinheit einen vierten Punkt, an dem sich das erste Ziel in einem vierten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem vierten Zeitpunkt nach dem dritten Zeitpunkt zeigt, und einen fünften Punkt spezifiziert, an dem sich das zweite Ziel, das sich an dem dritten Punkt befindet, in dem vierten Bild befindet, und die Aktualisierungseinheit zusammen mit dem vierten Bild das erste Anzeigeobjekt an dem vierten Punkt auf dem vierten Bild und das zweite Anzeigeobjekt an dem fünften Punkt auf dem vierten Bild anzeigt.
Anzeigesteuerungseinrichtung gemäß Anspruch 1, wobei das erste Anzeigeobjekt eine Anzeigeform aufweist, die von einer Anzeigeform des zweiten Anzeigeobjekts verschieden ist.
Anzeigesteuerungseinrichtung, mit: einer Empfangseinheit (141), die eine Eingabe zum Designieren eines ersten Punktes auf einem ersten Bild empfängt, das auf einem Anzeigebildschirm (8) angezeigt wird, der in einem Fahrzeuginnenraum (2a) bereitgestellt ist und eine periphere Umgebung eines Fahrzeugs (1) zu einem ersten Zeitpunkt zeigt; einer Anzeigeverarbeitungseinheit (142), die ein erstes Anzeigeobjekt an dem ersten Punkt anzeigt; einer Spezifizierungseinheit (144), die einen zweiten Punkt spezifiziert, an dem sich ein erstes Ziel, das sich an dem ersten Punkt befindet, auf einem zweiten Bild befindet, das die periphere Umgebung des Fahrzeugs zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zeigt; und einer Aktualisierungseinheit (145), die zusammen mit dem zweiten Bild das erste Anzeigeobjekt an dem zweiten Punkt auf dem zweiten Bild anzeigt, wobei die Eingabe eine Eingabe ist, die zwei erste Punkte designiert, die Spezifizierungseinheit den zweiten Punkt für jedes erste Ziel, das sich an jedem der zwei ersten Punkte befindet, spezifiziert, das erste Anzeigeobjekt, das durch die Anzeigeverarbeitungseinheit angezeigt wird, eine Linie ist, die die ersten Punkte verbindet, und das erste Anzeigeobjekt, das durch die Aktualisierungseinheit angezeigt wird, eine Linie ist, die die zweiten Punkte verbindet.
Anzeigesteuerungseinrichtung gemäß einem der Ansprüche 1 bis 3, wobei das erste Bild durch eine erste Abbildungseinrichtung aufgenommen wird, die in dem Fahrzeug bereitgestellt ist und in eine erste Richtung gerichtet ist, und das zweite Bild durch eine zweite Abbildungseinrichtung aufgenommen wird, die in dem Fahrzeug bereitgestellt ist und in eine zweite Richtung gerichtet ist, die von der ersten Richtung verschieden ist.
Anzeigesteuerungseinrichtung gemäß einem der Ansprüche 1 bis 3, wobei das erste Bild zu dem ersten Zeitpunkt durch die Abbildungseinrichtung, die in dem Fahrzeug bereitgestellt ist, aufgenommen wird, das zweite Bild einen Bereich unter einem Boden des Fahrzeugs zeigt, und die Anzeigeverarbeitungseinheit das zweite Bild von einem fünften Bild, das durch die Abbildungseinrichtung zu einem fünften Zeitpunkt vor dem zweiten Zeitpunkt aufgenommen wird, erzeugt.