DE102017127248B4

DE102017127248B4 - Bildbearbeitungsvorrichtung und Bildbearbeitungsverfahren

Info

Publication number: DE102017127248B4
Application number: DE102017127248.8A
Authority: DE
Inventors: Yukiko Hatakeyama; Kouei Kiyo; Tamaki TAKEUCHI; Rie HABUTA; Akinari MOTOHIRO; Tomoyuki Sato; Kohei Maejima; Atsutoshi SAKAGUCHI; Masahiro Takahashi
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2017-01-04
Filing date: 2017-11-20
Publication date: 2023-11-30
Anticipated expiration: 2037-11-21
Also published as: DE102017127248A1; US20180191960A1; CN108268833A; US10750093B2; JP2018110328A

Abstract

Bildbearbeitungsvorrichtung (10) mit:einer Bildbeschaffungseinheit (110), die ein aufgenommenes Bild beschafft, in dem ein Bild eines Fahrzeugs von einer Bildaufnahmevorrichtung (20) aufgenommen wurde;einer Informationsbeschaffungseinheit (120), die Informationen bezüglich einer ermittelten Position eines Hindernisses beschafft, das in einer Umgebung des Fahrzeugs vorhanden ist;einer Erzeugungseinheit (130), die auf Basis des aufgenommenen Bildes, das von der Bildbeschaffungseinheit (110) beschafft wurde, ein virtuelles Betrachtungspunktbild erzeugt, in dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird; undeiner Zusammensetzungseinheit (160), die ein Notifikationsbild, das eine Notifikation des Vorhandenseins des Hindernisses an der ermittelten Position bereitstellt, mit dem virtuellen Betrachtungspunktbild zusammensetzt und ein Fahrzeugbild mit dem virtuellen Betrachtungspunktbild zusammensetzt,wobei die Informationsbeschaffungseinheit (120) die Informationen bezüglich der ermittelten Position von einer Erfassungsvorrichtung (30) erhält, die das Hindernis erfasst; unddie Zusammensetzungseinheit (160) ein Bereichsbild zusammensetzt, das einen Erfassungsbereich (Ra-Rd) der Erfassungsvorrichtung (30) angibt, wobei der Erfassungsbereich in eine Mehrzahl von Regionen unterteilt ist, und ermittelt wird, in welcher aufgeteilten Region eines Erfassungsbereichs (Ra-Rd) ein Hindernis liegt.

Description

BEREICH
Die hier erörterte Ausführungsform betrifft eine Bildbearbeitungsvorrichtung und ein Bildbearbeitungsverfahren.
ALLGEMEINER STAND DER TECHNIK
Es ist bekannt, dass herkömmlicherweise in einer Vorrichtung, mit der ein in einer Umgebung eines Fahrzeugs vorhandenes Hindernis nachgewiesen wird, zum Beispiel ein Sensor einer Radarvorrichtung oder dergleichen verwendet und ein Ergebnis des Nachweises einem Benutzer angezeigt wird. Zum Beispiel wird in der JP 2012 - 188 057 A in einem Fall, in dem ein Hindernis nachgewiesen wird, ein Nachweisbereich eines Sensors eingeblendet und auf einem aufgenommenen Bild dargestellt wird, das durch eine Kamera aufgenommen wurde.
Eine herkömmliche Technik kann jedoch dahingehend weiter verbessert werden, dass die Lage eines Hindernisses leicht erkannt wird.
Zum Beispiel wird in einer herkömmlichen Technik, wie sie oben beschrieben ist, ein Bereich, in dem ein Hindernis nachgewiesen werden kann, einem Benutzer lediglich angezeigt, und eine Lage eines nachgewiesenen Hindernisses wird von selbst einem solchen Benutzer nicht angezeigt. Dementsprechend ist es möglich, dass ein Benutzer ein Hindernis übersieht.
Aus US 2010 / 0 245 573 A1 ist eine Bildverarbeitungsvorrichtung bekannt, wobei Bilddaten, die von mehreren Kameras aufgenommen wurden, zu einem Kompositbild der Umgebung eines Fahrzeugs zusammengesetzt werden. Hindernisse werden mit Hilfe von Sensoren erfasst und ein virtueller Blickpunkt des Kompositbilds wird bewegt, um dem Fahrer die Identifikation eines erfassten Hindernisses zu erleichtern.
US 2008 / 0 205 706 A1 offenbart eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs, wobei durch Transformation eines Blickpunktes aus einem Kamerabild eine Ansicht von oben auf das Fahrzeug erzeugt wird, und wobei auf Grundlage der Unterschiede zwischen zwei nacheinander aufgenommenen Bildern Hindernisse in der Umgebung des Fahrzeugs erkannt werden. US 2012 / 0 296 523 A1 beschreibt eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs, wobei insbesondere Hindernisse in einer vorhergesagten Bewegungsrichtung des Fahrzeugs in einem Anzeigebild hervorgehoben werden. DE 10 2013 016 244 A1 betrifft ein Verfahren und eine Vorrichtung zur augmentierten Darstellung, wobei mindestens eine Zusatzinformation in einem Bild einer Umgebung angezeigt wird. US 2014/0 354 813 A1 betrifft die Überwachung einer Umgebung eines Baggers mittels mehrerer Kameras, wobei ein zusammengesetztes Bild der Umgebung erzeugt wird.
Eine Ausbildung einer Ausführungsform ist dadurch bereitgestellt worden, dass das oben Gesagte in Betracht gezogen worden ist und angestrebt wird, eine Bildbearbeitungsvorrichtung und ein Bildbearbeitungsverfahren zu schaffen, die dazu in der Lage sind, eine Position eines Hindernisses leicht zu erkennen.
KURZDARSTELLUNG
Eine Bildbearbeitungsvorrichtung gemäß einer Ausführungsform weist eine Bildbeschaffungseinheit, eine Informationsbeschaffungseinheit, eine Erzeugungseinheit und eine Zusammensetzungseinheit auf. Die Bildbeschaffungseinheit nimmt ein aufgenommenes Bild auf, in dem ein Bild einer Umgebung eines Fahrzeugs durch eine Bildaufnahmevorrichtung aufgenommen worden ist. Die Informationsbeschaffungseinheit nimmt Informationen auf, die sich auf eine ermittelte Lage eines Hindernisses beziehen, das in einer Umgebung des Fahrzeugs vorhanden ist. Die Erzeugungseinheit erzeugt auf Basis des aufgenommenen Bildes, das von der Bildbeschaffungseinheit beschafft wurde, ein virtuelles Betrachtungspunktbild, in dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Zusammensetzungseinheit setzt ein Notifikationsbild, das die Notifikation für das Auftreten des Hindernisses an der ermittelten Stelle bereitstellt, mit dem virtuellen Betrachtungspunktbild zusammen und setzt ein Fahrzeugbild mit dem virtuellen Betrachtungspunktbild zusammen.
Gemäß einer Ausbildung einer Ausführungsform ist es möglich, eine Lage eines Hindernisses leicht zu erkennen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1A und 1B sind Diagramme, die einen Entwurf eines Hindernisdarstellungssystems gemäß einer Ausführungsform veranschaulichen.
2 ist ein Blockdiagramm, das eine Konfiguration eines Hindernisdarstellungssystems gemäß einer Ausführungsform veranschaulicht.
3 ist eine grafische Darstellung, die ein Beispiel für eine Einrichtung einer Bildaufnahmevorrichtung gemäß einer Ausführungsform zeigt.
4 ist eine grafische Darstellung, die ein Beispiel für eine Bewegungsvorhersagelinie gemäß einer Ausführungsform zeigt.
5 ist eine grafische Darstellung, die ein Beispiel für ein Bereichsbild gemäß einer Ausführungsform zeigt.
6 ist eine grafische Darstellung, die ein Beispiel für ein Notifikationsbild gemäß einer Ausführungsform zeigt.
7A ist eine grafische Darstellung, die ein Beispiel für ein Fahrzeugbild gemäß einer Ausführungsform zeigt.
7B ist eine vergrößerte grafische Darstellung, die einen Teil eines Fahrzeugbildes zeigt, wie es in 7A dargestellt ist.
8 ist eine grafische Darstellung, die ein Beispiel für ein zusammengesetztes Bild, das von einer Zusammensetzungseinheit erzeugt wird, gemäß einer Ausführungsform zeigt.
9 ist Flussdiagramm, das die Bearbeitungsschritte eines Bilderzeugungsprozesses darstellt, das von einer Bildbearbeitungsvorrichtung gemäß einer Ausführungsform durchgeführt wird.

BESCHREIBUNG DER AUSFÜHRUNGSFORM
Nachfolgend wird eine Ausführungsform einer Bildbearbeitungsvorrichtung und eines Bildbearbeitungsverfahrens, wie sie in vorliegenden Anwendung offenbart sind, mit Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Darüber hinaus wird die vorliegende Erfindung nicht durch eine derartige Ausführungsform eingeschränkt.
1. Entwurf des Hindernisdarstellungssystems
Unter Verwendung der 1A und 1B wird ein Entwurf eines Hindernisdarstellungssystems 1 gemäß einer Ausführungsform beschrieben. Die 1A und 1B sind Diagramme, die einen Entwurf des Hindernisdarstellungssystems gemäß einer Ausführungsform darstellen. Das Hindernisdarstellungssystem 1 ist auf einem Fahrzeug angebracht und weist ein Hindernis in einem Außenbereich des Fahrzeugs nach und stellt es für einen Benutzer (Fahrer) dar.
Das Hindernisdarstellungssystem 1 erzeugt auf Basis eines aufgenommenen Bildes, bei dem von einer Bildaufnahmevorrichtung ein Bild eines Umfeldes des Fahrzeugs aufgenommen wurde, ein virtuelles Betrachtungspunktbild, in dem eine Umgebung eines Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird. Das Hindernisdarstellungssystem 1 setzt ein Notifikationsbild, das eine Notifikation für das Vorhandenseins eines Hindernisses an einem ermittelten Ort des Hindernisses liefert, mit einem virtuellen Betrachtungspunktbild zusammen und setzt ein Fahrzeugbild mit diesem zusammen, um ein zusammengesetztes Bild zu erzeugen. Darüber hinaus ermittelt eine Radarvorrichtung des Hindernisdarstellungssystems 1 eine Lage eines Hindernisses. Das Hindernisdarstellungssystem 1 zeigt ein zusammengesetztes Bild auf einer Anzeigevorrichtung an, sodass ein Hindernis für einen Benutzer dargestellt wird.
Somit wird ein Notifikationsbild mit einem virtuellen Betrachtungspunktbild an einem Ort eines Hindernisses, das von einer Radarvorrichtung nachgewiesen wird, zusammengesetzt, sodass es für einen Benutzer möglich ist, das Hindernis schnell zu erkennen.
Das Hindernisdarstellungssystem 1 weist eine Bildbearbeitungsvorrichtung 10, eine Bildaufnahmevorrichtung 20, eine Radarvorrichtung 30 und eine Anzeigevorrichtung 50 auf.
Die Bildaufnahmevorrichtung 20 weist zum Beispiel mehrere (nicht dargestellte) Kameras auf, die in einer Umgebung eines Fahrzeugs angeordnet sind. Jede Kamera der Bildaufnahmevorrichtung 20 nimmt mit einem konstanten Zeitabstand ein Bild eines Umfeldes eines Fahrzeugs auf.
Die Radarvorrichtung 30 sendet eine Funkwelle auf ein Umfeld eines Fahrzeugs und empfängt eine reflektierte Welle, die von einem Hindernis reflektiert wurde, das in einem Umfeld des Fahrzeugs nachgewiesen worden ist. Außerdem ermittelt die Radarvorrichtung 30 zum Beispiel einen Abstand von einem Fahrzeug zu einem Hindernis (der nachfolgend als eine Lageinformation eines Hindernisses beschrieben wird) als einen Ort des Hindernisses.
Die Bildbearbeitungsvorrichtung 10 führt eine Koordinatentransformation eines aufgenommenen Bildes aus, das durch die Bildaufnahmevorrichtung 20 aufgenommen wurde, um ein virtuelles Betrachtungspunktbild zu erzeugen, das von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Bildbearbeitungsvorrichtung 10 erzeugt ein zusammengesetztes Bild, in dem ein Fahrzeugbild oder ein Notifikationsbild mit einem virtuellen Betrachtungspunktbild zusammengesetzt worden ist, und gibt es der Anzeigevorrichtung 50 aus. Die Bildbearbeitungsvorrichtung 10 weist eine Bildbeschaffungseinheit 110, eine Informationsbeschaffungseinheit 120, eine Erzeugungseinheit 130 und eine Zusammensetzungseinheit 160 auf.
Die Bildbeschaffungseinheit 110 nimmt ein von der Bildaufnahmevorrichtung 20 aufgenommenes Bild auf. Die Informationsbeschaffungseinheit 120 beschafft die Lageinformationen eines Hindernisses aus der Radarvorrichtung 30.
Die Erzeugungseinheit 130 führt einen Koordinatentransformationsprozess für ein aufgenommenes Bild aus, das von der Bildbeschaffungseinheit 110 beschafft wurde, um ein virtuelles Betrachtungspunktbild zu erzeugen, bei dem ein Fahrzeug von einem virtuellen Betrachtungspunkt aus betrachtet wird.
Die Zusammensetzungseinheit 160 setzt ein Fahrzeugbild, in dem ein Erscheinungsbild eines Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird, mit einem virtuellen Betrachtungspunktbild zusammen, das durch die Erzeugungseinheit 130 erzeugt wurde. Auf Basis von Lageinformationen des Hindernisses, die von der Informationsbeschaffungseinheit 120 beschafft wurden, setzt die Zusammensetzungseinheit 160 ferner die Hindernisinformationen, die das Vorhandensein eines Hindernisses anzeigen, mit einem virtuellen Betrachtungspunktbild an einem Ort zusammen, an dem das Hindernis liegt (die ermittelte Lage des Hindernisses). Somit setzt die Zusammensetzungseinheit 160 ein Fahrzeugbild und ein Notifikationsbild mit einem virtuellen Betrachtungspunktbild zusammen, um ein zusammengesetztes Bild P1 zu erzeugen.
1B zeigt ein Beispiel für ein zusammengesetztes Bild P1, das von der Zusammensetzungseinheit 160 erzeugt wurde. In einem Beispiel von 1B setzt die Zusammensetzungseinheit 160 ein Fahrzeugbild Pc mit einem virtuellen Betrachtungspunktbild zusammen, in dem ein Fahrzeug von einer oberen Seite diagonal von hinten links aus betrachtet wird. Ferner setzt die Zusammensetzungseinheit 160 mit diesem ein Notifikationsbild Ps auf einer rechten Seite vor einem Fahrzeug zusammen.
Wie in 1B dargestellt ist, ist ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild an einer Stelle zusammengesetzt, an der ein Hindernis nachgewiesen wurde, und mit diesem wird ein Fahrzeugbild Pc zusammengesetzt, sodass es einem Benutzer ermöglicht wird, einfach eine Lagebeziehung zwischen einem Fahrzeug und dem Hindernis zu bestätigen.
Ferner wird bei einem Teil eines Fahrzeugbildes Pc eine durchsichtige Darstellung veranlasst, sodass ein Notifikationsbild Ps nicht durch das Fahrzeugbild Pc verdeckt wird und es für einen Benutzer möglich ist, eine Lage eines Hindernisses leichter zu bestätigen. Unter Verwendung der 7A, 7B und dergleichen wird nachfolgend beschrieben, wie erreicht wird, dass ein Teil eines Fahrzeugbildes Pc durchsichtig ist.
Die Anzeigevorrichtung 50 weist zum Beispiel ein Display auf und zeigt ein zusammengesetztes Bild P1 an, das durch die Zusammensetzungseinheit 160 erzeugt wird. Dadurch ist es möglich, für einen Benutzer ein Hindernis darzustellen.
Somit setzt die Bildbearbeitungsvorrichtung 10 gemäß einer Ausführungsform ein Fahrzeugbild Pc und ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild zusammen. Hierbei wird ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild an einem Ort zusammengesetzt, an dem ein Hindernis nachgewiesen wird. Dadurch ist es für einen Benutzer einfach möglich, eine Lage eines Hindernisses leicht zu bestätigen.
2. Einzelheiten des Hindernisdarstellungssystems
Als nächstes werden Einzelheiten des Hindernisdarstellungssystems 1 gemäß einer Ausführungsform mit Bezugnahme auf die 2 bis 9 beschrieben. 2 ist ein Blockdiagramm, das eine Konfiguration des Hindernisdarstellungssystems 1 gemäß einer Ausführungsform darstellt. Darüber hinaus wird in 2 eine Komponente, die zur Beschreibung eines Merkmals einer Ausführungsform benötigt wird, durch einen Funktionsblock beschrieben, und eine Beschreibung einer allgemeinen Komponente wird weggelassen.
Mit anderen Worten, jede Komponente gemäß der Darstellung in 2 stellt ein funktionelles Konzept dar und muss physikalisch nicht so konfiguriert sein, wie in den Zeichnungen dargestellt ist. Zum Beispiel ist eine spezielle Konfiguration der Aufteilung oder Zusammenlegung von entsprechenden Funktionsblöcken nicht darauf beschränkt, was in den Zeichnungen dargestellt ist, und es ist möglich, in Abhängigkeit von den verschiedenartigen Belastungstypen oder der Verwendung oder dergleichen alle Blöcke oder einen Teil davon funktionell oder physikalisch auseinanderzunehmen oder in einer beliebigen Einheit, die zu konfigurieren ist, zusammenzufassen.
Wie in 2 dargestellt ist, weist das Hindernisdarstellungssystem 1 eine Bildaufnahmevorrichtung 20, eine Radarvorrichtung 30, einen Sensor 40, eine Bildbearbeitungsvorrichtung 10 und eine Anzeigevorrichtung 50 auf.
2.1 Bildaufnahmevorrichtung
Die Bildaufnahmevorrichtung 20 weist zum Beispiel mehrere am Fahrzeug montierte Kameras 20a bis 20d mit einem Bildaufnahmeelement, wie z.B. einer ladungsgekoppelten Vorrichtung (CCD) oder einem komplementären Metall-Oxid-Halbleiter (CMOS), auf. Die Bildaufnahmevorrichtung 20 gibt die aufgenommenen Bilder, die von den am Fahrzeug montierten Kameras 20a bis 20d aufgenommen wurden, an die Bildbearbeitungsvorrichtung 10 aus.
Wie in 3 dargestellt ist, ist die am Fahrzeug montierte Kamera 20a zum Beispiel an einer Frontseite eines Fahrzeugs C und die am Fahrzeug montierte Kamera 20b an einer Heckseite des Fahrzeugs C angeordnet. Außerdem ist die am Fahrzeug montierte Kamera 20c an einer rechten Seite des Fahrzeugs C und die am Fahrzeug montierte Kamera 20d an einer linken Seite des Fahrzeugs C angeordnet. Die am Fahrzeug montierten Kameras 20a bis 20d führen eine Bildaufnahme aus, während die jeweiligen Bildaufnahmerichtungen eine Frontseite, eine Heckseite, eine rechte Seite und eine linke Seite eines Fahrzeugs sind. Darüber hinaus ist 3 ist eine grafische Darstellung, die ein Beispiel für eine Anordnung der Bildaufnahmevorrichtung 20 darstellt.
Ferner wird für die Linsen der am Fahrzeug montierten Kameras 20a bis 20d ein Weitwinkelobjektiv, wie z.B. ein Fischaugenobjektiv, eingesetzt, und jede von den am Fahrzeug montierten Kameras 20a bis 20d weist einen Gesichtsfeldwinkel auf, der größer als oder gleich 180° ist. Die am Fahrzeug montierten Kameras 20a bis 20d werden so verwendet, dass es möglich ist, eine Abbildung eines gesamten Umfeldes eines Fahrzeugs C auszuführen. Darüber hinaus ist die Anordnung oder die Zahl der am Fahrzeug montierten Kameras 20a bis 20d gemäß Darstellung in 3 ein Beispiel und stellt keine Einschränkung dar. Solange es möglich ist, ein Bild von einer Umgebung eines Fahrzeugs C aufzunehmen, kann die Zahl der am Fahrzeug montierten Kameras größer oder kleiner als vier sein.
[0039] 2.2 Radarvorrichtung
Die Radarvorrichtung 30 weist zum Beispiel mehrere Radargeräte im Millimeterwellenbereich 30a bis 30d auf. Die Radargeräte im Millimeterwellenbereich 30a bis 30d sind auf einer Frontseite eines Fahrzeugs C angeordnet, wie in 3 dargestellt ist, und sie weisen ein Hindernis nach, das vor dem Fahrzeug C vorhanden ist. Die Radarvorrichtung 30 ermittelt die Lageinformationen, wie z.B. einen Abstand oder eine Azimutrichtung von einem Fahrzeug C zu einem Hindernis. Die Radarvorrichtung 30 gibt die ermittelten Lageinformationen an die Bildbearbeitungsvorrichtung 10 aus.
Darüber hinaus ist die Anordnung oder die Zahl der Radarvorrichtungen 30, wie sie in 3 dargestellt ist, ein Beispiel und stellt keine Einschränkung dar. Zum Beispiel kann auch auf einer Heckseite eines Fahrzeugs C eine Radarvorrichtung vorgesehen sein, um ein Hindernis hinter dem Fahrzeug C nachzuweisen. Ferner kann die Zahl der Millimeterwellen-Radargeräte, die auf einer Frontseite eines Fahrzeugs C angeordnet sind, größer oder kleiner als vier sein.
2.3 Bildbearbeitungsvorrichtung
Die Bildbearbeitungsvorrichtung 10 gemäß der Darstellung in 2 führt eine Koordinatentransformation eines aufgenommenen Bildes aus, das durch die Bildaufnahmevorrichtung 20 aufgenommen wurde, um ein virtuelles Betrachtungspunktbild zu erzeugen. Die Bildbearbeitungsvorrichtung 10 setzt eine Bewegungsvorhersagelinie eines Fahrzeugs C, ein Fahrzeugbild Pc, ein Notifikationsbild Ps oder dergleichen mit einem virtuellen Betrachtungspunktbild zusammen und gibt es an die Anzeigevorrichtung 50 aus.
Die Bildbearbeitungsvorrichtung 10 ist ein Mikrocomputer mit einer zentralen Prozessoreinheit (CPU), einer Speichereinheit 170 und dergleichen. Die Bildbearbeitungsvorrichtung 10 ist zum Beispiel in einer elektrischen Steuereinheit (ECU) eingebaut.
Eine CPU der Bildbearbeitungsvorrichtung 10 liest zum Beispiel ein Programm, das in einem ROM gespeichert ist, und führt es aus und wirkt somit als eine Bildbeschaffungseinheit 110, eine Informationsbeschaffungseinheit 120, eine Erzeugungseinheit 130, eine Bewegungsvorhersageeinheit 140, eine Anzeigesteuereinheit 150 und eine Zusammensetzungseinheit 160.
Ferner ist es auch möglich, mindestens eine Einheit von der Bildbeschaffungseinheit 110, der Informationsbeschaffungseinheit 120, der Erzeugungseinheit 130, der Bewegungsvorhersageeinheit 140, der Anzeigesteuereinheit 150 und der Zusammensetzungseinheit 160 oder sie alle in der Hardware zusammenzustellen, so z.B. als eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine im Feld programmierbare Gatter-Anordnung (FPGA).
2.3.1 Bildbeschaffungseinheit
Die Bildbeschaffungseinheit 110 beschafft in einer Reihenfolge ein aufgenommenes Bild, das von der Bildaufnahmevorrichtung 20 aufgenommen wurde. Ein aufgenommenes Bild, das von der Bildbeschaffungseinheit 110 beschafft worden ist, weist aufgenommene Bilder auf, die von den am Fahrzeug montierten Kameras 20a bis 20d (siehe 3) der Bildaufnahmevorrichtung 20 aufgenommen wurden. Die Bildbeschaffungseinheit 110 gibt ein beschafftes aufgenommenes Bild an die Erzeugungseinheit 130 aus.
2.3.2 Informationsbeschaffungseinheit
Die Informationsbeschaffungseinheit 120 beschafft von der Radarvorrichtung 30 Lageinformationen, die eine ermittelte Lage eines Hindernisses, das in einem Umfeld eines Fahrzeugs C vorhanden ist, umfassen. Die Informationsbeschaffungseinheit 120 gibt die beschafften Lageinformationen an die Anzeigesteuereinheit 150 aus.
Darüber hinaus ist eine Beschaffungsquelle für Lageinformationen für die Informationsbeschaffungseinheit 120 nicht auf die Radarvorrichtung 30 beschränkt. Solange eine Lage eines Hindernisses gefunden wird, kann die Informationsbeschaffungseinheit 120 Lageinformationen eines Hindernisses zum Beispiel aus einer (nicht dargestellten) Nachweisvorrichtung beschaffen, die derartige Lageinformationen auf Basis eines beschafften Bildes ermittelt. Ferner kann die Bildbearbeitungsvorrichtung 10 Lageinformationen eines Hindernisses auf Basis eines aufgenommenen Bildes ermitteln.
2.3.3 Erzeugungseinheit
Die Erzeugungseinheit 130 führt einen Koordinatentransformationsprozess für ein aufgenommenes Bild, das von der Bildbeschaffungseinheit 110 beschafft wurde, aus und erzeugt dadurch ein virtuelles Betrachtungspunktbild, in dem eine Umgebung eines Fahrzeugs C von einem beliebigen virtuellen Betrachtungspunkt aus betrachtet wird. Darüber hinaus wird ein derartiger virtueller Betrachtungspunkt von einer Betrachtungspunktlage-Bestimmungseinheit 155 der Anzeigesteuereinheit 150 bestimmt, wie nachfolgend beschrieben wird.
Zum Beispiel projiziert die Erzeugungseinheit 130 in Form eines Koordinatentransformationsprozesses ein aufgenommenes Bild auf eine vorgegebene Projektionsfläche (bildet es ab) und bewirkt, dass aus der Menge der aufgenommenen Bilder, die auf die vorgegebene Projektionsfläche projiziert wurden, ein Bild einer Region, die bei einer Betrachtung von einem beliebigen virtuellen Betrachtungspunkt aus in einen vorgegebenen Betrachtungswinkel einbezogen ist, zu einem virtuellen Betrachtungspunktbild wird.
Zum Beispiel speichert die Erzeugungseinheit 130 eine Tabelle, die eine Korrespondenzbeziehung zwischen Orten von Daten, die in einem aufgenommenen Bild enthalten sind, und einer Lage einer vorgegebenen Projektionsfläche kennzeichnet, und projiziert die Daten, die in einem aufgenommenen Bild enthalten sind, unter Verwendung einer derartigen Tabelle an einem entsprechenden Ort auf die vorgegebene Projektionsfläche.
Eine derartige vorgegebene Projektionsfläche weist zum Beispiel eine im Wesentlichen halbkugelartige Form (zum Beispiel eine Schüsselform) auf, wobei ihre mittlere Region (zum Beispiel ein Bodenteil einer Schüssel) sich an einer Stelle eines Fahrzeug C befindet und ein Außenbereich einer Stelle des Fahrzeugs C (zum Beispiel ein anderer Teil als der Bodenteil einer Schüssel) einer Region aus einer Umgebung des Fahrzeugs C entspricht. Darüber hinaus braucht eine vorgegebene Projektionsfläche nicht eine gekrümmte Fläche zu sein und kann zum Beispiel eine ebene Fläche sein.
Die Erzeugungseinheit 130 gibt ein erzeugtes virtuelles Betrachtungspunktbild an die Zusammensetzungseinheit 160 aus.
2.3.4 Bewegungsvorhersageeinheit
Die Bewegungsvorhersageeinheit 140 erzeugt auf Basis eines Ergebnisses einer Ausgabe eines Sensors 40 eine Vorhersage eines Fahrtverlaufs eines Fahrzeugs C. Die Bewegungsvorhersageeinheit 140 sagt einen Fahrtverlauf eines Fahrzeugs C zum Beispiel in einem Fall voraus, in dem eine Geschwindigkeit des Fahrzeugs C kleiner als ein oder gleich einem vorgegebenen Wert ist. Der Sensor 40 weist zum Beispiel einen Lenkungssensor, der einen Lenkwinkel ermittelt, oder einen Shift-Sensor auf, der einen Shift-Zustand ermittelt.
Die Bewegungsvorhersageeinheit 140 sagt eine Bewegungsrichtung eines Fahrzeugs C auf Basis eines Shift-Zustands voraus. Zum Beispiel sagt die Bewegungsvorhersageeinheit 140 voraus, dass eine Bewegungsrichtung eines Fahrzeugs C nach vorn erfolgt, wenn ein Shift-Zustand des Fahrzeugs C „Drive“ ist.
Die Bewegungsvorhersageeinheit 140 sagt einen Fahrtrichtungswinkel eines Fahrzeugs C auf Basis eines Lenkwinkels voraus. Zum Beispiel sagt die Bewegungsvorhersageeinheit 140 einen Fahrtrichtungswinkel in einem Fall, in dem sich ein Fahrzeug C zu bewegen beginnt, anhand eines Lenkwinkels, einer Abmessung und eines Wenderadius des Fahrzeugs C oder dergleichen voraus.
Die Bewegungsvorhersageeinheit 140 sagt einen vorhergesagten Fahrtverlauf in einem Fall, in dem ein Fahrzeug C sich zu bewegen beginnt, auf Basis einer Bewegungsrichtung und eines Fahrrichtungswinkels voraus, die vorhergesagt worden sind. Die Bewegungsvorhersageeinheit 140 gibt an die Anzeigesteuereinheit 150 einen vorhergesagten Fahrtverlauf aus.
[0058] 2.3.5 Anzeigesteuereinheit
Die Anzeigesteuereinheit 150 bestimmt ein Bild, das mit einem virtuellen Betrachtungspunktbild durch die Zusammensetzungseinheit 160 so zusammengesetzt ist, dass ein Anzeigebild, das auf der Anzeigevorrichtung 50 angezeigt wird, gesteuert wird. Die Anzeigesteuereinheit 150 legt fest, dass mindestens eines von einer Bewegungsvorhersagelinie, einem Fahrzeugbild Pc, einem Notifikationsbild Ps und einem Bereichsbild, das einen Nachweisbereich der Radarvorrichtung 30 kennzeichnet, mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird. Ferner bestimmt die Anzeigesteuereinheit 150 ein Anzeigeformat eines zusammenzusetzenden Bildes, wie z.B. eine Anzeigefarbe, oder das Vorhandensein oder Nichtvorhandensein einer hervorgehobenen Anzeige.
Die Anzeigesteuereinheit 150 weist eine Vorhersagelinie-Bestimmungseinheit 151, eine Bereichsbild-Bestimmungseinheit 152, eine Notifikationsbild-Bestimmungseinheit 153, eine Fahrzeugbild-Bestimmungseinheit 154 und eine Betrachtungspunktlage-Bestimmungseinheit 155 auf.
In einem Fall, in dem die Bewegungsvorhersageeinheit 140 einen Vorhersagefahrtverlauf vorhersagt, legt die Vorhersagelinie-Bestimmungseinheit 151 fest, dass eine Bewegungsvorhersagelinie, die einen vorhergesagten Fahrtverlauf kennzeichnet, mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird. Zum Beispiel wird angenommen, dass die Bewegungsvorhersageeinheit 140 einen Fahrtverlauf vorhersagt, bei dem ein Fahrzeug C nach links abbiegt. In einem derartigen Fall legt die Vorhersagelinie-Bestimmungseinheit 151 fest, dass die Bewegungsvorhersagelinien L1 und L2, die sich von einem rechten Vorderrad und einem linken Hinterrad eines Fahrzeugs C aus erstrecken, mit einem virtuellen Betrachtungspunktbild zusammengesetzt werden, wie in 4 dargestellt ist.
Darüber hinaus ist 4 eine grafische Darstellung, die ein Beispiel für Bewegungsvorhersagelinien L1 und L2 gemäß einer Ausführungsform zeigt. Außerdem sind die Bewegungsvorhersagelinien L1 und L2, wie sie in 4 dargestellt sind, Beispiele und stellen keine Einschränkung dar. Zum Beispiel kann die Vorhersagelinie-Bestimmungseinheit 151 festlegen, dass Bewegungsvorhersagelinien, die sich von dem linken und rechten Vorderrad aus erstrecken, mit einem virtuellen Betrachtungspunktbild zusammengesetzt werden.
Die Bereichsbild-Bestimmungseinheit 152 bestimmt, dass ein Bereichsbild R, das einen Nachweisbereich der Radarvorrichtung 30 kennzeichnet, auf der Anzeigevorrichtung 50 angezeigt wird. Die Anzeigesteuereinheit 150 zeigt einen Nachweisbereich der Radarvorrichtung 30 zum Beispiel auf eine solche Weise an, dass er in vier Bereiche unterteilt ist, welche die Bereiche Ra bis Rd gemäß der Darstellung in 5 sind. Darüber hinaus entsprechen die Bereiche Ra bis Rd jeweils den Nachweisbereichen der Millimeterwellen-Radargeräte 30a bis 30d.
Ein Bereichsbild R, wie es in 5 dargestellt ist, weist einen Bereich Ra, bei dem ein Nachweisbereich eine rechte Frontseite eines Fahrzeugs C ist, und einen Bereich Rb auf, bei dem ein Nachweisbereich eine linke Frontseite des Fahrzeugs C ist. Ein Bereichsbild R in 5 weist einen Bereich Rc, bei dem ein Nachweisbereich zwischen den Bereichen Ra und Rb und nahe am Bereich Ra liegt, und einen Bereich Rd auf, bei dem ein Nachweisbereich nahe am Bereich Rb liegt. Ferner sind die Nachweisabstände der Bereiche Rc und Rd größer als die Nachweisabstände der Bereiche Ra und Rb.
Darüber hinaus ist 5 eine grafische Darstellung, die ein Beispiel für ein Bereichsbild R gemäß einer Ausführungsform zeigt. Ein Bereichsbild R, wie es in 5 dargestellt ist, ist ein Bereich, bei dem ein Benutzer in einem Fall, in dem die Radarvorrichtung 30 ein Hindernis nachweist, davon in Kenntnis gesetzt wird, und er kann sich von einem Bereich unterscheiden, in dem die Radarvorrichtung 30 tatsächlich in der Lage ist, das Hindernis nachzuweisen.
Das heißt, die Anzeigesteuereinheit 150 setzt einen Benutzer von einem Hindernis in einem Fall in Kenntnis, in dem ein solches Hindernis auf der Grundlage von Lageinformationen, die durch die Informationsbeschaffungseinheit 120 beschafft wurden, in den Bereichen Ra bis Rd vorhanden ist. Ein derartiger Sachverhalt wird nachfolgend beschrieben, wobei 6 verwendet wird.
Darüber hinaus werden die Informationen, die ein Bereichsbild R betreffen, in der Speichereinheit 170 als Bereichsbildinformationen 172 gespeichert.
Sobald bestimmt wird, dass ein Bereichsbild R angezeigt wird, legt die Bereichsbild-Bestimmungseinheit 152 ferner ein Anzeigeformat des Bereichsbildes R fest. Zum Beispiel zeigt die Bereichsbild-Bestimmungseinheit 152 die Begrenzungslinien der Bereiche Ra bis Rd an, um einen Nachweisbereich der Radarvorrichtung 30 anzuzeigen.
Alternativ kann die Bereichsbild-Bestimmungseinheit 152 die Bereiche Ra bis Rd mit einer schwarzen Färbung anzeigen, die eine vorgegebene Durchsichtigkeit aufweist, und kann die Begrenzungslinien der Bereiche Ra bis Rd mit einer weißen Farbe anzeigen. Dadurch ist es einem Benutzer möglich, einen Nachweisbereich leichter zu erkennen. Da eine Begrenzungslinie mit einer weißen Farbe dargestellt wird, kann dort ferner eine sogenannte lichtscheinartige Anzeige hinzugefügt werden, bei der die Anzeige über einen vorgegebenen Bereich zu einer Außenseite der Bereiche Ra bis Rd hin radial und mit einer stufenweise aufgehellten Färbung ausgeführt wird. In einem solchen Fall wird eine Begrenzungslinie hervorgehoben, sodass es möglich ist, die Bereiche Ra bis Rd deutlicher festzulegen.
Ferner kann für die Regionen Rc und Rd gemäß den Darstellungen in den 5 und 6 bewirkt werden, dass die Innenseiten der Regionen, ausgenommen die äußeren Rahmenlinien, durchsichtig sind. In einem solchen Fall ist es möglich, auf ein Hindernis zu verweisen, das in eine Region Rc oder Rd eingeblendet ist. Ferner kann auf eine Farbe von Rahmenlinien der Regionen Rc und Rd eine Abstufung von einer Mitte zu einer äußeren Rahmenlinie hin angewendet werden. In einem solchen Fall ist es möglich, problemlos auf einen Außenbereich der Regionen Rc und Rd zu verweisen. Darüber hinaus ist es vorzuziehen, eine Durchsichtigkeit oder Abstufung insbesondere auf einen Teil außerhalb der Bereiche Ra und Rb anzuwenden. Das ist so, weil ein solcher Teil einem Hindernis einfach überlagert wird.
Es wird nun wieder auf 2 Bezug genommen. In einem Fall, in dem die Informationsbeschaffungseinheit 120 Lageinformationen eines Hindernisses beschafft, das heißt, in einem Fall, in dem ein Hindernis in einer Umgebung eines Fahrzeugs C vorhanden ist, legt die Notifikationsbild-Bestimmungseinheit 153 fest, dass ein Notifikationsbild Ps auf der Anzeigevorrichtung 50 angezeigt wird.
Die Notifikationsbild-Bestimmungseinheit 153 legt auf Basis von Lageinformationen, die von der Informationsbeschaffungseinheit 120 beschafft wurden, fest, dass ein Notifikationsbild Ps auf einem virtuellen Betrachtungspunktbild an einer Stelle angezeigt wird, an der ein Hindernis vorhanden ist.
Zuerst bestimmt die Notifikationsbild-Bestimmungseinheit 153, wo ein Hindernis in einem Nachweisbereich liegt. Insbesondere teilt die Notifikationsbild-Bestimmungseinheit 153 die Bereiche Ra bis Rd, die in einem Bestimmungsbild enthalten sind, in eine Anzahl von Regionen auf und bestimmt, in welcher Aufteilungsregion ein Hindernis liegt. In 6 wird zum Beispiel ein Bereich Ra oder Rb in vier Regionen unterteilt, und ein Bereich Rc oder Rd wird in fünf Regionen unterteilt. Darüber hinaus ist 6 eine grafische Darstellung, die ein Beispiel für ein Notifikationsbild Ps gemäß einer Ausführungsform zeigt.
Hierbei liegt ein Hindernis sowohl in einer Region Ra2 eines Bereichs Ra als auch in einer Region R3 eines Bereichs Rc, wie in 6 dargestellt ist. Darüber hinaus werden in 6 die Positionen von Hindernissen durch die Punkte S1 und S2 dargestellt. In einem solchen Fall legt die Notifikationsbild-Bestimmungseinheit 153 eine Region Ra2 und eine Region R3 als Regionen fest, auf denen ein Notifikationsbild Ps anzuzeigen ist.
Zum Beispiel legt die Notifikationsbild-Bestimmungseinheit 153 fest, dass eine viereckige Tafel (Fläche) ohne Dickenausdehnung als ein Notifikationsbild Ps dreidimensional mit einem virtuellen Betrachtungspunktbild zusammengesetzt wird. Hierbei zeigt die Notifikationsbild-Bestimmungseinheit 153 dreidimensional ein derartiges Notifikationsbild Ps zum Beispiel so an, dass es senkrecht zu einer Grundfläche ist und einem Fahrzeug C in einer Region Ra2 oder Rc3 gegenüberliegt. Dadurch ist es für die Notifikationsbild-Bestimmungseinheit 153 möglich, ein Notifikationsbild Ps anzuzeigen, das die Notifikation des Vorhandenseins eines Hindernisses auf einem virtuellen Betrachtungspunktbild an einer Stelle vornimmt, an der das Hindernis nachgewiesen wurde.
Als nächstes bestimmt die Notifikationsbild-Bestimmungseinheit 153 ein Anzeigeformat eines Notifikationsbildes Ps auf Basis von Lageinformationen eines Hindernisses. Zum Beispiel verändert die Notifikationsbild-Bestimmungseinheit 153 eine Anzeigefarbe eines Notifikationsbildes Ps in Abhängigkeit von einem Abstand zwischen einem Hindernis und einem Fahrzeug C.
Zum Beispiel wird ein Bereich Ra in 6 als ein Beispiel beschrieben, in dem die Notifikationsbild-Bestimmungseinheit 153 festlegt, dass in einem Fall, in dem ein Hindernis in einer Region Ra1 oder Ra2 liegt, die von den Regionen Ra1 bis Ra4 des Bereichs Ra nahe an einem Fahrzeug C ist, eine Anzeigefarbe eines Notifikationsbildes Ps wegen einer hohen Gefährdungsstufe eine rote Farbe sein soll. Ferner legt die Notifikationsbild-Bestimmungseinheit 153 fest, dass eine Anzeigefarbe eines Notifikationsbildes Ps in einem Fall, in dem ein Hindernis in einer von einem Fahrzeug C entfernt liegenden Region Ra3 oder Ra4 liegt, wegen einer geringen Gefahrenstufe eine gelbe Farbe sein soll.
Wie oben beschrieben ist, bestimmt die Notifikationsbild-Bestimmungseinheit 153 hier in einem Fall, in dem Hindernisse in den Regionen Ra2 und Rc3 liegen, dass eine Anzeigefarbe eines Notifikationsbildes Ps, das in einer Region Rc3 angezeigt wird, eine gelbe Farbe sein soll, weil die Region Rc3 entfernt von einem Fahrzeug C liegt. Andererseits legt die Notifikationsbild-Bestimmungseinheit 153 eine Anzeigefarbe eines Notifikationsbildes Ps, das in einer Region Ra2 angezeigt wird, als eine rote Farbe fest, weil die Region Ra2 nahe an einem Fahrzeug C liegt.
Hierbei kann die Bereichsbild-Bestimmungseinheit 152 zum Beispiel festlegen, dass eine Anzeigefarbe eines Bereichs Ra, der eine Region Ra2 umfasst, eine rote Farbe sein soll, die genau gleich einer Anzeigefarbe eines Notifikationsbildes Ps ist. Dadurch ist es möglich, einen Benutzer von dem Vorhandensein eines stark gefährdenden Hindernisses in Kenntnis zu setzen, um einen Aufmerksamkeitsgrad darauf zu erhöhen.
Darüber hinaus wird hier eine Anzeigefarbe eines Notifikationsbildes Ps auf der Grundlage eines Abstands von einem Hindernis verändert und ist nicht darauf beschränkt. Es ist ausreichend, ein Anzeigeformat eines Notifikationsbildes Ps in Abhängigkeit von einem Abstand eines Hindernisses, das heißt, von seiner Gefährdungsstufe, zu verändern. Zum Beispiel kann auf Basis eines Abstandes eines Hindernisses eine Grauskala eines Notifikationsbild Ps verändert werden. In einem solchen Fall zeigt die Notifikationsbild-Bestimmungseinheit 153 zum Beispiel ein Notifikationsbild Ps so an, dass es mit zunehmendem Abstand von einem Hindernis abgeschwächt wird.
Alternativ kann auf Basis eines Abstands eines Hindernisses eine Höhe eines Notifikationsbildes Ps verändert werden. In einem solchen Fall bewirkt die Notifikationsbild-Bestimmungseinheit 153, dass eine Höhe eines Notifikationsbildes Ps (dessen Länge in einer Richtung senkrecht zu einer Grundfläche) mit zunehmendem Abstand von einem Hindernis verringert wird.
Ferner kann die Notifikationsbild-Bestimmungseinheit 153 in einem Fall, in dem ein Abstand eines Hindernisses klein ist, blinken und ein Notifikationsbild Ps anzeigen, eine Profillinie so anzeigen, dass sie dick wird usw., sodass das Notifikationsbild Ps hervorgehoben angezeigt wird.
Ferner ist ein Notifikationsbild Ps hier eine viereckige Tafel (Fläche) ohne Dickenausdehnung, und eine Form des Notifikationsbildes Ps ist nicht darauf beschränkt. Zum Beispiel kann ein Notifikationsbild Ps ein stereoskopisches Bild sein, das eine vorgegebene Dicke aufweist. Zum Beispiel kann die Notifikationsbild-Bestimmungseinheit 153 bewirken, dass das Notifikationsbild Ps ein fester Körper ist, der eine Region Ra2 (siehe 6) als eine Grundfläche und eine vorgegebene Höhe aufweist. Bei einem derartigen Sachverhalt kann sich eine Region Ra2 innerhalb eines Bereichs erstrecken, in dem es möglich ist, eine Nachweisgrenze besser als eine Grundfläche einer jeweiligen Region Ra2 zu bestimmen. Dadurch ist es möglich, ein Notifikationsbild Ps leichter zu erkennen.
Es wird nun wieder auf 2 Bezug genommen. Die Fahrzeugbild-Bestimmungseinheit 154 bestimmt ein Fahrzeugbild Pc, das mit einem virtuellen Betrachtungspunktbild zusammengesetzt ist. Zum Beispiel bestimmt die Fahrzeugbild-Bestimmungseinheit 154, dass ein Fahrzeugbild Pc, das ein Erscheinungsbild eines Fahrzeugs C kennzeichnet, mit einem virtuellen Betrachtungspunktbild in einem Fall zusammengesetzt wird, in dem von der Informationsbeschaffungseinheit 120 keine Lageinformationen eines Hindernisses beschafft werden, das heißt, wenn in einer Umgebung eines Fahrzeugs C kein Hindernis vorhanden ist.
Ein Fahrzeugbild Pc, das damit in einem Fall zusammengesetzt wird, in dem kein Hindernis vorhanden ist, ist ein Bild, in dem ein Fahrzeug C nicht durchsichtig ist, und kann zum Beispiel ein Bild sein, das ein Vieleck aufweist, welches das Fahrzeug C nachbildet, oder das ein aufgenommenes Bild aufweist, in dem ein Bild einer Erscheinungsform des Fahrzeugs C aufgenommen wurde.
Andererseits legt die Fahrzeugbild-Bestimmungseinheit 154 in einem Fall, in dem in einer Umgebung des Fahrzeugs C ein Hindernis vorhanden ist, ein Fahrzeugbild Ps fest, in dem mindestens ein Teil eines Fahrzeugs C durchsichtig ist.
Unter Verwendung der 7A und 7B wird ein Fahrzeugbild Pc beschrieben, das durch die Fahrzeugbild-Bestimmungseinheit 154 festgelegt wird. 7A ist eine grafische Darstellung, die ein Beispiel für ein Fahrzeugbild Pc gemäß einer Ausführungsform zeigt, und 7B ist eine vergrößerte grafische Darstellung, die einen Teil eines Fahrzeugbildes Pc darstellt, wie es in 7A dargestellt ist.
Wie in 7A dargestellt ist, ist ein Fahrzeugbild Pc, das mit einem virtuellen Betrachtungspunktbild zusammengesetzt ist, in einem Fall, in dem ein Hindernis vorhanden ist, ein Bild, in dem ein Teil davon durchsichtig ist. In 7A weist eine Frontseite eines Fahrzeugs C eine hohe Durchsichtigkeit auf, sodass ein Hintergrund desselben durchscheinend sichtbar wird, wohingegen eine Durchsichtigkeit zu einer Heckseite des Fahrzeugs C hin verringert ist, sodass das Fahrzeug C wiedergegeben ist, ohne dass ein durchscheinender Hintergrund bewirkt wird.
Somit wird durch eine Abstufung erreicht, dass ein Teil eines Fahrzeugbildes Pc durchsichtig ist, sodass ein Notifikationsbild Ps selbst in einem Fall, in dem ein Hindernis vor einem Fahrzeug C als ein derartiges Notifikationsbild Ps dargestellt ist, nicht durch das Fahrzeugbild Ps verdeckt wird. Dadurch ist es für einen Benutzer möglich, unabhängig von einer Lage eines virtuellen Betrachtungspunktes, einer Lage eines Fahrzeugbildes Pc oder dergleichen ein Hindernis leichter zu bestätigen. Unter Verwendung von 8 wird eine solche Fragestellung später beschrieben.
Darüber hinaus wird selbst in einem Fall, in dem bewirkt wird, dass ein Teil eines Fahrzeugbildes Pc durchsichtig ist, nicht veranlasst, dass eine Profillinie eines Fahrzeugs C durchsichtig ist, wie in 7A dargestellt ist. Dadurch ist es selbst in einem Fall, in dem bewirkt wird, dass ein Teil eines Fahrzeugbildes Pc durchsichtig ist, möglich, schnell eine Hin-und-Her-Beziehung zwischen einem Fahrzeug C und einem Hindernis zu bestätigen. Eine solche Fragestellung wird später beschrieben, wobei 8 verwendet wird.
Ferner wird eine Profillinie eines Fahrzeugs C, die in einem Fahrzeugbild Pc enthalten ist, durch mehrere Linien dargestellt. Wie in 7B dargestellt ist, ist eine Profillinie zum Beispiel eine Zweifarbenlinie mit einer hellen Farbe und einer dunklen Farbe. Darüber hinaus ist 7B eine vergrößerte grafische Darstellung, in der ein Teil R1 in 7A vergrößert ist.
Zum Beispiel wird ein Hilfslinie mit einer Farbe, die von einer Karosseriefarbe eines Fahrzeug C abhängig ist, zu einem Profil eines Fahrzeugbildes Pc hinzugefügt, sodass es möglich ist, eine Profillinie durch mehrere Linien mit unterschiedlicher Helligkeit darzustellen. Zum Beispiel wird speziell in einem Fall, in dem eine Karosseriefarbe eine helle Farbe ist, wie z.B. eine weiße Farbe oder eine graue Farbe, eine Profillinie durch eine Hilfslinie mit einer schwarzen Farbe eingezeichnet. Ferner wird zum Beispiel in einem Fall, in dem eine Karosseriefarbe eine dunkle Farbe ist, wie z.B. blau oder schwarz, eine Profillinie durch eine Hilfslinie mit einer weißen Farbe eingezeichnet.
Dadurch ist es zum Beispiel auch in einem Fall, in dem eine Hintergrundfarbe hell ist, wie z.B. tagsüber, oder in einem Fall, in dem eine Hintergrundfarbe dunkel ist, wie z.B. nachts, für einen Benutzer möglich, eine Profillinie eines Fahrzeugbildes Pc leicht zu erkennen.
Darüber hinaus ist ein Fahrzeugbild Pc, wie es in 7A ist dargestellt ist, ein Beispiel und stellt keine Einschränkung dar. Zum Beispiel wird in einem Fall eines Fahrzeugbildes Pc, in dem eine Heckseite eines Fahrzeugs C von seiner Frontseite aus betrachtet wird, das Fahrzeugbild Pc bereitgestellt, in dem eine Heckseite des Fahrzeugs C durchsichtig ist. Somit legt die Fahrzeugbild-Bestimmungseinheit 154 ein Fahrzeugbild Pc fest, in welchem ein Teil, bei dem sich ein Hindernis mit einem Fahrzeug C überlappt, in Abhängigkeit von dem Vorhandensein oder Nichtvorhandensein des Hindernisses und einer Lage eines virtuellen Betrachtungspunktes durchsichtig ist. Darüber hinaus wird ein Fahrzeugbild Pc in der Speichereinheit 170 zum Beispiel als Fahrzeugbildinformation 171 gespeichert.
Es wird nun wieder auf 2 Bezug genommen. Die Betrachtungspunktlage-Bestimmungseinheit 155 bestimmt eine Lage einen virtuellen Betrachtungspunktes eines virtuellen Betrachtungspunktbildes, das auf Basis eines Vorhersagefahrtverlaufs aus der Bewegungsvorhersageeinheit 140 auf der Anzeigevorrichtung 50 angezeigt wird.
Zum Beispiel legt die Betrachtungspunktlage-Bestimmungseinheit 155 in einem Fall, in dem die Bewegungsvorhersageeinheit 140 vorhersagt, dass ein Fahrzeug C nach links abbiegt, eine Lage eines virtuellen Betrachtungspunktes über einer linken Heckseite eines Fahrzeugs C fest. Ferner legt die Betrachtungspunktlage-Bestimmungseinheit 155 in einem Fall, in dem ein Fahrzeug C nach rechts abbiegt, eine Lage eines virtuellen Betrachtungspunktes über einer rechten Heckseite eines Fahrzeugs C fest.
2.3.6. Zusammensetzungseinheit
Die Zusammensetzungseinheit 160 setzt die Bewegungsvorhersagelinien L1 und L2 oder dergleichen mit einem virtuellen Betrachtungspunktbild zusammen, das durch die Erzeugungseinheit 130 gemäß der Festlegung durch die Anzeigesteuereinheit 150 erzeugt wird, um ein zusammengesetztes Bild zu erzeugen. Die Zusammensetzungseinheit 160 erzeugt ein zusammengesetztes Bild, das von dem Vorhandensein oder Nichtvorhandensein eines Hindernisses abhängt.
Zum Beispiel setzt die Zusammensetzungseinheit 160 in einem Fall, in dem ein Hindernis in einer Umgebung eines Fahrzeugs C vorhanden ist, die Bewegungsvorhersagelinien L1 und L2, ein Bereichsbild R, ein Notifikationsbild Ps und ein Fahrzeugbild Pc mit einem virtuellen Betrachtungspunktbild zusammen. In einem solchen Fall setzt die Zusammensetzungseinheit 160 zuerst die Bewegungsvorhersagelinien L1 und L2, ein Bereichsbild R und ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild zusammen.
In einem Fall, in dem die Bewegungsvorhersagelinien L1 und L2, die durch die Vorhersagelinien-Bestimmungseinheit 151 bestimmt werden, Linien sind, die durch Betrachten eines Fahrzeugs C direkt von oben geliefert werden, wie in 4 dargestellt ist, führt die Zusammensetzungseinheit 160 zum Beispiel eine Koordinatentransformation der Bewegungsvorhersagelinien L1 und L2 so aus, dass sie zu Bewegungsvorhersagelinien L1 und L2 abgeändert werden, die von einem virtuellen Betrachtungspunkt aus betrachtet werden, und eingeblendet werden.
Ferner setzt die Zusammensetzungseinheit 160 zum Beispiel auf Basis der Bereichsbildinformationen 172, die in der Speichereinheit 170 gespeichert sind, ein Bereichsbild R mit einem virtuellen Betrachtungspunktbild zusammen. In einem Fall, in dem die Bereichsbildinformationen 172, die in der Speichereinheit 170 gespeichert sind, ein Nachweisbereich sind, der direkt von oben betrachtet wird (siehe 5), führt die Zusammensetzungseinheit 160 hierin eine Koordinatentransformation der Bereichsbildinformationen 172 aus, um ein Bereichsbild R zu erzeugen, in dem der Nachweisbereich von einem virtuellen Betrachtungspunkt aus betrachtet wird, und blendet es in ein virtuelles Betrachtungspunktbild ein. Ebenso formt die Zusammensetzungseinheit 160 auch ein Notifikationsbild Ps in ein Bild um, das von einem virtuellen Betrachtungspunkt aus betrachtet wird, und blendet es in ein virtuelles Betrachtungspunktbild ein.
Darüber hinaus werden die Bewegungsvorhersagelinien L1 und L2 oder dergleichen hier einer Koordinatentransformation unterworfen und in ein virtuelles Betrachtungspunktbild eingeblendet und sind nicht darauf beschränkt. In einem Fall zum Beispiel, in dem die Bereichsbildinformationen 172, die von einem virtuellen Betrachtungspunkt aus betrachtet werden, zuvor in der Speichereinheit 170 gespeichert wurden, usw., muss die Koordinatentransformation nicht ausgeführt werden.
Die Zusammensetzungseinheit 160 setzt die Bewegungsvorhersagelinien L1 und L2 oder dergleichen mit einem virtuellen Betrachtungspunktbild zusammen, und danach wird ein Fahrzeugbild Pc mit dem virtuellen Betrachtungspunktbild zusammengesetzt, wobei zum Beispiel eine farbbasierte Bildfreistellung auf der Grundlage der Fahrzeugbildinformationen 171 ausgeführt wird, die in der Speichereinheit 170 gespeichert sind, um ein zusammengesetztes Bild zu erzeugen. In einem solchen Fall blendet die Zusammensetzungseinheit 160 ein Fahrzeugbild Pc ein, wobei mindestens ein Teil desselben auf einem virtuellen Betrachtungspunktbild durchsichtig ist.
8 zeigt ein Beispiel eines zusammengesetzten Bildes, das durch die Zusammensetzungseinheit 160 erzeugt wurde. 8 ist eine grafische Darstellung, die ein Beispiel für ein zusammengesetztes Bild, das von einer Zusammensetzungseinheit 160 erzeugt wurde, gemäß einer Ausführungsform zeigt. In einem Beispiel von 8 erzeugt die Zusammensetzungseinheit 160 ein zusammengesetztes Bild P4, in dem ein Fahrzeug C von diagonal hinten links aus betrachtet wird, und ein Übersichtsbild P5, in dem das Fahrzeug C direkt von oben betrachtet wird. Die Zusammensetzungseinheit 160 gibt zum Beispiel an die Anzeigevorrichtung 50 ein Anzeigebild P6 aus, in dem ein zusammengesetztes Bild P4 mit einem Übersichtsbild P5 zusammengesetzt ist.
Wie in 8 dargestellt ist, wird ein Übersichtsbild P5 mit einem Fahrzeugbild Pc, Bewegungsvorhersagelinien L1 und L2 und einem Bereichsbild R zusammengesetzt. Hierbei sind auf einer rechten Frontseite eines Fahrzeugs C zwei Hindernisse (siehe 6) vorhanden. In einem Bereichsbild R, das auf einem Übersichtsbild P5 angezeigt ist, ist zum Beispiel eine Region Ra2 rot eingefärbt, und ein Bereich Ra ist durch eine rote Linie angezeigt. Ferner ist zum Beispiel eine Region Rc3 gelb eingefärbt.
Wie in 8 dargestellt ist, wird ein zusammengesetztes Bild P4 ferner mit einem Fahrzeugbild Pc, Bewegungsvorhersagelinien L1 und L2, einem Bereichsbild R und Notifikationsbildern Ps1 und Ps2 zusammengesetzt. Ein Hindernis ist hier auf einer rechten Frontseite eines Fahrzeugs C vorhanden, und somit wird in die Notifikationsbilder Ps1 und Ps2 ein Fahrzeugbild Pc eingeblendet, wobei das Fahrzeugbild Pc durchsichtig ist, und folglich ist es für einen Benutzer möglich, die Notifikationsbilder Ps1 und Ps2 leicht zu bestätigen.
Außerdem ist in 8 ein Teil der Notifikationsbilder Ps1 und Ps2 (mittlere Region in 8) durchsichtig. Somit wird bewirkt, dass mindestens ein Teil der Notifikationsbilder Ps1 und Ps2 durchsichtig ist, sodass es für einen Benutzer möglich ist, eine Bewegungsvorhersagelinie L1 leicht zu bestätigen. Ferner kann auf eine Farbe der Rahmenlinien der Notifikationsbilder Ps1 und Ps2 eine Abstufung von einer Mitte zu einer äußeren Rahmenlinie hin angewendet werden. In einem solchen Fall ist es möglich, leicht auf einen äußeren Bereich der Notifikationsbilder Ps1 und Ps2 Bezug zu nehmen. Dazu ist auch ein Notifikationsbild Ps in 1B ähnlich.
Ferner werden die Notifikationsbilder Ps1 und Ps2 in 8 durch Flächen dargestellt, die senkrecht zu einer Grundfläche sind. Somit werden die Notifikationsbilder Ps1 und Ps2 dreidimensional dargestellt, sodass es einem Benutzer möglich ist, eine Lage eines Hindernisses leichter zu erkennen.
Wie oben beschrieben ist, wird hier bewirkt, dass ein Teil eines Fahrzeugbildes Pc durchsichtig ist, aber es wird nicht bewirkt, dass eine Profillinie des Fahrzeugbildes Pc durchsichtig ist. Dadurch ist es offensichtlich, dass die Notifikationsbilder Ps1 und Ps2 hinter einem Fahrzeugbild Pc vorliegen, sodass es einem Benutzer möglich ist, eine Lagebeziehung zwischen einem Hindernis und einem Fahrzeug C leichter zu bestätigen.
Andererseits setzt die Zusammensetzungseinheit 160 in einem Fall, in dem in einem Umfeld eines Fahrzeugs C kein Hindernis vorhanden ist, damit Bewegungsvorhersagelinien L1 und L2, ein Bereichsbild R und ein Fahrzeugbild Pc zusammen, um ein (nicht dargestelltes) zusammengesetztes Bild zu erzeugen. In einem solchen Fall setzt die Zusammensetzungseinheit 160 zum Beispiel auf Basis der Fahrzeugbildinformationen 171 in der Speichereinheit 170 ein nicht durchsichtiges Fahrzeugbild Pc mit einem virtuellen Betrachtungspunktbild zusammen.
Somit wird eine Durchsichtigkeit eines Fahrzeugbildes Pc in Abhängigkeit davon verändert, ob ein Hindernis nachgewiesen ist oder nicht, sodass es in einem Fall, in dem ein Hindernis vorhanden ist, möglich ist, einem Benutzer eine Lagebeziehung zwischen dem Hindernis und einem Fahrzeug C darzulegen.
2.3.7. Speichereinheit
Es wird nun wieder auf 2 Bezug genommen. Die Speichereinheit 170 speichert Informationen, die in einem Prozess für jede Einheit der Bildbearbeitungsvorrichtung 10 verwendet werden, wie z.B. die Fahrzeugbildinformationen 171 oder die Bereichsbildinformationen 172. Ferner speichert die Speichereinheit 170 für jede Einheit ein Ergebnis eines Prozesses.
Die Speichereinheit 170 weist zum Beispiel einen RAM oder ein HDD auf. Zum Beispiel ist es für einen RAM oder ein HDD möglich, Informationen für verschiedenartige Typen von Programmen oder dergleichen in Abhängigkeit von einem Prozess zu speichern, der durch jede Einheit der Bildbearbeitungsvorrichtung 10 ausgeführt wird. Darüber hinaus kann die Bildbearbeitungsvorrichtung 10 über einen weiteren Computer oder ein transportables Aufzeichnungsmedium, das mittels eines drahtgebundenen oder drahtlosen Netzes angeschlossen ist, Informationen für verschiedenartige Typen von Programmen oder dergleichen beschaffen.
2.4. Anzeigevorrichtung
Die Anzeigevorrichtung 50 ist zum Beispiel ein Display, das an einem Fahrzeug C befestigt ist. Die Anzeigevorrichtung 50 zeigt ein Anzeigebild an, das durch die Bildbearbeitungsvorrichtung 10 erzeugt wird. In einem Fall, in dem an einem Fahrzeug C zum Beispiel ein (nicht dargestelltes) Navigationsgerät angebracht ist, kann die Anzeigevorrichtung 50 ein Display sei, das in einem derartigen Navigationsgerät enthalten ist.
3. Bilderzeugungsprozess
Als nächstes werden die Bearbeitungsschritte eines Bilderzeugungsprozesses, der von der Bildbearbeitungsvorrichtung 10 gemäß einer Ausführungsform durchgeführt wird, unter Verwendung von 9 beschrieben. 9 ist ein Flussdiagramm, das die Bearbeitungsschritte eines Bilderzeugungsprozesses darstellt, das von einer Bildbearbeitungsvorrichtung 10 gemäß einer Ausführungsform durchgeführt wird.
Die Bildbearbeitungsvorrichtung 10 führt in 9 wiederholt einen Bilderzeugungsprozess durch, zum Beispiel in einem Fall, in dem ein Fahrzeug C eine Rechtskurve oder eine Linkskurve ausführt, während es mit einer vorgegebenen oder kleineren Geschwindigkeit vorwärts fährt.
Die Bildbearbeitungsvorrichtung 10 in 9 führt einen Bilderzeugungsprozess zum Beispiel in einem konstanten Zeitabstand für die Bildaufnahmevorrichtung 20 aus, um ein aufgenommenes Bild aufzunehmen. Darüber hinaus ist ein Zeitabstand für die Bildbearbeitungsvorrichtung 10 zum Ausführen eines Bilderzeugungsprozesses nicht auf einen derartigen konstanten Zeitabstand beschränkt. Die Bildbearbeitungsvorrichtung 10 kann einen Bilderzeugungsprozess zum Beispiel jedes Mal dann ausführen, wenn mehrere aufgenommene Bilder beschafft wurden, das heißt mit einer Zeitperiode, die länger als ein derartiger konstanter Zeitabstand ist.
Wie in 9 dargestellt ist, beschafft die Bildbearbeitungsvorrichtung 10 zuerst ein aufgenommenes Bild von der Bildaufnahmevorrichtung 20 (Schritt S101). Die Bildbearbeitungsvorrichtung 10 erzeugt ein virtuelles Betrachtungspunktbild auf Basis eines beschafften aufgenommenen Bildes (Schritt S102).
Dann bestimmt die Bildbearbeitungsvorrichtung 10, ob ein Hindernis nachgewiesen wurde oder nicht, in Abhängigkeit davon, ob die Informationsbeschaffungseinheit 120 Lageinformationen beschafft oder nicht (Schritt S103). In einem Fall, in dem kein Hindernis nachgewiesen wurde (Nein im Schritt S103), geht die Bildbearbeitungsvorrichtung 10 zum Schritt S105 über.
In einem Fall hingegen, in dem ein Hindernis nachgewiesen wurde (Ja im Schritt S103), setzt die Bildbearbeitungsvorrichtung 10 ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild an einer ermittelten Lage eines Hindernisses zusammen (Schritt S104). Anschließend setzt die Bildbearbeitungsvorrichtung 10 ein Bereichsbild R mit einem virtuellen Betrachtungspunktbild zusammen(Schritt S105) und setzt dort Bewegungsvorhersagelinien L1 und L2 ein (Schritt S106).
Die Bildbearbeitungsvorrichtung 10 setzt ein Fahrzeugbild Pc mit einem virtuellen Betrachtungspunktbild zusammen, um ein zusammengesetztes Bild zu erzeugen (Schritt S107). Die Bildbearbeitungsvorrichtung 10 zeigt ein erzeugtes zusammengesetztes Bild auf der Anzeigevorrichtung 50 an (Schritt S108).
Solange die Bildbearbeitungsvorrichtung 10 damit mindestens eines von einem Notifikationsbild Ps, einem Bereichsbild R und Bewegungsvorhersagelinien L1 und L2 in Abhängigkeit von dem Vorhandensein oder Nichtvorhandensein eines Hindernisses zusammensetzt, können darüber hinaus die Reihenfolgen der Bearbeitungsschritte im Schritt S104 bis zum Schritt S106 verändert werden, oder sie können weggelassen werden.
Wie oben beschrieben wurde, zeigt das Hindernisdarstellungssystem 1 gemäß einer Ausführungsform auf der Anzeigevorrichtung 50 ein zusammengesetztes Bild an, in dem ein Fahrzeugbild Pc und ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild zusammengesetzt sind. Hierbei wird ein Notifikationsbild Ps mit einem virtuellen Betrachtungspunktbild an einer Stelle zusammengesetzt, an der ein Hindernis nachgewiesen wird, sodass es für einen Benutzer möglich ist, eine Lage des Hindernisses leicht zu bestätigen.
4. Auswirkung
Die Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform umfasst die Bildbeschaffungseinheit 110, die Informationsbeschaffungseinheit 120, die Erzeugungseinheit 130 und die Zusammensetzungseinheit 160. Die Bildbeschaffungseinheit 110 beschafft ein aufgenommenes Bild, in dem ein Bild einer Umgebung eines Fahrzeugs C durch die Bildaufnahmevorrichtung 20 aufgenommen ist. Die Informationsbeschaffungseinheit 120 beschafft Informationen bezüglich einer ermittelten Lage eines Hindernisses, das in einer Umgebung des Fahrzeugs C vorhanden ist. Die Erzeugungseinheit 130 erzeugt auf Basis des aufgenommenen Bildes, das von der Bildbeschaffungseinheit 110 beschafft wurde, ein virtuelles Betrachtungspunktbild, in dem eine Umgebung des Fahrzeugs C von einem virtuellen Betrachtungspunkt aus betrachtet wird. Die Zusammensetzungseinheit 160 setzt ein Notifikationsbild Ps, das eine Notifikation des Vorhandenseins des Hindernisses an dem ermittelten Ort bereitstellt, mit dem virtuellen Betrachtungspunktbild zusammen und setzt ein Fahrzeugbild Pc mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es für einen Benutzer möglich, ein Hindernis leichter zu erkennen.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform bewirkt, dass mindestens ein Teil des Notifikationsbildes Ps durchsichtig ist, und setzt es mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch wird es selbst in einem Fall, in dem ein Notifikationsbild Ps in eine Bewegungsvorhersagelinie L1 oder L2 oder dergleichen eingeblendet und mit ihr angezeigt wird, für einen Benutzer möglich, eine Bewegungsvorhersagelinie L1 oder L2 oder dergleichen leichter zu erkennen.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform setzt damit das Fahrzeugbild Pc zusammen, wobei mindestens ein Teil des Fahrzeugs C darin durchsichtig ist.
Dadurch wird es selbst in einem Fall, in dem ein Fahrzeugbild Pc in ein Notifikationsbild Ps eingeblendet und mit ihm angezeigt wird, für einen Benutzer möglich, ein Hindernis leichter zu erkennen.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform setzt damit das Fahrzeugbild Pc zusammen, wobei eine Profillinie darin nicht durchsichtig ist.
Dadurch wird selbst in einem Fall, in dem ein Fahrzeugbild Pc in ein Notifikationsbild Ps, das auf einer nahen Seite angezeigt ist, eingeblendet ist und mit ihm angezeigt wird, dieses leicht erkannt, sodass es möglich ist, eine Lagebeziehung zwischen einem Fahrzeug C und einem Hindernis leichter zu erkennen.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform setzt damit das Fahrzeugbild Pc zusammen, das mit mehreren Profillinien mit unterschiedlicher Helligkeit wiedergegeben ist.
Dadurch ist es einem Benutzer möglich, eine Profillinie eines Fahrzeugbildes Pc unabhängig von einer Hintergrundfarbe eines virtuelles Betrachtungspunktbildes leicht zu erkennen.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform setzt damit das Notifikationsbild Ps zusammen, das dreidimensional angezeigt ist.
Dadurch ist es möglich, ein Notifikationsbild Ps stereoskopisch zu erkennen, sodass es möglich ist, eine Lagebeziehung zwischen einem Fahrzeug C und einem Hindernis leichter zu erkennen.
Die Informationsbeschaffungseinheit 120 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform beschafft die Informationen bezüglich der ermittelten Lage aus einer Nachweisvorrichtung (Radarvorrichtung 30), die das Hindernis nachweist. Die Zusammensetzungseinheit 160 setzt ein Bereichsbild R, das einen Nachweisbereich der Nachweisvorrichtung (Radarvorrichtung 30) kennzeichnet, mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es einem Benutzer möglich, einen Nachweisbereich einer Nachweisvorrichtung zu erkennen, sodass es leicht möglich zu bestätigen, ob ein Hindernis nachgewiesen wird oder nicht.
Die Zusammensetzungseinheit 160 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform zeigt einen äußeren Rahmen eines Bereichsbildes R an, das den Nachweisbereich in einer lichtscheinartigen Form kennzeichnet, und setzt ihn mit dem virtuellen Betrachtungspunktbild zusammen.
Dadurch ist es einem Benutzer möglich, einen Nachweisbereich einer Nachweisvorrichtung leichter zu erkennen.
Die Erzeugungseinheit 130 der Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform erzeugt das virtuelle Betrachtungspunktbild, in dem das Fahrzeug C von einer oberen Seite am Heck des Fahrzeugs C aus betrachtet wird.
Damit kann selbst in einem Fall, in dem ein Benutzer eine Bestätigung für eine Beteiligung abgibt, einem Benutzer ein nachgewiesenes Hindernis aufgezeigt werden.
Die Bildbearbeitungsvorrichtung 10 gemäß der oben erwähnten Ausführungsform weist ferner die Anzeigesteuereinheit 150 auf, welche die Zusammensetzungseinheit 160 auf eine solche Weise steuert, dass das Notifikationsbild Ps in Abhängigkeit von der ermittelten Lage hervorgehoben angezeigt wird.
Dadurch kann in einem Fall, in dem ein Hindernis nahe an einem Fahrzeug C ist und eine hohe Gefährdung darstellt, für einen Benutzer ein Hindernis zuverlässiger dargestellt werden.

Claims

Bildbearbeitungsvorrichtung (10) mit: einer Bildbeschaffungseinheit (110), die ein aufgenommenes Bild beschafft, in dem ein Bild eines Fahrzeugs von einer Bildaufnahmevorrichtung (20) aufgenommen wurde; einer Informationsbeschaffungseinheit (120), die Informationen bezüglich einer ermittelten Position eines Hindernisses beschafft, das in einer Umgebung des Fahrzeugs vorhanden ist; einer Erzeugungseinheit (130), die auf Basis des aufgenommenen Bildes, das von der Bildbeschaffungseinheit (110) beschafft wurde, ein virtuelles Betrachtungspunktbild erzeugt, in dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird; und einer Zusammensetzungseinheit (160), die ein Notifikationsbild, das eine Notifikation des Vorhandenseins des Hindernisses an der ermittelten Position bereitstellt, mit dem virtuellen Betrachtungspunktbild zusammensetzt und ein Fahrzeugbild mit dem virtuellen Betrachtungspunktbild zusammensetzt, wobei die Informationsbeschaffungseinheit (120) die Informationen bezüglich der ermittelten Position von einer Erfassungsvorrichtung (30) erhält, die das Hindernis erfasst; und die Zusammensetzungseinheit (160) ein Bereichsbild zusammensetzt, das einen Erfassungsbereich (Ra-Rd) der Erfassungsvorrichtung (30) angibt, wobei der Erfassungsbereich in eine Mehrzahl von Regionen unterteilt ist, und ermittelt wird, in welcher aufgeteilten Region eines Erfassungsbereichs (Ra-Rd) ein Hindernis liegt.
Bildbearbeitungsvorrichtung (10) nach Anspruch 1, wobei die Zusammensetzungseinheit (160) bewirkt, dass mindestens ein Teil des Notifikationsbildes durchsichtig ist, und es mit dem virtuellen Betrachtungspunktbild zusammensetzt.
Bildbearbeitungsvorrichtung (10) nach Anspruch 1 oder 2, wobei die Zusammensetzungseinheit (160) damit das Fahrzeugbild zusammensetzt, in dem mindestens ein Teil des Fahrzeugs darin durchsichtig ist.
Bildbearbeitungsvorrichtung (10) nach Anspruch 1 oder 2, wobei die Zusammensetzungseinheit (160) damit das Fahrzeugbild zusammensetzt, in dem eine Profillinie darin nicht durchsichtig ist.
Bildbearbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 4, wobei die Zusammensetzungseinheit (160) damit das Fahrzeugbild zusammensetzt, das mit mehreren Profillinien mit einer unterschiedlichen Helligkeit wiedergegeben wird.
Bildbearbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 5, wobei die Zusammensetzungseinheit (160) damit das Notifikationsbild zusammensetzt, das dreidimensional angezeigt ist.
Die Bildbearbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 6, wobei die Zusammensetzungseinheit (160) einen äußeren Rahmen eines Bereichsbildes, das den Nachweisbereich kennzeichnet, in einer lichtscheinartigen Form anzeigt und ihn mit dem virtuellen Betrachtungspunktbild zusammensetzt.
Die Bildbearbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 7, wobei die Erzeugungseinheit (130) das virtuelle Betrachtungspunktbild erzeugt, in dem das Fahrzeug von einer oberen Seite am Heck des Fahrzeugs aus betrachtet wird.
Bildbearbeitungsvorrichtung (10) nach einem der Ansprüche 1 bis 8, ferner mit: einer Anzeigesteuereinheit (150), welche die Zusammensetzungseinheit (160) in einer solchen Weise steuert, dass das Notifikationsbild in Abhängigkeit von der ermittelten Position hervorgehoben angezeigt wird.
Bildbearbeitungsverfahren, umfassend: Beschaffen (S101) eines aufgenommenen Bildes, in dem ein Bild eines Fahrzeugs von einer Bildaufnahmevorrichtung aufgenommen wurde; Beschaffen (S103) von Informationen bezüglich einer ermittelten Position eines Hindernisses, das in einer Umgebung des Fahrzeugs vorhanden ist; Erzeugen (S102) eines virtuellen Betrachtungspunktbildes auf Basis des aufgenommenen Bildes, in dem eine Umgebung des Fahrzeugs von einem virtuellen Betrachtungspunkt aus betrachtet wird; und Zusammensetzen (S104) eines Notifikationsbildes, das eine Notifikation des Vorhandenseins des Hindernisses an der ermittelten Position bereitstellt, mit dem virtuellen Betrachtungspunktbild und Zusammensetzen eines Fahrzeugbildes mit dem virtuellen Betrachtungspunktbild, wobei der Schritt des Beschaffens (S103) von Informationen das Erhalten der ermittelten Position von einer Erfassungsvorrichtung (30), die das Hindernis erfasst, umfasst; und der Schritt des Zusammensetzens (S104) eines Notifikationsbildes das Zusammensetzen eines Bereichsbildes umfasst, das einen Erfassungsbereich (Ra-Rd) der Erfassungsvorrichtung (30) angibt, wobei der Erfassungsbereich in eine Mehrzahl von Regionen unterteilt ist, und ermittelt wird, in welcher aufgeteilten Region eines Erfassungsbereichs (Ra-Rd) ein Hindernis liegt.