DE102016105298A1

DE102016105298A1 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und fahrzeugbasierte Vorrichtung

Info

Publication number: DE102016105298A1
Application number: DE102016105298.1A
Authority: DE
Inventors: Takayuki OZASA; Teruhiko Kamibayashi; Kohji OHNISHI; Takeo Matsumoto; Tomoyuki Fujimoto; Daisuke Yamamoto
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2015-04-24
Filing date: 2016-03-22
Publication date: 2016-10-27
Also published as: US10647255B2; CN106067942A; US20180361934A1; US10328856B2; US20160311372A1; JP2016208368A; CN106067942B; JP6585371B2

Abstract

Eine Bildverarbeitungsvorrichtung (3) gemäß einer Erscheinungsform der Ausführungsform umfasst eine Bilderzeugungseinheit (11), welche auf der Basis eines aufgenommenen Bildes einer Bildaufnahmeeinheit (1) ein Bild an einem virtuellen Standpunkt erzeugt, und eine Bildverarbeitungseinheit (12), welche ein Bild erzeugt, in welchem ein Bild für die Synthese auf dem Bild an dem virtuellen Standpunkt angezeigt wird. Die Bildverarbeitungseinheit (12) führt ein Verfahren zum Verringern der Sichtbarkeit des Bildes für die Synthese durch, wenn das Bild an dem virtuellen Standpunkt ein Bild an einer Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.

Description

GEBIET
Die hierin beschriebene Ausführungsform betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und eine fahrzeugbasierte Vorrichtung.
HINTERGRUND
Es ist eine herkömmliche Technologie zum Erzeugen eines virtuellen Standpunktbildes und Anzeigen des virtuellen Standpunktbildes auf einem Anzeigemittel bekannt. Hierin ist das virtuelle Standpunktbild ein von einem virtuellen Standpunkt betrachtetes Bild auf der Basis eines Umgebungsbildes eines Fahrzeugs, das von einem Bildaufnahmemittel aufgenommen wird, das an der vorgegebenen Position des Fahrzeugs angeordnet ist (vgl. zum Beispiel die Japanische Patent-Auslegeschrift Nr. 2011-244239 ).
Mit der herkömmlichen Technologie wird jedoch nur das virtuelle Standpunktbild angezeigt. Wenn es möglich ist, unter Verwendung virtueller Standpunktbilder eine Anzeige geeigneter durchzuführen, ist anzunehmen, dass der Komfort verbessert wird.
Im Hinblick auf das obige Problem ist die vorliegende Erfindung gemacht worden und es ist eine Aufgabe der Erfindung, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und eine fahrzeugbasierte Vorrichtung bereitzustellen, wobei eine Anzeige unter Verwendung virtueller Standpunktbilder geeigneter durchgeführt werden kann.
KURZDARSTELLUNG
Gemäß einer Erscheinungsform einer Ausführungsform umfasst eine Bildverarbeitungsvorrichtung eine Bilderzeugungseinheit und eine Bildverarbeitungseinheit. Die Bilderzeugungseinheit, erzeugt basierend auf einem von einer Bildaufnahmeeinheit aufgenommenen Bild ein Bild an einem virtuellen Standpunkt. Die Bildverarbeitungseinheit erzeugt ein Bild, in welchem ein Bild für die Synthese auf dem Bild an dem virtuellen Standpunkt angezeigt wird. Die Bildverarbeitungseinheit führt ein Verfahren zum Verringern der Sichtbarkeit des Bildes für die Synthese durch, wenn das Bild an dem virtuellen Standpunkt ein Bild an einer Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.
Gemäß einer Erscheinungsform der Ausführungsform ist es möglich, die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren und die fahrzeugbasierte Vorrichtung bereitzustellen, wobei eine Anzeige unter Verwendung virtueller Standpunktbilder geeigneter durchgeführt werden kann.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Ein vollständigeres Verständnis der Ausführungsform und vieler damit verbundener Vorteile ist leichter zu erhalten unter Bezugnahme auf die folgende detaillierte Beschreibung, wenn sie in Verbindung mit den begleitenden Zeichnungen betrachtet wird, wobei:
1A und 1B Schaubilder sind, welche ein Bildverarbeitungsverfahren gemäß einer Ausführungsform erläutern;
2 ein Schaubild ist, welches ein Konfigurationsbeispiel einer fahrzeugbasierten Vorrichtung gemäß der Ausführungsform veranschaulicht;
3 ein Schaubild ist, welches ein Anordnungsbeispiel einer Bildaufnahmevorrichtung veranschaulicht;
4 ein Schaubild ist, welches ein Syntheseverfahren erläutert, das von einer Syntheseeinheit durchgeführt wird, wenn ein Bild einer Führungsspur als ein Bild für die Synthese verwendet wird;
5 ein Schaubild ist, welches ein Beispiel für Standpunktstellen veranschaulicht, wenn ein Standpunkt nach und nach von einer Standpunktstelle als ein Startpunkt zu einer Standpunktstelle als ein Endpunkt bewegt wird;
6 ein Schaubild ist, welches Verarbeitungsdetails erläutert, die von einer Bildverarbeitungseinheit durchgeführt werden, wenn ein virtueller Standpunkt bewegt wird; und
7 ein Ablaufplan ist, welcher ein Bildverarbeitungsverfahren veranschaulicht, das von einer Bildverarbeitungsvorrichtung ausgeführt wird.
BESCHREIBUNG DER AUSFÜHRUNGSFORM
Hierin wird im Folgenden eine Ausführungsform einer Bildverarbeitungsvorrichtung, eines Bildverarbeitungsverfahrens und einer fahrzeugbasierten Vorrichtung gemäß der vorliegenden Anmeldung detailliert unter Bezugnahme auf die Zeichnungen beschrieben. Darüber hinaus ist die Erfindung nicht auf die folgende Ausführungsform beschränkt.
1. Bildverarbeitungsverfahren
1A und 1B sind Schaubilder, welche ein Bildverarbeitungsverfahren gemäß einer Ausführungsform erläutern. Das Bildverarbeitungsverfahren wird beispielsweise einer Fahrzeug-Bildverarbeitungsvorrichtung (hierin im Folgenden als Bildverarbeitungsvorrichtung bezeichnet) ausgeführt, die auf einem Fahrzeug montiert ist.
Wie in 1A veranschaulicht, erzeugt die Bildverarbeitungsvorrichtung gemäß der Ausführungsform ein von einem virtuellen Standpunkt betrachtetes Bild (hierin im Folgenden als virtuelles Standpunktbild bezeichnet) auf der Basis eines Bildes (hierin im Folgenden als aufgenommenes Bild bezeichnet), das von einer Bildaufnahmevorrichtung (nicht dargestellt: Beispiel für eine Bildaufnahmeeinheit) aufgenommen wird, die an der vorgegebenen Position des Fahrzeugs bereitgestellt wird, um ein Umgebungsbild des Fahrzeugs aufzunehmen.
Ferner erzeugt die Bildverarbeitungsvorrichtung ein synthetisiertes Bild, das durch Synthetisieren des virtuellen Standpunktbildes und durch ein Bild für die Synthese erhalten wird, und gibt das synthetisierte Bild auf eine Anzeigevorrichtung (Beispiel für eine Anzeigeeinheit) aus, um auf der Anzeigevorrichtung ein Bild anzuzeigen, in welchem das Bild für die Synthese auf dem virtuellen Standpunktbild angezeigt wird.
Das Bild für die Synthese ist ein Bild, welches als eine Markierung zur Fahrhilfe fungiert. Zum Beispiel ist das Bild für die Synthese ein Bild einer Führungsspur, ein Warnungsbild, ein Bild, welches einen Parkplatz anzeigt, oder Ähnliches. Das Bild für die Synthese wird zum Beispiel durch eine Bilderzeugungsvorrichtung (nicht dargestellt) erzeugt und wird an die Bildverarbeitungsvorrichtung ausgegeben.
Das Führungsspurbild ist zum Beispiel ein Bild einer Führungsspur, welche einen Fahrtweg des Fahrzeugs anzeigt, wobei der Fahrtweg auf der Grundlage eines Ruderlagenwinkels oder dergleichen vorhergesagt wird, der von einem Ruderlagenwinkelsensor (nicht dargestellt) erfasst wird, der in dem Fahrzeug bereitgestellt wird. Das Warnungsbild ist beispielsweise ein Bild zum Warnen eines Insassen über die Position eines Hindernisses, wenn das Hindernis im rückwärtigen Bereich des Fahrzeugs auftritt. Zum Beispiel ist das Warnungsbild ein Bild einer Umrisslinie, welche das Hindernis umfasst. In diesem Fall erzeugt die Bilderzeugungsvorrichtung, da sich die Position der Führungsspur, des Hindernisses oder des Parkplatzes entsprechend der Änderung eines virtuellen Standpunktes ändert, ein Bild für die Synthese entsprechend der Änderung des virtuellen Standpunkts.
Wenn ein Bild für die Synthese mit einem virtuellen Standpunktbild synthetisiert wird, dessen Standpunktstelle des virtuellen Standpunkts sich bewegt, zeigt die Bildanzeigevorrichtung das Bild für die Synthese und das virtuelle Standpunktbild zusammen an, während nach und nach die Standpunktstelle geändert wird. Da ein Insasse des Fahrzeugs die Änderungen des virtuellen Standpunktbildes und des Bildes für die Synthese getrennt visuell erkennt, ist es deswegen wahrscheinlich, dass der Insasse die Bilder nicht erfassen kann und auch keine Einschätzung des Abstands oder dergleichen erlangen kann.
Wenn es sich bei einem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt, führt die Bildverarbeitungsvorrichtung ein Verfahren zum Verringern der Sichtbarkeit der Bilder für die Synthese durch. Als ein Ergebnis kann der Insasse des Fahrzeugs einfach ein Bild erfassen, eine Einschätzung des Abstands erlangen und dergleichen.
Wenn es sich zum Beispiel, wie in 1B veranschaulicht, bei einem virtuellen Standpunktbild um Bilder an Standpunktstellen A und B vor und nach einer Bewegung des virtuellen Standpunkts handelt, gibt die Bildverarbeitungsvorrichtung Bilder an die Anzeigevorrichtung aus, in welchen Bilder für die Synthese auf virtuellen Standpunktbildern angezeigt werden. Wenn es sich andererseits bei dem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt, gibt die Bildverarbeitungsvorrichtung nicht Bilder an die Anzeigevorrichtung aus, in welchen Bilder für die Synthese auf virtuellen Standpunktbildern angezeigt werden.
Das Verfahren zum Verringern der Sichtbarkeit eines Bildes für die Synthese ist nicht beschränkt auf ein Verfahren zum Ausgeben nur des virtuellen Standpunktbildes an die Anzeigevorrichtung, um ohne die Synthese des Bildes für die Synthese die Sichtbarkeit des Bildes für die Synthese auf Null zu stellen. Zum Beispiel umfasst das Verfahren zum Verringern der Sichtbarkeit eines Bildes für die Synthese ein Verfahren zum Ausgeben eines Bildes an die Anzeigevorrichtung, welches durch Synthetisieren eines virtuellen Standpunktbildes und eines Bildes für die Synthese mit hoher Durchlässigkeit erhalten wird. Hierin wird im Folgenden detailliert ein Beispiel für das Verfahren zum Ausgeben eines virtuellen Standpunktbilds an die Anzeigevorrichtung ohne die Synthese eines Bildes für die Synthese erläutert.
2. Konfiguration einer fahrzeugbasierten Vorrichtung
2 ist ein Schaubild, welches ein Konfigurationsbeispiel einer fahrzeugbasierten Vorrichtung 100 gemäß der Ausführungsform veranschaulicht. Wie in 2 veranschaulicht, umfasst die fahrzeugbasierte Vorrichtung 100 eine Bildaufnahmevorrichtung 1 (Beispiel für eine Bildaufnahmeeinheit), eine Bildsteuerungsvorrichtung 2, eine Bildverarbeitungsvorrichtung 3 und eine Anzeigevorrichtung 4 (Beispiel für eine Anzeigeeinheit). Hierin kann die Bildverarbeitungsvorrichtung 3 zum Beispiel eine Konfiguration aufweisen, dass sie zumindest eine aus der Bildsteuerungsvorrichtung 2 und der Anzeigevorrichtung 4 umfasst.
Die Bildaufnahmevorrichtung 1 umfasst zum Beispiel ein Bildaufnahmeelement, wie z. B. eine ladungsgekoppelte Vorrichtung (Charge Coupled Device, CCD) und einen Komplementär-Metalloxid-Halbleiter (Complementary Metal Oxide Semiconductor, CMOS). Die Bildaufnahmevorrichtung 1 gibt ein aufgenommenes Bild an die Bildverarbeitungsvorrichtung 3 aus, welches ein sich bewegendes Bild ist, das von dem Bildaufnahmeelement aufgenommen wird. Zum Beispiel ist, wie in 3 veranschaulicht, die Bildaufnahmevorrichtung 1 im Heck eines Fahrzeugs 5 angeordnet, um ein rückwärtiges Bild des Fahrzeugs 5 aufzunehmen. 3 ist ein Schaubild, welches ein Anordnungsbeispiel einer Bildaufnahmevorrichtung 1 veranschaulicht. Es sei angemerkt, dass die Anordnung der Bildaufnahmevorrichtung 1 und die Anzahl der Bildaufnahmevorrichtungen nicht auf das in 3 veranschaulichte Beispiel beschränkt sind.
Die Bildsteuerungsvorrichtung 2 umfasst eine Bild-für-die-Synthese-Erzeugungseinheit 6, eine Bildsteuerungseinheit 7 und eine Bedienungseinheit 8. Die Bild-für-die-Synthese-Erzeugungseinheit 6 erzeugt ein Bild für die Synthese zum Durchführen einer Chroma-Key-Synthese an einem virtuellen Standpunktbild und gibt es aus. Das Bild für die Synthese ist ein Bild, welches als eine Markierung zur Fahrhilfe fungiert. Zum Beispiel ist das Bild für die Synthese ein Bild einer Führungsspur und ein Warnungsbild.
Wenn beispielsweise ein Bild einer Führungsspur erzeugt wird, erhält die Bild-für-die-Synthese-Erzeugungseinheit 6 Informationen wie z. B. einen Ruderlagenwinkel, der von einem Ruderlagenwinkel-Sensor (nicht dargestellt) erfasst wird, der in dem Fahrzeug bereitgestellt wird, und sagt einen Fahrtweg des Fahrzeugs auf der Grundlage des Ruderlagenwinkels oder dergleichen voraus. Die Bild-für-die-Synthese-Erzeugungseinheit 6 erzeugt das Bild der Führungsspur, welche den vorausgesagten Fahrtweg anzeigt.
Wenn zum Beispiel ein Warnungsbild erzeugt wird, analysiert die Bild-für-die-Synthese-Erzeugungseinheit 6 das aufgenommene Bild der Bildaufnahmevorrichtung 1 und erfasst ein Hindernis im hinteren Bereich des Fahrzeugs. Die Bild-für-die-Synthese-Erzeugungseinheit 6 erzeugt das Warnungsbild, um einen Insassen des Fahrzeugs über das Auftreten eines Hindernisses zu warnen. Das Warnungsbild ist zum Beispiel ein Bild zum Warnen des Insassen über die Position des Hindernisses oder es ist ein Bild einer Umrisslinie, welche das Hindernis umfasst.
Die Bildsteuerungseinheit 7 steuert die Bildverarbeitungsvorrichtung 3 und die Bild-für-die-Synthese-Erzeugungseinheit 6 beispielsweise auf der Basis von in die Bedienungseinheit 8 eingegebenen Operationen. Wenn es durch eine Eingabeoperation in die Bedienungseinheit 8 eine Anforderung zur Änderung eines virtuellen Standpunkts gibt, führt die Bildsteuerungseinheit 7 ein Änderungsverfahren an dem virtuellen Standpunkt durch.
Wenn es zum Beispiel eine Anforderung zur Änderung von einer Standpunktstelle (hierin im Folgenden als Standpunktstelle A bezeichnet) des aktuellen virtuellen Standpunkts auf eine Standpunktstelle (hierin im Folgenden als Standpunktstelle B bezeichnet) eines Ziels nach der Änderung gibt, gibt die Bildsteuerungseinheit 7 Informationen über die Standpunktstelle B an die Bild-für-die-Synthese-Erzeugungseinheit 6 und die Bildverarbeitungsvorrichtung 3 aus.
Die Bild-für-die-Synthese-Erzeugungseinheit 6 erzeugt ein Bild für die Synthese, welches der Standpunktstelle B entspricht, auf der Basis der Informationen über die Standpunktstelle B, die von der Bildsteuerungseinheit 7 ausgegeben werden, und gibt das Bild für die Synthese an die Bildverarbeitungsvorrichtung 3 aus. Überdies erzeugt die Bildverarbeitungsvorrichtung 3 auf der Basis der Informationen über die Standpunktstelle B, die von der Bildsteuerungsvorrichtung 2 ausgegeben werden, virtuelle Standpunktbilder, welche Bilder sind, die von aufeinander folgenden Standpunktstellen bis zu der Standpunktstelle B betrachtet werden.
Die Bildverarbeitungsvorrichtung 3 erhält das aufgenommene Bild von der Bildaufnahmevorrichtung 1 und erhält auch das Bild für die Synthese von der Bildsteuerungsvorrichtung 2. Die Bildverarbeitungsvorrichtung 3 erzeugt ein Bild an einem virtuellen Standpunkt (hierin im Folgenden als virtuelles Standpunktbild bezeichnet) auf der Basis des erhaltenen aufgenommenen Bildes, führt eine Chroma-Key-Synthese an dem virtuellen Standpunktbild und dem Bild für die Synthese durch und gibt das erzeugte synthetisierte Bild an die Anzeigevorrichtung 4 aus.
Die Anzeigevorrichtung 4 umfasst eine Flüssigkristall-Anzeigevorrichtung (Liquid Crystal Display, LCD) und zeigt das synthetisierte Bild und das virtuelle Standpunktbild auf der Basis von Daten des synthetisierten Bildes und des virtuellen Standpunktbildes an, die sie von der Bildverarbeitungsvorrichtung 3 erhält.
3. Konfiguration der Bildverarbeitungsvorrichtung 3
Wie in 2 veranschaulicht, umfasst die Bildverarbeitungsvorrichtung 3 eine Bilderzeugungseinheit 11, eine Bildverarbeitungseinheit 12 und eine Verhaltensverwaltungseinheit 13. Die Verhaltensverwaltungseinheit 13 kann individuell in der Bilderzeugungseinheit 11 und der Bildverarbeitungseinheit 12 bereitgestellt werden.
Die Bilderzeugungseinheit 11 führt ein Koordinatentransformationsverfahren an dem aufgenommenen Bild durch, das von der Bildaufnahmevorrichtung 1 ausgegeben wird, um ein virtuelles Standpunktbild zu erzeugen, welches ein Bild ist, das von einem virtuellen Standpunkt betrachtet wird, und gibt das virtuelle Standpunktbild an die Bildverarbeitungseinheit 12 aus. Die Bildverarbeitungseinheit 12 erhält das Bild für die Synthese von der Bildsteuerungsvorrichtung 2 und synthetisiert das Bild für die Synthese und das virtuelle Standpunktbild und gibt dann ein synthetisiertes Bild an die Anzeigevorrichtung 4 aus. Die Verhaltensverwaltungseinheit 13 verwaltet Verhalten der Bilderzeugungseinheit 11 und der Bildverarbeitungseinheit 12.
Die Bildverarbeitungsvorrichtung 3 ist eine Vorrichtung, die durch eine integrierte Schaltung wie z. B. eine anwendungsspezifische integrierte Schaltung (ASIC) und ein feldprogrammierbares Gate-Array (FPGA) realisiert wird. Alternativ kann die Bildverarbeitungsvorrichtung 3 eine Konfiguration aufweisen, dass sie einen Prozessor wie z. B. eine CPU und MPU und einen Speicher wie z. B. eine Halbleiter-Speichervorrichtung, z. B. einen Direktzugriffsspeicher (RAM) und einen Flash-Speicher, umfasst, wobei der Prozessor ein Programm ausführt, das in dem Speicher gespeichert ist, um die Funktionen der beschriebenen Einheiten zu realisieren.
Die Bilderzeugungseinheit 11 umfasst eine Einheit zum Erhalten eines aufgenommenen Bildes 21 und eine Einheit zum Erzeugen eines virtuellen Standpunktbildes 22. Die Einheit zum Erhalten eines aufgenommenen Bildes 21 erhält das aufgenommene Bild von der Bildaufnahmevorrichtung 1. Zum Beispiel gibt die Bildaufnahmevorrichtung 1 Daten des aufgenommenen Bildes (hierin im Folgenden als aufgenommene Bilddaten bezeichnet) an die Bildverarbeitungsvorrichtung 3 unter Verwendung eines Videosignals wie z. B. eines RGB-Signals und eines Komponentensignals aus.
Nach dem Erhalten der aufgenommenen Bilddaten von der Bildaufnahmevorrichtung 1 gibt die Einheit zum Erhalten eines aufgenommenen Bildes 21 die erhaltenen aufgenommenen Bilddaten an die Einheit zum Erzeugen eines virtuellen Standpunktbildes 22 aus. Hierin sind die aufgenommenen Bilddaten Daten, die einem Bild jedes Rahmens des sich bewegenden Bildes entsprechen, das von der Bildaufnahmevorrichtung 1 aufgenommen wird. Die aufgenommenen Bilddaten werden von der Einheit zum Erhalten eines aufgenommenen Bildes 21 nacheinander in Rahmeneinheiten des aufgenommenen sich bewegenden Bildes an die Einheit zum Erzeugen eines virtuellen Standpunktbildes 22 ausgegeben.
Die Einheit zum Erzeugen eines virtuellen Standpunktbildes 22 führt das Koordinatentransformationsverfahren an dem aufgenommenen Bild durch, um ein virtuelles Standpunktbild zu erzeugen, welches ein Bild ist, das von einem virtuellen Standpunkt betrachtet wird, und gibt Daten des virtuellen Standpunktbildes (hierin im Folgenden als virtuelle Standpunktbilddaten bezeichnet) an die Syntheseeinheit 35 aus.
In dem Koordinatentransformationsverfahren projiziert die Einheit zum Erzeugen eines virtuellen Standpunktbildes 22 beispielsweise das aufgenommene Bild auf eine vorgegebene Projektionsebene (bildet es ab) und stellt aus aufgenommenen Bildern, die auf die vorgegebene Projektionsebene projiziert werden, ein Bild in einem Bereich innerhalb eines vorgegebenen Betrachtungswinkels von dem virtuellen Standpunkt als das virtuelle Standpunktbild ein.
Die vorgegebene Projektionsebene kann zum Beispiel eine dreidimensionale gekrümmte Fläche in einem virtuellen dreidimensionalen Raum oder eine Straßenoberfläche sein, wie in 1A veranschaulicht. Außerdem kann die Projektion eines aufgenommenen Bildes auf die vorgegebene Projektionsebene zum Beispiel durch Transformieren der Koordinaten des aufgenommenen Bildes, bei welchen die Bildaufnahmevorrichtung 1 als eine Ursprungskoordinate verwendet wird, in ein Koordinatensystem durchgeführt werden, in welchem die Projektionsebene als eine Referenz benutzt wird.
Die Bildverarbeitungseinheit 12 umfasst eine Einheit zum Erhalten eines Bildes für die Synthese 31, eine Komprimiereinheit 32, einen Speicher 33, eine Dekomprimiereinheit 34, eine Syntheseeinheit 35, eine Bildqualitätseinstelllungs-Verarbeitungseinheit 36 und eine Bildausgabeeinheit 37.
Die Einheit zum Erhalten eines Bildes für die Synthese 31 erhält das Bild für die Synthese von der Bildsteuerungsvorrichtung 2. Die Bildsteuerungsvorrichtung 2 gibt Daten des Bildes für die Synthese (hierin im Folgenden als Bilddaten für die Synthese bezeichnet) unter Verwendung eines Videosignals wie zum Beispiel eines RGB-Signals und eines Komponentensignals an die Bildverarbeitungsvorrichtung 3 aus. Nach dem Erhalten der Bilddaten für die Synthese von der Bildsteuerungsvorrichtung 2 gibt die Einheit zum Erhalten eines Bildes für die Synthese 31 die erhaltenen Bilddaten für die Synthese an die Komprimiereinheit 32 aus.
Die Komprimiereinheit 32 komprimiert die Bilddaten für die Synthese unter Anwendung eines vorgegebenen Kompressionsverfahrens und speichert die komprimierten Bilddaten für die Synthese (hierin im Folgenden als komprimierte Bilddaten bezeichnet) im Speicher 33. Wenn zum Beispiel für die Bilddaten für die Synthese eine zuvor gekennzeichnete Farbe verwendet wird, kann die Komprimiereinheit 32 eine Datenkompression unter Verwendung einer Farb-Verweistabelle (Color Look-Up Table, CLUT) durchführen und kann die komprimierten Daten unter Anwendung eines Lauflängenverfahrens weiter komprimieren. Es sei angemerkt, dass die Komprimiereinheit 32 statt des CLUT- und Lauflängenverfahrens die anderen Kompressionsverfahren durchführen kann.
Die Dekomprimiereinheit 34 führt ein Verfahren zum Dekomprimieren der in dem Speicher 33 gespeicherten komprimierten Bilddaten zu Bilddaten für die Synthese durch. Zum Beispiel führt die Dekomprimiereinheit 34 eine umgekehrte Umwandlung an den in dem Speicher 33 gespeicherten komprimierten Bilddaten unter Anwendung des Lauflängenverfahrens aus und führt weiter eine umgekehrte Umwandlung unter Verwendung der CLUT aus, um die komprimierten Bilddaten zu den Bilddaten für die Synthese zu dekomprimieren.
Auf der Basis der von der Bilderzeugungseinheit 11 erhaltenen virtuellen Standpunktbilddaten und der von der Dekomprimiereinheit 34 erhaltenen Bilddaten für die Synthese erzeugt die Syntheseeinheit 35 Daten eines synthetisierten Bildes (hierin im Folgenden als synthetisierte Bilddaten bezeichnet), die durch Synthetisieren des Bildes für die Synthese auf dem virtuellen Standpunktbild über eine Chroma-Key-Synthese erhalten werden. Zum Beispiel stellt die Syntheseeinheit 35 unter Pixeln, welche das Bild für die Synthese bilden, eine Farbe eines Pixels, welche einer zuvor gekennzeichneten Farbe (zum Beispiel blau) entspricht, als eine transparente Farbe ein und synthetisiert dann das Bild für die Synthese auf dem virtuellen Standpunktbild.
Die Syntheseeinheit 35 schaltet die Synthesefunktion zum Synthetisieren des virtuellen Standpunktbildes und des Bildes für die Synthese zum Beispiel entsprechend einer Anforderung aus der Verhaltensverwaltungseinheit 13 ein oder aus. Wenn die Synthesefunktion eingeschaltet ist, synthetisiert die Syntheseeinheit 35 das Bild für die Synthese auf dem virtuellen Standpunktbild. Wenn die Synthesefunktion ausgeschaltet ist, synthetisiert die Syntheseeinheit 35 das virtuelle Standpunktbild und das Bild für die Synthese nicht und gibt die von der Bilderzeugungseinheit 11 erhaltenen virtuellen Standpunktbilddaten an die Bildqualitätseinstellungs-Verarbeitungseinheit 36 aus.
4 ist ein Schaubild, welches das Syntheseverfahren erläutert, das von einer Syntheseeinheit 35 durchgeführt wird, wenn ein Bild einer Führungsspur als das Bild für die Synthese verwendet wird. In dem Beispiel, das in 4 veranschaulicht wird, erzeugt die Syntheseeinheit 35 ein synthetisiertes Bild, das durch Synthetisieren eines Bildes einer Führungsspur auf dem virtuellen Standpunktbild erhalten wird. Unter Verwendung des synthetisierten Bildes kann der Insasse des Fahrzeugs das virtuelle Standpunktbild sehen, über welches die Führungsspur gelegt ist, und kann so das Fahrzeug besser fahren.
Die Bildqualitätseinstellungs-Verarbeitungseinheit 36 führt ein Verfahren zum Einstellen einer Bildqualität des von der Syntheseeinheit 35 ausgegebenen Bildes durch und gibt Daten des Bildes an die Bildausgabeeinheit 37 aus, nachdem das Qualitätseinstellungsverfahren beendet ist. Die Bildausgabeeinheit 37 wandelt die Daten des von der Bildqualitätseinstellungs-Verarbeitungseinheit 36 ausgegebenen Bildes in ein Videosignalformat um, welches von der Anzeigevorrichtung 4 empfangen werden kann, und gibt die umgewandelten Daten an die Anzeigevorrichtung 4 aus.
Auf der Basis von Informationen über die Standpunktstelle B als das Bewegungsziel, die von der Bildsteuerungsvorrichtung 2 ausgegeben werden, gibt die Verhaltensverwaltungseinheit 13 aufeinander folgende Standpunktstellen (hierin im Folgenden als C₁ bis C_n bezeichnet: n ist eine natürliche Zahl) bis zu der Standpunktstelle nach der Bewegung B an die Bilderzeugungseinheit 11 aus. Als ein Ergebnis erzeugt die Bilderzeugungseinheit 11 nach und nach virtuelle Standpunktbilder an den aufeinander folgenden Standpunktstellen C₁ bis C_n (diese können hierin im Folgenden zusammenfassend als Standpunktstellen C bezeichnet sein) zwischen der Standpunktstelle vor der Bewegung A und der Standpunktstelle nach der Bewegung B und gibt diese aus.
5 ist ein Schaubild, welches die Standpunktstellen A, C₁ bis C_n und B erläutert, wenn ein Standpunkt nach und nach von der Standpunktstelle A zu der Standpunktstelle B bewegt wird. In 5 sind zu Erläuterungszwecken von den Standpunktstellen C₁ bis C_n nur die Standpunktstellen C_n/3 und C_2n/3 veranschaulicht. In dem Beispiel, das in 5 veranschaulicht ist, wird die Standpunktstelle mit der Bewegung des Standpunkts von der Standpunktstelle A zu der Standpunktstelle B höher.
Die Anzahl der Standpunktstellen C zwischen den Standpunktstellen A und B ist die Anzahl virtueller Standpunktbilder an Standpunktstellen, welche sich nach und nach zwischen den Standpunktstellen A und B bewegen, wobei der Insasse des Fahrzeugs die virtuellen Standpunktbilder beispielsweise nahtlos visuell erkennen kann. Alternativ kann die Anzahl der Standpunktstellen C die Anzahl virtueller Standpunktbilder sein, die Rahmen für Rahmen visuell erkannt werden können.
Zurückkehrend zu 2, wird im Folgenden die Verhaltensverwaltungseinheit 13 erläutert. Die Verhaltensverwaltungseinheit 13 kann steuern, ob ein Bild, das durch Anzeigen des Bildes für die Synthese auf dem virtuellen Standpunktbild erhalten wird, von der Bildverarbeitungseinheit 12 an die Anzeigevorrichtung 4 ausgegeben wird oder das Bild, auf welchem das Bild für die Synthese nicht angezeigt wird, von der Bildverarbeitungseinheit 12 an die Anzeigevorrichtung 4 ausgegeben wird.
Wenn virtuelle Standpunktbilder an den Standpunktstellen A und B von der Bilderzeugungseinheit 11 ausgegeben werden, bewirkt die Verhaltensverwaltungseinheit 13, dass die Bildverarbeitungseinheit 12 Bilder erzeugt, die durch Synthetisieren von Bildern für die Synthese auf den virtuellen Standpunktbildern erhalten werden, und diese ausgibt. Wenn hingegen virtuelle Standpunktbilder an den Standpunktstellen C von der Bilderzeugungseinheit 11 ausgegeben werden, bewirkt die Verhaltensverwaltungseinheit 13, dass die Bildverarbeitungseinheit 12 die virtuellen Standpunktbilder an die Anzeigevorrichtung 4 ausgibt, auf welchen keine Bilder für die Synthese synthetisiert sind.
6 ist ein Schaubild, welches Verarbeitungsdetails erläutert, die von der Bildverarbeitungseinheit 12 durchgeführt werden, wenn sich ein virtueller Standpunkt von der Standpunktstelle A zur Standpunktstelle B bewegt. In 6 sind ein vertikales Synchronisierungssignal, eine Standpunktstelle eines virtuellen Standpunktbildes und EIN/AUS einer Synthesefunktion durch die Syntheseeinheit 35 in Verbindung miteinander veranschaulicht.
6 veranschaulicht ein Beispiel, dass die Verhaltensverwaltungseinheit 13 Informationen über die Standpunktstelle B als ein Bewegungsziel von der Bildsteuerungsvorrichtung 2 vor der Zeit t2 erhält und auf der Basis der Informationen eine Standpunktstelle ab der Zeit t2 ändert. Das vertikale Synchronisierungssignal, das in 6 veranschaulicht ist, ist lediglich zu Erläuterungszwecken veranschaulicht, um Bilder in Rahmeneinheiten zu trennen.
Wie in 6 veranschaulicht, bewirkt bis zu der Zeit t2 die Verhaltensverwaltungseinheit 13, dass die Bilderzeugungseinheit 11 ein virtuelles Standpunktbild an der Standpunktstelle vor der Bewegung A erzeugt, und bewirkt, dass die Bildverarbeitungseinheit 12 ein synthetisiertes Bild erzeugt und ausgibt, das durch Synthetisieren eines Bildes für die Synthese, welches der Standpunktstelle A entspricht, auf dem virtuellen Standpunktbild an der Standpunktstelle A erhalten wird.
Als Nächstes bewirkt von der Zeit t2 bis zu der Zeit t8 die Verhaltensverwaltungseinheit 13, dass die Bilderzeugungseinheit 11 virtuelle Standpunktbilder an den Standpunktstellen während der Bewegung C₁ bis C₆ erzeugt, und bewirkt, dass die Bildverarbeitungseinheit 12 die virtuellen Standpunktbilder an den Standpunktstellen C₁ bis C₆ ausgibt, auf welchen keine Bilder für die Synthese synthetisiert sind. In dem Beispiel, das in 6 veranschaulicht ist, wird der Standpunkt nach jedem Rahmen geändert. Alternativ kann der Standpunkt nach mehreren Rahmen geändert werden.
Von der Zeit t2 bis zu der Zeit t8 stoppt die Bildverarbeitungseinheit 12 das Dekompressionsverfahren durch die Dekomprimiereinheit 34 und das Syntheseverfahren durch die Syntheseeinheit 35 und bewirkt, dass die Syntheseeinheit 35 die virtuellen Standpunktbilder an den Standpunktstellen C₁ bis C₆ ohne Synthese an die Bildqualitätseinstellungs-Verarbeitungseinheit 36 ausgibt, auf der Basis der Steuerung durch die Verhaltensverwaltungseinheit 13. Als ein Ergebnis werden von der Bildverarbeitungseinheit 12 die virtuellen Standpunktbilder an den Standpunktstellen C₁ bis C₆ ausgegeben, auf welchen keine Bilder für die Synthese synthetisiert sind.
Als Nächstes bewirkt die Verhaltensverwaltungseinheit 13 zu der Zeit t8, dass die Bilderzeugungseinheit 11 ein virtuelles Standpunktbild an der Standpunktstelle B erzeugt und an die Bildverarbeitungseinheit 12 ausgibt, nachdem die Bewegung gestoppt ist, und bewirkt, dass die Bildverarbeitungseinheit 12 ein synthetisiertes Bild erzeugt und an die Anzeigevorrichtung 4 ausgibt, welches durch Synthetisieren eines Bildes für die Synthese, welches der Standpunktstelle B entspricht, auf dem virtuellen Standpunktbild an der Standpunktstelle B erhalten wird.
Das Bild für die Synthese, welches der Standpunktstelle B entspricht, wird durch die Bildsteuerungsvorrichtung 2 erzeugt und wird vor der Zeit t8 (zum Beispiel vor der Zeit t2 oder der Zeit t3) an die Bildverarbeitungsvorrichtung 3 ausgegeben. Die Verhaltensverwaltungseinheit 13 steuert die Bildverarbeitungseinheit 12 und bewirkt somit, dass die Komprimiereinheit 32 Daten des Bildes für die Synthese komprimiert, welches der Standpunktstelle B entspricht, ausgegeben von der Bildsteuerungsvorrichtung 2, und dann die komprimierten Daten im Speicher 33 speichert.
Anschließend bewirkt die Verhaltensverwaltungseinheit 13, dass die Dekomprimiereinheit 34 die komprimierten Bilddaten dekomprimiert, die im Speicher 33 gespeichert sind, und die dekomprimierten Daten an die Syntheseeinheit 35 ausgibt, und bewirkt zu der Zeit t8, dass die Syntheseeinheit 35 das Bild für die Synthese, welches der Standpunktstelle B entspricht, auf dem virtuellen Standpunktbild an der Standpunktstelle B synthetisiert. Als ein Ergebnis kann das synthetisierte Bild, das durch Synthetisieren des Bildes für die Synthese, welches der Standpunktstelle B entspricht, auf dem virtuellen Standpunktbild an der Standpunktstelle B erhalten wird, von der Bildverarbeitungseinheit 12 ausgegeben werden.
Die Bildverarbeitungseinheit 12 kann zuvor Bilder für die Synthese, welche Standpunktstellen entsprechen, von der Bildsteuerungsvorrichtung 2 erhalten und die Bilder für die Synthese im Speicher 33 speichern. In diesem Fall kann die Verhaltensverwaltungseinheit 13 bewirken, dass die Dekomprimiereinheit 34 die Bilder für die Synthese, welche den Standpunktstellen der virtuellen Standpunktbilder entsprechen, aus dem Speicher 33 erhält, die erhaltenen Bilder für die Synthese dekomprimiert und die dekomprimierten Daten an die Syntheseeinheit 35 ausgibt.
Wie oben beschrieben, zeigt die Bildverarbeitungseinheit 12 synthetisierte Bilder auf der Anzeigevorrichtung 4 an, wenn es sich bei einem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, bevor und nachdem der Standpunkt bewegt wird, und zeigt statt der synthetisierten Bilder virtuelle Standpunktbilder auf der Anzeigevorrichtung 4 an, wenn es sich bei dem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der Standpunkt bewegt. Als ein Ergebnis kann, da der Insasse des Fahrzeugs ein virtuelles Standpunktbild und ein Bild für die Synthese nicht getrennt visuell erkennt, wenn sich ein virtueller Standpunkt bewegt, der Insasse auf der Basis des virtuellen Standpunktbildes, das auf der Anzeigevorrichtung 4 angezeigt wird, einfach eine Einschätzung des Abstands oder dergleichen erlangen.
Außerdem ist es möglich, eine Verarbeitungslast zu verringern, da die Bildverarbeitungseinheit 12 das Synthetisieren eines virtuellen Standpunktbildes und eines Bildes für die Synthese stoppt, wenn es sich bei dem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt.
Die Bildverarbeitungseinheit 12 synthetisiert ein Bild, welches einem virtuellen Standpunkt entspricht, als ein Bild für die Synthese auf einem Bild an dem virtuellen Standpunkt. Da der Insasse das virtuelle Standpunktbild und das Bild für die Synthese nicht gleichzeitig visuell erkennt, von welchen die Standpunktstelle nach und nach zusammen geändert wird, ist es deswegen einfach, aus dem virtuellen Standpunktbild zum Beispiel eine Einschätzung des Abstands oder dergleichen zu erlangen.
In dem oben beschriebenen Beispiel ist erläutert worden, dass ein Bild für die Synthese ein Bild ist, welches einer Standpunktstelle eines virtuellen Standpunkts entspricht. Das Bild für die Synthese kann jedoch nicht nach und nach gemäß der Änderung der Standpunktstelle des virtuellen Standpunkts geändert werden. Auch in diesem Fall ist es möglich, unter Verwendung des virtuellen Standpunktbildes die Anzeige geeigneter durchzuführen, da die Sichtbarkeit verbessert wird, indem kein Bild für die Synthese auf einem virtuellen Standpunktbild synthetisiert wird, dessen Standpunktstelle nach und nach geändert wird.
4. Bildverarbeitung der Bildverarbeitungsvorrichtung 3
Als Nächstes wird unter Bezugnahme auf 7 die Bildverarbeitung erläutert, die von der Bildverarbeitungsvorrichtung 3 ausgeführt wird. 7 ist ein Ablaufplan, welcher ein Bildverarbeitungsverfahren veranschaulicht, das von der Bildverarbeitungsvorrichtung 3 ausgeführt wird.
Wie in 7 veranschaulicht, führen die Bilderzeugungseinheit 11 und die Bildverarbeitungseinheit 12 der Bildverarbeitungsvorrichtung 3 ein Verfahren zum Erhalten eines Bildes durch (Schritt S1). In dem Verfahren zum Erhalten eines Bildes erhält die Bilderzeugungseinheit 11 ein aufgenommenes Bild von der Bildaufnahmevorrichtung 1 und die Bildverarbeitungseinheit 12 erhält und speichert ein Bild für die Synthese von der Bildsteuerungsvorrichtung 2.
Als Nächstes wandelt die Bilderzeugungseinheit 11 das in Schritt S1 erhaltene aufgenommene Bild durch ein Koordinatentransformationsverfahren in ein virtuelles Standpunktbild um (Schritt S2). Die Verhaltensverwaltungseinheit 13 bestimmt, ob sich eine Standpunktstelle eines virtuellen Standpunkts bewegt (Schritt S3).
Wenn im Schritt S3 bestimmt wird, dass sich die Standpunktstelle des virtuellen Standpunkts nicht bewegt (Schritt S3: Nein), erhält die Bildverarbeitungseinheit 12 das im Schritt S1 gespeicherte Bild für die Synthese (Schritt S4) und führt ein Syntheseverfahren durch (Schritt S5). Das Syntheseverfahren wird durch Synthetisieren des im Schritt S4 erhaltenen Bildes für die Synthese auf dem im Schritt S2 erzeugten virtuellen Standpunktbild durchgeführt.
Wenn im Schritt S3 bestimmt wird, dass sich die Standpunktstelle des virtuellen Standpunkts bewegt (Schritt S3: Ja) oder wenn das Verfahren im Schritt S5 beendet ist, führt die Bildverarbeitungseinheit 12 eine Bildqualitätseinstellung an einem Bild durch, das an die Anzeigevorrichtung 4 auszugeben ist (Schritt S6), gibt das Bild nach der Bildqualitätseinstellung aus (Schritt S7) und beendet das Verfahren.
Wie oben beschrieben, ist es möglich, die Sichtbarkeit eines Bildes für die Synthese zu verringern und unter Verwendung des virtuellen Standpunktbildes eine angemessene Anzeige durchzuführen, da die Bildverarbeitungsvorrichtung 3 gemäß der Ausführungsform statt eines synthetisierten Bildes ein virtuelles Standpunktbild an die Anzeigevorrichtung 4 ausgibt, wenn es sich bei dem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt.
In der oben beschriebenen Ausführungsform zeigt die Bildverarbeitungsvorrichtung 3 kein Bild für die Synthese, um die Sichtbarkeit des Bildes für die Synthese auf Null zu stellen. Die Bildverarbeitungsvorrichtung 3 kann jedoch die Durchlässigkeit des Bildes für die Synthese erhöhen oder die Farbe des Bildes für die Synthese heller machen, um die Sichtbarkeit des Bildes für die Synthese zu verringern.
Wenn es sich zum Beispiel bei einem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt, kann die Syntheseeinheit 35 die Durchlässigkeit von Bildern für die Synthese erhöhen, welche Standpunktstellen während der Bewegung entsprechen, oder die Farbe der Bilder für die Synthese heller machen und dann die Bilder für die Synthese entsprechend auf den virtuellen Standpunktbildern synthetisieren. Außerdem kann die Bildverarbeitungsvorrichtung 3 ein virtuelles Standpunktbild so auf einem Bild für die Synthese synthetisieren, dass die Sichtbarkeit des Bildes für die Synthese auf Null gestellt wird.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass die Bildaufnahmevorrichtung 1 im Heck des Fahrzeugs angeordnet ist, um unter Verwendung der Bildaufnahmevorrichtung 1 das rückwärtige Bild des Fahrzeugs aufzunehmen. Wenn jedoch beispielsweise die Bildaufnahmevorrichtung 1 das Umgebungsbild des Fahrzeugs zur Fahrhilfe aufnimmt, kann die Bildaufnahmevorrichtung 1 jede beliebige Anordnung und jede beliebige Richtung aufweisen. Alternativ können Bildaufnahmevorrichtungen in dem Fahrzeug angeordnet sein und die Bildverarbeitungsvorrichtung 3 kann ein virtuelles Standpunktbild auf der Basis von aufgenommenen Bildern erzeugen, die von den Bildaufnahmevorrichtungen ausgegeben werden.
In der oben beschriebenen Ausführungsform ist als ein Beispiel erläutert worden, dass die Bildverarbeitungsvorrichtung 3 in der fahrzeugbasierten Vorrichtung 100 enthalten ist, die auf dem Fahrzeug montiert ist. Die Bildverarbeitungsvorrichtung 3 kann jedoch auch eine Bildverarbeitungsvorrichtung sein, die beispielsweise in ein Smartphone oder dergleichen eingebettet ist.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass ein Bild für die Synthese beispielsweise ein Bild ist, welches als eine Markierung zur Fahrhilfe fungiert. Das Bild für die Synthese kann jedoch beispielsweise auch ein Bild zum Erhöhen des Komforts eines Nutzers sein.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass, wenn sich ein virtueller Standpunkt bewegt, synthetisierte Bilder an Standpunktstellen (Startpunkt und Endpunkt) des virtuellen Standpunktes ausgegeben werden und keine synthetisierten Bilder an Standpunktstellen zwischen dem Startpunkt und dem Endpunkt ausgegeben werden. Die Anwendung ist jedoch nicht auf das Beispiel beschränkt.
Zum Beispiel kann die Bildverarbeitungseinheit 12 ein synthetisiertes Bild (synthetisierte Bilder) an einer oder mehreren Standpunktstellen zwischen dem Startpunkt und dem Endpunkt des virtuellen Standpunktes ausgeben. In diesem Fall kann der Insasse auf der Grundlage des virtuellen Standpunktbildes einfach eine Einschätzung des Abstands oder dergleichen erlangen und auch einfach die Änderung der Position des Bildes für die Synthese erfassen, da der Insasse die Änderung des Bildes für die Synthese in Teilstücken erfassen kann.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass ein Bild für die Synthese auf einem virtuellen Standpunktbild synthetisiert wird. Jedoch können auch Bilder für die Synthese verschiedener Typen auf virtuellen Standpunktbildern synthetisiert werden. Wenn es sich in diesem Fall bei einem virtuellen Standpunktbild um Bilder an Standpunktstellen handelt, während sich der virtuelle Standpunkt bewegt, verringert die Bildverarbeitungseinheit 12 ihre Sichtbarkeit, indem sie beispielsweise mindestens eines der Bilder für die Synthese verschiedener Typen nicht auf dem virtuellen Standpunktbild synthetisiert. Auch in diesem Fall ist es möglich, die Anzeige unter Verwendung virtueller Standpunktbilder angemessener durchzuführen.
In diesem Fall kann die Bildverarbeitungseinheit 12 ein Syntheseverfahren eines virtuellen Standpunktbildes und eines Bildes für die Synthese durchführen, indem sie bewirkt, dass das Bild für die Synthese nicht hervorsticht, indem sie beispielsweise ein Verfahren zum Aufhellen der Farbe des Bildes für die Synthese anwendet, das auf dem virtuellen Standpunktbild synthetisiert wird.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass die Bildverarbeitungsvorrichtung 3 Informationen über die Standpunktstellen C₁ bis C_n erzeugt, wenn sie Informationen über die Standpunktstelle B als ein Bewegungsziel erhält. Jedoch können die Standpunktstellen C₁ bis C_n auch von der Bildsteuerungsvorrichtung 2 erzeugt und an die Bildverarbeitungsvorrichtung 3 ausgegeben werden.
In der oben beschriebenen Ausführungsform ist erläutert worden, dass die Bildverarbeitungsvorrichtung 3 ein Bild für die Synthese speichert, an welchem eine Datenkompression durchgeführt wird. Die Bildverarbeitungsvorrichtung 3 kann jedoch auch ein Bild für die Synthese speichern, an welchem keine Datenkompression durchgeführt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011-244239 [0002]

Claims

Bildverarbeitungsvorrichtung (3), umfassend: eine Bilderzeugungseinheit (11), welche ein Bild an einem virtuellen Standpunkt auf der Basis eines aufgenommenen Bildes einer Bildaufnahmeeinheit (1) erzeugt; und eine Bildverarbeitungseinheit (12), welche ein Bild erzeugt, in welchem ein Bild für die Synthese auf dem Bild an dem virtuellen Standpunkt angezeigt wird, wobei die Bildverarbeitungseinheit (12) ein Verfahren zum Verringern der Sichtbarkeit des Bildes für die Synthese durchführt, wenn das Bild an dem virtuellen Standpunkt ein Bild an einer Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.
Bildverarbeitungsvorrichtung (3) nach Anspruch 1, wobei die Bildverarbeitungseinheit (12) an eine Anzeigeeinheit das Bild an dem virtuellen Standpunkt ausgibt, auf welchem das Bild für die Synthese nicht angezeigt ist, um die Sichtbarkeit des Bildes für die Synthese auf Null zu stellen, wenn das Bild an dem virtuellen Standpunkt das Bild an der Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.
Bildverarbeitungsvorrichtung (3) nach Anspruch 2, wobei die Bildverarbeitungseinheit (12) das Synthetisieren des Bildes an dem virtuellen Standpunkt und des Bildes für die Synthese stoppt und das Bild an dem virtuellen Standpunkt an die Anzeigeeinheit (4) ausgibt, wenn das Bild an dem virtuellen Standpunkt das Bild an der Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.
Bildverarbeitungsvorrichtung (3) nach einem der Ansprüche 1 bis 3, wobei das Bild für die Synthese ein Bild umfasst, welches dem virtuellen Standpunkt entspricht.
Bildverarbeitungsvorrichtung (3) nach einem der Ansprüche 1 bis 4, wobei die Bildaufnahmeeinheit (1) auf einem Fahrzeug (5) angeordnet ist und ein Umgebungsbild des Fahrzeugs aufnimmt und als das aufgenommene Bild an die Bildverarbeitungsvorrichtung ausgibt und die Bildverarbeitungseinheit (12) als das Bild für die Synthese ein Bild einer Führungsspur synthetisiert, welche einen vorausgesagten Fahrtweg des Fahrzeugs (5) auf dem Bild an dem virtuellen Standpunkt anzeigt.
Bildverarbeitungsverfahren, umfassend: (i) Erzeugen eines virtuellen Standpunktbildes, welches ein Bild ist, das von einem virtuellen Standpunkt betrachtet wird, basierend auf einem aufgenommenen Bild einer Bildaufnahmeeinheit; und (ii) Erzeugen eines Bildes, in welchem ein Bild für die Synthese auf dem Bild an dem virtuellen Standpunkt angezeigt wird, wobei das Erzeugen (ii) das Durchführen eines Verfahrens zum Verringern die Sichtbarkeit des Bildes für die Synthese umfasst, wenn das Bild an dem virtuellen Standpunkt ein Bild an einer Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.
Fahrzeugbasierte Vorrichtung (100), umfassend: eine Anzeigeeinheit (4), welche ein Bild darauf anzeigt; eine Bildaufnahmeeinheit (1), welche ein Umgebungsbild eines Fahrzeugs (5) aufnimmt und ein aufgenommenes Bild ausgibt; eine Einheit zum Erzeugen eines virtuellen Standpunktbildes (22), welche auf der Basis des aufgenommenen Bildes der Bildaufnahmeeinheit (1) ein Bild an einem virtuellen Standpunkt erzeugt; eine Bild-für-die-Synthese-Erzeugungseinheit (6), welche ein Bild für die Synthese erzeugt; eine Bildverarbeitungseinheit (12), welche ein Bild erzeugt, in welchem das Bild für die Synthese auf dem Bild an dem virtuellen Standpunkt angezeigt wird, und das erzeugte Bild an die Anzeigeeinheit (4) ausgibt, wobei die Bildverarbeitungseinheit (12) ein Verfahren zum Verringern der Sichtbarkeit des Bildes für die Synthese durchführt, wenn das Bild an dem virtuellen Standpunkt ein Bild an einer Standpunktstelle des virtuellen Standpunkts ist, während sich die Standpunktstelle bewegt.