-
QUERVERWEIS AUF BETREFFENDE ANMELDUNGEN
-
Die vorliegende Anmeldung basiert auf der am 30. Oktober 2012 eingereichten
japanischen Patentanmeldung Nr. 2012-239141 , deren Inhalte hiermit durch Bezugnahme darauf enthalten sind.
-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft einen bordeigenen Bildgenerator, der Blickpunktumwandlungsbilder aus Bildern erzeugt, die von mehreren Kameras, die an einem Fahrzeug montiert sind, aufgenommen werden, und die erzeugten Bilder kombiniert, um ein kombiniertes Bild von vor oder hinter einem Fahrzeug zu erzeugen.
-
STAND DER TECHNIK
-
Es ist eine Vorrichtung zum Erzeugen eines kombinierten Bildes dieses Typs bekannt (siehe beispielsweise PTL 1). Von den Bildern, die von den Kameras, die an dem Fahrzeug montiert sind, aufgenommen werden, erzeugt die Vorrichtung ein Weitwinkelumwandlungsbild zum breiten Betrachten des Bereiches hinter dem Fahrzeug von einem Blickpunkt.
-
Außerdem ist eine Vorrichtung bekannt (siehe beispielsweise PTL 2). Von Bildern, die von mehreren Kameras, die an einem Fahrzeug montiert sind, aufgenommen werden, erzeugt die Vorrichtung mehrere Blickpunktumwandlungsbilder von unterschiedlichen Blickpunkten und kombiniert die Blickpunktumwandlungsbilder, um ein Panoramabild zu erzeugen.
-
LITERATUR DES STANDS DER TECHNIK
-
PATENTLITERATUR
-
- PTL 1: JP 3286306 B
- PTL 2: JP 2005-242606 A
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Die Vorrichtung, die in der obigen Patentliteratur 1 beschrieben ist, erzeugt jedoch die Weitwinkelumwandlungsbilder aus der Sicht eines speziellen Blickpunktes unter Verwendung der Bilder, die von den Kameras aufgenommen werden. Daher wird ein kombiniertes Bild, das letztendlich erhalten wird, in seinen Rändern verzerrt (insbesondere auf den rechten und linken Seiten) und ist extrem schwierig zu betrachten.
-
In der Vorrichtung der obigen Patentliteratur 2 werden, da die rechten und linken Bilder, die zu kombinieren sind, Blickpunktumwandlungsbilder aus der Sicht unterschiedlicher Blickpunkte sind, das heißt von rechts und links, die jeweiligen Bilder wenig verzerrt, bevor sie kombiniert werden, und das letztendlich erhaltene kombinierte Bild ist einfach zu betrachten.
-
Da jedoch die Vorrichtung, die in der obigen Patentliteratur 2 beschrieben ist, die Blickpunktumwandlungsbilder unterschiedlicher Blickpunkte ohne jegliche Änderung kombiniert, verschmieren bzw. verschwimmen (Unschärfe) die Bilder an einem Grenzabschnitt, bei dem die jeweiligen Blickpunktumwandlungsbilder überlagert werden. Als Ergebnis kann ein Objekt, das an dem Grenzabschnitt vorhanden ist, aus dem kombinierten Bild nicht erkannt werden.
-
Die vorliegende Erfindung entstand im Hinblick auf die obigen Umstände. Die vorliegende Erfindung betrifft eine Vorrichtung zum Erzeugen eines kombinierten Bildes unter Verwendung von mehreren Blickpunktumwandlungsbildern und weist die Aufgabe auf, eine Verzerrung eines Bildes zu beschränken und ein Verschmieren des Bildes an einem Grenzabschnitt jeweiliger Bilder zu verhindern.
-
Ein bordeigener Bildgenerator gemäß einem Beispiel der vorliegenden Erfindung weist auf: eine erste Kamera, die ein Bild vor oder hinter einem Fahrzeug in einer Fahrtrichtung des Fahrzeugs aufnimmt; und eine zweite Kamera und eine dritte Kamera, die Bilder auf rechten und linken Seiten des Fahrzeugs jeweils aufnehmen. Auf der Grundlage der Bilder, die von der zweiten Kamera und der dritten Kamera aufgenommen werden, erzeugt eine erste Blickpunktumwandlungseinheit einen Satz Blickpunktumwandlungsbilder, die symmetrisch zueinander gestaltet sind und nach vorne oder hinten des Fahrzeugs in der Fahrtrichtung des Fahrzeugs aus einem Paar paralleler virtueller Blickpunkte gerichtet sind, die visuelle Achsen aufweisen, die anders sind als visuelle Achsen der zweiten Kamera und der dritten Kamera. Auf der Grundlage des Bildes, das von der ersten Kamera aufgenommen wird, erzeugt eine Mittelbilderzeugungseinheit ein mittleres Bild, das zur Erzeugung eines kombinierten Bildes verwendet wird. Wenn der Satz von Blickpunktumwandlungsbildern und das Mittelbild erzeugt sind, erzeugt eine Kombinationsbilderzeugungseinheit das kombinierte Bild durch Anordnen des mittleren Bildes, das von der Mittelbilderzeugungseinheit erzeugt wurde, in der Mitte des kombinierten Bildes und Anordnen des Satzes von Blickpunktumwandlungsbildern, die von der ersten Blickpunktumwandlungseinheit erzeugt wurden, an der Seite des mittleren Bildes.
-
Gemäß dem oben beschriebenen bordeigenen Bildgenerator kann verhindert werden, dass im Vergleich zu der herkömmlichen Vorrichtung, die Umwandlungsbilder unterschiedlicher Blickpunkte ohne Änderung kombiniert, das kombinierte Bild an einem Grenzabschnitt verschmiert, an dem die jeweiligen Blickpunktumwandlungsbilder überlagert werden.
-
Die Bilder, die das kombinierte Bild bilden, enthalten die rechten und linken Blickpunktumwandlungsbilder unterschiedlicher Blickpunkte und das mittlere Bild, das aus dem Bild erzeugt wird, das von der ersten Kamera aufgenommen wird. In diesen jeweiligen Bildern wird im Vergleich zu den Bildern, die von einer Weitwinkelkamera aufgenommen werden, das Bild an den rechten und linken Seiten nicht stark verzerrt.
-
Daher kann gemäß dem oben beschriebenen bordeigenen Bildgenerator ein Bild, das von einem Nutzer einfach betrachtet werden kann, ohne jegliche Bildverzerrung und ohne jeglichen verschmierten Abschnitt erzeugt werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die obigen und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:
-
1 ein Blockdiagramm, das eine Konfiguration eines Bildverarbeitungssystems gemäß einer Ausführungsform darstellt;
-
2 ein Flussdiagramm, das einen Kombinationsbildanzeigeprozess darstellt, der von einer Steuerungseinheit in 1 ausgeführt wird;
-
3A eine Ansicht, die eine Anordnung von bordeigenen Kameras und einen Blickpunktumwandlungsbetrieb von aufgenommenen Bildern in einem Zustand darstellt, in dem das Fahrzeug von oben betrachtet wird;
-
3B eine Ansicht, die die Anordnung der bordeigenen Kameras und den Blickpunktumwandlungsbetrieb der aufgenommenen Bilder in einem Zustand darstellt, in dem ein hinterer Abschnitt des Fahrzeugs von einer rechten Seite betrachtet wird;
-
4 eine Ansicht, die ein Beispiel eines kombinierten Bildes darstellt, das durch einen Kombinationsbildanzeigeprozess erzeugt wurde;
-
5 eine Ansicht, die eine Modifikation des kombinierten Bildes, das in 4 dargestellt ist, darstellt; und
-
6 ein Flussdiagramm, das einen Kombinationsbildanzeigeprozess zum Erzeugen des kombinierten Bildes, das in 5 dargestellt ist, darstellt.
-
AUSFÜHRUNGSFORMEN ZUM AUSFÜHREN DER ERFINDUNG
-
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
-
Die Ausführungsformen der vorliegenden Erfindung sind nicht auf die folgenden Ausführungsformen beschränkt. Außerdem sind Modi, in denen ein Teil der Konfiguration in den folgenden Ausführungsformen weggelassen ist, ebenfalls Ausführungsformen der vorliegenden Erfindung, solange wie sie das zu lösende Problem lösen können. Außerdem sind sämtliche möglichen Modi, die nicht von dem technischen Bereich, der durch die folgenden Ausführungsformen angegeben wird, abweichen, ebenfalls Ausführungsformen der vorliegenden Erfindung.
-
Ein Bildverarbeitungssystem gemäß dieser Ausführungsform ist an einem Fahrzeug montiert und nimmt Bilder um das Fahrzeug auf und zeigt diese an. Wie es in 1 dargestellt ist, enthält das Bildverarbeitungssystem drei bordeigene Kameras 11 bis 13, eine Bildverarbeitungsvorrichtung 20, eine Anzeigevorrichtung 30 und einen Fahrzeuggeschwindigkeitssensor 32.
-
Die bordeigenen Kameras 11 bis 13 sind Kameras, die ein Abbildungselement, beispielsweise eine CCD oder einen CMOS, aufweisen.
-
Wie es in den 3A und 3B dargestellt ist, ist eine dieser drei bordeigenen Kameras 11 bis 13 (im Folgenden als „erste Kamera 11” bezeichnet) an einer Mittelposition eines Fahrzeugs 2 in der Breitenrichtung mit einer visuellen Linie 11A, die zu der Rückseite des Fahrzeugs 2 gerichtet ist, angeordnet, um ein Bild hinter dem Fahrzeug 2 aufzunehmen.
-
Wie es in 3A dargestellt ist, sind die verbleibenden zwei der drei bordeigenen Kameras 11 bis 13 (im Folgenden als „zweite Kamera 12 und dritte Kamera 13” bezeichnet) jeweils auf der rechten und linken Seite des Fahrzeugs 2 mit visuellen Achsen 12A und 12B, die zur Außenseite des Fahrzeugs 2 gerichtet sind, angeordnet, um Bilder auf den rechten und linken Seiten des Fahrzeugs 2 aufzunehmen.
-
Diese jeweiligen bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) geben die jeweiligen aufgenommenen Bilder um das Fahrzeug an die Bildverarbeitungsvorrichtung 20 mit einer vorbestimmten Frequenz (beispielsweise 60 Rahmen je Sekunde) aus.
-
3A stellt das Fahrzeug 2 aus der Sicht von oben dar und 3B stellt ein hinteres Ende des Fahrzeugs 2 von der rechten Seite gesehen dar. Die jeweiligen bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) sind wie durch die durchgezogenen Linien in der Zeichnung angegeben angeordnet.
-
Die Anzeigevorrichtung 30 enthält eine Flüssigkristallanzeige oder eine organische EL-Anzeige oder ähnliches und zeigt ein Bild, das von der Bildverarbeitungsvorrichtung 20 auf der Grundlage der Bilder, die von den bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) aufgenommen werden, ausgegeben wird, an.
-
Der Fahrzeuggeschwindigkeitssensor 32 erfasst eine Fahrtgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 2, und die Fahrzeuggeschwindigkeit, die von dem Fahrzeuggeschwindigkeitssensor 32 erfasst wird, wird direkt oder über eine Fahrzeugsteuerungs-ECU (nicht gezeigte elektronische Steuereinheit) in die Bildverarbeitungsvorrichtung 20 eingegeben.
-
Die Bildverarbeitungsvorrichtung 20 enthält Bildeingabeeinheiten 21 bis 23 entsprechend den obigen jeweiligen bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13), eine Betriebseinheit 24, eine Steuerdatenspeichereinheit 26 und eine Steuerungseinheit 28.
-
Die Bildeingabeeinheiten 21 bis 23 enthalten Speichervorrichtungen, beispielsweise einen DRAM, und nehmen die aufgenommenen Bilder, die aufeinanderfolgend von den jeweiligen bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) ausgegeben werden, an. Die Bildeingabeeinheiten 21 bis 23 speichern die angenommenen Bilder für eine vorbestimmte Zeit (beispielsweise für die vergangenen zehn Minuten).
-
Die Betriebseinheit 24 ermöglicht es einem Nutzer, beispielsweise einem Fahrer, verschiedene Betriebsanweisungen in die Steuerungseinheit 28 einzugeben. Die Betriebseinheit 24 enthält eine berührungsempfindliche Fläche, die auf einer Anzeigefläche der Anzeigevorrichtung 30 angeordnet ist, oder mechanische Tastschalter oder ähnliches, die um die Anzeigevorrichtung 30 oder an anderen Stellen angeordnet sind.
-
Die Steuerdatenspeichereinheit 26 enthält eine nicht-flüchtige Speichervorrichtung, beispielsweise einen Flash-Speicher, und speichert Programme, die von der Steuerungseinheit 28 auszuführen sind, und Daten, die für verschiedene Bildverarbeitungen benötigt werden.
-
Die Steuerungseinheit 28 enthält einen Mikrocomputer mit einer CPU, einem RAM, einem ROM, einer I/O und ähnlichem und liest die Programme aus der Steuerdatenspeichereinheit 26 aus, um verschiedene Verarbeitungen auszuführen.
-
Im Folgenden wird der Betrieb der Bildverarbeitungsvorrichtung 20 beschrieben.
-
In der folgenden Beschreibung wird eine Kombinationsbildanzeigeverarbeitung, die eine Hauptverarbeitung der vorliegenden Erfindung in den verschiedenen Bildverarbeitungen, die von der Bildverarbeitungsvorrichtung 20 (genauer gesagt der Steuerungseinheit 28) auszuführen sind, sein kann, beschrieben.
-
Die Kombinationsbildanzeigeverarbeitung wird wiederholt in der Steuerungseinheit 28 ausgeführt, wenn ein Betriebsmodus der Bildverarbeitungsvorrichtung 20 durch die Betriebseinheit 24 auf einen Anzeigemodus für kombinierte Bilder eingestellt wird.
-
Wie es in 2 dargestellt ist, werden, wenn die Kombinationsbildanzeigeverarbeitung startet, die Bilder, die von den obigen jeweiligen bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) aufgenommen werden, zunächst in S110 (S repräsentiert einen Schritt) von den Bildeingabeeinheiten 21 bis 23 angenommen.
-
Anschließend wird in S120 ein linksseitiges Blickpunktumwandlungsbild, das von einem virtuellen Blickpunkt V2 (siehe 3A) außerhalb des Fahrzeugs 2 nach links zur Rückseite des Fahrzeugs zeigt, unter Verwendung des Bildes, das von der zweiten Kamera 12 aufgenommen wird, erzeugt. Der virtuelle Blickpunkt V2 wird auf einer visuellen Achse 12B parallel zu der Mittelachse des Fahrzeugs 2 in einer Anteroposterior-Richtung des Fahrzeugs 2 eingestellt.
-
Ein rechtsseitiges Blickpunktumwandlungsbild, das von einem virtuellen Blickpunkt V3 (siehe 3A) außerhalb des Fahrzeugs 2 nach rechts zu der Rückseite des Fahrzeugs zeigt, wird in S130 unter Verwendung des Bildes, das von der dritten Kamera 13 aufgenommen wird, erzeugt. Der virtuelle Blickpunkt V3 wird auf einer visuellen Achse 13B parallel zu der Mittelachse (auch zu der visuellen Achse 12B) des Fahrzeugs 2 in der Antero-posterior-Richtung des Fahrzeugs 2 eingestellt.
-
Mit anderen Worten, es wird ein Satz symmetrischer Blickpunktumwandlungsbilder aus der Sicht eines Paars virtueller Blickpunkte V2 und V3 auf der Grundlage der Bilder, die von der zweiten Kamera 12 und der dritten Kamera 13 aufgenommen werden, in S120 und S130 erzeugt. Das Paar virtueller Blickpunkte V2 und V3 weist die jeweiligen visuellen Achsen 12B und 13B auf, die parallel zueinander sind und andere als die visuellen Achsen 12A und 13A der jeweiligen Kameras 12 und 13 sind.
-
Die virtuellen Blickpunkte V2 und V3 werden für eine Kombination des hinteren Bildes des Fahrzeugs 2 im Voraus eingestellt.
-
Da die Blickpunktumwandlung, die in S120 und S130 ausgeführt wird, beispielsweise aus der PTL 1 und der PTL 2 bekannt ist, wird deren detaillierte Beschreibung hier weggelassen.
-
Nach der Erzeugung des Satzes der rechten und linken Blickpunktumwandlungsbilder schreitet die Verarbeitung zu S140, bei dem die Fahrzeuggeschwindigkeit, die von dem Fahrzeuggeschwindigkeitssensor 32 erfasst wird, genommen wird, und ein virtueller Blickpunkt V1 (siehe 3B), der zum Erzeugen des Blickpunktumwandlungsbildes aus dem Bild, das von der ersten Kamera 11 aufgenommen wird, verwendet wird, wird auf der Grundlage der genommenen Fahrzeuggeschwindigkeit eingestellt.
-
Der virtuelle Blickpunkt V1 wird in S140 derart eingestellt, dass ein visuelle Achse 11B auf eine Straßenoberfläche näher bei dem Fahrzeug gerichtet ist, wenn die Fahrzeuggeschwindigkeit niedriger ist, und die visuelle Achse 11B auf eine Stelle weiter von dem Fahrzeug entfernt gerichtet ist, wenn die Fahrzeuggeschwindigkeit höher ist (mit anderen Worten, so dass sich ein Winkel (Depressionswinkel oder Depressions- und Elevationswinkel) der visuellen Achse 11B in einer vertikalen Richtung entsprechend der Fahrzeuggeschwindigkeit ändert) (siehe 3B).
-
Dann wird in S150 das Bild, das von der ersten Kamera 11 aufgenommen wurde, in das Blickpunktumwandlungsbild der Hinterseite des Fahrzeugs umgewandelt, das von dem virtuellen Blickpunkt V1, der in S140 eingestellt wurde, betrachtet wird. Im anschließenden S160 wird ein Mittelbild bzw. mittleres Bild zur Bildkombination aus dem umgewandelten Blickpunktumwandlungsbild extrahiert.
-
Der virtuelle Blickpunkt V1 ist derart gegeben, dass, wenn das Bild, das von der ersten Kamera 11 aufgenommen wird, in das Bild zu dem Zeitpunkt umgewandelt wird, zu dem die erste Kamera 11 auf eine Stelle nahe bei dem Fahrzeug oder eine Stelle von dem Fahrzeug entfernt gerichtet ist, das blickpunktgewandelte Bild mit dem Satz von Blickpunktumwandlungsbildern, die in S120 und S130 erzeugt werden, an einer beliebigen Position des blickpunktgewandelten Bildes in der vertikalen Richtung übereinstimmt.
-
Das heißt, nicht nur in einer Querrichtung des Fahrzeugs 2, sondern auch in der Antero-posterior-Richtung des Fahrzeugs 2 unterscheidet sich der Blickpunkt des Bildes, das von der ersten Kamera 11 aufgenommen wird, von den virtuellen Blickpunkten V2 und V3 der Blickpunktumwandlungsbilder, die in S120 und S130 erzeugt wurden.
-
Aus diesem Grund kann das Bild, das von der ersten Kamera 11 aufgenommen wird, gegenüber dem Satz der Blickpunktumwandlungsbilder, die in S120 und S130 erzeugt werden, nicht nur in der Querrichtung des Fahrzeugs 2, sondern auch in der antero-posterior-Richtung des Fahrzeugs 2 verschoben sein.
-
Somit kann in dem Fall, in dem das Bild, das von der ersten Kamera 11 aufgenommen wird, nur geschnitten und zum Zwecke der Kombination des umgewandelten Bildes mit dem Satz von Blickpunktumwandlungsbildern, die in S120 und S130 erzeugt werden, umgewandelt wird, das geschnittene aufgenommene Bild gegenüber dem Satz von Blickpunktumwandlungsbildern in der Antero-posterior-Richtung (mit anderen Worten einer vertikalen Richtung des Bildes) des Fahrzeugs 2 verschoben werden.
-
Das geschnittene aufgenommene Bild kann sich von dem Satz von Blickpunktumwandlungsbildern hinsichtlich einer Skalierung des Bildes in der vertikalen Richtung unterscheiden.
-
Im Hinblick darauf wird gemäß dieser Ausführungsform das Bild, das von der ersten Kamera 11 aufgenommen wird, einer Blickpunktumwandlung an dem virtuellen Blickpunkt V1 unterzogen. Als Ergebnis stimmt das Blickpunktumwandlungsbild mit dem Satz von Blickpunktumwandlungsbildern, die in S120 und S130 erzeugt werden, an zumindest einer Stelle des Fahrzeugs 2 in der Antero-posterior-Richtung (mit anderen Worten einer vertikalen Richtung des Bildes) entsprechend der Position des virtuellen Blickpunktes V1 überein. Das kombinierte Bild ist einfach zu betrachten.
-
Die Extrahierung des Mittelbildes in S160 wird durch Ausschneiden des Straßenoberflächenabschnitts und des Straßenabschnitts hinter dem Fahrzeug aus dem Blickpunktumwandlungsbild, das in der Verarbeitung des S150 erzeugt wurde, in vorbestimmte Gestalten durchgeführt.
-
Insbesondere wird gemäß dieser Ausführungsform, wie es in 4 dargestellt ist, der Straßenoberflächenabschnitt eines Mittelbildes P1 in eine Trapezgestalt geschnitten, deren Breite zu der oberen Seite des Bildes entlang der rechten und linken Achsen parallel zu den rechten und linken Seitenwänden der Fahrzeugkarosserie des Fahrzeugs 2 schmaler wird.
-
Der Straßenabschnitt oberhalb des Straßenoberflächenabschnitts wird in eine Trapezgestalt geschnitten, deren Breite in Richtung der oberen Seite des Bildes von einer oberen Kante des Straßenoberflächenabschnitts aus breiter wird.
-
Aus diesem Grund ist eine Außengestalt des Mittelbildes P1 länglich und in ihrer Mitte in der vertikalen Richtung verengt, und der Nutzer kann einen Zustand direkt hinter dem Fahrzeug 2 durch das Mittelbild P1 ausgezeichnet verstehen.
-
Die Extrahierung des Mittelbildes P1 aus den Blickpunktumwandlungsbildern wird unter Verwendung eines Schnittmusters (Gestaltmusters) durchgeführt, das im Voraus entsprechend dem virtuellen Blickpunkt V1 des Blickpunktumwandlungsbildes, das ein Original des Mittelbildes P1 ist, festgelegt wird.
-
Wenn das Mittelbild P1 zur Bildkombination aus dem Blickpunktumwandlungsbild des virtuellen Blickpunktes V1 in S160 extrahiert ist, schreitet die Verarbeitung zu S170, bei dem ein kombiniertes Bild des Hinterseite des Fahrzeugs unter Verwendung des Mittelbildes P1 und Blickpunktumwandlungsbildern auf den rechten und linken Seiten, die in S120 und S130 erzeugt wurden, erzeugt wird.
-
Die Bilder auf den rechten und linken hinteren Seiten, die auf der rechten und linken Seite des Mittelbildes P1 anzuordnen sind, werden aus den Blickpunktumwandlungsbildern der rechten und linken Seiten, die in S120 und S130 erzeugt werden, extrahiert, und die extrahierten Bilder P2 und P3 werden in S170 auf der rechten und linken Seite des Mittelbildes P1 angeordnet, um das kombinierte Bild zu erzeugen (siehe 4).
-
Wenn die Bilder P2 und P3 auf der rechten und linken Seite des Mittelbildes P1 angeordnet sind, wird in S170 eine Grenzlinie L1, die eine Grenze zwischen dem Rand des Mittelbildes P1 und den anderen Bildern P2 und P3 angibt, gezeichnet, so dass das Mittelbild P1 und die rechten und linken Bilder P2 und P3 in dem kombinierten Bild unterscheidbar sind.
-
Dieses kommt daher, dass die Blickpunkte (das heißt die virtuellen Blickpunkte V1 bis V3) der jeweiligen Bilder P1 bis P3, die das kombinierte Bild bilden, sich voneinander unterscheiden.
-
Das heißt, wie es beispielsweise an einem Verbindungsabschnitt einer Straße in dem kombinierten Bild, das in 4 dargestellt ist, ersichtlich ist, wird, wenn die obigen jeweiligen Bilder P1 bis P3 kombiniert werden, das Bild in der vertikalen Richtung an dem Grenzabschnitt des Mittelbildes P1 und den rechten und linken Bildern P2, P3 verschoben.
-
Im Hinblick dessen wird in dieser Ausführungsform die Grenzlinie L1 zu dem kombinierten Bild hinzugefügt, um klarzustellen, dass die Verschiebung des Bildes, die in dem kombinierten Bild auftritt, durch Kombinieren der Bilder P1 bis P3 verursacht wurde. Dieses verhindert eine Verwirrung des Nutzers, der das kombinierte Bild betrachtet.
-
Im anschließenden S180 wird das kombinierte Bild, das in S170 erzeugt wurde, an die Anzeigevorrichtung 30 ausgegeben, um das kombinierte Bild auf der Anzeigevorrichtung 30 anzuzeigen, und die Kombinationsbildanzeigeverarbeitung wird beendet.
-
Wie es oben beschrieben wurde, werden gemäß der Bildverarbeitungsvorrichtung 20 dieser Ausführungsform nicht nur die Blickpunktumwandlungsbilder, die von den virtuellen Blickpunkten V2 und V3 auf den rechten und linken Seiten des Fahrzeugs 2 betrachtet werden, aus den Bildern, die von der zweiten Kamera 12 und der dritten Kamera 13 erzeugt werden, erzeugt, sondern es wird außerdem das Mittelbild P1 hinter dem Fahrzeug aus dem Bild, das von der ersten Kamera 11 aufgenommen wird, erzeugt.
-
Dann werden die Bilder P2 und P3 auf der rechten und linken Hinterseite, die aus den rechten und linken Blickpunktumwandlungsbildern ausgeschnitten wurden, auf der rechten und linken Seite des erzeugten Mittelbildes P1 angeordnet, um das kombinierte Bild zu erzeugen, das auf der Anzeigevorrichtung 30 angezeigt wird.
-
Aus diesem Grund kann im Vergleich zu der herkömmlichen Vorrichtung, die die rechten und linken Blickpunktumwandlungsbilder ohne irgendeine Änderung kombiniert, verhindert werden, dass das kombinierte Bild an dem Grenzabschnitt, bei dem die jeweiligen Blickpunktumwandlungsbilder überlagert werden, verschmiert bzw. unscharf wird.
-
Die Bilder, die das kombinierte Bild bilden, enthalten die rechten und linken Bilder P2 und P3, die aus den rechten und linken Blickpunktumwandlungsbildern extrahiert werden, und das Mittelbild P1, das aus dem Bild erzeugt wird, das von der ersten Kamera 11 aufgenommen wird. Diese jeweiligen Bilder P1 bis P3 werden im Gegensatz zu dem Bild, das durch eine Weitwinkelkamera aufgenommen wird, auf den rechten und linken Seiten nicht stark verzerrt.
-
Daher kann gemäß der Bildverarbeitungsvorrichtung 20 dieser Ausführungsform das Bild, das von dem Nutzer einfach betrachtet werden kann, erzeugt werden, ohne das Bild zu verzerren oder ohne verschmierte Abschnitte zu erzeugen.
-
Insbesondere wird in dieser Ausführungsform der virtuelle Blickpunkt V1 für das Blickpunktumwandlungsbild entsprechend der Fahrzeuggeschwindigkeit eingestellt, und das Blickpunktumwandlungsbild, das dem virtuellen Blickpunkt V1 entspricht, wird auf der Grundlage des Bildes, das von der ersten Kamera 11 aufgenommen wird, erzeugt. Der Straßenoberflächenabschnitt und der Straßenabschnitt direkt hinter dem Fahrzeug 2 werden aus dem erzeugten Blickpunktumwandlungsbild ausgeschnitten, um das Mittelbild P1 zu erzeugen.
-
Der virtuelle Blickpunkt V1 wird derart eingestellt, dass die visuelle Achse 11B auf die Straßenoberfläche näher bei dem Fahrzeug als die ursprüngliche visuelle Achse 11A gerichtet ist, wenn die Fahrzeuggeschwindigkeit niedriger ist, und die visuelle Achse 11B auf eine Stelle weiter von dem Fahrzeug 2 entfernt als die ursprüngliche visuelle Achse 11A gerichtet ist, wenn die Fahrzeuggeschwindigkeit höher ist.
-
Aus diesem Grund kann gemäß dieser Ausführungsform ein Punkt, bei dem die jeweiligen Bilder P1 bis P3 in der vertikalen Richtung des Bildes in dem kombinierten Bild übereinstimmen, auf eine Straßenoberflächenposition nahe bei dem Fahrzeug eingestellt werden, wenn die Fahrzeuggeschwindigkeit niedrig ist, und kann auf eine Straßenoberflächenposition von dem Fahrzeug 2 entfernt eingestellt werden, wenn die Fahrzeuggeschwindigkeit hoch ist.
-
4 stellt das kombinierte Bild dar, das erzeugt wird, wenn die Fahrzeuggeschwindigkeit hoch ist. Wie es an dem Verbindungsabschnitt der Straße in dem kombinierten Bild ersichtlich ist, sind das Mittelbild P1 und die rechten und linken Bilder P2, P3 in der vertikalen Richtung an dem Verbindungsabschnitt der Straße nahe bei dem Fahrzeug 2 gegeneinander verschoben. Im Gegensatz dazu stimmen das Mittelbild P1 und die rechten und linken Bilder P2, P3 in der vertikalen Richtung in der Nähe eines folgenden Fahrzeugs, das von dem Fahrzeug 2 entfernt ist, im Wesentlichen überein.
-
Daher ist es gemäß dieser Ausführungsform, wenn die Fahrzeuggeschwindigkeit hoch ist, möglich, ein kombiniertes Bild zu erzeugen, in dem das folgende Fahrzeug einfach zu betrachten ist. Wenn im Gegensatz dazu die Fahrzeuggeschwindigkeit niedrig ist, können der Verbindungsabschnitt der Straße, der in dem kombinierten Bild übereinstimmt, und das Bild nahe bei dem Fahrzeug 2 auf einfache Weise betrachtet werden.
-
Aus diesem Grund kann der Nutzer einen Straßenzustand direkt hinter dem Fahrzeug 2 durch Betrachten des Mittelbildes P1 innerhalb des kombinierten Bildes, das auf der Anzeigevorrichtung 30 angezeigt wird, erfassen. Der Nutzer erfasst beispielsweise auf einfache Weise den Straßenoberflächenzustand nahe bei dem Fahrzeug zu dem Zeitpunkt der Fahrt mit niedriger Geschwindigkeit oder während einer Rückwärtsfahrt, und es kann die Fahrsicherheit des Fahrzeugs 2 verbessert werden.
-
Wenn das Fahrzeug mit hoher Geschwindigkeit fährt, kann der Nutzer außerdem auf einfache Weise ein Fahrzeug, das sich dem Fahrzeug 2 aus einem großen Abstand annähert, erfassen, und kann eine Fahrt, beispielsweise eine Fahrspuränderung von einer befahrenen Fahrspur auf eine normale Fahrspur, sicher durchführen.
-
Auf dem Anzeigebildschirm des kombinierten Bildes kann der Nutzer auf einfache Weise die jeweiligen Bilder P1 bis P3 auf dem Anzeigebildschirm voneinander unterscheiden, da die Grenzlinie L1 zwischen dem Mittelbild P1 und den Bildern P2, P3 auf den rechten und linken hinteren Seiten ausgebildet ist.
-
Aus diesem Grund kann der Nutzer sogar dann, wenn die jeweiligen Bilder P1 bis P3 in der vertikalen Richtung gegeneinander verschoben sind, den Straßenoberflächenzustand direkt hinter dem Fahrzeug 2 und den Straßenoberflächenzustand auf den rechten und linken hinteren Seiten des Fahrzeugs 2 deutlich erfassen, während er die Verschiebung erkennt.
-
Oben wurden Ausführungsformen der vorliegenden Erfindung beschrieben, aber die Ausführungsformen der vorliegenden Erfindung beinhalten verschiedene Modi abgesehen von den obigen Erläuterungen.
-
In der obigen Ausführungsform wird beispielsweise beim Erzeugen des kombinierten Bildes das Bild, das von der ersten Kamera 11 aufgenommen wird, in das Blickpunktumwandlungsbild umgewandelt, das von dem virtuellen Blickpunkt V1 betrachtet wird, der entsprechend der Fahrzeuggeschwindigkeit eingestellt wird. Als Ergebnis stimmen die jeweiligen Bilder P1 bis P3, die das kombinierte Bild bilden, an einer Stelle des kombinierten Bildes in der vertikalen Richtung überein, nachdem die Bilder kombiniert wurden.
-
Wie es beispielsweise in 5 dargestellt ist, kann jedoch das Bild, das von der ersten Kamera 11 aufgenommen wird, derart umgewandelt werden, dass die jeweiligen Bilder P1 bis P3 an zwei Stellen (das heißt an einer entfernten Position und einer nahen Position) des kombinierten Bildes in der vertikalen Richtung übereinstimmen und das Bild sich kontinuierlich zwischen den beiden Stellen in dem Mittelbild ändert.
-
Mit der obigen Verarbeitung stimmen die jeweiligen Bilder P1 bis P3 an der entfernten Position, die sich an einer oberen Seite des kombinierten Bildes befindet, und an der nahen Position, die an einer unteren Seite des kombinierten Bildes vorhanden ist, überein. Als Ergebnis werden die von dem Fahrzeug 2 weit entfernte Stelle und die Stelle in der Nähe des Fahrzeugs 2 auf einfache Weise anhand des kombinierten Bildes bestätigt, und es kann die Fahrsicherheit des Fahrzeugs 2 weiter verbessert werden.
-
Um das kombinierte Bild, das in 5 dargestellt ist, zu erzeugen, können beispielsweise, wie es in 6 dargestellt ist, in der Kombinationsbildanzeigeverarbeitung der 2, die in S110 bis S180 ausgeführt wird, die Verarbeitungen in S140, S150 und S160 durch die Verarbeitungen in S145, S155 und S165 ersetzt werden.
-
Das heißt, das Bild, das von der ersten Kamera 11 aufgenommen wird, wird in die Bilder blickpunktgewandelt, die von zwei virtuellen Blickpunkten betrachtet werden, die sich voneinander unterscheiden, so dass in S145 das Bild, das von der ersten Kamera 11 aufgenommen wird, beim Erzeugen des kombinierten Bildes mit den rechten und linken Bildern P2 und P2 an zwei Stellen, das heißt einer entfernten Position und einer nahen Position in Bezug auf das Fahrzeug, übereinstimmt.
-
Die beiden Bilder, die durch die Blickpunktumwandlung in S145 erhalten werden, werden kombiniert, so dass die Bilder zwischen zwei Stellen, an denen die rechten und linken Bilder P2 und P3 mit dem Bild in S155 übereinstimmen, sanft kontinuierlich sind. Das Mittelbild P1 wird in S165 auf dieselbe Weise wie im obigen S160 aus dem kombinierten Bild extrahiert, in dem die beiden Blickpunktumwandlungsbilder in S155 kombiniert wurden.
-
Um das kombinierte Bild, das in 5 dargestellt ist, zu erzeugen, muss das Bild, das von der ersten Kamera 11 aufgenommen wird, nicht immer auf die obige Weise umgewandelt werden. Alternativ wird ein Umwandlungskennlinienfeld zum Umwandeln des aufgenommenen Bildes im Voraus erzeugt, und es kann ein Umwandlungsbild zum Extrahieren des Mittelbildes P1 aus dem Bild, das von der ersten Kamera 11 aufgenommen wird, unter Verwendung des Umwandlungskennlinienfeldes erzeugt werden.
-
In der obigen Ausführungsform ist die erste Kamera 11 hinter dem Fahrzeug angeordnet und wird verwendet, um das Bild hinter dem Fahrzeug aufzunehmen. Alternativ kann die erste Kamera 11 derart angeordnet sein, dass sie das Bild vor dem Fahrzeug 2 aufnimmt.
-
In diesem Fall können, da das kombinierte Bild vor dem Fahrzeug 2 erzeugt wird, die Blickpunktumwandlungsbilder, die von den virtuellen Blickpunkten V2 und V3 entlang der visuellen Achsen 12B und 13B, die parallel zueinander sind, in Richtung der Vorderseite des Fahrzeugs betrachtet werden, in S120 und S130 erzeugt werden.
-
In der obigen Ausführungsform werden die drei bordeigenen Kameras (erste Kamera 11, zweite Kamera 12 und dritte Kamera 13) verwendet, um das kombinierte Bild zu erzeugen. Alternativ kann mindestens eine aus der ersten Kamera 11, der zweiten Kamera 12 und der dritten Kamera 13 als eine Vielzahl von Kameras bereitgestellt werden.
-
Wenn in diesem Fall die Blickpunktumwandlungsbilder aus den Bildern, die von der Vielzahl von Kameras aufgenommen werden, erzeugt werden, können die jeweiligen Teile (Bilder P1 bis P3) des kombinierten Bildes klarer sein.
-
In der obigen Ausführungsform wird die Grenzlinie L1 derart gezeichnet, dass das Mittelbild P1 von den Bildern P2 und P3 auf den rechten und linken hinteren Seiten in dem erzeugten kombinierten Bild unterscheidbar ist. Es besteht jedoch keine Notwendigkeit, die Grenzlinie L1 stets zu zeichnen, um diese jeweiligen Bilder P1 bis P3 voneinander unterscheidbar zu machen.
-
Die jeweiligen Bilder P1 bis P3 können beispielsweise mit einem Zwischenraum als Grenzabschnitt dazwischen (schräg gestrichelter Abschnitt in 4) zwischen den rechten und linken Bildern P2 und P3 in dem kombinierten Bild der 4 ausgebildet werden, um die jeweiligen Bilder P1 bis P3 unterscheidbar anzuzeigen.
-
Diese unterscheidbare Anzeige muss nicht immer implementiert werden. Alternativ können das Mittelbild P1 und die Bilder P2, P3 auf den rechten und linken hinteren Seiten nur auf demselben Bildschirm angezeigt werden.
-
In der obigen Ausführungsform wird das Mittelbild P1 derart ausgebildet, dass ein trapezförmiger Straßenoberflächenabschnitt, der sich abwärts spreizt, und ein trapezförmiger Straßenabschnitt, der sich aufwärts spreizt, aus dem ursprünglichen Blickpunktumwandlungsbild ausgeschnitten wird. Die Ausschnittsgestalt kann auch geeignet eingestellt werden.
-
Das heißt, die Gestalt des Mittelbildes P1 kann geeignet geändert werden, beispielsweise in ein Rechteck geformt werden, das mit einer Breite, die dem hinteren Endabschnitt des Fahrzeugs 2 entspricht, von dem ursprünglichen Blickpunktumwandlungsbild des Mittelbildes P1 gerade zu der oberen Seite des Bildes ausgeschnitten wird.
-
In der obigen Ausführungsform ist das ursprüngliche Bild bzw. Originalbild des Mittelbildes P1 das Blickpunktumwandlungsbild, das durch Umwandeln des Bildes, das von der ersten Kamera 11 aufgenommen wird, in das Bild, das von dem virtuellen Blickpunkt V1 betrachtet wird, der entsprechend der Fahrzeuggeschwindigkeit eingestellt wird, erhalten wird. Alternativ kann der virtuelle Blickpunkt V1 des Blickpunktumwandlungsbildes im Voraus eingestellt werden.
-
Das heißt, der virtuelle Blickpunkt V1 des Blickpunktumwandlungsbildes kann beispielsweise auf eine Position festgelegt sein, bei der der Straßenoberflächenzustand auf einfache Weise zu dem Zeitpunkt einer Rückwärtsfahrt des Fahrzeugs 2 erfasst werden kann.
-
Der virtuelle Blickpunkt V1 des Blickpunktumwandlungsbildes kann von dem Nutzer aus vorbestimmten mehreren Kandidaten ausgewählt werden.
-
Das ursprüngliche Bild des Mittelbildes P1 muss nicht immer durch Unterziehen des Bildes, das von der ersten Kamera 11 aufgenommen wird, einer Blickpunktumwandlung erhalten werden. Das Bild, das von der ersten Kamera 11 aufgenommen wird, kann auch nur ohne jegliche Änderung verwendet werden.
-
In diesem Fall kann das Mittelbild P1 aus den aufgenommenen Bildern mit dem oben beschriebenen vorbestimmten Schnittmuster extrahiert (ausgeschnitten) werden.
-
In der obigen Ausführungsform entspricht die Steuerungseinheit 28, die S120 und S130 ausführt, einem Beispiel der ersten Blickpunktumwandlungseinheit oder -einrichtung. Die Steuerungseinheit 28, die S160 ausführt, entspricht einem Beispiel der Mittelbilderzeugungseinheit oder -einrichtung. Die Steuerungseinheit 28, die S170 ausführt, entspricht einem Beispiel der Mittelbilderzeugungseinheit oder -einrichtung. Die Steuerungseinheit 28, die S150 ausführt, entspricht einem Beispiel der zweiten Blickpunktumwandlungseinheit oder -einrichtung. Die Steuerungseinheit 28, die S140 ausführt, entspricht einem Beispiel der Virtuellblickpunkteinstelleinheit oder -einrichtung. Die Steuerungseinheit 28, die S145 und S155 ausführt, entspricht einem Beispiel der Blickpunktumwandlungseinheit oder -einrichtung.
-
Gemäß der vorliegenden Erfindung kann ein bordeigener Bildgenerator mit verschiedenen Konfigurationen geschaffen werden.
-
Ein bordeigener Bildgenerator weist beispielsweise eine erste Kamera, die ein Bild vor oder hinter einem Fahrzeug in einer Fahrtrichtung des Fahrzeugs aufnimmt; und eine zweite Kamera und eine dritte Kamera auf, die Bilder auf rechten und linken Seiten des Fahrzeugs jeweils aufnehmen. Auf der Grundlage der Bilder, die von der zweiten Kamera und der dritten Kamera aufgenommen werden, erzeugt eine erste Blickpunktumwandlungseinheit einen Satz von Blickpunktumwandlungsbildern, die symmetrisch zueinander gestaltet sind und auf den vorderen oder hinteren Bereich des Fahrzeugs in der Fahrtrichtung des Fahrzeugs von einem Paar von parallelen virtuellen Blickpunkten blicken, die visuelle Achsen aufweisen, die anders sind als visuelle Achsen der zweiten Kamera und der dritten Kamera. Auf der Grundlage des Bildes, das von der ersten Kamera aufgenommen wird, erzeugt eine Mittelbilderzeugungseinheit ein mittleres Bild bzw. Mittelbild, das zur Erzeugung eines kombinierten Bildes verwendet wird. Wenn der Satz von Blickpunktumwandlungsbildern und das Mittelbild erzeugt werden, erzeugt eine Kombinationsbilderzeugungseinheit das kombinierte Bild durch Anordnen des Mittelbildes, das von der Mittelbilderzeugungseinheit erzeugt wurde, in der Mitte des kombinierten Bildes und Anordnen des Satzes von Blickpunktumwandlungsbildern, die von der ersten Blickpunktumwandlungseinheit erzeugt wurden, neben dem Mittelbild.
-
Der bordeigene Bildgenerator kann außerdem eine zweite Blickpunktumwandlungseinheit aufweisen. Auf der Grundlage des Bildes, das von der ersten Kamera aufgenommen wird, erzeugt die zweite Blickpunktumwandlungseinheit ein Blickpunktumwandlungsbild, das von einem virtuellen Blickpunkt mit einer visuellen Achse, die auf eine Stelle näher oder weiter entfernt von dem Fahrzeug als das Bild, das von der ersten Kamera aufgenommen wurde, gerichtet ist, betrachtet wird. Die Mittelbilderzeugungseinheit erzeugt das Mittelbild auf der Grundlage des Blickpunktumwandlungsbildes, das von der zweiten Blickpunktumwandlungseinheit erzeugt wurde.
-
Der bordeigene Bildgenerator kann außerdem eine Virtuellblickpunkteinstelleinheit aufweisen, die, wenn die zweite Blickpunktumwandlungseinheit die Blickpunktumwandlungsbilder erzeugt, den virtuellen Blickpunkt durch Richten der visuellen Achse in Richtung der Stelle näher bei dem Fahrzeug, wenn eine Fahrgeschwindigkeit des Fahrzeugs niedriger ist, und Richten der visuellen Achse in Richtung einer Stelle weiter von dem Fahrzeug entfernt, wenn die Fahrgeschwindigkeit des Fahrzeugs höher ist, entsprechend der Fahrgeschwindigkeit des Fahrzeugs einstellt.
-
Der bordeigene Bildgenerator kann außerdem eine Blickpunktumwandlungseinheit aufweisen, die das Bild, das von der ersten Kamera aufgenommen wird, umwandelt, so dass in dem kombinierten Bild, das von der Kombinationsbilderzeugungseinheit erzeugt wird, das Mittelbild positionsmäßig mit dem Satz von Blickpunktumwandlungsbildern, die von der ersten Blickpunktumwandlungseinheit erzeugt wird, an zwei Stellen in dem Mittelbild, d. h. einer weiter entfernten Position und einer näheren Position in Bezug auf das Fahrzeug, übereinstimmt und das Mittelbild kontinuierlich zwischen den beiden Stellen geändert wird. Die Mittelbilderzeugungseinheit erzeugt das Mittelbild auf der Grundlage der aufgenommenen Bilder, die von der Blickpunktumwandlungseinheit umgewandelt wurden.
-
Die Mittelbilderzeugungseinheit (28, S160) kann als Mittelbild ein Bild erzeugen, das enthält: einen Straßenoberflächenabschnitt, der aus einem ursprünglichen Bild des Mittelbildes derart ausgeschnitten wird, dass er eine Breite aufweist, die in Richtung eines oberen Teils des Bildes entlang rechten und linken Achsen parallel zu den rechten und linken Seitenwänden einer Fahrzeugkarosserie des Fahrzeugs schmaler wird; und einen Straßenabschnitt, der aus dem ursprünglichen Bild des Mittelbildes derart ausgeschnitten wird, dass er eine Breite aufweist, die sich in Richtung des oberen Teils des Bildes von einer oberen Kante des Straßenoberflächenabschnitts aus spreizt.
-
Die Kombinationsbilderzeugungseinheit (28, S170) erzeugt das kombinierte Bild, in dem eine Grenze zwischen dem Mittelbild und dem Satz von Blickpunktumwandlungsbildern ausgeprägt ist.
-
Es wurden Ausführungsformen und Konfigurationen gemäß der vorliegenden Erfindung dargestellt, aber die Ausführungsformen und Konfigurationen gemäß der vorliegenden Erfindung sind nicht auf die jeweiligen Ausführungsformen und die jeweiligen Konfigurationen, die oben beschrieben wurden, beschränkt. Es sind Ausführungsformen und Konfigurationen, die durch geeignetes Kombinieren der jeweiligen technischen Elemente, die in den unterschiedlichen Ausführungsformen und Konfigurationen offenbart sind, erhalten werden, ebenfalls in den Ausführungsformen und Konfigurationen gemäß der vorliegenden Erfindung enthalten.
