DE112020004987T5 - Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm - Google Patents

Abstract

Eine Bildverarbeitungsvorrichtung, die eine Vielzahl von Bildern zusammenführt, um ein Bild mit einem breiten Sichtfeld zu erzeugen, wobei die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, in dem Bildaufnahmegebiete miteinander übereinstimmen. Die Bildverarbeitungsvorrichtung umfasst eine Beschaffungssektion, die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommene Bilder beschafft, eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt, eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolation der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt, und eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt.

Description

• Technisches Gebiet
• Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsprogramm, die/das dazu verwendet wird, in getrennten Segmenten aufgenommene Bilder einer Fahrzeugumgebung zusammenzuführen.
• Stand der Technik
• Bei einer Technologie, bei der Bilder, die von voneinander beabstandet angebrachten zwei oder mehr Kameras aufgenommen sind, mit einem überlappenden Gebiet (Überlappungsabschnitt) bereitgestellt sind und miteinander zusammengeführt bzw. zusammengemischt werden, wird eine Fehlanpassung zwischen den Bildern im Wesentlichen durch Bezugnahme auf einen vorbestimmten virtuellen Schirm (Projektionsposition) korrigiert.
• Falls dies durchgeführt wird, kann ein in der Anzeige nicht wiedergegebener blinder Fleck bzw. toter Winkel vor dem virtuellen Schirm vorhanden sein, und hinter dem virtuellen Schirm kann ein Gebiet vorhanden sein, in dem ein Abbildungsgegenstand als ein Doppelbild auftritt.
• Je weiter der Abstand zwischen den zwei Kameras ist, die zum Aufnehmen der überlappenden Bilder verwendet werden, umso größer wird der blinde Fleck werden, und umso größer wird die Fehlanpassungsmenge eines Doppelbildes werden.
• Die Druckschrift JP 2012 - 244 527 A beschreibt eine Technik mit niedrigen Kosten zum Präsentieren eines Bildes, das von mehreren Blickpunkten bzw. Beobachtungspunkten aus gesehen wird, die über einen breiteren Bereich ausgebreitet sind.
• Insbesondere umfasst die in der Druckschrift JP 2012 - 244 527 A beschriebene Technologie eine Abbildungssektion zum Aufnehmen von Bildern eines Abbildungsgegenstands unter Verwendung von mehreren Kameras, eine Bildergänzungssektion, die auf der Grundlage der aufgenommenen Bilder ein von einer gegebenen Position aufgenommenes Bild innerhalb einer Ebene ergänzt, die durch mehrere Liniensegmente eingerichtet ist, die die Positionen von allen oder einigen der mehreren Kameras verbinden, und eine Bilderzeugungssektion für einen gegebenen Blickpunkt, um ein Bild eines Abbildungsgegenstands zu erzeugen, als ob dieser von einem gegebenen Punkt innerhalb eines Abbildungsbereiches, der jeder der mehreren Kameras gemeinsam ist, auf der Grundlage eines Kameraoberflächenbildes aufgenommen wäre, das aus Bildern eingerichtet ist, die durch die mehreren Kameras und das ergänzte Bild abgebildet sind.
• Die Druckschrift JP 2013 - 118 508 A beschreibt eine Verringerung einer Fehlanpassungsmenge eines Umgebungsrandes eines Gegenstands an einer Grenzlinie in einem Kompositbild.
• Insbesondere stellt eine Bildprojektionsschirmeinstellsektion mehrere Projektionsschirme ein, die senkrecht zu einer virtuellen Blickrichtung sind, die einen virtuellen Blickpunkt bzw. Beobachtungspunkt mit einem Fluchtpunkt verbindet. Die mehreren Projektionsschirme befinden sich an veränderlichen Entfernungen von dem virtuellen Blickpunkt. Eine Bildzusammenführungssektion bildet mehrere Kompositbildkandidaten für jeden der Projektionsschirme durch Projizieren eines hinteren Bildes, eines hinteren linksseitigen Bildes und eines hinteren rechtsseitigen Bildes auf dem Projektionsschirm um einen Schnittpunkt zwischen dem Projektionsschirm und einer Grenzebene aus, die parallel zu und um eine vorbestimmte Entfernung von der virtuellen Blickrichtung getrennt verläuft. Eine Bildauswertungssektion wertet die Fehlanpassungsmenge des Umgebungsrandes des Gegenstands innerhalb des Kompositbildes an der Grenze für jedes der Kompositbilder aus, und eine Bildauswahlsektion wählt aus den Kompositbildern das Kompositbild mit der kleinsten Fehlanpassungsmenge aus. Dies ermöglicht, dass die Fehlanpassungsmenge an dem Umgebungsrand des Gegenstands an der Grenze des Kompositbildes verringert wird.
• Erfindungszusammenfassung
• Technische Aufgabenstellung
• Die Technologie der Druckschrift JP 2012 - 244 527 A beschreibt ein Beispiel einer Interpolation (es ist zu beachten, dass die Druckschrift JP 2012 - 244 527 A den Begriff „ergänzen“ verwendet, jedoch kann dies hierbei als synonym zu dem Begriff „interpolieren“ verstanden werden) eines Bildes, das von einer gegebenen Position innerhalb einer Ebene aufgenommen ist, die durch mehrere Liniensegmente eingerichtet ist, die die Positionen von allen oder einigen der mehreren Kameras verbinden. Jedoch wird diese Technologie zum Interpolieren von Bildern zwischen Kameras für eine dreidimensionale Animation verwendet, in der mehrere Kameras in einer kreisförmigen Bogenanordnung um einen einzelnen Blickpunkt herum angeordnet sind, und es gibt keine besondere Erwähnung hinsichtlich einer Eliminierung von blinden Flecken oder Doppelbildern. Darüber hinaus gibt es keine Beschreibung oder Anregung hinsichtlich einer Interpolation in zweidimensionalen Bildern (entweder Fotografien oder Bewegtbildern) für ein Bild, in dem mehrere Kameras zum Erweitern eines Sichtfeldes angewendet sind.
• Andererseits beschreibt die Druckschrift JP 2013 - 118 508 A ein Beispiel einer Verringerung der Fehlanpassungsmenge an einem Übergang innerhalb eines Bildes, das unter Verwendung von zwei Kameras aufgenommen ist. Jedoch gibt es keine besondere Erwähnung hinsichtlich der Eliminierung von blinden Flecken oder Doppelbildern innerhalb eines überlappenden Bildgebietes.
• Es ist eine Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsprogramm zu erlangen, die dazu in der Lage sind, blinde Flecken und Doppelbilder in einem Überlappungsaufnahmeabschnitt zu verringern, falls Bilder, die unter Verwendung von mehreren Kameras aufgenommen sind und einen Überlappungsabschnitt umfassen, zusammengeführt werden, um ein Sichtfeld zu vergrößern.
• Lösung der Aufgabenstellung
• Eine Bildverarbeitungsvorrichtung in einer ersten Ausgestaltung der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung, die eine Vielzahl von Bildern zusammenführt, um ein Bild mit einem breiten Sichtfeld zu erzeugen, wobei die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, in dem Bildaufnahmegebiete miteinander übereinstimmen. Die Bildverarbeitungsvorrichtung umfasst eine Beschaffungssektion, die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommene Bilder beschafft, eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt, eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunktes durch Interpolation der durch die Vielzahl der Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt, und eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und Abschnitte außerhalb des Überlappungsgebiets der durch die Vielzahl der Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt.
• Gemäß der ersten Ausgestaltung der vorliegenden Erfindung beschafft die Beschaffungssektion die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder, und die Virtuellblickpunkteinstellsektion stellt den zumindest einen virtuellen Blickpunkt entsprechend dem Überlappungsabschnitt ein.
• Die Interpolationsbilderzeugungssektion erzeugt durch Interpolieren der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunktes.
• Die Zusammenfügungssektion fügt ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und die anderen Abschnitte als den Überlappungsabschnitt der durch die Vielzahl der Bildaufnahmevorrichtungen aufgenommenen Bilder zusammen.
• Ein Bereitstellen des virtuellen Blickpunktes ermöglicht, dass ein Bild mit einem breiten Sichtfeld ohne unerwünschte Probleme wie etwa das Auftreten von Doppelbildern von Aufnahmegegenständen oder einen Verlust von Aufnahmegegenständen erlangt wird.
• Eine Bildverarbeitungsvorrichtung einer anderen Ausgestaltung der vorliegenden Erfindung umfasst eine Beschaffungssektion, die Bilder beschafft, die dazu in der Lage sind, ein Sichtfeld eines Fahrers eines Fahrzeugs zu ergänzen, wobei die Bilder als getrennte Segmente durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, an dem Bildaufnahmegebiete miteinander übereinstimmen, eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt, eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunktes durch Interpolation der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt, eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt, und eine Ausgabesektion, die ein durch die Zusammenfügungssektion zusammengefügtes Bild an eine Ausgabevorrichtung ausgibt.
• In dieser anderen Ausgestaltung der vorliegenden Erfindung kann das Bild, das das Sichtfeld des Fahrers des Fahrzeugs ergänzen kann, beispielsweise ein rückwärtiges Sichtfeld repräsentieren. Beim Fahren des Fahrzeugs können nach hinten blinde Flecken vorhanden sein. Ein Anwenden der Bildverarbeitungsvorrichtung der vorliegenden Erfindung ermöglicht es, dass Bilder zum Unterstützen eines Überprüfens nach hinten ohne das Auftreten von Doppelbildern von Abbildungsgegenständen oder einen Verlust von Abbildungsgegenständen präsentiert werden.
• In der vorliegenden Offenbarung liegt der virtuelle Blickpunkt in dem Interpolationsbild näher zu einer der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin, die mit einem Bild zusammengefügt ist, das durch die eine der Bildaufnahmevorrichtungen aufgenommen ist, und der virtuelle Blickpunkt ist näher zu einer anderen der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin eingestellt, die mit einem Bild zusammengefügt ist, das von der anderen der Bildaufnahmevorrichtungen aufgenommen ist.
• In der vorliegenden Offenbarung ist die Anzahl von virtuellen Blickpunkten, die eingestellt sind, dieselbe wie eine Anzahl von Bildelementen, die von einer Breitenabmessung des Interpolationsbildes abhängen.
• In der vorliegenden Offenbarung befindet sich der virtuelle Blickpunkt an einem internen Teilungspunkt zwischen jeweiligen Blickpunktpositionen der Vielzahl von Bildaufnahmevorrichtungen, die den Überlappungsabschnitt aufgenommen haben.
• In der vorliegenden Offenbarung erfasst die Interpolationsbilderzeugungssektion aufgrund einer Parallaxe zwischen Bildern einen Unterschied bzw. eine Disparität und wandelt ein Bild um, für das der Unterschied erfasst wurde, um eine Unterschiedseinstellung für den virtuellen Blickpunkt auszuführen.
• Eine Umwandlung des Bildes zum Einstellen eines Unterschieds eliminiert Doppelbilder vollständig.
• Die vorliegende Offenbarung umfasst ferner eine Entfernungsbilderfassungssektion, die in dem Überlappungsabschnitt eine Entfernung zu einem Abbildungsgegenstand erfasst.
• Ein Verwenden der Entfernungsbilderfassungssektion ermöglicht eine Verringerung der Berechnungslast einer Unterschiedserfassung während einer Bildverarbeitung, und ermöglicht auch eine Erzeugung eines höherqualitativen Interpolationsbildes.
• Ein Bildverarbeitungsprogramm einer anderen Ausgestaltung der vorliegenden Erfindung bewirkt, dass ein Computer als irgendeine der vorstehend beschriebenen Bildverarbeitungsvorrichtungen arbeitet.
• Es ist zu beachten, dass eine Verarbeitung durch die Interpolationsbilderzeugungssektion zum Erzeugen von Bildern von jeweiligen virtuellen Blickpunkten beispielsweise auf eine Blickpunktinterpolationstechnologie angewendet werden kann.
• Vorteilhafte Wirkungen der Erfindung
• Die vorliegende Erfindung gemäß der vorstehenden Beschreibung bewirkt die vorteilhaften Wirkung, dass es ermöglicht wird, dass in einem Überlappungsaufnahmeabschnitt blinde Flecken und Doppelbilder verringert werden, falls Bilder, die durch mehrere Kameras aufgenommen sind und einen Überlappungsabschnitt umfassen, zusammengeführt werden, um ein Sichtfeld zu erweitern. Zusätzlich zu der vorstehenden vorteilhaften Wirkung ermöglicht eine Einstellung einer ausreichenden Anzahl der virtuellen Blickpunkte die Bereitstellung eines zusammengefügten Bildes, in dem keine Stufen auftreten.
• Figurenliste
• 1 zeigt eine schematische Konfigurationsdarstellung, die eine Konfiguration einer Bildverarbeitungsvorrichtung gemäß einem ersten exemplarischen Ausführungsbeispiel veranschaulicht.
• 2 zeigt eine Vorderansicht, die einen Anordnungszustand von virtuellen Kameras bei Ansicht entlang einer Richtung veranschaulicht, die die optischen Achsen von zwei Kameras schneidet, der auf eine Bildverarbeitungsvorrichtung gemäß dem ersten exemplarischen Ausführungsbeispiel angewendet ist.
• 3 zeigt eine schematische Konfigurationsdarstellung, die eine Blickpunktinterpolationsbilderzeugungssektion der Bildverarbeitungsvorrichtung gemäß 1 ausführlicher veranschaulicht.
• 4 zeigt ein Steuerablaufdiagramm, das einen Ablauf einer Verarbeitung einer Bildverarbeitungsvorrichtung gemäß dem ersten exemplarischen Ausführungsbeispiel veranschaulicht.
• 5A zeigt eine Konzeptdarstellung, die ein Ergebnis einer Zusammenführungsverarbeitung unter Verwendung einer virtuellen Kameraanordnung und eine Blickpunkterzeugungsverarbeitung für einen Überlappungsabschnitt gemäß dem ersten exemplarischen Ausführungsbeispiel veranschaulicht.
• 5B zeigt eine Konzeptdarstellung, die ein Ergebnis einer Zusammenführungsverarbeitung für von zwei Kameras aufgenommenen Bildern in einem Vergleichsbeispiel zu dem Beispiel gemäß 5A veranschaulicht.
• 6A zeigt eine Vorderansicht bei Ansicht entlang einer Richtung, die optische Achsen der Kameras schneidet, um das Prinzip hinter einer Bildzusammenführung unter Verwendung einer virtuellen Kameraanordnung der vorliegenden Offenbarung zu erklären und eine Fehlanpassungsbreite WO eines Doppelbildes zu veranschaulichen, falls durch zwei reale Kameras aufgenommene Bilder zusammengeführt werden.
• 6B zeigt eine 6A entsprechende Vorderansicht, die eine Fehlanpassungsbreite W1 eines Doppelbildes in dem Fall veranschaulicht, dass zwischen zwei realen Kameras eine einzelne virtuelle Kamera eingestellt ist.
• 6C zeigt eine 6A entsprechende Vorderansicht, die eine Fehlanpassungsbreite W2 eines Doppelbildes in dem Fall veranschaulicht, dass zwischen zwei realen Kameras drei virtuelle Kameras eingestellt sind.
• 7 zeigt eine Vorderansicht bei Ansicht entlang einer Richtung, die optische Achsen von Kameras schneidet, um das Prinzip hinter einer Eliminierung eines blinden Flecks in dem ersten exemplarischen Ausführungsbeispiel zu veranschaulichen.
• 8 zeigt eine schematische Konfigurationsdarstellung, die eine Bildverarbeitungsvorrichtung gemäß einem Abwandlungsbeispiel des ersten exemplarischen Ausführungsbeispiels veranschaulicht.
• 9A zeigt eine Draufsicht eines Fahrzeugs gemäß einem zweiten exemplarischen Ausführungsbeispiel.
• 9B zeigt eine Seitenansicht des Fahrzeugs gemäß 9A.
• 10 zeigt eine schematische Darstellung, die das Innere einer Kabine eines Fahrzeugs gemäß dem zweiten exemplarischen Ausführungsbeispiel veranschaulicht, bei Ansicht von der Mitte eines Rücksitzes aus in Richtung von Vordersitzen.
• 11A zeigt eine Vorderansicht, die einen Anordnungszustand von virtuellen Kameras bei Ansicht entlang einer Richtung, die die optischen Achsen von drei Kameras schneidet, angewendet auf ein Fahrzeug gemäß dem zweiten exemplarischen Ausführungsbeispiel.
• 11B zeigt eine Konzeptdarstellung, die ein Ergebnis einer Zusammenführungsverarbeitung unter Verwendung einer virtuellen Kameraanordnung und eine Blickpunkterzeugungsverarbeitung für einen Überlappungsabschnitt gemäß dem zweiten exemplarischen Ausführungsbeispiel veranschaulicht.
• Beschreibung der Ausführungsbeispiele
• Erstes exemplarisches Ausführungsbeispiel
• 1 veranschaulicht eine Bildverarbeitungsvorrichtung 100, die eine virtuelle Kameraanordnung gemäß einem ersten exemplarischen Ausführungsbeispiel der vorliegenden Offenbarung anwendet.
• Die Bildverarbeitungsvorrichtung 100 umfasst eine L-Kamera 102 und eine R-Kamera 104, die als reale Kameras dienen. In der Bildverarbeitungsvorrichtung 100 werden die durch die L-Kamera 102 und die R-Kamera 104 aufgenommenen Bilder zusammengeführt bzw. zusammengemischt und an einen Monitor 106 ausgegeben.
• Der Monitor 106 umfasst eine Anzeigeansteuereinrichtung 108 und einen Anzeigeschirm 110. Ein Kompositbild wird auf dem Anzeigeschirm 110 auf der Grundlage von Bildinformationen angezeigt, die von der Bildverarbeitungsvorrichtung 100 empfangen sind.
• Gemäß 2 werden die L-Kamera 102 und die R-Kamera 104 in einer Linie entlang einer Links-Rechts-Richtung bei Ansicht von der Vorderseite wie in 2 angeordnet. Es ist zu beachten, dass, obwohl die L-Kamera 102 und die R-Kamera 104 als Links (L) und Rechts (R) aufgrund von ihren relativen Positionen in dem ersten exemplarischen Ausführungsbeispiel unterschieden sind, die jeweiligen Kameras in einer Linie entlang der Tiefenrichtung (Längsrichtung) gemäß 2 angeordnet sein können. Die L-Kamera 102 und die R-Kamera 104 weisen jeweilige Sichtfeldbereiche WL, WR auf, wie durch die Strichpunktlinien in 2 dargestellt. Innerhalb dieser Bereiche sind auf einem virtuellen Schirm 114 wiedergegebene Bilder gemäß der nachstehenden Beschreibung durch schräge Linien angezeigt (Ähnliches findet auch in den 5 Anwendung). Diese werden als ein Anzeigebild angewendet.
• Es ist zu beachten, dass, wie in 2 dargestellt ist, die optischen Achsen der L-Kamera 102 und der R-Kamera 104 vorzugsweise nicht parallel zueinander sind, sondern anstelle dessen in Bezug zueinander auswärts divergieren können, sodass die L-Kamera 102 und die R-Kamera 104 zueinander verschiedene Blickfelder aufweisen.
• Es ist zu beachten, dass, obwohl die jeweiligen optischen Achsen der L-Kamera 102 und der R-Kamera 104 in Bezug zueinander auswärts divergieren, diese optischen Achsen parallel sein können.
• Durch die L-Kamera 102 und die R-Kamera 104 aufgenommene Bilder umfassen einen Überlappungsabschnitt 112 (siehe 2).
• Würden Bildinformationen von der L-Kamera 102 und Bildinformationen von der R-Kamera 104 einfach an dem Überlappungsabschnitt 112 zusammenzuführen sein, würde ein Unterschied bzw. eine Disparität aufgrund einer Parallaxe zwischen den zwei Kameras in dem Phänomen resultieren, dass Abbildungsgegenstände an der entfernten Seite des virtuellen Schirms 114 doppelt (als Doppelbilder) erscheinen. Solche Doppelbilder hängen von dem Abstand (der Entfernung) zwischen der L-Kamera 102 und der R-Kamera 104 ab (später nachstehend unter Bezugnahme auf 6 ausführlich beschrieben).
• Würden Bildinformationen von der L-Kamera 102 und Bildinformationen von der R-Kamera 104 einfach zusammengeführt werden, wäre darüber hinaus vor dem virtuellen Schirm 114 ein Gebiet 116 eines blinden Fleckes (siehe 2) vorhanden.
• Bei dem ersten exemplarischen Ausführungsbeispiel werden unterschiedseingestellte Bilder von virtuellen Blickpunkten bzw. virtuellen Beobachtungspunkten aus dem durch die L-Kamera 102 aufgenommenen Bild und dem durch die R-Kamera 104 aufgenommenen Bild (jeweils einschließlich der Sichtfeldbereiche WL, WR gemäß 2) erzeugt, um das Auftreten von Doppelbildern und dem Gebiet 116 eines blinden Fleckes zu verringern. Obwohl die Blickpunkte an gleichförmigen Abständen erzeugt sein können, ist zu beachten, dass eine Einstellung der Blickpunkte mit engeren Abständen ermöglicht, dass Übergänge weniger auffällig gestaltet werden können. Darüber hinaus können Übergänge an durch eine Bildzusammenfügungssektion miteinander verbundenen Orten durch Einstellen von virtuellen Blickpunkten in der Nähe der Position der L-Kamera 102 an einer Seite eines erzeugten Bildes, das mit einem Abschnitt außerhalb des Überlappungsabschnitts des durch die L-Kamera 102 aufgenommenen Bildes zusammengefügt ist, und durch Einstellen von virtuellen Blickpunkten in der Nähe der Position der R-Kamera 104 auf einer Seite eines erzeugten Bildes weniger auffällig gestaltet werden, das mit einem Abschnitt außerhalb des Überlappungsabschnitts des durch die R-Kamera 104 aufgenommenen Bildes zusammengefügt ist.
• Gemäß 1 sind die L-Kamera 102 und die R-Kamera 104 jeweils mit einer Blickpunktinterpolationsbilderzeugungssektion 118 der Bildverarbeitungsvorrichtung 100 verbunden. Die Blickpunktinterpolationsbilderzeugungssektion 118 erzeugt die virtuellen Blickpunkte zwischen der L-Kamera 102 und der R-Kamera 104, und erzeugt Bilder aus der Perspektive der virtuellen Blickpunkte als Interpolationsbilder.
• Insbesondere können gemäß 2 virtuelle Kameras 120 zwischen der L-Kamera 102 und der R-Kamera 104 platziert werden, wie wenn Interpolationsbilder von den jeweiligen Blickpunkten aufgenommen werden. Die Anzahl der virtuellen Kameras 120 wird durch eine Blickpunktpositionsanweisungssektion 122 angewiesen. Die Anzahl der virtuellen Kameras 120 ist zumindest eine, und die maximal praktische Anzahl dieser ist von der Bildbreite des erzeugten Überlappungsabschnitts abhängig. Bei diesem Beispiel ist ein verschiedener virtueller Blickpunkt für jede einzelne Bildelementbreite des erzeugten Bildes eingestellt. Die eingestellte Anzahl der virtuellen Kameras 120 kann entsprechend dem Abbildungsgegenstand, der durch die L-Kamera 102 und die R-Kamera 104 aufzunehmen ist, und die Präzisionsanforderungen (beispielsweise eine Fehlanpassungsbreitenbegrenzung für Doppelbilder) eingestellt werden.
• Die Blickpunktpositionsanweisungssektion 122 ist mit der Blickpunktinterpolationsbilderzeugungssektion 118 verbunden und bestimmt die Anzahl und Positionen der virtuellen Kameras 120 auf der Grundlage der Bilder, die durch die L-Kamera 102 und die R-Kamera 104 aufgenommen sind. Jede Blickpunktposition ist durch einen Wert t von t: 1 - t für das interne Verhältnis der Position der L-Kamera 102 und der Position der R-Kamera 104 ausgedrückt. Blickpunktpositionsinformationen werden an eine Unterschiedserfassungssektion 128 und eine Bildvermischungssektion 136 als eine Karte t (x, y) exportiert, die entsprechende Werte von t für jedes Bildelement (x, y) in dem Überlappungsabschnitt ausdrückt.
• Jedes t ist ein numerischer (dezimaler) Wert von 0 bis 1. Beispielsweise entspricht t=0 der Position der L-Kamera 102, und t=1 entspricht der Position der R-Kamera 104. Dementsprechend werden Werte näher zu 0 auf einer Seite angewendet, die durch eine Bildzusammenfügungssektion 124 mit einem nur durch die L-Kamera 102 aufgenommenen Bild eines Gebietes zusammengefügt wird, und umgekehrt werden Werte näher zu 1 auf einer Seite angewendet, die durch die Bildzusammenfügungssektion 124 mit einem nur durch die R-Kamera 104 aufgenommenen Bild eines Gebiets zusammengefügt wird, mit einer kontinuierlichen Änderung zwischen den beiden. Beispielsweise entspricht t=0,5 einer mittleren Position.
• Die Blickpunktinterpolationsbilderzeugungssektion 118 sendet entsprechend der Anzahl von virtuellen Kameras 120 eingestellte Interpolationsbilder an die Bildzusammenfügungssektion 124 (siehe das Cluster der optischen Achsen der virtuellen Kameras (Blickpunkte) in 2).
• Die von der L-Kamera 102 und der R-Kamera 104 aufgenommenen Bilder werden auch an die Bildzusammenfügungssektion 124 eingegeben. Die Bildzusammenfügungssektion 124 fügt das durch die L-Kamera 102 aufgenommene Bild, das durch die R-Kamera 104 aufgenommene Bild und die mehreren Interpolationsbilder zusammen.
• Ein durch das Zusammenfügen der Bildzusammenfügungssektion 124 erzeugtes Kompositbild wird an eine Ausgabesektion 126 ausgegeben, und wird auf dem Anzeigeschirm 110 des Monitors 106 gemäß der vorstehenden Beschreibung angezeigt.
• Ausführliche Erklärung hinsichtlich der Blickpunktinterpolationsbilderzeugungssektion 118
• 3 zeigt eine schematische Konfigurationsdarstellung, die Einzelheiten einer Berechnungsverarbeitung durch die Blickpunktinterpolationsbilderzeugungssektion 118 gemäß 2 veranschaulicht, um als Antwort auf Blickpunktanweisungen von der Blickpunktpositionsanweisungssektion 122 Interpolationsbilder zu erzeugen.
• Gemäß 3 werden die jeweiligen durch die L-Kamera 102 und die R-Kamera 104 aufgenommenen Bilder an die Unterschiedserfassungssektion 128 eingegeben. Die Unterschiedserfassungssektion 128 wird auch mit Blickpunktanweisungsinformationen von der Blickpunktpositionsanweisungssektion 122 versorgt.
• Die Unterschiedserfassungssektion 128 berechnet Unterschiedskarten d (bzw. Disparitätskarten) für die durch die L-Kamera 102 und die R-Kamera 104 aufgenommenen Bilder auf der Grundlage der nachstehenden Gleichung (1) und Gleichung (2). Es ist zu beachten, dass x, y Koordinaten in einem zweidimensionalen Bild repräsentieren. Eine Unterschiedskarte d (x, y) in Bezug auf die L-Kamera 102 ist in der folgenden Weise abgeleitet.
  Gleichung 1 $$\left\{d|L\left(x,y\right)==R\left(x+d,y\right)\right\}$$

  
• Die Unterschiedskarte d (x, y) ist eine Karte von Werten, um zu bewirken, dass jedes Bildelement L (x, y) in einem L-Bild mit einem R-Bild ausgerichtet wird, falls es seitlich um -d (x, y) Bildelemente bewegt wird. In Wirklichkeit ist dieses nicht eine strenge Ausrichtung in einem mathematischen Sinne, sondern eher eine Berechnung unter Verwendung einer bekannten Stereoabgleichtechnik. Ein Stereoabgleich umfasst verschiedene Techniken wie etwa einen Blockabgleich und einen semiglobalen Blockabgleich; es gibt keine Begrenzung auf die in der vorliegenden Offenbarung angewendete Stereoabgleichtechnik.
• In gleicher Weise ist eine Unterschiedskarte d (x, y) in Bezug auf die R-Kamera 104 in der nachstehenden Weise abgeleitet.
  Gleichung 2 $$\left\{d|L\left(x-d,y\right)==R\left(x,y\right)\right\}$$

  
• Gleichung (1) betrifft einen Unterschied aufgrund einer Parallaxe in Bezug auf die L-Kamera 102 und Gleichung (2) betrifft einen Unterschied aufgrund einer Parallaxe in Bezug auf die R-Kamera 104. Obwohl beide Berechnungen fast dieselben Ergebnisse liefern, werden vorzugsweise Gleichung (1) und Gleichung (2) in Verbindung miteinander verwendet, da es nur durch die L-Kamera 102 aufgenommene Gebiete gibt und es nur durch die R-Kamera 104 aufgenommene Gebiete gibt.
• Von den Berechnungsergebnissen der Unterschiedserfassungssektion 128 werden die Berechnungsergebnisse für Gleichung (1) an eine Unterschiedseinstellsektion 130 für die L-Kamera 102 gesendet, und die Berechnungsergebnisse für Gleichung (2) werden an eine Unterschiedseinstellsektion 132 für die R-Kamera 104 gesendet.
• Die Unterschiedseinstellsektionen 130, 132 werden jeweils mit den Blickpunktpositionsinformationen von der Blickpunktpositionsanweisungssektion 122 versorgt.
• Unterschiedseinstellung bzw. Disparitätseinstellung für L-Kamera 102
• Die Unterschiedseinstellsektion 130 für die L-Kamera 102 verwendet Gleichung (3), um eine Umwandlungsmenge dL, die zum Einstellen eines Unterschieds verwendet wird, auf der Grundlage der Berechnungsergebnisse von Gleichung (1) und den Blickpunktpositionsinformationen zu berechnen.
  Gleichung 3 $$dL\left(x,y\right)=d\left(x,y\right)*t\left(x,y\right)$$

  
• Die Berechnungsergebnisse der Unterschiedseinstellsektion 130 werden an eine Bildumwandlungssektion 134 für die L-Kamera 102 gesendet. Die Bildumwandlungssektion 134 wird mit Bildinformationen versorgt, die durch die L-Kamera 102 aufgenommen sind.
• Die Bildumwandlungssektion 134 verwendet Gleichung (4), um eine Umwandlungsverarbeitung auf der Grundlage der Berechnungsergebnisse für Gleichung (3) durch die Unterschiedseinstellsektion 130 und den Bildinformationen von der L-Kamera 102 auszuführen, um einen Unterschied bzw. eine Disparität aufgrund einer Parallaxe in dem durch die L-Kamera 102 aufgenommenen Bild zu korrigieren.
  Gleichung 4 $$L\text{'}\left(x,y\right)=L\left(x-dL,y\right)$$

  
• Nachfolgend auf die durch die Bildumwandlungssektion 134 ausgeführte Umwandlungsverarbeitung werden die Bildinformationen von der L-Kamera 102 an die Bildvermischungssektion 136 gesendet.
• Unterschiedseinstellung für R-Kamera 104
• Die Unterschiedseinstellsektion 132 für die R-Kamera 104 verwendet Gleichung (5), um eine Umwandlungsmenge dR, die zum Einstellen eines Unterschieds aufgrund einer Parallaxe verwendet wird, auf der Grundlage der Berechnungsergebnisse von Gleichung (1) und den Blickpunktpositionsinformationen zu berechnen.
  Gleichung 5 $$dR\left(x,y\right)=d\left(x,y\right)*\left(1-t\left(x,y\right)\right)$$

  
• Die Berechnungsergebnisse der Unterschiedseinstellsektion 132 werden an eine Bildumwandlungssektion 138 für die R-Kamera 104 gesendet. Die Bildumwandlungssektion 138 wird mit Bildinformationen versorgt, die durch die R-Kamera 104 aufgenommen sind.
• Die Bildumwandlungssektion 138 verwendet Gleichung (6), um eine Umwandlungsverarbeitung auf der Grundlage der Berechnungsergebnisse für Gleichung (5) durch die Unterschiedseinstellsektion 132 und den Bildinformationen von der R-Kamera 104 auszuführen, um einen Unterschied aufgrund einer Parallaxe in dem durch die R-Kamera 104 aufgenommenen Bild zu korrigieren.
  Gleichung 6 $$R\text{'}\left(x,y\right)=R\left(x+dR,y\right)$$

  
• Nachfolgend auf die durch die Bildumwandlungssektion 138 ausgeführte Umwandlungsverarbeitung werden die Bildinformationen von der R-Kamera 104 an die Bildvermischungssektion 136 gesendet.
• Die Bildvermischungssektion 136 wird von der Blickpunktpositionsanweisungssektion 122 mit den Blickpunktanweisungsinformationen versorgt.
• Die Bildvermischungssektion 136 überlagert Bilder von jedem Blickpunkt (Bilder von den Blickpunkten von jeder der virtuellen Kameras) auf der Grundlage von Gleichung (7).
  Gleichung 7 $$\text{I}\left(x,y\right)=\left(1-t\right)*L\text{'}\left(x,y\right)+t*R\text{'}\left(x,y\right)$$

  
• Eine solche Zusammenführung bzw. Zusammenmischung ist als eine Alphavermischungsverarbeitung bekannt. Eine graduelle Änderung wird erzielt, und sich aus Unterschieden in einer Bildqualität zwischen den Kameras ergebende Schritte werden durch Einstellen eines Anpassungsverhältnisses (1-t):1 auf das Inverse des internen Verhältnisses der Position der L-Kamera 102 und der Position der R-Kamera 104 eingestellt. Darüber hinaus verwenden Flächen, an denen die Bilder zusammengefügt werden, fast 100 % zusammengefügte Kamerabilder, und so werden Schritte zwischen den z zusammengefügten Bildern eliminiert.
• Ein Interpolationsbild I (x, y), das in dem Überlappungsabschnitt durch die Bildvermischungssektion 136 überlagert wird, wird zeitweilig in einer Interpolationsbildspeichersektion 140 gespeichert, und wird zu einem vorbestimmten Zeitpunkt an die vorstehend erwähnte Bildzusammenfügungssektion 124 gesendet (in einem Zustand, in dem eine Synchronisation zwischen den Bildern von der L-Kamera 102 und den Bildern von der R-Kamera 104 erzielt wurde). Es ist zu beachten, dass eine Zwischenkamerasynchronisation vor der Verarbeitung durch die Unterschiedserfassungssektion 128 ausgeführt werden muss.
• Nachstehend folgt eine Erklärung hinsichtlich eines Betriebs des ersten exemplarischen Ausführungsbeispiels unter Bezugnahme auf das Ablaufdiagramm in 4.
• 4 zeigt ein Steuerablaufdiagramm, das einen Ablauf einer Verarbeitung der Bildverarbeitungsvorrichtung veranschaulicht. Es ist zu beachten, dass eine Bildverarbeitung auf der Grundlage eines vorbestimmten Steuerprogramms gesteuert werden kann, das durch einen einzelnen Prozessor ausgeführt wird, oder eine oder mehrere Verarbeitungen können durch eine Parallelverarbeitung in den Blockeinheiten umgesetzt werden, die in 1 und 3 veranschaulicht sind. Wahlweise kann eine parallele Verarbeitung durch Herstellen einer Verarbeitungseinrichtungsplatine umgesetzt werden, die integrierte Schaltungen wie etwa anwendungsspezifische integrierte Schaltungen (ASICs) integriert, von denen jede einen bestimmten Zweck aufweist.
• Wie in 4 gezeigt ist, werden in Schritt 150 die durch die L-Kamera 102 und die R-Kamera 104 aufgenommenen Bilder importiert. Die Verarbeitung geht nachfolgend zu Schritt 152 über, in dem die Blickpunktpositionsanweisungsinformationen importiert werden, und nachfolgend schreitet die Verarbeitung zu Schritt 154 fort.
• In Schritt 154 werden eine Unterschiedserfassungsverarbeitung in Bezug auf die L-Kamera 102 und eine Unterschiedserfassungsverarbeitung in Bezug auf die R-Kamera 104 ausgeführt.
• In dem nächsten Schritt 156 werden eine Unterschiedseinstellverarbeitung auf der Grundlage eines Unterschieds in Bezug auf die L-Kamera 102 und eine Unterschiedseinstellverarbeitung auf der Grundlage eines Unterschieds in Bezug auf die R-Kamera 104 ausgeführt.
• In dem nächsten Schritt 158 werden eine Bildumwandlungsverarbeitung in Bezug auf die L-Kamera 102 und eine Bildumwandlungsverarbeitung in Bezug auf die R-Kamera 104 ausgeführt.
• Es ist zu beachten, dass die Unterschiedserfassungsverarbeitung von Schritt 154, die Unterschiedseinstellverarbeitung von Schritt 156 und die Bildumwandlungsverarbeitung von Schritt 158 vorzugsweise durch eine Parallelverarbeitung in Bezug auf die L-Kamera 102 und in Bezug auf die R-Kamera 104 umgesetzt sind, um die Verarbeitungszeit zu verringern.
• In dem nächsten Schritt 160 werden Bilder, die dem Überlappungsabschnitt in Bezug auf die L-Kamera 102 und in Bezug auf die R-Kamera 104 entsprechen und die in Schritt 158 einer Umwandlungsverarbeitung unterzogen wurden, vermischt, um ein Interpolationsbild zu erzeugen. Eine Verarbeitung schreitet nachfolgend zu Schritt 162 fort, und das Interpolationsbild wird zeitweilig in der Interpolationsbildspeichersektion 140 gespeichert (siehe 3).
• In dem nächsten Schritt 164 werden Nichtüberlappungsabschnitte des durch die L-Kamera 102 aufgenommenen Bildes und des durch die R-Kamera 104 aufgenommenen Bildes importiert, und nachfolgend wird das in der Interpolationsbildspeichersektion 140 gespeicherte Interpolationsbild in Schritt 166 gelesen, und die Verarbeitung schreitet zu Schritt 168 fort.
• In Schritt 168 werden das durch die L-Kamera 102 aufgenommene Bild, das durch die R-Kamera 104 aufgenommene Bild und das Interpolationsbild zusammengefügt, und die Verarbeitung schreitet zu Schritt 170 fort.
• In Schritt 170 wird eine Bildanzeigeverarbeitung ausgeführt. In der Bildanzeigeverarbeitung wird das zusammengefügte Bild, das durch die Bildzusammenfügungssektion 124 zusammengefügt ist (siehe 1), mittels der Ausgabesektion 126 an den Monitor 106 ausgegeben, und die Anzeigeansteuereinrichtung 108 wird angesteuert, um das zusammengefügte Bild auf dem Anzeigeschirm 110 anzuzeigen.
• In dem nächsten Schritt 172 wird eine Bestimmung getroffen, ob die Leistungsquelle der Bildverarbeitungsvorrichtung 100 ausgeschaltet wurde oder nicht. In Fällen, in denen eine Bestimmung negativ ist, kehrt die Verarbeitung zu Schritt 150 zurück, und die vorstehenden Vorgänge werden wiederholt, um animierte Bilder anzuzeigen. In Fällen, in denen eine Bestimmung in Schritt 172 zustimmend ist, wird die vorliegende Routine beendet.
• 5 veranschaulicht einen Vergleich zwischen dem Fall, dass in dem Überlappungsabschnitt 112 in einer Zusammenführungsverarbeitung bzw. Zusammenmischungsverarbeitung für die L-Kamera 102 und die R-Kamera 104 virtuelle Kameras eingestellt sind (erstes exemplarisches Ausführungsbeispiel, siehe 5A), und dem Fall, dass zwei Kameras, und zwar die L-Kamera 102 und die R-Kamera 104, einfach zusammengeführt werden (Vergleichsbeispiel, siehe 5B). Es ist zu beachten, dass bei dem Vergleichsbeispiel beispielsweise eine Verarbeitung zum Zusammenführen der Bilder durch eine Alphavermischung durch Anwenden der Bildvermischungssektion 136 des ersten exemplarischen Anwendungsbeispiels angewendet sein kann.
• In dem in 5B gezeigten Vergleichsbeispiel wird ein Abbildungsgegenstand 142 in dem Überlappungsabschnitt 142 hinter dem virtuellen Schirm 114 sowohl durch die L-Kamera 102 als auch die R-Kamera 104 aufgenommen, und erscheint als Ergebnis eines Unterschieds aufgrund einer Parallaxe bei Anzeige auf dem virtuellen Schirm 114 als Doppelbild.
• Andererseits wird bei dem in 5A gezeigten ersten exemplarischen Ausführungsbeispiel der Abbildungsgegenstand 142 durch einige der eingestellten mehreren virtuellen Kameras 120 aufgenommen, und somit wird das Doppelbild eliminiert.
• Es ist zu beachten, dass, obwohl der Abbildungsgegenstand vorzugsweise durch eine einzelne virtuelle Kamera 120 aufgenommen wird, er in der Praxis häufiger durch zwei der virtuellen Kameras 120 aufgenommen wird. Da der Unterschied aufgrund einer Parallaxe zwischen den beiden sehr gering ist, wird jedoch kein Doppelbild erschaffen, auch falls eine gewisse Verzerrung auftreten kann.
• Prinzip hinter einem Eliminieren von Doppelbildern durch Einstellen von virtuellen Kameras 120
• Die 6 erklären das Prinzip hinter dem Eliminieren von Doppelbildern, insbesondere als ein Ergebnis eines Einstellens der virtuellen Kameras 120 zwischen den realen Kameras, und zwar der L-Kamera 102 und der R-Kamera 104.
• 6A veranschaulicht einen Fall, in dem durch die zwei realen Kameras (die L-Kamera 102 und die R-Kamera 104) aufgenommene Bilder beispielsweise unter Verwendung einer Alphavermischungsverarbeitung zusammengeführt werden, wie es in dem Vergleichsbeispiel gemäß 5B angewendet wird, das ein Doppelbild mit einer Fehlanpassungsbreite von WO ergibt.
• 6B veranschaulicht eine Fallzeichnung der Konfiguration gemäß 6A, jedoch mit einer einzelnen virtuellen Kamera 120, die zwischen der L-Kamera 102 und der R-Kamera 104 eingestellt ist. Ein Doppelbild wird auch in 6B erzeugt.
• Aufgrund des Einstellens der einzelnen virtuellen Kamera 120 ist jedoch im Vergleich zu einer Konfiguration, in der keine virtuellen Kameras 120 eingestellt sind (siehe 6A), eine Fehlanpassungsbreite W1 des Doppelbildes in 6B halb so groß wie die Fehlanpassungsbreite WO des Doppelbildes gemäß 6A (W1 = 0,5 × W0).
• Darüber hinaus zeigt 6C eine Fallzeichnung der Konfiguration von 6B, jedoch mit weiteren virtuellen Kameras 120, die zwischen der L-Kamera 102, der R-Kamera 104 und der virtuellen Kamera 120 eingestellt sind. Der Einfachheit halber sind drei der virtuellen Kameras 120 zwischen der L-Kamera 102 und der R-Kamera 104 eingestellt. Auch in 6C wird ein Doppelbild erzeugt.
• Aufgrund eines Einstellens von drei der virtuellen Kameras 120 ist jedoch im Vergleich zu der Konfiguration, in der keine virtuellen Kameras 120 eingestellt sind (siehe 6A), eine Fehlanpassungsbreite W2 des Doppelbildes gemäß 6C ein Viertel der Fehlanpassungsbreite WO des Doppelbildes gemäß 6A (W2 = 0,5 × (0,5 × W0) = 0,25 × W0).
• Die Fehlanpassungsbreite der Doppelbilder wird nämlich (proportional) kleiner, je kürzer der Abstand (Entfernung) zwischen der L-Kamera 102 und der R-Kamera 104 wird. Es ist zu beachten, dass ein Einstellen der benötigten Anzahl der virtuellen Kameras 120 eine Verringerung eines Unterschieds entsprechend der Anzahl der eingestellten virtuellen Kameras 120 ermöglicht, und somit ein Eliminieren von Doppelbildern ermöglicht.
• Es ist zu beachten, dass selbst ein Einstellen einer einzelnen virtuellen Kamera 120 eine Wirkung aufweist (nämlich ein Halbieren der Fehlanpassungsbreite des Doppelbildes) und die maximal einstellbaren virtuellen Kameras 120 abhängig von der Breite der Überlappungsbilder sind. Die Anzahl der eingestellten virtuellen Kameras 120 kann entsprechend den Präzisionsanforderungen eingestellt sein, die dem Zweck der aufgenommenen Bilder entsprechen usw.
• Es ist zu beachten, dass bei dem ersten exemplarischen Ausführungsbeispiel das durch die L-Kamera 102 aufgenommene Bild und das durch die R-Kamera 104 aufgenommene Bild bei einer Erzeugung von Bildern von den Blickpunkten der virtuellen Kameras 120 gemeinsam angewendet werden. Durch gemeinsames Anwenden der Bilder werden der blinde Fleck der L-Kamera 102 und der blinde Fleck der R-Kamera 104 jeweils durch das Bild von der anderen Kamera gemäß 7 ergänzt, wodurch ermöglicht wird, dass die blinden Flecken der virtuellen Kameras 120 eliminiert werden.
• Abwandlungsbeispiel
• 8 zeigt eine schematische Konfigurationsdarstellung, die eine Bildverarbeitungsvorrichtung 100 gemäß einem Abwandlungsbeispiel des ersten exemplarischen Ausführungsbeispiels veranschaulicht. Konfigurationsabschnitte, die mit der Bildverarbeitungsvorrichtung 100 des ersten exemplarischen Ausführungsbeispiels (siehe 3) übereinstimmen, sind mit denselben Bezugszeichen bezeichnet, und eine Erklärung von solchen Konfigurationen ist weggelassen.
• Bei dem ersten exemplarischen Ausführungsbeispiel wird ein Unterschied aufgrund einer Parallaxe auf der Grundlage der Blickpunktpositionsanweisungsinformationen von der Blickpunktpositionsanweisungssektion 122 erfasst.
• In dem Abwandlungsbeispiel ist jedoch eine Entfernungsbilderzeugungssektion 144 als eine Vorrichtung zum Bereitstellen von Informationen bereitgestellt, die in einer Unterschiedserfassung verwendet werden.
• Ein Radar mit sichtbarem Licht, ein Infrarotradar, eine Lichterfassung und Entfernungsmessung (so genannte „light detection and ranging“, LIDAR), ein projektionsbasiertes Triangulationsverfahren, ein Flugzeitverfahren oder dergleichen können in der Entfernungsbilderzeugungssektion 144 angewendet werden.
• Die Entfernungsbilderzeugungssektion 144 erzeugt eine Tiefenkarte (z (x, y)) und sendet die Tiefenkarte an die Unterschiedserfassungssektion 128 der Blickpunktinterpolationsbilderzeugungssektion 118.
• Die Unterschiedserfassungssektion 128 ist dazu in der Lage, eine Unterschiedskarte d ohne Durchführung der komplexen Berechnung zu erfassen, die mit Gleichung (1) und Gleichung (2) einhergeht.
• Zweites exemplarisches Ausführungsbeispiel
• Nachstehend folgt eine Erklärung hinsichtlich eines zweiten exemplarischen Ausführungsbeispiels der vorliegenden Offenbarung.
• 9A zeigt eine Draufsicht, die ein Fahrzeug 10 gemäß dem folgenden exemplarischen Ausführungsbeispiel veranschaulicht, und 9B zeigt eine Seitenansicht, die das Fahrzeug 10 veranschaulicht.
• Gemäß 9A ist ein rechter Kameraadapter 12 an einer rechten Seitenfläche des Fahrzeugs 10 hinsichtlich einer Richtung einer Vorwärtsfahrt angebracht. An dem rechten Kameraadapter 12 ist ein RH-Kamerakopf 14 mit einer optischen Achse angebracht, die in Richtung des rechten Hecks des Fahrzeugs 10 verläuft. Der RH-Kamerakopf 14 nimmt ein Gebiet AR auf, das durch Strichpunktlinien R in 9A eingeschlossen ist.
• Zudem steht, wie in 9A gezeigt ist, ein linker Kameraadapter 16 aus einer linken Seitenfläche des Fahrzeugs 10 hinsichtlich der Richtung einer Vorwärtsfahrt heraus. An dem linken Kameraadapter 16 ist ein LH-Kamerakopf 18 mit einer optischen Achse angebracht, die in Richtung des linken Hecks des Fahrzeugs 10 verläuft. Der LH-Kamerakopf 18 nimmt ein Gebiet AL auf, das durch Strichpunktlinien L in 9A eingeschlossen ist.
• Zudem ist ein RR-Kamerakopf 20 an einem Mittelabschnitt in einer Fahrzeugbreitenrichtung eines hinteren Abschnitts des Fahrzeugs 10 mit einer optischen Achse angebracht, die von dem Fahrzeug 10 aus rückwärtig verläuft (die optische Achse ist im Wesentlichen parallel zu einer Straßenoberfläche). Der RR-Kamerakopf 20 nimmt ein Gebiet AC auf, das durch Strichpunktlinien C gemäß 9A eingeschlossen ist.
• Das Gebiet AR und das Gebiet AC sind teilweise einander überlagert, so dass sich aufgenommene Bilder von diesen teilweise überlappen. Das Gebiet AL und das Gebiet AC sind auch teilweise einander überlagert, so dass sich aufgenommene Bilder von diesen teilweise überlappen.
• Gemäß 10 ist eine dedizierte Rückfahrkamera 22 auch an dem hinteren Abschnitt des Fahrzeugs 10 getrennt von dem RR-Kamerakopf 20 angebracht. Die dedizierte Rückfahrkamera 22 ist dazu eingerichtet, ein Gebiet AB aufzunehmen, das durch gepunktete Linien B eingeschlossen ist, wobei die aufgenommenen Bilder auf einem Informationsanzeigemonitor 24 (siehe 10) in der Fahrzeugkabine angezeigt werden, falls das Fahrzeug 10 rückwärtsfährt. Eine optische Achse ist derart eingestellt, dass das Gebiet AB einen hinteren Endabschnitt des Fahrzeugs 10 (beispielsweise einen hinteren Stoßfänger) umfasst, und im Vergleich zu der optischen Achse des RR-Kamerakopfes 20 nach unten gerichtet ist.
• Der RH-Kamerakopf 14, der LH-Kamerakopf 18 und der RR-Kamerakopf 20 gemäß der vorstehenden Beschreibung werden angewendet, um einen Fahrer während einer normalen Fahrt des Fahrzeugs 10 zu unterstützen (vorwärtsfahrend, rückwärtsfahrend oder im Stillstand) und weisen daher einen von der dedizierten Rückfahrkamera 22 verschiedenen Zweck auf, die angewendet wird, um den Fahrer speziell zu unterstützen, falls das Fahrzeug 10 rückwärtsfährt.
• 10 zeigt eine schematische Ansicht des Inneren der Kabine des Fahrzeugs 10 bei Sicht von einer Mitte eines Rücksitzes in Richtung der Vordersitze.
• Der rechte Kameraadapter 12 gemäß der vorstehenden Beschreibung ist vor einem rechten Seitenfenster 26 des Fahrzeugs 10 positioniert, und der RH-Kamerakopf 14 ist an dem rechten Kameraadapter 12 angebracht.
• Ein RH-Monitor 32 ist an einem unteren Abschnitt einer rechtsseitigen A-Säule 30 angebracht, die zwischen dem rechten Seitenfenster 26 und einem vorderen Fenster 28 positioniert ist. Der RH-Monitor 32 ist dazu eingerichtet, ein Bild des Gebietes AR (siehe 9A) wie durch den RH-Kamerakopf 14 aufgenommen nach hinten-rechts des Fahrzeugs in einem spiegelbildinvertierten Zustand anzuzeigen. Der RH-Kamerakopf 14 und der RH-Monitor 32 weisen nämlich eine Rolle auf, die der eines optischen rechten Seitentürspiegels äquivalent ist.
• Der linke Kameraadapter 16 gemäß der vorstehenden Beschreibung ist vor einem linken Seitenfenster 34 des Fahrzeugs 10 positioniert, und der LH-Kamerakopf 18 ist an dem linken Kameraadapter 16 angebracht.
• Ein LH-Monitor 38 ist an einem unteren Abschnitt einer linksseitigen A-Säule 36 angebracht, die zwischen dem linken Seitenfenster 34 und dem vorderen Fenster 28 positioniert ist. Der LH-Monitor 38 ist dazu eingerichtet, ein Bild des Gebietes AL (siehe 9A) wie durch den LH-Kamerakopf 18 aufgenommen nach hintenlinks des Fahrzeugs in einem spiegelbildinvertierten Zustand anzuzeigen. Der LH-Kamerakopf 18 und der LH-Monitor 38 weisen nämlich eine Rolle auf, die der eines optischen linken Seitentürspiegels äquivalent ist.
• Der Informationsanzeigemonitor 24 ist an einem oberen Abschnitt einer Mittelkonsole 40 in der Fahrzeugkabine angebracht. Der Informationsanzeigemonitor 24 zeigt ein durch die dedizierte Rückfahrkamera 22 aufgenommenes Bild an, falls ein Schalthebel 42 des (in den Zeichnungen nicht gezeigten) Getriebes des Fahrzeugs 10 in einem Rückwärtsgang platziert wurde (R-Bereich).
• Der Informationsanzeigemonitor 24 wird als ein Multifunktionsmonitor angewendet und zusätzlich zu einem Anzeigen des Fahrzeugrückbildes gemäß der vorstehenden Beschreibung ist der Informationsanzeigemonitor 24 beispielsweise mit einem nicht gezeigten Navigationssystem und einem Audiosystem koordiniert, um einen Navigationsschirm (einen Schirm mit Navigationsinformationen und dergleichen) oder einen Audioschirm anzuzeigen (einen Schirm mit Informationen hinsichtlich einer Musik und dergleichen), falls ein Umschaltvorgang durchgeführt wurde. Beispielsweise werden ein Kartenbild und ein Bild des Reiseortes des Fahrzeugs auf dem Kartenbild auf dem Navigationsschirm auf der Grundlage von Positionsinformationen angezeigt, die unter Verwendung einer in dem Fahrzeug 10 angebrachten GPS-Funktion beschafft sind. Es ist zu beachten, dass in Fällen, in denen der Informationsanzeigemonitor 24 durch einen Berührschirm eingerichtet ist, der Informationsanzeigemonitor 24 auch als eine Eingabevorrichtung wirken kann.
• Es ist zu beachten, dass ein interner Rückspiegel 44 an einem oberen Mittelabschnitt des vorderen Fensters 28 (oder einem Himmel) des Fahrzeugs 10 des vorliegenden exemplarischen Ausführungsbeispiels angebracht ist.
• Der interne Rückspiegel 44 weist sowohl eine Spiegelfunktion, in der er sich als ein optischer Spiegel verhält, als auch eine Monitorfunktion zur Anzeige von Bildern auf (entsprechend dem Monitor 106 des ersten exemplarischen Ausführungsbeispiels (siehe 1)).
• Die Spiegelfunktion ermöglicht es einem Fahrer oder dergleichen, die Situation hinter dem Fahrzeug innerhalb des Bereiches in seinem Sichtfeld zu überprüfen (indem er seinen Blick bewegt), während er fährt.
• Die Monitorfunktion ermöglicht eine Anzeige eines Kompositbildes, das aus Bildern eingerichtet ist, die durch den RH-Kamerakopf 14, den LH-Kamerakopf 18 und den RR-Kamerakopf 20 aufgenommen sind.
• Gemäß 9 nehmen der RH-Kamerakopf 14, der LH-Kamerakopf 18 und der RR-Kamerakopf 20, die an dem Fahrzeug 10 angebracht sind, einen Überlappungsabschnitt zwischen dem Gebiet AR und dem Gebiet AC (einem ersten Überlappungsabschnitt 50A) und einen Überlappungsabschnitt zwischen dem Gebiet AL und dem Gebiet AC (einem zweiten Überlappungsabschnitt 50B) auf. Mit anderen Worten, es können zwei der Überlappungsabschnitte vorhanden sein, in denen die virtuellen Kameras 120 der vorliegenden Offenbarung eingestellt sein können.
• Falls dies in Bezug auf die L-Kamera 102 und die R-Kamera 104 (siehe 2) des ersten exemplarischen Ausführungsbeispiels beschrieben wird, entspricht für den ersten Überlappungsabschnitt 50A der LH-Kamerakopf 18 der L-Kamera 102 und der RR-Kamerakopf 20 entspricht der R-Kamera 104.
• Für den zweiten Überlappungsabschnitt 50B entspricht darüber hinaus der RR-Kamerakopf 20 der L-Kamera 102, und der RH-Kamerakopf 14 entspricht der R-Kamera 104.
• In dem zweiten exemplarischen Ausführungsbeispiel sind in jedem der zwei Überlappungsabschnitte (dem ersten Überlappungsabschnitt 50A und dem zweiten Überlappungsabschnitt 50B) gemäß 11A virtuelle Kameras 120 eingestellt.
• In dem zweiten exemplarischen Ausführungsbeispiel wird die Bildverarbeitungsvorrichtung 100 (siehe 3), die in dem ersten exemplarischen Ausführungsbeispiel beschrieben ist, jeweils für den ersten Überlappungsabschnitt 50A und den zweiten Überlappungsabschnitt 50B angewendet, um einen Unterschied aufgrund einer Parallaxe zu erfassen, den erfassten Unterschied einzustellen, die Bilder von den realen Kameras umzuwandeln, die Bilder an den jeweiligen Überlappungsabschnitten zu überlagern (dem ersten Überlappungsabschnitt 50A und dem zweiten Überlappungsabschnitt 50B) und die Interpolationsbilder zu erzeugen. Dies ermöglicht es, die Erzeugung eines Doppelbildes des Abbildungsgegenstands 142 auf dem virtuellen Schirm 114 gemäß 11B zu eliminieren (verringern).
• Tabelle 1 verdeutlicht zur Verdeutlichung die Entsprechungsbeziehungen zwischen den realen Kameras (L-Kamera 102, R-Kamera 104), die zum Erzeugen der Interpolationsbilder mit den virtuellen Kameras 120 in dem Überlappungsabschnitt 112 des ersten exemplarischen Ausführungsbeispiels angewendet werden, und den realen Kameras (RH-Kamerakopf 14, LH-Kamerakopf 18, RR-Kamerakopf 20), die zum Erzeugen der Interpolationsbilder mit den virtuellen Kameras 120 in den jeweiligen Überlappungsabschnitten (dem ersten Überlappungsabschnitt 50A und dem zweiten Überlappungsabschnitt 50B) des zweiten exemplarischen Ausführungsbeispiels verwendet werden. Tabelle 1

  ENTSPRECHUNGSTABELLE ZWISCHEN EXEMPLARISCHEN AUSFÜHRUNGSBEISPIELEN
  ERSTES EXEMPLARISCHES AUSFÜHRUNGSBEISPIEL	ZWEITES EXEMPLARISCHES AUSFÜHRUNGSBEISPIEL
  ÜBERLAPPUNGSABSCHNITT 112	ERSTER ÜBERLAPPUNGSABSCHNITT 50A	ZWEITER ÜBERLAPPUNGSABSCHNITT 50B
  L-KAMERA 102	LH-KAMERAKOPF 18	RR-KAMERAKOPF 20
  R-KAMERA 104	RR-KAMERAKOPF 20	RH-KAMERAKOPF 14

• Es ist zu beachten, dass, obwohl die realen Kameras in dem zweiten exemplarischen Ausführungsbeispiel durch den RH-Kamerakopf 14, den LH-Kamerakopf 18 und den RR-Kamerakopf 20 eingerichtet sind, es keine Begrenzung auf die Anzahl und die Anbringungsorte der realen Kameras gibt. Beispielsweise kann der RR-Kamerakopf 20 als ein Paar von RR-Kameras bereitgestellt sein, die zwischen der linken und der rechten Seite anstelle an der Mitte des Fahrzeugs 10 verteilt sind (so dass insgesamt vier reale Kameras und drei Überlappungsabschnitte vorhanden sind).
• Obwohl von dem Fahrzeug 10 rückwärtige Bilder aufgenommen und auf dem internen Rückspiegel 44 angezeigt werden, um ein Fahren bei dem zweiten exemplarischen Ausführungsbeispiel zu unterstützen, kann die Bildverarbeitungsvorrichtung der vorliegenden Offenbarung auch für Überwachungskameras oder dergleichen angewendet werden.
• In dem Fall, dass beispielsweise eine Überwachung durch Aufnehmen eines gegebenen Gebietes in getrennten Segmenten unter Verwendung von mehreren Überwachungskameras durchgeführt wird, werden mehrere Videos von den jeweiligen Überwachungskameras auf einem Monitor angezeigt (oder wahlweise eine Anzeige in regelmäßigen Abständen aktualisiert wird), so dass ein Beobachter seinen Blick nacheinander zwischen den jeweiligen Bildern einstellen muss. Die Bereitstellung von Überlappungsabschnitten in den Bildaufnahmegebieten der mehreren Überwachungskameras und ein Zusammenführen der Bilder unter Verwendung der Bildverarbeitungsvorrichtung der vorliegenden Offenbarung ermöglicht jedoch, ein einzelnes Bild mit einem breiten Sichtfeld zu erzeugen, ohne das Auftreten von Doppelbildern oder ohne Abbildungsgegenstände aus den Augen zu verlieren, wodurch ermöglicht wird, eine Bewegung des Blickpunktes des Beobachters auf einem Minimum zu halten.
• Die nachstehenden Ergänzungen sind in Bezug auf das exemplarische Ausführungsbeispiel ebenso offenbart.
• Ergänzung 1
• Eine Bildverarbeitungsvorrichtung, die eine Vielzahl von Bildern zusammenführt, um ein Bild mit einem breiten Sichtfeld zu erzeugen, wobei die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, in dem Bildaufnahmegebiete miteinander übereinstimmen, wobei die Bildverarbeitungsvorrichtung umfasst:
• eine Beschaffungssektion, die Bilder beschafft, die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind;
• eine Virtuellblickpunkteinstellsektion, die zumindest einen virtuellen Blickpunkt einstellt, der dem Überlappungsabschnitt entspricht;
• eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolieren der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt; und
• eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt.
• Ergänzung 2
• Eine Bildverarbeitungsvorrichtung, die umfasst:
• eine Beschaffungssektion, die Bilder beschafft, die dazu in der Lage sind, ein Sichtfeld eines Fahrers eines Fahrzeugs zu ergänzen, wobei die Bilder als getrennte Segmente durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, an dem Bildaufnahmegebiete miteinander übereinstimmen;
• eine Virtuellblickpunkteinstellsektion, die zumindest einen virtuellen Blickpunkt einstellt, der dem Überlappungsabschnitt entspricht;
• eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolieren der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt;
• eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt; und
• eine Ausgabesektion, die ein durch die Zusammenfügungssektion zusammengefügtes Bild an eine Ausgabevorrichtung ausgibt.
• Ergänzung 3
• Die Bildverarbeitungsvorrichtung von entweder Ergänzung 1 oder Ergänzung 2, wobei in dem Interpolationsbild der virtuelle Blickpunkt näher zu einer der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin liegt, die mit einem Bild zusammengefügt ist, das durch die eine der Bildaufnahmevorrichtungen aufgenommen ist, und der virtuelle Blickpunkt näher zu einer anderen der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin liegt, die mit einem Bild zusammengefügt ist, das durch die andere der Bildaufnahmevorrichtungen aufgenommen ist.
• Ergänzung 4
• Die Bildverarbeitungsvorrichtung nach einer von Ergänzung 1 bis Ergänzung 3, wobei eine Anzahl von eingestellten virtuellen Blickpunkten dieselbe wie eine Anzahl von Bildelementen ist, die von einer Breitenabmessung des Interpolationsbildes abhängig sind.
• Ergänzung 5
• Die Bildverarbeitungsvorrichtung nach einer von Ergänzung 1 bis Ergänzung 4, wobei der virtuelle Blickpunkt sich an einem internen Teilungspunkt zwischen jeweiligen Blickpunktpositionen der Vielzahl von Bildaufnahmevorrichtungen befindet, die den Überlappungsabschnitt aufnehmen.
• Ergänzung 6
• Die Bildverarbeitungsvorrichtung nach einer von Ergänzung 1 bis Ergänzung 5, wobei die Interpolationsbilderzeugungssektion einen Unterschied aufgrund einer Parallaxe zwischen Bildern erfasst, und ein Bild umwandelt, für das der Unterschied erfasst wurde, um eine Unterschiedseinstellung für den virtuellen Blickpunkt auszuführen.
• Ergänzung 7
• Die Bildverarbeitungsvorrichtung nach einer von Ergänzung 1 bis Ergänzung 6, ferner mit einer Entfernungsbilderfassungssektion, die in dem Überlappungsabschnitt eine Entfernung zu einem Abbildungsgegenstand erfasst.
• Ergänzung 8
• Bildverarbeitungsprogramm, das einen Computer dazu veranlasst, als die Bildverarbeitungsvorrichtung nach einer von Ergänzung 1 bis Ergänzung 6 zu arbeiten.
• Die Offenbarung der am 17. Oktober 2019 eingereichten Druckschrift JP 2019 - 100 453 A wird hiermit vollinhaltlich durch Inbezugnahme hierin einbezogen.
• Alle zitierten Dokumente, Patentanmeldungen und technischen Standards, die in der vorliegenden Spezifikation erwähnt sind, werden durch Inbezugnahme in die vorliegende Spezifikation in demselben Ausmaß einbezogen, wie wenn jedes einzelne zitierte Dokument, jede einzelne Patentanmeldung oder jeder einzelne technische Standard ausdrücklich und einzeln durch Inbezugnahme einbezogen wäre.
• Eine Bildverarbeitungsvorrichtung, die eine Vielzahl von Bildern zusammenführt, um ein Bild mit einem breiten Sichtfeld zu erzeugen, wobei die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, in dem Bildaufnahmegebiete miteinander übereinstimmen. Die Bildverarbeitungsvorrichtung umfasst eine Beschaffungssektion, die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommene Bilder beschafft, eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt, eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolation der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt, und eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt.
• Bezugszeichenliste
• Erstes exemplarisches Ausführungsbeispiel

100

Bildverarbeitungsvorrichtung

102

L-Kamera (Bildaufnahmevorrichtung)

104

R-Kamera (Bildaufnahmevorrichtung)

106

Monitor

108

Anzeigeansteuereinrichtung

110

Anzeigeschirm

112

Überlappungsabschnitt

114

Virtueller Schirm

116

Gebiet eines blinden Flecks

118

Blickpunktinterpolationsbilderzeugungssektion

120

Virtuelle Kameras

122

Blickpunktpositionsanweisungssektion

124

Bildzusammenfügungssektion (Zusammenfügungssektion)

126

Ausgabesektion

128

Unterschiedserfassungssektion (Beschaffungssektion, Virtuellblickpunkteinstellsektion)

130, 132

Unterschiedseinstellsektion

134, 138

Bildumwandlungssektion

136

Bildvermischungssektion (Interpolationsbilderzeugungssektion)

140

Interpolationsbildspeichersektion

142

Abbildungsgegenstand

144

Entfernungsbilderzeugungssektion

• Zweites exemplarisches Ausführungsbeispiel

10

Fahrzeug

12

Rechter Kameraadapter

14

RH-Kamerakopf (Bildaufnahmevorrichtung)

16

Linker Kameraadapter

18

LH-Kamerakopf (Bildaufnahmevorrichtung)

20

RR-Kamerakopf (Bildaufnahmevorrichtung)

22

Dedizierte Rückfahrkamera

24

Informationsanzeigemonitor

26

Rechtes Seitenfenster

28

Vorderes Fenster

30

Rechtsseitige A-Säule

32

RH-Monitor

34

Linkes Seitenfenster

36

Linksseitige A-Säule

38

LH-Monitor

40

Mittlere Konsole

42

Schalthebel

44

Interner Rückspiegel

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2012244527 A [0005, 0006, 0009]
• JP 2013118508 A [0007, 0010]
• JP 2019100453 A [0134]

Claims (8)

1. Bildverarbeitungsvorrichtung, die eine Vielzahl von Bildern zusammenführt, um ein Bild mit einem breiten Sichtfeld zu erzeugen, wobei die Vielzahl von Bildern durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, in dem Bildaufnahmegebiete miteinander übereinstimmen, wobei die Bildverarbeitungsvorrichtung umfasst: eine Beschaffungssektion, die durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommene Bilder beschafft; eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt; eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolation der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt; und eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt.
2. Bildverarbeitungsvorrichtung, die umfasst: eine Beschaffungssektion, die Bilder beschafft, die dazu in der Lage sind, ein Sichtfeld eines Fahrers eines Fahrzeugs zu ergänzen, wobei die Bilder als getrennte Segmente durch eine Vielzahl von Bildaufnahmevorrichtungen aufgenommen sind, um einen Überlappungsabschnitt auszubilden, an dem Bildaufnahmegebiete miteinander übereinstimmen; eine Virtuellblickpunkteinstellsektion, die zumindest einen dem Überlappungsabschnitt entsprechenden virtuellen Blickpunkt einstellt; eine Interpolationsbilderzeugungssektion, die ein Bild aus der Perspektive des durch die Virtuellblickpunkteinstellsektion eingestellten virtuellen Blickpunkts durch Interpolation der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder erzeugt; eine Zusammenfügungssektion, die ein durch die Interpolationsbilderzeugungssektion erzeugtes Interpolationsbild und andere Abschnitte als den Überlappungsabschnitt der durch die Vielzahl von Bildaufnahmevorrichtungen aufgenommenen Bilder zusammenfügt; und eine Ausgabesektion, die ein durch die Zusammenfügungssektion zusammengefügtes Bild an eine Ausgabevorrichtung ausgibt.
3. Bildverarbeitungsvorrichtung nach Anspruch 1 oder Anspruch 2, wobei der virtuelle Blickpunkt in dem Interpolationsbild näher zu einer der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin liegt, die mit einem Bild zusammengefügt ist, das durch die eine der Bildaufnahmevorrichtungen aufgenommen ist, und der virtuelle Blickpunkt näher zu einer anderen der Bildaufnahmevorrichtungen bei Bewegung zu einer Seite hin liegt, die mit einem Bild zusammengefügt ist, das durch die andere der Bildaufnahmevorrichtungen aufgenommen ist.
4. Bildverarbeitungsvorrichtung nach einem von Anspruch 1 bis Anspruch 3, wobei eine Anzahl von eingestellten virtuellen Blickpunkten dieselbe wie eine Anzahl von Bildelementen ist, die von einer Breitenabmessung des Interpolationsbildes abhängig sind.
5. Bildverarbeitungsvorrichtung nach einem von Anspruch 1 bis Anspruch 4, wobei der virtuelle Blickpunkt sich an einem internen Teilungspunkt zwischen jeweiligen Blickpunktpositionen der Vielzahl von Bildaufnahmevorrichtungen befindet, die den Überlappungsabschnitt aufnehmen.
6. Bildverarbeitungsvorrichtung nach einem von Anspruch 1 bis Anspruch 5, wobei die Interpolationsbilderzeugungssektion einen Unterschied aufgrund einer Parallaxe zwischen Bildern erfasst, und ein Bild umwandelt, für das der Unterschied erfasst wurde, um eine Unterschiedseinstellung für den virtuellen Blickpunkt auszuführen.
7. Bildverarbeitungsvorrichtung nach einem von Anspruch 1 bis Anspruch 6, ferner mit einer Entfernungsbilderfassungssektion, die in dem Überlappungsabschnitt eine Entfernung zu einem Abbildungsgegenstand erfasst.
8. Bildverarbeitungsprogramm, das einen Computer dazu veranlasst, als die Bildverarbeitungsvorrichtung nach einem von Anspruch 1 bis Anspruch 6 zu arbeiten.

Images