DE112011105371T5

DE112011105371T5 - Vorrichtung zum Synthetisieren von dreidimensionalen Bildern zum Visualisieren der Fahrzeugumgebung und zugehöriges Verfahren

Info

Publication number: DE112011105371T5
Application number: DE112011105371.1T
Authority: DE
Inventors: Jun-Seok Lee; Byung-Chan Jeon; Gyu-Ro Park; Sang-Jin Ryu; Byeong-Moon Song
Original assignee: Vadas Ltd
Current assignee: Vadas Ltd
Priority date: 2011-06-21
Filing date: 2011-06-23
Publication date: 2014-03-13
Also published as: KR20120140515A; US9451236B2; WO2012176945A1; KR101265667B1; US20140125774A1; JP5739584B2; JP2014520337A

Abstract

Die vorliegende Erfindung betrifft die dreidimensionale Visualisierung von ein Fahrzeug umgebenden Bildern, und sie weist die folgenden Schritte auf: Es wird einer Vielzahl von Weitwinkel-Kameras, die an einem Fahrzeug vorgesehen sind, ermöglicht, eine Vielzahl von aufgenommenen Bildern für Referenzmuster zu empfangen, die auf dem Boden ausgebildet sind; Extrahieren von Merkmalspunkten von den aufgenommenen Referenzmustern und Schätzen eines relativen Standorts und eines Einbauwinkels von jeder Kamera unter Verwendung der extrahierten Merkmalspunkte; Ermitteln von optischen Parametern, die ein optisches Zentrum einer Linse aufweisen, zum Korrigieren einer Linsenverzerrung unter Verwendung der aufgenommenen Bilder, und Abbilden von jedem der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums; Verändern eines Winkels und einer Entfernung, so dass die Gaußsche Kugel und die wirklichen Referenzmuster miteinander übereinstimmen, und zwar unter Verwendung des relativen Standorts und des Einbauwinkels der geschätzten Kamera, und Anordnen der Bilder in einem dreidimensionalen virtuellen Raum; und Ermitteln eines einzelnen dreidimensionalen Bildes, indem jedes der in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche des dreidimensionalen Raums abgebildet werden, der einer einzelnen großen Kugel entspricht.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein mehrkanaliges bildbasiertes Fahrer-Assistenzsystem. Sie betrifft insbesondere eine Vorrichtung und ein Verfahren zum Synthetisieren von dreidimensionalen Bildern zum Zwecke des Visualisierens der Umgebung eines Fahrzeugs, welche die Bilder der Fahrzeugumgebung unter Verwendung einer Vielzahl von Kameras visualisieren, und zwar in Form eines dreidimensionalen (3D-)Bildes, so dass sie in der Lage sind, die Wirklichkeit zu verbessern.
Stand der Technik
Als ein Verfahren zum Visualisieren der Fahrzeugumgebung, das zu den herkömmlichen bekannten Vorrichtungen gehört, ist ein Draufsicht-System bekannt, das auf der Mehrkanal-Bildsynthese basiert. Dieses wird verwendet, um Bilder der Fahrzeugumgebung zu synthetisieren, welche blinde Zonen darstellen, die sich außerhalb des Bildfelds eines Fahrers befinden.
Die Draufsicht-Ausgabevorrichtung gibt eine Vielzahl von Bildern aus, die mittels Kameras erhalten werden, welche vor und hinter einem Fahrzeug und links und rechts von dem Fahrzeug angebracht sind, und zwar in der Form eines einzelnen durchgehenden Bildes. Das bedeutet Folgendes: Sie erzeugt ein ebenes 2D-Bild in der Form einer Draufsicht, bei welchem es scheint, als werde es vom oberen Ende des Fahrzeugs aus gesehen.
Wenn eine Draufsicht-Ausgabevorrichtung, die eine Vielzahl von Kameras verwendet, auf ein Bild aus der Vogelperspektive angewendet wird, so sollte beim Aufbau darauf geachtet werden, dass die Kameras hauptsächlich Fischaugen-Linsen verwenden, die ein Bildfeld von ungefähr 180° haben. Folglich sind gemeinsame Bereiche zwischen benachbarten Kameras gewährleistet.
Herkömmliche Draufsicht-Ausgabevorrichtungen modellieren Informationen über die Bodenebene um ein Fahrzeug herum, indem sie Algorithmen kombinieren. Zu diesen gehören Linsenverzerrungs-Korrektur, Musterextraktion und die Umwandlung eines Blickpunkts mittels Homographie. Dies erfolgt, nachdem Bilder von den Kameras erhalten worden sind, und zwar in einem Toleranz-Korrekturvorgang. Diese Draufsicht-Ausgabevorrichtungen sind Systeme, welche intuitiv Informationen um ein Fahrzeug herum visualisieren und kontinuierlich Informationen – wie beispielsweise Parkstreifen – über die Bodenebene um das Fahrzeug herum darstellen, und zwar über einen omnidirektionalen Bereich von 360° um das Fahrzeug herum.
Die Draufsicht-Ausgabevorrichtungen weisen jedoch bezogen auf ihre Wirklichkeitstreue einige Einschränkungen auf. Zunächst können die Draufsicht-Ausgabevorrichtungen die Kontinuität eines Objekts auf dem Boden außer einer Bodenebene nicht garantieren, da sie die Kontinuität eines Bodenebenen-Objekts nicht in Betracht ziehen. Wenn Bilder synthetisiert werden, wird außerdem die Verzerrung eines Objekts auf dem Boden merklich verstärkt, da die Draufsicht-Ausgabevorrichtung davon ausgeht, dass das Objekt auf dem Boden ein Bodenebenen-Objekt ist.
Im Ergebnis scheint ein synthetisches Bild, das von der Draufsicht-Ausgabevorrichtung angezeigt wird, ein ebenes Bild zu sein, welches sich von einem realen Bild der Umgebung des Fahrzeugs ein Stück weit unterscheidet. Folglich weisen die Draufsicht-Ausgabevorrichtungen ein niedriges Sichtvermögen in Bezug auf ein Objekt auf dem Boden auf.
Zweitens stellen die meisten der momentan entwickelten Draufsicht-Ausgabevorrichtungen einen interessierenden Bereich mit einer bestimmten Grenze dar, die um ein Fahrzeug herum gewählt ist. Die momentan entwickelten Draufsicht-Ausgabevorrichtungen stellen grundsätzlich nur einen benachbarten Bereich um ein Fahrzeug herum dar, der schmaler ist als ein Bereich, dessen Grenze 2 m von der Vorderseite, der Rückseite, der linken Seite und der rechten Seite entfernt ist. Falls sie einen Bereich darstellen, der breiter ist als der Bereich, dessen Grenze mehr als 2 m von dem Fahrzeug entfernt ist, dann ist die Verschlechterung der Bildqualität gravierend und die Verzerrung ist groß.
Folglich ist es schwierig, diese in praktischen Anwendungen einzusetzen. Insbesondere tritt das Problem der Verschlechterung der Bildqualität auf, da Informationen über einen entfernten Bereich in Eingabebildern besonders unzureichend ist, und zwar im Vergleich zu denjenigen eines entfernten ebenen Bildes, dessen Darstellung gewünscht ist.
Ferner gilt Folgendes: Falls es um das Rückwärtseinparken geht, wird in Erwägung gezogen, dass eine Reihe von Einparkschritten, die von einem Fahrer durchgeführt werden, die Bestimmung der Anhalte- und Bewegungszustände von Objekten um das Fahrzeug herum und die relativen Abstände zu den Objekten verwenden. Das sichtbare Gebiet, das von den Draufsicht-Ausgabevorrichtungen unterstützt wird, kann als zu schmal angesehen werden, um die oben beschriebenen Elemente zu detektieren oder zu bestimmen. Folglich haben diese Draufsicht-Ausgabevorrichtungen schmale sichtbare Gebiete.
Drittens kann die Verzerrung eines Objekts auf dem Boden – außer einer Ebene – auf einfache Weise in einem synthetischen Bild gefunden werden, da die Draufsicht-Ausgabevorrichtungen die Informationen über die Fahrzeugumgebung eben machen. Dieses Phänomen, das von der Verzerrung in einem Algorithmus herrührt, ist unumgänglich bezüglich der Charakteristiken seines Prinzips. Insbesondere kann das Phänomen der Verzerrung eines Objekts auf dem Boden zu einem kritischen Problem werden, wenn ein Fahrer ein synthetisches Bild betrachtet, das mit einer solchen Ausgabevorrichtung angezeigt wird.
Falls beispielsweise die Syntheseeinrichtung ein verzerrtes Bild eines Kleinkinds in der Nähe des Fahrzeugs ausgibt und der Fahrer das Kleinkind nicht erkennt und er das Fahrzeug steuert, ohne Maßnahmen zu ergreifen, können sich schwerwiegende Auswirkungen ergeben. Folglich führen die Draufsicht-Ausgabevorrichtungen nicht praktikable Visualisierungen über ein breites Gebiet durch.
Offenbarung
Technisches Problem
Es ist Aufgabe der vorliegenden Erfindung, unter den Fahrzeug-Assistenzsystemen eine Vorrichtung und ein Verfahren zum Synthetisieren von dreidimensionalen Bildern zum Zwecke der Visualisierung der Fahrzeugumgebung anzugeben, welche die Toleranz der Kameras kompensieren und ein dreidimensionales Bild synthetisieren, um Bilder der Fahrzeugumgebung zu visualisieren, die unter Verwendung einer Vielzahl von Kameras aufgenommen worden sind, und zwar in Form eines dreidimensionalen Bildes.
Es ist ein weiteres Ziel der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Synthetisieren von dreidimensionalen Bildern zum Zwecke der Visualisierung der Fahrzeugumgebung anzugeben, welche alle Objekte in der Bodenebene und in Nicht-Bodenebenen unter Verwendung einer Vielzahl von Kameras synthetisieren, so dass ein visualisiertes Bild der Informationen über die Fahrzeugumgebung realisiert wird, so dass das visualisierte Bild eine Realität aufweist, die ähnlich zu der wirklichen ist.
Die Ziele, welche die vorliegende Erfindung erreichen sollen, sind nicht auf die oben beschriebenen beschränkt.
Technische Lösung
Um die obigen Aufgaben zu lösen, gibt die vorliegende Erfindung eine Vorrichtung zum Synthetisieren dreidimensionaler (3D-)Bilder an, die Folgendes aufweist: eine Bild-Eingabe-/Ausgabe-Einheit, die dazu ausgelegt ist, aufgenommene Bilder eines Referenzmusters zu empfangen, das auf einer Bodenebene und einer Nicht-Bodenebene ausgebildet ist, und zwar von einer Vielzahl von Weitwinkel-Kameras, die an einem Fahrzeug angebracht sind, und die dazu ausgelegt ist, die aufgenommenen Bilder auszugeben; eine Schätzeinheit für die Bildanordnung, die dazu ausgelegt ist, Merkmalspunkte von den Referenzmustern des von der Bild-Eingabe-/Ausgabe-Einheit eingegebenen Bildes zu extrahieren, und die dazu ausgelegt ist, einen relativen Standort und einen Einbauwinkel von jeder der Kameras unter Verwendung von bekannten physischen Standortinformationen der extrahierten Merkmalspunkte zu schätzen; eine Einheit zum Abbilden auf eine Kugel, die dazu ausgelegt ist, optische Parameter für die Korrektur einer Linsenverzerrung inklusive einem optischen Zentrum einer Linse unter Verwendung der aufgenommenen Bilder zu ermitteln, und die dazu ausgelegt ist, jedes der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums abzubilden; eine Einheit zum Anordnen im virtuellen Raum, die dazu ausgelegt ist, unter Verwendung des relativen Standorts und des Einbauwinkels der Kamera, die von der Schätzeinheit für die Bildanordnung geschätzt worden sind, den Winkel und den Abstand der Gaußschen Kugel zu verändern, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern übereinstimmt, und die dazu ausgelegt ist, die Gaußschen Kugeln in einem virtuellen dreidimensionalen Raum anzuordnen; und eine Einzelbild-Beschaffungseinheit, die dazu ausgelegt ist, ein einzelnes dreidimensionales Bild zu ermitteln, indem sie die in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche eines dreidimensionalen Raums abbildet, der einer einzelnen großen Kugel entspricht.
Die Schätzeinheit für die Bildanordnung kann Informationen über den geschätzten relativen Standort und den Einbauwinkel der Kamera einstellen und vorgeben.
Die Einheit zum Anordnen im virtuellen Raum kann einen Optimierungsalgorithmus verwenden, um Veränderungsparameter zu schätzen, wenn sie den Rotationswinkel und den Bewegungsabstand der Gaußschen Kugel verändert. Der Optimierungsalgorithmus kann Folgendes sein: Partikelschwarmoptimierung (PSO), Gradientenabstieg (GD) oder Abschätzung mit einem Verfahren der kleinsten mittleren Quadrate (LSME).
Um ein Bild abzubilden, das dem mittleren Bereich von jedem der Bilder entspricht, kann die Einzelbild-Beschaffungseinheit die Oberfläche des dreidimensionalen Raums durch die Anzahl der Kameras teilen, und sie kann auch lediglich ein Bild der nächstliegenden Kamera abbilden.
Die Einzelbild-Beschaffungseinheit kann die innere Oberfläche des dreidimensionalen Raums für individuelle geographische Längen auf der Basis der Anzahl von Kameras teilen. Sie kann die eine Oberfläche des dreidimensionalen Raums, die für die individuellen geographischen Längen geteilt worden ist, in Boden- und Nicht-Bodenebenen teilen. Sie kann ein Abbilden für individuelle geographische Längen durchführen.
Um die oben beschriebenen Ziele zu erreichen, gibt die vorliegende Erfindung ein Verfahren zum Synthetisieren von dreidimensionalen Bildern an, welches Folgendes aufweist: Empfangen mittels einer Vielzahl von Kameras, die an einem Fahrzeug angebracht sind, einer Vielzahl von Bildern von Referenzmustern, die auf einem Boden ausgebildet sind; Extrahieren von Merkmalspunkten von den aufgenommenen Referenzmustern und Schätzen eines relativen Standorts und eines Einbauwinkels von jeder der Kameras unter Verwendung der extrahierten Merkmalspunkte; Ermitteln von optischen Parametern für die Korrektur einer Linsenverzerrung inklusive einem optischen Zentrum einer Linse unter Verwendung der aufgenommenen Bilder, und Abbilden von jedem der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums; Verwenden des geschätzten relativen Standorts und Einbauwinkels der Kamera, Verändern des Winkels und des Abstands der Gaußschen Kugel, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern übereinstimmt, und Anordnen der Gaußschen Kugeln in einem virtuellen dreidimensionalen Raum; und Ermitteln eines einzelnen dreidimensionalen Bildes, indem die in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche eines dreidimensionalen Raums abgebildet werden, der einer einzelnen großen Kugel entspricht.
Das Anordnen der Gaußschen Kugeln im virtuellen dreidimensionalen Raum kann durchgeführt werden, indem ein Optimierungsalgorithmus wie z. B. PSO, GD und LSME verwendet wird, um die Veränderungsparameter zu schätzen, wenn der Rotationswinkel und der Bewegungsabstand der Gaußschen Kugel verändert werden.
Das Ermitteln des einzelnen dreidimensionalen Bildes kann ein Abbilden der in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf Bereiche der inneren Oberfläche eines dreidimensionalen Raums aufweisen, die der Mitte des dreidimensionalen Raums am nächsten liegen.
Das Ermitteln des einzelnen dreidimensionalen Bildes kann Folgendes aufweisen: Teilen der inneren Oberfläche des dreidimensionalen Raums für individuelle geographische Längen auf der Basis der Anzahl von Kameras, um die Bilder abzubilden, die den mittleren Bereichen der Bilder entsprechen; Teilen der inneren Oberfläche des dreidimensionalen Raums, die für die individuellen geographischen Längen geteilt worden ist, in Boden- und Nicht-Bodenebenen, und zwar auf der Basis von einer geographischen Breite, die der Bodenebene entspricht; und Teilen der Bilder, die in dem virtuellen dreidimensionalen Raum angeordnet sind, in Boden- und Nicht-Bodenebenen, und Durchführen eines Abbildevorgangs auf entsprechende Bereiche der inneren Oberfläche des dreidimensionalen Raums.
Vorteilhafte Wirkungen
Wie oben beschrieben, ist die Erfindung auf ein Verfahren und eine Vorrichtung zum Synthetisieren von 3D-Bildern gerichtet, welche Informationen über die Fahrzeugumgebung in Form eines dreidimensionalen Bildes visualisieren. Die vorliegende Erfindung kann die Sichtbarkeit von Objekten um ein Fahrzeug herum verbessern, da alle Objekte, die sich in Boden- und Nicht-Bodenebenen um das Fahrzeug herum befinden, in Form eines dreidimensionalen Bildes dargestellt werden. Sie kann die Genauigkeit der Erkennung der Objekte um ein Fahrzeug herum verbessern, da die Objekte unter Verwendung eines dreidimensionalen Bildes dargestellt werden, das nur eine geringe Verzerrung hat.
Außerdem kann mit der vorliegenden Erfindung eine dahingehende Beschränkung überwunden werden, dass die Leistungsfähigkeit einer Homographie, die in dem herkömmlichen Syntheseverfahren verwendet wird, instabil ist, und zwar in Abhängigkeit von der Genauigkeit der Auswahl der Muster, die bei der Korrektur verwendet werden. Sie kann eine Abfolge von Schritten ersetzen, die von der Homographie durchgeführt werden, und zwar indem lediglich Dreiachsen-Drehvariablen (phi, theta, psi) eingestellt werden. Dadurch ist die Stabilität des Betriebs des Systems gewährleistet.
Wenn eine Bedienperson versucht, ein Bild zu synthetisieren, das mit einem Fahrzeug während der Herstellung vor der fabrikmäßigen Auslieferung in Verbindung steht, oder das mit einem sich in Reparatur befindlichen Fahrzeug in Verbindung steht, und zwar unter Verwendung der Vorrichtung zum Synthetisieren von 3D-Bildern gemäß der vorliegenden Erfindung, dann kann ein gewünschtes Bild synthetisiert werden, indem lediglich die Dreiachsen-Variablen eingestellt werden.
Ferner gilt Folgendes: Sogar dann, wenn eine Bedienperson einen Korrekturvorgang in einem Raum versucht, in welchem sich keine Referenzmuster befinden, welche vorab festgelegte Bedingungen erfüllen, so kann ein synthetisches Bild korrigiert werden, indem lediglich die Dreiachsen-Variablen eingestellt werden. Folglich ist die vorliegende Erfindung dahingehend vorteilhaft, dass der Bedienungskomfort und die Skalierbarkeit ausgezeichnet sind.
Außerdem wird ein dreidimensionaler Raum um das Fahrzeug herum modelliert. Hierdurch werden diverse Winkel des Feldes für die blinden Zonen zur Verfügung gestellt, welche bislang problematisch waren.
Beschreibung der Zeichnungen
In den Zeichnungen zeigen:
1 ein Diagramm, das Weitwinkel-Kameras und eine Vorrichtung zum Synthetisieren von 3D-Bildern gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
2 ein Diagramm, das ein Beispiel von Referenzmustern, die auf dem Boden ausgebildet sind, sowie ein Fahrzeug darstellt;
3 ein Ablaufdiagramm, das den Ablauf des Synthetisierens dreidimensionaler Bilder gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
4 ein Diagramm, das Bilder darstellt, die mittels einer Vielzahl von Weitwinkel-Kameras eingegeben werden;
5 ein Bild, das das Erfassen eines optischen Parameters unter Verwendung eines Eingabebilds darstellt;
6 ein Diagramm, das die Abbildung auf eine Gaußsche Kugel darstellt;
7 ein Diagramm, das die Unterteilung für die jeweiligen geographischen Längen beim Abbilden von Gaußschen Kugel auf einen dreidimensionalen Raum darstellt;
8 und 9 Diagramme, die das Abbilden einer Bodenebene und einer Nicht-Bodenebene beim Abbilden der Gaußschen Kugeln in einen dreidimensionalen Raum veranschaulichen;
10 ein Diagramm, das ein einzelnes dreidimensionales synthetisches Bild darstellt;
11 ein Bild, bei welchem die Verzerrung des angrenzenden (Bodenebenen-)Gebiets aus 10 korrigiert worden ist; und
12 ein Diagramm, das eine Nachschlag-Tabelle darstellt.
Beste Ausführungsform
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden detailliert unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die gleichen Komponenten sind mit den gleichen Bezugszeichen bezeichnet, und zwar – soweit möglich – durchgehend in den beigefügten Zeichnungen. Ferner werden detaillierte Beschreibungen wohlbekannter Funktionen und Aufbauten der vorliegenden Erfindung weggelassen, welche den Hauptinhalt der vorliegenden Erfindung unnötig verschleiern würden.
1 ist ein Diagramm, das Weitwinkel-Kameras und eine Vorrichtung zum Synthetisieren von 3D-Bildern gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht, und welches Folgendes aufweist: eine Vielzahl von Weitwinkel-Kameras 10; eine 3D-Bild-Ausgabeeinrichtung 50; und eine Vorrichtung 100 zum Synthetisieren von 3D-Bildern.
Die Weitwinkel-Kameras 10 weisen mindestens vier Weitwinkel-Kameras an beliebigen Standorten vor, hinter, auf der linken Seite und auf der rechten Seite eines Fahrzeugs auf. Die Weitwinkel-Kameras 10 erfassen Referenzmuster 1, die auf dem Boden ausgebildet sind, wie es in 2 gezeigt ist, und eine Nicht-Bodenebene. Sie wandeln die aufgenommenen Bilder in elektrische Signale um und senden die elektrischen Signale an die Bild-Eingabe-/Ausgabe-Einheit 51 der 3D-Bild-Ausgabeeinrichtung 50. Falls die Anzahl von Weitwinkel-Kameras 10 beispielsweise vier beträgt, ist es in diesem Fall bevorzugt, dass die Weitwinkel-Kameras 10 derart angeordnet sind, dass die Erfassungsbereiche benachbarter Weitwinkel-Kameras 10 einander überlappen.
Die Weitwinkel-Kameras 10 beruhen auf einem Konzept, das nicht nur ein einfaches optisches Gerät, sondern außerdem eine elektrische Einrichtung aufweist, wie beispielsweise einen Bildsensor, der optische Signale in elektrische Signale oder dergleichen umwandelt. Falls zum Beispiel das Zielobjekt ein Fahrzeug ist, können die Weitwinkel-Kameras 10 vor, hinter, auf der linken Seite und auf der rechten Seite oder an den Ecken des Fahrzeugs angeordnet sein.
Die einzelnen Kameras 11, 12, 13 und 14 können derart angeordnet sein, dass die Erfassungsbereiche einander benachbarter Kameras einander zumindest teilweise überlappen. Die Weitwinkel-Kameras 10 verwenden Fischaugen-Linsen, um die Bildfeldwinkel zu gewährleisten. Die Referenzmuster 1 sind bekannte Muster, und sie werden auf dem Boden angebracht, auf welchem die Bildfelder von den jeweiligen Kameras gewährleistet werden können.
Es wird angenommen, dass die physischen Standortinformationen der Merkmalspunkte der Referenzmuster 1 vorher bekannt sind. Um die Sichtbarkeit der Referenzmuster 1 zu gewährleisten, ist es bevorzugt, als Farbe für jedes der Muster eine Farbe auszuwählen, die eine große Helligkeitsdifferenz in Bezug auf die Farbe des Hintergrundes des Bodens aufweist.
Die Bild-Eingabe-/Ausgabe-Einheit 51 der 3D-Bild-Ausgabeeinrichtung 50 empfängt aufgenommene Bilder der Referenzmuster 1, die auf dem Boden ausgebildet sind, und einer Nicht-Bodenebene, und zwar von der Vielzahl von Weitwinkel-Kameras 10, die an dem Fahrzeug angebracht sind. Sie sendet die Vielzahl von Eingabebildern an die Vorrichtung 100 zum Synthetisieren von 3D-Bildern. Falls nötig, kann die Bild-Eingabe-/Ausgabe-Einheit 51 eine Bild-Vorverarbeitung unter Verwendung eines Filters oder dergleichen durchführen.
Die Bild-Eingabe-/Ausgabe-Einheit 51 ist Teil der 3D-Bild-Ausgabeeinrichtung 50, die an dem Fahrzeug angebracht ist. Sie sendet die Bilder, die von der Vielzahl von Weitwinkel-Kameras 10 eingegeben werden, an die Vorrichtung 100 zum Synthetisieren von 3D-Bildern.
Die Vorrichtung 100 zum Synthetisieren von 3D-Bildern speichert Algorithmen, die dazu ausgebildet sind, die Vielzahl von Bildern zu korrigieren und sie mittels einer Synthese in dreidimensionale Bilder umzuwandeln. Die Vorrichtung 100 zum Synthetisieren von 3D-Bildern – wie dargestellt – kann Folgendes aufweisen: eine Schätzeinheit 110 für die Bildanordnung; eine Einheit 120 zum Abbilden auf eine Kugel; eine Einheit 130 zum Anordnen im virtuellen Raum; eine Einzelbild-Beschaffungseinheit 140; eine Verzerrungs-Korrektureinheit 150; und eine Nachschlag-Tabelle-Erzeugungseinheit 160.
Die Schätzeinheit 110 für die Bildanordnung extrahiert Merkmalspunkte aus den Referenzmustern 1, die mittels der Vielzahl von Weitwinkel-Kameras 10 aufgenommen worden sind. Sie schätzt den relativen Standort und den Einbauwinkel von jeder Kamera unter Verwendung der bekannten physischen Standortinformationen der extrahierten Merkmalspunkte.
Die Schätzeinheit 110 für die Bildanordnung speichert Informationen über den geschätzten relativen Standort und den Einbauwinkel der Kamera. Das heißt, die Schätzeinheit 110 für die Bildanordnung schätzt nur den relativen Standort und den Neigungswinkel, in welchem die Kamera angeordnet ist, und zwar auf der Basis der Referenzmuster 1 auf dem Boden.
Die Einheit 120 zum Abbilden auf eine Kugel erhält optische Parameter inklusive dem optischen Zentrum der Linse für die Korrektur der Linsenverzerrung unter Verwendung der mittels der Weitwinkel-Kameras 10 aufgenommenen Bilder, und sie bildet ein jedes der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums ab. In diesem Fall können die optischen Parameter eines oder mehrere von optischem Zentrum, Bildseitenverhältnis, Bildsensor, Projektionsart und Brennweite umfassen.
Der Bildsensor, das Bildseitenverhältnis und die Brennweite können aus dem Datenblatt der Sensoren erhalten werden. Das optische Zentrum kann auf der Basis des Linsenkreises oder des Zentrums einer Ellipse des aufgenommenen Bildes ermittelt werden.
Die Korrektur der radialen Verzerrung kann dahingehend als gleichwirkend wie eine Lochblenden-Projektion angesehen werden, als die Brechung der Linse beseitigt wird. Als Projektionsgleichungen können hauptsächlich vier Projektionsgleichungen verwendet werden: nämlich eine äquidistante Projektionsgleichung, eine orthographische Projektionsgleichung, eine raumwinkelgleiche (äquisolide) Projektionsgleichung und eine stereographische Projektionsgleichung.
Sobald die Hauptparameter zur Korrektur der Linsenverzerrung, wie oben beschrieben, ermittelt worden sind, wird ein jedes der erhaltenen Bilder auf die Gaußsche Kugel unter Verwendung der ermittelten Informationen abgebildet.
Unter Verwendung des relativen Standorts und des Einbauwinkels der Kamera, die von der Schätzeinheit 110 für die Bildanordnung geschätzt worden sind, verändert die Einheit 130 zum Anordnen im virtuellen Raum den Winkel und den Abstand der Gaußschen Kugel, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern 1 übereinstimmt. Sie ordnet dann die Gaußsche Kugel in einem virtuellen dreidimensionalen Raum an.
Die Einheit 130 zum Anordnen im virtuellen Raum kann einen Optimierungsalgorithmus verwenden, um Veränderungsparameter zu schätzen, wenn sie den Rotationswinkel und den Bewegungsabstand der Gaußschen Kugel verändert. Als Optimierungsalgorithmus kann Folgendes verwendet werden: Partikelschwarmoptimierung (PSO), Gradientenabstieg (GD) und Abschätzung mit einem Verfahren der kleinsten mittleren Quadrate (LSME) oder dergleichen.
Die Einzelbild-Beschaffungseinheit 140 ermittelt ein einzelnes dreidimensionales Bild, indem sie die einzelnen Bilder, die in dem virtuellen dreidimensionalen Raum angeordnet sind, auf die innere Oberfläche eines dreidimensionalen Raums abbildet, der einer einzelnen großen Kugel entspricht. Um ein Bild abzubilden, das dem mittleren Bereich von jedem der Bilder entspricht, teilt die Einzelbild-Beschaffungseinheit 140 die Oberfläche des dreidimensionalen Raums durch die Anzahl von Kameras und bildet nur Bilder von den am nächsten liegenden angrenzenden Kameras ab.
Das bedeutet Folgendes: Die Einzelbild-Beschaffungseinheit 140 teilt die innere Oberfläche des dreidimensionalen Raums für die jeweiligen geographischen Längen auf der Basis der Anzahl von Kameras. Sie teilt die eine Oberfläche des dreidimensionalen Raums, die für die individuellen geographischen Längen geteilt worden ist, in Boden- und Nicht-Bodenebenen. Sie bildet die Boden- und Nicht-Bodenebenen für die jeweiligen geographischen Längen durch. In diesem Fall können sich ein Abbildungsverfahren für eine Bodenebene und ein Abbildungsverfahren für eine Nicht-Bodenebene voneinander im dreidimensionalen Raum unterscheiden.
Bei dem mittels der Einzelbild-Beschaffungseinheit 140 ermittelten Bild korrigiert die Verzerrungs-Korrektureinheit 150 die radiale Verzerrung einer Bodenebene, d. h. den mittleren Bereich des Bildes, in eine rechteckige Form.
Die Nachschlag-Tabelle-Erzeugungseinheit 160 erzeugt eine Nachschlag-Tabelle, die die individuellen Pixel des synthetischen Bildes den individuellen Pixeln der Eingabebilder zuordnet. Das bedeutet Folgendes: Die Nachschlag-Tabelle-Erzeugungseinheit 160 erzeugt eine Zuordnungstabelle, welche das Verhältnis definiert, für welches die ursprünglichen Koordinaten von jedem Pixels der Vielzahl von Eingabebildern, die mittels der Vielzahl von Weitwinkel-Kameras 10 aufgenommen worden sind, auf die endgültigen Koordinaten eines jeden Pixels des synthetischen Bildes abgebildet worden sind.
Die Arbeitsweise der Vorrichtung zum Synthetisieren von 3D-Bildern, die wie oben beschrieben aufgebaut ist, wird noch genauer unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
3 ist ein Ablaufdiagramm, das den Ablauf des Synthetisierens dreidimensionaler Bilder gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
Zunächst werden die bekannten Referenzmuster 1 auf dem Boden angeordnet, wie es in 2 gezeigt ist. Es wird angenommen, dass bei den Referenzmustern 1 die Orte der Merkmalspunkte (die Schnittpunkte der Muster) der einzelnen Muster und die Abstände zwischen den Merkmalspunkten der Vorrichtung 100 zum Synthetisieren von 3D-Bildern vorher bekannt sind.
Die 3D-Bild-Ausgabeeinrichtung 50 empfängt eine Vielzahl von Bildern, die erhalten werden, wenn die Vielzahl von Weitwinkel-Kameras 10, die an dem Fahrzeug befestigt sind, die Referenzmuster 1 erfassen, die auf dem Boden ausgebildet sind, und die Bilder an die Vorrichtung 100 zum Synthetisieren von 3D-Bildern in Schritt S11 überträgt.
Danach extrahiert die Vorrichtung 100 zum Synthetisieren von 3D-Bildern die Merkmalspunkte der Referenzmuster 1 aus den aufgenommenen Bildern, wie es in 4 gezeigt ist, und sie schätzt den relativen Standort und den Einbauwinkel von jeder der Kameras unter Verwendung der bekannten physischen Standortinformationen der extrahierten Merkmalspunkte in den Schritten S12 und S13.
In diesem Fall speichert die Vorrichtung 100 zum Synthetisieren von 3D-Bildern Informationen über den geschätzten relativen Standort und Einbauwinkel der Kamera. Das heißt, die Vorrichtung 100 zum Synthetisieren von 3D-Bildern schätzt nur den relativen Standort und den Neigungswinkel, in welchem die Kamera angeordnet ist, und zwar auf der Basis der Referenzmuster 1 des Bodens.
Nachdem sie den relativen Standort und den Einbauwinkel der Kamera geschätzt hat, ermittelt die Vorrichtung 100 zum Synthetisieren von 3D-Bildern optische Parameter inklusive dem optischen Zentrum einer Linse zur Korrektur der Linsenverzerrung unter Verwendung der aufgenommenen Bilder. Sie bildet ein jedes der Bilder auf die Oberfläche einer Gaußschen Kugel ab, und zwar unter Verwendung der ermittelten optischen Parameter in den Schritten S14 und S15. In diesem Fall können die optischen Parameter eines oder mehrere von optischem Zentrum, Bildseitenverhältnis, Bildsensor, Projektionsart und Brennweite umfassen.
Die Korrektur der radialen Verzerrung kann dahingehend als gleichwirkend wie eine Lochblenden-Projektion angesehen werden, als die Brechung der Linse beseitigt wird. Als Projektionsgleichungen können hauptsächlich vier Projektionsgleichungen verwendet werden, wie sie in Gleichung 1 gezeigt sind: nämlich eine äquidistante Projektionsgleichung, eine orthographische Projektionsgleichung, eine raumwinkelgleiche (äquisolide) Projektionsgleichung und eine stereographische Projektionsgleichung. In Gleichung 1 gilt Folgendes: R_f ist der projizierte Abstand in der Bildebene; f ist die Brennweite; und ϕ ist der Einfallswinkel eines einfallenden Strahls. Alternativ können diverse andere Gleichungen verwendet werden. Äquidistante Projektion: R_f = f· Orthographische Projektion: R_f = f·sin(φ) Raumwinkelgleiche Projektion: R_f = 2f·sin( φ / 2) Stereographische Projektion: R_f = 2f·tan( φ / 2) ...(1).
Das Bildseitenverhältnis eines Bildsensors, welches einen Hauptparameter für die Korrektur der Kameraverzerrung darstellt, kann aus dem Datenblatt der Bildsensoren erhalten werden. In einem anderen Verfahren kann das Bildseitenverhältnis mit einem Vorgang erhalten werden, in welchem eine elliptische Form geschätzt wird, d. h. die Form des Linsenkreises eines aufgenommenen Bildes, wie es in 5 gezeigt ist, wobei es dann in eine Kreisform umgewandelt wird.
Das optische Zentrum kann als die Mitte des Linsenkreises oder der Ellipse des zugehörigen aufgenommenen Bildes angenommen werden.
Die Brennweite kann auf der Basis von bei der Herstellung angegebenen Werte und dem Datenblatt der Bildsensoren erhalten werden. In einem anderen Verfahren kann die Brennweite definiert werden als ein Brennweitenwert in dem Fall, in welchem eine rechteckige Linie ohne Verzerrung erscheint, wenn die Verzerrung eines Bildes gemäß den Projektionsgleichungen beseitigt worden ist. Folglich kann die Brennweite erhalten werden, indem der Brennweitenwert geschätzt wird.
Sobald die Hauptparameter zur Korrektur der Linsenverzerrung, wie oben beschrieben, ermittelt worden sind, wird ein jedes der erhaltenen Bilder auf eine Gaußsche Kugel unter Verwendung der ermittelten Informationen abgebildet, wie in 6 gezeigt. 6 veranschaulicht diverse Arten von Abbildungsverfahren auf die Gaußsche Kugel auf der Basis von Projektionsarten. Die verschiedenen Arten von Linien werden verwendet, um die unterschiedlichen Arten von Projektionsarten zu unterscheiden.
Nachdem ein jedes der Bilder wie oben beschrieben auf die Gaußsche Kugel abgebildet worden ist, verändert die Vorrichtung 100 zum Synthetisieren von 3D-Bildern den Winkel und den Abstand der Gaußschen Kugel, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern 1 übereinstimmt. Dann ordnet sie die Gaußsche Kugel in einem virtuellen dreidimensionalen Raum an, und zwar unter Verwendung des relativen Standorts und des Einbauwinkels der Kamera in Schritt 16.
In diesem Fall kann ein Optimierungsalgorithmus zum Schätzen der Veränderungsparameter, wenn der Rotationswinkel und der Bewegungsabstand der Gaußschen Kugel verändert wird, verwendet werden. Als Optimierungsalgorithmus kann beispielsweise Folgendes verwendet werden: Partikelschwarmoptimierung (PSO), Gradientenabstieg (GD) und Abschätzung mit einem Verfahren der kleinsten mittleren Quadrate (LSME).
Der Vorgang des Anordnens in einem virtuellen dreidimensionalen Raum, wie er oben beschrieben ist, umfasst ein Schätzen der Standorte und der Winkel, an welchen Gaußsche Kugeln, die die jeweiligen Kameras darstellen, angeordnet sind, und zwar auf der Basis der Referenzmuster 1 des Bodens. Er umfasst dann ein Anordnen der Gaußschen Kugeln in einem virtuellen Raum unter Verwendung der geschätzten Werte. Die Gaußschen Kugeln sind in einem virtuellen dreidimensionalen Raum angeordnet. Sie stellen die wirklichen Kameras dar, die an dem Fahrzeug angebracht sind.
Der Vorgang des Schätzens wird durchgeführt, indem der Rotationswinkel und der Bewegungsabstand in einer Richtung verändert werden, welche die Übereinstimmung mit den wirklichen Referenzmustern 1 vergrößert, wenn eine jede der Gaußsche Kugeln gedreht und bewegt wird und dann ein auf die Gaußsche Kugel abgebildetes Bild auf den Boden abgebildet wird. Eine jede der Gaußschen Kugeln kann auf die wirklichen Referenzmuster 1 unter Verwendung der folgenden Gleichung 2 abgebildet werden: XY_p = f_pc·(S_c·R(ψ)·R(θ)·R(φ))(XY_c) ...(2).
In dieser Gleichung gilt Folgendes: XY_c sind die rechtwinkligen Koordinaten eines Punkts auf der Oberfläche einer Kugel, wenn die Mitte einer Gaußschen Kugel als Ursprung gesetzt wird und durch (X_c, Y_c, Z) dargestellt werden kann. XY_p sind die zweidimensionalen Koordinaten eines Punkts, an welchem XY_c auf den Boden abgebildet wird.
S_c ist ein Multiplikator, der verwendet wird, um den Radius der Gaußschen Kugel zu vergrößern/zu verringern. f_pc ist eine Funktion, die dreidimensionale Koordinaten auf einen Punkt in einer Ebene abbildet. R(φ), R(θ) und R(ψ) können durch Rotationsmatrizen in dreidimensionalen Koordinaten dargestellt werden, wie es in der nachfolgenden Gleichung 3 ausgedrückt ist.
Falls der Blickpunkt der Kamera als y-Achse definiert wird, dann ist eine dazu orthogonale Richtung als x-Achse definiert, und eine zum Fahrzeug vertikale Richtung ist als z-Achse definiert. φ ist ein Winkel, um welchen die Rotation um die x-Achse stattgefunden hat. θ ist ein Winkel, um welchen die Rotation um die y-Achse stattgefunden hat. ψ ist ein Winkel, um welchen die Rotation um die z-Achse stattgefunden hat.
Wenn sowohl Gleichung 2, als auch Gleichung 3 erweitert werden, kann die nachfolgende Gleichung 4 erhalten werden. In diesem Fall gilt Folgendes:
X_pd stellt den Abstand dar, entlang welchem sich die Gaußsche Kugel in Richtung der x-Achse bewegt hat. Y_pd stellt den Abstand dar, entlang welchem sich die Gaußsche Kugel in Richtung der y-Achse bewegt hat.
Nachdem der Musterabgleich unter Verwendung der Gleichungen 2 und 4 durchgeführt worden ist, kann ein Partikelschwarmoptimierungs-Algorithmus (PSO) angewendet werden, und zwar unter Verwendung eines Verfahrens, bei welchem der Rotationswinkel und der Bewegungsabstand verändert werden.
Nachdem die Gaußschen Kugeln im virtuellen dreidimensionalen Raum angeordnet worden sind, bildet die Vorrichtung 100 zum Synthetisieren von 3D-Bildern die im virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche eines dreidimensionalen Raums ab, der einzeln einem großen Raum entspricht. Dadurch wird ein einzelnes dreidimensionales Bild in Schritt S17 erhalten.
Wenn die Bilder auf die innere Oberfläche des dreidimensionalen Raums abgebildet werden, dann können die Bilder der jeweiligen Gaußschen Kugeln, die im virtuellen dreidimensionalen Raum angeordnet sind, auf Bereiche der inneren Oberfläche des dreidimensionalen Raums abgebildet werden, die am nächsten an der Mitte des dreidimensionalen Raums liegen. Die Vorrichtung 100 zum Synthetisieren von 3D-Bildern teilt die innere Oberfläche des dreidimensionalen Raums für individuelle geographische Längen auf der Basis der Anzahl von Kameras, um ein Bild abzubilden, das dem mittleren Bereich von jedem der Bilder entspricht, wie es in 7 gezeigt ist.
Falls die Anzahl von Weitwinkel-Kameras 10 vier beträgt, dann wird die innere Oberfläche des dreidimensionalen Raums in vier Bereiche für die jeweiligen geographischen Längen geteilt. In 7 stellt das Rechteck innerhalb des dreidimensionalen Raums ein Fahrzeug dar. Die kleinen Kreise, die vor, hinter, links von und rechts von dem Rechteck angeordnet sind, stellen die Kameras dar. In diesem Fall stellen lang- und kurzgestrichelte Linien die Bildfelder (FOVs) der Weitwinkel-Kameras 10 dar. Die gepunkteten Linien stellen Nahtlinien dar, welche die Grenzen zwischen den aneinander angrenzenden Kameras angeben.
Das heißt, das Bild von jeder der Kameras wird auf den nächstliegenden Bereich des dreidimensionalen Raums abgebildet, der für die individuellen geographischen Längen geteilt ist. Der Grund, warum der dreidimensionale Raum für die individuellen geographischen Längen wie oben beschrieben geteilt ist, besteht darin, dass nur ein Bild, das dem mittleren Bereich des Bildes von jeder der Weitwinkel-Kameras 10 abgebildet werden soll, da die Verzerrungsrate im äußeren Bereich des Bildes hoch ist.
Die Vorrichtung 100 zum Synthetisieren von 3D-Bildern teilt die innere Oberfläche des dreidimensionalen Raums, der für individuelle geographische Längen unterteilt ist, in Bodenebenen und Nicht-Bodenebenen, und zwar auf der Basis einer geographischen Länge, die der Bodenebene entspricht, wie es in 8 gezeigt ist. In 8 stellt die untere rechteckige Platte (schraffiert) eine Bodenebene dar. Die obere rechteckige Platte (gepunktet) stellt eine Oberfläche dar, welche die mittleren Bereiche der Gaußschen Kugeln verbindet. Bilder, die die Nicht-Bodenebene darstellen, werden auf die Halbkugel oberhalb der oberen rechteckigen Platte abgebildet.
Die individuellen Bilder, die im virtuellen dreidimensionalen Raum angeordnet sind, werden für die Bodenebenen und die Nicht-Bodenebenen geteilt und dann auf die entsprechende innere Oberfläche des dreidimensionalen Raums abgebildet. In diesem Fall können die Verfahren zum Abbilden von Bildern auf die Bodenebenen und Nicht-Bodenebenen eines dreidimensionalen Raums voneinander abweichen, um ein dreidimensionales Bild zu erzielen.
Falls der gesamte dreidimensionale Bereich unter Verwendung des Abbildungsverfahrens für eine Nicht-Bodenebene zugewiesen wird, dann wird ein Bild der Umgebung eines realen Fahrzeugs ebenfalls nahe an einem Kreis dargestellt, was zu einem Hindernis für das intuitive Verständnis der Umgebungen eines Benutzers wird.
Folglich kann mehr Effekt-Visualisierung der Fahrzeugumgebung erreicht werden, indem Bilder in Bezug auf die angrenzende Umgebung eines Fahrzeugs nach Art einer Draufsicht abgebildet werden. Aus diesem Grund wird angenommen, dass das Abbilden für eine Bodenebene ein angrenzender Bereich ist, und dass das Abbilden für eine Nicht-Bodenebene ein entfernter Bereich ist, was jeweils auf verschiedene Arten durchgeführt wird.
Wenn beispielsweise die Bodenebene des dreidimensionalen Raums abgebildet wird, wie es in 9 gezeigt ist, dann kann ein Punkt (x_p, y_p, z_p) des dreidimensionalen Raums von einem Punkt der am nächsten angrenzenden Gaußschen Kugel gebracht werden und auf den dreidimensionalen Raum abgebildet werden, und zwar unter Verwendung eines Verfahrens, bei welchem T in der nachfolgenden Gleichung 5 berechnet wird und dann x, y, z erhalten werden.
In 9 ist die rechte Gaußsche Kugel eine Kugel, die zum Veranschaulichen des Abbildens der Bodenebene dargestellt ist. Die linke Gaußsche Kugel ist eine Kugel, die zum Veranschaulichen des Abbildens der Nicht-Bodenebene dargestellt ist.
In diesem Fall gilt Folgendes: (x, y, z) sind die Koordinaten eines Punktes auf der Oberfläche einer Gaußschen Kugel, der auf einen Punkt (x_s, y_s, z_s) in einer Bodenebene abgebildet wird. (x_c, y_c, z_c) stellt die Mitte der Gaußschen Kugel dar. R stellt den Radius der Gaußschen Kugel dar.
Wenn die Nicht-Bodenebene des dreidimensionalen Raums abgebildet wird, dann kann ein Punkt (x_p, y_p, z_p) des dreidimensionalen Raums von einem Punkt der am nächsten angrenzenden Gaußschen Kugel gebracht werden und auf den dreidimensionalen Raum abgebildet werden, und zwar unter Verwendung eines Verfahrens, bei welchem T in der nachfolgenden Gleichung 6 wird und dann x, y, z erhalten werden.
In diesem Fall gilt Folgendes: (x, y, z) sind die Koordinaten eines Punktes auf der Oberfläche einer Gaußschen Kugel, der auf einen Punkt (x_p, y_p, z_p) in einer Nicht-Bodenebene abgebildet wird. (x_c, y_c, z_c) stellt die Mitte der Gaußschen Kugel dar. R stellt den Radius der Gaußschen Kugel dar.
Durch die oben beschriebene Vorgehensweise wird ein einzelnes dreidimensionales Bild wie beispielsweise das gemäß 10 erhalten.
Für das einzelne dreidimensionale Bild, das wie oben beschrieben erzeugt wird, korrigiert die Vorrichtung 100 zum Synthetisieren von 3D-Bildern die radiale Verzerrung einer Bodenebene, d. h. den mittleren Bereich des Bildes, in eine rechteckige Form, wie beispielsweise diejenige gemäß 11, und zwar in Schritt S19. In dem einzelnen dreidimensionalen Bild sind Referenzmuster, d. h. eine Bodenebene, gekrümmt, wie es in 10 dargestellt ist. Folglich ist es nötig, die gekrümmten Referenzmuster in rechteckige Formen zu korrigieren.
Die Korrektur der Verzerrung soll grundsätzlich ein Linsenverzerrungs-Phänomen beseitigen, welches einer Differenz der Krümmung zugeschrieben werden kann, und zwar indem ein inverser Vorgang mit der Krümmung der Linse in einer Kamera unter Verwendung einer Weitwinkel-Linse durchgeführt wird und die sich von einer Lochblenden-Kamera unterscheidet, und indem Einfallspunkte um das optische Zentrum herum gleich gemacht werden, und zwar auf der Basis der Ergebnisse des Umkehrvorgangs.
Folglich gilt für den Vorgang der Verzerrungskorrektur Folgendes: wenn eine Modellgleichung (eine Projektionsgleichung) für die Krümmung einer Linse gegeben ist, dann wird der Verzerrungsgrad auf der Grundlage der Gleichung ermittelt, und es verbleibt nur eine perspektivische Verzerrung des Bildes nach dem Korrekturschritt.
Nachdem die Verzerrung des dreidimensionalen Bildes korrigiert worden ist, erzeugt die Vorrichtung 100 zum Synthetisieren von 3D-Bildern eine Nachschlag-Tabelle, indem sie Kameras und ursprüngliche Koordinaten für die Pixel eines jeden Bildes im Schritt S20 verfolgt.
Die Nachschlag-Tabelle ist eine Einrichtung zum Speichern von Bild-Abbildungsdaten über das Verhältnis, in welchem ein jedes Pixel der Vielzahl von Eingabebildern, die von der Vielzahl von Weitwinkel-Kameras 10 erhalten worden sind, beispielsweise auf ein jedes Pixel des synthetischen Bildes abgebildet worden ist. Sie kann in der Form aufgebaut sein, die in 12 gezeigt ist.
Unter Bezugnahme auf 12 gilt Folgendes: die Nachschlag-Tabelle kann als eine Art Abbildungstabelle verstanden werden, welche das Verhältnis definiert, nach welchem die ursprünglichen Koordinaten (x, y) der Pixel der Vielzahl von Eingabebildern, die von der Vielzahl von Weitwinkel-Kameras 10 aufgenommen worden sind, auf die endgültigen Koordinaten (t11, t12, ..., tmn) der Pixel des synthetischen Bildes abgebildet worden sind.
Jede der endgültigen Koordinaten (t11, t12, ..., tmn) des synthetischen Bildes können auf die Vielzahl von Eingabebildern abgebildet werden. Der Grund dafür ist folgender: wenn die Bilder, die von den Weitwinkel-Kameras 10 erhalten worden sind, auf ein ebenes Bild abgebildet werden, dann gibt es Fälle, in welchen jedes Pixel der Bilder in einer N:1-Korrespondenz abgebildet wird, die von einer 1:1 verschieden ist, da die Bilder verzerrte Bilder mit weiten Feldwinkeln sind, wie es oben beschrieben ist.
Beispielsweise kann die endgültige Koordinate T11 abgebildet werden auf drei Paare der ursprünglichen Koordinaten (x₁, y₂), (x₃, y₅), und (x₄, y₆). Es wird eine Anzahl von Nachschlag-Tabellen zur Verfügung gestellt, die gleich der Anzahl von Eingabebildern ist, die von den Weitwinkel-Kameras 10 erhalten worden sind. Korrespondierende Koordinatenwerte des synthetischen Bildes sind für jedes der Eingabebilder enthalten.
In dem Vorgang, in welchem solch eine Nachschlag-Tabelle erzeugt wird, gilt Folgendes: wenn der inverse Vorgang eines benötigten Vorgangs durchgeführt wird, um die Ausgabe für jedes Pixel eines synthetischen Beispielbildes zu erhalten, um die Nachschlag-Tabelle zu erzeugen, dann können die Koordinaten eines jeden Pixels des Eingabebilds erhalten werden, die einem jeden Pixel des synthetischen Bildes entsprechen.
Beim Vorgang des Erzeugens einer solchen Nachschlag-Tabelle wird beispielsweise irgendein Pixel aus den Pixeln ausgewählt, welche das dreidimensionale synthetische Bild bilden. Das Pixel wird ausgewählt auf der Basis seiner Koordinaten. Die Koordinaten werden zu einer endgültigen Koordinate des synthetischen Bildes.
Sobald das Pixel ausgewählt worden ist, wird diejenige der Vielzahl von Weitwinkel-Kameras 10 ermittelt, die das ausgewählte Pixel erzeugt hat. Dies kann als Umkehrvorgang des Synthesevorgangs angesehen werden. Um diejenige der Vielzahl von Weitwinkel-Kameras 10 zu ermitteln, die das ausgewählte Pixel erzeugt hat, kann es sinnvoll sein, ein Verfahren zu verwenden, bei welchem Folgendes durchgeführt wird: es werden Kennungen hinzugefügt, welche dazu imstande sind, die Vielzahl von Weitwinkel-Kameras 10 zu identifizieren, und zwar zu den Eingabebildern, die von den Kameras 10 erzeugt worden sind. Die Kennungen werden dann später überprüft.
Sobald der obige Vorgang durchgeführt worden ist, können die ursprünglichen Koordinaten eines ausgewählten Pixels in dem Eingabebild ermittelt werden, das von der Kamera erhalten worden ist. Folglich werden die ursprünglichen Koordinaten erhalten und aufgezeichnet, die den endgültigen Koordinaten eines bestimmten Pixels entsprechen.
Die ursprünglichen Koordinaten, die den endgültigen Koordinaten eines Pixels entsprechen, können erhalten werden, indem dieser Vorgang mit allen Pixeln des synthetischen Bildes sequenziell durchgeführt wird.
Eine Nachschlag-Tabelle (LUT, look-up table), wie diejenige in 12, kann erzeugt werden, indem die ursprünglichen Koordinaten, die unter Verwendung des oben beschriebenen Verfahrens erhalten worden sind, auf die korrespondierenden Pixel abgebildet werden. In diesem Fall werden nicht alle Pixel des Eingabebilds auf die endgültigen Koordinaten des synthetischen Bildes abgebildet. Das heißt, dass unnötige Pixel der Eingabebilder möglicherweise nicht auf die endgültigen Koordinaten abgebildet werden und verworfen werden können.
Da grundsätzlich nur Pixel in einem bestimmten Bereich von jedem der Eingabebilder – d. h. nur 20% bis 50% der Pixel – in das synthetische Bild umgewandelt werden, wird der Abbildungsvorgang nur mit den Pixeln der Eingabebilder durchgeführt, die in das synthetische Bild umgewandelt werden, während auf die Nachschlag-Tabellen Bezug genommen wird. Folglich können die Last und die Zeit bei der Bildverarbeitung verringert werden.
Nachdem die Nachschlag-Tabellen – wie diejenige gemäß 12 – erzeugt worden sind, übermittelt die Vorrichtung 100 zum Synthetisieren von 3D-Bildern die erzeugten Nachschlag-Tabellen an die 3D-Bild-Ausgabeeinrichtung 50, die an dem Fahrzeug angebracht ist. Dabei werden die Nachschlag-Tabellen in der Speichereinheit 55 gespeichert.
Danach bildet das Fahrzeug direkt die Pixel der Bilder ab, wie beispielsweise diejenigen gemäß 4, die mittels der Vielzahl von Weitwinkel-Kameras 10 beim tatsächlichen Einparken oder Fahren eingegeben worden sind, und zwar auf das endgültige synthetische Bild. Dabei bezieht es sich auf die Nachschlag-Tabellen, die in der Speichereinheit 55 gespeichert sind, ohne den Synthesevorgang der vorliegenden Erfindung durchzuführen, so dass auf einfache und schnelle Weise ein dreidimensionales Umgebungsbild – wie das aus 11 – erzeugt und angezeigt wird.
Folglich ist es mit der vorliegenden Erfindung möglich, einen Blickpunkt nur unter Verwendung von Dreiachsen-Drehung für ein dreidimensionales Objekt umzuwandeln, und zwar auf der Basis von 3D-Informationen, die erzeugt werden, während eine Vielzahl von Kameras auf eine einzelne virtuelle Kamera projiziert werden, ohne einen Algorithmus für homographische Blickpunktumwandlung zu verwenden, die ein herkömmliches räumliches Transformationsverfahren darstellt.
Die vorliegende Erfindung ist dadurch gekennzeichnet, dass sowohl Bodenebenen- als auch Nicht-Bodenebenen-Informationen synthetisiert werden können, indem eine Bildsynthese auf der Basis von 3D-Modellierung eines Raums um ein Fahrzeug herum durchgeführt wird.
Die Vorrichtung und das Verfahren zum Synthetisieren von dreidimensionalen Bildern ist nicht auf den Aufbau und den Vorgang der oben beschriebenen Ausführungsformen beschränkt. Die oben beschriebenen Ausführungsformen können derart ausgebildet sein, dass alle oder einige der Ausführungsformen selektiv miteinander kombiniert werden, so dass sich diverse Modifikationen ergeben.

Claims

Vorrichtung zum Synthetisieren von dreidimensionalen (3D-)Bildern, die Folgendes aufweist: – eine Bild-Eingabe-/Ausgabe-Einheit, die dazu ausgelegt ist, aufgenommene Bilder eines Referenzmusters zu empfangen, das auf einer Bodenebene und einer Nicht-Bodenebene ausgebildet ist, und zwar von einer Vielzahl von Weitwinkel-Kameras, die an einem Fahrzeug angebracht sind, und die dazu ausgelegt ist, die aufgenommenen Bilder auszugeben; – eine Schätzeinheit für die Bildanordnung, die dazu ausgelegt ist, Merkmalspunkte von den Referenzmustern des von der Bild-Eingabe-/Ausgabe-Einheit eingegebenen Bildes zu extrahieren, und die dazu ausgelegt ist, einen relativen Standort und einen Einbauwinkel von jeder der Kameras unter Verwendung von bekannten physischen Standortinformationen der extrahierten Merkmalspunkte zu schätzen; – eine Einheit zum Abbilden auf eine Kugel, die dazu ausgelegt ist, optische Parameter für die Korrektur einer Linsenverzerrung inklusive einem optischen Zentrum einer Linse unter Verwendung der aufgenommenen Bilder zu ermitteln, und die dazu ausgelegt ist, jedes der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums abzubilden; – eine Einheit zum Anordnen im virtuellen Raum, die dazu ausgelegt ist, unter Verwendung des relativen Standorts und des Einbauwinkels der Kamera, die von der Schätzeinheit für die Bildanordnung geschätzt worden sind, den Winkel und den Abstand der Gaußschen Kugel zu verändern, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern übereinstimmt, und die dazu ausgelegt ist, die Gaußschen Kugeln in einem virtuellen dreidimensionalen Raum anzuordnen; und – eine Einzelbild-Beschaffungseinheit, die dazu ausgelegt ist, ein einzelnes dreidimensionales Bild zu ermitteln, indem sie die in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche eines dreidimensionalen Raums abbildet, der einer einzelnen großen Kugel entspricht.
Vorrichtung nach Anspruch 1, wobei die Schätzeinheit für die Bildanordnung Informationen über den geschätzten relativen Standort und den Einbauwinkel der Kamera speichert.
Vorrichtung nach Anspruch 1, wobei die optischen Parameter eines oder mehrere von optischem Zentrum, Bildseitenverhältnis, Bildsensor, Projektionsart und Brennweite aufweisen.
Vorrichtung nach Anspruch 1, wobei die Einheit zum Anordnen im virtuellen Raum einen Optimierungsalgorithmus verwendet, um Veränderungsparameter zu schätzen, wenn sie den Rotationswinkel und den Bewegungsabstand der Gaußschen Kugel verändert.
Vorrichtung nach Anspruch 4, wobei der Optimierungsalgorithmus einer der Folgenden ist: Partikelschwarmoptimierung (PSO); Gradientenabstieg (GD); und Abschätzung mit einem Verfahren der kleinsten mittleren Quadrate (LSME).
Vorrichtung nach Anspruch 1, wobei die Einzelbild-Beschaffungseinheit, um ein Bild abzubilden, das dem mittleren Bereich von jedem der Bilder entspricht, die Oberfläche des dreidimensionalen Raums durch die Anzahl der Kameras teilt und lediglich ein Bild von der nächstliegenden Kamera abbildet.
Vorrichtung nach Anspruch 1, wobei die Einzelbild-Beschaffungseinheit die innere Oberfläche des dreidimensionalen Raums für individuelle geographische Längen auf der Basis der Anzahl von Kameras teilt, die eine Oberfläche des dreidimensionalen Raums, die für die individuellen geographischen Längen geteilt worden ist, in Boden- und Nicht-Bodenebenen teilt und ein Abbilden für individuelle geographische Längen durchführt.
Vorrichtung nach Anspruch 7, wobei sich die Abbildungsverfahren für Bodenebenen und Nicht-Bodenebenen in dem dreidimensionalen Raum voneinander unterscheiden.
Verfahren zum Synthetisieren von dreidimensionalen Bildern, welches Folgendes aufweist: – Empfangen mittels einer Vielzahl von Kameras, die an einem Fahrzeug angebracht sind, einer Vielzahl von Bildern von Referenzmustern, die auf einem Boden ausgebildet sind; – Extrahieren von Merkmalspunkten von den aufgenommenen Referenzmustern und Schätzen eines relativen Standorts und eines Einbauwinkels von jeder der Kameras unter Verwendung der extrahierten Merkmalspunkte; – Ermitteln von optischen Parameter für die Korrektur einer Linsenverzerrung inklusive einem optischen Zentrum einer Linse unter Verwendung der aufgenommenen Bilder, und Abbilden von jedem der Bilder auf die Oberfläche einer Gaußschen Kugel unter Verwendung des ermittelten optischen Zentrums; – Verwenden des geschätzten relativen Standorts und Einbauwinkels der Kamera, Verändern des Winkels und des Abstands der Gaußschen Kugel, so dass die Gaußsche Kugel mit den wirklichen Referenzmustern übereinstimmt, und Anordnen der Gaußschen Kugeln in einem virtuellen dreidimensionalen Raum; und – Ermitteln eines einzelnen dreidimensionalen Bildes, indem die in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf die innere Oberfläche eines dreidimensionalen Raums abgebildet werden, der einer einzelnen großen Kugel entspricht.
Verfahren nach Anspruch 9, wobei das Anordnen der Gaußschen Kugeln im virtuellen dreidimensionalen Raum durchgeführt wird, indem ein Optimierungsalgorithmus wie z. B. PSO, GD und LSME verwendet wird, um Veränderungsparameter zu schätzen, wenn der Rotationswinkel und der Bewegungsabstand der Gaußschen Kugel verändert werden.
Verfahren nach Anspruch 9, wobei das Anordnen der Gaußschen Kugel im virtuellen dreidimensionalen Raum ein Abgleichen mit den wirklichen Referenzmustern unter Verwendung der folgenden Gleichung aufweist: XY_p = f_pc·(S_c·R(ψ)·R(θ)·R(φ))(XY_c) wobei
wobei XY_p ein Punkt auf der inneren Oberfläche der Kugel ist, XY_c rechtwinklige Koordinaten eines Punkts auf der inneren Oberfläche der Kugel sind, wenn die Mitte der Gaußschen Kugel als Ursprung gewählt wird, S_c ein Multiplikator ist, der verwendet wird, um den Radius der Gaußschen Kugel zu vergrößern/zu verringern, f_pc eine Funktion ist, die dreidimensionale Koordinaten auf einen Punkt in einer Ebene abbildet, R(φ), R(θ) und R(ψ) Rotationsmatrizen in dreidimensionalen Koordinaten sind, φ ein Winkel ist, um welchen eine Drehung um die x-Achse stattgefunden hat, θ ein Winkel ist, um welchen eine Drehung um die y-Achse stattgefunden hat, und ψ ein Winkel ist, um welchen eine Drehung um die z-Achse stattgefunden hat.
Verfahren nach Anspruch 9, wobei das Ermitteln des einzelnen dreidimensionalen Bildes ein Abbilden der in dem virtuellen dreidimensionalen Raum angeordneten Bilder auf Bereiche der inneren Oberfläche des dreidimensionalen Raums aufweist, die der Mitte des dreidimensionalen Raums am nächsten liegen.
Verfahren nach Anspruch 9, wobei das Ermitteln des einzelnen dreidimensionalen Bildes Folgendes aufweist: – Teilen der inneren Oberfläche des dreidimensionalen Raums für individuelle geographische Längen auf der Basis der Anzahl von Kameras, um die Bilder abzubilden, die den mittleren Bereichen der Bilder entsprechen; – Teilen der inneren Oberfläche des dreidimensionalen Raums, die für die individuellen geographischen Längen geteilt worden ist, in Boden- und Nicht-Bodenebenen, und zwar auf der Basis von einer geographischen Breite, die der Bodenebene entspricht; und – Teilen der Bilder, die in dem virtuellen dreidimensionalen Raum angeordnet sind, in Boden- und Nicht-Bodenebenen, und Durchführen eines Abbildevorgangs auf entsprechende Bereiche der inneren Oberfläche des dreidimensionalen Raums.
Verfahren nach Anspruch 13, wobei das Durchführen des Abbildens durchgeführt wird, indem verschiedene Abbildungsverfahren für die Bodenebenen und die Nicht-Bodenebenen verwendet werden.
Verfahren nach Anspruch 13, wobei das Durchführen des Abbildens dann, wenn das Abbilden auf die Bodenebene des dreidimensionalen Raums durchgeführt wird, das Bringen eines Punktes (x_p, y_p, z_p) des dreidimensionalen Raums von einem Punkt der am nächsten angrenzenden Gaußschen Kugel und das Abbilden des Punktes (x_p, y_p, z_p) des dreidimensionalen Raums auf den dreidimensionalen Raum aufweist, und zwar unter Verwendung eines Verfahrens, bei welchem T der folgenden Gleichung berechnet wird und dann x, y, z erhalten wird:
wobei (x, y, z) die Koordinaten eines Punktes auf der Oberfläche einer Gaußschen Kugel sind, der auf einen Punkt (x_s, y_s, z_s) in der Nicht-Bodenebene abgebildet wird, (x_c, y_c, z_c) die Mitte der Gaußschen Kugel darstellt, und R den Radius der Gaußschen Kugel darstellt.
Verfahren nach Anspruch 13, wobei das Durchführen des Abbildens dann, wenn das Abbilden auf die Bodenebene des dreidimensionalen Raums durchgeführt wird, das Bringen eines Punktes (x_p, y_p, z_p) des dreidimensionalen Raums von einem Punkt der am nächsten angrenzenden Gaußschen Kugel und das Abbilden des Punktes (x_p, y_p, z_p) des dreidimensionalen Raums auf den dreidimensionalen Raum aufweist, und zwar unter Verwendung eines Verfahrens, bei welchem T der folgenden Gleichung berechnet wird und dann x, y, z erhalten wird:
wobei (x, y, z) die Koordinaten eines Punktes auf der Oberfläche einer Gaußschen Kugel sind, der auf einen Punkt (x_s, y_s, z_s) in der Nicht-Bodenebene abgebildet wird, (x_c, y_c, z_c) die Mitte der Gaußschen Kugel darstellt, und R den Radius der Gaußschen Kugel darstellt.