DE102020127000A1

DE102020127000A1 - Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen

Info

Publication number: DE102020127000A1
Application number: DE102020127000.3A
Authority: DE
Inventors: Michael Slutsky; Yael Gefen; Lior Stein
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-11-21
Filing date: 2020-10-14
Publication date: 2021-05-27
Also published as: US20210158493A1; CN112825546A

Abstract

Ein System zur Verarbeitung von Bildern enthält ein Empfangsmodul, das so konfiguriert ist, dass es eine Vielzahl von Bildern empfängt, die von einer oder mehreren Bildgebungsvorrichtungen erzeugt werden, wobei die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, umfasst. Das System enthält auch ein Bildanalysemodul, das so konfiguriert ist, dass es ein zusammengesetztes Bild auf einer Zielbildfläche erzeugt, basierend auf mindestens dem ersten Bild und dem zweiten Bild. Das Bildanalysemodul ist so konfiguriert, dass es Schritte ausführt, die das Auswählen einer ebenen Zwischenbildfläche, das Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche, das Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche zur Erzeugung eines Zwischenbildes und das Projizieren des Zwischenbildes auf die Zielbildfläche zur Erzeugung des zusammengesetzten Bildes umfassen.

Description

EINLEITUNG
Die Offenbarung des Themas bezieht sich auf das Gebiet der Bilderzeugung und -verarbeitung und insbesondere auf ein System und ein Verfahren zur Erzeugung zusammengesetzter Bilder unter Verwendung einer zwischengeschalteten Vielfältigkeitserzeugung.
Moderne Fahrzeuge werden zunehmend mit Kameras und/oder anderen Bildgebungsvorrichtungen und Sensoren ausgestattet, um den Fahrzeugbetrieb zu erleichtern und die Sicherheit zu erhöhen. Kameras können zu verschiedenen Zwecken in ein Fahrzeug eingebaut werden, z.B. zur Verbesserung der Sicht und der Aufmerksamkeit des Fahrers, zur Unterstützung des Fahrers und zur Durchführung von Fahrzeugsteuerungsfunktionen. Die autonome Steuerung von Fahrzeugen gewinnt immer mehr an Bedeutung, und autonome Steuerungssysteme sind mit der Fähigkeit ausgestattet, Objekte und Merkmale der Umgebung mit Hilfe von Kameras und anderen Sensoren, wie z.B. Radarsensoren, zu identifizieren. Einige Bildgebungssysteme versuchen, Panorama-Umgebungsbilder zu erzeugen, um dem Benutzer eine kontinuierliche Sicht auf eine Region um ein Fahrzeug herum zu ermöglichen. Fahrzeugbildgebungssysteme nehmen typischerweise mehrere Bilder aus unterschiedlichen Orientierungen auf und projizieren die Bilder auf eine topologische Fläche, die als eine Vielfältigkeit (manifold) bezeichnet wird. Diese Projektion führt typischerweise zu Verzerrungen oder anderen Bildartefakten, die korrigiert oder anderweitig berücksichtigt werden sollten, um das resultierende Bild zu verbessern.
BESCHREIBUNG
In einer beispielhaften Ausführungsform umfasst ein System zur Verarbeitung von Bildern eine Verarbeitungsvorrichtung mit einem Empfangsmodul, das so konfiguriert ist, dass es eine Vielzahl von Bildern empfängt, die von einer oder mehreren Bildgebungsvorrichtungen erzeugt wurden, wobei die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, umfasst. Das System enthält auch ein Bildanalysemodul, das so konfiguriert ist, dass es ein zusammengesetztes Bild auf einer Zielbildfläche erzeugt, basierend auf mindestens dem ersten Bild und dem zweiten Bild. Das Bildanalysemodul ist so konfiguriert, dass es Schritte ausführt, die das Auswählen einer ebenen Zwischenbildfläche, das Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche, das Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche zur Erzeugung eines Zwischenbildes und das Projizieren des Zwischenbildes auf die Zielbildfläche zur Erzeugung des zusammengesetzten Bildes umfassen. Das System enthält ferner ein Ausgabemodul, das zur Ausgabe des zusammengesetzten Bildes konfiguriert ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche mindestens eine ebene Fläche.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche eine Ebene, die sich von einem ersten Ort einer ersten Bildgebungsvorrichtung zu einem zweiten Ort einer zweiten Bildgebungsvorrichtung erstreckt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale sind die erste und die zweite Bildgebungsvorrichtung an einem Fahrzeug angeordnet und durch einen ausgewählten Abstand voneinander getrennt, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung überlappende Sichtfelder haben.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Kombinieren das Zusammenfügen des ersten und zweiten Bildes, indem überlappende Bereiche des ersten Bildes und des zweiten Bildes kombiniert werden, um das Zwischenbild zu erzeugen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale haben die erste und die zweite Bildgebungsvorrichtung nichtlineare Sichtfelder, und die Projektion auf die Zwischenbildfläche beinhaltet die Durchführung einer sphärischen Projektion, um das erste Bild und das zweite Bild auf der Zwischenbildfläche zu rektifizieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Projektion auf die Zwischenbildfläche die Berechnung einer oder mehrerer Bildunterschiede zwischen dem ersten Bild und dem zweiten Bild sowie die Durchführung einer unterschiedsbasierten Zusammenfügung des ersten und des zweiten Bildes.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale werden die Bilder von einer oder mehreren Kameras aufgenommen, die an einem Fahrzeug angeordnet sind, und die Zielbildfläche wird aus einer Grundebenenfläche und einer gekrümmten zweidimensionalen Fläche ausgewählt, die das Fahrzeug zumindest teilweise umgibt.
In einer beispielhaften Ausführungsform umfasst ein Verfahren zur Verarbeitung von Bildern den Empfang einer Vielzahl von Bildern durch ein Empfangsmodul, wobei die Vielzahl von Bildern durch eine oder mehrere Bildgebungsvorrichtungen erzeugt wird und die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, umfasst. Das Verfahren umfasst auch die Erzeugung eines zusammengesetzten Bildes auf einer Zielbildfläche durch ein Bildanalysemodul, basierend auf mindestens dem ersten Bild und dem zweiten Bild. Das Erzeugen des zusammengesetzten Bildes umfasst das Auswählen einer ebenen Zwischenbildfläche, das Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche, das Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche, um ein Zwischenbild zu erzeugen, und das Projizieren des Zwischenbildes auf die Zielbildfläche, um das zusammengesetzte Bild zu erzeugen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche mindestens eine ebene Fläche.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche eine Ebene, die sich von einem ersten Ort einer ersten Bildgebungsvorrichtung zu einem zweiten Ort einer zweiten Bildgebungsvorrichtung erstreckt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale sind die erste und die zweite Bildgebungsvorrichtung an einem Fahrzeug angeordnet und durch einen ausgewählten Abstand voneinander getrennt, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung überlappende Sichtfelder haben.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Kombinieren das Zusammenfügen des ersten und zweiten Bildes, indem überlappende Bereiche des ersten Bildes und des zweiten Bildes kombiniert werden, um das Zwischenbild zu erzeugen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale haben die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung nichtlineare Sichtfelder, und die Projektion auf die Zwischenbildfläche beinhaltet die Durchführung einer sphärischen Projektion, um das erste Bild und das zweite Bild auf der Zwischenbildfläche zu rektifizieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Projektion auf die Zwischenbildfläche die Berechnung einer oder mehrerer Bildunterschiede zwischen dem ersten Bild und dem zweiten Bild und die Durchführung einer unterschiedsbasierten Zusammenfügung des ersten Bildes und des zweiten Bildes.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale werden die Bilder von einer oder mehreren Kameras aufgenommen, die an einem Fahrzeug angeordnet sind, und die Zielbildfläche wird aus einer Grundebenenfläche und einer gekrümmten zweidimensionalen Fläche ausgewählt, die das Fahrzeug zumindest teilweise umgibt.
In einer beispielhaften Ausführungsform umfasst ein Fahrzeugsystem einen Speicher mit computerlesbaren Befehlen und eine Verarbeitungsvorrichtung zur Ausführung der computerlesbaren Befehle. Die computerlesbaren Befehle steuern die Verarbeitungsvorrichtung zur Durchführung von Schritten, die das Empfangen einer Vielzahl von Bildern, die von einer oder mehreren Bildgebungsvorrichtungen erzeugt werden, wobei die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, und das Erzeugen, durch ein Bildanalysemodul, eines zusammengesetzten Bildes auf einer Zielbildfläche basierend auf mindestens dem ersten Bild und dem zweiten Bild umfassen. Das Erzeugen des zusammengesetzten Bildes umfasst das Auswählen einer ebenen Zwischenbildfläche, das Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche, das Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche, um ein Zwischenbild zu erzeugen, und das Projizieren des Zwischenbildes auf die Zielbildfläche, um das zusammengesetzte Bild zu erzeugen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche mindestens eine ebene Fläche.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Zwischenbildfläche eine Ebene, die sich von einem ersten Ort einer ersten Bildgebungsvorrichtung zu einem zweiten Ort einer zweiten Bildgebungsvorrichtung erstreckt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale werden die Bilder von einer oder mehreren Kameras aufgenommen, die an einem Fahrzeug angeordnet sind, und die Zielbildfläche wird aus einer Grundebenenfläche und einer gekrümmten zweidimensionalen Fläche ausgewählt, die das Fahrzeug zumindest teilweise umgibt.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung einfach ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen genommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 eine Draufsicht eines Kraftfahrzeugs mit Aspekten eines Bildgebungssystems ist, gemäß einer beispielhaften Ausführungsform;
2 ein Computersystem darstellt, das so konfiguriert ist, dass es Aspekte der Bildverarbeitung durchführt, gemäß einer beispielhaften Ausführungsform;
3 ein Beispiel für ein Bild zeigt, das auf eine ebene Zielbildfläche projiziert wird, und Artefakte veranschaulicht, die durch die Projektion des Bildes auf die ebene Zielbildfläche entstehen können;
4 beispielhaft eine gekrümmte Zielbildfläche zeigt, die vom Bildgebungssystem aus 1 genutzt werden kann, um ein zusammengesetztes Bild zu erzeugen, gemäß einer beispielhaften Ausführungsform;
5 ein Flussdiagramm ist, das Aspekte eines Verfahrens zur Erzeugung eines zusammengesetzten Bildes auf einer Zielbildfläche darstellt, gemäß einer beispielhaften Ausführungsform;
6 beispielhaft eine Zwischenbildfläche zeigt, die vom Bildgebungssystem aus 1 zur Erzeugung eines Zwischenbildes genutzt werden kann, gemäß einer beispielhaften Ausführungsform;
7A und 7B ein Beispiel für mit Fahrzeugbildvorrichtungen aufgenommene Bilder zeigen;
8 ein Beispiel einer sphärischen Bildrektifizierung von aufgenommenen Bildern veranschaulicht;
9 ein Beispiel eines unterschiedsbasierten Zusammenfügens von Bildern veranschaulicht; und
10 ein Beispiel eines unterschiedsbasierten Zusammenfügens der aufgenommenen Bilder der 7A und 7B zeigt.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Es ist zu verstehen, dass in den Zeichnungen durchgehend gleiche Referenzziffern auf gleiche oder entsprechende Teile und Merkmale hinweisen.
Gemäß einer oder mehreren beispielhaften Ausführungsformen werden hier Verfahren und Systeme zur Bildanalyse und -erzeugung beschrieben. Eine Ausführungsform eines Bildgebungssystems ist so konfiguriert, dass es Bilder von einer oder mehreren Kameras erfasst, z.B. Kameras, die an oder in einem Fahrzeug angeordnet sind. Die Bilder werden kombiniert und auf eine Zielbildfläche (z.B. einen Zielvervielfältiger) projiziert, um ein zusammengesetztes Bild zu erzeugen. Die Zielbildfläche kann z.B. eine ebene Fläche in einer Grundebene oder eine gekrümmte Fläche sein, die das Fahrzeug zumindest teilweise umgibt (z.B. eine schüsselförmige Fläche).
Um das zusammengesetzte Bild zu erzeugen, werden Bilder von verschiedenen Kameras (oder von verschiedenen Kameraorientierungen im Falle rotierender Kameras) auf eine Zwischenbildfläche (z.B. ein Zielvervielfältiger) projiziert, die sich von der Zielbildfläche unterscheidet. In einer Ausführungsform umfasst die Zwischenbildfläche eine oder mehrere ebene Flächen, auf die Bilder projiziert werden. Als Teil der Projektion auf die Zwischenbildfläche kann das Bildgebungssystem auf Wunsch Bildverarbeitungsfunktionen wie Zusammenfügen und Rektifizieren (Entzerren) der erfassten Bilder in der Zwischenbildfläche (d.h. der Bilder, wie sie auf die Zwischenbildfläche projiziert werden) ausführen.
Die hier beschriebenen Ausführungsformen bieten eine Reihe von Vorteilen. Das Bildgebungssystem bietet eine effektive Möglichkeit, Kamerabilder zu verarbeiten und projizierte zusammengesetzte Bilder zu erzeugen, die keine Artefakte oder zumindest reduzierte Artefakte im Vergleich zu Techniken und Systemen nach dem Stand der Technik aufweisen. Zum Beispiel erzeugen moderne Umgebungssicht-Techniken typischerweise Bildartefakte, die von großen Abständen zwischen den Kameras herrühren (z.B. vergleichbar mit Abständen von abgebildeten Objekten). Die hier beschriebenen Systeme und Verfahren bieten einen algorithmischen Ansatz zur Erzeugung zusammengesetzter Bilder bei gleichzeitiger Verringerung von Artefakten wie der Eliminierung von Objekten und Geisterbildern.
1 zeigt eine Ausführungsform eines Kraftfahrzeugs 10, das einen Fahrzeugkörper 12 umfasst, der zumindest teilweise einen Insassenraum 14 definiert. Der Fahrzeugkörper 12 trägt auch verschiedene Fahrzeug-Teilsysteme, darunter eine Motorbaugruppe 16 und andere Teilsysteme zur Unterstützung der Funktionen der Motorbaugruppe 16 und anderer Fahrzeugkomponenten, wie z.B. ein Brems-Teilsystem, ein Lenk-Teilsystem, ein Kraftstoffeinspritz-Teilsystem, ein Abgas-Teilsystem und andere.
Ein oder mehrere Aspekte eines Bildgebungssystem 18 können in das Fahrzeug 10 eingebaut oder an dieses angeschlossen werden. Das Bildgebungssystem 18 ist so konfiguriert, dass es ein oder mehrere Bilder von mindestens einer Kamera erfasst und das eine oder die mehreren Bilder verarbeitet, indem es sie auf eine Zielfläche projiziert und das projizierte Bild ausgibt, wie hier weiter ausgeführt. In einer Ausführungsform nimmt das Bildgebungssystem 18 Bilder von mehreren Kameras mit unterschiedlichen Standorten und/oder Orientierungen in Bezug auf das Fahrzeug 10 auf, verarbeitet die Bilder und erzeugt ein zusammengesetztes Bild auf einer Zielbildfläche. In dieser Ausführungsform kann das Bildgebungssystem 18 verschiedene Bildverarbeitungsfunktionen ausführen, um Artefakte wie Maßstabsunterschiede, Objekteliminierung und Geisterbilder zu reduzieren oder zu eliminieren.
In einer Ausführungsform umfasst die Erzeugung des zusammengesetzten Bildes die Projektion eines oder mehrerer Bilder auf eine Zwischenbildfläche (z.B. eine oder mehrere Ebenen) und die Verarbeitung des einen oder der mehreren Bilder, um die Bilder zusammenzufügen und/oder Artefakte zu reduzieren oder zu eliminieren. Als Ergebnis dieser Projektion und Verarbeitung wird ein Zwischenbild erzeugt, das dann auf eine Zielbildfläche, z.B. eine gekrümmte (z.B. schüsselförmige) oder ebene (z.B. Grundebene) Fläche, projiziert wird.
Das Bildgebungssystem 18 in dieser Ausführungsform umfasst eine oder mehrere optische Kameras 20, die so konfiguriert sind, dass sie Bilder wie z.B. Farbbilder (RGB) aufnehmen können. Bilder können Standbilder oder Videobilder sein. Das Bildanalysesystem 18 ist beispielsweise so konfiguriert, dass es Panorama- oder Quasi-Panorama-Umgebungsbilder erzeugt (z.B. Bilder, die einen Bereich um das Fahrzeug herum darstellen 10).
Zusätzliche Vorrichtungen oder Sensoren können in das Bildgebungssystem 18 integriert werden. Zum Beispiel können eine oder mehrere Radarbaugruppen 22 in das Fahrzeug eingebaut werden 10. Obwohl das Bildgebungssystem und die Bildgebungsverfahren hier in Verbindung mit optischen Kameras beschrieben werden, können sie zur Verarbeitung und Erzeugung anderer Arten von Bildern, wie Infrarot-, Radar- und Lidar-Bilder, verwendet werden.
Die Kameras 20 und/oder Radarbaugruppen 22 kommunizieren mit einem oder mehreren Verarbeitungsvorrichtungen, wie z.B. einer bordseitigen Verarbeitungsvorrichtung 24 und/oder einem entfernten Prozessor 26, wie z.B. einem Prozessor in einem Kartierungs-, Fahrzeugüberwachungs- (z.B. Flottenüberwachungs-) oder Bildgebungssystem. Das Fahrzeug 10 kann auch ein Benutzerschnittstellensystem 28 enthalten, das es einem Benutzer (z.B. einem Fahrer oder Fahrgast) ermöglicht, Daten einzugeben, Bilder zu betrachten und anderweitig mit einer Verarbeitungsvorrichtung und/oder dem Bildanalysesystem 18 zu interagieren.
2 veranschaulicht Aspekte einer Ausführungsform eines Computersystems 30, das mit dem Bildgebungssystem 18 kommuniziert oder Teil davon ist und das verschiedene Aspekte der hier beschriebenen Ausführungsformen ausführen kann. Das Computersystem 30 enthält mindestens eine Verarbeitungsvorrichtung 32, die im Allgemeinen einen oder mehrere Prozessoren zur Durchführung der hier beschriebenen Aspekte der Bilderfassungs- und Analyseverfahren enthält. Die Verarbeitungsvorrichtung 32 kann in das Fahrzeug 10 integriert sein, z.B. als Bordprozessor 24, oder sie kann eine vom Fahrzeug 10 getrenntes Verarbeitungsvorrichtung sein, z.B. ein Server, ein Personalcomputer oder ein mobiles Gerät (z.B. ein Smartphone oder Tablet). Die Verarbeitungsvorrichtung 32 kann z.B. Teil einer oder mehrerer Motorsteuereinheiten (ECU), eines oder mehrerer Fahrzeugsteuermodule, eines oder mehrerer Cloud-Rechengeräte, eines Fahrzeug-Satellitenkommunikationssystems und/oder anderer Geräte sein oder mit diesen kommunizieren. Die Verarbeitungsvorrichtung 32 kann so konfiguriert werden, dass sie die hier beschriebenen Bildverarbeitungsverfahren ausführt und auch Funktionen im Zusammenhang mit der Steuerung verschiedener Fahrzeugteilsysteme (z.B. als Teil eines autonomen oder halbautonomen Fahrzeugsteuersystems) ausführen kann.
Zu den Komponenten des Computersystems 30 gehören die Verarbeitungsvorrichtung 32 (z.B. ein oder mehrere Prozessoren oder Verarbeitungseinheiten), ein Systemspeicher 34 und ein Bus 36, der verschiedene Systemkomponenten einschließlich des Systemspeichers 34 mit der Verarbeitungsvorrichtung 32 koppelt. Der Systemspeicher 34 kann eine Vielzahl von computersystemlesbaren Medien enthalten. Bei diesen Medien kann es sich um alle verfügbaren Medien handeln, auf die die Verarbeitungsvorrichtung 32 zugreifen kann, und sie umfassen sowohl flüchtige als auch nicht flüchtige Medien, austauschbare und nicht austauschbare Medien.
Zum Beispiel enthält der Systemspeicher 34 einen nicht flüchtigen Speicher 38 wie eine Festplatte und kann auch einen flüchtigen Speicher 40 wie einen Direktzugriffsspeicher (RAM) und/oder Cache-Speicher enthalten. Das Computersystem 30 kann darüber hinaus andere löschbare/nicht löschbare, flüchtige/nicht flüchtige Speichermedien für das Computersystem enthalten.
Der Systemspeicher 34 kann mindestens ein Programmprodukt mit einem Satz (z.B. mindestens einem) von Programmmodulen enthalten, die so konfiguriert sind, dass sie Funktionen der hier beschriebenen Ausführungsformen ausführen. Beispielsweise speichert der Systemspeicher 34 verschiedene Programmmodule, die im Allgemeinen die Funktionen und/oder Verfahren der hier beschriebenen Ausführungsformen ausführen. Ein Empfangsmodul 42 kann enthalten sein, um Funktionen im Zusammenhang mit der Erfassung und Verarbeitung empfangener Bilder und Informationen von Kameras auszuführen, und ein Bildanalysemodul 44 kann enthalten sein, um Funktionen im Zusammenhang mit der hier beschriebenen Bildverarbeitung auszuführen. Der Systemspeicher 34 kann auch verschiedene Datenstrukturen 46 speichern, wie Datendateien oder andere Strukturen, die Daten im Zusammenhang mit der Bildgebung und Bildverarbeitung speichern. Beispiele für solche Datenstrukturen sind erfasste Kameramodelle, Kamerabilder, Zwischenbilder und zusammengesetzte Bilder. Wie hier verwendet, bezieht sich der Begriff „Modul“ auf Verarbeitungsschaltungen, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder als Gruppe) und Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen können.
Die Verarbeitungsvorrichtung 32 kann auch mit einer oder mehreren externen Vorrichtungen 48 wie z.B. einer Tastatur, einem Zeigegerät und/oder beliebigen Geräten (z.B. Netzwerkkarte, Modem usw.) kommunizieren, die es der Verarbeitungsvorrichtung 32 ermöglichen, mit einem oder mehreren anderen Computergeräten zu kommunizieren. Darüber hinaus kann die Verarbeitungsvorrichtung 32 mit einem oder mehreren Vorrichtungen kommunizieren, wie z.B. den Kameras 20 und den Radarbaugruppen 22, die für die Bildanalyse verwendet werden. Die Verarbeitungsvorrichtung 32 kann auch mit anderen Vorrichtungen kommunizieren, die in Verbindung mit der Bildanalyse verwendet werden können, wie z.B. mit einem GPS (Global Positioning System)-Gerät 50 und Fahrzeugsteuergeräten oder -systemen 52 (z.B. für Fahrerassistenz und/oder autonome Fahrzeugsteuerung). Die Kommunikation mit verschiedenen Vorrichtungen kann über Eingabe/Ausgabe (E/A)-Schnittstellen 54 erfolgen.
Die Verarbeitungsvorrichtung 32 kann auch über einen Netzwerkadapter 58 mit einem oder mehreren Netzwerken 56 wie einem lokalen Netzwerk (LAN), einem allgemeinen Weitbereichsnetzwerk (WAN) und/oder einem öffentlichen Netzwerk (z.B. dem Internet) kommunizieren. Es ist zu verstehen, dass, obwohl nicht gezeigt, andere Hardware- und/oder Softwarekomponenten in Verbindung mit dem Computersystem 30 verwendet werden können. Beispiele sind u.a.: Mikrocode, Gerätetreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerk-Arrays, RAID-Systeme und Datenarchivierungs-Speichersysteme usw.
Moderne Umgebungssicht-Techniken erzeugen Bildartefakte, die von großen Abständen zwischen den Kameras herrühren (vergleichbar mit den Abständen zu den abgebildeten Objekten). Zu solchen Artefakten gehören Objektverzerrung, Objekteliminierung und Geisterbilder. Das Bildgebungssystem 18 ist so konfiguriert, dass es zusammengesetzte Bilder erzeugt, die auf Zielflächen projiziert werden, um gewünschte Ansichten relativ zum Fahrzeug 10 zu erzeugen. Beispiele für Zielflächen sind Grundebenenflächen und gekrümmte Flächen.
Das Bildgebungssystem 18 erzeugt ein zusammengesetztes Bild (z.B. eine Umgebungsansicht oder ein Umgebungsbild), indem es die erfassten Bilder auf eine Zwischenbildfläche projiziert und die projizierten Bilder auf der Zwischenbildfläche kombiniert und verarbeitet, um Bildartefakte zu reduzieren oder zu eliminieren. Die verarbeiteten und kombinierten Bilder auf der Zwischenbildfläche werden als „Zwischenbild“ bezeichnet. Anschließend wird das Zwischenbild auf eine Zielfläche projiziert.
Die Zwischenbildflächen und die Zielbildflächen sind in einer Ausführungsform virtuelle Flächen, die als „Vielfältigkeit“ („manifold“) bezeichnet werden. Die verschiedenen Flächen werden im Folgenden als Bildvielfältigkeit oder einfach als Vielfältigkeit bezeichnet; es ist jedoch zu verstehen, dass die Flächen virtuelle Flächen oder Topologien beliebiger Form sein können.
Beispiele für Umgebungsansichten oder Umgebungsbilder sind Bilder aus der Draufsicht (von einem Sichtpunkt oberhalb des Fahrzeugs 10) und Bilder einer Schüsselansicht. Umgebungsbilder aus der Draufsicht (oder Vogelperspektive) werden in der Regel durch Aufnahme mehrerer Bilder (z.B. vier Bilder in verschiedenen Orientierungen) und deren Projektion auf eine Bodenebene erzeugt. Die Schüsselperspektive ist ein Versuch, eine Ansicht des Fahrzeugs „von außen“ zu erzeugen, indem die reale dreidimensionale Welt der Fahrzeugumgebung durch ein Bild emuliert wird, das auf einen zweidimensionalen schüsselartigen Vervielfältiger projiziert wird, der aus den Kamerabildern konstruiert ist. Eine Umgebungsansicht kann eine vollständige Umgebungsansicht (d.h. eine 360-Grad-Ansicht) oder eine teilweise Umgebungsansicht (d.h. eine Ansicht von weniger als 360 Grad) sein,
Die Projektion von Bildern kann zu verschiedenen Bildartefakten führen, die die Originalbilder verzerren. Wenn beispielsweise ein aufgenommenes Bild auf eine Grundebene projiziert wird, werden Objekte in der Grundebene richtig dargestellt, während Objekte über der Ebene verschmiert und verzerrt werden. Darüber hinaus können Objekte in Bereichen, in denen sich die Sichtfelder der Kamera (FOVs) schneiden, als doppelte Objekte erscheinen (als „Geisterbilder“ bezeichnet).
3 zeigt ein Beispiel für ein von einer Kamera aufgenommenes Originalbild 60 eines Fahrzeugobjekts 62 und eines Personenobjekts 64 sowie ein projiziertes Bild 66, das sich aus der Projektion des Originalbildes auf einen ebenen Vervielfältiger ergibt, der sich an einer Grundfläche („Grundebene“) befindet. Wie gezeigt, werden Objekte in der Grundebene richtig dargestellt, aber Objekte über der Grundebene sind verzerrt. Beispielsweise werden die Füße des Personenobjekts 64 und des Fahrzeugobjekts 62 im Allgemeinen richtig dargestellt (sie sind minimal verzerrt oder in einem akzeptablen Ausmaß verzerrt). Teile des Personenobjekts 64 über der Grundebene sind jedoch verschmiert und verzerrt. Wenn mehrere Bilder auf die Grundfläche projiziert werden, können Objekte wie das Personenobjekt 64 außerdem als Doppelbilder erscheinen (als „Geisterbilder“ bezeichnet).
Artefakte wie Verzerrungen und Geisterbilder können auch bei der Projektion eines Bildes auf einen gekrümmten Vervielfältiger, wie z.B. einen Schüsselvervielfältiger, entstehen. Darüber hinaus können bei der Projektion mehrerer Bilder aus verschiedenen Sichtfeldern (FOVs) auf einen ebenen oder nicht-ebenen Vervielfältiger Objekte in den Bildern aus überlappenden gemeinsamen FOVs im projizierten Bild verschwinden (als „Objekteliminierung“ bezeichnet). Objekte im gemeinsamen FOV benachbarter Kameras unterscheiden sich oft im Aussehen (z.B. im Maßstab), was das Zusammenfügen von Bildern weiter erschwert. Ein Beispiel für einen Schüsselblick-Zielvervielfältiger 70 ist in 4 dargestellt. In diesem Beispiel werden erfasste Bilder aus einer ausgewählten Perspektive (z.B. eine Perspektive, die durch den Standort einer virtuellen Kamera 72 festgelegt ist) auf den Zielvervielfältiger projiziert.
5 zeigt eine Ausführungsform des Verfahrens 100 zur Erzeugung zusammengesetzter Bilder. Das Bildgebungssystem 18 oder eine andere Verarbeitungsvorrichtung oder -system kann zur Durchführung von Aspekten des Verfahrens 100 verwendet werden. Das Verfahren 100 wird in Verbindung mit den Blöcken 101-111 diskutiert. Das Verfahren 100 ist nicht auf die Anzahl oder Reihenfolge der darin enthaltenen Schritte beschränkt, da einige Schritte, die durch die Blöcke 101 - 111 dargestellt werden, in einer anderen Reihenfolge als der unten beschriebenen durchgeführt werden können oder weniger als alle Schritte ausgeführt werden können.
Das Verfahren 100 wird in Verbindung mit einem Beispiel für Aspekte des Bildgebungssystems 18 und einem Beispiel für eine Zielbildfläche (d.h. dem schüsselförmigen Zielvervielfältiger 70) diskutiert, wie in 6 gezeigt. In diesem Beispiel enthält das Fahrzeug 10 eine Frontkamera 20a mit einer Orientierung und einem FOV, das in eine Fahrtrichtung T zeigt, eine rechtsseitige Kamera 20b und eine linksseitige Kamera 20c mit entsprechenden Orientierungen und FOVs, die seitlich in Bezug auf die Richtung T ausgerichtet sind, und eine rückwärtige Kamera 20d mit einer Orientierung und einem FOV, das im Allgemeinen entgegengesetzt zur Richtung T gerichtet ist. Die Kameras 20a, 20b, 20c und/oder 2d können rotierbar oder stationär sein, und benachbarte Kameras haben überlappende FOVs.
Unter Bezugnahme auf 5 werden bei Block 101 die Originalbilder aus verschiedenen Orientierungen und/oder Standorten aufgenommen. Die Originalbilder können überlappende FOVs haben und von verschiedenen Kameras aufgenommen werden. Wenn die Originalbilder von einer rotierenden Kamera aufgenommen werden, kann die Zuordnung zwischen den Pixeln zweier Bilder, die aus unterschiedlichen Orientierungen der rotierenden Kamera aufgenommen werden, durch eine tiefenunabhängige Transformation beschrieben werden.
Beispielsweise empfängt das Empfangsmodul 42 Bilder, die zur gleichen oder einer ähnlichen Zeit von den Kameras aufgenommen werden. Ein Beispiel für einen erfassten Bildsatz umfasst ein Bild 74a (in 7A gezeigt), das von der Frontkamera 20a aufgenommen wird, und ein Bild 74b (in 7B gezeigt), das von der Kamera 20b auf der rechten Seite aufgenommen wird. Es ist zu erkennen, dass die Bilder starke Parallaxeneffekte aufgrund der Trennung der Kameras 20a und 20b aufweisen (z.B. etwa 1-3 Meter). Zum Beispiel ist ein Objekt 76, das ein Auto repräsentiert (das Autoobjekt 76), in den Bildern mit unterschiedlichem Maßstab, Position und Grad der Verzerrung dargestellt.
Bei Block 102 werden Informationen zur Kameraorientierung und -kalibrierung erfasst. Diese Informationen können auf der Grundlage geometrischer Modelle jeder Kamera erfasst werden.
In Block 103 werden die aufgenommenen Bilder zusammen mit den Informationen zur Kameraorientierung und -kalibrierung in eine Verarbeitungsvorrichtung wie das Bildanalysemodul 44 eingegeben. Das Bildanalysemodul 44 erzeugt ein oder mehrere kombinierte Zwischenbilder (auch „zusammengefügtes Bilde“ genannt), die in einer Ausführungsform durch Drehen der erfassten Bilder in eine gemeinsame Ausrichtung, Verarbeiten der Bilder zum Entfernen oder Reduzieren von Artefakten und Zusammenfügen der Bilder durch Vermischen der überlappenden Bereiche der Bilder erfolgen.
Die Blöcke 104-107 stellen eine Ausführungsform eines Verfahrens zur Erzeugung von Zwischenbildern dar. Bei Block 104 werden die erfassten Bilder so gedreht, dass sie eine gemeinsame Orientierung haben. Beispielsweise werden die Bilder in eine kanonische Orientierung gedreht, z.B. eine Orientierung, die einem gewünschten Zwischenvervielfältiger gegenüberliegt.
6 zeigt ein Beispiel für Zwischenvervielfältiger, bei denen es sich um ebene Vervielfältiger handelt. In diesem Beispiel gibt es vier Kameras 20a, 20b, 20c und 20d. Es werden vier ebene Zwischenvervielfältiger ausgewählt, so dass jeder Zwischenvervielfältiger zwei benachbarte Kameras schneidet. Die Zwischenvervielfältiger in diesem Beispiel werden als Zwischenvervielfältiger 80a, 80b, 80c und 80d bezeichnet.
Bei Block 105 werden die gedrehten Bilder mittels Bildrektifizierung auf einen Zwischenvervielfältiger projiziert. Es können verschiedene Bildrektifizierungsalgorithmen eingesetzt werden, wie z.B. Flächenrektifizierung, Zylinderrektifizierung und Polarrektifizierung. Wenn es sich bei den Kameras um Fischaugen-Kameras handelt, kann in einer Ausführungsform eine epipolare sphärische Rektifizierung durchgeführt werden, um die Bilder zu rektifizieren.
In Block 106 werden die Bildunterschiede berechnet, und die rektifizierten Bilder werden auf der Grundlage der Unterschiede zusammengefügt oder anderweitig kombiniert (Block 107), um ein kombiniertes Zwischenbild am Zwischenvervielfältiger zu erzeugen, das frei von Artefakten wie Geisterbildern und Objekteliminierung ist. Ein Beispiel für einen Bildunterschied wird in 7A und 7B gezeigt, in denen sich das Fahrzeugobjekt 76 in einem anderen Pixelbereich befindet.
Wenn in Block 108 mehrere zusammengefügte Bilder mit der gleichen Ausrichtung vorhanden sind, werden die mehreren zusammengefügten Bilder kombiniert und auf den Zwischenvervielfältiger projiziert, um das Zwischenbild zu erzeugen.
Bei Block 109 wird das Zwischenbild auf den Zielvervielfältiger projiziert, um das endgültige zusammengesetzte Bild zu erzeugen. Diese Projektion kann eine Texturabbildung mit Hilfe von Nachschlagetabellen (Look-Up-Tables - LUTs) oder anderen geeigneten Informationen umfassen. Darüber hinaus können die ursprünglich erfassten Bilder zur Verbesserung des endgültigen Bildes verwendet werden (z.B. zur Bestätigung, dass die Bildobjekte richtig positioniert sind und dass keine Objekte eliminiert wurden).
Bei Block 110 wird das endgültige zusammengesetzte Bild an einen Benutzer, einen Speicherort und/oder eine andere Verarbeitungsvorrichtung oder -system ausgegeben. Das endgültige Bild kann z.B. mit Hilfe des Schnittstellensystems 28 einem Fahrer angezeigt oder an eine Bilddatenbank, ein Kartierungssystem oder ein Fahrzeugüberwachungssystem übertragen werden.
In einer Ausführungsform wird das Verfahren 100 verwendet, um Zwischenbilder für mehrere Zwischenvervielfältiger zu erzeugen. Beispielsweise kann ein Fahrzeug mehrere Kameras mit unterschiedlichen Standorten und Orientierungen haben. Zwischenvervielfältiger können als mehrere Ebenen ausgewählt werden, um die verschiedenen überlappenden Bilder zwischen benachbarten Kameras zu berücksichtigen. In einer Ausführungsform wird eine Anzahl N von ebenen Zwischenvervielfältigern ausgewählt, die der Anzahl der Kameras (N Kameras) am Fahrzeug entspricht 10.
Wenn es mehrere Zwischenvervielfältiger gibt, können die durch die Blöcke 101-108 dargestellten Stufen für jeden Zwischenvervielfältiger wiederholt werden. Die resultierenden Zwischenbilder können dann kombiniert und als ein einziges endgültiges zusammengesetztes Bild auf den Zielvervielfältiger projiziert werden.
8 zeigt ein Beispiel für einen Rektifizierungsprozess, der im Rahmen des Verfahrens 100 durchgeführt werden kann. In diesem Beispiel werden erfasste Bilder, die auf die sphärischen Flächen 82 und 84 abgebildet werden, auf eine Ebene 86 projiziert. Die Ebene kann ein ausgewählter Zwischenvervielfältiger sein, wie z.B. Vervielfältiger 80a, 80b, 80c oder 80d. Im Allgemeinen umfasst die Rektifizierung der Bilder die Neuabtastung der Bilder entlang der Linien, die durch das Schneiden der sphärischen Flächen 82 und 84 mit der Ebene 86 erzeugt werden. In einer Ausführungsform hat die Rektifizierung eine epipolare Einschränkung, bei der die Neuabtastung entlang epipolarer Linien erfolgt, die den Übereinstimmungen zwischen den Pixeln in den erfassten Bildern entsprechen.
9 zeigt Aspekte eines Beispiels für das Zusammenfügen erfasster Bilder auf der Grundlage von Unterschieden. In diesem Beispiel werden zwei Bilder eines Objekts 0 aufgenommen, wobei ein erstes Bild I_L von einer linksseitigen Position und ein zweites Bild I_R von einer rechtsseitigen Position aufgenommen wird.
In diesem Beispiel gibt es einen Unterschied d in der Lage des Objekts O zwischen dem linken Bild I_L und dem rechten Bild I_R. Der Unterschied ist der Pixelabstand zwischen einem Punkt auf dem Objekt O im linksseitigen Bild I_L und dem gleichen Punkt auf dem Objekt im rechtsseitigen Bild I_R entlang einer Epipolarlinie.
Um das kombinierte Bild zu erzeugen, werden die Bilder mittels eines gewichteten Mischverfahrens unter Verwendung des Unterschieds, der in der folgenden Gleichung mit D bezeichnet wird, gemischt. Beispielsweise werden Pixel neu abgetastet und ergeben einen gewichteten Korrekturwert C[i,k], der auf jedes Pixel in einem Objekt anzuwenden ist, wobei i die Zeilennummer und k die Spaltennummer eines bestimmten Pixels ist. Der Wert C[i,k] kann anhand der folgenden Gleichung berechnet werden: $C [i, k] = (\frac{k - L R}{R L - L R}) C_{R} [i, k - D [i, k] + (\frac{R L - k}{R L - L R}) C_{L} [i, k]]$
wobei C_L eine Pixelposition auf dem linksseitigen Bild, C_R die Pixelposition auf dem rechtsseitigen Bild, D der Unterschied zwischen den Objekten, LR eine linksseitige Referenzposition auf dem Mischbild I_C und RL eine rechtsseitige Referenzposition des Mischbildes ist. Wie man sehen kann, wird das Objekt trotz einer gewissen Verzerrung als Ganzes dargestellt (ohne Verdoppelung oder Verschwinden). Es wird darauf hingewiesen, dass die obige Gleichung so symmetrisiert werden kann, dass sie eine Schätzung des Unterschiedes ausgehend von einer rechten Seite der Bilder (von rechts nach links oder R2L) und eine Schätzung des Unterschiedes ausgehend von einer linken Seite der Bilder (von links nach rechts oder L2R) enthält.
10 zeigt ein Beispiel für das Zusammenfügen der Bilder 74a und 74b auf der Grundlage von Unterschieden. In diesem Beispiel werden die Bilder auf eine parallele Ebene projiziert, und die Objekte in den Bildern werden verarbeitet, um eine Gewichtungskarte 77 mit Korrekturen zu erzeugen, die auf jedes Pixel anzuwenden sind. Die Bilder werden entsprechend den berechneten Gewichtungen gemischt, um ein kombiniertes Zwischenbild 78 zu erzeugen, das dann auf einen Zielvervielfältiger projiziert werden kann.
Obwohl die Ausführungsformen in Bezug auf das Fahrzeugbildgebungssystem beschrieben werden, sind sie nicht darauf beschränkt und können in Verbindung mit jedem System oder Gerät verwendet werden, das Kamerabilder erfasst und verarbeitet. Beispielsweise können die Ausführungsformen in Verbindung mit Sicherheitskameras, Hausüberwachungskameras und jedem anderen System verwendet werden, das Standbilder und/oder Videobilder aufnimmt und verarbeitet.
Die hier verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungsformen und ist nicht als Einschränkung der vorliegenden Offenbarung gedacht. Wie hier verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen, es sei denn, aus dem Kontext geht eindeutig etwas anderes hervor. Es wird ferner davon ausgegangen, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Spezifikation verwendet werden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder die Hinzufügung von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementkomponenten und/oder Gruppen davon ausschließen.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Anwendungsbereich abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne vom wesentlichen Anwendungsbereich der Offenbarung abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen einschließt, die in ihren Anwendungsbereich fallen.

Claims

System zum Verarbeiten von Bildern, umfassend: eine Verarbeitungsvorrichtung mit einem Empfangsmodul, das konfiguriert ist, um eine Vielzahl von Bildern zu empfangen, die von einer oder mehreren Bildgebungsvorrichtungen erzeugt werden, wobei die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, umfasst; und ein Bildanalysemodul, das konfiguriert ist, um ein zusammengesetztes Bild auf einer Zielbildfläche zu erzeugen, basierend auf mindestens dem ersten Bild und dem zweiten Bild, wobei das Bildanalysemodul konfiguriert ist, um Folgendes durchzuführen: Auswählen einer ebenen Zwischenbildfläche; Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche und Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche, um ein Zwischenbild zu erzeugen; Projizieren des Zwischenbildes auf die Zielbildfläche, um das zusammengesetzte Bild zu erzeugen; und ein Ausgabemodul, das konfiguriert ist, um das zusammengesetzte Bild auszugeben.
System nach Anspruch 1, wobei die Zwischenbildfläche mindestens eine ebene Fläche enthält.
System nach Anspruch 2, wobei die Zwischenbildfläche eine Ebene enthält, die sich von einem ersten Ort einer ersten Bildgebungsvorrichtung zu einem zweiten Ort einer zweiten Bildgebungsvorrichtung erstreckt.
System nach Anspruch 3, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung an einem Fahrzeug angeordnet und durch einen ausgewählten Abstand getrennt sind, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung überlappende Sichtfelder haben.
Verfahren zum Verarbeiten von Bildern, umfassend: Empfangen einer Vielzahl von Bildern durch ein Empfangsmodul, wobei die Vielzahl von Bildern durch eine oder mehrere Bildgebungsvorrichtungen erzeugt wird, wobei die Vielzahl von Bildern ein erstes Bild, das von einem ersten Ort und einer ersten Orientierung aufgenommen wird, und ein zweites Bild, das von einem zweiten Ort und einer zweiten Orientierung aufgenommen wird, umfasst; und Erzeugen, durch ein Bildanalysemodul, eines zusammengesetzten Bildes auf einer Zielbildfläche basierend auf mindestens dem ersten Bild und dem zweiten Bild, wobei das Erzeugen des zusammengesetzten Bildes umfasst: Auswählen einer ebenen Zwischenbildfläche; Projizieren des ersten Bildes und des zweiten Bildes auf die Zwischenbildfläche; und Kombinieren des projizierten ersten Bildes und des projizierten zweiten Bildes auf die Zwischenbildfläche, um ein Zwischenbild zu erzeugen; und Projizieren des Zwischenbildes auf die Zielbildfläche, um das zusammengesetzte Bild zu erzeugen.
Verfahren nach Anspruch 5, wobei die Zwischenbildfläche eine Ebene umfasst, die sich von einem ersten Ort einer ersten Bildgebungsvorrichtung zu einem zweiten Ort einer zweiten Bildgebungsvorrichtung erstreckt, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung an einem Fahrzeug angeordnet und durch einen ausgewählten Abstand getrennt sind, und wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung überlappende Sichtfelder haben.
Verfahren nach Anspruch 6, wobei das Kombinieren das Zusammenfügen des ersten und zweiten Bildes durch Kombinieren überlappender Bereiche des ersten Bildes und des zweiten Bildes umfasst, um das Zwischenbild zu erzeugen.
Verfahren nach Anspruch 7, wobei die erste Bildgebungsvorrichtung und die zweite Bildgebungsvorrichtung nichtlineare Sichtfelder haben und das Projizieren auf die Zwischenbildfläche das Durchführen einer sphärischen Projektion umfasst, um das erste Bild und das zweite Bild auf der Zwischenbildfläche zu rektifizieren.
Verfahren nach Anspruch 8, wobei das Projektion auf die Zwischenbildfläche das Berechnen eines oder mehrerer Bildunterschiede zwischen dem ersten Bild und dem zweiten Bild und das Durchführen einer unterschiedsbasierten Zusammenfügung des ersten Bildes und des zweiten Bildes umfasst.
Verfahren nach Anspruch 5, wobei die Bilder von einer oder mehreren Kameras aufgenommen werden, die an einem Fahrzeug angeordnet sind, und die Zielbildfläche aus einer Grundebenenfläche und einer gekrümmten zweidimensionalen Fläche ausgewählt wird, die das Fahrzeug zumindest teilweise umgibt.