DE102022105318A1

DE102022105318A1 - Erzeugen eines zusammengesetzten Bildes und Fahrerassistenz für ein Fahrzeug

Info

Publication number: DE102022105318A1
Application number: DE102022105318.0A
Authority: DE
Inventors: Akhilesh Kumar Malviya; Arindam Das; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-03-08
Filing date: 2022-03-08
Publication date: 2023-09-14

Abstract

Gemäß einem computerimplementierten Verfahren zum Erzeugen eines zusammengesetzten Bildes (9) werden ein erstes und ein zweites Bild (10a, 10c) von jeweiligen Kameras (5a, 5c) erhalten, die durch jeweilige Sätze von Posenparametern (12a, 12c) gekennzeichnet sind und überlappende Sichtfelder (6a, 6c) aufweisen. Eine erste Abweichung des Satzes von Posenparametern (12c) der ersten Kamera (5c) und des Satzes von Posenparametern (12a) der Referenzkamera (5a) wird in Abhängigkeit von dem ersten Bild (10c) und dem Referenzbild (10a) geschätzt, der Satz von Posenparametern (12c) der ersten Kamera (5c) wird auf der Basis der ersten Abweichung korrigiert und das zusammengesetzte Bild (9) wird durch Kombinieren des ersten Bildes (10c) und des Referenzbildes (10a) in Abhängigkeit von dem Satz von Posenparametern (12a) der Referenzkamera (5a) und dem korrigierten Satz von Posenparametern der ersten Kamera (5c) erzeugt.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Erzeugen eines zusammengesetzten Bildes gerichtet, wobei ein erstes Bild von einer ersten Kamera erhalten wird und ein Referenzbild von einer Referenzkamera erhalten wird, wobei die erste Kamera und die Referenzkamera durch jeweilige Sätze von Posenparametern gekennzeichnet sind und wobei ein Sichtfeld der ersten Kamera mit einem Sichtfeld der Referenzkamera überlappt. Die Erfindung ist ferner auf ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs, auf eine Datenverarbeitungseinrichtung, auf ein Fahrerassistenzsystem für ein Fahrzeug und auf ein Computerprogrammprodukt gerichtet.
Bei der Bildverarbeitung besteht häufig ein Bedarf, zwei oder mehr Kamerabilder mit verschiedenen Sichtfeldern zu vereinigen, um ein zusammengesetztes Bild zu erzeugen, das auch als zusammengefügtes Bild bezeichnet wird. Ein Beispiel einer Anwendung, die ein solches Zusammenfügen erfordert, ist das Bilden einer 360-Grad-Ansicht einer lokalen Umgebung um ein Fahrzeug. Eine solche Ansicht ist vorteilhaft, um Fahrern Informationen bereitzustellen, um sie beim Manövrieren des Fahrzeugs zu unterstützen. Um eine solche Ansicht zu bilden, werden typischerweise Bilder von zwei oder mehr Kameras, die am Fahrzeug montiert sind, mit überlappenden oder wenigstens aneinandergrenzenden Sichtfeldern erfasst. Die erfassten Bilder werden dann zusammengefügt, um eine 360-Grad-Ansicht zu bilden. Die gebildete 360-Grad-Ansicht kann dann dem Fahrer an einem zweckmäßigen Ort innerhalb des Fahrzeugs angezeigt werden.
Verschiedene Bildzusammenfügungsprozesse unter Verwendung von klassischer Bildverarbeitung wurden in 360-Grad-Ansichts-Bildungssystemen und in anderen Anwendungen verwendet. Solche zusammengesetzten Bilder weisen jedoch häufig Artefakte auf oder, mit anderen Worten, scheinbare Merkmale im zusammengesetzten Bild, die nicht genau die Realität der abgebildeten Umgebung darstellen.
Da die verschiedenen Kameras verschiedene Posen, das heißt verschiedene Positionen und/oder Orientierungen, mit Bezug auf ein Referenzkoordinatensystem aufweisen, erfordern die Zusammenfügungsprozesse die verschiedenen Posenparameter, insbesondere die verschiedenen Positionen und/oder Orientierungen, der verschiedenen Kameras zum Erzeugen des zusammengesetzten Bildes. Die Posen der Kameras können jedoch nicht immer genau bekannt sein oder können sich über die Zeit ändern, beispielsweise wenn sich die Positionen und/oder Orientierungen der Kameras mit Bezug auf das Fahrzeug ändern.
Es ist ein Ziel der vorliegenden Erfindung, Artefakte in zusammengesetzten Bildern, die durch Bildzusammenfügung erhalten werden, insbesondere Artefakte aufgrund von Ungenauigkeiten oder Abweichungen in den Kameraposen, zu verringern.
Dieses Ziel wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf der Idee, eine Abweichung von Posenparametern von verschiedenen Kameras direkt auf der Basis der Kamerabilder, die durch diese Kameras geliefert werden, zu schätzen. Die geschätzte Abweichung wird dann berücksichtigt, wenn die Bilder zusammengefügt werden.
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Erzeugen eines zusammengesetzten Bildes bereitgestellt. Dabei wird ein erstes Bild von einer ersten Kamera erhalten und ein Referenzbild wird von einer Referenzkamera erhalten, wobei die erste Kamera und die Referenzkamera durch jeweilige Sätze von Posenparametern gekennzeichnet sind und wobei ein Sichtfeld der ersten Kamera mit einem Sichtfeld der Referenzkamera überlappt. Eine erste Abweichung des Satzes von Posenparametern der ersten Kamera und des Satzes von Posenparametern der Referenzkamera wird in Abhängigkeit von dem ersten Bild und in Abhängigkeit von dem Referenzbild geschätzt. Der Satz von Posenparametern der ersten Kamera wird auf der Basis der ersten Abweichung korrigiert und das zusammengesetzte Bild wird durch Kombinieren des ersten Bildes und des Referenzbildes in Abhängigkeit von dem Satz von Posenparametern der Referenzkamera und dem korrigierten Satz von Posenparametern der ersten Kamera erzeugt.
Wenn nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens durch wenigstens eine Recheneinheit durchgeführt werden, die auch als Datenverarbeitungseinrichtung bezeichnet werden kann. Insbesondere enthält die Datenverarbeitungseinrichtung wenigstens einen Verarbeitungsschaltkreis, der dazu eingerichtet oder ausgelegt ist, ein computerimplementiertes Verfahren gemäß der Erfindung durchzuführen, und demnach die Schritte des computerimplementierten Verfahrens durchzuführen. Für diesen Zweck kann die Datenverarbeitungseinrichtung insbesondere ein Computerprogramm mit Befehlen speichern, die, wenn sie durch die Datenverarbeitungsvorrichtung, insbesondere den wenigstens einen Verarbeitungsschaltkreis, ausgeführt werden, bewirken, dass die Datenverarbeitungseinrichtung das computerimplementierte Verfahren ausführt.
Für jede Implementierung eines computerimplementierten Verfahrens zum Erzeugen eines zusammengesetzten Bildes wird jedoch ein entsprechendes Verfahren, das nicht rein computerimplementiert ist, direkt durch Aufnehmen der jeweiligen Verfahrensschritte zum Erzeugen des ersten Bildes durch die erste Kamera und Erzeugen des Referenzbildes durch die Referenzkamera erhalten.
Das Erhalten des ersten Bildes und des Referenzbildes von der ersten beziehungsweise der Referenzkamera kann beispielsweise beinhalten, dass die jeweiligen Kamerabilder direkt von den jeweiligen Kameras erhalten werden, beispielsweise als Teile von entsprechenden Bilddatenströmen oder Videodatenströmen. In einigen Implementierungen kann jedoch das Erhalten der Kamerabilder eine Zwischenspeicherung der Kamerabilder und das Auslesen der gespeicherten Kamerabilder beinhalten.
Die erste Kamera und die Referenzkamera können beispielsweise an einem Fahrzeug, insbesondere einem Kraftfahrzeug, montiert sein. Die erste Kamera und die Referenzkamera können beispielsweise ein Teil eines Rundumsichtsystems, SVS, sein, das die erste Kamera, die Referenzkamera und optional eine oder mehrere weitere Kameras aufweist. Alle Kameras des SVS-Systems können zusammen beispielsweise ein zusammengesetztes Sichtfeld von 360 Grad oder ungefähr 360 Grad um das Fahrzeug abdecken.
Dabei sind die Kameras des Rundumsichtsystems SVS, insbesondere die erste und die Referenzkamera, nicht notwendigerweise vom gleichen Typ oder, mit anderen Worten, sind nicht notwendigerweise Kameras mit derselben Brennweite, Bildpunktdichte, Auflösung und so weiter.
Eine Pose einer Kamera kann als Satz von Posenparametern, einschließlich beispielsweise drei Positionsparametern, x, y, z und drei Orientierungsparametern, die auch als Rollwinkel, Nickwinkel und Gierwinkel bezeichnet werden, verstanden werden. Die Posenparameter können in einem Referenzkoordinatensystem definiert sein, das beispielsweise ein Fahrzeugkoordinatensystem sein kann, das mit dem Fahrzeug starr verbunden ist, an dem die Kameras montiert sind. Das Referenzkoordinatensystem kann jedoch auch ein Koordinatensystem, das mit einer der Kameras starr verbunden ist, oder irgendein anderes gut definiertes dreidimensionales Koordinatensystem sein.
Ein Rollwinkel, ein Nickwinkel und ein Gierwinkel können als Drehwinkel oder Euler-Winkel des Sensorkoordinatensystems mit Bezug auf das Referenzkoordinatensystem gemäß einer vordefinierten Konvention definiert sein. Die Konvention kann beispielsweise darin bestehen, dass das Sensorkoordinatensystem sich aus dem Referenzkoordinatensystem aufgrund der folgenden drei Drehungen ergibt. Dabei wird angenommen, dass die Sensorkoordinatensysteme und das Referenzkoordinatensystem anfänglich zueinander identisch sind. Das Sensorkoordinatensystem wird um die z-Achse des Referenzkoordinatensystems um den Gierwinkel gedreht. Dann wird das resultierende Sensorkoordinatensystem um die resultierende y-Achse des resultierenden Sensorkoordinatensystems um den Nickwinkel gedreht. Dann wird das resultierende Sensorkoordinatensystem um die resultierende x-Achse des resultierenden Sensorkoordinatensystems um den Rollwinkel gedreht. Andere Konventionen sind ebenfalls möglich.
Die Sichtfelder der ersten Kamera und der Referenzkamera sind voneinander verschieden, aber überlappen. Dies schließt Fälle ein, in denen das Sichtfeld der Referenzkamera vollständig im Sichtfeld der ersten Kamera enthalten ist oder umgekehrt.
Die erste Abweichung der Posenparameter kann beispielsweise einen Abweichungswert für jeden der Posenparameter, insbesondere jeden der Positionsparameter und jeden der Orientierungsparameter, der verschiedenen Sätze von Posenparametern beinhalten. Insbesondere können zum Korrigieren des Satzes von Posenparametern der ersten Kamera die erste Abweichung, ein nominaler Satz von Posenparametern für die erste Kamera sowie der Satz von Posenparametern für die Referenzkamera berücksichtigt werden. Beispielsweise wird angenommen, dass der Satz von Posenparametern der Referenzkamera zu einem nominalen Satz von Posenparametern für die Referenzkamera exakt identisch ist. Diese Annahme muss nicht in jedem Fall korrekt sein. Zum Erzeugen des zusammengesetzten Bildes sind jedoch nur relative Abweichungen zwischen Posen von verschiedenen Kameras relevant. Daher wirkt sich die Annahme nicht auf das Ergebnis aus. Mit anderen Worten, der tatsächliche Satz von Posenparametern der Referenzkamera kann so definiert werden, dass er zum nominalen Satz von Posenparametern der Referenzkamera identisch ist.
Mittels der ersten Abweichung und des Satzes von Posenparametern der Referenzkamera kann der korrigierte Satz von Posenparametern für die erste Kamera beispielsweise durch Verschieben der individuellen Posenparameter der Referenzkamera um die individuellen Abweichungswerte, die in der ersten Abweichung enthalten sind, erhalten werden.
Das Kombinieren des ersten Bildes und des Referenzbildes, um das zusammengesetzte Bild zu erzeugen, kann auch als Zusammenfügen des ersten Bildes und des Referenzbildes miteinander bezeichnet werden. Zum Erzeugen des zusammengesetzten Bildes können jedoch in mehreren Implementierungen zusätzliche Kamerabilder und entsprechende zusätzliche korrigierte Sätze von Posen auch berücksichtigt werden. Insbesondere können alle Kamerabilder des SVS kombiniert werden, um das zusammengesetzte Bild zu erzeugen.
Für die Bildzusammenfügung oder mit anderen Worten zum Erzeugen des zusammengesetzten Bildes durch Kombinieren des ersten Bildes und des Referenzbildes kann ein herkömmlicher bekannter Bildzusammenfügungsalgorithmus verwendet werden. In einem computerimplementierten Verfahren gemäß der Erfindung wird jedoch, anstatt den Satzes von Posenparametern für die erste Kamera zu verwenden, der korrigierte Satz von Posenparametern für die erste Kamera verwendet.
Abgesehen von den ursprünglichen Kamerabildern und dem Satz von Posenparametern der Referenzkamera und dem korrigierten Satz von Posenparametern der ersten Kamera kann beispielsweise der Bildzusammenfügungsalgorithmus auch intrinsische Kameraparameter der ersten Kamera beziehungsweise der Referenzkamera zum Erzeugen des zusammengesetzten Bildes verwenden. Die intrinsischen Parameter einer Kamera können beispielsweise Parameter hinsichtlich einer Auflösung eines Bildsensors der Kamera und/oder einer Bildpunktdichte des Bildsensors und/oder einen oder mehrere Linsenversatzparameter und/oder einen oder mehrere Parameter hinsichtlich einer Abbildungsfunktion der jeweiligen Kamera und so weiter beinhalten. Das Sichtfeld und eine Brennweite der jeweiligen Kamera können beispielsweise auch als intrinsische Parameter betrachtet werden oder können von den intrinsischen Parametern ableitbar sein, wie zum Beispiel den Parametern hinsichtlich der Abbildungsfunktion. Im Gegensatz zu den intrinsischen Parametern werden die Posenparameter manchmal auch als extrinsische Kameraparameter bezeichnet.
Das Erzeugen des zusammengesetzten Bildes mittels des Bildzusammenfügungsalgorithmus kann ferner bekannte Verarbeitungsschritte, wie zum Beispiel Projektionsschritte, insbesondere das Erzeugen von Draufsichtbildern aus den Kamerabildern und/oder Projizieren der Bilder oder der Draufsichtbilder auf eine Renderfläche zum Rendern des zusammengesetzten Bildes und so weiter, beinhalten.
Da der Satz von Posenparametern der ersten Kamera auf der Basis der Analyse des ersten Bildes und des Referenzbildes selbst korrigiert wird, was möglich ist, da ihre Sichtfelder überlappen, beruht das computerimplementierte Verfahren nicht auf der Korrektheit des nominalen Satzes von Posenparametern für die erste Kamera. Daher können Abweichungen der tatsächlichen Position und/oder Orientierung der ersten Kamera mit Bezug auf eine nominale Orientierung und/oder Position der ersten Kamera wenigstens teilweise durch die Erfindung kompensiert werden, was die entsprechenden Artefakte im zusammengesetzten Bild verringert.
Gemäß mehreren Implementierungen des computerimplementierten Verfahrens wird, um die erste Abweichung zu schätzen, ein erster Algorithmus mit einem trainierten ersten künstlichen neuronalen Netzwerk auf das erste Bild und auf das Referenzbild angewendet.
Insbesondere kann das erste künstliche neuronale Netzwerk in einer herkömmlichen Weise, beispielsweise mittels überwachtem Training unter Verwendung von gelabelten Sätzen von Trainingsdaten, trainiert sein, wobei jeder Satz von Trainingsdaten zwei entsprechende Bilder und ein Label, das die Abweichung in dem Satz von Posenparametern zwischen diesen zwei Bildern beschreibt, beinhaltet. Mit anderen Worten, das trainierte erste künstliche neuronale Netzwerk kann trainiert sein, um eine jeweilige Regressionsaufgabe auszuführen, um die erste Abweichung zu bestimmen. Das erste künstliche neuronale Netzwerk kann beispielsweise wenigstens teilweise als faltendes neuronales Netzwerk, CNN, entworfen sein oder ein oder mehrere Module mit jeweiligen Faltungsschichten beinhalten.
In dieser Weise können eine schnelle und zuverlässige Detektion und Quantifizierung der ersten Abweichung erreicht werden, ohne explizit die grundlegenden Ursachen für die Abweichung, wie zum Beispiel Alterungseffekte, Montagetoleranzen und so weiter, zu kennen.
Gemäß mehreren Implementierungen wird ein Encodermodul des ersten künstlichen neuronalen Netzwerks auf erste Eingangsdaten angewendet, die vom ersten Bild abhängen, um einen ersten Satz encodierter Merkmale zu erzeugen. Ein weiteres Encodermodul des ersten künstlichen neuronalen Netzwerks wird auf Referenzeingangsdaten angewendet, die vom Referenzbild abhängen, um einen weiteren ersten Satz encodierter Merkmale zu erzeugen. Ein Abweichungsschätzmodul des ersten künstlichen neuronalen Netzwerks wird auf erste Zwischendaten, die von dem ersten Satz encodierter Merkmale und dem weiteren ersten Satz encodierter Merkmale abhängen, angewendet, um die erste Abweichung zu schätzen.
Insbesondere können die ersten Eingangsdaten das erste Bild beinhalten oder aus dem ersten Bild bestehen oder können auf der Basis eines ersten Bildes erzeugt werden. Analog können die Referenzeingangsdaten das Referenzbild beinhalten oder aus diesem bestehen oder auf der Basis des Referenzbildes erzeugt werden. Vorverarbeitungsschritte, Filterschritte oder Interpolationsschritte können beispielsweise auf das erste Bild und/oder auf das Referenzbild angewendet werden, um die ersten Eingangsdaten beziehungsweise die Referenzeingangsdaten zu erzeugen. In dieser Weise können insbesondere Unterschiede zwischen den intrinsischen Kameraparametern der ersten Kamera und der Referenzkamera, wie beispielsweise verschiedene Bildpunktdichten, kompensiert werden. Das Encodermodul und das weitere Encodermodul sowie das Abweichungsschätzmodul sind insbesondere trainierbare und trainierte Module des ersten künstlichen neuronalen Netzwerks. Insbesondere können diese Module jeweils eine oder mehrere Faltungsschichten beinhalten.
Durch Behandeln der ersten Eingangsdaten in Abhängigkeit von dem ersten Bild und der Referenzeingangsdaten in Abhängigkeit von dem Referenzbild durch verschiedene Encodermodule des ersten künstlichen neuronalen Netzwerks können die relevanten Merkmale dieser Bilder in einer besonders effizienten und genauen Weise extrahiert werden.
Gemäß mehreren Implementierungen werden der erste Satz encodierter Merkmale und der weitere erste Satz encodierter Merkmale vereinigt, insbesondere durch Anwenden eines Vereinigungsmoduls des ersten künstlichen neuronalen Netzwerks auf den ersten Satz encodierter Merkmale und den weiteren ersten Satz encodierter Merkmale. Die ersten Zwischendaten beinhalten die vereinigten ersten Sätze encodierter Merkmale.
Das Vereinigungsmodul kann auch ein trainierbares und trainiertes Modul des ersten künstlichen neuronalen Netzwerks sein. Insbesondere kann das Vereinigungsmodul den ersten Satz encodierter Merkmale und den weiteren ersten Satz encodierter Merkmale verketten, um sie zu vereinigen, oder den ersten Satz encodierter Merkmale und den weiteren ersten Satz encodierter Merkmale mitteln, um sie zu vereinigen. Kombinationen davon oder andere Techniken zur Merkmalsvereinigung können auch angewendet werden, einschließlich beispielsweise gewichteter Mittelung.
Gemäß mehreren Implementierungen unterscheidet sich eine Auflösung des ersten Bildes von einer Auflösung des Referenzbildes. Der erste Satz encodierter Merkmale wird als Merkmalskarte, insbesondere Merkmalsvektor, erzeugt und der weitere erste Satz encodierter Merkmale wird als weitere Merkmalskarte, insbesondere weiterer Merkmalsvektor erzeugt, wobei die Merkmalskarte und die weitere Merkmalskarte dieselben Dimensionen aufweisen.
Mit anderen Worten können die Merkmalskarte und die weitere Merkmalskarte beide entsprechende Vektoren mit N Einträgen sein, wobei N eine vordefinierte ganze Zahl ist.
Die Auflösung eines Bildes kann als Kombination der Anzahl von Bildpunkten in zwei Richtungen des Bildes, insbesondere entlang der Länge und der Breite des Bildes, verstanden werden. Mit anderen Worten, die Auflösung kann durch L × W gegeben sein, wobei L die Anzahl von Bildpunkten gemäß der Längendimension des Bildes und W die Anzahl von Bildpunkten gemäß der Breitendimension des Bildes bezeichnet. Dagegen entspricht die Bildpunktdichte einer Anzahl von Bildpunkten pro Längeneinheit, beispielsweise der Anzahl von Bildpunkten pro Zoll oder der Anzahl von Bildpunkten pro Zentimeter. Ein Bild kann eine einzige Bildpunktdichte oder zwei verschiedene Bildpunktdichten in der Längen- und Breitenrichtung aufweisen.
Durch Anpassen des Encodermoduls und des weiteren Encodermoduls, insbesondere ihrer Hyperparameter wie zum Beispiel einer Anzahl von Schichten, einer Anzahl von Neuronen pro Schicht, einer Faltungsfiltergröße und so weiter, an die jeweiligen Auflösungen des ersten beziehungsweise des Referenzbildes kann das Vereinigungsmodul immer denselben Typ von Eingangsdaten verarbeiten, nämlich zwei Merkmalskarten mit identischen Dimensionen. In diese Weise können Kameras mit verschiedenen Auflösungen verwendet werden, um das zusammengesetzte Bild zu erzeugen. Folglich muss das SVS des Kraftfahrzeugs nicht notwendigerweise aus identischen Kameras oder Kameras mit derselben Auflösung bestehen.
Gemäß mehreren Implementierungen unterscheidet sich eine Bildpunktdichte des ersten Bildes von einer Bildpunktdichte des Referenzbildes. Ein Interpolationsverfahren wird auf das erste Bild angewendet, insbesondere durch ein Interpolationsmodul des ersten Algorithmus, um ein interpoliertes erstes Bild zu erzeugen. Dabei stimmt eine Bildpunktdichte des interpolierten ersten Bildes mit der Bildpunktdichte des Referenzbildes überein. Das Encodermodul des ersten künstlichen neuronalen Netzwerks wird auf das interpolierte erste Bild angewendet, um den ersten Satz encodierter Merkmale zu erzeugen. Mit anderen Worten, die ersten Eingangsdaten beinhalten das interpolierte erste Bild oder bestehen aus diesem.
In einigen Implementierungen wird ein Interpolationsverfahren auf das Referenzbild, insbesondere durch das Interpolationsmodul des ersten Algorithmus, angewendet, um ein interpoliertes Referenzbild zu erzeugen, wobei eine Bildpunktdichte des ersten Bildes mit der Bildpunktdichte des interpolierten Referenzbildes übereinstimmt. Das weitere Encodermodul des ersten künstlichen neuronalen Netzwerks wird auf das interpolierte Referenzbild angewendet, um den weiteren ersten Satz encodierter Merkmale zu erzeugen.
Beispielsweise kann ein bekanntes Interpolationsverfahren, um verschiedene Bildpunktdichten von Bildern anzugleichen, verwendet werden.
Gemäß mehreren Implementierungen wird ein zweites Bild von einer zweiten Kamera erhalten, wobei die zweite Kamera durch einen jeweiligen Satz von Posenparametern gekennzeichnet ist und ein Sichtfeld der zweiten Kamera mit dem Sichtfeld der ersten Kamera überlappt. Eine zweite Abweichung des Satzes von Posenparametern der zweiten Kamera und des Satzes von Posenparametern der ersten Kamera wird in Abhängigkeit von dem zweiten Bild und dem ersten Bild geschätzt. Der Satz von Posenparametern der zweiten Kamera wird auf der Basis der zweiten Abweichung korrigiert. Das zusammengesetzte Bild wird durch Kombinieren des ersten Bildes, des zweiten Bildes und des Referenzbildes in Abhängigkeit von dem Satz von Posenparametern der Referenzkamera, dem korrigierten Satz von Posenparametern der ersten Kamera und dem korrigierten Satz von Posenparametern der zweiten Kamera erzeugt.
In derselben Weise können jeweilige Bilder von allen Kameras des SVS erhalten werden und eine Abweichung des Satzes von Posenparametern von jeder der Kameras und des Satzes von Posenparametern einer anderen der Kameras mit einem überlappenden Sichtfeld kann bestimmt werden, um den jeweiligen Satz von Posenparametern zu korrigieren. Das zusammengesetzte Bild kann dann durch Kombinieren des Referenzbildes und aller anderen Bilder in Abhängigkeit von dem Satz von Posenparametern des Referenzbildes und den korrigierten Sätzen von Posenparametern aller anderen Kameras erzeugt werden.
Gemäß mehreren Implementierungen wird zum Schätzen der zweiten Abweichung ein zweiter Algorithmus mit einem trainierten zweiten künstlichen neuronalen Netzwerk auf das zweite Bild und das erste Bild angewendet.
Gemäß mehreren Implementierungen wird ein Encodermodul des zweiten künstlichen neuronalen Netzwerks auf zweite Eingangsdaten angewendet, die von dem zweiten Bild abhängen, um einen zweiten Satz encodierter Merkmale zu erzeugen. Ein weiteres Encodermodul des zweiten künstlichen neuronalen Netzwerks wird auf weitere erste Eingangsdaten angewendet, die von dem ersten Bild abhängen, um einen weiteren zweiten Satz encodierter Merkmale zu erzeugen. Ein Abweichungsschätzmodul des zweiten künstlichen neuronalen Netzwerks wird auf zweite Zwischendaten, die von dem zweiten Satz encodierter Merkmale und dem weiteren zweiten Satz encodierter Merkmale abhängen, angewendet, um die zweite Abweichung zu schätzen.
Weitere Implementierungen, die das zweite Bild beziehungsweise die zweite Kamera beinhalten, folgen direkt aus den verschiedenen Implementierungen, die mit Bezug auf das erste Bild und die erste Kamera vorstehend beschrieben sind. Insbesondere können der zweite Satz encodierter Merkmale und der weitere zweite Satz encodierter Merkmale vereinigt werden, um die zweiten Zwischendaten zu erzeugen. Das erste Bild und das zweite Bild können beispielsweise verschiedene Auflösungen und/oder Bildpunktdichten aufweisen, die in derselben Weise behandelt werden können, wie vorstehend mit Bezug auf das erste Bild und das Referenzbild mit verschiedenen Bildpunktdichten und/oder Auflösungen beschrieben.
Gemäß mehreren Implementierungen wird ein erstes Draufsichtbild in Abhängigkeit von dem ersten Bild und dem korrigierten Satz von Posenparametern der ersten Kamera erzeugt. Ein Referenzdraufsichtbild wird in Abhängigkeit von dem Referenzbild und dem Satz von Posenparametern der Referenzkamera erzeugt. Das erste Draufsichtbild und das Referenzdraufsichtbild werden kombiniert, um ein kombiniertes Draufsichtbild zu erzeugen. Das zusammengesetzte Bild ist durch das kombinierte Draufsichtbild gegeben oder wird in Abhängigkeit von dem kombinierten Draufsichtbild erzeugt.
In einigen Implementierungen wird das kombinierte Draufsichtbild auf eine vordefinierte Renderfläche projiziert, um ein gerendertes Bild zu erzeugen, und das zusammengesetzte Bild ist durch das gerenderte Bild gegeben.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs bereitgestellt. Ein erstes Bild wird durch eine erste Kamera des Fahrzeugs erzeugt und ein Referenzbild wird durch eine Referenzkamera des Fahrzeugs erzeugt, wobei die erste Kamera und die Referenzkamera durch jeweilige Sätze von Posenparametern gekennzeichnet sind und wobei ein Sichtfeld der ersten Kamera mit einem Sichtfeld der Referenzkamera überlappt. Ein zusammengesetztes Bild wird, insbesondere durch wenigstens eine Recheneinheit des Fahrzeugs, in Abhängigkeit von dem ersten Bild und dem Referenzbild durch Ausführen eines computerimplementierten Verfahrens gemäß der Erfindung erzeugt. Das zusammengesetzte Bild oder ein Bild, das von dem zusammengesetzten Bild abhängt, wird auf einer Anzeigevorrichtung des Fahrzeugs angezeigt, um den Fahrer zum Führen des Fahrzeugs zu unterstützen.
Die erste und die zweite Kamera sind insbesondere am Fahrzeug derart montiert, dass die jeweiligen Sichtfelder wenigstens jeweilige Teile einer äußeren Umgebung des Fahrzeugs erfassen. Mit anderen Worten, die erste und die Referenzkamera sind äußere Kameras des Fahrzeugs.
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungseinrichtung bereitgestellt. Die Datenverarbeitungseinrichtung weist wenigstens einen Verarbeitungsschaltkreis auf, der dazu ausgelegt ist, ein computerimplementiertes Verfahren gemäß der Erfindung auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrerassistenzsystem, insbesondere ein fortgeschrittenes Fahrerassistenzsystem, ADAS, für ein Fahrzeug bereitgestellt. Das Fahrerassistenzsystem weist eine erste Kamera und eine Referenzkamera auf, die an dem Fahrzeug derart montierbar sind, dass die erste Kamera und die Referenzkamera durch jeweilige Sätze von Posenparametern gekennzeichnet sind und ein Sichtfeld der ersten Kamera mit einem Sichtfeld der Referenzkamera überlappt. Die erste Kamera ist dazu eingerichtet, ein erstes Bild zu erzeugen, und die Referenzkamera ist dazu eingerichtet, ein Referenzbild zu erzeugen. Das Fahrerassistenzsystem weist eine Anzeigevorrichtung auf, die dazu eingerichtet ist, ein zusammengesetztes Bild anzuzeigen, das vom ersten Bild und vom Referenzbild abhängt, und das Fahrerassistenzsystem weist wenigstens eine Recheneinheit auf. Die wenigstens eine Recheneinheit ist dazu eingerichtet, eine erste Abweichung des Satzes von Posenparametern der ersten Kamera und des Satzes von Posenparametern der Referenzkamera in Abhängigkeit von dem ersten Bild und dem Referenzbild zu schätzen. Die wenigstens eine Recheneinheit ist dazu eingerichtet, den Satz von Posenparametern der ersten Kamera auf der Basis der ersten Abweichung zu korrigieren. Die wenigstens eine Recheneinheit ist dazu eingerichtet, das zusammengesetzte Bild durch Kombinieren des ersten Bildes und des Referenzbildes in Abhängigkeit von dem Satz von Posenparametern der Referenzkamera und dem korrigierten Satz von Posenparametern der ersten Kamera zu erzeugen.
Weitere Implementierungen des Fahrerassistenzsystems gemäß der Erfindung folgen direkt aus den verschiedenen Ausführungsformen des computerimplementierten Verfahrens zum Erzeugen eines zusammengesetzten Bildes gemäß der Erfindung und umgekehrt. Insbesondere können individuelle Merkmale und entsprechende Erläuterungen in Bezug auf die verschiedenen Implementierungen des computerimplementierten Verfahrens gemäß der Erfindung analog auf entsprechende Implementierungen des Fahrerassistenzsystems gemäß der Erfindung übertragen werden. Insbesondere ist das Fahrerassistenzsystem gemäß der Erfindung dazu entworfen oder programmiert, das computerimplementierte Verfahren gemäß der Erfindung oder das Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs gemäß der Erfindung auszuführen. Das Fahrerassistenzsystem gemäß der Erfindung führt beispielsweise ein computerimplementiertes Verfahren oder ein Verfahren gemäß der Erfindung aus.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle über eine Datenverarbeitungseinrichtung, insbesondere eine Datenverarbeitungseinrichtung gemäß der Erfindung, ausgeführt werden, bewirken die Befehle, dass die Datenverarbeitungseinrichtung, insbesondere der wenigstens eine Verarbeitungsschaltkreis, ein computerimplementiertes Verfahren gemäß der Erfindung ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein weiteres Computerprogramm mit weiteren Befehlen bereitgestellt. Wenn die weitere Befehle durch ein Fahrerassistenzsystem gemäß der Erfindung, insbesondere durch die wenigstens eine Recheneinheit des Fahrerassistenzsystems, ausgeführt werden, bewirken die weiteren Befehle, dass das Fahrerassistenzsystem ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs gemäß der Erfindung ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium bereitgestellt, das ein Computerprogramm und/oder ein weiteres Computerprogramm gemäß der Erfindung speichert.
Das Computerprogramm, das weitere Computerprogramm und das computerlesbare Speichermedium gemäß der Erfindung können auch als jeweilige Computerprogrammprodukte mit den Befehlen und/oder den weiteren Befehlen bezeichnet werden.
Ein Modul eines künstlichen neuronalen Netzwerks kann als Softwaremodul oder als Softwaremodul, das auf Hardware implementiert ist, verstanden werden. Ein Softwaremodul kann als Teil einer Softwarecodefunktionalität verstanden werden, die zu einer Einheit verbunden und kombiniert ist. Ein Softwaremodul kann mehrere Verarbeitungsschritte und/oder Datenstrukturen beinhalten oder implementieren.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ein Fahrerassistenzsystem, das auch als fortgeschrittenes Fahrerassistenzsystem, ADAS, bezeichnet werden kann, kann als elektronisches Fahrzeugführungssystem verstanden werden, das dazu eingerichtet ist, einen Fahrer eines Fahrzeugs beim teilweise automatischen oder teilweise autonomen Fahren zu unterstützen. Insbesondere kann das Fahrerassistenzsystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der Klassifikation SAE J3016 implementieren. Dabei bezieht sich SAE J3016 auf den entsprechenden Standard mit Datum von Juni 2018.
Wenn in der vorliegenden Offenbarung erwähnt ist, dass eine Komponente des Fahrerassistenzsystems gemäß der Erfindung, insbesondere die wenigstens eine Recheneinheit des Fahrerassistenzsystems, dazu ausgelegt, dazu eingerichtet oder dazu entworfen und so weiter ist, eine bestimmte Funktion durchzuführen oder zu realisieren, einen bestimmten Effekt zu erreichen oder einem bestimmten Zweck zu dienen, kann dies derart verstanden werden, dass die Komponente außer, dass sie im Prinzip oder theoretisch für diese Funktion, diesen Effekt oder diesen Zweck verwendbar oder geeignet ist, durch eine entsprechende Anpassung, Programmierung, physikalische Auslegung und so weiter konkret und tatsächlich in der Lage ist, die Funktion auszuführen oder zu realisieren, den Effekt zu erreichen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Figurenbeschreibung ersichtlich. Die vorstehend in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die nachstehend in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen enthalten sein. Insbesondere sind Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung enthalten. Überdies können Ausführungsformen und Merkmalskombinationen, die über die in den Rezitationen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von der Erfindung enthalten sein.
Im Folgenden wird die Erfindung mit Bezug auf spezielle beispielhafte Implementierungen und jeweilige schematische Zeichnungen im Einzelnen erläutert. In den Zeichnungen können identische oder funktional identische Elemente mit denselben Bezugszeichen bezeichnet sein. Die Beschreibung von identischen oder funktional identischen Elementen wird mit Bezug auf verschiedene Figuren nicht notwendigerweise wiederholt.
In den Figuren zeigen

1 schematisch eine Draufsicht eines Fahrzeugs mit einer beispielhaften Implementierung eines Fahrerassistenzsystems gemäß der Erfindung;
2 eine schematische Darstellung einer beispielhaften Implementierung eines computerimplementierten Verfahrens zum Erzeugen eines zusammengesetzten Bildes gemäß der Erfindung;
3 ein schematisches Blockdiagramm eines Algorithmus zur Verwendung in einer weiteren beispielhaften Implementierung eines computerimplementierten Verfahrens gemäß der Erfindung; und
4 ein schematisches Blockdiagramm eines Encodermoduls für die Verwendung in einem Algorithmus von 3.

In 1 ist eine schematische Draufsicht eines Kraftfahrzeugs 1 mit einer beispielhaften Implementierung eines Fahrerassistenzsystems 2 gemäß der Erfindung gezeigt.
Das Fahrerassistenzsystem 2 weist eine Recheneinheit 3 auf, die beispielsweise als ein oder mehrere elektronische Steuergeräte, ECUs, des Fahrzeugs 1 implementiert ist oder davon enthalten ist, sowie eine Anzeigevorrichtung 4, die mit der Recheneinheit 3 verbunden ist. Das Fahrerassistenzsystem 2 weist ferner eine Vielzahl von zwei oder mehr, im vorliegenden nicht begrenzenden Beispiel sieben, Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g auf. Die Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g sind mit der Recheneinheit 3 verbunden und weisen jeweilige Sichtfelder 6a, 6b, 6c, 6d, 6e, 6f, 6g auf.
Die Sichtfelder 6a, 6b, 6c, 6d, 6e, 6f, 6g der Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g unterscheiden sich voneinander, wobei jedes der Sichtfelder 6a, 6b, 6c, 6d, 6e, 6f, 6g mit wenigstens einem der übrigen Sichtfelder 6a, 6b, 6c, 6d, 6e, 6f, 6g überlappt. Ein gemeinsames Sichtfeld der Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g kann 360 Grad um das Fahrzeug 1 abdecken, wie in 1 gezeigt.
Insbesondere können die Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g ein Teil eines Rundumsichtsystems, SVS, des Fahrzeugs 1 sein. Die Recheneinheit 3 kann ein zusammengesetztes Bild 9 (siehe beispielsweise 2) auf der Basis von jeweiligen Kamerabildern 10a, 10b, 10c, 10d, 10e, 10f, 10g der individuellen Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g erzeugen und die Anzeigevorrichtung 4 steuern, um das zusammengesetzte Bild 9 anzuzeigen. Dazu kann die Recheneinheit 3 insbesondere ein computerimplementiertes Verfahren zum Erzeugen eines zusammengesetzten Bildes 9 gemäß der Erfindung ausführen.
Die verschiedenen Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g weisen verschiedene Positionen und/oder Orientierungen oder, mit anderen Worten, verschiedene Posen in einem vordefinierten Referenzkoordinatensystem, beispielsweise einem Fahrzeugkoordinatensystem des Fahrzeugs 1, auf. Die verschiedenen Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g können auch verschiedene Auflösungen und/oder Bildpunktdichten aufweisen. Intrinsische Kameraparameter können auch für die verschiedenen Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g unterschiedlich sein. In dem in 1 dargestellten nicht begrenzenden Beispiel kann eine Referenzkamera 5a beispielsweise eine nach vorn gewandte Weitwinkelkamera sein, die Kamera 5b kann eine nach vorn gewandte Telekamera sein, die Kameras 5c, 5d können Kameras sein, die nach vorn links beziehungsweise vorn rechts gewandt sind. Die Kameras 5e und 5f können Kameras sein, die nach hinten links beziehungsweise hinten rechts gewandt sind, und die Kamera 5g kann eine nach hinten gewandte Kamera sein. Jede der Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g ist durch einen jeweiligen Satz von Posenparametern, einschließlich einer Position, eines Gierwinkels, eines Nickwinkels und eines Rollwinkels, mit Bezug auf das Referenzkoordinatensystem gekennzeichnet.
Um das computerimplementierte Verfahren auszuführen, berechnet die Recheneinheit 3 eine Abweichung des Satzes von Posenparametern für jede der Kameras 5b, 5c, 5d, 5e, 5f, 5g mit Bezug auf eine andere Kamera der Kameras 5a, 5b, 5c, 5d, 5e, 5f, 5g, die ein überlappendes Sichtfeld 6a, 6b, 6c, 6d, 6e, 6f, 6g aufweist. Ein entsprechendes computerimplementiertes Verfahren ist schematisch in 2 dargestellt.
Die Recheneinheit 3 kann einen Satz von Algorithmen 8 ausführen, um die Abweichungen der Sätze von Posenparametern zu berechnen. Ein Algorithmus 8b kann beispielsweise auf ein Referenzbild 10a der Referenzkamera 5a und auf ein Bild 10b der Kamera 5b angewendet werden. Der entsprechende Satz von Posenparametern 12b der Kamera 5b wird dann durch die Recheneinheit 3 in Abhängigkeit von der geschätzten Abweichung des Satzes von Posenparametern korrigiert. Analog wird der Satz von Posenparametern 12c der Kamera 5c auf der Basis einer Abweichung korrigiert, die durch Anwenden eines Algorithmus 8c auf das Bild 10c, das durch die Kamera 5c erzeugt wird, und das Referenzbild 10a berechnet wird. Der Satz von Posenparametern 12d der Kamera 5d wird auf der Basis einer Abweichung korrigiert, die durch Anwenden eines Algorithmus 8d auf das Bild 10d, das durch die Kamera 5d erzeugt wird, und das Referenzbild 10a berechnet wird. Es wird angemerkt, dass das Sichtfeld 6a der Referenzkamera 5a mit jedem der Sichtfelder 6b, 6c und 6d überlappt.
Die Sichtfelder 6e und 6f überlappen mit dem Sichtfeld 6d. Folglich wird der Satz von Posenparametern 12e der Kamera 5e auf der Basis einer Abweichung korrigiert, die durch Anwenden eines Algorithmus 8e auf das Bild 10e, das durch die Kamera 5e erzeugt wird, und das Bild 10d berechnet wird. Ferner wird der Satz von Posenparametern 12f der Kamera 5f auf der Basis einer Abweichung korrigiert, die durch Anwenden eines Algorithmus 8f auf das Bild 10f, das durch die Kamera 5f erzeugt wird, und das Bild 10d berechnet wird.
Das Sichtfeld 6g überlappt beispielsweise mit dem Sichtfeld 6f. Folglich wird der Satz von Posenparametern 12g der Kamera 5g auf der Basis einer Abweichung korrigiert, die durch Anwenden eines Algorithmus 8g auf das Bild 10g, das durch die Kamera 5g erzeugt wird, und das Bild 10f berechnet wird.
Nachdem alle Abweichungen durch die Algorithmen 8 berechnet wurden, werden die korrigierten Sätze von Posenparametern zusammen mit dem Satz von Posenparametern 12a der Referenzkamera 5a als Eingabe einem herkömmlichen Bildzusammenfügungsalgorithmus 7 zusammen mit allen Bildern 10a, 10b, 10c, 10d, 10e, 10f, 10g bereitgestellt. Der Bildzusammenfügungsalgorithmus 7 erzeugt dann das zusammengesetzte Bild 9 auf der Basis dieser Eingabe. Der Bildzusammenfügungsalgorithmus 7 kann beispielsweise ein inverses perspektivisches Abbildungsmodul (nicht gezeigt) aufweisen, das auf die Bilder 10a, 10b, 10c, 10d, 10e, 10f, 10g angewendet wird, um entsprechende Draufsichtbilder zu erzeugen, und die Draufsichtbilder können dann auf einer Schalenfläche oder einer anderen Renderfläche gerendert werden, um das zusammengesetzte Bild 9 zu erzeugen.
In 3 ist der Algorithmus 8c schematisch als Beispiel gezeigt. Die restlichen Algorithmen 8b, 8d, 8e, 8f und 8g können analog aufgebaut sein.
Ein künstliches neuronales Netzwerk des Algorithmus 8c weist zwei Encodermodule 15, 16, ein Vereinigungsmodul 11 und ein Abweichungsschätzmodul 14 auf. Das Encodermodul 15 wird auf das Referenzbild 10a angewendet und das Encodermodul 16 wird auf das Bild 10c oder, falls sich die Bildpunktdichte des Bildes 10c von der Bildpunktdichte des Referenzbildes 10a unterscheidet, auf ein interpoliertes Bild, das durch ein Interpolationsmodul 17 auf der Basis des Bildes 10c erzeugt wird, angewendet.
Eine schematische Darstellung des Encodermoduls 15 ist in 4 gezeigt. Das Encodermodul 16 kann analog entworfen sein.
Im Allgemeinen weist das Encodermodul 15 eine Reihe von Faltungsschichten 18 für eine tiefe Merkmalsextraktion auf. Je tiefer der Encoder ist, desto mehr Details sind von den extrahierten Merkmalen enthalten. Der Typ des Encoders kann jedoch auf der Basis von Einschränkungen der tatsächlichen Implementierung ausgewählt werden. Standardencoderfamilien wie zum Beispiel ResNet, VGG, Inception und so weiter können verwendet werden.
Da die Kamera 5a, 5b, 5c, 5d, 5e, 5f, 5g, insbesondere die Referenzkamera 5a und die Kamera 5c, verschiedene Auflösungen aufweisen können, sind die Encodermodule 15, 16 entsprechend angepasst. Die Encoder 15, 16 können beispielsweise verschiedene Auflösungen gemäß den Bildern 10a, 10c handhaben können. Jeder der Encoder der Algorithmen 8b bis 8g, insbesondere die Encodermodule 15, 16, erzeugt einen encodierten Merkmalsvektor der Größe 1xN, wobei N dieselbe ganze Zahl für alle Encoder ist. In dieser Weise werden verschiedene Auflösungen gehandhabt.
Zusätzlich zu den Faltungsschichten 18 kann das Encodermodul 15 auch eine Abflachungsschicht 19, die den Faltungsschichten 18 folgt, und eine oder mehrere vollständig verbundene Schichten 20, die der Abflachungsschicht 19 folgen, aufweisen. Das Encodermodul 15 kann auch andere Schichten wie Ausscheideschichten und/oder Maximum-Pooling-Schichten aufweisen. Jeweilige Hyperparameter der Faltungsschichten 18 werden derart eingestellt, dass die entsprechenden Auflösungen gehandhabt werden können.
Die Merkmalsvektoren oder, mit anderen Worten, die Sätze von encodierten Merkmalen, die durch die Encodermodule 15, 16 erzeugt werden, werden in das Vereinigungsmodul 11 eingespeist. Das Vereinigungsmodul 11 ist ein trainiertes Modul, das die encodierten Merkmalsvektoren nimmt und sie vereinigt, um einen Satz von vereinigten Merkmalen zu erzeugen. Der Satz von vereinigten Merkmalen wird dann in das Abweichungsschätzmodul 14 eingespeist, das trainiert ist, um die Abweichung in den Posenparametern der Referenzkamera 5a und der Kamera 5c zu berechnen oder zu schätzen.
Der Algorithmus 8c kann ferner ein nicht trainierbares Korrekturmodul 13 aufweisen, das die Abweichung der Posenparameter vom Abweichungsschätzmodul 14 und den nominalen Satz von Posenparametern 12c für die Kamera 5c nimmt und ihn korrigiert, um einen korrigierten Satz von Posenparametern für die Kamera 5c auszugeben.
In derselben Weise können die anderen Sätze von korrigierten Posenparametern, wie mit Bezug auf 2 beschrieben, erzeugt werden.
Wie beschrieben, insbesondere mit Bezug auf die Figuren, ermöglicht die Erfindung, ein zusammengesetztes Bild mit verringerten Artefakten aufgrund einer Fehlausrichtung der beitragenden Kameras zu erzeugen, wobei insbesondere verschiedene Typen von Kameras mit verschiedenen Sichtfeldern, unterschiedlicher Brennweite, unterschiedlicher Bildpunktdichte und/oder unterschiedlicher Auflösung verwendet werden können. Insbesondere ist keine weitere Sensoreingabe, beispielsweise von Radarsensorsystemen, Lidarsensorsystemen und so weiter, gemäß der Erfindung erforderlich.

Claims

Computerimplementiertes Verfahren zum Erzeugen eines zusammengesetzten Bildes (9), wobei ein erstes Bild (10c) von einer ersten Kamera (5c) erhalten wird und ein Referenzbild (10a) von einer Referenzkamera (5a) erhalten wird, wobei die erste Kamera (5c) und die Referenzkamera (5a) durch jeweilige Sätze von Posenparametern (12a, 12c) gekennzeichnet sind und wobei ein Sichtfeld (6c) der ersten Kamera (5c) mit einem Sichtfeld (6a) der Referenzkamera (5a) überlappt, dadurch gekennzeichnet, dass - eine erste Abweichung des Satzes von Posenparametern (12c) der ersten Kamera (5c) und des Satzes von Posenparametern (12a) der Referenzkamera (5a) in Abhängigkeit von dem ersten Bild (10c) und dem Referenzbild (10a) geschätzt wird; - der Satz von Posenparametern (12c) der ersten Kamera (5c) auf der Basis der ersten Abweichung korrigiert wird; und - das zusammengesetzte Bild (9) durch Kombinieren des ersten Bildes (10c) und des Referenzbildes (10a) in Abhängigkeit von dem Satz von Posenparametern (12a) der Referenzkamera (5a) und dem korrigierten Satz von Posenparametern der ersten Kamera (5c) erzeugt wird.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Schätzen der ersten Abweichung ein erster Algorithmus (8c) mit einem trainierten ersten künstlichen neuronalen Netzwerk (13, 14, 15, 16) auf das erste Bild (10c) und das Referenzbild (10a) angewendet wird.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass - ein Encodermodul (16) des ersten künstlichen neuronalen Netzwerks (13, 14, 15, 16) auf erste Eingangsdaten, die von dem ersten Bild (10c) abhängen, angewendet wird, um einen ersten Satz encodierter Merkmale zu erzeugen; - ein weiteres Encodermodul (15) des ersten künstlichen neuronalen Netzwerks (13, 14, 15, 16) auf Referenzeingangsdaten, die von dem Referenzbild (10a) abhängen, angewendet wird, um einen weiteren ersten Satz encodierter Merkmale zu erzeugen; - ein Abweichungsschätzmodul (14) des ersten künstlichen neuronalen Netzwerks (13, 14, 15, 16) auf erste Zwischendaten, die von dem ersten Satz encodierter Merkmale und von dem weiteren ersten Satz encodierter Merkmale abhängen, angewendet wird, um die erste Abweichung zu schätzen.
Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der erste Satz encodierter Merkmale und der weitere erste Satz encodierter Merkmale vereinigt werden und die ersten Zwischendaten die vereinigten ersten Sätze encodierter Merkmale beinhalten.
Computerimplementiertes Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass - eine Auflösung des ersten Bildes (10c) sich von einer Auflösung des Referenzbildes (10a) unterscheidet; - der erste Satz encodierter Merkmale als Merkmalskarte erzeugt wird und der weitere erste Satz encodierter Merkmale als weitere Merkmalskarte erzeugt wird, wobei die Merkmalskarte und die weitere Merkmalskarte dieselben Dimensionen aufweisen.
Computerimplementiertes Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass eine Bildpunktdichte des ersten Bildes (10c) sich von einer Bildpunktdichte des Referenzbildes (10a) unterscheidet, und - ein Interpolationsverfahren (17) auf das erste Bild (10c) angewendet wird, um ein interpoliertes erstes Bild zu erzeugen, wobei eine Bildpunktdichte des interpolierten ersten Bildes mit der Bildpunktdichte des Referenzbildes (1 0a) übereinstimmt und das Encodermodul auf das interpolierte erste Bild angewendet wird, um den ersten Satz encodierter Merkmale zu erzeugen; oder - ein Interpolationsverfahren auf das Referenzbild (10a) angewendet wird, um ein interpoliertes Referenzbild zu erzeugen, wobei eine Bildpunktdichte des ersten Bildes (1 0c) mit der Bildpunktdichte des interpolierten Referenzbildes übereinstimmt und das weitere Encodermodul auf das interpolierte Referenzbild (10a) angewendet wird, um den weiteren ersten Satz encodierter Merkmale zu erzeugen.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass - ein zweites Bild (1 0e) von einer zweiten Kamera (5e) erhalten wird, wobei die zweite Kamera (5e) durch einen entsprechenden Satz von Posenparametern (12e) gekennzeichnet ist und wobei ein Sichtfeld (6e) der zweiten Kamera (5e) mit dem Sichtfeld (6c) der ersten Kamera (5c) überlappt; - eine zweite Abweichung des Satzes von Posenparametern (12e) der zweiten Kamera (5e) und des ersten Satzes von Posenparametern (12c) der ersten Kamera (5c) in Abhängigkeit von dem zweiten Bild (10e) und dem ersten Bild (10c) geschätzt wird; - der Satz von Posenparametern (12e) der zweiten Kamera (5e) auf der Basis der zweiten Abweichung korrigiert wird; - das zusammengesetzte Bild (9) durch Kombinieren des ersten Bildes (10c), des zweiten Bildes (10e) und des Referenzbildes (10a) in Abhängigkeit von dem Satz von Posenparametern (12a) der Referenzkamera (5a), dem korrigierten Satz von Posenparametern der ersten Kamera (5c) und dem korrigierten Satz von Posenparametern der zweiten Kamera (5e) erzeugt wird.
Computerimplementiertes Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zum Schätzen der zweiten Abweichung ein zweiter Algorithmus (8e) mit einem trainierten zweiten künstlichen neuronalen Netzwerk auf das zweite Bild (10e) und das erste Bild (1 0c) angewendet wird.
Computerimplementiertes Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass - ein Encodermodul des zweiten künstlichen neuronalen Netzwerks auf zweite Eingangsdaten, die von dem zweiten Bild (10e) abhängen, angewendet wird, um einen zweiten Satz encodierter Merkmale zu erzeugen; - ein weiteres Encodermodul des zweiten künstlichen neuronalen Netzwerks auf weitere erste Eingangsdaten, die von dem ersten Bild (10c) abhängen, angewendet wird, um einen weiteren zweiten Satz encodierter Merkmale zu erzeugen; - ein Abweichungsschätzmodul des zweiten künstlichen neuronalen Netzwerks auf zweite Zwischendaten, die von dem zweiten Satz encodierter Merkmale und dem weiteren zweiten Satz encodierter Merkmale abhängen, angewendet wird, um die zweite Abweichung zu schätzen.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zum Erzeugen des zusammengesetzten Bildes (9), - ein erstes Draufsichtbild in Abhängigkeit von dem ersten Bild (10c) und dem korrigierten Satz von Posenparametern der ersten Kamera (5c) erzeugt wird; - ein Referenzdraufsichtbild in Abhängigkeit von dem Referenzbild (10a) und dem Satz von Posenparametern (12a) der Referenzkamera (5a) erzeugt wird; - das erste Draufsichtbild und das Referenzdraufsichtbild kombiniert werden, um ein kombiniertes Draufsichtbild zu erzeugen; und - das zusammengesetzte Bild (9) durch das kombinierte Draufsichtbild gegeben ist oder in Abhängigkeit von dem kombinierten Draufsichtbild erzeugt wird.
Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das kombinierte Draufsichtbild auf eine vordefinierte Renderfläche projiziert wird, um ein gerendertes Bild zu erzeugen, und das zusammengesetzte Bild (9) durch das gerenderte Bild gegeben ist.
Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs (1), wobei - ein erstes Bild (10c) durch eine erste Kamera (5c) des Fahrzeugs (1) erzeugt wird und ein Referenzbild (10a) durch eine Referenzkamera (5a) des Fahrzeugs (1) erzeugt wird, wobei die erste Kamera (5c) und die Referenzkamera (5a) durch jeweilige Sätze von Posenparametern (12a, 12c) gekennzeichnet sind und wobei ein Sichtfeld (6c) der ersten Kamera (5c) mit einem Sichtfeld (6a) der Referenzkamera (5a) überlappt; - ein zusammengesetztes Bild (9) in Abhängigkeit von dem ersten Bild (10c) und dem Referenzbild (10a) durch Ausführen eines computerimplementierten Verfahrens nach einem der vorangehenden Ansprüche erzeugt wird; und - das zusammengesetzte Bild (9) oder ein Bild in Abhängigkeit von dem zusammengesetzten Bild (9) auf einer Anzeigevorrichtung (4) des Fahrzeugs (1) angezeigt wird, um den Fahrer zum Führen des Fahrzeugs (1) zu unterstützen.
Datenverarbeitungseinrichtung mit wenigstens einem Verarbeitungsschaltkreis, der dazu ausgelegt ist, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
Fahrerassistenzsystem (2) für ein Fahrzeug (1), aufweisend - eine erste Kamera (5c) und eine Referenzkamera (5a), die am Fahrzeug (1) derart montierbar sind, dass die erste Kamera (5c) und die Referenzkamera (5a) durch jeweilige Sätze von Posenparametern (12a, 12c) gekennzeichnet sind und ein Sichtfeld (6c) der ersten Kamera (5c) mit einem Sichtfeld (6a) der Referenzkamera (5a) überlappt, wobei die erste Kamera (5c) dazu eingerichtet ist, ein erstes Bild (10c) zu erzeugen, und die Referenzkamera (5a) dazu eingerichtet ist, ein Referenzbild (10a) zu erzeugen; - eine Anzeigevorrichtung (4), die dazu eingerichtet ist, ein zusammengesetztes Bild (9) zu erzeugen, das vom ersten Bild (10c) und vom Referenzbild (10a) abhängt, und wenigstens eine Recheneinheit (3); dadurch gekennzeichnet, dass die wenigstens eine Recheneinheit (3) dazu eingerichtet ist, - eine erste Abweichung des Satzes von Posenparametern (12c) der ersten Kamera (5c) und des Satzes von Posenparametern (12a) der Referenzkamera (5a) in Abhängigkeit von dem ersten Bild (10c) und dem Referenzbild (10a) zu schätzen; - den Satz von Posenparametern (12c) der ersten Kamera (5c) auf der Basis der ersten Abweichung zu korrigieren; und - das zusammengesetzte Bild (9) durch Kombinieren des ersten Bildes (10c) und des Referenzbildes (10a) in Abhängigkeit von dem Satz von Posenparametern (12a) der Referenzkamera (5a) und dem korrigierten Satz von Posenparametern der ersten Kamera (5c) zu erzeugen.
Computerprogrammprodukt mit Befehlen, die, - wenn sie durch eine Datenverarbeitungseinrichtung nach Anspruch 13 ausgeführt werden, die Datenverarbeitungseinrichtung dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 11 auszuführen; oder - wenn sie durch ein Fahrerassistenzsystem (2) nach Anspruch 14 ausgeführt werden, das Fahrerassistenzsystem (2) dazu veranlassen, ein Verfahren nach Anspruch 12 auszuführen.