DE102019206581A1

DE102019206581A1 - Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung

Info

Publication number: DE102019206581A1
Application number: DE102019206581.3A
Authority: DE
Inventors: Martin Bürker; Markus Friebe; Andreas PANAKOS; Danilo Djordjevic; Markus Eich
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2019-05-08
Filing date: 2019-05-08
Publication date: 2020-11-12
Also published as: EP3967030A1; JP2022529657A; CN113812144A; WO2020224730A1; US20220215668A1

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung, mit den Schritten:- Bereitstellen mehrerer Fahrzeugkameras (12, 14, 16, 18), die insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angeordnet sind (S1),- Berechnen und/oder Erzeugung von einzelnen HDR Bildern aus Bilddaten bzw. Bildern der Fahrzeugkameras (12, 14, 16, 18) (S2),- Zusammenfügen der mehreren, einzelnen HDR Bildern zu einem gesamten HDR Bild (S3),- Berechnen eines Bildes mit geringem Dynamikumfang, insbesondere eines LDR Bildes aus dem gesamten HDR Bild (S4). Ferner betrifft die Erfindung eine Vorrichtung (10) zur Erzeugung eines Bildes einer Fahrzeugumgebung.

Description

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung.
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme enthalten zum Teil Kamera-Surround-View-Systeme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Kamera-Surround-View-Systeme umfassen mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Kamera-Surround-View-Systems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung wird dann dem Fahrer vorteilhafterweise auf einer Anzeigeeinheit angezeigt.
Benachbarte Kameras von Surround-View-Systemen weisen normalerweise überlappende Sichtbereich auf. Da in diesen Bereichen mehr Informationen zur Verfügung stehen als benötigt werden, werden die Bilder in diesen Bereichen üblicherweise durch alpha-blending gemischt. Dies kann zu starken Übergängen in den Mischungsbereichen führen, wenn die Helligkeit in den angrenzenden Bildern zu stark variiert. Um dieses Problem zu überwinden, ist ein bekannter Ansatz die Helligkeit in den Bildern vor einer Mischung anzugleichen. Dies wird insbesondere durch Image Harmonization gemacht. Die Image Harmonization weist allerdings einige Nachteile auf. So ist sie beispielsweise rechenintensiv; das Sampling muss nahezu perfekt sein; die Helligkeit lässt sich in einigen Farbformaten nicht einfach einstellen; und das Abtastmuster muss zufällig genug sein, um nicht mit einem Muster in den Bildern übereinzustimmen. Insgesamt sind die Ergebnisse stark von der aktuellen Situation abhängig.
Ausgehend hiervon ist es nun Aufgabe der Erfindung, ein Verfahren bzw. eine Vorrichtung bereitzustellen, mit dem bzw. mit der die bestehenden Probleme basierend auf den Helligkeitsunterschieden benachbarter Kameras beseitigt werden können.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Eine Vorrichtung ist Gegenstand des nebengeordneten Patentanspruchs.
Gemäß einem ersten Aspekt bezieht sich die vorliegende Erfindung auf ein Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung, mit den Schritten:

- Bereitstellen mehrerer Fahrzeugkameras, die insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angeordnet sind,
- Berechnen und/oder Erzeugung von einzelnen HDR Bildern aus Bilddaten bzw. Bildern der Fahrzeugkameras,
- Zusammenfügen der mehreren, einzelnen HDR Bildern zu einem gesamten HDR Bild,
- Berechnen eines Bildes mit geringem Dynamikumfang, insbesondere eines LDR Bildes, aus dem gesamten HDR Bild.

Die Verfahrensschritte werden insbesondere in der angegebenen Reihenfolge durchgeführt.
Das erfindungsgemäße Verfahren sorgt insbesondere dafür, dass auf die sehr aufwändige und relativ fehleranfällige Image Harmonization verzichtet werden kann, da insbesondere die Helligkeitsunterschiede in den einzelnen Bildern wegfallen.
Die mehreren Fahrzeugkameras erfassen insbesondere jeweils zumindest einen Teilbereich der Fahrzeugumgebung. Die Fahrzeugkameras bzw. die Sichtbereiche der Fahrzeugkameras weisen dabei insbesondere in verschiedene Richtungen, wobei benachbarte Fahrzeugkameras normalerweise zumindest bereichsweise überlappende Sichtbereiche aufweisen.
Im Sinne der Erfindung werden unter HDR Bildern insbesondere Bilder mit hohem Dynamikumfang verstanden. Diese sind dem Fachmann auch als High Dynamic Range Image bekannt. Solche Bilder machen es möglich, dass große Helligkeitsunterschiede im Sichtbereich der Kamera detailreich wiedergegeben werden können.
Aus den mehreren, einzelnen HDR Bildern wird insbesondere ein einziges, gesamtes HDR Bild gemacht. Das Zusammenfügen der einzelnen Bilder zu dem Gesamtbild funktioniert insbesondere auf einer dem Fachmann bekannten Weise, bevorzugt durch Stiching. Dies gilt insbesondere auch für die Überlappungsbereiche.
Im Sinne der Erfindung werden unter LDR Bildern insbesondere Bilder mit geringem Dynamikumfang verstanden. Diese sind dem Fachmann auch als Low Dynamic Range Images bekannt. Man erhält das LDR Bild insbesondere durch Kompression des Dynamikumfangs des HDR Bildes.
In einer vorteilhaften Ausgestaltung werden die einzelnen HDR Bilder an ein Steuergerät übertragen. Zur Übertragung der einzelnen HDR Bilder der einzelnen Fahrzeugkameras an ein Steuergerät sind zwar grundsätzlich größere Leistungen als bei den bekannten Verfahren notwendig, was sich folglich erst einmal negativ auf den Prozess auswirkt. Es hat sich aber überraschenderweise herausgestellt, dass sich dies dann wieder durch die anderen bzw. weiteren Schritte ausgleichen lässt. Das Steuergerät macht bevorzugt aus den mehreren, einzelnen HDR Bildern das gesamte HDR Bild. Insbesondere findet das Zusammenfügen der einzelnen HDR Bilder zu einem einzigen, gesamten HDR Bild in dem Steuergerät statt.
In einer bevorzugten Ausgestaltung erfolgt die Berechnung und/oder Erzeugung der einzelnen HDR Bilder jeweils in den einzelnen Fahrzeugkameras. Es ist grundsätzlich aber auch denkbar, dass die Berechnung der einzelnen HDR Bilder außerhalb der Fahrzeugkameras erfolgt. Hierzu können die Rohdaten der Bilder bzw. die Bilddaten an eine Vorrichtung, die sich beispielsweise im Fahrzeug, aber auch außerhalb des Fahrzeugs befinden kann, gesendet werden, wo dann die Berechnung stattfindet.
Insbesondere erfolgt die Berechnung des LDR Bildes aus dem HDR Bild mittels Tonemapping. Die Berechnung ist dabei grundsätzlich auf kein bestimmtes Tonemapping-Verfahren beschränkt. Es ist grundsätzlich die Verwendung von globalen Operatoren denkbar. Hierbei wird insbesondere eine Funktion verwendet, die jedem HDR-Wert einen dynamikkomprimierten Wert zuweist und die dann auf jeden Pixel angewandt wird. Bei der Verwendung von globalen Operatoren werden somit die Pixel des HDR-Bildes bzw. des Ausgangsbildes unabhängig voneinander verarbeitet. Insbesondere wird das HDR-Bild linear komprimiert; für alle Bildpunkte wird ein Faktor verwendet. Ferner ist auch die Verwendung von lokalen oder frequenzbasierenden Operatoren möglich. Hierbei werden insbesondere Bildregionen mit hohem Kontrast stark und Bildregionen mit geringem Kontrast weniger stark komprimiert. Beim Tonemapping wird bevorzugt die Nachbarschaft, insbesondere benachbarte Pixel, mit einbezogen.
In einer vorteilhaften Ausgestaltung nimmt jede Fahrzeugkamera pro Bild mehrere Belichtungen auf. Die einzelnen HDR Bilder werden bevorzugt aus einer Belichtungsreihe, vorteilhafterweise aus einer Belichtungsreihe von Bildern mit niedrigem Dynamikumfang, insbesondere low dynamic range, rekonstruiert.
Im Sinne der Erfindung wird unter Belichtungsreihe insbesondere eine abgestufte Reihe von Belichtungen verstanden. Dabei wird bevorzugt dasselbe Motiv insbesondere mehrmals bei unterschiedlichen Belichtungseinstellungen abgebildet. Bevorzugt wird jede Bildregion in mindestens einem der Einzelbilder korrekt belichtet. Die Veränderung der Belichtung kann über die Dauer der Belichtungszeit erfolgen. Die Veränderung der Belichtung kann aber auch über die Blendenzahl oder über die Veränderung der Empfindlichkeitseinstellung gesteuert werden. Zur Berechnung der einzelnen HDR Bilder werden vorteilhafterweise Belichtungsreihen aufgenommen.
In einer bevorzugten Ausgestaltung wird das gesamte LDR Bild auf einer Darstellungseinheit angezeigt. Bei der Darstellungseinheit kann es sich um ein Display, eine Anzeige und/oder ein Head-Up Display handeln. Die Darstellungseinheit kann Teil des Fahrzeugs sein. Es ist aber auch möglich, dass die Darstellungseinheit Teil eines mobilen Endgeräts ist.
In einer vorteilhaften Ausgestaltung liefern Kameras eines Surround-View-Systems die Bilddaten der Fahrzeugumgebung. Es handelt sich hierbei insbesondere um vier Kameras, die idealerweise an unterschiedlichen Seiten des Fahrzeugs angeordnet sind. Bevorzugt handelt es sich bei den Kameras um Fisheye-Kameras.
Gemäß einem zweiten Aspekt bezieht sich die Erfindung auf eine Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung, umfassend:

- Fahrzeugkameras, die insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angebracht sind und derart ausgebildet sind, dass sie HDR Bilder erzeugen bzw. sich HDR Bilder berechnen lassen, und
- ein Steuergerät, das dazu ausgelegt ist, die mehreren, einzelnen HDR Bilder zu einem gesamten HDR Bild zusammenzufügen und daraus ein LDR-Bild zu berechnen.

Die erfindungsgemäße Vorrichtung eignet sich bevorzugt zur Durchführung eines erfindungsgemäßen Verfahrens.
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung umfasst die Vorrichtung eine Darstellungseinheit, welche das durch das Steuergerät berechnete LDR Bild ausgibt.
Vorteilhafterweise sind die Fahrzeugkameras baugleich ausgebildet. Im Sinne der Erfindung ist baugleich insbesondere dahingehend zu verstehen, dass die Fahrzeugkameras den gleichen Sensor und/oder die gleiche Optik aufweisen. Von Vorteil ist es, wenn alle Fahrzeugkameras die gleichen Werte für Belichtungszeit(en), Empfindlichkeit(en), Blende, AD- Wandler und/oder ISP verwenden.
Die Fahrzeugkameras sind bevorzugt als Fisheye-Kameras ausgebildet. In einer bevorzugten Ausgestaltung sind die Fahrzeugkameras an unterschiedlichen Seiten des Fahrzeugs angeordnet. Von Vorteil ist es, wenn genau vier Kameras zum Einsatz kommen, wobei insbesondere eine Fahrzeugkamera an einer vorderen Seite, eine Fahrzeugkamera an einer hinteren Seite, eine Fahrzeugkamera an der rechten Seite und eine Fahrzeugkamera an einer linken Seite der Fahrzeugkarosserie angeordnet ist. Bei den Fahrzeugkameras handelt es sich insbesondere um Kameras eines Surround-View-Systems.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Zeichnungen. Hierbei zeigen:

1: schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens zur Erzeugung eines Bildes einer Fahrzeugumgebung in einer Ausgestaltung;
2: schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung in einer Ausgestaltung.

1 zeigt eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens zur Erzeugung eines Bildes einer Fahrzeugumgebung in einer Ausgestaltung. In einem ersten Schritt S1 werden mehrere Fahrzeugkameras 12, 14, 16, 18 bereitgestellt. Die Kameras 12, 14, 16, 18 sind insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angeordnet, wobei die Fahrzeugkameras 12, 14, 16, 18 bzw. die Sichtbereiche der Fahrzeugkameras 12, 14, 16, 18 bevorzugt in verschiedene Richtungen weisen. Benachbarte Fahrzeugkameras 12, 14, 16, 18 weisen insbesondere teilweise einen Überlappungsbereich auf.
In einem zweiten Schritt S2 werden einzelne HDR Bilder aus Bilddaten bzw. Bildern der Fahrzeugkameras 12, 14, 16, 18 berechnet und/oder erzeugt. Die Berechnung der einzelnen HDR Bilder findet bevorzugt jeweils in den einzelnen Fahrzeugkameras 12, 14, 16, 18 statt. Die einzelnen HDR Bilder erhält man vorteilhafterweise dadurch, dass sie aus einer Belichtungsreihe, bevorzugt aus einer Belichtungsreihe von Bildern mit niedrigem Dynamikumfang, rekonstruiert werden. Hierfür nimmt jede Fahrzeugkamera 12, 14, 16, 18 insbesondere pro Bild mehrere Belichtungen auf.
In einem dritten Schritt S3 werden die mehreren, einzelnen HDR Bildern zu einem gesamten HDR Bild zusammengefügt. Das Zusammenfügen der einzelnen HDR Bilder kann in einem Steuergerät 20 erfolgen.
In einem vierten Schritt S4 wird aus dem gesamten HDR Bild ein Bild mit geringem Dynamikumfang, bevorzugt ein LDR Bild, berechnet. Die Berechnung des LDR Bildes aus dem HDR Bild erfolgt bevorzugt mittels Tonemapping. Das gesamte LDR Bild kann dann auf einer Darstellungseinheit 22 angezeigt werden.
2 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zur Erzeugung eines Bildes einer Fahrzeugumgebung in einer Ausgestaltung. Die Vorrichtung umfasst mehrere Fahrzeugkameras 12, 14, 16, 18, die derart ausgebildet sind, dass sie HDR Bilder erzeugen können bzw. dass daraus HDR Bilder berechnet werden können. Die Fahrzeugkameras 12, 14, 16, 18 sind bevorzugt an einer Fahrzeugkarosserie eines Fahrzeuges angebracht. Insbesondere sind die Fahrzeugkameras 12, 14, 16, 18 an unterschiedlichen Seiten des Fahrzeugs angeordnet.
Die Fahrzeugkameras 12, 14, 16, 18 sind idealerweise baugleich ausgebildet. Sie weisen insbesondere den gleichen Sensor und/oder die gleiche Optik auf. Die Fahrzeugkameras 12, 14, 16, 18 können als Fisheye-Kameras ausgebildet sein. Von Vorteil ist es, wenn die Fahrzeugkameras 12, 14, 16, 18 Kameras eines Surround-View-Systems sind.
Ferner umfasst die erfindungsgemäße Vorrichtung 10 ein Steuergerät 20. Das Steuergerät 20 ist dazu ausgelegt, die mehreren, einzelnen HDR Bilder zu einem gesamten HDR Bild zusammenzufügen und daraus anschließend ein LDR-Bild zu berechnen. Die erfindungsgemäße Vorrichtung 10 kann zudem eine Darstellungseinheit 22 umfassen, welche das durch das Steuergerät 20 berechnete LDR Bild ausgibt bzw. anzeigt.
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird. Auch eine Kombination der verschiedenen Ausführungsbeispiele ist möglich.
Bezugszeichenliste

10: Vorrichtung
12: erste Fahrzeugkamera
14: zweite Fahrzeugkamera
16: dritte Fahrzeugkamera
18: vierte Fahrzeugkamera
20: Steuergerät
22: Darstellungseinheit
S1-S4: Verfahrensschritte

Claims

Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung, mit den Schritten: - Bereitstellen mehrerer Fahrzeugkameras (12, 14, 16, 18), die insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angeordnet sind (S1), - Berechnen und/oder Erzeugung von einzelnen HDR Bildern aus Bilddaten bzw. Bildern der Fahrzeugkameras (12, 14, 16, 18) (S2), - Zusammenfügen der mehreren, einzelnen HDR Bildern zu einem gesamten HDR Bild (S3), - Berechnen eines Bildes mit geringem Dynamikumfang, insbesondere eines LDR Bildes, aus dem gesamten HDR Bild (S4) .
Verfahren nach Anspruch 1, gekennzeichnet durch ein Übertragen der einzelnen HDR Bilder an ein Steuergerät (20), wobei das Steuergerät (20) aus den mehreren, einzelnen HDR Bildern das gesamte HDR Bild macht.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Berechnung der einzelnen HDR Bilder jeweils in den einzelnen Fahrzeugkameras (12, 14, 16, 18) erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass jede Fahrzeugkamera (12, 14, 16, 18) pro Bild mehrere Belichtungen aufnimmt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das gesamte LDR Bild auf einer Darstellungseinheit (22) angezeigt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Kameras (12, 14, 16, 18) eines Surround-View-Systems die Bilddaten der Fahrzeugumgebung liefern.
Vorrichtung (10) zur Erzeugung eines Bildes einer Fahrzeugumgebung aufweisend: -Fahrzeugkameras (12, 14, 16, 18), die insbesondere an einer Fahrzeugkarosserie eines Fahrzeuges angebracht sind und derart ausgebildet sind, dass sie HDR Bilder erzeugen bzw. sich HDR Bilder berechnen lassen, und -ein Steuergerät (20), das dazu ausgelegt ist, die mehreren, einzelnen HDR Bilder zu einem gesamten HDR Bild zusammenzufügen und daraus ein LDR Bild zu berechnen.
Vorrichtung (10) nach Anspruch 7, gekennzeichnet durch eine Darstellungseinheit (22), die das durch das Steuergerät (20) berechnete LDR Bild ausgibt bzw. anzeigt.
Vorrichtung (10) nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die Fahrzeugkameras (12, 14, 16, 18) baugleich sind.
Vorrichtung (10) nach einem der Ansprüche 7 bis 9, gekennzeichnet durch genau vier Fahrzeugkameras (12, 14, 16, 18), wobei insbesondere eine Fahrzeugkamera an einer vorderen Seite, eine Fahrzeugkamera an einer hinteren Seite, eine Fahrzeugkamera an der rechten Seite und eine Fahrzeugkamera an der linken Seite der Fahrzeugkarosserie angeordnet ist.