-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem zumindest zwei Kameras jeweils Bilder eines Umgebungsbereichs des Kraftfahrzeugs erfassen und sich jeweilige Sichtfelder der Kameras paarweise bereichsweise überlappen. Es wird jeweils ein Bild mittels der zumindest zwei Kameras erfasst. Aus den Bildern wird mittels einer Bildverarbeitungseinrichtung ein Gesamtbild erzeugt, wobei sich in dem Gesamtbild die Bilder in einem Überlappungsbereich überlappen, und wobei in dem Überlappungsbereich ein Alpha-Blending-Verfahren auf die Bilder angewandt wird, indem für Bildpunkte des Überlappungsbereichs Alpha-Werte bestimmt werden. Es werden jeweilige Bildpunktwerte der Bilder zumindest außerhalb des Überlappungsbereichs erfasst, und ein Unterschied zwischen den Bildpunktwerten des einen Bilds und den Bildpunktwerten des anderen Bilds wird bestimmt. Der Unterschied wird dann durch Korrigieren der Bildpunktwerte des einen Bilds und/oder der Bildpunktwerte des anderen Bilds zumindest außerhalb des Überlappungsbereichs durch die Bildverarbeitungseinrichtung kompensiert. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits Stand der Technik. In einem Kraftfahrzeug kann bekanntlich eine Vielzahl von Kameras eingesetzt werden, wobei es heutzutage mehr und mehr üblich wird, für ein Fahrerassistenzsystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden, welche jeweils einen Umgebungsbereich des Kraftfahrzeugs erfassen. Es können sogar eine Vielzahl von Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Auf einer Anzeigeeinrichtung – etwa einem LCD-Display – kann dann ein Bild der Umgebung angezeigt werden. Beispielsweise kann ein Bereich der Umgebung hinter dem Kraftfahrzeug (sogenanntes „Rear View”) oder aber ein Bereich der Umgebung vor dem Kraftfahrzeug („Front View”) auf der Anzeigeeinrichtung dargestellt werden. Es ist außerdem bekannt, aus den Bildern aller Kameras eine Draufsichtdarstellung zu erzeugen, welche eine Draufsicht auf das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive zeigt. Auch eine solche Draufsichtdarstellung kann dann auf dem Display angezeigt werden. Eine solche Vorgehensweise ist beispielsweise aus dem Dokument
US 2011/0156887 bekannt.
-
Die Erfindung geht von einem Kamerasystem aus, wie es beispielsweise in der Druckschrift
EP 2 012 271 A2 beschrieben ist. Bei diesem Kamerasystem sind mehrere Kameras an dem Kraftfahrzeug angeordnet, welche insgesamt die Umgebung um das Kraftfahrzeug herum erfassen. Die jeweiligen Sichtfelder der Kameras überlappen sich dabei gegenseitig paarweise. Aus den Bildern der Kameras wird ein Gesamtbild erzeugt, in welchem sich die Bilder unterschiedlicher Kameras in einem Überlappungsbereich überlappen. Es findet ein Abgleich der Helligkeitswerte von Objektbereichen statt.
-
Zur Erzeugung eines Gesamtbildes aus zumindest zwei Bildern, welche sich gegenseitig in einem Überlappungsbereich des Gesamtbildes überlappen, ist bereits bekannt, das so genannte Alpha-Blending (Alpha-Vermischen) zu verwenden. Beim Alpha-Blending werden zwei Bilder mit einem überlappenden Teilbereich zu einem Gesamtbild überlagert, wobei mit zunehmender Annäherung an den Rand des Sichtfelds und somit an den Rand des Überlappungsbereiches die Transparenz der Bildpunkte eines der beiden Bilder zunimmt. Wenn eine vollständige Transparenz oder Lichtdurchlässigkeit des Bildpunktes gegeben ist, so liegt beim Alpha-Blending ein Alpha-Wert von Null vor. Entsprechend steht ein Alpha-Wert von α = 1 für völlige Lichtundurchlässigkeit, es liegt also Opazität dieses Bildpunktes vor. Ein hinter dem opaken Bildpunkt des ersten Bildes angeordneter Bildpunkt des zweiten Bildes ist damit nicht mehr erkennbar.
-
In der Druckschrift
EP 2 012 271 A2 wird darüber hinaus vorgeschlagen, die Unterschiede in der Helligkeit der Bilder zu kompensieren. In der Umgebung um das Kraftfahrzeug herum treten nämlich unterschiedliche Lichtverhältnisse auf, sodass auch die Bilder unterschiedlicher Kameras unterschiedliche Helligkeitswerte aufweisen. Um bei zusammengesetzten Bildern einen sprunghaften Übergang in der Helligkeit zwischen den Bildern zu verhindern, wird hier eine Korrektur und somit eine Kompensation der Unterschiede vorgenommen. Diese Kompensation erfolgt hier im Rahmen der so genannten automatischen Verstärkungsregelung (automatic gain control, AGC).
-
Eine solche Kompensation ist außerdem aus dem Dokument
US 7 139 412 B2 bekannt.
-
In der Druckschrift
US 2011/0150329 sind statistische Methoden beschrieben, wie beispielsweise Farbverschiebungen in zusammengesetzten Bildern unterschiedlicher Kameras bestimmt und dann korrigiert werden können.
-
Aus dem Stand der Technik sind also insgesamt Korrekturverfahren bekannt, welche zur Kompensation der Unterschiede in Bildpunktwerten von Bildern dienen, welche zu einem Gesamtbild miteinander kombiniert werden. Die bekannten Korrekturverfahren haben jedoch folgende Nachteile: Werden beispielsweise die Helligkeitsunterschiede oder aber die Farbverschiebungen korrigiert, indem beispielsweise die Mittelwerte der Helligkeit der jeweiligen Bilder aneinander angeglichen werden, so können Helligkeitsinformationen oder aber Farbinformationen der Szene verloren gehen, wenn die Unterschiede zwischen den jeweiligen Bildern relativ groß sind. Verzichtet man jedoch vollständig auf eine Kompensation der Unterschiede, so können beim Zusammensetzen der unterschiedlichen Bilder Sprünge in der Helligkeit oder in den Farbwerten auftreten.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung ein gleichmäßiger Übergang zwischen den Bildern unterschiedlicher Kameras erreicht werden kann, ohne dass die jeweiligen Bilder ihre ursprüngliche Struktur verlieren.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs. Zumindest eine erste und eine zweite Kamera erfassen jeweils Bilder eines Umgebungsbereichs des Kraftfahrzeugs, wobei sich jeweilige Sichtfelder der Kameras bereichsweise überlappen. Die erste Kamera erfasst ein erstes Bild; die zweite Kamera erfasst ein zweites Bild. Aus den Bildern wird ein Gesamtbild mittels einer elektronischen Bildverarbeitungseinrichtung des Kamerasystems erzeugt, wobei sich in dem Gesamtbild die Bilder in einem Überlappungsbereich überlappen. In dem Überlappungsbereich wird ein Alpha-Blending-Verfahren auf die Bilder angewandt, indem für Bildpunkte des Überlappungsbereichs Alpha-Werte bestimmt werden. Diese Alpha-Werte definieren Transparenzwerte für das erste Bild und/oder Opazitätswerte für das zweite Bild. Es werden jeweilige Bildpunktwerte der Bilder (insbesondere Helligkeitswerte und/oder Farbwerte) zumindest außerhalb des Überlappungsbereichs erfasst. Die Bildverarbeitungseinrichtung bestimmt dann einen Unterschied zwischen den Bildpunktwerten des ersten Bilds einerseits und den Bildpunktwerten des zweiten Bilds andererseits. Die Bildverarbeitungseinrichtung kompensiert dann den Unterschied durch Korrigieren der Bildpunktwerte des ersten Bilds und/oder der Bildpunktwerte des anderen Bilds zumindest außerhalb des Überlappungsbereichs. Erfindungsgemäß ist vorgesehen, dass das Kompensieren des Unterschieds in einem Ausmaß durchgeführt wird, welches ausgehend von dem Überlappungsbereich in Richtung weg von dem Überlappungsbereich abnimmt.
-
Demnach wird das Kompensieren des Unterschieds durch Korrigieren der Bildpunktwerte des einen Bilds und/oder der Bildpunktwerte des anderen Bilds mit Korrekturwerten durchgeführt, welche ausgehend von dem Überlappungsbereich in Richtung weg von dem Überlappungsbereich und somit in Richtung zu einer Mittellinie des jeweiligen Bilds kleiner werden. Die Kompensation wird somit nahe des Überlappungsbereichs in einem größeren Ausmaß als weiter weg von dem Überlappungsbereich durchgeführt und ist somit abhängig von der Position des jeweiligen Bildpunkts im Gesamtbild. Durch eine solche Kompensation, welche nahe des Überlappungsbereichs stärker als weiter weg von dem Überlappungsbereich ist, kann insgesamt ein sehr flüssiger und gleichmäßiger Übergang zwischen den Bildern ohne sprunghafte Bildänderungen erzeugt werden. Auf der anderen Seite wird jedoch durch die schwächere Kompensation weiter weg von dem Überlappungsbereich erreicht, dass die ursprüngliche Struktur des jeweiligen Bilds nicht zu sehr beeinträchtigt wird und die dort vorhandenen Informationen nicht verloren gehen können. Der ursprüngliche Charakter der beiden Bilder kann somit aufrechterhalten werden, und gleichzeitig kann ein sprungfreier und gleichmäßiger Übergang zwischen den Bilder geschaffen werden.
-
Das aus den Bildern der zumindest zwei Kameras erzeugte Gesamtbild kann beispielsweise auf einer elektronischen Anzeigeeinrichtung im Innenraum des Kraftfahrzeugs dargestellt werden, zum Beispiel auf einem LCD-Display. Bei dem Gesamtbild kann es sich vorzugsweise um eine Draufsichtdarstellung, also um das so genannte „Bird Eye View” handeln, d. h. um ein Bild, welches das Kraftfahrzeug und seine Umgebung aus einer Vogelperspektive und somit von einem virtuellen Blickpunkt aus zeigt, der sich über dem Kraftfahrzeug befindet.
-
Die zumindest zwei Kameras sind bevorzugt Video-Kameras, welche jeweils eine Sequenz von Einzelbildern pro Sekunde erfassen können. Diese Bilder werden dann mittels der Bildverarbeitungseinrichtung verarbeitet, und aus diesen Bildern wird durch die Bildverarbeitungseinrichtung ein Video in Echtzeit erzeugt, welches eine zeitliche Sequenz von Gesamtbildern darstellt, die jeweils aus synchron erfassten Einzelbildern der Kameras erzeugt werden.
-
Vorzugsweise wird für die räumliche Verteilung des Ausmaßes der Kompensation und somit für die räumliche Verteilung der Korrekturwerte eine stetige Funktion bestimmt.
-
Dies bedeutet, dass das Ausmaß der Kompensation in Richtung weg von dem Überlappungsbereich stetig abnimmt. Somit können auch sprunghafte Bildstrukturen außerhalb des Überlappungsbereichs verhindert werden.
-
Es erweist sich als besonders vorteilhaft, wenn die Kompensation des Unterschieds im Rahmen des Alpha-Blending-Verfahrens in ein und demselben Bildverarbeitungsschritt mittels der Bildverarbeitungseinrichtung durchgeführt wird. Dies bedeutet, dass das Alpha-Blending-Verfahren und die Kompensation des Unterschieds zusammen in einem gemeinsamen Bildverarbeitungsschritt durchgeführt werden. Hierbei kann zum Beispiel die Gleichung, wie sie üblicherweise zum Alpha-Blending der Bilder verwendet wird, in entsprechender Weise angepasst werden, sodass diese Gleichung auch Einfluss auf die Bildpunkte außerhalb des Überlappungsbereichs hat und somit auch die Unterschiede in den Bildpunktwerten der Bilder kompensiert. Somit kann die Kompensation ohne zusätzlichen Aufwand vorgenommen werden, sodass auch keine zusätzlichen Hardware-Komponenten und grundsätzlich auch keine zusätzliche Rechenleistung benötigt werden. Die Kompensation erfolgt bei dieser Ausführungsform außerdem besonders schnell und kann daher auch in Echtzeit implementiert werden.
-
Als Bildpunktwerte der Bilder können in einer Ausführungsform Helligkeitswerte erfasst werden, insbesondere Luminanzwerte. Abhängig von den Helligkeitswerten der Bilder wird dann der Unterschied in der Helligkeit der Bilder erfasst und kompensiert. Dementsprechend werden die Helligkeitswerte des einen Bilds und/oder die Helligkeitswerte des anderen Bilds zumindest außerhalb des Überlappungsbereichs korrigiert und somit der Unterschied in der Helligkeit der Bilder reduziert. Auf diese Art und Weise können Sprünge in der Helligkeit des Gesamtbilds verhindert werden.
-
Ergänzend oder alternativ können als Bildpunktwerte auch Farbwerte der Bilder erfasst werden, insbesondere Chrominanzwerte. Abhängig von den Farbwerten der Bilder kann dann der Unterschied in der Farbgebung der Bilder und somit eine Farbverschiebung zwischen den Bildern erfasst und korrigiert werden. Das Kompensieren umfasst hier, dass die Farbwerte des einen Bilds und/oder die Farbwerte des anderen Bilds zumindest außerhalb des Überlappungsbereichs korrigiert werden, um die Farbverschiebung zu reduzieren. Somit können Sprünge in der Farbgebung des Gesamtbilds verhindert werden.
-
Die Bestimmung des Unterschieds zwischen den Bildpunktwerten des einen Bilds und den Bildpunktwerten des anderen Bilds kann folgendermaßen durchgeführt werden: Die Bildverarbeitungseinrichtung kann einen Mittelwert und/oder einen Medianwert der Bildpunktwerte des einen Bilds bestimmen. Die Bildverarbeitungseinrichtung kann auch einen Mittelwert und/oder einen Medianwert der Bildpunktwerte des anderen Bilds bestimmen. Der Unterschied wird dann abhängig von dem Mittelwert/Medianwert der Bildpunktwerte des einen Bilds einerseits und abhängig von dem Mittelwert/Medianwert der Bildpunktwerte des anderen Bilds andererseits bestimmt. Als Unterschied kann beispielsweise eine Differenz zwischen dem Mittelwert/Medianwert des einen Bilds und dem Mittelwert/Medianwert des anderen Bilds berechnet werden.
-
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Die Erfindung betrifft auch ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, mit einem erfindungsgemäßen Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es sei betont, dass das nachfolgend beschriebene Ausführungsbeispiel eine bevorzugte Ausführungsform der Erfindung darstellt und die Erfindung somit nicht auf diese beispielhafte Ausführungsform beschränkt ist.
-
Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
-
2 ein Blockdiagramm eines Kamerasystems gemäß einer Ausführungsform der Erfindung;
-
3 in schematischer Darstellung ein aus zwei Bildern unterschiedlicher Kameras zusammengesetztes Gesamtbild; und
-
4 in schematischer Darstellung ein Gesamtbild, welches aus Bildern von insgesamt vier Kameras erzeugt wird, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 hat ein Kamerasystem 2 mit beispielsweise vier Kameras 3, 4, 5, 6, welche an dem Kraftfahrzeug 1 derart verteilt angeordnet sind, dass die Kameras 3, 4, 5, 6 insgesamt die Umgebung um das Kraftfahrzeug 1 herum erfassen. Es wird also die komplette Umgebung des Kraftfahrzeugs 1 und somit ein 360°-Bild erfasst. Die Kamera 3 ist im vorderen Bereich des Kraftfahrzeugs 1 angeordnet, beispielsweise hinter der Windschutzscheibe. Die Kamera 3 erfasst somit einen Umgebungsbereich 7 vor dem Kraftfahrzeug 1. Die zweite Kamera 4 ist im Heckbereich des Kraftfahrzeugs 1 angebracht, beispielsweise an einer Heckklappe oder aber hinter der Heckscheibe. Sie erfasst somit einen Umgebungsbereich 8 hinter dem Kraftfahrzeug 1. Die seitlichen Kameras 5, 6 können beispielsweise in die jeweiligen Außenspiegel integriert sein. Die dritte Kamera 5 erfasst dabei den Umgebungsbereich 9 links des Kraftfahrzeugs 1, während die vierte Kamera 6 einen Umgebungsbereich 10 auf der rechten Seite des Kraftfahrzeugs 1 erfasst.
-
Die Anzahl sowie die Anordnung der Kameras 3, 4, 5, 6 sind in 1 lediglich beispielhaft dargestellt und können je nach Ausführungsform variieren.
-
Die Kameras 3, 4, 5, 6 weisen einen relativ breiten Öffnungswinkel auf, welcher beispielsweise in einem Wertbereich von 160° bis 200° liegen kann. Die Kameras 3, 4, 5, 6 können beispielsweise sogenannte Fischaugenkameras sein.
-
Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Vielzahl von Einzelbildern pro Sekunde aufnehmen können. Die Bilder werden dann an eine zentrale Bildverarbeitungseinrichtung 11 übermittelt, welche die Bilder aller Kameras 3, 4, 5, 6 verarbeitet. Die Aufnahme der Bilder durch alle Kameras 3, 4, 5, 6 erfolgt zeitsynchron.
-
Die Kamera 3 erfasst also den Umgebungsbereich 7 vor dem Kraftfahrzeug 1. Die Kamera 3 hat also einen Erfassungsbereich bzw. ein Sichtfeld 12, welche bzw. welches den Umgebungsbereich 7 vor dem Kraftfahrzeug 1 abdeckt. Entsprechend weist auch die zweite Kamera 4 ein Sichtfeld 13 auf, welches den Umgebungsbereich 8 hinter dem Kraftfahrzeug 1 abdeckt. Entsprechende Sichtfelder der Kameras 5, 6 sind in 1 mit 14 und 15 bezeichnet. Wie aus 1 hervorgeht, überlappen sich die Sichtfelder der Kameras 3, 4, 5, 6 paarweise und bereichsweise gegenseitig. Und zwar überlappen sich die Sichtfelder 12 und 14 der Kameras 3, 5, die Sichtfelder 12, 15 der Kameras 3, 6, wie auch die Sichtfelder 13, 14 der Kameras 4, 5 sowie die Sichtfelder 13, 15 der Kameras 4, 6.
-
Wie bereits ausgeführt, empfängt die Bildverarbeitungseinrichtung 11 die Bilder aller Kameras 3, 4, 5, 6 und kann diese Bilder verarbeiten. Beispielsweise berechnet die Bildverarbeitungseinrichtung 11 aus den Videos aller Kameras 3, 4, 5, 6 in Echtzeit ein Gesamtbild, welches eine Draufsicht auf das Kraftfahrzeug 1 und seine Umgebung 7, 8, 9, 10 aus einer Vogelperspektive zeigt. Bezogen auf die Einzelbilder (Frames) der Kameras 3, 4, 5, 6 erzeugt die Bildverarbeitungseinrichtung 11 aus diesen Einzelbildern aller Kameras 3, 4, 5, 6 ein Gesamtbild, welches eine solche Draufsicht zeigt. Werden nun aus den gesamten Sequenzen von Einzelbildern der Kameras 3, 4, 5, 6 solche Gesamtbilder berechnet, so ergibt sich eine zeitliche Sequenz von Gesamtbildern, also ein Gesamtvideo. Diese Gesamtbilder können dann in Echtzeit auf einem Display 16 im Kraftfahrzeug 1 dargestellt werden.
-
In 2 ist ein Blockdiagramm des Kamerasystems 2 dargestellt. Wie bereits ausgeführt, liefern die Kameras 3, 4, 5, 6 jeweilige Bilder B3, B4, B5, B6, aus denen das Gesamtbild GB erzeugt wird. Obwohl nachfolgend lediglich von Einzelbildern B3, B4, B5, B6 gesprochen wird, ist es selbstverständlich, dass die Kameras 3, 4, 5, 6 jeweils ein ganzes Video und somit eine zeitliche Sequenz von Bildern liefern. Der Einfachheit halber wird die nachfolgende Beschreibung jedoch auf Einzelbilder der Kameras 3, 4, 5, 6 bezogen.
-
Die Bilder B5 der Kamera 5 werden in einem Speicher 17 abgelegt, nämlich in einem sogenannten „Buffer”. Entsprechend werden auch die Bilder B6 der Kamera 6 in einem Speicher 18 gespeichert, während die Bilder B3 und B4 ebenfalls in jeweiligen Speichern 19, 20 abgelegt werden. In einem nachfolgenden Block 21 werden die Bilder B5 und B6 der Kameras 5, 6 zusammengefasst. Parallel dazu werden auch die Bilder B3 und B4 der Kameras 3, 4 in einem weiteren Block 22 zusammengefasst. Aus diesen zusammengefassten Bildern wird dann das Gesamtbild GB erzeugt, in welchem sich die Bilder B3, B4, B5, B6 paarweise bereichsweise überlappen. Und zwar weist das Gesamtbild GB insgesamt vier Überlappungsbereiche 23 bis 26 auf: Die Bilder B3, B5 überlappen sich gegenseitig im Überlappungsbereich 23; die Bilder B3 und B6 überlappen sich im Überlappungsbereich 24; die Bilder B5 und B4 überlappen sich im Überlappungsbereich 25; die Bilder B4 und B6 überlappen sich im Überlappungsbereich 26.
-
Zur Erzeugung des Gesamtbilds GB werden also die Bilder Ya, Yb, Yc, Yd zusammengesetzt. Es müssen dabei nicht die gesamten Bilder Ya, Yb, Yc, Yd verwendet werden, sondern es ist bei der Erzeugung eines „Bird Eye View” auch üblich, lediglich Teilregionen der Bilder Ya, Yb, Yc, Yd zu verwenden, welche den jeweiligen Umgebungsbereich 7, 8, 9, 10 bis zu einer bestimmten Entfernung von dem Kraftfahrzeug 1 zeigen.
-
Zum Zusammensetzen der Bilder Ya, Yb, Yc, Yd wird das Alpha-Blending-Verfahren genutzt. Bezug nehmend nun auf 3 wird nachfolgend ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert. Die nachfolgende Beschreibung bezieht sich zunächst auf das Zusammensetzen von zwei Bildern Ya, Yc zu einem Gesamtbild GB unter Verwendung des Alpha-Blending-Verfahrens.
-
Gemäß 3 wird bei dem Gesamtbild GB auch ein Abbild des Kraftfahrzeugs 1' genutzt. Dieses Fahrzeugbild 1' kann beispielsweise in einem Speicher abgelegt sein. Die Kamera 5 liefert das Bild Yc; die Kamera 3 erzeugt das Bild Ya. Das bekannte Alpha-Blending-Verfahren benutzt üblicherweise folgende Gleichung: GB = α·Ya + (1 – α)Yc.
-
In dem Überlappungsbereich 23 sind die Alpha-Werte größer als null und kleiner als eins, sodass für den Überlappungsbereich 23 sowohl die Bildpunkte des Bilds Ya als auch die Bildpunkte des Bilds Yc genutzt werden. α kann dabei eine Matrix sein, sodass die Alpha-Werte innerhalb des Überlappungsbereichs 23 variieren.
-
Erfindungsgemäß wird die obige Gleichung nun derart modifiziert, dass beim Durchführen des Alpha-Blending gleichzeitig auch die Bildpunkte des Bilds Ya und/oder die Bildpunkte des Bilds Yc außerhalb des Überlappungsbereichs 23 korrigiert werden, um Unterschiede in den Bildpunktwerten der Bilder Ya, Yc zu kompensieren. Diese Kompensation wird im Rahmen des Alpha-Blending durchgeführt, indem die obige Gleichung beispielsweise folgendermaßen modifiziert wird: GB = α·β1·δ·Ya + (1 – α)·β2·δ·Yc.
-
β1 bzw. β2 stellt dabei einen globalen Korrekturfaktor dar, welcher für alle Bildpunkte gleich ist und abhängig von dem Unterschied zwischen den Bildpunktwerten des Bilds Ya und den Bildpunktwerten des Bilds Yc bestimmt wird. Wird der Unterschied in der Helligkeit kompensiert, so wird β in Abhängigkeit von einer Differenz zwischen den Luminanzwerten des Bilds Ya und den Luminanzwerten des Bilds Yc bestimmt, beispielsweise abhängig von der Differenz der jeweiligen Mittelwerte und/oder Medianwerte der Luminanz. Wird hingegen die Farbverschiebung zwischen den Bildern Ya, Yc kompensiert, so wird β abhängig von einer Differenz zwischen den Chrominanzwerten des Bilds Ya und den Chrominanzwerten des Bilds Yc bestimmt, beispielsweise abhängig von einer Differenz zwischen den jeweiligen Mittelwerten und/oder den jeweiligen Medianwerten. Mit dem globalen Korrekturfaktor β werden die Bildpunktwerte des Bilds Ya und die Bildpunktwerte des Bilds Yc im Mittel aneinander angeglichen. Der Faktor β kann in der obigen Gleichung unterschiedlich für das Bild Ya und für das Bild Yc sein, sodass β1 und β2 unterschiedlich sind.
-
δ bezeichnet hingegen einen positionsabhängigen Korrekturfaktor, beispielsweise eine Korrekturmatrix. Der Korrekturfaktor δ stellt hier das Ausmaß der Kompensation dar. Mit diesem Faktor δ wird nämlich erreicht, dass die Kompensation in einem Ausmaß durchgeführt wird, welches ausgehend von dem Überlappungsbereich 23 in Richtung weg von dem Überlappungsbereich 23 abnimmt. Es gilt nämlich die Beziehung, dass je größer der Abstand vom Überlappungsbereich 23 ist, desto kleiner der Faktor δ ist.
-
Alternativ kann zum Durchführen des Alpha-Blending auch folgende Gleichung genutzt werden: GB = α·(Ya + β·δ) + ((1 – α)·(Yb – β·δ)).
-
Im Gegensatz zu der ersten Gleichung findet hier eine Addition bzw. eine Subtraktion des Korrekturfaktors βδ statt. Der Effekt ist jedoch der gleiche, sodass der gesamte Korrekturfaktor βδ nahe des Überlappungsbereichs 23 größer als weiter weg von dem Überlappungsbereich 23 ist.
-
Wie bereits ausgeführt, wird der globale Korrekturfaktor β so berechnet, dass (ohne den Faktor β) die Mittelwerte oder die Medianwerte der Helligkeit und/oder der Chrominanzwerte der beiden Bilder Ya, Yc gleich groß sind. Demgegenüber sorgt der Korrekturfaktor δ dafür, dass die Bildpunkte des Bilds Ya und/oder die Bildpunkte des Bilds Yc im Bereich des Überlappungsbereichs 23 stärker als die weiter weg liegenden Bildpunkte korrigiert werden.
-
Optional kann auch ein zusätzlicher Korrekturfaktor σ berücksichtigt werden: GB = α·β1·δ·σ1·Ya + (1 – α)·β2·δ·σ2·Yc.
-
Dieser Korrekturfaktor σ1, σ2 wird abhängig von der Differenz zwischen den Helligkeitswerten (oder Farbwerten) des jeweiligen Bilds Ya, Yc und dem Mittelwert aus Helligkeitswerten (bzw. Farbwerten) aller Bilder Ya, Yc bestimmt. Dieser Korrekturfaktor σ1, σ2 berücksichtigt also eine Abweichung der Bildpunktwerte des jeweiligen Bilds Ya, Yc von dem Mittelwert/Medianwert für alle Bilder Ya, Yc.
-
Ein weiteres beispielhaftes Gesamtbild GB, welches aus Bildern Ya, Yb, Yc, Yd der Kameras 3, 4, 5, 6 erzeugt wird, ist in 4 schematisch dargestellt. Die Bilder Ya, Yb, Yc, Yd überlappen sich paarweise gegenseitig in Überlappungsbereichen 23, 24, 25, 26. Wie bereits ausgeführt, werden die Helligkeitswerte und/oder die Farbwerte der Bilder Ya, Yb, Yc, Yd korrigiert, sodass die Unterschiede kompensiert und beispielsweise die Mittelwerte oder Medianwerte der jeweiligen Helligkeitswerte und/oder der jeweiligen Farbwerte aneinander angeglichen werden (vgl. Korrekturfaktor β). Diese Kompensation wird auch hier in einem Ausmaß durchgeführt (δ), welches nahe der Überlappungsbereiche 23, 24, 25, 26 maximal ist. Das Minimum des Ausmaßes der Kompensation liegt jeweils auf einer Mittellinie 27, 28, 29, 30. Die jeweilige Mittellinie 27, 28, 29, 30 befindet sich dabei in der Mitte des Sichtfelds 12, 13, 14, 15 der jeweiligen Kamera 3, 4, 5, 6. Das jeweilige Sichtfeld 12, 13, 14, 15 der Kameras 3, 4, 5, 6 ist also durch die jeweilige Mittellinie 27, 28, 29, 30 halbiert, wobei die Mittellinie 27, 28, 29, 30 parallel zur y-Achse des jeweiligen Bildrahmens der Kameras 3, 4, 5, 6 definiert ist.
-
Für den Korrekturfaktor δ gilt also, dass je größer der Abstand von der jeweiligen Mittellinie 27, 28, 29, 30 ist, desto größer auch der Wert des Faktors δ ist.
-
Für den räumlichen Verlauf des Korrekturfaktors δ kann dabei eine stetige Funktion gewählt werden, wie beispielsweise eine Gaußfunktion, deren Maximum im Bereich des jeweiligen Überlappungsbereichs 23, 24, 25, 26 und deren Minimum auf der jeweiligen Mittellinie 27, 28, 29, 30 liegt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2011/0156887 [0002]
- EP 2012271 A2 [0003, 0005]
- US 7139412 B2 [0006]
- US 2011/0150329 [0007]
