DE102018118996A1 - Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug - Google Patents

Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug Download PDF

Info

Publication number
DE102018118996A1
DE102018118996A1 DE102018118996.6A DE102018118996A DE102018118996A1 DE 102018118996 A1 DE102018118996 A1 DE 102018118996A1 DE 102018118996 A DE102018118996 A DE 102018118996A DE 102018118996 A1 DE102018118996 A1 DE 102018118996A1
Authority
DE
Germany
Prior art keywords
color
correction value
color correction
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018118996.6A
Other languages
English (en)
Other versions
DE102018118996B4 (de
Inventor
Vladimir Zlokolica
Mark Patrick Griffin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102018118996.6A priority Critical patent/DE102018118996B4/de
Publication of DE102018118996A1 publication Critical patent/DE102018118996A1/de
Application granted granted Critical
Publication of DE102018118996B4 publication Critical patent/DE102018118996B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Farbkorrekturwerts für eine Farbkorrektur mindestens eines Bildes (FV, RV, ML, MR), wobei ein Bereich Bereichs von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) des Bildes in mehrere Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) unterteilt wird, für welche eine jeweilige Position (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) in einem Farbraum (9) bestimmt und überprüft wird, ob die jeweilige Position innerhalb eines definierten Farbbereichs (10) liegt, wobei nur für diejenigen Unterbereiche, deren zugeordnete Positionen innerhalb des definierten Farbbereichs (10) liegen, ein jeweiliger Farbabstands zu einer definierten Referenzfarbe (R) bestimmt wird, basierend auf welchem jeweilige Gewichte bestimmt werden, so dass je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende Gewicht ist, und der Farbkorrekturwert als gewichteter Mittelwert in Abhängigkeit von den berechneten Gewichten bestimmt wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Bestimmen eines Farbkorrekturwerts, um eine Farbkorrektur für mindestens ein erstes Bild, welches von mindestens einer ersten Kamera eines Kamerasystems aufgenommen wurde, durchzuführen, wobei mindestens ein erster Bereich von Interesse des mindestens einen ersten Bildes bestimmt wird, ein Farbkorrekturwert zumindest basierend auf einer Farbanalyse des mindestens einen ersten Bereichs von Interesse berechnet und das mindestens eine erste Bild zumindest in Abhängigkeit von dem ermittelten mindestens einen Farbkorrekturwert korrigiert wird. Die Erfindung betrifft auch eine Bildverarbeitungseinrichtung, ein Kamerasystem und ein Kraftfahrzeug.
  • In bestehenden Multikamera-Kraftfahrzeugsichtsystemen werden verschiedene Arten von Ansichten unter Verwendung mehrerer Kamerabilder erzeugt. Im Rahmen einer solchen Visualisierung werden die Kamerarohbilder zuerst auf das Ziel-Ansichtsfenster abgebildet und fusioniert, wodurch somit ein zusammengesetztes Bild erzeugt wird, das die Ansicht von einem bestimmten 3D-Punkt um das Kraftfahrzeug repräsentiert. Im einfachsten Fall ist die virtuelle Kamera über dem Fahrzeug positioniert, wobei sie aus der höchsten zentralen Position hinabschaut und die projektive Oberfläche eine flache zweidimensionale Ebene darstellt. Diese Ansicht wird üblicherweise als Draufsicht bezeichnet. Allgemeinere und komplexere Fälle umfassen eine Kugelansicht, bei welcher die projektive zweidimensionale Oberfläche die Form einer Kugel statt der zweidimensionalen flachen Ebene hat und die virtuelle Render-Kamera beliebig im dreidimensionalen Raum angeordnet ist.
  • Bei jeder Multikamera-Ansicht besteht der Grundgedanke darin, die mehreren Bildprojektionen zu kombinieren und sie zu einem einzelnen Mosaikbild zu fusionieren, welches letztendlich das visuelle Aussehen eines einzelnen Bildes, welches von einer einzelnen Kamera aufgenommen wurde, haben sollte. Im Falle der Draufsicht ist die virtuelle Kamera genau über dem Fahrzeug und das Ansichtsfenster auf der Untergrundebene angeordnet. Praktisch bedeutet dies, dass die Teile der Bildtexturen, die von verschiedenen Kameras stammen, aber dennoch den gleichen 3D-Inhalt visualisieren, die gleiche Helligkeit und Farbe aufweisen sollten. Zu diesem Zweck müssen die einzelnen erfassten Bilder mit Bezug auf Helligkeit und Farbe harmonisiert werden. Mittels einer solchen Harmonisierung kann ein Unterschied in der Luminanz und Chrominanz zwischen verschiedenen Bildern zumindest zum Teil korrigiert werden. Insbesondere kann im Zusammenhang mit der Farbharmonisierung eine absolute Farbkorrektur auf ein bestimmtes Bild angewandt werden, die basierend auf einem Unterschied zwischen einer mittleren Farbe innerhalb dieses Bildes und irgendeiner definierten Grauwertfarbe berechnet werden kann. Auch kann eine relative Farbkorrektur durchgeführt werden, welche unterschiedliche Farbstiche verschiedener Bilder in ihren Überlappungsbereichen zueinander anpasst. Jedoch funktionieren solche einfachen Korrekturen nicht in jeder Situation besonders gut. Dies ist dadurch begründet, dass ein solches Multikamera-Surround-View-System einem enormen Spektrum an Umgebungen, dynamischen Helligkeitsbereichen und farbigen Objekten in vielen verschiedenen Szenarien ausgesetzt sein kann. Solche Umgebungen und Objekte, die das Surround-View-System auf der Anzeigeeinheit des Kraftfahrzeugs richtig wiedergeben muss, sind zum Beispiel Grasbereiche oder farbige Objekte, wie andere Kraftfahrzeuge, Pylone und so weiter. Somit kann ein Kraftfahrzeug von variierenden Szenenumgebungen umgeben sein. Daher sollte die Harmonisierung in der Lage sein, Fälle, in welchen das Kraftfahrzeug von einer farbigen Textur wie grünes Gras oder von einem farbigen Objekt wie ein rotes Kraftfahrzeug umgeben ist, von der eigentlichen Farb- und Helligkeitsumgebungsdiskrepanz zu unterscheiden, da es offensichtlich nicht erstrebenswert ist, dass farbige Texturen in Objekten zum Zwecke der Harmonisierung korrigiert werden.
  • Daher ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Bestimmen eines Farbkorrekturwerts zur Durchführung einer Farbkorrektur für mindestens ein erstes Bild, welches von mindestens einer ersten Kamera eines Kamerasystems erfasst wurde, eine Bildverarbeitungseinrichtung, ein Kamerasystem und ein Kraftfahrzeug bereitzustellen, welche eine verbesserte Bestimmung des Farbkorrekturwerts erlauben.
  • Diese Aufgabe wird gelöst durch ein Verfahren, eine Bildverarbeitungseinrichtung, ein Kamerasystem und ein Kraftfahrzeug mit den Merkmalen, wie diese in den jeweiligen unabhängigen Ansprüchen angegeben sind. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
  • Ein erfindungsgemäßes Verfahren wird zum Bestimmen zumindest eines Farbkorrekturwerts zum Durchführen einer Farbkorrektur für mindestens ein erstes Bild, welches von mindestens einer ersten Kamera eines Kamerasystems erfasst wurde, verwendet, wobei mindestens ein erster Bereich von Interesse des mindestens einen ersten Bildes bestimmt wird, der mindestens eine Farbkorrekturwert zumindest basierend auf einer Farbanalyse des mindestens einen ersten Bereichs von Interesse berechnet wird und das mindestens eine erste Bild zumindest in Abhängigkeit von dem ermittelten mindestens einen Farbkorrekturwert korrigiert wird. Darüber hinaus umfasst die Berechnung des mindestens einen Farbkorrekturwerts die folgenden Schritte: Zuerst wird der mindestens eine Bereich von Interesse in mindestens zwei Unterbereiche unterteilt und für jeden Unterbereich mindestens ein Farbwert ermittelt. Weiterhin wird jeder Unterbereich einer jeweiligen Position in einem Farbraum basierend auf dem mindestens einen jeweiligen Farbwert zugeordnet, und für jeden Unterbereich wird bestimmt, ob die jeweilige Position innerhalb eines ersten definierten Farbbereichs des Farbraums liegt. Darüber hinaus wird nur für diese Unterbereiche, deren zugeordnete Positionen innerhalb des definierten ersten Farbbereichs liegen, ein jeweiliger Farbabstand zu einer definierten Referenzfarbe ermittelt und basierend auf den jeweiligen Farbabständen erste Gewichte berechnet, so dass, je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende erste Gewicht ist. Weiterhin wird der mindestens eine Farbkorrekturwert als gewichteter Mittelwert in Abhängigkeit von den berechneten ersten Gewichten bestimmt.
  • Dieses Verfahren hat mehrere große Vorteile: Durch das Überprüfen, ob jeweilige Unterbereiche innerhalb eines definierten ersten Farbbereichs liegen oder nicht, kann überprüft werden, ob diese Unterbereiche irgendwelche starke Farben aufweisen, die typischerweise auf farbige Objekte hinweisen. Zum Beispiel kann die definierte Referenzfarbe innerhalb des definierten ersten Farbbereichs irgendein definierter Grauton sein, welcher für Kraftfahrzeuganwendungen besonders geeignet ist. Somit können vorteilhafterweise nur Unterbereiche, die keine zu starken Farben aufweisen, für die Farbkorrektur berücksichtigt werden. Dadurch kann es vermieden werden, dass ein stark farbiges Objekt im ersten Bild eine zu starke Farbkorrektur dieses Bildes verursacht. Jedoch können die größten Vorteile einerseits durch Unterteilen des ersten Bereichs von Interesse in Unterbereiche und andererseits durch die Art der Berechnung der ersten Gewichte erreicht werden, in Abhängigkeit von welchen der Farbkorrekturwert ermittelt wird. Zunächst kann es durch Unterteilen des mindestens einen ersten Bereichs von Interesse in mehrere Unterbereiche vorteilhafterweise auch vermieden werden, dass selbst kleine Bereiche des mindestens einen ersten Bildes mit farbigen Objekten die Farbkorrektur zu stark beeinflussen. Somit kann durch dieses Mikroblock-Konzept, welches durch diese Unterteilung der Bereiche von Interesse in jeweilige Unterbereiche bereitgestellt wird, eine deutlich bessere Auflösung mit Bezug auf die Detektion farbiger Objekte und viel bessere Anpassungen der Farbkorrekturen an unterschiedliche Szenarien bereitgestellt werden. Dies ist besonders wichtig in Fällen, in denen farbige Objekte nur manchmal in kleinen peripheren Bereichen der erfassten Bilder erscheinen, zum Beispiel ein Grasbereich neben der Straße, welcher dann möglicherweise nur in peripheren Bereichen der Bilder, die von der Frontkamera des Kraftfahrzeugs aufgenommen werden, erscheint. Insbesondere in dem Fall, dass der laterale Abstand des Kraftfahrzeugs zum Grasbereich nicht konstant ist, kann es passieren, dass diese Grastextur in einem Bild der Frontkamera erscheint, im nächsten verschwindet und wieder im nächsten erscheint. Üblicherweise würde dies eine starke zeitliche Variation der Farbkorrektur mit Bezug auf ihre Stärke verursachen, was in einem starken Flackern der angezeigten Bilder resultiert. Dies kann nun vorteilhafterweise vermieden werden, insbesondere auf der einen Seite, wie beschrieben, mittels dem Mikroblock-Konzept, welches es ermöglicht, farbige Objekte zu bemerken, selbst wenn sie nur in einem kleinen Teil des erfassten Bildes sichtbar sind. Aber manchmal kann es dennoch passieren, dass farbige Objekte fälschlicherweise als Farbstiche interpretiert werden. Auch in diesem Fall kann der Einfluss solcher starken Farben von farbigen Objekten auf die Farbkorrektur nun vorteilhafterweise durch die beschriebene Berechnung der ersten Gewichte reduziert werden. Diese ersten Gewichte werden so berechnet, dass, je größer der jeweilige Farbabstand des Farbwerts eines jeden Unterbereichs innerhalb des definierten ersten Farbbereichs zur definierten Referenzfarbe ist, desto kleiner ist das korrespondierende erste Gewicht. Mit anderen Worten, je stärker die Farben, die in den jeweiligen Unterbereichen vorhanden sind, von der definierten Referenzfarbe abweichen, desto kleiner ist das korrespondierende erste Gewicht. Daher kann selbst, wenn farbige Objekt in einem Unterbereich vorhanden sind und dieser Unterbereich nichtsdestoweniger innerhalb des definierten ersten Farbbereichs liegt, zumindest der Einfluss dieses Unterbereichs mit Bezug auf die Farbkorrektur durch die definierte Berechnung der jeweiligen ersten Gewichte reduziert werden. Dies ermöglicht eine viel gleichmäßigere Farbkorrektur im Gegensatz zu einer lediglich binären Entscheidungsfindung basierend darauf, ob ein Unterbereich in dem definierten ersten Farbbereich liegt oder nicht. Somit kann auch mit Bezug auf den obigen Beispielfall, bei welchem ein starkes Flackern in aufeinanderfolgend angezeigten Bildern auftreten kann, ein solches Flackern nun vorteilhafterweise geglättet werden. Daher erlaubt das erfinderische Verfahren eine verbesserte zeitliche Stabilität der Farbkorrekturdurchführung sowie eine zutreffendere Farbkorrekturschätzung je Einzelbild.
  • Die sehr vorteilhaft berechneten ersten Gewichte können nun einerseits für eine absolute Farbkorrektur des mindestens einen ersten Bildes verwendet werden, aber auch für eine besonders vorteilhafte Berechnung eines finalen oder Gesamt-Korrekturwerts, welcher auf einem absoluten Farbkorrekturwert sowie zusätzlich oder alternativ auf einem relativen Farbkorrekturwert basieren kann. Daher kann der mindestens eine Farbkorrekturwert einen absoluten Farbkorrekturwert und/oder einen Gesamt-Korrekturwert darstellen. Die Berechnung von beiden, nämlich dem absoluten Farbkorrekturwert und dem Gesamt-Farbkorrekturwert, in Abhängigkeit von den ersten Gewichten und insbesondere dem Gesamt-Farbkorrekturwert zusätzlich in Abhängigkeit von dem absoluten Farbkorrekturwert, ist besonders vorteilhaft, wie dies im Folgenden beschrieben wird. Zunächst wird die Berechnung des Gesamt-Farbkorrekturwerts nachfolgend beschrieben, während die Berechnung des absoluten Farbkorrekturwerts später detaillierter beschrieben wird.
  • Gemäß einer vorteilhaften Ausgestaltung der Erfindung stellt der mindestens eine Farbkorrekturwert einen Gesamt-Farbkorrekturwert dar, welcher einen gewichteten Mittelwert aus einem aktuellen Farbkorrekturwert und einem vorhergehenden Farbkorrekturwert darstellt. Dies ist besonders vorteilhaft, da im Fall, dass die aktuelle Farbkorrektur als weniger verlässlich erachtet wird, zumindest zum Teil der vorhergehende Farbkorrekturwert zur Bestimmung des Gesamt-Farbkorrekturwerts verwendet werden kann und umgekehrt. Die Verlässlichkeit eines jeden Korrekturwerts kann wiederum vorteilhafterweise basierend auf den bestimmten ersten Gewichten bewertet werden.
  • Daher stellt es eine besonders vorteilhafte Ausgestaltung der Erfindung dar, dass in Abhängigkeit von den ersten Gewichten ein Parameter bestimmt wird, welcher zweite Gewichte eines gewichteten Mittelwerts aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert darstellt. Somit kann vorteilhafterweise die Verlässlichkeit des aktuellen Farbkorrekturwerts abhängig von den ersten Gewichten bewertet werden, und abhängig von dieser Verlässlichkeit kann der Gesamt-Farbkorrekturwert als korrespondierend gewichteter Mittelwert bestimmt werden, welcher auch den vorhergehenden Farbkorrekturwert berücksichtigt, insbesondere im Falle, dass der aktuelle Farbkorrekturwert als weniger verlässlich erachtet wird. Die Berechnung des Gesamt-Farbkorrekturwerts kann noch verbessert werden, wenn nicht nur die ersten Gewichte, die zu dem mindestens einen ersten Bereich von Interesse des ersten Bildes gehören, berücksichtigt werden, sondern auch Gewichte, die zu überlappenden Bildteilen von benachbarten Kameras des Kamerasystems korrespondieren. Die Berücksichtigung solch überlappender Bildbereiche ist besonders vorteilhaft, da mit höherer Verlässlichkeit ermittelt werden kann, ob ein Bild einen Farbstich aufweist, der von kameraspezifischen Parametern hervorgerufen wird, oder ein farbiges Objekt, wenn dieser Bildteil, der mit einem korrespondierenden Teil eines anderen Bildes verglichen wird, welches von einer Nachbarkamera erfasst wurde, sodass beide Bildteile, nämlich die überlappenden Bildteile oder Bildbereiche, denselben Szeneninhalt aufweisen.
  • Daher stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, wenn der mindestens eine erste Bereich von Interesse so ermittelt wird, dass der erste Bereich von Interesse einen Überlappungsbereich darstellt, der mit mindestens einem zweiten Bereich von Interesse von mindestens einem zweiten Bild, welches von mindestens einer zweiten Kamera des Kamerasystems aufgenommen wurde, überlappt. Darüber hinaus kann auch dieser zweite Bereich von Interesse bei der Bestimmung des Gesamt-Farbkorrekturwerts für das mindestens eine erste Bild berücksichtigt werden. Dies ist nun im Folgenden erklärt.
  • Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird der mindestens eine zweite Bereich von Interesse des mindestens einen zweiten Bildes in mindestens zwei Unterbereiche unterteilt, wobei jeder Unterbereich einer jeweiligen Position im Farbraum zugeordnet wird und für jeden Unterbereich bestimmt wird, ob die jeweilige Position innerhalb eines definierten zweiten Farbbereichs des Farbraums liegt, welcher insbesondere vom definierten ersten Farbbereich verschieden sein kann oder auch identisch zum definierten ersten Farbbereich, und wobei nur für diejenigen Unterbereiche, deren zugeordnete Position innerhalb des definierten zweiten Farbbereichs liegen, ein jeweiliger Farbabstand zur definierten Referenzfarbe bestimmt wird und basierend auf den jeweiligen Farbabschnitten jeweilige dritte Gewichte bestimmt werden, sodass, je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende dritte Gewicht ist.
  • Mit anderen Worten können auch für den mindestens einen zweiten Bereich von Interesse des mindestens einen zweiten Bildes korrespondierende Gewichte, hier die dritten Gewichte, in gleicher Weise bestimmt werden wie mit Bezug auf die ersten Gewichte, die den mindestens einen ersten Bereich von Interesse des mindestens einen ersten Bildes betreffen, beschrieben.
  • Darüber hinaus ist es bevorzugt, dass die Bestimmung des oben genannten Parameters die folgenden Schritte aufweist: Eine erste Summe der ersten Gewichte und eine zweite Summe der dritten Gewichte wird berechnet. Weiterhin wird überprüft, ob die erste Summe oder die zweite Summe gleich Null ist. Im Fall, dass mindestens eine der ersten und der zweiten Summe gleich Null ist, wird der Parameter derart festgelegt, dass nur der vorherige Farbkorrekturwert zu dem gewichteten Mittelwert aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert beiträgt. Andernfalls, nämlich im Falle, dass sowohl die erste Summe als auch die zweite Summe von Null verschieden ist, wird der Parameter als Mittelwert der ersten und zweiten Summe bestimmt, wobei je größer der Mittelwert ist, desto größer ist der Beitrag des aktuellen Farbkorrekturwerts zum gewichteten Mittelwert aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert. Der finale gewichtete Mittelwert, nämlich der Gesamt-Farbkorrekturwert, wird dann auf das mindestens eine erste Bild angewandt.
  • Die erste Summe der ersten Gewichte ist Null im Falle, dass alle zugeordneten Positionen der Unterbereiche des korrespondierenden ersten Bereichs von Interesse nicht innerhalb des definierten ersten Farbbereichs liegen. In gleicher Weise ist die Summe der dritten Gewichte gleich Null im Falle, dass alle zugeordneten Positionen der Unterbereiche des korrespondierenden zweiten Bereichs von Interesse des zweiten Bildes nicht innerhalb des definierten zweiten Farbbereichs liegen. Somit ist die erste Summe gleich Null im Fall, dass alle Unterbereiche des ersten Bereichs von Interesse zu starke Farben aufweisen. Das gleiche gilt für die zweite Summe. In beiden Fällen kann die geschätzte Farbkorrektur als weniger verlässlich angenommen werden und in diesem Fall wird der Gesamt-Farbkorrekturwert ausschließlich basierend auf dem vorhergehenden Farbkorrekturwert berechnet. Der letztendlich berechnete Gesamt-Farbkorrekturwert wird dann auf das erste Bild angewandt und weiterhin wird dieser Gesamt-Farbkorrekturwert im nächsten Zeitschritt als neuer vorhergehender Farbkorrekturwert gesetzt. Dies bedeutet, dass, solange ein Bereich von Interesse, entweder der erste oder der zweite, zu starke Farben in allen korrespondierenden Unterbereichen aufweist, die Farbkorrektur in irgendeiner Art eingefroren ist, da nur vorhergehende Farbkorrekturwerte als Gesamtfarbkorrekturwerte verwendet werden und wieder als neue vorhergehende Farbkorrekturwerte für die nächsten Zeitschritte gesetzt werden.
  • Darüber hinaus wird der Gesamt-Farbkorrekturwert für das erste Bild auch im Fall, dass nur die zweite Summe gleich Null ist, aber nicht die erste Summe, als vorhergehender Farbkorrekturwert gesetzt. Dies ist sehr vorteilhaft, da es, wenn die zweite Summe gleich Null ist, dies ein starker Indikator für ein farbiges Objekt innerhalb des Überlappungsbereichs des ersten und zweiten Bildes ist, welches auf Basis der Analyse des ersten Bereichs von Interesse des ersten Bildes nicht erkannt wurde. Somit kann vorteilhafterweise eine Überkorrektur des ersten Bildes auch im Falle, dass das Vorhandensein farbiger Objekte im ersten Bild auf Basis einer Farbanalyse des ersten Bildes alleine nicht deutlich wird, vermieden werden. Wie man sehen kann, ist die Berücksichtigung von Überlappungsbereichen besonders vorteilhaft.
  • Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, dass der Parameter zum Bestimmen des Gesamt-Farbkorrekturwerts für das mindestens eine erste Bild von ersten und/oder dritten Gewichten, die Unterbereiche nur solcher ersten und/oder zweiten Bereiche von Interesse betreffen, die gleichzeitig Überlappungsbereiche darstellen, abhängt.
  • Darüber hinaus wird der aktuelle und/oder vorhergehende Farbkorrekturwert vorzugsweise basierend auf einem absoluten Farbkorrekturwert und/oder einem relativen Farbkorrekturwert berechnet. Dabei ist es bevorzugt, dass zuerst der absolute Farbkorrekturwert berechnet wird, und danach der relative Farbkorrekturwert bestimmt wird, insbesondere unter Verwendung des absoluten Farbkorrekturwerts als Eingangsparameter. Somit können globale Farbstiche zuerst mittels des absoluten Farbkorrekturwerts korrigiert werden, welcher zumindest teilweise Abweichungen von der Referenzfarbe, zumindest im Mittel, kompensieren kann. Danach können mittels der relativen Farbkorrektur verschiedene Bilder, die in Überlappungsbereichen den gleichen Szeneninhalt zeigen, mit Bezug auf die Farbe in diesen Überlappungsbereichen zueinander angepasst werden. In dieser Weise können der aktuelle Farbkorrekturwert sowie auch der vorhergehende Farbkorrekturwert bereitgestellt werden. Letztendlich wird dann die geschätzte Farbkorrektur, nämlich die aktuelle Farbkorrektur, zeitlich mit dem vorhergehenden geschätzten Farbkorrekturwert für die korrespondierende Kamera gemittelt, wodurch der Gesamt-Farbkorrekturwert wie zuvor beschrieben bereitgestellt wird. Eine solche geschätzte Farbkorrektur für jede Kamera kann dann innerhalb des Dynamikkompressionsschemas angewandt werden, um die projizierten Bildtexturen während des Gesamtbild-Render-Verfahrens anzupassen. Als Ergebnis ist das Ausgangsgesamtbild mit Bezug auf die Farbe harmonisiert.
  • Der absolute Farbkorrekturwert kann im Prinzip für ein jeweiliges Bild, wie das mindestens eine erste Bild, bestimmt werden, indem erst eine mittlere Farbe dieses mindestens einen ersten Bildes berechnet und diese mittlere Farbe mit der definierten Referenzfarbe verglichen wird. Jedoch können auch in diesem Fall für das Berechnen des absoluten Farbkorrekturwerts durch Verwenden eines gewichteten Mittelwerts anstelle eines normalen Mittelwerts und auch durch Anwenden des Mikroblock-Konzepts viel bessere Resultate erzielt werden, was nun detaillierter im Folgenden erklärt wird.
  • Daher ist es eine vorteilhafte Ausgestaltung der Erfindung, wenn der mindestens eine Farbkorrekturwert, welcher als gewichteter Mittelwert in Abhängigkeit von den berechneten ersten Gewichten ermittelt wird, einen absoluten Farbkorrekturwert darstellt, welcher einen gewichteten Mittelwert der Farbwerte darstellt, die für jeden Unterbereich des mindestens einen ersten Bereichs von Interesse bestimmt wurden, wobei jeder Farbwert zum gewichteten Mittelwert gemäß den jeweiligen ersten Gewichten beiträgt, die für die jeweiligen Unterbereiche bestimmt wurden. Somit kann zum Beispiel zuerst das mindestens eine erste Bild in mehrere Bereiche von Interesse eingeteilt werden, die dann Makroblocks darstellen. Jeder dieser Bereiche von Interesse kann dann wieder, wie zuvor beschrieben, in mehrere Unterbereiche untergliedert werden, zum Beispiel vier Unterbereiche. Wiederum kann für jeden Unterbereich mindestens ein Farbwert ermittelt werden. Dieser Farbwert kann eine Art mittlere Farbe dieses Unterbereichs darstellen. Weiterhin wird basierend auf diesem Farbwert dem Unterbereich eine jeweilige Position im Farbraum zugeordnet und es wird überprüft, ob die jeweilige Position innerhalb des definierten ersten Farbbereichs des Farbraums liegt. Nur für diese Unterbereiche, die in diesem definierten ersten Farbbereich liegen, wird das jeweilige erste Gewicht basierend auf dem Abstand zur definierten Referenzfarbe berechnet, insbesondere wiederum so, dass, je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende erste Gewicht ist. Nun kann eine mittlere Farbe des gesamten ersten Bildes als gewichteter Mittelwert basierend auf den jeweiligen Farbwerten berechnet werden, welche für jeden Unterbereich bestimmt wurden und welche im gewichteten Mittelwert gemäß ihren korrespondierenden ersten Gewichten berücksichtigt werden. Somit wird vorteilhafterweise, wenn ein Unterbereich starke Farben aufweist und außerhalb des definierten ersten Farbbereichs liegt, der Unterbereich im gewichteten Mittelwert nicht berücksichtigt, um den absoluten Farbkorrekturwert zu bestimmen. Alle anderen Unterbereiche werden zur Bestimmung des absoluten Farbkorrekturwerts berücksichtigt, jedoch werden auch hier wiederum, je stärker die Farben in diesen Unterbereichen sind, diese Unterbereiche umso weniger für das Bestimmen des absoluten Farbkorrekturwerts berücksichtigt. Vorteilhafterweise kann dadurch eine Überkorrektur aufgrund farbiger Objekte in Bildteilen bereits vermieden werden, wenn der absolute Farbkorrekturwert bestimmt wird. Somit kann letztendlich, wenn dieser gewichtete Mittelwert berechnet ist, dieser mit der definierten Referenzfarbe verglichen werden und auf der Basis des Unterschieds der absolute Farbkorrekturwert geschätzt werden. Darüber hinaus kann, nachdem dieser absolute Farbkorrekturwert berechnet wurde, das Verfahren wie zuvor beschrieben fortgesetzt werden, nämlich indem wieder die ersten Gewichte verwendet werden, um den Parameter zu berechnen, gemäß welchem der Gesamt-Farbkorrekturwert als zeitlicher Mittelwert des aktuellen Farbkorrekturwerts und des vorhergehenden Farbkorrekturwerts bestimmt wird.
  • Es soll angemerkt werden, dass zur Bestimmung des absoluten Farbkorrekturwerts alle Bereiche von Interesse eines Bildes, wie das mindestens eine erste Bild, analysiert werden, einschließlich ihrer jeweiligen Unterbereiche, unabhängig davon, ob diese Bereiche von Interesse Überlappungsbereiche darstellen oder nicht, sodass auch Farbwerte, die sich auf Unterbereiche beziehen, die im definierten ersten Farbbereich liegen, zur Bestimmung des absoluten Farbkorrekturwerts berücksichtigt werden, selbst wenn diese Unterbereiche nicht zu einem Überlappungsbereich gehören. Im Gegensatz dazu werden zum Berechnen des Gesamt-Farbkorrekturwerts nur diese ersten Gewichte zum Bestimmen des Parameters berücksichtigt, welche zu Unterbereichen gehören, die zu denjenigen Bereichen von Interesse gehören, die auch gleichzeitig Überlappungsbereiche darstellen. Weiterhin werden für das Berechnen des Parameters auch dritte Gewichte, die mit Unterbereichen von Nachbarbildern mit Bezug auf das mindestens eine erste Bild berücksichtigt, während zum Bestimmen des absoluten Farbkorrekturwerts nur die ersten Gewichte, die zu den Unterbereichen des mindestens einen ersten Bildes gehören, berücksichtigt werden.
  • Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung stellt der Farbraum die UV-Farbebene gemäß dem YUV-Farbmodell dar, wobei die Form des definierten ersten Farbbereichs derart ausgebildet ist, dass diejenigen Teile des definierten ersten Farbbereichs, die zwischen der positiven V-Achse und der negativen U-Achse und die zwischen der negativen V-Achse und der positiven U-Achse liegen, größer sind als Teile des definierten ersten Farbbereichs, die zwischen der positiven V-Achse und der positiven U-Achse und die zwischen der negativen V-Achse und der negativen U-Achse liegen. Dies basiert auf der Idee, dass die Fahrzeugkamerabilder üblicherweise gelbe oder blaue Farbstiche aufweisen, die manchmal sehr stark sein können und daher in starken Farben innerhalb des gelben oder blauen Bereichs der UV-Ebene resultieren können, ohne dass ein gelbes oder blaues Objekt im jeweiligen Bild vorhanden ist. Andererseits, im Fall, dass ein Bild starke gründe oder violette Farben aufweist, ist dies in den meisten Fällen durch grüne oder violette Objekte im Bild verursacht und nicht durch grüne oder violette Farbstiche. Diese Erkenntnisse können nun vorteilhafterweise für eine angemessene Gestaltung der Form des ersten Farbbereichs sowie auch für die Gestaltung des zweiten Farbbereichs genutzt werden. Daher ist es sehr vorteilhaft, dass die Teile dieser definierten Farbbereiche, die im gelben und blauen Bereich liegen, nämlich zwischen der positiven V-Achse und der negativen U-Achse sowie zwischen der positiven U-Achse und der negativen V-Achse, größer sind als die zwei anderen Bereiche dieser definierten Farbbereiche. Dadurch kann die Farbkorrektur weiter verbessert werden, da durch diese Bestimmung der Farbbereiche zwischen farbigen Objekten und Farbstichen in einer verlässlicheren Art und Weise unterschieden werden kann.
  • Darüber hinaus, gemäß einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung, werden die Größe und/oder die Form des definierten ersten Farbbereichs in Abhängigkeit von mindestens einem Kameraparameter der ersten Kamera bestimmt. In analoger Weise können auch die Größe und/oder die Form des definierten zweiten Farbbereichs in Abhängigkeit von einem korrespondierenden Kameraparameter der zweiten Kamera bestimmt werden. Insbesondere kann ein korrespondierender Farbbereich für jede Kamera des Kamerasystems separat in Abhängigkeit von den jeweiligen Kameraparametern bestimmt werden. Dies basiert auf der Idee, dass Farbstiche, die in Bildern auftreten, stark von den Einstellungen und internen Parametern der Kamera, die dieses Bild aufgenommen hat, abhängen. Kameraeinstellungsparameter, die Farbstiche beeinflussen, sind zum Beispiel die Belichtung, Verstärkungen und adaptive Weißausgleichseinstellungen innerhalb der internen Signalverarbeitung der Kamera. So kann gemäß dieser vorteilhaften Ausgestaltung der Erfindung die Größe und/oder Form des definierten Farbbereichs derart gestaltet werden, um optimal an in Betracht gezogene Lichtverhältnisse und Kameraeinstellungsparameter angepasst zu sein. Darüber hinaus kann der definierte Farbbereich auch umgeformt werden, um auf alle Farbstiche, für die es beabsichtigt ist, dass diese bei der Farbkorrektur berücksichtigt werden, abgestimmt zu sein. Die Größe und/oder Form des ersten und/oder zweiten und/oder irgendeines weiteren Farbbereichs kann an korrespondierende Kameraparameter von Bild zu Bild angepasst werden im Falle, dass die Kameraeinstellungen sich ändern. Solche Anpassungen der definierten Farbbereiche ermöglichen eine fortgeschrittenere Durchführung und genauere Farbschätzungen, die am besten zum Kamerasystem und den erwarteten Umweltbedingungen passen.
  • Letztendlich kann ein Gesamtbild erzeugt werden, insbesondere ein Draufsichtbild, als zusammengesetztes Bild basierend auf dem mindestens einen korrigierten ersten Bild und zweiten Bild. Vorzugsweise umfasst das Kraftfahrzeug vier Kameras und daher stellt das Gesamtbild vorzugsweise eine Zusammensetzung aus vier Bildern dar, wobei jedes von einer jeweiligen Kamera des Kamerasystems aufgenommen wurde.
  • Die Erfindung betrifft auch eine Bildverarbeitungseinrichtung für ein Kamerasystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine seiner Ausgestaltungen durchzuführen. Die Erfindung schließt auch ein Computerprogrammprodukt mit ein, welches einen in einem computerlesbaren Medium gespeicherten Programmcode aufweist und welches, wenn dieses von einem Prozessor einer Bildverarbeitungseinrichtung ausgeführt wird, den Prozessor dazu veranlasst, ein erfindungsgemäßes Verfahren oder eines seiner Ausgestaltungen durchzuführen.
  • Darüber hinaus betrifft die Erfindung auch ein Kamerasystem für ein Kraftfahrzeug mit mindestens einer Kamera zum Aufnehmen zumindest eines Bildes und mit einer erfindungsgemäßen Bildverarbeitungseinrichtung. Vorzugsweise weist das Kamerasystem vier Kameras auf, nämlich eine Frontkamera, eine Heckkamera, eine linke Spiegelkamera und eine rechte Spiegelkamera, um jeweilige Bilder aufzunehmen.
  • Weiterhin betrifft die Erfindung auch ein Fahrzeug, insbesondere ein Kraftfahrzeug, mit einem erfindungsgemäßen Kamerasystem.
  • Die mit Bezug auf das erfindungsgemäße Verfahren und seine Ausgestaltungen beschriebenen Vorteile gelten in gleicher Weise auch für die erfindungsgemäße Bildverarbeitungseinrichtung, das erfindungsgemäße Kamerasystem und das erfindungsgemäße Kraftfahrzeug.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
  • Dabei zeigen:
    • 1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Kamerasystem gemäß einem Ausführungsbeispiel der Erfindung;
    • 2 eine schematische Darstellung eines Bildbereichs von Bildern, die von jeweiligen Kameras des Kamerasystems aufgenommen wurden, auf der Basis von welchen ein Gesamtbild erzeugt wird, und welche in Bereiche von Interesse geteilt sind, die wiederum in Unterbereiche untergliedert sind, gemäß einem Ausführungsbeispiel der Erfindung;
    • 3 eine schematische Darstellung eines Bereichs von Interesse und seiner korrespondierenden Unterbereiche, gemäß einem Ausführungsbeispiel der Erfindung; und
    • 4 eine schematische Darstellung der UV-Farbebene des YUV-Farbmodells und eines definierten adaptiven Farbbereichs, welcher dazu genutzt wird zu überprüfen, ob ein Bild einen stark farbigen Bereich aufweist oder nicht, und auf der Basis von welchem jeweilige Gewichte zur Berechnung der Farbkorrektur bestimmt werden können, gemäß einem Ausführungsbeispiel der Erfindung.
  • 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Kamerasystem 2 gemäß einem Ausführungsbeispiel der Erfindung. Das Kamerasystem 2 ist als Surround-View-Kamerasystem ausgebildet und weist in diesem Beispiel eine Frontkamera 3, eine Heckkamera 4, eine linke Spiegelkamera 5 und eine rechte Spiegelkamera 6 auf. Jede der Kameras 3, 4, 5, 6 ist als Weitwinkelkamera ausgebildet und kann eine Fischaugenlinse oder eine ähnliche Optik aufweisen. Daher kann ein sehr großes Sichtfeld von jeder der Kameras 3, 4, 5, 6 erfasst werden. In diesem Beispiel weist die Frontkamera 3 ein korrespondierendes Sichtfeld FOV1 auf, welches in der horizontalen Ebene von den dargestellten Grenzlinien 3a begrenzt ist. In analoger Weise weist die Heckkamera 4 ein korrespondierendes Sichtfeld FOV2 auf, welches in der horizontalen Ebene durch die korrespondierenden Grenzlinien 4a begrenzt ist. Die linke Spiegelkamera 5 weist ein korrespondierendes Sichtfeld FOV3 auf, welches in der horizontalen Ebene durch die dargestellten Grenzlinien 5a begrenzt ist, und die rechte Spiegelkamera 6 weist ein korrespondierendes Sichtfeld FOV4 auf, welches in der horizontalen Ebene durch die dargestellten Grenzlinien 6a begrenzt ist. Daher ist jede der Kameras 3, 4, 5, 6 dazu ausgelegt, einen korrespondierenden Teil 7a, 7b, 7c, 7d der Umgebung 7 des Fahrzeugs 1 zu erfassen. Darüber hinaus überschneiden sich die Sichtfelder FOV1, FOV2, FOV3, FOV4 paarweise. Das Kamerasystem 2 weist auch ein Bildverarbeitungsmodul 8 auf, welches eine Harmonisierung der Bilder, die von den jeweiligen Kameras 3, 4, 5, 6 erfasst wurden, durchführt. Vor der Harmonisierung bildet das Bildverarbeitungsmodul 8 die erfassten Bilder auf eine Zieloberfläche, wie eine Kugel oder eine flache zweidimensionale Ebene, ab und fusioniert und rendert die Bilder nachfolgend auf das Ansichtsfenster von einer beliebig gewählten virtuellen Kamera, nämlich dem virtuellen Blickpunkt. Dabei können korrespondierende Bildbereiche von jedem Bild, welches von den jeweiligen Kameras 3, 4, 5, 6 erfasst wurde, in Abhängigkeit von dem bestimmten virtuellen Blickpunkt bestimmt werden. Dies hat den Vorteil, dass nur Teile der erfassten Bilder harmonisiert, analysiert und modifiziert werden müssen und Rechenleistung eingespart werden kann, da Teile der Bilder nicht analysiert oder modifiziert werden müssen, da sie aus der gewählten Perspektive ohnehin nicht sichtbar sind. Diese Bildbereiche sind in 2 dargestellt.
  • 2 zeigt eine schematische Darstellung von Bildbereichen von Bildern, die von verschiedenen Kameras 3, 4, 5, 6 aufgenommen wurden. Der von der Frontkamera 3 aufgenommene Bildbereich ist hier mit FV bezeichnet, der von der Heckkamera 4 aufgenommene Bildbereich ist mit RV bezeichnet, der von der linken Spiegelkamera 5 aufgenommene Bildbereich ist mit ML bezeichnet und der von der rechten Spiegelkamera 6 aufgenommene Bildbereich ist mit MR bezeichnet.
  • Darüber hinaus sind die Bildbereiche FV, RV, ML, MR in mehrere jeweilige Bereiche von Interesse unterteilt. Dabei ist der Bildbereich FV der Frontkamera 3 in zwei Bereiche von Interesse FV1, FV2 unterteilt, der Bildbereich RV der Heckkamera 4 ist auch in zwei Bereiche von Interesse RV1, RV2 unterteilt, der Bildbereich ML der linken Spiegelkamera 5 ist in vier Bereiche von Interesse ML1, ML2, ML3, ML4 unterteilt und der Bildbereich MR der rechten Spiegelkamera 5 ist auch in vier Bereiche von Interesse MR1, MR2, MR3, MR4 unterteilt. Die Anzahl der Bereiche von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 für jeden Bildbereich FV, RV, ML, MR kann jedoch in einem allgemeineren Fall beliebig sein und zum Beispiel von der Texturgröße und ihrer relativen Proportion zu den Texturgrößen der anderen Kameras abhängig sein. Zum Beispiel kann, um eine Kugelansicht mit verschiedenen Arten der Blickposition, Kamerabildtexturgrößen und Proportionen zu erzeugen, die Anzahl der Bereiche von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 verschieden sein.
  • Weiterhin stellen manche dieser Bereiche von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 Überlappungsbereiche dar. Insbesondere überlappen die Bereiche von Interesse ML1 und FV1, was bedeutet, dass diese den gleichen Szeneninhalt aufweisen, zumindest zum Teil. Weiterhin überlappen auch die Bereiche von Interesse MR1 und FV2, die Bereiche von Interesse ML4 und RV1, und die Bereiche von Interesse MR4 und RV2. Somit stellt jeder der Bereiche von Interesse FV1, FV2, RV1, RV2, ML1, ML4, MR1 und MR4 einen Überlappungsbereich dar, während die Bereiche von Interesse ML2, ML3, MR2, MR3 keine Überlappungsbereiche darstellen.
  • Darüber hinaus ist jeder Bereich von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 in mehrere Unterbereiche unterteilt. Insbesondere weist jeder Bereich von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 in diesem Beispiel vier Unterbereiche auf. Aus Gründen der Einfachheit sind nur manche dieser Unterbereiche mit einem Bezugszeichen dargestellt, insbesondere wobei die Unterbereiche des Bereichs von Interesse FV1 mit a1, a2, a3, a4 bezeichnet sind, die Unterbereiche des Bereichs von Interesse FV2 mit b1, b2, b3, b4, die Unterbereiche des Bereichs von Interesse ML1 mit c1, c2, c3, c4 und die Unterbereiche des Bereichs von Interesse MR1 mit d1, d2, d3, d4.
  • Im Allgemeinen müssen die jeweiligen Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 jedes Bereichs von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 nicht notwendigerweise eine rechteckige Form wie in 2 gezeigt aufweisen, sondern können stattdessen beliebig geformt sein, was in 3 dargestellt ist. Dabei zeigt 3 eine weitere schematische Darstellung eines Bereichs von Interesse, hier exemplarisch des Bereichs von Interesse FV1 des Bildbereichs FV des Bildes der Frontkamera 3, wobei die Unterbereiche a1, a2, a3, a4 zumindest zum Teil einen von einer Rechtecksform verschiedene Form aufweisen. Weiterhin kann auch zum Beispiel für spezifischere Anwendungen die Positionierung dieser Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 innerhalb des Bereichs von Interesse FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4 ebenfalls anders sein.
  • Zum Zwecke der Harmonisierung, insbesondere zum Bestimmen korrespondierender Farbkorrekturwerte für jeden Bildbereich FV, RV, ML, MR werden diese Bereiche FV, RV, ML, MR jeder Kamera 3, 4, 5, 6 mit Bezug auf die Chrominanz analysiert. Dabei werden die UV-Farbkomponenten jedes Bereichs FV, RV, ML, MR jedes Eingangsbildes analysiert. Diese Analyse und insbesondere die Berechnung der Farbkorrektur wird nun exemplarisch für den Bildbereich FV des Bildes der Frontkamera 3 erklärt.
  • Um eine Farbkorrektur für den Bildbereich FV der Frontkamera 3 zu berechnen, wird zuerst für jeden Unterbereich a1, a2, a3, a4, b1, b2, b3, b4 ein jeweiliger Farbwert berechnet. Dieser Farbwert stellt eine Art mittlere Farbe des jeweiligen Unterbereichs a1, a2, a3, a4, b1, b2, b3, b4 dar. Zum Berechnen dieses Farbwerts für jeden Unterbereich a1, a2, a3, a4, b1, b2, b3, b4 werden UV-Chroma-Histogramme berechnet und nachfolgend ein repräsentativer U- und V-Farbschätzwert bestimmt, der den Farbwert definiert. Dabei stellen UV-Chroma-Histogramme die Häufigkeit des Auftretens jeweiliger U-Werte und V-Werte innerhalb des Unterbereichs a1, a2, a3, a4, b1, b2, b3, b4 dar. Die finalen repräsentativen U- und V-Farbwerte können dann als eine Art Mittelwert aller U- und V-Farbwerte innerhalb dieser Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4 gemäß ihren Häufigkeiten des Auftretens berechnet werden. Auch kann ein etwas anspruchsvolleres Verfahren, wie eine adaptive Histogramm-Integration, verwendet werden. Letztendlich kann für jeden Unterbereich a1, a2, a3, a4, b1, b2, b3, b4 ein korrespondierender Farbwert, nämlich eine jeweilige U- und V-Farbkomponente, bereitgestellt werden.
  • Diese U- und V-Farbkomponenten definieren dementsprechend eine bestimmte Position Pa1 , Pa2 , Pa3 , Pa4 , Pb1 , Pb2 , Pb3 , Pb4 in einem Farbraum, insbesondere in der UV-Farbebene 9, wie in 4 dargestellt. Jede Farbposition Pa1 , Pa2 , Pa3 , Pa4 , Pb1 , Pb2 , Pb3 , Pb4 jedes Unterbereichs a1, a2, a3, a4, b1, b2, b3, b4 ist in 4 exemplarisch durch ein X dargestellt. Darüber hinaus ist innerhalb dieser Farbebene 9 ein erster Farbbereich 10 um den Schnittpunkt der U- und V-Achsen definiert, welcher im Wesentlichen Grauwertfarben mit mehr oder weniger starken Farbstichen umfasst, während Chrominanz-Werte außerhalb dieses ersten Farbbereichs 10 als starke Farben angesehen werden können. Insbesondere kann der Schnittpunkt der U- und V-Achsen als Referenzfarbe R definiert werden. Vorteilhafterweise ist dieser erste Farbbereich 10 als ein adaptiver Farbbereich gestaltet, der UV-Bereiche bezeichnet, die als 2D-Chroma-Bereiche für die Farbkorrekturschätzung berücksichtigt werden, und alle anderen Chroma-Werte außerhalb dieses Bereichs werden als zu einem farbigen Objekt oder speziell Innenbeleuchtungsbedingungen gehörend erachtet, die nicht zur Berechnung der Farbkorrektur verwendet werden sollen. Das Zentrum dieses Koordinatensystems ist U = 0 und V = 0, was zum farblosesten Punkt korrespondiert, welcher einen definierten Grauwert darstellt, welcher als die Referenzfarbe R dient. Dieser Referenzpunkt R wird dann zur Berechnung der absoluten Farbschätzung, wie später erklärt, verwendet. Im Allgemeinen kann dieser Referenzpunkt R in Spezialfällen verschoben sein. Im Übrigen erhöhen sich die U-Werte und die V-Werte in der Zeigerichtung der jeweiligen Koordinatenachsen, sodass gemäß der Darstellung in 4 der Teil der V-Achse oberhalb des Koordinatenursprungs positiv und der Teil darunter negativ ist, und in gleicher Weise der Teil der U-Achse auf der rechten Seite des Koordinatenursprungs positiv und der Teil auf der linken Seite des Koordinatenursprungs negativ ist.
  • Darüber hinaus wird überprüft, ob die jeweiligen Farbpositionen der Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4 innerhalb des definierten Farbbereichs 10 liegen oder nicht. Alle Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, deren korrespondierende Farbwerte in diesen definierten Farbbereich 10 fallen, werden für die Berechnung der absoluten Farbstichschätzung für jede Kamera verwendet. Die Form des Farbbereichs 10 ist weiterhin ausgestaltet, um optimal an in Betracht gezogene Umgebungsbedingungen und Kameraeinstellungsparameter angepasst zu sein, und insbesondere ist er an Belichtung, Verstärkung und adaptive Weißausgleichseinstellungen innerhalb der internen Signalverarbeitung der Kamera 3, 4, 5, 6 anpassbar. Eine solche Anpassung des Farbbereichs 10 ermöglicht vorteilhafterweise eine fortgeschrittenere Durchführung und genauere Farbschätzungen, die am besten zum Kamerasystem und den erwarteten Umgebungsbedingungen passen. Somit kann für jede der Fahrzeugkameras 3, 4, 5, 6 ein korrespondierend angepasster Farbbereich 10 gestaltet werden, welcher an die kameraspezifischen Eigenschaften angepasst ist. Darüber hinaus kann dieser Farbbereich 10 auch während des Verfahrens angepasst werden, zum Beispiel im Fall, dass eine jeweilige Kamera 3, 4, 5, 6 ihre Einstellungen ändert. Dann kann die Form und/oder Größe dieses definierten Farbbereichs 10 in korrespondierender Weise angepasst werden. Diese Anpassung kann zum Beispiel durch eine Vergrößerung oder Verkleinerung des Farbbereichs 10 als Ganzes bereitgestellt werden, wobei dessen Form beibehalten wird, oder durch Vergrößern oder Verkleinern nur eines oder mehrerer Teile dieses Farbbereichs 10, zum Beispiel des Teils zwischen der positiven V-Achse und der negativen U-Achse und des Teils zwischen der negativen V-Achse und der positiven U-Achse, insbesondere unabhängig voneinander, wobei die Form dieser einzelnen Teile des Farbbereichs 10 beibehalten wird, oder durch zusätzliche Veränderung der Form des gesamten Farbbereichs 10 oder nur von einzelnen Teilen davon. Der Einfluss einer bestimmten Kamera 3, 4, 5, 6 auf die Farbeigenschaften eines mit dieser Kamera 3, 4, 5, 6 aufgenommenen Bildes in Abhängigkeit von verschiedenen Einstellungen oder Parametern der Kamera 3, 4, 5, 6 kann beispielsweise empirisch bestimmt und in Form einer Look-Up-Tabelle oder eines Kameramodells abgelegt werden. Die Anpassungen der Form und/oder Größe des für diese Kamera 3, 4, 5, 6 definierten Farbbereichs 10 in Abhängigkeit von dem mindestens einen Parameter der Kamera 3, 4, 5, 6 können dann einfach mittels der Look-Up-Tabelle oder des Kameramodells vorgenommen werden.
  • Nun werden für die absolute Farbkorrektur nur diese Farbwerte berücksichtigt, die innerhalb dieses definierten Farbbereichs 10 liegen, in diesem Fall die Farbwerte der Unterbereiche a1, a2, a4. Darüber hinaus werden diese Farbwerte nicht einfach gemittelt, sondern vielmehr gewichtet gemittelt, um einen finalen absoluten Farbkorrekturwert in Form einer UV-Chroma-Schätzung für die gesamte Kamerabildtextur zu erhalten. Diese Gewichte werden vorteilhafterweise als umgekehrt proportional zum euklidischen Abstand der jeweiligen Farbwerte zur Referenzfarbe R berechnet. In dieser Weise kann der Beitrag einer bestimmten Farbschätzung eines bestimmten Unterbereichs a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 zum finalen absoluten Farbkorrekturwert für die gesamte Kamerabildtextur differenzierter kontrolliert werden. Letztendlich kann basierend auf diesem gewichteten Mittelwert ein absoluter Farbkorrekturwert berechnet werden.
  • Weiterhin kann auf Basis dieses absoluten Farbkorrekturwerts ein aktueller Farbkorrekturwert ermittelt werden. Neben dem beschriebenen absoluten Farbkorrekturwert kann auch ein relativer Korrekturwert für die Bestimmung des aktuellen Farbkorrekturwerts berücksichtigt werden. Solch ein relativer Farbkorrekturwert oder Farbkorrekturschätzung kann zum Beispiel durch Vergleichen von Farbwerten von Überlappungsbereichen von verschiedenen Nachbarkamerabildern bestimmt werden. Dabei muss der vorhergehend bestimmte absolute Farbkorrekturwert für jeden dieser Überlappungsbereiche jeder Kamera 3, 4, 5, 6 berücksichtigt werden. Neben der vorteilhaften Berechnung des absoluten Farbkorrekturwerts kann die Berechnung eines solchen aktuellen Farbkorrekturwerts, welcher relative und absolute Korrekturen berücksichtigt, wie aus dem Stand der Technik bekannt berechnet werden.
  • Jedoch, wenn ein solcher aktueller Farbkorrekturwert letztendlich berechnet ist, wird dieser aktuelle Farbkorrekturwert nicht sofort auf den jeweiligen Bildbereich angewandt, zum Beispiel den Bildbereich FV, sondern stattdessen wird dieser aktuelle Farbkorrekturwert zeitlich mit dem vorhergehend berechneten Farbkorrekturwert in einer sehr vorteilhaften Weise gemittelt. Insbesondere wird ein Gesamt-Farbkorrekturwert als ein gewichteter Mittelwert aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert gemäß der folgenden Formel berechnet: finalColorEst = α currColEst + ( 1 α ) prevColEst
    Figure DE102018118996A1_0001
    wobei „finalColEst“ die finale Farbschätzung, d.h. den Gesamt-Farbkorrekturwert, darstellt, „currColEst“ die aktuelle Farbschätzung, d.h. den aktuellen Farbkorrekturwert, „prevColEst“ die vorhergehende Farbschätzung, d.h. den vorhergehenden Farbkorrekturwert, und α einen Parameter, welcher wieder von den Gewichten, die bereits für die absolute Farbkorrektur, wie zuvor beschrieben, verwendet wurden, abhängt. Zum Berechnen dieses Parameters α wird erst die Summe der Unterbereichsgewichte innerhalb jedes Bereichs von Interesse berechnet. Insbesondere wird nur die Information aus den Überlappungsbereichen von Interesse verwendet. Somit werden zum Beispiel, um den Gesamt-Farbkorrekturwert für den Bildbereich FV der Frontkamera 3 zu berechnen, nur die Gewichte der Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 der Bereiche von Interesse ML1, FV1, FV2, MR1 verwendet. Diese Summe kann für jeden Bereich von Interesse ML1, FV1, FV2, MR1 in der folgenden Weise berechnet werden: S W = i w i
    Figure DE102018118996A1_0002
    Hier bezeichnet SW die Summe der Gewichte für einen einzelnen Bereich von Interesse ML1, FV1, FV2 and MR1 und wi bezeichnet die Gewichte für die zugeordneten jeweiligen Unterbereiche a1, a2, a3, a4 oder b1, b2, b3, b4 oder c1, c2, c3, c4 oder d1, d2, d3, d4, wobei der Index i den jeweiligen Unterbereich repräsentiert. Falls diese Summe gleich Null für entweder einen der Überlappungsbereiche der betreffenden Kamera 3 oder der zugehörigen Überlappungsblöcke der Nachbarkameras 5, 6 ist, dann wird α = 0 gesetzt. Andernfalls wird α als Mittelwert der Summen der Gewichte für die beiden Bereiche von Interesse der betreffenden Kameratextur, nämlich der Kamera 3, für welche der Farbstich berechnet wird, und zwei zusätzlichen Summen von Gewichten, die zu den Überlappungsbereichen von Interesse der Nachbarkameras korrespondieren, berechnet. Zum Beispiel wird im Falle der Frontkamera 3 der Parameter α wie folgt berechnet: α = ( SW_FV1 + SW_FV2 + SW_ML1 + SW_MR1 ) / 4
    Figure DE102018118996A1_0003
    Hierbei bezeichnet „SW_FV1“ die Summe der Gewichte der Unterbereiche a1, a2, a3, a4 des Bereichs von Interesse FV1, „SW_FV2“ die Summe der Gewichte der Unterbereiche b1, b2, b3, b4 des Bereichs von Interesse FV2, „SW_ML1“ die Summe der Gewichte der Unterbereiche c1, c2, c3, c4 des Bereichs von Interesse ML1, und „SW_MR1“ die Summe der Gewichte der Unterbereiche d1, d2, d3, d4 des Bereichs von Interesse MR1.
  • Durch Verwendung dieses vorgeschlagenen Konzepts werden ausschließlich vorhergehend geschätzte Chroma-Werte für die Korrektur verwendet, wenn die Summe der Gewichte in irgendeiner der vier Bereiche von Interesse ML1, FV1, FV2 und MR1 gleich Null ist, was bedeutet, dass die korrespondierenden Farbwerte der jeweiligen Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 nicht innerhalb des definierten Farbbereichs 10 liegen.
  • In einer Situation, in welcher von Null verschiedene Chroma-Schätzungen existieren, was bedeutet, dass die Farbwerte der jeweiligen Unterbereiche a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 innerhalb des definierten Farbbereichs liegen, wird proportional mehr von der aktuellen Farbschätzung in die Summe der Gewichte aufgenommen. Je größer die Summe der Gewichte für jeden Bereich von Interesse ML1, FV1, FV2 und MR1 bestehend aus den jeweiligen Unterbereichen a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4 ist, desto mehr von der aktuellen Farbschätzung wird verwendet, weil in diesem Fall angenommen werden kann, dass die aktuellen Farbschätzungen verlässlicher sind. Andererseits, wenn die Summe der Gewichte abnimmt, bedeutet dies, dass die meisten der Unterbereichsschätzungen weit vom Referenzpunkt R entfernt sind, zum Beispiel dem Graupunkt, und als solche als weniger verlässlich angenommen werden. Folglich wird in diesem Fall die vorhergehende Farbschätzung proportional mehr als die aktuelle Farbschätzung verwendet.
  • Dadurch wird eine vorteilhafte adaptive farbgewichtete Glättung sowohl in zeitlicher Richtung als auch multikameraweise (benachbarte Kameras innerhalb der Surround-Ansicht) bereitgestellt, welche auf der vorhergehend bestimmten Summe von gewichteten Koeffizienten basiert. Dieser adaptive Gewichtungsansatz verwendet vorteilhafterweise ein unscharfes Konzept der Chroma-UV-Werte für jede Kamerabildtextur durch Kombinieren von Chroma-Schätzungen aus allen ausgewählten Unterbereichen in einer ausgefeilten unscharfen Art und Weise. Daher erlauben die Erfindung und ihre Ausgestaltungen eine verbesserte zeitliche Stabilität der Farbkorrekturdurchführung sowie genauere Farbkorrekturschätzungen pro Einzelbildaufnahme.

Claims (15)

  1. Verfahren zum Bestimmen zumindest eines Farbkorrekturwerts um eine Farbkorrektur für mindestens ein erstes Bild (FV, RV, ML, MR), welches von mindestens einer ersten Kamera (3, 4, 5, 6) eines Kamerasystems (2) aufgenommen wurde, durchzuführen, aufweisend die Schritte: - Bestimmen zumindest eines ersten Bereichs von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) des mindestens einen ersten Bildes (FV, RV, ML, MR); - Berechnen des mindestens einen Farbkorrekturwerts zumindest basierend auf einer Farbanalyse des mindestens einen ersten Bereichs von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4); und - Korrigieren des mindestens einen ersten Bildes (FV, RV, ML, MR) zumindest in Abhängigkeit von dem ermittelten mindestens einen Farbkorrekturwert; dadurch gekennzeichnet, dass die Berechnung des mindestens einen Farbkorrekturwerts die Schritte aufweist: - Unterteilen des mindestens einen ersten Bereichs von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) in mindestens zwei Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4); - für jeden Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) Ermitteln von mindestens einem Farbwert; - Zuordnen eines jeden Unterbereichs (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) zu einer jeweiligen Position (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) in einem Farbraum (9) basierend auf dem mindestens einen Farbwert; - für jeden Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) Bestimmen, ob die jeweilige Position (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) innerhalb eines definierten ersten Farbbereichs (10) des Farbraums (9) liegt; - nur für diejenigen Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4), deren zugeordnete Positionen (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) innerhalb des definierten ersten Farbbereichs (10) liegen, Bestimmen eines jeweiligen Farbabstands zu einer definierten Referenzfarbe (R) innerhalb des definierten ersten Farbbereichs (10); - basierend auf den jeweiligen Farbabständen Berechnen jeweiliger erster Gewichte, so dass je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende erste Gewicht ist; und - Bestimmen des mindestens einen Farbkorrekturwerts als gewichteter Mittelwert in Abhängigkeit von den berechneten ersten Gewichten.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der mindestens eine Farbkorrekturwert einen Gesamt-Farbkorrekturwert darstellt, welcher einen gewichteten Mittelwert aus einem aktuellen Farbkorrekturwert und einem vorhergehenden Farbkorrekturwert darstellt.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in Abhängigkeit von den ersten Gewichten ein Parameter ermittelt wird, welcher zweite Gewichte des gewichteten Mittelwerts aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert definiert.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine erste Bereich von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) derart ermittelt wird, dass der erste Bereich von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) einen Überlappungsbereich dargestellt, der mit mindestens einem zweiten Bereich von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) von mindestens einem zweiten Bild (FV, RV, ML, MR), welches von mindestens einer zweiten Kamera (3, 4, 5, 6) des Kamerasystems (2) aufgenommen wurde, überlappt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der mindestens eine zweite Bereich von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) des mindestens einen zweiten Bildes (FV, RV, ML, MR) in mindestens zwei Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) unterteilt wird, wobei jeder Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) einer jeweiligen Position (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) im Farbraum (9) zugeordnet wird und für jeden Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) bestimmt wird, ob die jeweilige Position (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) innerhalb eines definierten zweiten Farbbereichs (10) des Farbraum (9) liegt, und wobei nur für diejenigen Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4), deren zugeordnete Positionen (Pa1, Pa2, Pa3, Pa4, Pb1, Pb2, Pb3, Pb4) innerhalb des definierten zweiten Farbbereichs (10) liegen, ein jeweiliger Farbabstand zur definierten Referenzfarbe (R) bestimmt wird und basierend auf den jeweiligen Farbabständen jeweilige dritte Gewichte bestimmt werden, so dass je größer der jeweilige Farbabstand ist, desto kleiner das korrespondierende dritte Gewicht ist.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Ermittlung des Parameters die Schritte aufweist: - Berechnen einer ersten Summe der ersten Gewichte und einer zweiten Summe der dritten Gewichte; - Überprüfen, ob die erste oder die zweite Summe gleich Null ist; - im Falle, dass mindestens eine der ersten und der zweiten Summe gleich Null ist, der Parameter derart festgelegt wird, dass nur der vorherige Farbkorrekturwert zu dem gewichteten Mittelwert aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert beiträgt; - im Falle, dass sowohl die erste Summe als auch die zweite Summe, von Null verschieden ist, der Parameter als Mittelwert der ersten und zweiten Summe bestimmt wird, wobei je größer der Mittelwert ist, desto größer ist der Beitrag des aktuellen Farbkorrekturwerts zum gewichteten Mittelwert aus dem aktuellen Farbkorrekturwert und dem vorhergehenden Farbkorrekturwert.
  7. Verfahren nach einem der vorhergehenden Ansprüche 5 oder 6, dadurch gekennzeichnet, dass der Parameter zum Bestimmen des Gesamt-Farbkorrekturwerts für das mindestens eine erste Bild (FV, RV, ML, MR) von den ersten und/oder dritten Gewichten abhängt, die sich auf Unterbereiche (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) nur von denjenigen ersten und/oder zweiten Bereichen von Interesse beziehen, die gleichzeitig Überlappungsbereiche darstellen.
  8. Verfahren nach einem der vorhergehenden Ansprüche 2 bis 7, dadurch gekennzeichnet, dass der aktuelle und/oder vorhergehende Farbkorrekturwert basierend auf einem absoluten Farbkorrekturwert und/oder einem relativen Farbkorrekturwert berechnet wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Farbkorrekturwert einen absoluten Farbkorrekturwert darstellt, welcher einen gewichteten Mittelwert der Farbwerte darstellt, die für jeden Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) des mindestens einen ersten Bereichs von Interesse (FV1, FV2, RV1, RV2, ML1, ML2, ML3, ML4, MR1, MR2, MR3, MR4) bestimmt wurden, wobei jeder Farbwert zum gewichteten Mittelwert gemäß den jeweiligen ersten Gewichten beiträgt, die für die jeweiligen Unterbereich (a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4, d1, d2, d3, d4) bestimmt wurden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Farbraum (9) die UV-Farbeebene gemäß dem YUV-Farbmodell darstellt, wobei die Form des definierten ersten Farbbereichs (10) derart ausgebildet ist, dass diejenigen Teile des definierten ersten Farbbereichs (10), die zwischen der positiven V-Achse und der negativen U-Achse und die zwischen der negativen V-Achse und der positiven U-Achse liegen, größer sind als Teile des definierten ersten Farbbereichs (10), die zwischen der positiven V-Achse und der positiven U-Achse und die zwischen der negativen V-Achse und der negativen U-Achse liegen.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Größe und/oder Form des definierten ersten Farbbereichs (10) in Abhängigkeit von mindestens einem Kameraparameter der ersten Kamera (3, 4, 5, 6) definiert wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Gesamtbild, insbesondere ein Draufsichtbild, als zusammengesetztes Bild basierend auf dem mindestens einen korrigierten ersten und zweiten Bild (FV, RV, ML, MR) erzeugt wird.
  13. Bildverarbeitungseinrichtung (8) für ein Kamerasystem (2) eines Kraftfahrzeugs (1), die dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  14. Kamerasystem (2) für ein Kraftfahrzeug (1), aufweisend mindestens eine Kamera (3, 4, 5, 6) zum Erfassen zumindest eines Bildes (FV, RV, ML, MR) und eine Bildverarbeitungseinrichtung (8) gemäß Anspruch 13.
  15. Kraftfahrzeug (1) aufweisend ein Kamerasystem (2) nach Anspruch 14.
DE102018118996.6A 2018-08-06 2018-08-06 Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug Active DE102018118996B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018118996.6A DE102018118996B4 (de) 2018-08-06 2018-08-06 Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018118996.6A DE102018118996B4 (de) 2018-08-06 2018-08-06 Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug

Publications (2)

Publication Number Publication Date
DE102018118996A1 true DE102018118996A1 (de) 2020-02-06
DE102018118996B4 DE102018118996B4 (de) 2021-10-28

Family

ID=69168458

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018118996.6A Active DE102018118996B4 (de) 2018-08-06 2018-08-06 Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102018118996B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020125232A1 (de) 2020-09-28 2022-03-31 Continental Automotive Gmbh Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
CN117455823A (zh) * 2023-11-23 2024-01-26 镁佳(北京)科技有限公司 一种图像调节方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015123173A1 (en) * 2014-02-11 2015-08-20 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system
WO2015127535A1 (en) * 2014-02-26 2015-09-03 Searidge Technologies Inc. Image stitching and automatic-color correction
DE102016121755A1 (de) * 2016-11-14 2018-05-17 Connaught Electronics Ltd. Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015123173A1 (en) * 2014-02-11 2015-08-20 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system
WO2015127535A1 (en) * 2014-02-26 2015-09-03 Searidge Technologies Inc. Image stitching and automatic-color correction
DE102016121755A1 (de) * 2016-11-14 2018-05-17 Connaught Electronics Ltd. Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020125232A1 (de) 2020-09-28 2022-03-31 Continental Automotive Gmbh Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
CN117455823A (zh) * 2023-11-23 2024-01-26 镁佳(北京)科技有限公司 一种图像调节方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
DE102018118996B4 (de) 2021-10-28

Similar Documents

Publication Publication Date Title
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
EP2623374A1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP2934947A1 (de) Kraftfahrzeug mit kamera-monitor-system
DE102016116820A1 (de) Vorrichtung zur Korrektur einer Bildverzerrung einer Linse
DE102018118996B4 (de) Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug
WO2021121491A2 (de) Umwandlung von eingangs-bilddaten einer mehrzahl von fahrzeugkameras eines rundumsichtsystems in optimierte ausgangs-bilddaten
EP3844943B1 (de) Verfahren zur anzeige eines modells einer umgebung, steuergerät und fahrzeug
DE102013001644A1 (de) Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
DE102014118314A1 (de) Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
DE112014003174T5 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und nichtflüchtiges computerlesbares Speichermedium
DE102011010859A1 (de) Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug
DE102013020952A1 (de) Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017114611A1 (de) Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
EP3655920A1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
DE102018113281A1 (de) Verfahren zur Bildharmonisierung, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
DE102017121916A1 (de) Harmonisierung von Bildrauschen in einer Kameraeinrichtung eines Kraftfahrzeugs
DE102013011844A1 (de) Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP1797710A1 (de) Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes
EP4118816A1 (de) Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter
DE102018110597A1 (de) Verfahren zur Bildharmonisierung, Bildverarbeitungseinrichtung, Kamerasystem und Kraftfahrzeug
DE102013020949A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102014206246A1 (de) Verfahren und Vorrichtung zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder
DE102005002636A1 (de) Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
DE102012016865A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final