DE102021124986A1

DE102021124986A1 - Bildeinfärbung für fahrzeugkamerabilder

Info

Publication number: DE102021124986A1
Application number: DE102021124986.4A
Authority: DE
Inventors: Cynthia M. Neubecker; Jon M. Speigle; Lidia van Moen
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-09-29
Filing date: 2021-09-27
Publication date: 2022-03-31
Also published as: US20220101021A1; US11380111B2; CN114339185A

Abstract

Diese Offenbarung stellt eine Bildeinfärbung für Fahrzeugkamerabilder bereit. Eine Vorrichtung für ein Kraftfahrzeug umfasst einen Bildsensor, der nicht trichromatische Bilddaten als eine Bildpixelanordnung erzeugt, die ein vorbestimmtes Sichtfeld relativ zu dem Fahrzeug abdeckt. Eine Farbkalibrierungsquelle erzeugt mindestens einen Farbreferenzwert gemäß einem Objekt, das in den nicht trichromatischen Bilddaten abgebildet ist. Eine Steuerung ist dazu konfiguriert, 1) den mindestens einen Farbreferenzwert einem Satz von Pixeln innerhalb der Bildpixelanordnung zuzuordnen und 2) die nicht trichromatischen Bilddaten gemäß dem mindestens einen Farbreferenzwert einzufärben, um ein eingefärbtes Bild zu erzeugen. Eine Anzeige ist dazu konfiguriert, das eingefärbte Bild einem Betrachter in dem Fahrzeug anzuzeigen.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen Bildgebungssysteme für Kraftfahrzeuge und genauer gesagt das Verbessern der Bildqualität durch Verschmelzen von Quellen von Bildgebungsdaten, um nicht trichromatische Bilder, die durch nicht trichromatische Bildsensoren erlangt werden, welche eine höhere Auflösung aufweisen können, einzufärben.
ALLGEMEINER STAND DER TECHNIK
Kraftfahrzeuge (z. B. Personenkraftwagen, wie etwa Autos und Lastkraftwagen, die einen Verbrennungsmotor, einen elektrischen Antriebsstrang oder beides verwenden) weisen typischerweise mehrere Bildsensoren (z. B. Kameras) auf, die unter Verwendung einer Vielfalt an Bildgebungstechnologien im gesamten Fahrzeug installiert sind. Die Verwendung mehrerer Kameras/Bildsensoren hat die Erkennung von Objekten und die Situationsbewusstsein hinsichtlich des Bereiches unmittelbar um das Fahrzeug herum verbessert. Einige Kameras werden eingesetzt, um Bilder aufzunehmen, die dem Fahrer visuell auf einer Anzeige präsentiert werden sollen, wie etwa eine Rückfahrkamera, die eine Live-Ansicht des Bereiches hinter dem Fahrzeug bereitstellt, wenn das Fahrzeuggetriebe in den Rückwärtsgang geschaltet wird. Andere Kameras nehmen Bilder auf, die normalerweise nicht zum Betrachten durch den menschlichen Fahrer gedacht sind, sondern stellen stattdessen Bilddaten bereit, die durch fortschrittliche Fahrerassistenzsystemen (advanced driver assistance systems - ADAS) und/oder autonome Fahrsteuerungen verwendet werden. Die nichtmenschlichen Systeme können typischerweise Technologie für computergestütztes Sehen beispielsweise zum Erkennen von Objekten und/oder der Fahrzeugumgebung einsetzen, um einen ordnungsgemäßen Fahrweg beizubehalten und jegliches Erkennen von Hindernissen zu vermeiden.
Kameras mit nicht trichromatischen Farbfilteranordnungen (color filter arrays - CFAs) haben sich als vorteilhaft für die Leistung des computergestützten Sehens erwiesen. Im vorliegenden Zusammenhang bezieht sich nicht trichromatisch auf monochromatische oder bichromatische Bildsensoren, bei denen Pixel in den Bilddaten nicht zwischen Farben unterscheiden, die für den CIE-1931-Standardbeobachter unterscheidbar sind. Beispiele für nicht trichromatische CFAs beinhalten Graustufen- oder RCCC-Bildsensoren, bei denen ein Hauptaugenmerk auf die Empfindlichkeit für schwaches Licht gelegt wird, was auf Kosten des Erreichens einer für den Menschen sichtbaren Farbgenauigkeit geht. Insbesondere können nicht trichromatische Bildsensorwerte nicht genau in den XYZ-Farbraum transformiert werden, wie er von der Internationalen Beleuchtungskommission (International Commission on Illumination - CIE) definiert ist. Ein anderes Beispiel beinhaltet einen IR- oder Nah-IR-Bildsensor, der monochromatisch sein kann und nicht der CIE-Luminanz, dem Dreifarbsehen oder dem für den Menschen sichtbaren Wellenlängenbereich entsprechen kann.
Kanten (d. h. Ränder) sind die Hauptbildmerkmale, die für das Erkennen von Objekten innerhalb eines Bildes wichtig sind, und da Farbinformationen (Farbton, Chroma oder Sättigung) oftmals nicht erforderlich sind, um die Kanten zu finden, ist das Aufnehmen von Bildern mit einer höheren Auflösung, aber nicht vollständigen Farbinformationen besser für die Verwendung beim computergestützten Sehen geeignet. Für die menschliche Betrachtung sind Farbbilder andererseits sehr bevorzugt, um ein natürliches Bild bereitzustellen und es zu ermöglichen, dass Farben in dem Bild Hinweise für die menschliche Wahrnehmung und zur schnellen Erkennung von Elementen in der Szene bereitzustellen. Diese konkurrierenden Anforderungen an die Bildsammlung können dazu führen, dass eine große Anzahl von Kameras in einem einzelnen Fahrzeug eingesetzt wird.
Es wäre vorzuziehen, die Verwendung der Bilderfassungstechnologien zu optimieren, um die Verbauung, die Teilekosten und die Teilezahl zu minimieren, während ein breites Spektrum von Merkmalen, einschließlich Anwendungen für menschliches Sehen und computergestütztes Sehen, unterstützt wird.
KURZDARSTELLUNG DER ERFINDUNG
Die Erfindung kombiniert Informationen über Sensorklassen hinweg, um einen reicheren Videostream zu erzeugen, wie etwa einen, der Farbinformationen von einem Farbsensor nutzt, um einen monochromatischen oder nicht trichromatischen Bildsensor zu verbessern. In einigen Ausführungsformen sendet eine dreifarbige (z. B. rot-blau-grün) automobiltaugliche CFA-Kamera Farbdaten (z. B. ein farbiges Referenzbild) an eine Steuerung oder einen anderen Prozessor zum Durchführen eines Bildeinfärbungsalgorithmus, um die Einfärbung von Nicht-RGB-Bildern von einer nicht trichromatischen Kamera (die zum Beispiel eine höhere Auflösung oder ein anderes Sichtfeld aufweisen kann) zu korrigieren. Die Bildeinfärbungsverarbeitung selbst kann viele bekannte Verfahren und Algorithmen der Art beinhalten, die für alte Schwarzweißfotografien oder -filme verwendet wird. Darüber hinaus kann die Verarbeitung eine oder mehrere fahrzeuginterne Kameras verwenden, die Farbreferenzpunkte bereitstellen, um das Einfärbungsproblem einzuschränken und genaue Einfärbungen für mindestens einige Objekte innerhalb des nicht trichromatischen Bildes zu erzeugen. Im vorliegenden Zusammenhang bezieht sich „Objekt“ auf eine Region in dem Kamerasichtfeld, die eine erkennbare Grenze (d. h. eine Umfangskante) aufweist und eine bestimmte Farberscheinung innerhalb dieser Grenze aufweist. Die Erfindung ermöglicht fahrzeuginterne und entfernte Aufgaben, die erfordern, dass Farbbilder durch alle verfügbaren Kamerasensoren in dem Fahrzeug erzeugt werden, einschließlich der Kameras mit nicht trichromatischen CFAs. In einigen Ausführungsformen kann die Verarbeitung zur Einfärbung ein neuronales Faltungsnetzwerk (Convolutional Neural Network - CNN) nutzen, das unter Verwendung von farbigen CFA-Kamerabildern und nicht trichromatischen Bildern angepasst und trainiert wurde. Nicht-CNN-basierte Einfärbungsalgorithmen können ebenfalls wie in dieser Schrift beschrieben verwendet werden.
In einem Aspekt der Erfindung umfasst eine Vorrichtung für ein Kraftfahrzeug einen Bildsensor, der nicht trichromatische Bilddaten als eine Bildpixelanordnung erzeugt, die ein vorbestimmtes Sichtfeld relativ zu dem Fahrzeug abdeckt. Eine Farbkalibrierungsquelle erzeugt mindestens einen Farbreferenzwert gemäß einem Objekt, das in den nicht trichromatischen Bilddaten abgebildet ist. Eine Steuerung ist dazu konfiguriert, 1) den mindestens einen Farbreferenzwert einem Satz von Pixeln innerhalb der Bildpixelanordnung zuzuordnen und 2) die nicht trichromatischen Bilddaten gemäß dem mindestens einen Farbreferenzwert einzufärben, um ein eingefärbtes Bild zu erzeugen. Eine Anzeige ist dazu konfiguriert, das eingefärbte Bild einem Betrachter in dem Fahrzeug anzuzeigen.
Figurenliste

1 ist ein Diagramm, das eine Vorrichtung für ein Fahrzeugbildgebungs- und -verarbeitungssystem zeigt.
2 stellt sich überlappende Sichtfelder für ein Paar von Bildsensoren dar.
3 ist ein Blockdiagramm für eine bevorzugte Ausführungsform eines Fahrzeugbildgebungs- und -verarbeitungssystems.
4 ist ein Blockdiagramm gemäß einer Ausführungsform zum Zuordnen einer Farbübereinstimmung zwischen Bildern und zum Einfärben eines Bildes.
5 ist ein Blockdiagramm gemäß einer anderen Ausführungsform zum Abbilden einer Farbübereinstimmung zwischen Bildern und zum Einfärben eines Bildes.
6 veranschaulicht geometrische Beziehungen zum Durchführen einer Pixelzuordnung zwischen Bildern.
7 ist ein Blockdiagramm gemäß einer Ausführungsform zum Anpassen eines neuronalen Netzwerkes zum Einfärben von Bildern.
8 ist ein Blockdiagramm, das Verarbeitungsfunktionen zum Einfärben von Bildern zeigt.
9 ist ein Blockdiagramm, das eine andere Ausführungsform einer Fahrzeugvorrichtung zum Erzeugen und Verteilen von eingefärbten Bildern zeigt.

DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Unter Bezugnahme auf 1 beinhaltet ein Fahrzeug 10 eine Vielzahl von Fernerfassungsvorrichtungen (z. B. passiven Sensoren, wie etwa optischen Bildsensoren, und aktiven Sensoren, wie etwa Radar und Sonar) zum Überwachen der Umgebung. Als Reaktion auf die Umgebungsszene können verschiedene Bilder aufgenommen werden, wie etwa ein Bild 11, das einem Fahrer oder anderen Insassen des Fahrzeugs unter Verwendung einer Anzeigetafel 13 angezeigt werden soll. Das Bild 11 kann ein Objekt von Interesse 12 beinhalten, das eine Kantengrenze aufweist, die einen Abschnitt des Objekts umschließt, von dem man sieht, dass er Licht einer charakteristischen Farbe reflektiert. Eine Steuerung 14 steuert Bilder, die auf der Anzeige 13 erzeugt werden sollen, basierend auf Bilddaten, die von den Bildsensoren gesammelt werden, über einen Kommunikationsbus 15 (z. B. einen CAN-Bus) an. Zusätzlich zu einem Live-Feed ausgewählter Kameraansichten auf der Anzeige 13 können Bilder automatisch oder als Reaktion auf eine Benutzeranforderung aufgezeichnet (d. h. gespeichert) werden. Zum Beispiel kann ein Fahrer oder Fahrgast sich dafür entscheiden, ein Bild eines interessanten Orientierungspunktes, einer Szenerie oder eines Ereignisses zur späteren Betrachtung aufzuzeichnen. Im Fall einer automatischen Bildaufzeichnung können die Bilder zur Unfallrekonstruktion oder für andere Zwecke verwendet werden. Ob als Live-Feed oder als aufgezeichnetes Bild, können Bilder, die von einem Bildsensor ohne volle Dreifarbigkeit aufgenommen wurden, aufgrund der verfügbaren Auflösung, des Sichtfeldes oder anderer Faktoren erwünscht sein.
Die optischen Bildsensoren können Fischaugenkameras (z. B. Weitwinkelkameras) beinhalten, die Vollfarbenbilder bereitstellen, welche dem Fahrer angezeigt werden sollen, um das Parken, Zurücksetzen und andere Manöver zu unterstützen. Zum Beispiel weist das Fahrzeug 10 eine vordere Fischaugenkamera 16, eine hintere Fischaugenkamera 17 und Seitenansicht-Fischaugenkameras 18 und 19 auf. Die Fischaugenkameras weisen jeweils ein relativ weites Sichtfeld (field of view - FOV) auf, wie etwa die FOVs 16A, 17A, 18A und 19A. Die resultierenden Vollfarbenbilder sind geometrisch verzerrt. Darüber hinaus kann die Bildauflösung aufgrund des großen FOV relativ niedrig sein und da eine hohe Auflösung möglicherweise nicht erforderlich ist, um den beabsichtigten Zweck der Bilder zu erreichen, die dem Fahrer auf der Anzeige 13 dargestellt werden. Um Funktionen des computergestützten Sehens mit höherer Auflösung und Abwesenheit von geometrischer Verzerrung zu unterstützen, wird eine Reihe von nicht trichromatischen (d. h., fehlende RGB-Farbfilteranordnungen, wie etwa monochrom oder rot-klar) Bildsensoren an dem Fahrzeug 10 bereitgestellt, einschließlich einer an der Windschutzscheibe montierten vorderen Kamera 20 und einer an der Heckscheibe montierten hinteren Kamera 21. Eine Kühlergrillkamera 22 kann anstelle von oder zusätzlich zu der vorderen Kamera 20 verwendet werden. Diese Kameras stellen schmalere FOVs 20A, 21A bzw. 22A bereit.
Einige Ausführungsformen der Erfindung können Daten über Objekte in der Nähe nutzen, die unter Verwendung anderer Arten von Fernerfassung erkannt werden. Somit werden Radarsendeempfänger 23-27 auf bekannte Weise um den Umfang des Fahrzeugs 10 eingesetzt.
Einige Ausführungsformen der Erfindung können fahrzeugexterne Datenquellen nutzen und/oder Bilddaten mit entfernten Instanzen teilen. Die Steuerung 14 kann mit entfernten Objekten durch drahtlose Kommunikation unter Verwendung eines Kommunikationsmoduls 28 in dem Fahrzeug 10 interagieren, das drahtlose Signale mit einem Mobilfunknetzwerk 30 austauscht, welches als Gateway zu einem Cloud-Server 31 fungiert.
2 stellt ein Sichtfeld 33 für ein nicht trichromatisches Bild dar, von dem mindestens ein Teil (z. B. ein Objekt 34) unter Verwendung von Farbreferenzdaten, die aus einer anderen Quelle als dem nicht trichromatischen Bild selbst erlangt werden, eingefärbt werden soll. In einigen Ausführungsformen können die Farbreferenzdaten von einem zweiten Bild abgeleitet werden, das durch einen anderen Bildsensor aufgenommen wird, der an dem Fahrzeug eingesetzt wird. Insbesondere könnte das zweite Bild von einem Bildsensor erlangt werden, der ein FOV 35 aufweist, das sich mit dem FOV 33 überlappt, sodass die von dem zweiten Bild abgeleiteten Farbreferenzdaten im Wesentlichen gleichzeitig mit dem einzufärbenden nicht trichromatischen Bild aufgenommen werden können (d. h., das Objekt 34 erscheint in beiden Bildern an Abschnitten der Bilder, die gemäß einer pixelgenauen Zuordnung identifiziert werden können, wie nachstehend beschrieben). In anderen Ausführungsformen kann ein nicht gleichzeitiges Bild eingesetzt werden, indem die Bewegung des Objektes verfolgt wird (z. B. wie in Vollfarbe als Objekt 36 in einem früheren oder später erlangten Bild aufgenommen, wenn sich das Objekt innerhalb des FOV 35, aber nicht innerhalb des FOV 33 befand). Wenn Objektverfolgung eingesetzt wird, wäre eine Überlappung des FOV 33 und FOV 35 nicht erforderlich.
3 zeigt eine bevorzugte Ausführungsform der Vorrichtung 40 zum Aufnehmen von Bildern und Durchführen einer Einfärbung von mindestens einem Teil eines Bildes unter Verwendung extrinsischer Farbreferenzdaten. Eine nicht trichromatische Kamera 41, die an einem Fahrzeug montiert ist, nimmt ein Bild auf, dem eine realistische Farbdarstellung fehlt, und stellt das aufgenommene Bild an eine Steuerung 42 bereit. Als eine mögliche Quelle von Farbreferenzdaten nimmt eine Vollfarbkamera 43 realistische Farbbilder auf, die ebenfalls an die Steuerung 42 bereitgestellt werden. Typischerweise ist die Kamera 43 ebenfalls an dem Fahrzeug montiert, könnte jedoch alternativ dazu eine fahrzeugexterne Kamera mit einem Sichtfeld sein, welches das zu einzufärbende Objekt zum gleichen Zeitpunkt oder zu einem anderen Zeitpunkt aufnimmt. Unter Verwendung der extrinsischen Farbreferenzdaten färbt die Steuerung 42 das Objekt ein und kann ein resultierendes eingefärbtes Bild auf einer Farbanzeige 44 anzeigen. In einigen Ausführungsformen kann die Auswahl eines einzufärbenden Objektes manuell mit Benutzereingaben 45 (z. B. einem Touchscreen, auf dem ein Benutzer ein Objekt auswählt und den Einfärbeprozess einleitet) durchgeführt werden.
Extrinsische Farbreferenzwerte könnten auch gemäß einer Identität des Objektes aus einer Datenbank 46 abgerufen werden. Zum Beispiel könnte ein Objekt zur Einfärbung die Motorhaube eines Fahrzeugs sein und die Datenbank 46 könnte einen Farbwert für die bekannte Farbe der auf die Motorhaube aufgebrachten Farbe speichern. Alternativ dazu kann die Identität eines bestimmten Orientierungspunktes (z. B. einer Statue, eines Gebäudes, eines Denkmals usw.) oder einer Art von Objekt (z. B. Verkehrszeichen) unter Verwendung von Sensoren 50 (z. B. Radar) und/oder anderen Fahrzeugmodulen (z. B. eines GPS-Navigationsmoduls) erkannt und dann unter Verwendung der Datenbank 46 mit einem Farbreferenzwert korreliert werden. Eine Datenbank, die Farbreferenzwerte für Orientierungspunkte oder Obj ektarten enthält, könnte alternativ dazu in einem Cloud-Server 47 gespeichert sein, auf den die Steuerung 42 über eine drahtlose Schnittstelle 48 zugreifen kann. Eingefärbte Bilder und/oder Bilddaten, die zur fahrzeugexternen Einfärbung verwendet werden sollen, können an den Cloud-Server 47 oder andere entfernte Standorte zur Verwendung durch Dritte gesendet werden.
Eine bevorzugte Methodik zum Identifizieren relevanter Farbreferenzwerte und dann zum Verwenden der Farbreferenzwerte zum Einfärben eines Zielbildes beinhaltet das Schätzen einer Übereinstimmung zwischen Bildpixeln in dem nicht trichromatischen Bild und den Farbreferenzdaten (z. B. Bildpixeln, die dasselbe Objekt in einem Vollfarbbild darstellen). Die Übereinstimmung kann 1) in Echtzeit anhand sich überlappender Bilder, 2) in Echtzeit basierend auf Objektverfolgung innerhalb von Bildern, die im Wesentlichen gleichzeitig oder im Voraus erhalten wurden, und/oder 3) unter Verwendung von Mustererkennung zum Klassifizieren von Objektarten, die vorbestimmte Farbreferenzwerte aufweisen, bestimmt werden. Die Funktion des Schätzens der Übereinstimmung zwischen i) einem einzufärbenden Bildobjekt und ii) einem Bildpixel oder Referenzobjekt, das einen Farbreferenzwert bereitstellt, und die Funktion des Durchführens der Einfärbung selbst kann unter Verwendung eines trainierten neuronalen Faltungsnetzwerkes (CNN) oder unter Verwendung von Rechenmodellen umgesetzt werden. Ein erstes Modell ist in 4 gezeigt, wobei eine Steuerung 55 einen Übereinstimmungsschätzungsblock 56 und einen Farbschätzungsblock 57 beinhaltet. I₁ und I₂ stellen aufgenommene Bilddatenströme von Bildsensoren mit unterschiedlichen CFA-Mustern (d. h. einem trichromatischen Muster und einem nicht trichromatischen Muster) dar. Die Bilder werden von getrennten Kamerapositionen aus aufgenommen, die durch die Kameraursprünge und Drehungen der 3D-Achsen der Kamera (extrinsische Kalibrierung) beschrieben werden, welche sich aus ihren Montagestellen an dem Fahrzeug ergeben. Eine Zuordnung M, die in dem Übereinstimmungsblock 56 bestimmt wird, beschreibt die Pixelübereinstimmung zwischen zwei Bildern von I₁ und I₂. Die pixelgenaue Zuordnung ist eine Funktion des Verwendens der eingegebenen Pixelpositionen in einem Bild und des Ausgebens von Pixelpositionen in dem zweiten Bild, die mit den gleichen Regionen der Objekte in den FOVs übereinstimmen. Der Farbschätzungsblock 57 approximiert eine Ausgabefarbe unter Berücksichtigung der Eingabefarben von den zwei Kameras und der Übereinstimmungszuordnung zwischen Bildern. Ein Ausgabebild E₂ stellt ein geschätztes Ausgabefarbbild dar.
In einer alternativen Ausführungsform, die in 5 gezeigt ist und eine Steuerung 60 aufweist, wird eine Übereinstimmungszuordnung M aus einem Übereinstimmungsschätzungsblock 61 auf das Bild I₁ in einem Farbzuordnungsblock 62 angewendet, um ein geschätztes Bild I₁' zu erzeugen. Das geschätzte Bild behält die Pixelfarbeneigenschaften des Bildes I₁ bei, jedoch mit den räumlichen Bildeigenschaften des Bildes I₂. Das geschätzte Bild I₁' und das Bild I₂ werden in einem Farbschätzungsblock 63 kombiniert, um ein Ausgabebild E₂ zu erzeugen.
Ein Verfahren zum Schätzen der Übereinstimmung zwischen den Bildern I₁ und I₂ besteht darin, eine Tiefenschätzung durchzuführen, indem I₁ und I₂ als Stereobildpaare behandelt werden, wie in 6 gezeigt. Typischerweise wird eine Linsenverzerrungskorrektur auf die Bilder I₁ und I₂ angewendet, und die Kamerapositionen P₁ und P₂ (z. B. Sichtfelder) sind bekannt. Diese sind als extrinsische Kamerakalibrierungsinformationen bekannt. Die Positionen bestehen aus dem Kameraprojektionsursprung und den Drehungen des Kamerakoordinatenrahmens. Die intrinsischen und extrinsischen Informationen der Kamera definieren eine epipolare Geometrie zwischen den Kamerabildebenen, die den Ort von Punkten in einem zweiten Bild definiert, welche einem Pixel in einem ersten Bild entsprechen. Die epipolare Geometrie und die epipolaren Linien werden typischerweise verwendet, um die Suchregion einzuschränken, um entsprechende Punkte basierend auf Nachbarschaftsähnlichkeitsmaßen zu bestimmen. Die Übereinstimmung zwischen Bildern basiert auf dem Identifizieren, welche Pixel auf oder in der Nähe der epipolaren Linien den Eingabepixeln in dem ersten Bild am ähnlichsten sind.
Eine Ungenauigkeit in der geschätzten epipolaren Geometrie kann auftreten, wenn Fehler in den intrinsischen oder extrinsischen Kalibrierungen vorliegen. Diese Fehler können kompensiert werden, indem die Suchregion erweitert wird, indem die epipolare Beschränkung gelockert wird, um Übereinstimmungen zu ermöglichen, die in die Nähe der epipolaren Linien fallen.
Wie in 6 gezeigt, wird ein Punkt P auf die zwei Kamerasensorebenen an den Punkten p und p' projiziert. Die Epipole e und e' sind die Punkte in den Kamerabildebenen, die die Linie schneiden, welche die Ursprünge O und O' verbindet. Die epipolaren Linien beschreiben den Ort in der Bildebene, entlang dessen ein Szenenpunkt P abgebildet wird. Wenn sich zum Beispiel der Szenenpunkt P radial zum Ursprung O bewegt, dann liegt der entsprechende Punkt p' in der zweiten Bildebene auf einer Linie durch den Epipol e' in der zweiten Bildebene. Der Vorteil der Kenntnis der epipolaren Geometrie für ein Bildsensorpaar besteht darin, dass die Suchzone für entsprechende Punkte auf die epipolaren Linien beschränkt ist, was als die epipolare Beschränkung bekannt ist. Die entsprechenden Punkte können als Disparitäten dargestellt werden, welche die Verschiebungen zwischen Bildern für entsprechende Punkte angeben. Die Disparitäten stellen die Zuordnung zwischen Bildern dar, wobei die Zuordnung von den Kamerapositionen und der Tiefe zu jedem Szenenpunkt abhängt.
Das Schätzen von Disparitäten zwischen Bildern ist ein Verfahren zum Feststellen der Übereinstimmung zwischen Bildpaaren. Die Disparitätsschätzungen können durch Triangulation anhand der Kamerageometrie in Szenentiefenschätzungen umgewandelt werden. Es gibt viele Techniken für die Disparitäts- und Tiefenschätzung, einschließlich der Anwendung von neuronalen Faltungsnetzwerken, der Nutzung der epipolaren Beschränkung, der hierarchischen Suche und der Ebenenabtastung. Jedes dieser Verfahren schätzt die Disparität zwischen entsprechenden Pixeln. Zusätzliche Techniken können verwendet werden, um Rauschen oder Fehler in den Disparitätsschätzungen zu reduzieren, wie etwa das Anwenden von Glättebeschränkungen oder einer kantenerhaltenden Filterung.
Andere Techniken können angewendet werden, um entsprechende Punkte unter Verwendung zusätzlicher Beschränkungen zu schätzen. Zum Beispiel bestimmt die projektive Geometrie, dass Punkte auf einer ebenen Fläche auf zwei planare Bildsensoren projiziert werden, sodass eine 3x3-Transformation, die als Bildhomografie bezeichnet wird, entsprechende Punkte definiert. Die 3x3-Transformation wird auf Bildkoordinaten in einer homogenen Darstellung angewendet, wobei 2D-Bildpositionen um einen Wert von 1 erweitert werden, um auch das Darstellen von Versätzen innerhalb einer Matrixmultiplikationsoperation zu ermöglichen. Für Szenenpunkte in der Bodenebene oder auf anderen ebenen Flächen bestimmt die Homografie eine genaue Übereinstimmung mit weniger Berechnung als auf Matching basierende Disparitätsschätzungstechniken.
Das ausgegebene geschätzte Farbbild kann so erzeugt werden, dass es eine genaue Objektfarbe aufweist und minimale räumliche Artefakte aufweist. Die Farbgenauigkeit kann dahingehend definiert werden, dass sie mit dem Farberscheinungsbild für einen menschlichen Betrachter der aufgenommenen Szene übereinstimmt (siehe z. B. Fairchild, „Color Appearance Models“, Wiley, 3. Auflage, 2013). Das ausgegebene Farbbild kann in einem standardisierten Farbraum vorliegen, wie etwa sRGB, ITU-R BT.709 RGB, ITU-R BT.709 YCbCr oder CIE XYZ. Das ausgegebene Farbbild kann sich auch in einem Vorrichtungsfarbraum befinden, wie etwa einem spezifischen Satz von RGB-Primärfarben der Anzeige oder RGB-Farbempfindlichkeiten des Bildsensors. Im Fall von Vorrichtungs-RGB-Farbprimärfarben können die Vorrichtungs-RGB-Farbwerte als eine optimale Wiedergabe eines Satzes von CIE-XYZ-Zielwerten berechnet werden. Im Fall von RGB-Farbwerten der Sensorvorrichtung kann die Umwandlung in einen Standardfarbraum nach dem Schätzen des RGB-Bildes der Sensorvorrichtung erfolgen.
Unerwünschte räumliche Artefakte in dem geschätzten Ausgabefarbbild beinhalten gezackte Kanten, fehlausgerichtete oder doppelte Objektkanten, unscharfe Kanten oder Textur oder verstärktes Rauschen. Derartige Artefakte können in vielen verschiedenen Bildfusionstechniken auftreten, die auf dem Verschmelzen von Bildern von entweder demselben Bildsensor oder mehreren Instanzen derselben Bildsensorart basieren. Beispiele für die Bildfusion von gängigen Bildsensorarten beinhalten die Erzeugung von Bildern mit hohem Dynamikbereich, das Zusammenfügen von Panoramabildern oder die Erzeugung von Surround-View-Bildern.
Ein Ausgabefarbbild aus dem Farbschätzungsblock kann durch Anwenden einer gewichteten Regression zwischen den entsprechenden Bildpixelwerten erzeugt werden. Die gewichtete Regression kann auf dem Schätzen der farbgenauen Ausgabefarben angesichts der spezifischen spektralen Empfindlichkeit der Farbbildgebervorrichtung und der Farbkalibrierung der Bildsensoren basieren.
Ein Ausgabefarbbild kann durch das Anwenden eines Bildverarbeitungsalgorithmus erzeugt werden, der räumliche Fenster von entsprechenden Bildpixelwerten als Eingabe akzeptiert. Die Verwendung von räumlichen Fenstern ermöglicht das Auferlegen von räumlichen Glättebeschränkungen auf das Ausgabebild, um Rauschen zu reduzieren und Kanten in dem Ausgabebild zu verbessern. Zum Beispiel kann ein Bildverarbeitungsalgorithmus Bildgradienten in einem oder beiden der Eingabebilder berechnen und die Gradienteninformationen verwenden, um Kanten-, Textur- und glatte Bildregionen zu schätzen. Getrennte Techniken zum Schätzen der Ausgabebildwerte können basierend auf den geschätzten Kanten-, Textur- oder glatten Bildregionen angewendet werden. Zum Beispiel können in der Nähe der Kanten die entsprechenden Eingabepixelwerte kombiniert werden, um zu vermeiden, dass die Kante unscharf wird oder Kantendiskontinuitäten oder doppelte Kanten eingeführt werden. In glatten Bildbereichen kann die Schätztechnik Pixelwerte über die räumliche Nachbarschaft kombinieren, um ausgegebenes Bildrauschen zu reduzieren, indem der gewichtete Beitrag von Pixeln aus der/den Eingabepixelumgebung(en) eingestellt wird. Ein Algorithmus zum Kombinieren aus disparaten, entsprechenden Eingabebild-CFAs kann Prinzipien aus fortschrittlichen Einzelbild-Rauschunterdrückungstechniken, wie etwa bilateraler Filterung und Medianfilterung, beinhalten.
7 zeigt einen Steuerungsprozess zum Trainieren eines neuronalen Faltungsnetzwerkes, um die Schätzung bei gegebenen Werten für I₁, I₂ und M oder gegebenen Werten für I₂ und I₁' durchzuführen. Das überwachte Training würde ein Ground-Truth-Farbbild (G₂) verwenden, das bei nahezu der gleichen Kameraposition wie der ausgegebene Referenzbildsensor I₂ aufgenommen wird. Das Farbbild G₂ kann durch einen Simulator 66 in Monochrombilddaten umgewandelt werden, um das Bild von einem nicht trichromatischen Sensor zu simulieren. Der Ground-Truth-Trainingssatz kann aus Bildern I₁, I₂ und G₂ bestehen, die auf den Übereinstimmungsschätzungsblock 67, den Farbzuordnungsblock 68 und den Farbschätzungsblock 69 angewendet werden, um ein ausgegebenes eingefärbtes Bild E₂ zu erzeugen. Ein Fehlerbild wird zwischen G₂ und E₂ in einem Fehlerblock 70 berechnet, und eine Rückpropagierung wird angewendet, um das CNN dazu zu trainieren, G₂ bei gegebenen Eingaben I₁, I₂ und M oder gegebenen Werten für I₂ und I₁' am besten zu approximieren.
Zusätzliche Algorithmen, die alternativ dazu eine Basis für einen Farbschätzungsblock bereitstellen könnten, beinhalten Zhang et al. [R. Zhang, J.Y. Zhu, P. Isola, X. Geng, A. S. Lin, T. Yu, A. A. Efros, Real-Time User-Guided Image Colorization with Learned Deep Priors, SIGGRAPH, 2017], die ein neuronales Faltungsnetzwerk beschreibt, das dazu trainiert ist, die CIE-a*b*-Kanäle, die dem Graustufeneingabebild entsprechen, vorherzusagen. Das Netzwerk wird unter Verwendung von ursprünglichen RGB-Bildern als Ground Truth trainiert, wobei das RGB zur Eingabe in das CNN in Graustufen umgewandelt wird. Das CNN wird durch Rückpropagierung trainiert, um eine a*b*-Verteilung für das eingegebene Graustufenbild vorherzusagen. Die vorhergesagten a*b*-Werte werden mit der Eingabebildhelligkeit L* kombiniert, um ein Ausgabe-CIE-Lab-Bild zu erzeugen (das in CIE-XYZ oder vorrichtungsunabhängiges RGB oder YCbCr umgewandelt werden kann). Diese Art von Grau-zu-Farbe-Algorithmus ist in der Lage, anhand von Textur- und Objekthinweisen zu „lernen“, um die Obj ektfarbe vorherzusagen und diese effektiv auf Obj ektgrenzen zu verteilen. Vorhergesagte Farben für künstliche Objekte sind jedoch typischerweise mehrdeutig, und ohne die durch die vorliegende Erfindung bereitgestellten zusätzlichen Farbreferenzwerte würde der Algorithmus falsche Vorhersagen erzeugen. Ein weiteres auf CNN basierendes Einfärbungsverfahren, das modifiziert werden könnte, um die Farbreferenzdaten dieser Erfindung zu integrieren, ist in S. Iizuka, E. Simo-Serra und H. Ishikawa, Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification, SIGGRAPH, 2016 beschrieben. Dieses CNN-basierte Einfärbungsverfahren berechnet Merkmale auf niedriger Ebene, mittlerer Ebene und globale Merkmale, die dann in einem Verschmelzungs- und Einfärbungsnetzwerk kombiniert werden. Das Einfärbungsnetzwerk schätzt die Chrominanzinformationen, die mit den ursprünglichen Luminanzinformationen kombiniert werden, um das Ausgabebild zu erzeugen.
Es wurde ein benutzergeführter Ansatz zur Bildeinfärbung gezeigt, bei dem ein Benutzer manuell Farbauswahlen trifft, die auf einfarbige Bilder angewendet werden sollen. Zum Beispiel beschreiben Levin et al. [Anat Levin, Dani Lischinski, Yair Weiß, „Colorization using optimization“, ACM Transaction on Graphics, 23(3):689-694, 2004] ein „strichbasiertes“ Verfahren zur computergestützten Einfärbung von monochromen Bildern. Ein Künstler kommentiert ein eingegebenes monochromes Bild mit einigen farbigen Strichen. Der Algorithmus schätzt eine Pixeleinfärbung basierend auf der Farbähnlichkeit zu benachbarten Pixeln, der bewegungskompensierten Position aus zuvor gekennzeichneten Rahmen und der Luminanzähnlichkeit. Anstelle des Strichs eines Künstlers modifiziert die vorliegende Erfindung den Einfärbungsprozess, um Farbreferenzdaten zu nutzen, die in Echtzeit an dem Fahrzeug identifiziert werden. Somit automatisiert die Erfindung die Zuweisung von Objektfarben anhand der zusätzlichen RGB-Informationen auf einer Ebene pro Objekt. Die zusätzlichen RGB-Informationen können in Form der CIE-a*b*-Farbverteilung sowie basierend auf einem einzelnen Objekt vorliegen.
Die fahrzeuginternen Farbreferenzwerte und die Übereinstimmungszuordnung der Erfindung können zudem verwendet werden, um ein automatisiertes CNN-Einfärbungsverfahren zu modifizieren, wie in Larsson et al. [G. Larsson, M. Maire und G. Shakhnarowitsch, Learning Representations for Automatic Colorization, ECCV, 2016] beschrieben. In diesem Verfahren wird eine VGG-Architektur unter Nutzung von Bildern von ImageNet vortrainiert. Die Architektur ist eine Hyperspalte von Merkmalsreaktionen über Auflösungsstufen hinweg, die als Deskriptor der lokalen Bildstruktur und -textur erstellt werden. Das CNN wird trainiert, um anhand der Hyperspaltenmerkmale vorhergesagte Farbton- und Chrominanzwerte zuzuordnen. Das Training nutzt eine Kostenfunktion basierend auf der Ähnlichkeit des 2D-Farbton-Histogramms innerhalb einer räumlichen Nachbarschaft. Mehrere unterschiedliche Kostenfunktionen werden basierend auf unterschiedlichen Gewichtungen von Farbton und Chrominanz und Gewichtungen für die räumliche Nähe zwischen dem Ziel- und dem Quellenhistogramm beschrieben.
Ferner können die fahrzeuginternen Farbreferenzwerte und die Übereinstimmungszuordnung der Erfindung auch genutzt werden, um ein durch Welsh et al. [T. Welsh, M. Ashichmin, K. Mueller, Transfering Colour to Greyscale Images, SIGGRAPH '02: Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques, Seiten 277-280, 2002] offenbartes Graustufen-Einfärbungsverfahren zu modifizieren. In diesem Verfahren werden entsprechende Pixel zwischen einem eingegebenen Graustufenbild und einem RGB-Bild einer anderen Szene identifiziert. Die Übereinstimmung basiert auf der Luminanz- und Texturähnlichkeit, nachdem ungefähr 200 Gitterstellen innerhalb des RGB-Bildes für 5x5-Fenster gesucht wurden. Farbe wird als (a,b)-Werte in einem Lab-Farbraum unter Verwendung eines Textur-Syntheseverfahrens übertragen.
Die Erfindung kann eine Sammlung von Surround-Fahrzeugbildern nutzen, die auf Pixelebene kombiniert werden sollen, um das Surround-Video-Erlebnis zu verbessern. Es kann mehr als eine Erfassungsmodalität verwendet werden (sichtbares Spektrum, SWIR, LID AR, Ultraschall, Lichtsensor, GPS), um den Fahrzeugalgorithmus dabei zu unterstützen, Bilddaten auf Pixelebene auszurichten. Der Fahrzeugalgorithmus könnte auch 1) eine geometrische Bewertung (Schilder, Ampeln, Bordsteine, Wände usw.), 2) eine Objekterkennung und einen Vergleich mit Cloud-Daten und 3) eine Tageszeitschätzung (z. B. einen Vergleich zwischen Echtzeitdaten und Cloud-Daten, die entsprechende Objekte enthalten, welche denjenigen entsprechen, die durch die Fahrzeugbildsensoren abgebildet werden, um das Erscheinungsbild des Bildes gemäß den Lichtbedingungen einzustellen) durchführen. Die Analyse des Kameravideos kann über einen CAN-Bus, Ethernet und/oder ein drahtloses oder anderes Kommunikationsverfahren geteilt werden, wobei Eingaben von anderen Sensoren (z. B. Aufhängung, Lenkung, Wettervorhersagen) verwendet werden können, um die Schätzungen der pixelgenauen Übereinstimmung für den Bildeinfärbungsalgorithmus zu verfeinern. Zum Beispiel kann die Steuerung, nachdem das Fahrzeug Bilder und andere Sensordaten aus der Umgebung in Verbindung mit verfügbaren Fahrzeugdaten gesammelt hat, die Daten analysieren und eine pixelgenaue Überlagerung senden. Falls verfügbar, könnte das Fahrzeug Ergebnisse mit Informationen von entfernten Rechenzentren vergleichen und/oder Echtzeit-Feedback von verfügbaren Bildern unter Verwendung von V2X-Kommunikation erlangen, wodurch es der Fahrzeugsteuerung ermöglicht wird, die Daten zu analysieren und die pixelgenauen Farbpunkte zu identifizieren.
8 zeigt eine Fahrzeugsteuervorrichtung 71 mit Rechenblöcken, die einen Haupteinfärbungsblock 72 unterstützen. Wie vorstehend erläutert, kann das Einfärben von nicht dreifarbigen Bilddaten in einem Block 73 unter Verwendung von Vollfarbreferenzwerten aus einer Farbkalibrierungsquelle in Block 74 (die z. B. trichromatische Bilddaten von einem fahrzeugmontierten trichromatischen Bildsensor oder einer andere Referenzdaten enthält) unter Verwendung einer pixelgenauen Übereinstimmung aus einem Zuordnungsblock 75 durchgeführt werden. Anstelle einer pixelgenauen Zuordnung von zwei statischen Bildern können die Farbreferenzwerte einem Objekt von Interesse zugeordnet werden, wie unter Verwendung eines Objekterkennungsblocks 76 erkannt. Das erkannte Objekt kann unter Verwendung eines Grenzverfolgungsblocks 77 verfolgt werden, der einen Bewegungsverfolgungsprozess 78 (z. B. unter Verwendung von Fahrzeugstabilitätserfassung, Fahrzeugstandortdaten und anderen bekannten Techniken) und Fahrzeuggeschwindigkeitsdaten 79 nutzen kann. Ein Artefaktentfernungsblock 80 kann zum Entfernen gezackter oder doppelter Kanten bereitgestellt werden, der zum Beispiel Eingaben aus dem Grenzverfolgungsblock 77 nutzen kann. Die Einfärbung kann unter Verwendung von Beleuchtungs- und/oder Wetterdaten in einem Block 81 weiter verbessert werden.
Eine Ausführungsform einer Vorrichtung 90, die zusätzliche Merkmale bereitstellt, welche entfernte Objekte beinhalten, ist in 9 gezeigt. Ein Fahrzeug 91 beinhaltet ein Kamerasystem, das nicht trichromatische und trichromatische Bildsensoren aufweist, die jeweils eine jeweilige Position aufweisen und Bilder für spezifische Zwecke bereitstellen. Die Erfindung führt eine Bildfusion durch, um nicht trichromatische Bilddaten unter Verwendung verschiedener Faktoren, wie etwa extrinsischer Kalibrierungsdaten 92, Umweltauswirkungsdaten 93 und geometrischer Umgebungsdaten (z. B. Gebäude- und Landschaftsdaten) 94, einzufärben. Unter Verwendung eines drahtlosen Kommunikationskanals zu einer Cloud 95 werden Fahrzeugdaten, einschließlich eingefärbter Bilder oder Rohbilder, zusammen mit Daten, die sich auf Farbreferenzwerte beziehen, an/von einem Datensammelzentrum 96 übertragen. Von dem Datensammelzentrum 96 können eingefärbte Bilder elektronisch mit einem Fahrzeughalter/-benutzer 98 oder mit Dritten, wie etwa Versicherungsunternehmen 97, geteilt werden.
Die vorstehende Erfindung stellt erhebliche Vorteile gegenüber bekannten Fahrzeugbildgebungssystemen bereit. Insbesondere stellt ein System auf Fahrzeugebene die erforderlichen Eingabeinformationen bereit, um eine Bildeinfärbung mit hoher Qualität zu ermöglichen. Pixel- und farbgenaue/Echtzeit-Eingabeeinfärbung wird mit verbesserter Farbgenauigkeit erlangt, die nicht arbeitsintensiv, benutzergesteuert oder von hergestellten Farbwahlen abhängig ist. Wenn zum Beispiel eine ADAS-Kamera der vorderen Windschutzscheibe mit der Fähigkeit genutzt wird, die Farbe der Motorhaube zu sehen, können die entsprechenden bekannten Farbinformationen genutzt werden, um die geeigneten Pixel zu färben. Wenn sie in den bestimmten Sichtfeldern zu sehen wären, wären die bekannten Farben anderer innerer oder äußerer Regionen zusätzliche Farbreferenzdatenpunkte.
Rechenzentren können übertragene Fahrzeugbilder oder -videos in Echtzeit empfangen und können auch beliebige andere vergangene oder gegenwärtige Daten senden, um es den Fahrzeugsystemen zu ermöglichen, Bildänderungen mit Echtzeitinformationen zu vergleichen. Das Einfärbungsverfahren kann fahrzeugintern oder unter Verwendung von zusammengefassten Informationen, die durch das Fahrzeug gesendet werden, angewendet werden, um die Kommunikationsbandbreite von Fahrzeug zum Datenzentrum zu reduzieren. Zum Beispiel können die nicht trichromatischen Bilddaten zusammen mit zusammenfassenden Farbinformationen für Szenenobjekte übertragen werden, die von dem RGB-Bildsensor berechnet werden (anstatt das gesamte RGB-Referenzbild zu senden). Sobald alle Daten zusammengestellt sind, kann der Fahrzeugalgorithmus die Bildeinfärbung bestätigen und eine eingefärbte Version übertragen. Alternativ dazu können die übertragenen Informationen verwendet werden, um die Einfärbung offline und außerhalb des Fahrzeugs durchzuführen.
Die Fahrzeugbewegung kann verwendet werden, um die Übereinstimmungen zwischen aufeinanderfolgenden Rahmen zu verbessern, um über die Zeit konsistente Einfärbungen zu erzeugen. In diesem Fall kann die Verwendung mehrerer zeitlich getrennter Rahmen die Schätzung der Szenentiefe unter Verwendung von Techniken des optischen Flusses und der Struktur aus Bewegung unterstützen. Anhand des optischen Flusses vorhergesagte Übereinstimmungen können verwendet werden, um Einfärbungen aus vorherigen Zeitschritten zu propagieren und zu ermöglichen, dass eine zeitliche Glättung oder Konsistenz für die aktuelle Rahmeneinfärbung erzeugt wird.
GPS- und andere Lokalisierungsdaten können verwendet werden, um gespeicherte Farbinformationen für eine Szene, eine Straße und Orientierungspunkte zu korrelieren, die verwendet werden können, um die Farbgenauigkeit der Einfärbungsausgabe zu verbessern. Zum Beispiel können gespeicherte Orientierungspunktfarbinformationen Fehler in der geschätzten Farbe reduzieren oder die Weißabgleichschätzung und Weißabgleichkorrekturverfahren verbessern.
Darüber hinaus könnten die Farbreferenzdaten für identifizierte Objekte Möglichkeiten zur Interpolation von Farbwahlen für andere Regionen des nicht trichromatischen Bildes bereitstellen, die ähnliche Bildeigenschaften wie das ursprüngliche Objekt aufweisen.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist die Erfindung ferner dadurch gekennzeichnet, dass ein Umgebungsdatensammler einen Umgebungsparameter bereitstellt, wobei die Steuerung die nicht trichromatischen Bilddaten gemäß dem Umgebungsparameter einfärbt.
Gemäß einer Ausführungsform überlappt sich das vorbestimmte Sichtfeld der nicht trichromatischen Bilddaten mindestens teilweise mit einem Sichtfeld des trichromatischen Bildsensors, und wobei die Zuordnung eine Tiefenschätzung der nicht trichromatischen Bilddaten und des Referenzbildes beinhaltet.
Gemäß einer Ausführungsform besteht die Zuordnung aus Erkennen und Verfolgen des Objektes innerhalb des Referenzbildes und innerhalb der nicht trichromatischen Bilddaten.
Gemäß einer Ausführungsform besteht die Farbkalibrierungsquelle aus einer Datenbank, die eine Vielzahl von vorbestimmten Objektkennungen mit bekannten Farbreferenzwerten korreliert, wobei das Verfahren ferner die Schritte des Bestimmens einer Objektkennung für das in den nicht trichromatischen Bilddaten abgebildete Objekt; des Abrufens des Farbreferenzwertes aus der Datenbank gemäß der bestimmten Objektidentifikation umfasst.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch die Schritte des Bestimmens eines Umgebungsparameters, der das visuelle Erscheinungsbild des Objektes unter Verwendung eines Umgebungsdatensammlers beeinflusst; und des Einstellens der Einfärbung der nicht trichromatischen Bilddaten gemäß dem Umgebungsparameter.

Claims

Vorrichtung für ein Kraftfahrzeug, umfassend: einen Bildsensor, der nicht trichromatische Bilddaten als eine Bildpixelanordnung erzeugt, die ein vorbestimmtes Sichtfeld relativ zu dem Fahrzeug abdeckt; eine Farbkalibrierungsquelle, die mindestens einen Farbreferenzwert gemäß einem Objekt, das in den nicht trichromatischen Bilddaten abgebildet ist, erzeugt; eine Steuerung, die dazu konfiguriert ist, 1) den mindestens einen Farbreferenzwert einem Satz von Pixeln innerhalb der Bildpixelanordnung zuzuordnen und 2) die nicht trichromatischen Bilddaten gemäß dem mindestens einen Farbreferenzwert einzufärben, um ein eingefärbtes Bild zu erzeugen; und eine Anzeige, die dazu konfiguriert ist, das eingefärbte Bild einem Betrachter in dem Fahrzeug anzuzeigen.
Vorrichtung nach Anspruch 1, wobei die nicht trichromatischen Bilddaten für ein Fahrerassistenzsystem gesammelt werden, das computergestütztes Sehen einsetzt.
Vorrichtung nach Anspruch 1, wobei die Farbkalibrierungsquelle aus einem trichromatischen Bildsensor besteht, der an dem Fahrzeug montiert ist und mindestens ein Referenzbild zum Bestimmen des Farbreferenzwertes aufnimmt.
Vorrichtung nach Anspruch 3, wobei die Steuerung ferner dazu konfiguriert ist, eine Zuordnung zu konstruieren, die einen Abschnitt des Referenzbildes identifiziert, der mit dem in den nicht trichromatischen Bilddaten abgebildeten Objekt übereinstimmt.
Vorrichtung nach Anspruch 4, wobei die Zuordnung aus einer pixelgenauen Zuordnung besteht und wobei Farbdaten für Pixel in dem Referenzbild die Farbreferenzwerte für zugeordnete Pixel der nicht trichromatischen Bilddaten bereitstellen, einschließlich zugeordneter Pixel, die dem Objekt entsprechen.
Vorrichtung nach Anspruch 4, wobei sich das vorbestimmte Sichtfeld der nicht trichromatischen Bilddaten mindestens teilweise mit einem Sichtfeld des trichromatischen Bildsensors überlappt, und wobei die Zuordnung eine Tiefenschätzung der nicht trichromatischen Bilddaten und des Referenzbildes beinhaltet.
Vorrichtung nach Anspruch 4, wobei die Zuordnung aus Erkennen und Verfolgen des Objektes innerhalb des Referenzbildes und innerhalb der nicht trichromatischen Bilddaten besteht.
Vorrichtung nach Anspruch 1, wobei die Steuerung dazu konfiguriert ist, eine Identifizierung des Objektes zu bestimmen, und wobei die Farbkalibrierungsquelle aus einer Datenbank besteht, welche die Identifizierung mit dem Farbreferenzwert korreliert.
Vorrichtung nach Anspruch 8, wobei die Identifizierung aus einer Objektart besteht.
Vorrichtung nach Anspruch 8, wobei die Identifizierung aus einer Orientierungspunktkennung besteht, die gemäß einem geografischen Standort des Fahrzeugs bestimmt wird, und wobei die Datenbank Farbreferenzwerte umfasst, die für eine Vielzahl von Orientierungspunkten vorbestimmt sind.
Verfahren zum Einfärben eines nicht trichromatischen Bildes, das von einem Kraftfahrzeug erlangt wurde, umfassend die folgenden Schritte: Aufnehmen eines Zielbildes unter Verwendung eines Bildsensors, der nicht trichromatische Bilddaten als eine Bildpixelanordnung erzeugt, die ein vorbestimmtes Sichtfeld relativ zu dem Fahrzeug abdeckt; Erzeugen mindestens eines Farbreferenzwertes in einer Farbkalibrierungsquelle gemäß einem Objekt, das in den nicht trichromatischen Bilddaten abgebildet ist; Zuordnen des mindestens einen Farbreferenzwertes zu einem Satz von Pixeln innerhalb der Bildpixelanordnung; Einfärben der nicht trichromatischen Bilddaten gemäß dem mindestens einen Farbreferenzwert, um ein eingefärbtes Bild zu erzeugen; und Anzeigen des eingefärbten Bildes für einen Betrachter in dem Fahrzeug.
Verfahren nach Anspruch 11, wobei die nicht trichromatischen Bilddaten in ein Fahrerassistenzsystem eingegeben werden, das computergestütztes Sehen einsetzt, um Objekte in der Nähe des Fahrzeugs zu erkennen.
Verfahren nach Anspruch 11, wobei die Farbkalibrierungsquelle aus einem trichromatischen Bildsensor besteht, der an dem Fahrzeug montiert ist, und wobei der Schritt des Erzeugens mindestens eines Farbreferenzwertes aus dem Aufnehmen mindestens eines Referenzbildes besteht.
Verfahren nach Anspruch 13, ferner umfassend den Schritt des Konstruierens einer Zuordnung, die einen Abschnitt des Referenzbildes identifiziert, der mit dem in den nicht trichromatischen Bilddaten abgebildeten Objekt übereinstimmt.
Verfahren nach Anspruch 14, wobei die Zuordnung aus einer pixelgenauen Zuordnung besteht und wobei Farbdaten für Pixel in dem Referenzbild die Farbreferenzwerte für zugeordnete Pixel der nicht trichromatischen Bilddaten bereitstellen, einschließlich zugeordneter Pixel, die dem Objekt entsprechen.