DE102019108454A1

DE102019108454A1 - Dynamisches Demosaicing von Kamerapixeln

Info

Publication number: DE102019108454A1
Application number: DE102019108454.7A
Authority: DE
Inventors: Shiv G. Patel; Mohannad Murad; Joseph G. Machak; Fred W. Huntzicker
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-04-10
Filing date: 2019-04-01
Publication date: 2019-10-10
Also published as: US10567724B2; CN110365872A; US20190313073A1; CN110365872B

Abstract

Verfahren und System zum Durchführen eines dynamischen Demosaicing für eine Kamera in einem Fahrzeug beinhaltet eine Anordnung von Bildsensoren der Kamera zum Erhalten von Lichtintensitätswerten. Jeder Bildsensor der Anordnung von Bildsensoren stellt ein Pixel dar. Eine Anordnung von Filtern der Kamera überlagert die Anordnung von Bildsensoren und begrenzt einen Wellenlängenbereich, für den der eine Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält. Die Filteranordnung umfasst mindestens zwei verschiedene Filtertypen, die zwei verschiedenen Wellenlängenbereichen entsprechen. Ein Prozessor schätzt einen dem Fahrzeug zugeordneten aktuellen Zustand und wählt einen Demosaicing-Algorithmus basierend auf dem aktuellen Zustand aus, sodass der Demosaicing-Algorithmus für jedes Pixel eine Schätzung des Lichtintensitätswerts bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich ermöglicht, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.

Description

EINLEITUNG
Der Gegenstand der Offenbarung bezieht sich auf das dynamische Demosaicing von Kamerapixeln.
Fahrzeuge (z.B. Pkw, Lkw, Baumaschinen, landwirtschaftliche Fahrzeuge, automatisierte Werkmaschinen) beinhalten zunehmend Sensoren, die Informationen über den Fahrzeugbetrieb und die Umgebung um das Fahrzeug herum erfassen. Einige Sensoren, wie beispielsweise Kameras, Funk- und Entfernungsmess-(Radar)-Systeme sowie Licht- und Entfernungsmess-(Lidar)-Systeme, können Objekte in der Umgebung des Fahrzeugs erkennen und verfolgen. Durch das Bestimmen der relativen Position und Richtung von Objekten um das Fahrzeug herum kann der Fahrzeugbetrieb erweitert oder automatisiert werden, um die Sicherheit und Leistung zu verbessern. So können beispielsweise Sensorinformationen verwendet werden, um den Fahrer des Fahrzeugs zu warnen oder um Fahrzeugsysteme zu bedienen (z. B. Kollisionsvermeidungssysteme, adaptives Geschwindigkeitsregelsystem, autonomes Antriebssystem). Eine Kamera kann ein Farbfilter-Array (CFA) beinhalten, das typischerweise einem Demosaicing-Algorithmus zugeordnet ist. Dementsprechend ist es wünschenswert, ein dynamisches Demosaicing von Kamerapixeln vorzusehen.
KURZDARSTELLUNG
In einer exemplarischen Ausführungsform beinhaltet ein System zum Ausführen des dynamischen Demosaicing für eine Kamera in einem Fahrzeug eine Anordnung von Bildsensoren der Kamera, um Lichtintensitätswerte zu erhalten. Jeder Bildsensor der Anordnung von Bildsensoren stellt ein Pixel dar. Das System beinhaltet auch eine Reihe von Filtern der Kamera, um die Anordnung von Bildsensoren so zu überlagern, dass jeder Filter der Anordnung von Filtern mit einem Bildsensor der Anordnung von Bildsensoren korrespondiert und einen Wellenlängenbereich begrenzt, für den der eine Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält. Die Anordnung von Filtern umfasst mindestens zwei verschiedene Filtertypen, die zwei verschiedenen Wellenlängenbereichen entsprechen. Ein Prozessor schätzt einen dem Fahrzeug zugeordneten aktuellen Zustand und wählt einen Demosaicing-Algorithmus basierend auf dem aktuellen Zustand so für jedes Pixel aus. Der Demosaicing-Algorithmus ermöglicht eine Schätzung des Lichtintensitätswertes bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.
Neben einem oder mehreren der hierin beschriebenen Merkmale beinhalten die mindestens zwei verschiedenen Filtertypen einen Rot-, Grün- und Blaufilter, die jeweils den Wellenlängenbereichen von Rotlicht, Grünlicht und Blaulicht entsprechen, und einen monochromen Filter, der einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht.
Neben einem oder mehreren der hierin beschriebenen Merkmale addiert der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand als Umgebungslicht unter einem Schwellenwert, eine gewichtete Summe aus einem oder mehreren Lichtintensitätswerten, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessen werden, zu einer Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel.
Neben einem oder mehreren der hierin beschriebenen Merkmale, worin der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der eine Annäherung an eine Ampel darstellt, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensitätsstufe als Schätzung des Blaulichts bei jedem Pixel verwendet.
Neben einem oder mehreren der hierin beschriebenen Merkmale verwendet der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der ein Spurabtastzustand ist, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensität als Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel.
Neben einem oder mehreren der hierin beschriebenen Merkmale verwendet der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der ein Vorwärtsbremsereignis ist, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensität als Schätzung des Grünlichts und des Blaulichts bei jedem Pixel.
Neben einem oder mehreren der hierin beschriebenen Merkmale wählt der Prozessor den Demosaicing-Algorithmus gemäß einem regelbasierten Algorithmus aus, der den aktuellen Zustand mit dem Demosaicing-Algorithmus abgleicht.
Neben einem oder mehreren der hierin beschriebenen Merkmale schätzt der Prozessor den aktuellen Zustand unter Verwendung eines Radarsystems, eines Lidarsystems oder eines Umgebungslichtsensors.
In einer weiteren exemplarischen Ausführungsform beinhaltet ein Verfahren zum Durchführen eines dynamischen Demosaicing für eine Kamera in einem Fahrzeug das Erhalten von Lichtintensitätswerten von einer Anordnung von Bildsensoren der Kamera, wobei jeder Bildsensor der Anordnung von Bildsensoren ein Pixel darstellt und jeder Bildsensor der Anordnung von Bildsensoren einen Filter aus einer Anordnung von Filtern aufweist, die derart überlagert sind, dass der Filter der Anordnung von Filtern einen Wellenlängenbereich einschränkt, für den der Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält. Die Filteranordnung umfasst mindestens zwei verschiedene Filtertypen, die zwei verschiedenen Wellenlängenbereichen entsprechen. Das Verfahren beinhaltet auch das Schätzen eines dem Fahrzeug zugeordneten aktuellen Zustands und das Auswählen eines Demosaicing-Algorithmus basierend auf dem aktuellen Zustand, sodass der Demosaicing-Algorithmus für jedes Pixel eine Schätzung des Lichtintensitätswertes bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich ermöglicht, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.
Neben einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, einschließlich eines Rotfilters, eines Grünfilters und eines Blaufilters, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und eines Monochromfilters, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht.
Neben einem oder mehreren der hierin beschriebenen Merkmale, basierend auf dem Schätzen des aktuellen Zustands, der ein Umgebungslichtniveau unterhalb eines Schwellenwerts anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der eine gewichtete Summe aus einem oder mehreren Lichtintensitätswerten, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessen werden, zu einer Schätzung der roten Farbe, der grünen Farbe und der blauen Farbe bei jedem Pixel hinzufügt.
Neben einem oder mehreren der hierin beschriebenen Merkmale, basierend auf dem Schätzen des aktuellen Zustands, der eine Annäherung an eine Ampel anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensität als Schätzung des Blaulichts bei jedem Pixel verwendet.
Neben einem oder mehreren der hierin beschriebenen Merkmale, basierend auf dem Schätzen des aktuellen Zustands, der einen Spurabtastzustand anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der das von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensitätsniveau als Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel verwendet.
Neben einem oder mehreren der hierin beschriebenen Merkmale, basierend auf dem Schätzen des aktuellen Zustands, der eine Vorwärtsbremsung anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem Monochromfilter gemessene Lichtintensität als Schätzung des Grünlichts und des Blaulichts bei jedem Pixel verwendet.
Neben einem oder mehreren der hierin beschriebenen Merkmale wird der Demosaicing-Algorithmus gemäß einem regelbasierten Algorithmus ausgewählt, der dem aktuellen Zustand des Demosaicing-Algorithmus entspricht.
Neben einem oder mehreren der hierin beschriebenen Merkmale basiert die Schätzung des aktuellen Zustands auf Informationen von einem Radarsystem, einem Lidarsystem oder einem Umgebungslichtsensor.
In noch einer weiteren exemplarischen Ausführungsform speichert ein nichtflüchtiges, computerlesbares Medium Anweisungen, die, wenn sie durch Verarbeitungsschaltungen verarbeitet werden, bewirken, dass die Verarbeitungsschaltung ein Verfahren zum dynamischen Demosaicing für eine Kamera in einem Fahrzeug implementiert. Das Verfahren beinhaltet das Erhalten von Lichtintensitätswerten von einer Anordnung von Bildsensoren der Kamera, wobei jeder Bildsensor der Anordnung von Bildsensoren ein Pixel darstellt und jeder Bildsensor der Anordnung von Bildsensoren einen Filter aus einer Anordnung von Filtern aufweist, die derart überlagert sind, dass der Filter der Anordnung von Filtern einen Wellenlängenbereich einschränkt, für den der Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält. Die Filteranordnung umfasst mindestens zwei verschiedene Filtertypen, die zwei verschiedenen Wellenlängenbereichen entsprechen. Das Verfahren beinhaltet auch das Schätzen eines dem Fahrzeug zugeordneten aktuellen Zustands und das Auswählen eines Demosaicing-Algorithmus basierend auf dem aktuellen Zustand, sodass der Demosaicing-Algorithmus für jedes Pixel eine Schätzung des Lichtintensitätswertes bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich ermöglicht, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.
Neben einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, einschließlich eines Rotfilters, eines Grünfilters und eines Blaufilters, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und eines Monochromfilters, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht.
Neben einem oder mehreren der hierin beschriebenen Merkmale wird der Demosaicing-Algorithmus gemäß einem regelbasierten Algorithmus ausgewählt, der dem aktuellen Zustand des Demosaicing-Algorithmus entspricht.
Neben einem oder mehreren der hierin beschriebenen Merkmale basiert die Schätzung des aktuellen Zustands auf Informationen von einem Radarsystem, einem Lidarsystem oder einem Umgebungslichtsensor.
Die oben genannten Eigenschaften und Vorteile sowie anderen Eigenschaften und Funktionen der vorliegenden Offenbarung gehen aus der folgenden ausführlichen Beschreibung in Verbindung mit den zugehörigen Zeichnungen ohne Weiteres hervor.
Figurenliste
Andere Merkmale, Vorteile und Einzelheiten erscheinen, nur exemplarisch, in der folgenden ausführlichen Beschreibung der Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, wobei gilt:

1 ist ein Blockdiagramm eines Fahrzeugs mit einer Kamera, das ein dynamisches Demosaicing von Kamerapixeln beinhaltet;
2 erläutert Aspekte der Kamera, die sich auf das dynamische Demosaicing gemäß einer oder mehreren Ausführungsformen beziehen;
3 ist ein Prozessablauf eines Verfahrens zum Durchführen eines dynamischen Demosaicing gemäß einer oder mehreren Ausführungsformen;
4 veranschaulicht einen exemplarischen Demosaicing-Algorithmus, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann;
5 veranschaulicht einen weiteren exemplarischen Demosaicing-Algorithmus, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann;
6 veranschaulicht noch einen weiteren exemplarischen Demosaicing-Algorithmus, der zum dynamischen Demosaicing gemäß einer oder mehreren Ausführungsformen ausgewählt werden kann;
7 veranschaulicht noch einen weiteren exemplarischen Demosaicing-Algorithmus, der zum dynamischen Demosaicing gemäß einer oder mehreren Ausführungsformen ausgewählt werden kann; und
8 ist eine exemplarische Implementierung von Prozessen, die unter Bezugnahme auf 3 erläutert wurden.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich exemplarischer Natur und nicht dazu gedacht, die vorliegende Offenbarung in ihren An- oder Verwendungen zu beschränken. Es sollte verstanden werden, dass in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale bezeichnen.
Wie bereits erwähnt, ist eine Kamera eine der Sensoren, die verwendet werden können, um Objekte um ein Fahrzeug herum zu erfassen und zu verfolgen. Im Allgemeinen beinhaltet eine Kamera einen Bildwandler, der Bildsensoren beinhaltet, die beispielsweise komplementäre integrierte Metall-Oxid-Halbleiter-(CMOS)-Schaltungen sein können. Jeder Bildsensor ist einem Bildpunkt zugeordnet und beinhaltet einen Photodetektor, der Licht erfasst (d. h. die Lichtintensität misst) und die Messung in ein elektrisches Signal umwandelt. Da diese elektrischen Signale keine Informationen in Bezug auf Farbe übermitteln, ist jedem Bildsensor typischerweise ein Filter überlagert, der bewirkt, dass der Bildsensor die Lichtintensität überwiegend aus einem Bereich von Wellenlängen oder Bandbreitenbereichen misst, die durch den Filter vorgegeben sind. Der Satz aller Farbfilter auf allen Bildsensoren des Bildwandlers bildet ein Mosaik von Farbfiltern, die als CFA bezeichnet werden. Zur Erläuterung werden Bildsensoren ohne Farbfilter (d. h. monochrome Pixel) als Teil des CFA betrachtet und es wird auf monochrome oder monochromatische Filter verwiesen, die diesen Bildsensoren zugeordnet sind. So kann beispielsweise das CFA ein Mosaik von Filtern beinhalten, die rotes, grünes oder blaues Licht durchlassen. Jeder Bildsensor misst nur direkt die Intensität in einem Bandbreitenbereich des Lichts (entspricht einer Farbe), nicht aber die beiden anderen. So kann beispielsweise ein bestimmter Bildsensor die Intensität von rotem Licht, aber nicht grünem oder blauem Licht, oder von grünem Licht, aber nicht von rotem oder blauem Licht, oder von blauem Licht, aber nicht von rotem oder grünem Licht messen. Um die Intensität der beiden anderen Wellenlängenbereiche des Lichts abzuleiten, wird ein Algorithmus mit der Bezeichnung „Demosaicing“ implementiert. Basierend auf dem Demosaicing kann ein vollständiges Bild erhalten werden, wobei die Farbe jedes Pixels aus der Berücksichtigung aller Filter in einer bestimmten Weise resultiert.
Ein Demosaicing-Algorithmus kann direkt sein. So kann beispielsweise der Demosaicing-Algorithmus festlegen, dass die roten und grünen Beiträge, die einem Pixel zugeordnet sind, das einen Blaufilter angewendet hat, gleich sind zu dem roten Beitrag für das nächste Pixel, das einen roten Filter angewendet hat, und dem grünen Beitrag für das nächste Pixel, das einen grünen Filter angewendet hat. Andere Demosaicing-Algorithmen können die Intensitäten mitteln, die von Bildsensoren mit demselben Filter in einem bestimmten Bereich aufgezeichnet wurden. So können beispielsweise benachbarte Bildsensorausgänge mit angewandten Rotfiltern gemittelt und als roter Beitrag für andere Pixel verwendet werden, bei denen andere (nicht rote) Filter angewendet wurden.
Ausführungsformen der hierin beschriebenen Systeme und Verfahren beziehen sich auf das dynamische Demosaicing von Kamerapixeln. Gemäß den Ausführungsformen kann ein CFA einen Filter für mehr als eine Farbe beinhalten. Zu den bekannten Beispielen für CFAs zählen der Bayer-Filter (Rot-, Grün-, Blau-(RGB)-Filter), der rote, grüne, blaue, Emerald (RGBE)-Filter, der Cyan-, Gelb-, Grün-, Magenta-(CYGM)-Filter und der monochromatische Filter, der einen relativ breiteren Wellenlängenbereich durchläuft als beispielsweise RGB-Filter, die einer Farbnuance (z. B. Grau) entsprechen. Zu Erläuterungszwecken wird ein CFA mit RGB- und Monochromfiltern erläutert. Andere Kombinationen von Filtern liegen jedoch im vorgesehenen Rahmen. Gemäß den Ausführungsformen werden Fahrzeugzustand und andere Informationen verwendet, um einen bestimmten Demosaicing-Algorithmus auszuwählen.
Gemäß einer exemplarischen Ausführungsform ist 1 ein Blockdiagramm eines Fahrzeugs 100 mit einer Kamera 110, welches das dynamische Demosaicing von Kamerapixeln beinhaltet. Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101 und wird zwischen den Fahrspurmarkierungen 150 dargestellt. Es sind zwei Kameras 110 dargestellt; eine an der Vorderseite des Fahrzeugs 101 und die andere an der Rückseite. Gemäß alternativen oder zusätzlichen Ausführungsformen können sich ein oder mehrere Kameras 110 an einer anderen Stelle des Fahrzeugs 100 befinden. In weiteren Ausführungsformen können die hierin beschriebenen Demosaicing-Algorithmen und die dynamische Auswahl in einer Kamera 110 implementiert werden, die eine digitale Spiegelreflexkamera (DSLR), eine Action-Kamera oder eine Mobilfunkkamera ist. Ein weiterer Sensor 115 (z. B. ein Lidarsystem, ein Mikrofon, ein Radarsystem) ist ebenfalls dargestellt. Informationen, die durch die Kamera 110 und einen oder mehrere andere Sensoren 115 erhalten werden, können an eine Steuerung 120 (z. B. eine elektronische Steuereinheit (ECU)) übermittelt werden.
Die Steuerung 120 kann die Informationen zum Steuern eines oder mehrerer Fahrzeugsysteme 130 verwenden (z. B. Adaptive Geschwindigkeitsregelung, Kollisionsvermeidung, autonomes Fahren). Die Kommunikation zwischen der Steuerung 120 und den Fahrzeugsystemen 130 kann auch verwendet werden, um Informationen zu erhalten, die von den Fahrzeugsystemen 130 verwendet werden, wie beispielsweise Fahrzeuggeschwindigkeit, Vibration, Standort und Richtung sowie bevorstehende Manöver (z. B. Abbiegen, Spurwechsel durch Aktivierung des Blinkers angezeigt). Diese Art von Informationen wird durch bekannte Fahrzeugsensoren 115 wie Gyroskope, (GPS)-Empfänger und Kartensysteme, Beschleunigungssensoren und dergleichen erhalten. In einer exemplarischen Ausführungsform kann das Fahrzeug 100 ein autonomes Fahrzeug sein, das zumindest teilweise von der Steuerung 120 gesteuert wird. Die Kamera 110 und ein oder mehrere andere Sensoren 115 können zum Erfassen von Objekten 140 verwendet werden, wie beispielsweise des in 1 dargestellten Fußgängers 145 oder der Ampel 160. Die Steuerung 120 kann eine Verarbeitungsschaltung beinhalten, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Hardware-Computerprozessor (gemeinsam genutzte oder dedizierte oder Gruppe) und einen Speicher beinhalten kann, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bereitstellen.
2 erläutert Aspekte der Kamera 110, die sich auf das dynamische Demosaicing gemäß einer oder mehreren Ausführungsformen beziehen. Eine Bildsensoranordnung 210 der Bildsensoren 215 und das entsprechende CFA 220 der Filter 225 sind dargestellt. In der Kamera 110 ist das CFA 220 der Bildsensoranordnung 210 überlagert, um Wellenlängen zu beeinflussen, bei denen die Lichtintensität von jedem Bildsensor 215 gemessen wird. Das CFA 220 wird mit vier verschiedenen Filtern 225a, 225b, 225c, 225d (allgemein als 225 bezeichnet) dargestellt. Der Filter 225a kann spezifisch für Rotlicht sein, der Filter 225b kann spezifisch für Grünlicht sein, der Filter 225c kann spezifisch für Blaulicht sein, und der Filter 225d kann ein monochromer (z. B. Graustufen)- Filter sein. Somit kann der Filter 225d deutlich mehr Licht - zum Beispiel um 300 Prozent mehr - aufnehmen als die anderen Filter 225a, 225b, 225c.
Die von den Bildsensoren 215 ausgegebenen elektrischen Signale 230 basierend auf den entsprechenden Filtern 225 werden gemäß einer exemplarischen Ausführungsform zum Verarbeiten an die Steuerung 120 bereitgestellt. In alternativen Ausführungsformen können ein oder mehrere Prozessoren innerhalb der Kamera 110 oder außerhalb der Kamera zusätzlich oder alternativ verwendet werden, um das hierin beschriebene dynamische Demosaicing durchzuführen. Wie beispielsweise unter Bezugnahme auf 3 erläutert, erfordert die Auswahl eines Demosaicing-Algorithmus Informationen über den Zustand des Fahrzeugs 100 und kann zusätzlich Informationen von anderen Sensoren 115 verwenden. Daher muss die Steuerung 120 oder ein anderer Prozessor, der das dynamische Demosaicing durchführt, Zugriff auf diese Informationen haben.
3 ist ein Prozessablauf eines Verfahrens zum Durchführen eines dynamischen Demosaicing gemäß einer oder mehreren Ausführungsformen. Bei Block 310 bezieht sich das Starten eines neuen Einzelbildes auf das Erhalten eines digitalen Bildes mit der Kamera 110. Die Bewertung des aktuellen Zustands bei Block 320 kann unter Verwendung verschiedener Informationsquellen gemäß verschiedenen Ausführungsformen durchgeführt werden. In der einfachsten Form kann die Umgebungshelligkeit durch einen der anderen Sensoren 115 des Fahrzeugs 100 gemessen werden. In alternativen Ausführungsformen kann die Bewertung des aktuellen Zustands das Erhalten von Informationen von den Sensoren 115 und den Fahrzeugsystemen 130 über den Fahrzeugbetrieb (z. B. Geschwindigkeit, Standort, Richtung, bevorstehendes Manöver), Umgebung (z. B. Umgebungslichtbedingungen, Verkehrsinformationen (z. B. Stadtgebiet mit hohem Verkehrsaufkommen, Landstraße oder Autobahn mit wenig Verkehr)) oder eine Kombination aus beidem beinhalten. Die hierin erläuterten Beispiele sollen die Informationen nicht einschränken, die bei der Bewertung des aktuellen Zustands bei Block 320 berücksichtigt werden können.
Bei Block 330 beinhaltet die Auswahl aus den Demosaicing-Algorithmen die Anpassung des geeigneten Demosaicing-Algorithmus an den bei Block 320 bewerteten Zustand. Die Anpassung kann gemäß einem regelbasierten Algorithmus durchgeführt werden oder das Trainieren eines Maschinenlernalgorithmus gemäß verschiedenen Ausführungsformen beinhalten. Die hierin aufgeführten Beispiele sollen die bekannten Ansätze nicht darauf beschränken, den Satz von Faktoren, die zur Bewertung des aktuellen Zustands bei Block 320 verwendet werden, mit den verfügbaren Demosaicing-Algorithmen anzupassen. Bei Block 340 bezieht sich die Verarbeitung des Bildes auf das Anwenden des Demosaicing-Algorithmus, ausgewählt bei Block 320, auf die elektrischen Signale 230, die von der Bildsensoranordnung 210 ausgegeben werden.
Die 4-7, unter Fortführung von 2, veranschaulichen vier verschiedene exemplarische Demosaicing-Algorithmen 400, 500, 600, 700, die für das dynamische Demosaicing gemäß den Ausführungsformen ausgewählt werden können. In jeder Darstellung zeigt die Matrix den am entsprechenden Bildsensor 215 gemessenen Intensitätspegel an. In der Anzeige zeigt R an, dass der entsprechende Filter 225 Rot war, G zeigt an, dass der entsprechende Filter 225 Grün war, B zeigt an, dass der entsprechende Filter 225 Blau war, und C zeigt an, dass der entsprechende Filter 225 monochromatisch war (Graustufen), oder dass kein Filter für den entsprechenden Bildsensor 115 vorhanden war. Wenn das CFA 220 mehr als einen Filter 225 des gleichen Typs beinhaltet, wird jede resultierende Intensitätsstufe mit einer anderen Zahl gekennzeichnet (z. B. B1 und B2, wenn zwei Blaufilter 225 verwendet wurden). Zur Erläuterung der einzelnen Demosaicing-Algorithmen 400, 500, 600, 700 werden für den dem Zentrum zugeordneten Filter 225 (d. h. dem mittleren Pixel X) vier verschiedene Szenarien betrachtet. Das heißt, in der Erklärung jedes Demosaicing-Algorithmus 400, 500, 600, 700, wird der Filter 225, der dem mittleren Pixel X zugeordnet ist, als Rot, Grün, Blau oder monochrom betrachtet. Dies soll jedoch nicht darauf hindeuten, dass sich die exemplarische CFA 220 selbst verändert, sondern vielmehr die Behandlung jedes Pixeltyps nach dem Demosaicing-Algorithmus 400, 500, 600, 700 erklären.
Das Anwenden eines Demosaicing-Algorithmus (bei Block 340) bezieht sich auf eine besondere Art und Weise, die Intensität jeder interessierenden Bandbreite (z. B. R, G, B) unter Verwendung der gemessenen Lichtintensität der von jedem Filter 225 des CFA 220 bei jedem Pixel durchgelassenen Bandbreite zu schätzen. Wie bereits beschrieben, wird an jedem Pixel (über jedem entsprechenden Bildsensor 215) ein Filter 225 verwendet. Somit wird an jedem Pixel eine Bandbreite gemessen. Wenn beispielsweise ein Filter 225, der Blaulicht durchlässt, einem bestimmten Bildsensor 215 zugeordnet ist, dann wird die blaue Lichtintensität an diesem Pixel gemessen. Der Demosaicing-Algorithmus legt fest, wie die Intensität von Rotlicht und Grünlicht an demselben Pixel geschätzt werden soll. Ebenso, wenn Rotlicht an einem bestimmten Pixel gemessen wird, dann wird die besondere Art und Weise, die Intensität von Grünlicht und Blaulicht an dem Pixel zu schätzen, durch den Demosaicing-Algorithmus angezeigt.
4 veranschaulicht einen exemplarischen Demosaicing-Algorithmus 400, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann. Der exemplarische Demosaicing-Algorithmus 400 kann ausgewählt werden (bei Block 330, 3), wenn die Bewertung des aktuellen Zustands (bei Block 320, 3) schlechte Lichtverhältnisse anzeigt, wie unter Bezugnahme auf 8 erläutert. Gemäß dem exemplarischen Demosaicing-Algorithmus 400 wird die von den Bildsensoren 215 mit einem monochromatischen Filter 225 (d. h. bei monochromatischen Pixeln) gemessene Lichtintensität in die Schätzung der roten, grünen und blauen Komponenten für jedes Pixel einbezogen.
Wie 4 anzeigt, ist CC der Mittelwert der an dem monochromen Pixel gemessenen Lichtintensitätswerte C1, C2, RR ist der Mittelwert der an dem roten Pixel gemessenen Lichtintensitätswerte R1, R2, GG ist der Mittelwert der an dem grünen Pixel gemessenen Lichtintensitätswerte G1, G2 und BB ist der Mittelwert der an dem blauen Pixel gemessenen Lichtintensitätswerte B1, B2. Die in 4 (sowie in den 5-7) dargestellte Anzahl der einzelnen Filtertypen 225 ist nur exemplarisch. Wenn beispielsweise drei rote Pixel mit entsprechenden gemessenen Lichtintensitätswerten R1, R2, R3 und nur ein blauer Pixel mit entsprechendem Lichtintensitätswert B1 das mittlere Pixel X umgeben, dann wäre RR ein Mittelwert von R1, R2 und R3, und BB wäre einfach B1. X zeigt das Pixel in der Mitte eines exemplarischen CFA 220 oder, wahrscheinlicher, eines Teils eines größeren CFA 220 an. Zur Erläuterung des Demosaicing-Algorithmus 400 werden die Schätzungen der roten, grünen und blauen Lichtintensitätswerte am mittleren Pixel X für vier verschiedene Szenarien erläutert. Im ersten Szenario ist X ein monochromes (klares) Pixel (X = C). Im zweiten Szenario ist X ein rotes Pixel (X = R). Im dritten Szenario ist X ein grünes Pixel (X = G) und im vierten Szenario ist X ein blaues Pixel (X = B).
Falls das mittlere Pixel X ein monochromes Pixel ist (X = C), wird die Berechnung zum Schätzen der roten Lichtintensität C-R, der grünen Lichtintensität C-G und der blauen Lichtintensität C-B an diesem monochromen Pixel in Tabelle 401 angezeigt. Wie angegeben, wird mit einem Gewichtungswert W die gemessene Lichtintensität C am monochromen Pixel (X = C) mit der an den Farbpixeln gemessenen Lichtintensität ausgeglichen. Der Wert von W stellt einen Prozentsatz dar und kann daher 0 bis 100 betragen. So wird beispielsweise die Schätzung der Rotlichtintensität C-R am monochromen Pixel mit einem gemessenen Lichtintensitätswert von C durch (RR*W + C*(100-W)) angegeben. Als weiteres Beispiel wird die Schätzung der Grünlichtintensität C-G am monochromen Pixel mit einem gemessenen Lichtintensitätswert C durch (GG*W + C*(100-W)) angegeben.
Wenn das mittlere Pixel rot ist (X = R), wird die Schätzung der Rot-, Grün- und Blaulichtintensitätswerte am mittleren Pixel durch die Tabelle 402 angezeigt. So wird beispielsweise der gemessene Rotlichtintensitätswert R auf (R*W + CC*(100-W)) angepasst. Weiterhin verwenden Schätzungen der grünen und blauen Komponenten am roten Pixel die Durchschnittswerte GG bzw. BB, wie in Tabelle 402 in 4 angegeben. So wird beispielsweise die Schätzung der Blaulichtintensität R-B am roten Pixel (X = R) durch (BB*W + CC*(100-W)) angegeben.
Wenn das mittlere Pixel grün ist (X = G), wird die Schätzung der Rot-, Grün- und Blaulichtintensitätswerte am mittleren Pixel durch die Tabelle 403 angezeigt. So wird beispielsweise der gemessene Grünlichtintensitätswert G auf (G*W + CC*(100-W)) angepasst. Weiterhin verwenden Schätzungen der roten und blauen Komponenten am grünen Pixel die Durchschnittswerte RR und BB, wie in Tabelle 403 in 4 angegeben. So wird beispielsweise die Schätzung der Rotlichtintensität G-R am grünen Pixel (X = G) durch (RR*W + CC*(100-W)) angegeben.
Wenn das mittlere Pixel blau ist (X = G), wird die Schätzung der Rot-, Grün- und Blaulichtintensitätswerte am mittleren Pixel durch die Tabelle 404 angezeigt. So wird beispielsweise der gemessene Lichtintensitätswert B auf (B*W + CC*(100-W)) angepasst. Weiterhin verwenden Schätzungen der roten und grünen Komponenten an den blauen Pixeln die Durchschnittswerte RR bzw. GG, wie in Tabelle 404 in 4 angegeben. So wird beispielsweise die Schätzung der Grünlichtintensität B-G am blauen Pixel (X = B) durch (GG*W + CC*(100-W)) angegeben.
Wenn ein Pixel nicht von anderen Pixeln umgeben ist, wird der Demosaicing-Algorithmus 400 leicht modifiziert. Zu Erläuterungszwecken gilt R1 als eine wahre Ecke des CFA 220. Das heißt, ob das in 4 dargestellte CFA 220 ein vollständiges CFA 220 oder ein Teil eines CFA 220 ist, sind nur drei Pixel (G1, X, B1) benachbart zu R1 vorhanden. In diesem Fall können die in Tabelle 402 dargestellten exemplarischen Berechnungen angepasst werden. Der Wert CC kann weiterhin in den Berechnungen verwendet werden, da C1 und C2 die monochromen Pixel sind, die dem Pixel R1 am nächsten liegen, obwohl sie nicht benachbart sind. Wenn X = C ist, dann wird C anstelle von CC verwendet. Die rote Komponente R1-R kann (R1*W + CC*(100-W)) sein. Die Schätzung der Grünlichtintensität R1-G bei Pixel R1 würde G2 und damit GG nicht berücksichtigen. Stattdessen würde R1-G nur die benachbarte gemessene Lichtintensität G1 so verwenden, dass R1-G (G1*W + CC*(100-W)) ist. Wenn jedoch X = G ist, dann würde ein Mittelwert von G1 und G anstelle von G1 allein verwendet werden. Ebenso würde die Schätzung der Blaulichtintensität R1-B bei Pixel R1 nur benachbarte gemessene Lichtintensität B1 verwenden, sodass R1-B (B1*W + CC*(100-W)) ist. Wenn X = B ist, dann würde jedoch ein Mittelwert von B1 und B und nicht nur B1 allein für die Berechnung von R1-B verwendet werden. Ein Endpixel (z. B. G1) wird ähnlich wie das exemplarische Eckpixel R1 behandelt.
5 veranschaulicht einen exemplarischen Demosaicing-Algorithmus 500, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann. Der exemplarische Demosaicing-Algorithmus 500 kann ausgewählt werden (bei Block 330, 3), wenn die Bewertung des aktuellen Zustands (bei Block 320, 3) anzeigt, dass sich das Fahrzeug 100 einer Ampel 160 nähert, wie in Bezug auf 8 erläutert. Gemäß dem exemplarischen Demosaicing-Algorithmus 500 werden die Intensitätsmesswerte B1 und B2 mit Blaulichtfiltern 225 überhaupt nicht verwendet. Dies ist möglicherweise nicht der Fall in einem Bereich, in dem die Ampeln nicht nur rot, gelb und grün, sondern auch blau leuchten. Wie 5 anzeigt, ist CC der Mittelwert der Lichtintensitätswerte C1, C2, gemessen an den monochromen Pixeln, RR der Mittelwert der Lichtintensitätswerte R1, R2, gemessen an den roten Pixeln, und GG der Mittelwert der Lichtintensitätswerte G1, G2, gemessen an den grünen Pixeln. Wie unter Bezugnahme auf 4 angemerkt, werden für das mittlere Pixel X vier verschiedene Szenarien betrachtet, um den Demosaicing-Algorithmus 500 zu erklären.
In dem Szenario, in dem das mittlere Pixel monochrom ist (X = C), wird die gemessene Lichtintensität C als Schätzung der Blaulichtintensität C-B ersetzt, wie in Tabelle 501 angegeben. Die Schätzung der Rotlichtintensität C-R am mittleren Pixel ist der Mittelwert der gemessenen Lichtintensitätswerte R1, R2 an den benachbarten roten Pixeln. Das heißt, wie in Tabelle 501 angegeben, ist C-R RR. Ebenso ist die Schätzung der Grünlichtintensität C-G am mittleren Pixel der Mittelwert GG der gemessenen Lichtintensitäten an den benachbarten grünen Pixeln G1, G2.
Wenn das mittlere Pixel rot ist (X = R), wird der gemessene Lichtintensitätswert R für die rote Komponente beibehalten. Für die Schätzung der Grünlichtintensität R-G am mittleren Pixel wird das mittlere GG verwendet, wie in Tabelle 502 in 5 angegeben. Für die Schätzung der Blaulichtintensität R-B am mittleren Pixel wird der Mittelwert CC verwendet. Dies liegt daran, dass, wie bereits erwähnt, die Blaulichtintensität im exemplarischen Demosaicing-Algorithmus 500 nicht von Interesse ist. Wenn das mittlere Pixel grün ist (X = G), bleibt der gemessene Lichtintensitätswert G für die grüne Komponente erhalten. Für die Schätzung der Rotlichtintensität G-R am mittleren Pixel wird der Mittelwert RR verwendet, wie in Tabelle 503 in 5 angegeben. Für die Schätzung der Blaulichtintensität G-B wird der Mittelwert CC verwendet. Wenn das mittlere Pixel blau ist (X = B), wird der Mittelwert CC als blaue Komponente ersetzt, wie in Tabelle 504 in 5 angegeben. Das heißt, der gemessene Lichtintensitätswert B wird durch CC ersetzt. Für die Schätzung der Rotlichtintensität B-R wird der Mittelwert RR verwendet, wie in Tabelle 504 in 5 angegeben. Ebenso wird für die Grünlichtintensität B-G der Mittelwert GG verwendet, wie in Tabelle 504 in 5 angegeben.
Wie mit Bezug auf 4 angemerkt, kann der Demosaicing-Algorithmus 500 für Eck- und Endpixel leicht modifiziert werden. Zur Erläuterung wird C1 als echtes Eckpixel des CFA 220 angesehen, sodass nur die Pixel B1, X und G2 benachbarte Pixel sind. Der Einfachheit halber wird angenommen, dass X ein rotes Pixel (X = R) ist. Die Schätzung der Rotlichtintensität C1-R wäre R. Wenn X nicht R wäre, dann kann RR trotzdem verwendet werden, da R1 und R2 äquidistant zu Pixel C1 sind. Die Schätzung der Grünlichtintensität C1-G wäre G2 und nicht GG, da nur G2 an C1 angrenzt. Schließlich wäre die Schätzung der Blaulichtintensität C1-B C1, da die Blaulichtintensität gemäß dem Demosaicing-Algorithmus 500 nicht von Interesse ist.
6 veranschaulicht einen exemplarischen Demosaicing-Algorithmus 600, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann. Der exemplarische Demosaicing-Algorithmus 600 kann ausgewählt werden (bei Block 330, 3), wenn die Bewertung des aktuellen Zustands (bei Block 320, 3) einen bevorstehenden Spurwechsel oder einen anderen Zustand anzeigt, in dem eine Spurerkennung erforderlich ist, wie in Bezug auf 8 erläutert. Gemäß dem exemplarischen Demosaicing-Algorithmus 600 wird die von den Bildsensoren 215 mit einem monochromatischen Filter 225 (d. h. bei monochromatischen Pixeln) gemessene Lichtintensität in die Schätzung der roten, grünen und blauen Komponenten für jedes Pixel verwendet. Wie 6 anzeigt, ist CC der Mittelwert der Lichtintensitätswerte C1, C2, gemessen an den monochromen Pixeln. Auch hier werden vier verschiedene Szenarien für das mittlere Pixel X betrachtet.
Für das Szenario, wenn das mittlere Pixel ein monochromes Pixel ist (X = C), wird der am mittleren Pixel gemessene Lichtintensitätswert C als Schätzung der Rotlichtintensität C-R, der Schätzung der Grünlichtintensität C-G und der Schätzung der Blaulichtintensität C-B verwendet. Dies wird in Tabelle 601 in 6 angezeigt. Wenn das mittlere Pixel rot, grün oder blau ist (X = R, G, B), dann wird der Mittelwert CC als Schätzung der Rotlichtintensität, der Grünlichtintensität und der Blaulichtintensität verwendet, wie in den Tabellen 602, 603 und 604 angegeben. Wie beispielsweise in Tabelle 603 dargestellt, ist die Schätzung der Grünlichtintensität G-G nicht der gemessene Lichtintensitätswert G, sondern der durchschnittliche monochrome Pixelwert CC, wenn das mittlere Pixel grün ist (X = G). Als weiteres Beispiel, wie Tabelle 604 anzeigt, wenn das mittlere Pixel blau ist (X = B), ist die Schätzung der Rotlichtintensität B-R auch CC.
Der Demosaicing-Algorithmus 600 kann für ein Eck- oder Endpixel modifiziert werden. Zur Erläuterung wird G2 als Endpixel im CFA 220 betrachtet, wobei nur die Pixel C1, B1, X, B2 und R2 an dieses angrenzen. Wenn es sich bei dem mittleren Pixel nicht um ein monochromes Pixel handelt (X = C), können somit die Werte von C1 allein und nicht der Mittelwert CC als Schätzung der Rot-, Grün- und Blaulichtintensitäten verwendet werden. Wenn X = C ist, dann kann stattdessen der Mittelwert von C und C1 verwendet werden.
7 veranschaulicht einen exemplarischen Demosaicing-Algorithmus 700, der zum dynamischen Demosaicing gemäß einer oder mehrerer Ausführungsformen ausgewählt werden kann. Der exemplarische Demosaicing-Algorithmus 700 kann ausgewählt werden (bei Block 330, 3), wenn die Bewertung des aktuellen Zustands (bei Block 320, 3) das Bremsen eines anderen Fahrzeugs 100 vor dem Fahrzeug 100 anzeigt, das die Kamera 110 beinhaltet, wie mit Bezug auf 8 erläutert. Wie 7 anzeigt, ist CC der Mittelwert der Lichtintensitätswerte C1, C2, gemessen an den monochromen Pixeln, und RR ist der Mittelwert der Lichtintensitätswerte R1, R2, gemessen an den roten Pixeln. Da die Erkennung von roten Bremsleuchten im Fokus der Erkennung stehen kann, werden die Lichtintensitätswerte G1, G2, B1, B2 gemessen an grünen oder blauen Pixeln im exemplarischen Demosaicing-Algorithmus 700 gar nicht verwendet. Vier verschiedene Szenarien mit vier verschiedenen Werten für das mittlere Pixel X werden erneut berücksichtigt.
Bei dem Szenario, wenn das mittlere Pixel ein monochromes Pixel ist (X = C), ist die Schätzung der Rotlichtintensität C-R RR, wie in Tabelle 701 angegeben. Die Schätzung der Grünlichtintensität C-G und die Schätzung der Blaulichtintensität C-B ist der gemessene Lichtintensitätswert C am mittleren Pixel.
Wenn das mittlere Pixel rot ist (X = R), wird der gemessene Lichtintensitätswert R als Rotlichtintensität R-R beibehalten. Der Wert CC wird für die Schätzung der Grünlichtintensität R-G und für die Schätzung der Blaulichtintensität R-B verwendet, wie in Tabelle 702 in 7 dargestellt. Wenn das mittlere Pixel grün ist (X = G), wird der Wert RR als Schätzung der Rotlichtintensität G-R verwendet, und der Wert CC wird durch die gemessene Lichtintensität G ersetzt und gleichzeitig als Schätzung der Blaulichtintensität G-B verwendet. Wenn das mittlere Pixel blau ist (X = B), wird der Wert RR als Schätzung der Rotlichtintensität B-R und der Wert CC als Schätzung der Grünlichtintensität B-G verwendet. Der Wert CC ersetzt auch den gemessenen Lichtintensitätswert B als Blaulichtintensität, wie in Tabelle 704 in 7 angegeben.
Auch hier kann der Demosaicing-Algorithmus 700 für ein Eck- oder Endpixel modifiziert werden. Wenn beispielsweise angenommen wird, dass G1 ein echtes Endpixel des in 7 dargestellten CFA 220 ist, und wenn auch angenommen wird, dass das mittlere Pixel ein monochromes Pixel ist (X = C), dann wäre die Schätzung der Rotlichtintensität G1-R eher R1 als RR, da R1 an das Pixel G1 angrenzt, R2 jedoch nicht. Der Mittelwert von C und C2, die beide an G1 angrenzen, würde die Grünlichtintensität G1-G ersetzen und als Schätzung der Blaulichtintensität G1-B am Pixel G1 verwendet werden.
8 ist eine exemplarische Implementierung von Prozessen, die unter Bezugnahme auf 3 erläutert wurden. Bei Block 320 führt die Bewertung des aktuellen Zustands dazu, dass die Steuerung 120 einen der vier Zustände 810-1, 810-2, 810-3, 810-4 (allgemein als 810 bezeichnet) identifiziert. Basierend auf dem Zustand wird bei der Auswahl des geeigneten Demosaicing-Algorithmus bei Block 330 eine 1:1-Übereinstimmung vorgenommen. Somit ist das in 8 veranschaulichte Beispiel ein regelbasiertes dynamisches Demosaicing.
Der Zustand 810-1 zeigt schlechte Lichtverhältnisse an. Wie bereits erwähnt, kann ein Sensor 115, wie beispielsweise ein Umgebungslichtsensor, der vom automatischen Scheinwerfersystem des Fahrzeugs 100 verwendet wird, von der Steuerung 120 verwendet werden, um den Zustand der schlechten Lichtverhältnisse zu bestimmen. Basierend auf dem Zustand können die roten, grünen und blauen Komponenten des CFA 220 als weniger nützlich eingeschätzt werden als die monochromen Pixel. Daher kann der Demosaicing-Algorithmus 400 bei Block 330 ausgewählt werden, um die Gewichtung zu erleichtern und die von den monochromen Pixeln gemessene Lichtintensität in die Schätzung der roten, grünen und blauen Komponenten bei jedem Pixel zu integrieren.
Der Zustand 810-2 zeigt einen Zustand an, in dem eine Ampel 160 vor dem Fahrzeug 100 angeordnet ist, wie in 1 dargestellt. Die Ampel 160 kann basierend auf ihrer Position in einem Kartierungssystem oder mit der Kamera 110 selbst mit der Bildverarbeitung erfasst werden. Andere Sensoren 115 (z. B. das Lidarsystem) können ebenfalls verwendet werden, um die Ampel 160 zu erfassen. Wie bereits erwähnt, ist das Erfassen der roten und grünen Lichter und, basierend auf der Kombination von rot und grün, das Erfassen des gelben Lichts in diesem Zustand wichtig. Die blaue Komponente jedes Pixels ist jedoch nicht hilfreich, um den aktuellen Status der Ampel 160 zu bestimmen. Basierend auf dem Zustand kann der Demosaicing-Algorithmus 500 bei Block 330 ausgewählt werden. Wie in der Erläuterung unter Bezugnahme auf 5 erwähnt, wird die blaue Komponente durch die Lichtintensität ersetzt, die durch die monochromen Pixel gemäß dem Demosaicing-Algorithmus 500 gemessen wird.
Der Zustand 810-3 zeigt einen Zustand an, in dem die Spurmarkierungen 150, wie in 1 dargestellt, erfasst werden müssen. Die Bedingung kann das Bestimmen eines bevorstehenden Spurwechsels sein, wie er durch einen Sensor 115 oder ein Fahrzeugsystem 130 oder eine Kombination aus beiden angezeigt wird. So kann beispielsweise das Betätigen eines Blinkers in einem Bereich erfasst werden, in dem die Karte keine bevorstehende Straße zum Abbiegen anzeigt. Das Radarsystem kann ein anderes Fahrzeug in der angrenzenden Fahrspur erfassen, das sicherstellen muss, dass das Fahrzeug 100 mit der Kamera 110 innerhalb der angrenzenden Spurmarkierungen 150 bleibt. Basierend auf dem Erfassen dieses Zustands kann bei Block 320 der Demosaicing-Algorithmus 600 ausgewählt werden. Wie unter Bezugnahme auf 6 erläutert, sind die monochromen Pixel die einzigen, die verwendet werden, wenn die Spurmarkierung 150 erforderlich ist, da die Farbpixel keine zusätzlichen Informationen bereitstellen, während die monochromen Pixel einen größeren Wellenlängenbereich und damit eine höhere Lichtintensität ermöglichen.
Der Zustand 810-4 zeigt einen Vorwärtsbremszustand an. Wie bereits erwähnt, bezieht sich dies auf das Bremsen eines anderen Fahrzeugs 100 vor dem Fahrzeug 100, das die Kamera 110 beinhaltet. Der Zustand kann bei Block 320 basierend auf einem Sensor 115, wie beispielsweise einem Radarsystem, welches das andere Fahrzeug 110 vor dem Fahrzeug 100 beispielsweise mit der Kamera 110 erfasst, ausgewertet werden. In diesem Zustand sind die roten Bremsleuchten des anderen Fahrzeugs 100 von Interesse. Somit kann der Demosaicing-Algorithmus 700 bei Block 330 ausgewählt werden. Wie unter Bezugnahme auf 7 erläutert, verwaltet der Demosaicing-Algorithmus 700 Informationen, die durch rote Pixel erhalten wurden, verwendet aber keine Lichtintensität, die durch grüne oder blaue Pixel gemessen wird, da diese Farben in diesem Zustand nicht informativ sind.
Obwohl 8 eine regelbasierte exemplarische Implementierung des dynamischen Demosaicing-Schemas veranschaulicht, soll das Beispiel nicht die zusätzlichen Zustände und Demosaicing-Algorithmen einschränken, die gemäß einer regelbasierten Ausführungsform integriert sein können. Weiterhin kann gemäß alternativer Ausführungsformen die Bewertung des aktuellen Zustands bei Block 320 durch maschinelles Lernen implementiert werden. Das Auswählen oder Erzeugen eines Demosaicing-Algorithmus bei Block 330, basierend auf dem Zustand, kann auch durch maschinelles Lernen implementiert werden.
Während die vorstehende Offenbarung mit Bezug auf exemplarische Ausführungsformen beschrieben wurde, werden Fachleute verstehen, dass unterschiedliche Änderungen vorgenommen und die einzelnen Teile durch entsprechende andere Teile ausgetauscht werden können, ohne vom Umfang der Offenbarung abzuweichen. Darüber hinaus können viele Modifikationen vorgenommen werden, um eine bestimmte Materialsituation an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Daher ist vorgesehen, dass die Erfindung nicht auf die offenbarten speziellen Ausführungsformen eingeschränkt sein soll, sondern dass sie auch alle Ausführungsformen beinhaltet, die innerhalb des Umfangs der Anmeldung fallen.

Claims

System zum Durchführen eines dynamischen Demosaicing für eine Kamera in einem Fahrzeug, wobei das System Folgendes umfasst: eine Anordnung von Bildsensoren der Kamera, die konfiguriert ist, um Lichtintensitätswerte zu erhalten, worin jeder Bildsensor der Anordnung von Bildsensoren ein Pixel darstellt; eine Anordnung von Filtern der Kamera, die konfiguriert ist, um die Anordnung von Bildsensoren so zu überlagern, dass jeder Filter der Anordnung von Filtern mit einem Bildsensor der Anordnung von Bildsensoren korrespondiert und einen Wellenlängenbereich begrenzt, für den der eine Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält, worin die Anordnung von Filtern mindestens zwei verschiedene Filtertypen beinhaltet, die zwei verschiedenen Wellenlängenbereichen entsprechen; und einen Prozessor, der konfiguriert ist, um einen dem Fahrzeug zugeordneten aktuellen Zustand zu schätzen und einen Demosaicing-Algorithmus basierend auf dem aktuellen Zustand auszuwählen, sodass der Demosaicing-Algorithmus für jedes Pixel eine Schätzung des Lichtintensitätswerts bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich ermöglicht, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.
System nach Anspruch 1, worin die mindestens zwei verschiedenen Filtertypen einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen von Rotlicht, Grünlicht und Blaulicht entsprechen, und einen monochromen Filter, der einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, dem Grünlicht und dem Blaulicht entspricht, und der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der Umgebungslicht unterhalb eines Schwellenwerts, fügt eine gewichtete Summe aus einem oder mehreren Lichtintensitätswerten, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessen werden, zu einer Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel hinzu.
System nach Anspruch 1, worin die mindestens zwei verschiedenen Filtertypen einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen von Rotlicht, Grünlicht und Blaulicht entsprechen, und einen monochromen Filter, der einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, dem Grünlicht und dem Blaulicht entspricht, und der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der eine Annäherung an eine Ampel ist, verwendet die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessene Lichtintensität als Schätzung des Blaulichts bei jedem Pixel.
System nach Anspruch 1, worin die mindestens zwei verschiedenen Filtertypen einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen von Rotlicht, Grünlicht und Blaulicht entsprechen, und einen monochromen Filter, der einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, dem Grünlicht und dem Blaulicht entspricht, und der Demosaicing-Algorithmus, basierend auf dem aktuellen Zustand, der ein Spurabtastzustand ist, verwendet den von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessenen Lichtintensitätspegel als Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel.
System nach Anspruch 1, worin die mindestens zwei verschiedenen Filtertypen einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen von Rotlicht, Grünlicht und Blaulicht entsprechen, und einen monochromen Filter, der einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, dem Grünlicht und dem Blaulicht entspricht, und der Demosaicing-Algorithmus, basierend darauf, dass der aktuelle Zustand ein Vorwärtsbremsereignis ist, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessene Lichtintensität als Schätzung des Grünlichts und des Blaulichts bei jedem Pixel verwendet.
Verfahren zum Durchführen eines dynamischen Demosaicing für eine Kamera in einem Fahrzeug, wobei das Verfahren Folgendes umfasst: Erhalten von Lichtintensitätswerten von einer Anordnung von Bildsensoren der Kamera, wobei jeder Bildsensor der Anordnung von Bildsensoren ein Pixel darstellt und jeder Bildsensor der Anordnung von Bildsensoren einen Filter einer Anordnung von Filtern aufweist, die derart überlagert sind, dass der Filter der Anordnung von Filtern einen Wellenlängenbereich begrenzt, für den der Bildsensor der Anordnung von Bildsensoren den Lichtintensitätswert erhält, worin die Anordnung von Filtern mindestens zwei verschiedene Arten von Filtern beinhaltet, die zwei verschiedenen Wellenlängenbereichen entsprechen; Schätzen eines dem Fahrzeug zugeordneten aktuellen Zustands unter Verwendung eines Prozessors; und Auswählen eines Demosaicing-Algorithmus basierend auf dem aktuellen Zustand unter Verwendung des Prozessors, sodass der Demosaicing-Algorithmus für jedes Pixel eine Schätzung des Lichtintensitätswerts bei einem anderen Wellenlängenbereich als dem Wellenlängenbereich ermöglicht, für den der entsprechende Bildsensor den Lichtintensitätswert erhalten hat.
Verfahren nach Anspruch 6, worin das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, die einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und einen monochromen Filter, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht, beinhaltet, und basierend auf dem Schätzen des aktuellen Zustands, der ein Umgebungslichtniveau unterhalb eines Schwellenwerts anzeigt, wobei das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus beinhaltet, der eine gewichtete Summe aus einem oder mehreren Lichtintensitätswerten, die von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessen werden, zu einer Schätzung der roten Farbe, der grünen Farbe und der blauen Farbe bei jedem Pixel addiert.
Verfahren nach Anspruch 6, worin das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, die einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und einen monochromen Filter, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht, beinhaltet, und basierend auf dem Schätzen des aktuellen Zustands, der eine Annäherung an eine Ampel anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der den von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessenen Lichtintensitätspegel als eine Schätzung des Blaulichts bei jedem Pixel verwendet.
Verfahren nach Anspruch 6, worin das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, die einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und einen monochromen Filter, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht, beinhaltet, und basierend auf dem Schätzen des aktuellen Zustands, der einen Spurabtastzustand anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der den von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessenen Lichtintensitätspegel als Schätzung des Rotlichts, des Grünlichts und des Blaulichts bei jedem Pixel verwendet.
Verfahren nach Anspruch 6, worin das Erhalten der Lichtintensitätswerte das Erhalten von Rotlicht, Grünlicht, Blaulicht und monochromatischem Licht basierend auf den mindestens zwei verschiedenen Filtertypen, die einen Rotfilter, einen Grünfilter und einen Blaufilter beinhalten, die jeweils den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entsprechen, und einen monochromen Filter, der dem monochromatischen Licht mit einem größeren Wellenlängenbereich als den Wellenlängenbereichen des Rotlichts, des Grünlichts und des Blaulichts entspricht, beinhaltet, und basierend auf dem Schätzen des aktuellen Zustands, der ein Vorwärtsbremsereignis anzeigt, beinhaltet das Auswählen des Demosaicing-Algorithmus das Auswählen des Demosaicing-Algorithmus, der den von einem oder mehreren Bildsensoren der Anordnung von Bildsensoren mit dem monochromen Filter gemessenen Lichtintensitätspegel als eine Schätzung des Grünlichts und des Blaulichts bei jedem Pixel verwendet.