-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen einer schmalbandigen Lichtquelle, auf eine entsprechende Vorrichtung und eine entsprechende Kameraanordnung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Gepulste Lichtquellen auf LED-Basis werden insbesondere im Straßenverkehr immer häufiger eingesetzt, so z. B. bei Fahrzeug-Rücklichtern, Ampeln und Signalleuchten. Das menschliche Auge ist für die im Fahrzeugverkehr verwendeten Frequenzen der LED-Lichtquellen, meist handelt es sich hier um Frequenzen ab 90 Hz, träge genug, um ein Flimmern im Allgemeinen nicht wahrzunehmen.
-
Jedoch ist die Belichtungszeit von Videokameras, besonders im Fahrzeugbereich, bei Tageslicht üblicherweise so kurz ausgelegt, dass gepulste Lichtquellen nicht konstant abgebildet werden. Stattdessen ändert sich die Abbildung laufend zwischen nicht sichtbar, teilweise sichtbar und komplett sichtbar, je nachdem, wie das Verhältnis zwischen Abtastrate der Kamera mit der jeweiligen Integrationszeit zur Frequenz der Lichtquelle ist.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erkennen einer schmalbandigen Lichtquelle, weiterhin eine Vorrichtung sowie eine Kameraanordnung, die dieses Verfahren verwenden sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Ein Verfahren zum Erkennen einer schmalbandigen Lichtquelle nutzt den Umstand, dass es sich bei gepulsten Lichtquellen auf LED-Basis um schmalbandige Lichtquellen handelt, also Lichtquellen, die nur Licht eines Farbwerts, also eines begrenzten Wellenlängenbereichs emittieren. Entsprechend kann das Verfahren unterschiedliche Intensitätswerte von Farbwerten einer Lichtquelle vergleichen und basierend auf einem Ergebnis des Vergleichs bestimmen, ob es sich bei einer erfassten Lichtquelle um eine schmalbandige Lichtquelle handelt.
-
Ferner kann eine das Verfahren einsetzende Vorrichtung mit einer Farbkamera gekoppelt sein, die ein geeignetes Farbpattern aufweist, mit dem schmalbandige Lichtquellen gezielt detektiert werden können.
-
Um der Problematik einer hinreichenden Abtastung bzw. Belichtung von gepulsten schmalbandigen Lichtquellen wie z. B. Wechselverkehrszeichen oder LED-Rücklichtern zu begegnen, kann in einer Weiterführung des hier vorgestellten Ansatzes über ein geeignetes Farbpattern zunächst gemessen werden, ob es sich bei einer Fläche in einem Bild um eine abgebildete schmalbandige Lichtquelle handelt. Für einen betreffenden Bildbereich kann anschließend gezielt z. B. hardwareseitig die Integrationszeit einer die Lichtquelle abbildenden Kamera erhöht werden; oder es können softwareseitig Methoden aktiviert werden, um mögliche Abtastlücken der Lichtquelle zu überbrücken.
-
Vorteilhafterweise kann mit dem hier vorgestellten Konzept mit geringem Rechenaufwand eine gepulste schmalbandige Lichtquelle konstant abgebildet werden, ohne dass dafür eine Mindestsignalgüte der abgebildeten Lichtquelle erforderlich wäre.
-
Ein Verfahren zum Erkennen einer schmalbandigen Lichtquelle unter Verwendung einer optischen Sensoranordnung für eine Fahrzeugkamera, wobei die optische Sensoranordnung eine Mehrzahl von Sensoren aufweist, wobei jeder Sensor zumindest ein erstes für einen ersten Farbwert sensitives Sensorelement und ein zweites für einen zweiten Farbwert sensitives Sensorelement aufweist, weist die folgenden Schritte auf:
Einlesen eines von dem ersten Sensorelement eines der Sensoren bereitgestellten ersten Intensitätswertes und eines von dem zweiten Sensorelement des Sensors bereitgestellten zweiten Intensitätswertes; und
Bestimmen, ob der Sensor eine schmalbandige Lichtquelle erfasst, basierend auf einem Verhältnis zwischen dem ersten Intensitätswert und dem zweiten Intensitätswert, um die schmalbandige Lichtquelle zu erkennen.
-
Das Verfahren kann von einer Vorrichtung eines Fahrzeugs, beispielsweise eines Personen- oder Lastkraftwagens, durchgeführt werden. Die Vorrichtung kann Teil der Fahrzeugkamera sein oder beispielsweise über geeignete Leitungen mit der Fahrzeugkamera gekoppelt sein. Bei der schmalbandigen Lichtquelle kann es sich insbesondere um eine künstliche, z. B. mit LEDs oder Laser betriebene, aktive Lichtquelle handeln. Eine derartige Lichtquelle ist dadurch charakterisiert, dass sie Licht lediglich eines relativ eng begrenzten Wellenlängenbereichs, hier Farbwert genannt, emittiert. Schmalbandige Lichtquellen werden inzwischen häufig im Straßenverkehr eingesetzt, z. B. in Form eines mit LEDs betriebenen Wechselverkehrszeichens oder einer mit LEDs betriebenen Fahrzeugrückleuchte. Insbesondere kann die schmalbandige Lichtquelle im gepulsten Betrieb eingesetzt werden. Die schmalbandige Lichtquelle kann auch eine passive Lichtquelle sein, beispielsweise in Form eines retroreflektiven Elements in der Fahrzeugumgebung. Bei der optischen Sensoranordnung kann es sich um einen Verbund aus Sensoren handeln. Die optische Sensoranordnung kann als eine rechteckige Matrix ausgebildet sein, in der die einzelnen Sensoren zeilenweise aneinandergereiht angeordnet sind. Unter den Sensoren können Bildsensoren verstanden werden. Jeder der Sensoren kann wiederum einen Verbund aus Sensorelementen bilden. Ein derartiger Verbund kann beispielsweise zwei oder vier Sensorelemente umfassen. Ein derartiger den Sensor bildender Verbund kann eine quadratische Grundfläche aufweisen. Bei den Sensorelementen kann es sich um Fotozellen bzw. Fotodioden handeln. Ein Farbwert kann einen vordefinierten Wellenlängenbereich des Farbspektrums beschreiben. Beispielsweise kann der erste Farbwert einen vordefinierten Wellenlängenbereich einer ersten Grundfarbe, z. B. Rot, repräsentieren und der zweite Farbwert einen vordefinierten Wellenlängenbereich einer zweiten Grundfarbe, z. B. Grün, repräsentieren. Mit den Intensitätswerten kann dargestellt werden, wie hoch Anteile eines der Farbwerte in einem von einem Sensorelement eingelesenen Farbsignal sind. Je höher der Anteil eines dezidierten Farbwerts in einem Signal, desto höher der Intensitätswert. Der Intensitätswert kann beispielsweise als elektrische Spannung ausgedrückt werden. Das in dem Schritt des Bestimmens gebildete Verhältnis kann direkt zwischen dem ersten Intensitätswert und dem zweiten Intensitätswert gebildet werden. Dann kann beispielsweise bestimmt werden, dass es sich bei der erfassten Lichtquelle um eine schmalbandige Lichtquelle handelt, wenn das Verhältnis einen vorbestimmten Unterschiedswert zwischen dem ersten Intensitätswert und dem zweiten Intensitätswert erreicht oder überschreitet. Alternativ kann die Verhältnisbildung unter Verwendung eines Schwellwerts durchgeführt werden. Dann kann beispielsweise bestimmt werden, dass es sich bei der erfassten Lichtquelle eine schmalbandige Lichtquelle handelt, wenn z. B. einer der Intensitätswerte den Schwellwert um ein vorbestimmtes Maß überschreitet. Die Schritte des Einlesens und des Bestimmens des Verfahrens können unter Verwendung eines geeigneten Algorithmus ausgeführt werden.
-
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Verlängerns einer Belichtungszeit des Sensors aufweisen. Entsprechend kann eine Belichtungszeit des Sensors verlängert werden, wenn in dem Schritt des Bestimmens bestimmt wird, dass der Sensor eine schmalbandige Lichtquelle erfasst. Die Belichtungszeit kann auch als Integrationszeit bezeichnet werden. So kann auf einfache Weise ein vollständigeres Abbild beispielsweise einer gepulsten schmalbandigen Lichtquelle gewonnen werden.
-
Ferner kann in dem Schritt des Verlängerns eine Belichtungszeit zumindest eines weiteren Sensors in einem vordefinierten Umkreis um den Sensor herum verlängert werden. Beispielsweise kann eine Belichtungszeit weiterer Sensoren, die bis zu einem vorbestimmten Abstand von dem Sensor entfernt sind, verlängert werden. Alternativ kann die Belichtungszeit sämtlicher Sensoren der optischen Sensoranordnung verlängert werden. Gemäß dieser Ausführungsform kann eine schmalbandige Lichtquelle unabhängig von ihrem Größenausmaß sicher erfasst werden.
-
Beispielsweise kann der Schritt des Einlesens zu Beginn einer Erfassung eines Einzelbildes der optischen Sensoranordnung erfolgen und in dem Schritt des Verlängerns die Belichtungszeit der Erfassung des Einzelbildes verlängert werden. Unter der Erfassung eines Einzelbildes kann hier eine Aufnahme eines einzelnen Bildes einer Szene verstanden werden. Eine Videoaufnahme der Szene kann entsprechend durch eine Serie von Einzelbilderfassungen hergestellt werden. Da hier die Umsetzung des vorgestellten Konzepts auf der Hardwareseite erfolgt, braucht kein oder nur ein geringer Zeitverlust in Kauf genommen zu werden.
-
Auch kann der Schritt des Einlesens während einer ersten Erfassung eines Einzelbildes der optischen Sensoranordnung erfolgen und entsprechend in dem Schritt des Verlängerns die Belichtungszeit zumindest einer auf die erste Erfassung eines Einzelbildes folgenden weiteren Erfassung eines Einzelbildes verlängert werden. Diese Ausführungsform der softwareseitigen Umsetzung weist den Vorteil auf, dass sie geräteunabhängig eingesetzt werden.
-
Eine Vorrichtung zum Erkennen einer schmalbandigen Lichtquelle unter Verwendung einer optischen Sensoranordnung für eine Fahrzeugkamera, wobei die optische Sensoranordnung eine Mehrzahl von Sensoren aufweist, wobei jeder Sensor zumindest ein erstes für einen ersten Farbwert sensitives Sensorelement und ein zweites für einen zweiten Farbwert sensitives Sensorelement aufweist, weist die folgenden Merkmale auf:
eine Einleseeinrichtung zum Einlesen eines von dem ersten Sensorelement bereitgestellten ersten Intensitätswertes und eines von dem zweiten Sensorelement bereitgestellten zweiten Intensitätswertes; und
eine Bestimmeinrichtung zum Bestimmen, ob der Sensor eine schmalbandige Lichtquelle erfasst, basierend auf einem Verhältnis zwischen dem ersten Intensitätswert und dem zweiten Intensitätswert, um die schmalbandige Lichtquelle zu erkennen.
-
Die Vorrichtung kann direkt oder indirekt mit der optischen Sensoranordnung gekoppelt und ausgebildet sein, um die Schritte des erfindungsgemäßen Verfahrens in den entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Gemäß einer Ausführungsform der Vorrichtung können das erste Sensorelement und das zweite Sensorelement in einer Ebene benachbart zueinander in dem Sensor angeordnet sein. Somit kann der beschriebene Ansatz bei gängigen Kameramodellen eingesetzt werden.
-
Alternativ können das erste Sensorelement und das zweite Sensorelement in zwei unterschiedlichen Ebenen aufeinandergestapelt in dem Sensor angeordnet sein. Hier wird die unterschiedliche Eindringtiefe lang- und kurzwelligen Lichts ausgenutzt, um die optische Sensoranordnung in einer vorteilhaften geringen Baugröße realisieren zu können.
-
Eine Kameraanordnung für ein Fahrzeug weist die folgende Merkmale auf:
eine optische Sensoranordnung, die eine Mehrzahl von Sensoren aufweist, wobei jeder Sensor zumindest ein erstes für einen ersten Farbwert sensitives Sensorelement und ein zweites für einen zweiten Farbwert sensitives Sensorelement aufweist; und
eine Vorrichtung zum Erkennen einer schmalbandigen Lichtquelle gemäß einer der vorangegangen Ausführungsformen, die mit der optischen Sensoranordnung gekoppelt ist, um die schmalbandige Lichtquelle zu erkennen.
-
Die Kameraanordnung kann eine Fahrzeugkamera bilden oder Teil einer Fahrzeugkamera eines Fahrzeugs sein. Es kann sich bei der Kameraanordnung um eine Videokamera oder einen Teil einer Videokamera handeln. Die Kameraanordnung kann innerhalb einer Fahrgastzelle des Fahrzeugs so angeordnet sein, dass sie Aufnehmen einer Umgebung des Fahrzeugs, insbesondere einer in Fahrtrichtung vor dem Fahrzeug liegenden Umgebung, herstellen kann.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Der beschriebene Ansatz kann mit Verfahren kombiniert werden, die eine gezielte Überbelichtung bzw. eine leichte Variation des Aufnahmezeitpunktes durchführen oder softwareseitig eine Bildregistrierung durchführen, die durch gezieltes Überlappen mehrerer Aufnahmen versucht, eine hinreichend gute Gesamtabbildung zu erzeugen.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 eine Abbildung einer schmalbandigen Lichtquelle in Form eines gepulsten Wechselverkehrszeichens;
-
2 eine Reihe von Einzelbildern einer herkömmlichen Fahrzeugkamera zur Darstellung der schmalbandigen Lichtquelle aus 1;
-
3 ein Bayer-Farbpattern für eine Kamera;
-
4 ein Grundmuster des Bayer-Farbpatterns aus 2;
-
5 eine Darstellung zur Erläuterung unterschiedlicher Signale in den Farbkanälen von RGGB bei Erfassung einer schmalbandigen Lichtquelle im Vergleich mit einer breitbandigen Lichtquelle, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
6 eine Prinzipdarstellung einer Kameraanordnung für ein Fahrzeug, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
7 ein Blockschaltbild einer Vorrichtung zum Erkennen einer schmalbandigen Lichtquelle, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
8 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer schmalbandigen Lichtquelle, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
9 eine Reihe von gemäß dem Verfahren aus 8 erstellten Einzelbildern, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine Abbildung einer schmalbandigen Lichtquelle 100 in Form eines gepulsten Wechselverkehrszeichens bei Tag. Unter der schmalbandigen Lichtquelle 100 ist insbesondere eine künstliche Lichtquelle zu verstehen, die dadurch charakterisiert ist, dass sie Licht eines eng begrenzten Wellenlängenbereichs emittiert, beispielsweise Licht lediglich des roten Spektrums. Die Darstellung in 1 zeigt die schmalbandige Lichtquelle 100 als ein mit LEDs betriebenes Wechselverkehrszeichen. Alternativ kann es sich bei der darzustellenden schmalbandigen Lichtquelle 100 auch um eine mit LEDs betriebene Rückleuchte eines Fahrzeugs oder um ein Laserlicht handeln. Die schmalbandige Lichtquelle 100 kann auch eine passive Lichtquelle sein, beispielsweise in Form eines von einem retroreflektiven Material reflektierten Lichts. Das Abbild des gepulsten Wechselverkehrszeichens in 1 wird mit roten LEDs erzeugt und zeigt eine zulässige Höchstgeschwindigkeit von 80 km/h an.
-
2 zeigt eine Darstellung zur Erläuterung der Problematik in der Abbildung von gepulsten Lichtquellen bei Tag. Gezeigt sind eine Reihe von Einzelbildern einer herkömmlichen Fahrzeugkamera, die die schmalbandige Lichtquelle 100 in Form des gepulsten Wechselverkehrszeichens in der Farbe Rot aus 1 bei Tag darstellen. Gezeigt sind ein erstes Einzelbild 200, ein nach dem ersten Einzelbild 200 erstelltes zweites Einzelbild 202, ein nach dem zweiten Einzelbild 202 erstelltes drittes Einzelbild 204 und ein nach dem dritten Einzelbild 204 erstelltes viertes Einzelbild 206. Unter dem gepulsten Betrieb des Wechselverkehrszeichens 100 ist zu verstehen, dass die die Bedeutung des Verkehrszeichens 100 anzeigenden LEDs abschnittsweise nacheinander, also beispielsweise zeilenweise, ein- und ausgeschaltet werden. Entsprechend zeigt jedes der Einzelbilder 200, 202, 204, 206 jeweils nur den zur Zeit der Aufnahme aktiven Abschnitt des Wechselverkehrszeichens 100. Auf keinem der vier Einzelbilder 200, 202, 204, 206 ist das Wechselverkehrszeichen 100 vollständig abgebildet.
-
3 zeigt ein Bayer-Farbpattern 300 für eine Kamera, beispielsweise eine Fahrzeugkamera. Das Bayer-Farbpattern 300 kann als ein Farbfilter ausgeführt sein, mit dem eine Sensoranordnung der Kamera überlagert werden kann, um ein möglichst farbengetreues Abbild einer von der Kamera aufgenommenen Szene zu erzeugen. Das Bayer-Farbpattern 300 kann in Form eines sich rhythmisch wiederholenden schachbrettartigen Musters aus den Farben Rot, Grün und Blau vorliegen. Bei dem in 3 gezeigten Ausführungsbeispiel setzt sich das Bayer-Farbpattern zu 50 % aus quadratischen grünen Flächen 302 und zu jeweils 25 % aus quadratischen roten Flächen 304 und quadratischen blauen Flächen 306 zusammen.
-
4 zeigt ein Grundmuster 400, aus dessen vielfacher Wiederholung das Bayer-Farbpattern aus 3 gebildet ist. Das Grundmuster 400 setzt sich aus einer ersten quadratischen grünen Fläche 302, einer zweiten quadratischen grünen Fläche 302, einer quadratischen roten Fläche 304 sowie einer quadratischen blauen Fläche 306 zusammen. Die Flächen 302, 304 und 306 sind dabei so neben- bzw. übereinander angeordnet, dass das Grundmuster 400 wiederum ein Quadrat bildet, in dem die beiden grünen Flächen 302 einander diametral gegenüberliegen. Entsprechend der verwendeten Farben wird das Grundmuster 400 auch als RGGB-Pattern bezeichnet. Jede der vier Farbflächen 302, 302, 304, 306 des RGGB-Patterns 400 ist jeweils einem von vier Sensorelementen eines Bildsensors einer Kamera zugeordnet und bestimmt damit eine Farbwertsensitivität des jeweiligen Sensorelements.
-
5 zeigt eine Gegenüberstellung einer Erfassung des LED-Wechselverkehrszeichens 100 aus 1 und eines Halogenrücklichts 500 durch Bildsensoren für eine Kamera, die mit dem in 4 gezeigten RGGB-Pattern 400 arbeiten. Voraussetzung ist hier, dass der optische Pfad der Kamera für sämtliche Farbkanäle die Nyquist-Frequenz einhält.
-
Das Wechselverkehrszeichen 100 ist oben in der Figur gezeigt und stellt eine beispielhafte schmalbandige Lichtquelle dar, die mit roten LEDs betrieben wird. Das Halogenrücklicht 500 ist unten in der Figur gezeigt und stellt eine beispielhafte breitbandige Lichtquelle dar. Das Halogenrücklicht 500 emittiert ebenfalls rotes Licht. Zur besseren Übersichtlichkeit zeigt die Darstellung in 5 lediglich drei RGGB-Patterns 400 einer Vielzahl derselben, die in einer Sensoranordnung zum Erfassen der schmalbandigen Lichtquelle 100 sowie der breitbandigen Lichtquelle 500 eingesetzt werden. Jedes der drei RGGB-Patterns 400 ist beispielhaft jeweils einem Sensor einer Sensoranordnung zum Erfassen der Lichtquellen 100 und 500 zugeordnet. Dabei ist jedes der RGGB-Patterns 400 so ausgelegt, dass sich jeweils ein unendlich feiner Lichtpunkt 502 der Lichtquellen 100 und 500 auf das Muster 400 abbildet.
-
Die beispielhafte rote Rückleuchte 500 auf Halogen-Basis emittiert kein schmalbandiges rotes Licht, sondern enthält auch Anteile im Lichtspektrum von Grün bis Infrarot. Wird für eine vordefinierte Fläche eines Bildes ausschließlich ein reiner Farbwert gemessen, so ist die Wahrscheinlichkeit groß, dass es sich um eine künstliche Lichtquelle mit schmalbandigem Spektrum, also LED, Laser, usw., handelt. Die rote LED-Lichtquelle 100 bildet sich entsprechend bei dem in 3 gezeigten Bayer-Farbpattern ausschließlich auf den Rotpixeln ab, die umliegenden Blau- und Grünpixel bleiben bei der Abbildung dieser Lichtquelle dunkel.
-
Der Abschnitt in der Darstellung in 5 zur Erfassung des LED-Wechselverkehrszeichens 100 zeigt entsprechend, dass aufgrund des Betriebs des Wechselverkehrszeichens 100 mit roten LEDs ausschließlich im Rotkanal des jeweiligen Sensors ein Signal gemessen wird, sich also die rote LED-Lichtquelle 100 für das RGGB-Pattern 400 ausschließlich auf dem Rot-Pixel 304 abbildet. Es erfasst lediglich das der roten Farbfläche 304 des RGGB-Patterns 400 zugeordnete Sensorelement einen Intensitätswert größer Null. Da es sich bei der unten dargestellten roten Rückleuchte auf Halogenbasis 500 um eine breitbandige Lichtquelle handelt, werden hier dagegen auch Grünanteile gemessen. Hier erfassen also auch die den grünen Farbflächen 302 des RGGB-Patterns 400 zugeordneten Sensorelemente einen Intensitätswert größer null.
-
6 zeigt ein Ausführungsbeispiel einer Kameraanordnung 600 für ein Fahrzeug 602. Bei dem Fahrzeug 602 kann es sich um ein Straßenfahrzeug wie einen Personenkraftwagen oder Lastkraftwagen handeln. Bei der Kameraanordnung 600 kann es sich um eine Digitalkamera oder einen Teil einer Digitalkamera handeln, die im Fahrzeug 602 angeordnet und ausgebildet ist, um ein Abbild einer Umgebung des Fahrzeugs 602 zu erstellen. Die Digitalkamera kann beispielsweise als eine Videokamera ausgeführt sein. Die Kameraanordnung 600 umfasst eine optische Sensoranordnung 604 und eine Vorrichtung 606 zum Erkennen der beispielhaften schmalbandigen Lichtquelle 100 aus 1.
-
Unter der optischen Sensoranordnung 604 kann ein elektronischer Bildwandler verstanden werden, der mittels einer Wandlung analoger Bildsignale in digitale Informationen ein als eine Datei hinterlegbares zweidimensionales Abbild der Fahrzeugumgebung herstellen kann. Dazu umfasst die optische Sensoranordnung 604 eine Mehrzahl von Sensoren 610. In der Darstellung der beispielhaften Kameraanordnung 600 in 6 ist aus Gründen der Übersichtlichkeit lediglich einer der Mehrzahl von Sensoren 610, die die Sensoranordnung 604 bilden, gezeigt. Der Sensor 610 ist ein Bildsensor und ausgebildet, um unterschiedliche Farbwerte einfallenden Lichts zu erfassen.
-
Entsprechend wird der Sensor 610 durch einen Verbund aus mehreren Sensorelementen gebildet, von denen jedes für einen bestimmten Farbwert sensitiv ausgelegt ist. Zur Erfassung der unterschiedlichen Farbwerte weist die Sensoranordnung 604 ein Ausführungsbeispiel ein Farbmuster ähnlich des anhand der 3 und 4 erläuterten Bayer-Farbpatterns auf. Bei dem hier gezeigten Ausführungsbeispiel des Sensors 610 ist hier beispielhaft ein erstes Sensorelement 612 für einen Farbwert der Farbe Rot sensitiv und ein zweites Sensorelement 614 für einen Farbwert der Farbe Grün sensitiv. Bei dem Sensorelement 612 und dem Sensorelement 614 kann es sich jeweils um eine Fotozelle oder Fotodiode handeln. Der Sensor 610 ist hier so aufgebaut, dass das erste Sensorelement 612 und das zweite Sensorelement 614 in einer Ebene benachbart zueinander angeordnet sind. Gemäß einem alternativen Ausführungsbeispiel können das erste Sensorelement 612 und das zweite Sensorelement 614 in zwei unterschiedlichen Ebenen aufeinandergestapelt in dem Sensor 610 angeordnet sein.
-
Wie die Darstellung in 6 zeigt, ist jeder Sensor 610 der optischen Sensoranordnung 604 ausgebildet, um ein hier Farbwerte von Rot und Grün repräsentierendes Bildsignal 616 zu erfassen und entsprechende Daten über eine gemeinsame Schnittstelle an die Vorrichtung 606 zum Erkennen der schmalbandigen Lichtquelle 100 zu übermitteln. Basierend auf den übermittelten Daten und unter Verwendung eines geeigneten Algorithmus ist die Vorrichtung 606 ausgebildet, um eine Auswertung vorzunehmen, um die schmalbandige Lichtquelle 100 zu erkennen. Die Auswertung basiert dabei auf dem anhand der 5 erläuterten Prinzip der unterschiedlichen Signalerfassung von schmal- und breitbandigen Lichtquellen.
-
7 zeigt ein Ausführungsbeispiel der Vorrichtung 606 zum Erkennen der beispielhaften schmalbandigen Lichtquelle aus 6. Die Vorrichtung 606 soll hier in ihrer Funktion bezogen auf den anhand der 6 erläuterten Sensor 610 beschrieben werden. Die Vorrichtung 606 umfasst eine Einleseeinrichtung 700 und eine Bestimmeinrichtung 702. Die Einleseeinrichtung 700 ist ausgebildet, um einen ersten Intensitätswert 704 des ersten Sensorelements 612 des Sensors 610 zu empfangen und einen zweiten Intensitätswert 706 des zweiten Sensorelements 614 des Sensors 610 einzulesen. In der Bestimmeinrichtung 702 werden die in die Einleseeinrichtung 700 eingelesenen Daten verwendet, um mittels eines geeigneten Algorithmus ein Verhältnis zwischen dem ersten Intensitätswert 704 und dem zweiten Intensitätswert 706 zu bestimmen. Basierend auf dem Ergebnis der Bestimmung ist die Bestimmeinrichtung 702 ausgebildet, um zu bestimmen, ob es sich bei der von dem Sensor 610 erfassten Lichtquelle um eine schmalbandige Lichtquelle handelt, oder nicht. Bestimmt die Bestimmeinrichtung 702, dass es sich bei der erfassten Lichtquelle um eine schmalbandige Lichtquelle handelt, wird ein geeigneter Befehl 708 an eine Einrichtung 710 zum Verlängern einer Belichtungszeit des Sensors 610 ausgegeben. Die Einrichtung 710 kann ausgebildet sein, um ferner eine Belichtungszeit weiterer Sensoren, die in einem vordefinierten Umkreis um den Sensor herum angeordnet sind, zu verlängern.
-
8 zeigt ein Ablaufdiagramm für ein Ausführungsbeispiel eines Verfahrens 800 zum Erkennen einer schmalbandigen Lichtquelle. Das Verfahren 800 wird von einem Ausführungsbeispiel der anhand der 6 und 7 erläuterten Vorrichtung zum Erkennen einer schmalbandigen Lichtquelle ausgeführt. In einem Schritt 802 werden ein erster Intensitätswert und ein zweiter Intensitätswert eingelesen, die von einem ersten Sensorelement bzw. einem zweiten Sensorelement eines Sensors einer mit der Vorrichtung gekoppelten optischen Sensoranordnung bereitgestellt werden. Unter Verwendung eines geeigneten Algorithmus wird in einem Schritt 804 ein Verhältnis zwischen dem ersten Intensitätswert und dem zweiten Intensitätswert ermittelt, um basierend auf dem Ergebnis der Verhältnisbildung zu bestimmen, ob der Sensor eine schmalbandige Lichtquelle erfasst. Wird in dem Schritt 804 bestimmt, dass der Sensor eine schmalbandige Lichtquelle erfasst, fährt das Verfahren 800 mit einem Schritt 806 fort, in dem eine Belichtungszeit des Sensors und eventuell weiterer Sensoren, die sich in einem vordefinierten Umkreis um den Sensor befinden, verlängert wird.
-
Gemäß eines Ausführungsbeispiels des Verfahrens 800 kann der Schritt des Einlesens 802 zu Beginn einer Erfassung eines Einzelbildes der optischen Sensoranordnung erfolgen und in dem Schritt des Verlängerns 806 die Belichtungszeit der Einzelbilderfassung verlängert werden. Alternativ kann der Schritt des Einlesens 802 zu einem beliebigen Zeitpunkt während einer Erfassung eines ersten Einzelbildes der optischen Sensoranordnung erfolgen und in dem Schritt des Verlängerns 806 die Belichtungszeit zumindest einer auf die erste Erfassung eines Einzelbildes folgenden Erfassung eines weiteren Einzelbildes verlängert werden.
-
Unabhängig vom implementierten Ausführungsbeispiel des Verfahrens 800 kann die Erfassung eines Einzelbildes einer das Verfahren 800 einsetzenden Kameraanordnung angepasst werden, um eine schnelle und sichere Erfassung eines gepulsten Wechselverkehrszeichens zu realisieren, wie es die nachfolgende 9 nochmals verdeutlicht.
-
9 zeigt eine Reihe von zwei Einzelbildern einer Fahrzeugkamera, die das anhand der 8 erläuterte Verfahren der adaptiven Belichtung zur robusten Erkennung von gepulsten, schmalbandigen Lichtquellen einsetzt. Ein erstes Einzelbild links in der Darstellung entspricht dem in 2 gezeigten ersten Einzelbild 200. Im Gegensatz zu der in 2 gezeigten Einzelbildabfolge zeigt hier jedoch ein auf das erste Einzelbild 200 folgendes zweites Einzelbild 900 infolge der verlängerten Integrationszeit für diesen Abschnitt der erfassten Fahrzeugumgebung eine fast vollständige Abbildung des gepulsten Wechselverkehrszeichens 100. Anstelle der fast vollständigen Abbildung kann das zweite Einzelbild 900 auch eine vollständige Abbildung des gepulsten Wechselverkehrszeichens 100 zeigen. Jedoch genügt auch die nicht vollständige Abbildung für eine robuste Identifizierung eines Inhalts des Wechselverkehrszeichens 100 seitens der relevanten Fahrzeugsysteme.
-
Wie anhand der vorangegangen Figuren erläutert, kann eine Kamera unter Verwendung der beispielhaften Kameraanordnung 600, die das Bayer-Farbpattern 300 – oder ein anderes geeignetes Farbmuster – aufweist, eine schmalbandige Lichtquelle eines bestimmten Spektrums wie die Lichtquelle 100 aus 1 erkennen und diese Information nutzen, um lokal adaptiv auf der Hardware-Seite, also über eine direkte Ansteuerung der Kamera, die Integrationszeit bzw. Belichtungszeit zu erhöhen. Voraussetzung ist, dass sich ein unendlich feiner Lichtpunkt 502 einer Punktabbildung auf mindestens das gewählte Farbmuster abbildet, hier auf die vier Pixel 302, 302, 304, 306 des RGGB-Patterns 400. Das Eingangssignal 708 für eine lokale Erhöhung der Integrationszeit kann dabei aus Verhältnissen bzw. Mindestwerten der Signale bzw. Intensitätswerte 704, 706 aus den einzelnen Farbkanälen, hier der Sensorelemente 612, 614 und gegebenenfalls weiterer Sensorelemente eines Sensors, ermittelt werden. Damit kann lokal für Pixelblöcke die Abbildung der gepulsten Lichtquelle 100 verbessert werden.
-
Eine Farbsignal-Analyse kann auch softwareseitig durchgeführt werden. Wird in einem relevanten Bildbereich eine Farbsignal- bzw. Bildsignal-Kombination 616 detektiert, die auf eine gesuchte schmalbandige Lichtquelle 100 hinweist, kann dies mittels Rückkopplung über einen Rückkanal an die Kamera kommuniziert werden, um in den darauffolgenden Bildern den entsprechenden Bereich länger zu belichten. Damit kann lokal für einen definierten Bildbereich die Abbildung der gepulsten Lichtquelle 100 verbessert werden. Andere Objekte in diesem Bereich werden dagegen überbelichtet. Ist keine Rückkopplung zur Kamera gegeben oder gewünscht, kann zumindest eine Bildregistrierung für den detektieren Bereich effizienter angewandt werden.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
