-
Die Erfindung betrifft ein Verfahren zur automatischen Anpassung der Ansteuerung eines insbesondere für Fahrerassistenzsysteme vorgesehenen Imagers an äußere Einflüsse und eine entsprechende Vorrichtung gemäß Anspruch 1 bzw. 12.
-
Auf dem Gebiet der Fahrerassistenzsysteme werden Bildsensoren, die elektromagnetische Strahlung mit räumlicher Auflösung erfassen können, auch als Imager (Bildaufnehmer) bezeichnet. Für die Erfassung von sichtbarem Licht werden beispielsweise CMOS- oder CCD-Imager in Kameras für Fahrerassistenzsysteme eingesetzt. Zum Erfassen von Bildern werden die Imager von einer Elektronik angesteuert, mit der Parameter wie die Integrationsdauer, Zykluszeit, o.ä. eingestellt werden können.
-
An die im Automobilbereich eingesetzten Imager werden insbesondere hinsichtlich ihres Dynamikbereichs hohe Anforderungen gestellt, da beispielsweise gleichzeitig die Scheinwerfer entgegenkommender Fahrzeuge und dunklere Hindernisse wie beispielsweise parkende Fahrzeuge in einem Bild erfasst werden sollen. Bei solch hohen Kontrastunterschieden kann es zu unerwünschten Sättigungseffekten in den erfassten Bildern kommen. Um diesen Anforderungen zu genügen, sind Imager in der Regel mit einer Ansteuerung ausgestattet, dies es ermöglicht, eine optimierte Dynamik in erfassten Bildern einzustellen, ohne dass es zu Sättigungseffekten kommt.
-
Aus der
DE 10 2005 033 863 A1 ist ein Bildaufnahmesystem mit einer Kamera mit einem CMOS- oder CCD-Imager für die Erfassung eines Fahrzeugumfelds bekannt. Das System umfasst zusätzlich einen gesonderten Strahlungssensor, vorzugsweise eine Photodiode oder einen Phototransistor, für die Erfassung einer gepulsten Lichtquelle sowie eine von dem Strahlungssensor steuerbare Steuereinrichtung umfasst, die die Diskrepanz zwischen der Belichtungsphase der Kamera und der Einschaltphase der gepulsten Lichtquelle zu erfassen. Insbesondere kann bei Auftreten einer Diskrepanz die Belichtungsphase der Kamera mit der Einschaltphase der Lichtquelle synchronisiert werden. Dadurch sollen insbesondere gepulste Lichtquellen wie Brems- oder Heckleuchten in LED-Technologie erfasst werden.
-
Aufgabe der vorliegenden Erfindung ist es nun, die Ansteuerung eines insbesondere für Fahrerassistenzsysteme vorgesehenen Imagers weiter zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren zur automatischen Anpassung der Ansteuerung eines insbesondere für Fahrerassistenzsysteme vorgesehenen Imagers mit den Merkmalen nach Anspruch 1 und eine entsprechende Vorrichtung mit den Merkmalen nach Anspruch 12 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Von den Erfindern wurde erkannt, dass bestimmte Lichteffekte in erfassten Bildern von den herkömmlichen Imager-Ansteuerungen weder erfasst noch kompensiert werden können. Bei den Lichteffekten handelt es sich insbesondere um solche Effekte, die einen unerwünschten Einfluss auf die vom Imager erzeugten analogen Bildsignale haben, vor allem Schwebungen oder Verletzungen des Nyquist-Shannon-Abtasttheorems beispielsweise für eine vorgegebene Abtastrate einer Analog/Digital-Umwandlung analoger Bildsignale eines Imagers oder die Erfassung von wechselnden Lichteffekten bewirken. Eine Ursache für diese Lichteffekte sind beispielsweise gepulste Lichter, die durch LED(Light Emitting Diode)-Scheinwerfer entgegenkommender Fahrzeuge erzeugt werden, oder hintereinander in die Fahrbahn integrierte Reflektoren (Fahrbahn-Reflektoren) wie in Baustellenbereichen und auf US-amerikanischen Straßen, die in den von einem Imager erfassten Bildersequenzen Lichteffekte mit bestimmten Frequenzen bewirken. Beispielsweise kann es bei solchen periodischen Lichteffekten vorkommen, dass einzelne vom Imager erfasste Bilder keine Lichter (Lichtpunkte) enthalten, wenn diese Bilder in Dunkelphasen erfasst wurden (Unterabtastung der periodischen Lichteffekte), und dass daher beim Vorbeifahren an einer dichten Reihe von hintereinander angeordneten Reflektoren die Bewegung der einzelnen, von den Reflektoren in den vom Imager erfassten Bildern erzeugten Lichter (Lichtpunkte) aufgrund der Unterabtastung nicht mehr (korrekt) erfasst werden kann. In einer digitalen Bildverarbeitung der vom Imager erfassten Bildersequenzen können derartige Effekte erhebliche Probleme bei der Erkennung von für Fahrerassistenzsystem relevanten Objekten führen. Ein wesentlicher Gedanke der Erfindung besteht nun darin, die Ansteuerung eines Imagers dadurch zu verbessern, dass sie so an äußere Einflüsse angepasst wird, dass die durch die äußeren Einflüsse erzeugten und insbesondere vorstehend erläuterten Effekte auf die von einem Imager erfassten Bilder verringert werden können. Insbesondere soll die Ansteuerung dadurch verbessert werden, dass dichte periodische Strukturen von Lichtern, wie sie von hintereinander in Reihe angeordneten Fahrbahn-Reflektoren erzeugt werden können, erkannt werden und entsprechend die Bildfrequenz des Imagers erhöht wird, um eine Unterabtastung zu vermeiden und die Bewegung einzelner Lichter dieser dichten periodischen Strukturen korrekt erfassen zu können.
-
Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur automatischen Anpassung der Ansteuerung eines insbesondere für Fahrerassistenzsysteme vorgesehenen Imagers an äußere Einflüsse mit den folgenden Schritten:
- – Erfassen eines Bildes mit dem Imager;
- – Erkennen und Tracking mindestens eines Lichts bzw. Lichtpunkts im erfassten Bild;
- – Analysieren des mindestens einen Lichts während einer vorgegebenen Zeitspanne; und
- – Anpassen von Parametern der Ansteuerung des Imagers abhängig von der Analyse, um den Einfluss von analysierten Effekten des mindestens einen Lichts auf die mit dem Imager erfassten Bilder zu verringern, wobei der Schritt des Analysierens des mindestens einen Lichts während einer vorgegebenen Zeitspanne das Erkennen von dichten periodischen Strukturen von Lichtern aufweist und der Schritt des Anpassens von Parametern der Ansteuerung das Erhöhen der Bildfrequenz des Imagers bei einer erkannten dichten periodischen Struktur von Lichtern aufweist.
-
Damit können Effekte des mindestens einen Lichts kompensiert werden, die einen unerwünschten Einfluss auf die mit dem Imager erfassten Bilder haben, wie beispielsweise Lichteffekte, die Schwebungseffekte bewirken und eine anschließende Bildanalyse beeinträchtigen können. Insbesondere können dadurch dichte periodische Strukturen von Lichtern korrekt erfasst werden, wie sie von Fahrbahn-Reflektoren erzeugt werden können. Korrekt Erfassen bedeutet hierin, dass die Bildfrequenz des Imagers derart erhöht wird, dass die Bewegungen einzelner Lichter derartiger Strukturen von Lichtern in einer Sequenz von Bildern erfasst und nachvollzogen werden können, was bei einer zu geringen Bildfrequenz, die zu einer Unterabtastung der Bildersequenz führen kann, unter Umständen nicht mehr gewährleistet ist. Typischerweise sollte die Bildfrequenz mindestens dass Doppelte der Periodizität einer dichten periodischen Struktur von Lichtern aufweisen, um eine Unterabtastung zu vermeiden. Wenn beispielsweise ein Fahrzeug an einer dichten periodischen Struktur von Lichtern am Fahrbahnrand mit einer bestimmten Geschwindigkeit vorbeifährt, so dass etwa 5 Lichter pro Sekunde erscheinen, sollte die Bildfrequenz des Imagers wenigstens 10 Bilder pro Sekunde betragen, um die periodische Struktur der Lichter korrekt erfassen zu können.
-
Insbesondere kann das Erkennen von dichten periodischen Strukturen von Lichtern das Erkennen von mehreren in dichter Reihenfolge hintereinander angeordneter Lichter aufweisen. Beispielsweise kann durch algorithmische Analyse eines erfassten Bildes eine dichte Häufung von Lichtern nahezu auf einer Linie im Bild als eine dichte periodische Struktur identifiziert werden. Es können auch mehrere aufeinanderfolgend erfasste Bild ausgewertet werden, um zu ermitteln, ob eine dichte Häufung von Lichtern auftritt.
-
Das Erkennen von mehreren in dichter Reihenfolge hintereinander angeordneten Lichtern kann folgende Schritte aufweisen: Überprüfen, ob sich innerhalb eines bestimmten Radius um ein erstes Licht ein zweites Licht befindet, und falls ja Klassifizieren des ersten und des zweiten Lichts als dichte periodische Struktur. Dies ermöglicht eine algorithmische Erkennung dichter periodischer Strukturen von Lichtern durch eine algorithmische Bildanalyse, die beispielsweise von einem Prozessor, insbesondere einem speziellen Bildanalyseprozessor ausgeführt werden.
-
In einer Weiterbildung kann die Bildfrequenz des Imagers bei einer erkannten dichten periodischen Struktur von Lichtern soweit erhöht werden, bis der Abstand zwischen dem ersten und dem zweiten Licht größer als etwa das Doppelte der Länge des Verschiebungsvektors des ersten Lichts ist. Dadurch kann eine relativ genaue und zuverlässige Erkennung von dichten periodischen Strukturen mit einem Imager erhalten werden.
-
Das Erkennen und Tracking mindestens eines Lichts im erfassten Bild kann das Identifizieren von Bildpunkten des Imagers aufweisen, die einen im Vergleich zu den von anderen Bildpunkten des Imagers detektierten Helligkeitswerten hohen Helligkeitswert detektieren. Insbesondere kann das Erkennen und Tracking von einer digitalen Bildverarbeitung der vom Imager erfassten und digitalisierten Bilder algorithmisch durchgeführt werden. Es ist aber auch möglich, das Erkennen und Tracking im analogen Bereich durchzuführen, indem die analogen Bildsignale des Imagers entsprechend verarbeitet werden, beispielsweise durch Erkennen der analogen Bildsignale mit den höchsten Werten als von Lichter erfassenden Bildpunkten des Imagers stammende Signale.
-
Das Analysieren des mindestens einen Lichts während einer vorgegebenen Zeitspanne kann insbesondere das Erkennen von Schwebungen und/oder Verletzungen des Nyquist-Shannon-Abtasttheorems aufweisen.
-
Beispielsweise kann während eines bestimmten Zeitraums der von einigen Pixeln des Imagers gelieferte elektrische Signale auf periodische Veränderungen analysiert werden, wie sie vor allem von gepulsten LED-Scheinwerfern entgegenkommender Fahrzeuge erzeugt werden können. Das Analysieren kann analog oder digital durchgeführt werden, wobei eine digitale Analyse beispielsweise mit einer digitalen Bildverarbeitung der vom Imager erfassten und digitalisierten Bilder durchgeführt werden kann.
-
Insbesondere können Parameter der Ansteuerung des Imagers abhängig von analysierten Schwebungen und/oder Verletzungen des Nyquist-Shannon-Abtasttheorems derart angepasst werden, dass das mindestens eine Licht einen möglichst konstanten Helligkeitswert aufweist. Damit kann vermieden werden, dass bei einer Analog-Digital-Umwandlung der analogen Bildsignale des Imagers das Nyquist-Shannon-Abtasttheorem vor allem durch hochfrequente Lichteffekte verletzt wird, die ohne Anpassung der Imager-Ansteuerung zu Artefakten wie Geisterstrukturen aufgrund von Alias-Effekten in den digitalisierten Bildsignalen führen könnten.
-
Das Analysieren des mindestens einen erkannten Lichts kann eine Frequenzanalyse und das Ermitteln einer vorherrschenden Frequenzkomponente unter den analysierten Frequenzen aufweisen. Beispielsweise können die elektrischen Signale von besonders „hellen“ Pixeln auf dominierende Schwingungen bzw. Schwebungen untersucht werden, insbesondere durch eine digitale Bildverarbeitung der vom Imager erfassten und digitalisierten Bilder.
-
Das Anpassen von Parametern der Ansteuerung des Imagers kann vor allem das Einstellen der Integrationsdauer von analogen Bildsignalen des Imagers und/oder der Zykluszeit des Imagers aufweisen. Insbesondere können die Integrationsdauer und/oder Zykluszeit derart eingestellt werden, dass das mindestens eine Licht einen möglichst konstanten Helligkeitswert aufweist.
-
Bei einer erkannten dichten periodischen Struktur von Lichtern kann die Bildfrequenz des Imagers soweit erhöht werden, dass eine Bewegung von einzelnen Lichtern der erkannten dichten periodischen Struktur von Lichtern in einer Sequenz von durch den Imager erfassten Bildern erkannt werden kann. Beispielsweise kann die Bildfrequenz auf einen Maximalwert, welchen die Steuerelektronik des Imagers ermöglicht, erhöht werden, so dass mit hoher Wahrscheinlichkeit die durch dichte periodische Strukturen bei einer zu niedrigen Bildfrequenz auftretenden unerwünschten Lichteffekte aufgrund einer Unterabtastung vermieden werden. Die Erhöhung der Bildfrequenz kann auch Geschwindigkeitsabhängig erfolgen. Beispielsweise kann die Bildfrequenz automatisch mit der Fahrzeuggeschwindigkeit erhöht werden, um das korrekte Erkennen dichter periodische Strukturen bei nahezu jeder Fahrzeuggeschwindigkeit gewährleisten zu können.
-
Insbesondere kann die Bildfrequenz des Imagers bei einer erkannten dichten periodischen Struktur von Lichtern soweit erhöht werden, dass die zweifache Länge des Verschiebungsvektors eines ersten Lichts gerade kleiner als der Abstand zwischen dem ersten Licht und einem zweiten benachbarten Licht ist.
-
Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zur automatischen Anpassung der Ansteuerung eines insbesondere für Fahrerassistenzsysteme vorgesehenen Imagers an äußere Einflüsse mit
- – ersten Mitteln zum Erkennen und Tracking mindestens eines Lichts in einem mit dem Imager erfassten Bild und zum Analysieren des mindestens einen Lichts während einer vorgegebenen Zeitspanne; und
- – zweiten Mitteln zum Anpassen von Parametern der Ansteuerung des Imagers abhängig von abhängig von der Analyse, um den Einfluss der analysierten Effekte des mindestens einen Lichts auf die mit dem Imager erfassten Bilder zu verringern, wobei die ersten Mittel ferner ausgebildet sind, durch Analysieren des mindestens einen Lichts während einer vorgegebenen Zeitspanne dichte periodische Strukturen von Lichtern zu erkennen, und die zweiten Mittel ferner ausgebildet sind, als Parameter der Ansteuerung die Bildfrequenz des Imagers bei einer erkannten dichten periodischen Struktur von Lichtern zu erhöhen.
-
Die Vorrichtung ist insbesondere zum Ausführen eines Verfahrens nach einem der Erfindung und wie hierin beschrieben ausgebildet.
-
Weiterhin betrifft eine Ausführungsform der Erfindung die Verwendung einer Vorrichtung nach der Erfindung und wie hierin beschrieben in einem Kameramodul für ein Fahrerassistenzsystem.
-
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
-
Die Zeichnung(en) zeigt/zeigen in
-
1 ein Blockschaltbild eines Ausführungsbeispiels bildbasierten Fahrerassistenzsystems mit einer Vorrichtung zur automatischen Anpassung der Ansteuerung eines zum Einsatz in einem Fahrerassistenzsystem vorgesehenen Imagers an äußere Einflüsse gemäß der Erfindung;
-
2 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur automatischen Anpassung der Ansteuerung eines zum Einsatz in einem Fahrerassistenzsystem vorgesehenen Imagers an äußere Einflüsse gemäß der Erfindung; und
-
3 zwei Szenerien von Lichtern in erfassten Bildern zum Erläutern des Erkennens dichter periodischer Strukturen gemäß der Erfindung.
-
Im Folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung für den Einsatz in einem Fahrerassistenzsystem unter Bezugnahme auf 1 und 2 erläutert. Die Schritte des in 2 gezeigten Flussdiagramms können von verschiedenen Komponenten der in 1 gezeigten Vorrichtung ausgeführt werden. Daher sind bei der nachfolgenden Beschreibung der einzelnen Komponenten der Vorrichtung in Klammern der oder die durch die jeweilige Komponente ausgeführte(n) Schritt(e) angegeben. Die angegebenen Schritte verdeutlichen demnach die durch eine Komponente ausgeführten Funktionen. Die Komponenten der Vorrichtung können in Hard- oder Software implementiert sein. Eine gemischte Implementierung mit einigen Hardware- und einigen Software-Komponenten ist ebenfalls denkbar, wobei beispielsweise rechenintensive Schritte in spezieller Hardware und weniger rechenintensive Schritte in Software implementiert sein können, die durch von einem Prozessor ausgeführt wird.
-
1 zeigt ein Blockschaltbild eines bildbasierten Fahrerassistenzsystems, von dem mehrere Komponenten in einer Kamera des Fahrerassistenzsystems angeordnet sein können, die beispielsweise in einem Fahrzeug an der Windschutzscheibe im Bereich des Rückspiegels montiert sein kann, um einen Bereich vor dem Fahrzeug zu erfassen. Das in 1 schematisch gezeigte System weist einen CMOS-Imager 10 als Bildsensor der Kamera, eine Ansteuerungs- und -Signalverarbeitungsschaltung 12, eine Ansteueranpassungsschaltung 14, einen Analog-Digital-Wandler 16 und eine digitale Bildverarbeitungseinheit 22 auf. Die Komponenten 10, 12, 14 und 16 können beispielsweise auf einer gemeinsamen Platine der Kamera angeordnet sein. Die Komponente 22 kann ebenfalls auf der Platine oder in einer zentralen ECU (Electronic Control Unit) des Fahrerassistenzsystems angeordnet sein. Selbstverständlich sind auch andere Anordnungen möglich, beispielsweise die Anordnung aller Komponenten außer dem CMOS-Imager 10 in einer ECU.
-
Über eine (nicht gezeigte) Optik werden auf den CMOS-Imager 10 projizierte Bilder in analoge elektrische Bildsignale, welche die Helligkeit der von den einzelnen Pixeln (Bildpunkten) des CMOS-Imagers 10 erfassten Lichtstrahlen repräsentieren, in an sich bekannter Weise umgewandelt und über elektrische Leitungen ausgegeben (Schritt S10 in 2). Die analogen elektrischen Bildsignale werden der Ansteuerungs- und -Signalverarbeitungsschaltung 12 zugeführt. In der Ansteuerungs- und -Signalverarbeitungsschaltung 12 werden die analogen Bildsignale in bekannter Weise für eine nachfolgende Analog-Digital-Wandlung aufbereitet, insbesondere verstärkt, gefiltert und integriert.
-
Die aufbereiteten analogen Bildsignale werden dann dem Analog-Digital-Wandler 16 zugeführt, der sie mit einer vorgegeben Abtastrate abtastet und die abgetasteten Signale in digitale Bildsignale (digitale Werte) umwandelt und als digitalisierte Imager-Bildsignale zur weiteren Verarbeitung an die digitale Bildverarbeitungseinheit 22 ausgibt.
-
Die digitale Bildverarbeitungseinheit 22 führt Bildverarbeitungsalgorithmen des Fahrerassistenzsystems insbesondere zu Objekterkennung wie der Hinderniserkennung aus. Die Erkennungsergebnisse gibt die Einheit 22 beispielsweise in Form von Objektlisten aus, so dass sie von beispielsweise einer (nicht dargestellten) Sicherheitseinrichtung verarbeitet werden können, die über einen (teil-)autonomen Eingriff in das Bremssystem, den Antriebsstrang und/oder die Lenkung eines Fahrzeugs entscheidet.
-
Die Ansteuerungs- und -Signalverarbeitungsschaltung 12 ist nicht nur zur Aufbereitung der analogen Bildsignale des CMOS-Imagers 10, sondern auch zur Ansteuerung des CMOS-Imagers 10 ausgebildet, insbesondere zur Einstellung von Parametern zur Bilderfassung durch den Imager, wie der Einstellung der Zykluszeit des Imagers, der Bild(erfassungs)frequenz oder der Integrationsdauer der vom CMOS-Imager 10 erzeugten analogen Bildsignale. Diese Parameter haben einen wesentlichen Einfluss auf die Bildqualität und den Dynamikbereich, der mit dem Imager erfasst werden kann. Insbesondere steuert die Ansteuerungs- und -Signalverarbeitungsschaltung 12 als für die vorliegende Erfindung wesentlichen Parameter die Bildfrequenz des Imagers 10, d.h. mit welcher Frequenz Bilder vom Imager erfasst werden (Anzahl der erfassten Bilder pro Sekunde). Hierbei betreibt die Ansteuerungs- und -Signalverarbeitungsschaltung 12 den Imager 19 mit einer vorgegebenen Bildfrequenz, die bei Bedarf und vor allem bei einem Erkennen einer dichten periodischen Struktur von Lichtern in einem oder mehreren erfassten Bildern erhöht werden kann, wie nachfolgend noch im Detail beschrieben wird. Die Einstellung der Parameter erfolgt hierbei abhängig von Steuersignalen der Ansteueranpassungsschaltung 14 (Schritt S16 in 2).
-
Die Ansteueranpassungsschaltung 14 ist ausgebildet, um Steuersignale zur Anpassung der Bilderfassung durch den CMOS-Imager 10 erzeugen. Diese Steuersignale werden von der Ansteuerungs- und -Signalverarbeitungsschaltung 12 empfangen, die entsprechend den CMOS-Imager 10 ansteuert.
-
Im Folgenden werden verschiedene Ausführungsformen der Ansteueranpassungsschaltung 14 erläutert.
-
In einer ersten Ausführungsform kann die Ansteueranpassungsschaltung 14 so ausgebildet sein, dass sie die analogen Bildsignale des CMOS-Imagers direkt verarbeiten kann, wie durch die gestrichelte Linie von den analogen Ausgangs-Bildsignalen des CMOS-Imagers 10 zur Schaltung 14 angedeutet ist. Die Schaltung 14 ist hierzu ausgebildet, in den analogen Bildsignalen des CMOS-Imagers 10 Lichter 20 zu erkennen, beispielsweise die von den LED-Scheinwerfern entgegenkommender Fahrzeuge erzeugten Lichter, und erkannte Lichter 20 für einen bestimmten Zeitraum zu verfolgen (Tracking) (Schritt S12 in 2). Zum Erkennen von Lichtern 20 kann die Ansteueranpassungsschaltung 14 die von den Pixeln des CMOS-Imagers 10 zugeführten analogen Bildsignale mit einem oder mehreren Schwellwerten vergleichen und die Bildsignale von Pixeln, welche einen oder mehrere Schwellwerte überschreiten, Lichtern 20 zuordnen, da die Helligkeitswerte dieser Pixel höher als die Helligkeitswerte der Pixel sind, deren analoge Bildsignale keine Schwellwerte überschreiten. Zum Tracking von erkannten Lichtern kann die Ansteueranpassungsschaltung 14 die analogen Bildsignale der Pixel, die als Lichter 20 klassifiziert wurden, abtasten und die Abtastwerte zwischenspeichern. Weiterhin ist die Ansteueranpassungsschaltung 14 zur Analyse erkannter und verfolgter Lichter 20 ausgebildet (Schritt S14 in 2). Hierzu analysiert sie die Abtastwerte der analogen Bildsignale während einer vorgegebenen Zeitspanne, die beispielsweise wenige Millisekunden bis einige Sekunden oder länger umfassen kann. Die Analyse umfasst hierbei das Erkennen von Schwebungen und/oder Verletzungen des Nyquist-Shannon-Abtasttheorems für die vorgegebene Abtastrate des Analog-Digital-Wandlers 16 und/oder das Erkennen von dichten periodischen Strukturen von Lichtern. Hierzu kann eine Frequenzanalyse der für die vorgegebene Zeitspanne gespeicherten Abtastwerte durchgeführt werden. Die analysierten Frequenzen können zum Feststellen einer möglichen Verletzung des Nyquist-Shannon-Abtasttheorems verwendet werden, wenn höhere Frequenzen, als nach dem Nyquist-Shannon-Abtasttheorem erlaubt sind, enthalten sind. Es kann auch ermittelt werden, ob vorherrschende Frequenzkomponenten unter den analysierten Frequenzen auftreten, die auf Schwebungen der Lichter 20 schließen lassen, beispielsweise aufgrund gepulst betriebener LED-Scheinwerfer entgegenkommender Fahrzeuge. Abhängig von der Analyse erzeugt die Ansteueranpassungsschaltung 14 entsprechende Steuersignale für die Ansteuerungs- und -Signalverarbeitungsschaltung 12, die bewirken, dass die Integrationsdauer der analogen Bildsignale und/oder die Zykluszeit, welche die Aufnahmedauer von Bildern durch den CMOS-Imager 10 bestimmt, verändert werden, insbesondere eingestellt werden, um die Einflüsse durch die analysierten Lichter 20 zu verringern (Schritt S16 in 2). Beispielsweise können die Steuersignale bewirken, dass die Integrationsdauer und/oder Zykluszeit derart eingestellt werden, dass die Lichter 20 einen möglichst konstant Helligkeitswert aufweisen, oder dass die Bildfrequenz bei einer erkannten dichten periodischen Struktur von Lichtern in einem oder mehreren aufeinanderfolgenden erfassten Bildern erhöht wird, insbesondere soweit, dass die dichte periodische Struktur korrekt erfasst werden kann. Die Steuersignale können direkt oder indirekt die Zykluszeit und/oder Integrationszeit und/oder Bildfrequenz in der Ansteuerungs- und -Signalverarbeitungsschaltung 12 einstellen.
-
In einer zweiten und dritten Ausführungsform kann die Ansteueranpassungsschaltung 14 ausgebildet sein, digitale Signale (digitale Werte) zu verarbeiten, um die Steuersignale für die Schaltung 12 zu erzeugen.
-
Hierzu kann in einer zweiten Ausführungsform die Schaltung 14 die digitalisierten Bildsignale des CMOS-Imagers 10 verarbeiten, die vom Analog-Digital-Wandler 16 ausgegeben werden. In dieser Ausführungsform ist die Ansteueranpassungsschaltung 14 ausgebildet, anhand der empfangen digitalisierten Bildsignale Lichter zu erkennen und zu verfolgen und erkannte Lichter während eines bestimmten Zeitraums auf besondere Effekte, die von äußeren Einflüssen herrühren, zu analysieren, insbesondere hinsichtlich Schwebungen und/oder Verletzungen des Nyquist-Shannon-Abtasttheorems beispielsweise durch gepulste Lichtsignale und/oder dichten periodischen Strukturen von Lichtern. Abhängig von der Analyse kann die Ansteueranpassungsschaltung 14 dann Steuersignale zum Anpassen von Parametern der Ansteuerung des CMOS-Imagers 10 über die Ansteuerungs- und -Signalverarbeitungsschaltung 12 erzeugen. Die Verfahrensschritte S12, S14 und S16 werden bei dieser Ausführungsform der Ansteueranpassungsschaltung 14 digital durchgeführt, beispielsweise von einem Prozessor, der durch ein Programm zum Durchführen der Schritte S12, S14, S16 konfiguriert wird. Alternativ kann auch eine Implementierung durch einen oder mehrere ASICs (Application Specific Integrated Circuits) oder PGAs (Programmable Gate Arrays) erfolgen, die zum Durchführen der Schritte S12, S14, S16 ausgebildet sein.
-
In einer dritten Ausführungsform kann schließlich die Ansteueranpassungsschaltung 14 als eine Art Umsetzschaltung ausgebildet sein, die digitale Steuersignale von der Bildverarbeitungseinheit 22 erhält, welche algorithmisch die Schritte S12, S14, S16 durchführt. Bei dieser Ausführungsform ist der Implementierungsaufwand der Ansteueranpassungsschaltung 14 im Vergleich zu den beiden anderen Ausführungsformen relativ gering, da die Ansteueranpassungsschaltung 14 keine eigenständige Verarbeitung von Signalen zum Durchführen eines oder mehrerer der Schritte S12, S14, S16 durchführen muss. Diese Ausführungsform kann insbesondere in Hardware implementiert werden, die dazu ausgebildet ist, aus den digitalen Steuersignalen von der Bildverarbeitungseinheit 22 entsprechende Steuersignale für die Schaltung 12 zu erzeugen. Die Bildverarbeitungseinheit 22 führt bei dieser Ausführungsform im digitalen Bereich durch einen entsprechenden Algorithmus das Erkennen und Tracking von Lichtern 20 in den vom CMOS-Imager 10 erfassten Bildern und die Analyse der erkannten Lichter 20 durch. Beispielsweise können hierzu spezielle Frequenzanalysealgorithmen verwenden werden, Schwebungen und/oder Verletzungen des Nyquist-Shannon-Abtasttheorems für die vorgegebene Abtastrate des Analog-Digital-Wandlers 16 zu erkennen. Ferner können spezielle Bildanalysealgorithmen eingesetzt werden, um dichter periodische Strukturen von Lichtern in erfassten Bildern, insbesondere Bildsequenzen, zu erkennen. Die Bildanalysealgorithmen können hierbei derart ausgebildet sein, als dichte periodische Strukturen von Lichtern vor allem mehrere in dichter Reihenfolge hintereinander angeordnete Lichter, wie sie durch die eingangs erwähnten Fahrbahnreflektoren erzeugt werden können, zu erkennen. Zum Erkennen können eines oder mehrere Bilder einer Bildsequenz analysiert werden. Wird nach der Analyse eines einzelnen Bildes bereits eine dichte periodische Struktur von Lichtern, die auf Fahrbahnreflektoren hindeutet, erkannt, kann die Bildverarbeitungseinheit 22 ein Signal zum Erhöhen der Bildfrequenz an die Ansteueranpassungsschaltung 14 ausgeben. welche die Bildfrequenz entsprechend dem Signal oder auf einen vorgegebenen Wert, beispielsweise einen Maximalwert, erhöht. Ein detaillierte Beschreibung eines Algorithmus zur Erkennung dichter periodischer Strukturen wird noch unter Bezugnahme auf 3 erläutert.
-
Schließlich ist es auch möglich, die Ansteuersignale für die Ansteuerungs- und -Signalverarbeitungsschaltung 12 auch direkt von der digitalen Bildverarbeitungseinheit 22 zu erzeugen (siehe die gestrichelte Linie von Block 22 zurück zu Block 12), wodurch die Ansteueranpassungsschaltung 14 eingespart werden kann. Diese Lösung bietet sich vor allem dann an, wenn die Ansteuerungs- und -Signalverarbeitungsschaltung 12 direkt digitale Eingangssignale zum Einstellen der Ansteuerung des CMOS-Imagers 10 verarbeiten kann, beispielsweise entsprechende spezielle digitale Steuereingänge für diese Zwecke besitzt, die von herkömmlichen digitalen Schaltungen angesteuert werden können, wie beispielsweise von Mikrocontrollern oder Mikroprozessoren.
-
Anhand von zwei in 3 gezeigten Szenerien mit Lichtern in erfassten Bildern wird nun ein Ausführungsbeispiel eines Algorithmus zur Erkennung dichter periodischer Strukturen erläutert. Für die Lösung dieses Erkennungsproblems stellt sich die Frage, ob es in aufeinanderfolgend erfassten Bildern Objekte (in vorliegenden Fall Lichter) gibt, die so dicht nebeneinander liegen, und sich gleichzeitig so schnell bewegen, dass die Möglichkeit einer falschen Bild-zu-Bild Zuordnung besteht. Dies ist auch bekannt als Assoziations-Problem beim Tracking. Die Lösung besteht nun darin, zu überprüfen, ob sich innerhalb eines bestimmten Radius r um ein gegebenes Objekt A mindestens ein weiteres hinreichend ähnliches Objekt B befindet. Der Radius r ergibt sich hier aus der zweifachen Länge des Verschiebungsvektors a von Objekt A, der durch Analyse von aufeinanderfolgend erfassten Bildern ermittelt werden kann. Ist das der Fall, ist also die Bedingung (2·a) >= (Abstand A-B) erfüllt, handelt es sich bei dieser Anordnung von Objekt A und B um eine solche "dichte periodische Struktur" (siehe auch den unten in 3 gezeigten Fall 2), und die Objekte A und B werden entsprechend als dichte periodische Struktur klassifiziert. Eine mögliche Erweiterung dieser Methode besteht darin, dass man aus dem Abstand zwischen Objekt A und B und der Länge ihrer Verschiebungsvektoren ableitet, um wieviel man die Bildabtastfrequenz erhöhen muss, damit die oben genannte Bedingung nicht mehr erfüllt ist, d.h. sobald (2·a) < (Abstand A-B) gilt. In dem in 3 oben gezeigten Fall 1 besteht keine Gefahr einer falschen Zuordnung, während im unten in 3 gezeigten Fall 2 die oben genannte Bedingung erfüllt wird.
-
Die vorliegende Erfindung ermöglicht es, die Ansteuerung eines insbesondere zum Einsatz in Fahrerassistenzsystemen vorgesehenen Imagers an äußere Einflüsse wie beispielsweise schwankende oder pulsierende Lichter von gepulsten LED-Scheinwerfern entgegenkommender Fahrzeuge anzupassen, so dass derartige Effekte vermieden werden können oder nicht so stark in Erscheinung treten, und an insbesondere von Fahrbahnreflektoren erzeugte dichte periodische Strukturen von Lichtern anzupassen, so dass die durch diese Strukturen erzeugten Lichteffekte korrekt vom Imager erfasst werden können.
-
Bezugszeichenliste
-
- 10
- CMOS-Imager
- 12
- Ansteuerungs- und -Signalverarbeitungsschaltung
- 14
- Ansteueranpassungsschaltung
- 16
- Analog-Digital-Wandler
- 18
- digitalisierte Imager-Bildsignale
- 20
- Lichter
- 22
- digitale Bildverarbeitungseinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102005033863 A1 [0004]
