DE10300612A1

DE10300612A1 - Nachtsichtsystem für Kraftfahrzeuge

Info

Publication number: DE10300612A1
Application number: DE10300612A
Authority: DE
Inventors: Gerhard Bierleutgeb
Original assignee: Hella KGaA Huek and Co
Current assignee: Hella GmbH and Co KGaA
Priority date: 2003-01-10
Filing date: 2003-01-10
Publication date: 2004-07-22
Also published as: DE50306456D1; EP1437615A1; EP1437615B1

Abstract

Die Erfindung bezieht sich auf ein Infrarot-Nachtsichtsystem für Kraftfahrzeuge, bei dem mindestens zwei Bilder durch Belichtung mit unterschiedlichen Wellenlängenbereichen aufgenommen werden, wobei durch die Verknüpfung dieser beiden Bilder in verbesserter Weise auf wichtige Objekte im Infrarot-Bild aufmerksam gemacht wird.

Description

Die Erfindung bezieht sich auf ein Infrarot-Nachtsichtsystem für Kraftfahrzeuge.
Ein derartiges System ist beispielsweise aus der DE 695 06 174 T2 bekannt. Dort wird ein mit einer Infrarot-Kamera aufgenommenes Bild über ein Head-Up-Display in die Windschutzscheibe projiziert. Um die Aufmerksamkeit des Fahrers auf die wärmsten, weil angeblich wichtigsten Objekte, zu lenken, kann der Videoprozessor der Kamera in einen sogenannten Objektnachsweis-Modus gebracht werden, indem durch Einstellung eines Schwellwertes schwache (kalte) Signale unterdrückt werden, um lediglich die wärmeren Objekte darzustellen.
Das System gemäß DE 695 06 174 T2 hat jedoch zwei entscheidende Nachteile. Zum einen sind es nicht immer die wärmern Objekte, die hinsichtlich einer Kollision gefährlich sein können. Zum anderen gehen in dem Objektnachweise-Modus die Informationen über die Umgebung der wärmeren Objekte herum verloren.
Aufgabe der Erfindung ist es, ein Infrarot-Nachtsichtsystem zu schaffen, das in verbesserter Weise auf wichtige Objekte im Infrarot-Bild aufmerksam macht.
Diese Aufgabe wird durch die Merkmale des Patentanspruches 1 gelöst. Die sich daran anschließenden Unteransprüche beziehen sich auf vorteilhafte Weiterbildungen der Erfindung.
Die Grundidee der Erfindung besteht darin, mindestens zwei Bilder aufzunehmen, die mit Licht/Strahlung aus zumindest teilweise unterschiedlichen Wellenlängenbereichen belichtet werden, wobei zumindest einer der Wellenlängenbereiche zumindest teilweise im infraroten Bereich liegt. Anschließend werden die beiden Bilder in einer Bildverarbeitungseinheit miteinander verknüpft, vorzugsweise verglichen. Dabei wird die Anzeige- und Warneinheit in Abhängigkeit vom Ergebnis der Verknüpfung angesteuert.
Die beiden Bilder enthalten zumindest teilweise unterschiedliche Bildinformationen, da sie mit Licht aus unterschiedlichen Wellenlängenbereichen aufgenommen wurden. Durch die Verknüpfung der Bildinformationen dieser beiden Bilder kann somit gezielter auf wichtige Objekte in einem IR-Bild aufmerksam gemacht werden als dies bei einem herkömmlichen Nachtsichtsystem der Fall ist, wo nur die Bildinformationen eines Bildes ausgewertet werden, da beim erfindungsgemäßen Nachtsichtsystem die Ansteuerung der Anzeige- und Warneinheit unter Auswertung von zusätzlichen Bildinformationen erfolgt.
In einer bevorzugten Ausführungsvariante wird – im Unterschied zum System gemäß DE 695 06 174 T2 – ein Nachtsichtsystem mit einer aktiven IR-Beleuchtung verwendet, so daß man zur Sichtbarmachung von Objekten nicht auf die Eigenwärme derselben angewiesen ist. Dabei wird mit mindestens einer Kamera ein erstes Bild ohne Belichtung mit aktiver IR-Beleuchtung, d.h. nur mit normaler Scheinwerferbeleuchtung, aufgenommen. Zusätzlich wird ein zweites Bild unter Belichtung mit aktiver IR-Beleuchtung aufgenommen.
Ein mit einem Nachtsichtsystem aufgenommenes IR-Bild enthält neben den Bildinformationen, die nur über das Nachtsichtsystem wahrnehmbar sind, redundante Bildinformationen, die bei normaler Scheinwerferbeleuchtung auch mit dem bloßen Auge wahrgenommen werden. Insbesondere die Überfrachtung des IR-Bildes mit diesen redundanten Informationen macht es für den Fahrer schwierig, die wirklich wichtigen Bildinformationen, die nur in dem IR-Bild vorhanden sind, schnell wahrzunehmen.
Beim erfindungsgemäßen Nachtsichtsystem können relevante Objekte vor dem Fahrzeug, die der Fahrer nur mit einem Nachtsichtsystem wahrnehmen kann, durch Verknüpfung der Bildinformationen der beiden Bilder (mit und ohne IR-Belichtung) in effektiver Weise herausgefiltert werden. Die Anzeige- oder Warneinheit wird dann in Abhängigkeit vom Ergebnis der Verknüpfung angesteuert. Somit wird die Aufmerksamkeit des Fahrers besonders auf relevante Objekte gerichtet, die nur mittels Nachtsichtsystem wahrnehmbar sind.
Die Verknüpfung der beiden Bilder in der Bildverarbeitungseinheit besteht vorzugsweise in einem Vergleich der beiden Bilder, wobei durch den Vergleich der beiden Bilder Bildinformationen extrahiert werden, die nur in dem mit IR-Belichtung aufgenommenen Bild vorhanden sind. Dabei besteht der Vergleich der beiden Bilder in der Bildverarbeitungseinheit vorzugsweise darin, daß die beiden Bilder zur Erzeugung eines Differenzbildes voneinander subtrahiert werden, indem die Helligkeitswerte korrespondierender Bildpunkte oder die Helligkeitsmittelwerte korrespondierender Bildpunktecluster (Hyperpixel) voneinander subtrahiert werden.
In einer Ausführungsvariante wird immer dann, wenn durch den Vergleich der beiden Bilder ein relevantes Objekt detektiert wird, das nur bei IR-Belichtung detektierbar war, einfach nur ein akustisches und/oder optisches Warnsignal erzeugt.
In einer weiteren Ausführungsvariante wird ein Warnsignal an ein automatisches Fahrerassistenz-System, z.B. ein automatisches Abstandsregel-System (Adaptive Cruise Control) gegeben.
In einer weiteren Ausführungsvariante wird das Differenzbild markiert, wobei das Differenzbild die Bildinformationen enthält, die nur in dem mit IR-Belichtung aufgenommenem Bild vorhanden sind. Anschließend wird das markierte Differenzbild zur Erzeugung eines auf einem Display als Anzeigeeinheit anzuzeigenden Bildes möglichst konturgenau in ein Gesamtbild eingefügt. Man erhält auf diese Weise ein Bild der Szenerie vor dem Fahrzeug, wobei die Bildausschnitte, die nur mit IR-Belichtung wahrnehmbar sind, durch die Markierung hervorgehoben werden, während die Bildbereiche, die auch mit bei normaler Scheinwerferbeleuchtung für den Fahrer wahrnehmbar sind, weniger hervorgehoben werden, da sie nur zur Orientierung und Einbettung des markierten Bildes in eine Gesamtszenerie dienen. Die Markierung kann z.B. in einer Einfärbung oder Umrandung des Differenzbildes bestehen. Bei dem Gesamtbild, in das das Differenzbild eingefügt wird, kann es sich um das mit IR-Belichtung aufgenommene Bild oder aber auch um das ohne IR-Belichtung, d.h. nur mit Scheinwerfer-Beleuchtung, aufgenommene Bild handeln.
Es ist vorgesehen, die beiden Bilder (mit und ohne IR-Belichtung) vor der Verknüpfung separat einer Bildvorverarbeitung zu unterziehen, wo die Bilder jeweils für sich z.B. hinsichtlich Helligkeit, Kontrast etc. auf vorbestimmte Ausgangswerte für den Vergleich angepasst (normiert) werden können.
Anhand der Zeichnungen soll die Erfindung nachfolgend verdeutlicht werden.
Es zeigt:
1- 4 Blockschaltbilder verschiedener Ausführungsformen des erfindungsgemäßen Nachtsichtsystems
5 jeweils ein Bild mit und ohne aktiver IR-Belichtung sowie das Differenzbild,
6 die spektrale Empfindlichkeit einer Kamera, die sowohl im sichtbaren als auch im nahen IR-Bereich empfindlich ist.
1 zeigt das Blockschaltbild einer ersten Ausführungsform des erfindungsgemäßen Nachtsichtsystems mit nur einer („digitalen") Kamera, die sowohl für sichtbares Licht als _auch für Licht aus dem nahen IR-Bereich empfindlich ist. Dabei kommt vorzugsweise eine Kamera mit einem lichtempfindlichen Halbleitersensor in Form eines zweidimensionalen Arrays bestehend aus einer Vielzahl von Sensor-Pixeln zum Einsatz. Der Einsatz einer derartigen Kamera gestattet in einfacher Weise die digitale Weiterverarbeitung der Bildinformationen der einzelnen Pixel. In 6 ist die typische spektrale Empfindlichkeit eines Halbleitersensors gezeigt, der in einer Kamera eingesetzt wird, die sowohl für sichtbares Licht als auch für Licht aus dem nahen IR-Bereich empfindlich ist. Dabei ist der sich an den sichtbaren Bereich anschließende nahe IR-Bereich schraffiert dargestellt. Eine Kamera mit einer derartigen Empfindlichkeit ist „blind" für Infrarotstrahlung, die auf der Eigenwärme von Objekten bei Umgebungstemperatur (–10° C bis + 30° C) basiert, da diese überwiegend im mittleren bis fernen IR-Bereich (> 3μm ) abstrahlen. Ohne eine aktive IR-Beleuchtung im nahen IR-Bereich, würde eine solche Kamera nur mit sichtbarem Licht belichtet. Zur Realisierung einer aktiven IR-Beleuchtung für den nahen IR-Bereich ist ein IR-Sender, vorzugsweise eine IR-Diode, vorgesehen, die Licht im nahen IR-Bereich mit einem Emissionsmaximum zwischen 900nm und 1 μm abstrahlt. Um abwechselnd ein Bild mit aktiver IR-Belichtung und ohne IR-Belichtung aufzunehmen, wird der IR-Sender getaktet, z.B. mit einer Taktfrequenz von 25Hz, betrieben, wobei die beiden Bilder bei einer Taktfrequenz von 25Hz bereits quasi simultan aufgenommen werden. Die getaktete Ansteuerung des IR-Senders erfolgt über eine Steuereinheit. Bei eingeschaltetem IR-Sender erfolgt dann eine Belichtung mittels Licht aus dem nahen IR-Bereich und mittels sichtbarem Licht, das hauptsächlich durch die Schweinwerfer erzeugt wird. Bei ausgeschaltetem IR-Sender erfolgt dann eine Belichtung nur mit sichtbarem Licht aufgrund der Scheinwerferbeleuchtung. Die so aufgenommenen Bilder – bzw. die digitalisierten Bildinformationen der einzelnen Pixel des Halbleitersensors- werden in einem Bildspeicher zwischengespeichert, bevor sie einer Bildverarbeitungseinheit für den Bildvergleich zugeführt werden. In Abhängigkeit vom Ergebnis dieses Bildvergleiches erfolgt nun eine Ansteuerung der Anzeige-/Warneinheit. Bei der Bildverarbeitungseinheit kann es sich um ein computerimplementiertes Programm oder aber auch um eine Hardwareschaltung handeln.
4 zeigt das Blockschaltbild einer zweiten Ausführungsform des erfindungsgemäßen Nachtsichtsystems mit ebenfalls nur einer Kamera (vgl. erste Ausführungsform gemäß 1), die sowohl für sichtbares Licht als auch für Licht aus dem nahen IR-Bereich empfindlich ist. Im Unterschied zur ersten Ausführungsform wird hier der IR-Sender nicht getaktet betrieben, sondern kontinuierlich. Um nun abwechselnd ein Bild mit aktiver IR-Belichtung und ohne IR-Belichtung aufzunehmen, ist ein optisches Filter vorgesehen ist, das nur sichtbares Licht durchlässt, so dass die Belichtung der Kamera mit Hilfe des optischen Filters wahlweise mit infrarotem Licht ermöglicht oder verhindert wird. Das IR-Filter wird zu diesem Zweck zu- und abgeschaltet, indem es für eine Aufnahme ohne IR-Belichtung beispielsweise mechanisch vor das Kameraobjektiv gebracht wird und für eine Aufnahme mit IR-Belichtung wieder entfernt wird.
3 zeigt das Blockschaltbild einer dritten Ausführungsform des erfindungsgemäßen Nachtsichtsystems mit zwei Kameras, von denen eine nur für sichtbares Licht empfindlich ist, während die andere für sichtbares Licht und für Licht aus dem nahen IR-Bereich empfindlich ist. Zur Realisierung einer aktiven IR-Beleuchtung für den nahen IR-Bereich ist ebenfalls ein IR-Sender vorgesehen. Bei einem kontinuierlichen Betrieb des IR-Senders kann mit dieser Ausführungsform gleichzeitig jeweils ein Bild nur mit Belichtung durch Licht aus dem sichtbaren Bereich und ein Bild mit Belichtung durch Licht aus dem sichtbaren Bereich und dem nahen IR-Bereich aufgenommen werden.
2 zeigt das Blockschaltbild einer vierten Ausführungsform des erfindungsgemäßen Nachtsichtsystems, das in diesem Fall als passives System ausgelegt ist, wobei zwei Kameras vorgesehen sind, nämlich eine erste Kamera, die nur für sichtbares Licht empfindlich ist, und eine zweite Kamera in Form eines Wärmebildgerätes, die für Licht aus dem mittleren bis fernen IR-Bereich empfindlich ist. Derartige Wärmebildgeräte weisen beispielsweise ein Detektorarray in Form einer matrixartigen Anordnung von Mikrobolometern auf.
In der nachfolgenden Tabelle sind verschiedene Möglichkeiten für die Kombination von unterschiedlichen Wellenlängebereichen aufgeführt.
5 zeigt oben ein Bild, das ohne IR-Belichtung – also nur mit normaler Scheinwerferbeleuchtung – aufgenommen wurde, während unten das zeitgleich oder zumindest quasi zeitgleich mit IR-Belichtung aufgenommene Bild dargestellt ist. Rechts daneben ist das Differenzbild dargestellt, welches in einer Ausführungsvariante vorzugsweise markiert und in ein Gesamtbild eingefügt wird, um die Aufmerksamkeit des Fahrers zu erhöhen.

Claims

Nachtsichtsystem für Kraftfahrzeuge bestehend aus – mindestens einer Kamera zur Aufnahme von Bildern der Szenerie vor dem Kraftfahrzeug, – mindestens einer Anzeige- oder Warneinheit, die in Abhängigkeit von den mit der Kamera gewonnenen Bildinformationen angesteuert wird, dadurch gekennzeichnet, daß – mit einer Kamera ein erstes Bild durch Empfang von Strahlung in einem ersten Wellenlängenbereich aufgenommen wird, ^` – mit einer Kamera mindestens ein zweites Bild durch Empfang von Strahlung in einem zweiten Wellenlängenbereich aufgenommen wird, – wobei der erste und der zweite Wellenlängenbereich zumindest teilweise voneinander verschieden sind, – wobei der erste und/oder der zweite Wellenlängenbereich zumindest teilweise im infraroten Bereich liegt, – die Bildinformationen der beiden Bilder einer Bildverarbeitungseinheit zugeführt werden, – die Bildinformationen dieser beiden Bilder in der Bildverarbeitungseinheit miteinander verknüpft werden, – die Anzeige- oder Warneinheit in Abhängigkeit vom Ergebnis der Verknüpfung angesteuert wird.
Nachtsichtsystem nach Anspruch 1, dadurch gekennzeichnet, daß die beiden Bilder vor der Verknüpfung jeweils separat einer Bildvorverarbeitung unterzogen werden.
Nachsichtsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Verknüpfung in einem Vergleich der Bildinformationen der beiden Bilder in der Bildverarbeitungseinheit besteht.
Nachsichtsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß der erste und/oder der zweite Wellenlängenbereich zumindest teilweise im sichtbaren Bereich liegt.
Nachsichtsystem nach Anspruch 3 und 4, dadurch gekennzeichnet, daß durch den Vergleich der beiden Bilder Bildinformationen extrahiert werden, die ausschließlich durch Strahlung im infraroten Bereich erzeugt wurden.
Nachtsichtsystem nach Anspruch 5, dadurch gekennzeichnet, daß – der Vergleich der beiden Bilder in der Bildverarbeitungseinheit darin besteht, daß die beiden Bilder zur Erzeugung eines Differenzbildes voneinander subtrahiert werden, indem die Helligkeitswerte korrespondierender Bildpunkte oder die Helligkeitsmittelwerte korrespondierender Bildpunktecluster voneinander subtrahiert werden, – wobei das Differenzbild ausschließlich Bildinformationen enthält, die durch Strahlung im infraroten Bereich erzeugt wurden, – wobei das Differenzbild markiert wird, – wobei zur Erzeugung eines auf einem Display als Anzeigeeinheit anzuzeigenden Bildes das markierte Differenzbild konturgenau in ein Gesamtbild der Szenerie vor dem Kraftfahrzeug eingefügt wird.
Nachtsichtsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß – eine Kamera vorgesehen ist, die sowohl für infrarotes Licht als auch für sichtbares Licht empfindlich ist, – mindestens ein Infrarotstrahlungssender zur Erzeugung einer aktiven IR-Beleuchtung vorgesehen ist, – wobei mit der Kamera mindestens ein Bild mit eingeschalteter IR-Beleuchtung und mindestens ein Bild mit ausgeschalteter IR-Beleuchtung aufgenommen wird.
Nachtsichtsystem nach einem der vorstehenden Ansprüche 1 bis 6, dadurch gekennzeichnet, daß – eine Kamera vorgesehen ist, die sowohl für infrarotes Licht als auch für sichtbares Licht empfindlich ist, – mindestens ein Infrarotstrahlungssender zur Erzeugung einer aktiven IR-Beleuchtung vorgesehen ist, – ein optisches Filter vorgesehen ist, das nur sichtbares Licht durchlässt, so dass die Belichtung der Kamera mit Hilfe des optischen Filters wahlweise mit infrarotem Licht ermöglicht oder verhindert wird.
Nachtsichtsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß eine erste Kamera vorgesehen ist, die nur für infrarotes Licht empfindlich ist, und eine zweite Kamera, die nur für sichtbares Licht empfindlich ist.
Nachtsichtsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Anzeige-/Warneinheit Teil eines automatischen Fahrerassistenz-Systems ist.