DE10304703A1

DE10304703A1 - Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Info

Publication number: DE10304703A1
Application number: DE10304703A
Authority: DE
Inventors: Wolfgang Hahn; Thomas Weidner
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2004-08-19
Anticipated expiration: 2023-02-07
Also published as: US20050270784A1; CN1748167A; CN100401129C; JP2006516507A; US7199366B2; KR20050103194A; DE10304703B4; EP1590697A1; JP4491453B2; WO2004070449A1

Abstract

Die Erfindung betrifft insbesondere ein Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit. Zur Verbesserung bekannter Verfahren wird eine gewichtete Überlagerung zeit- und ortsgleicher Bildpaare aus einem Visuell-Abbild und einem Infrarot-Abbild zur Bildung eines Fusionsbilds vorgeschlagen. Zur weiteren Verbesserung ist vorgesehen, die Gewichtung umgebungsabhängig zu machen; so ist bei Dunkelheit eine höhere Gewichtung und damit Hervorhebung der infraroten Information gegenüber der visuellen Information im Fusionsbild vorgesehen. Bei Nebel ist vorgesehen, die visuelle Information gegenüber der infraroten Information deutlich höher zu gewichten, wodurch die bei Nebel oft wenig hilfreiche Infrarot-Information im Fusionsbild (weitgehend) unberücksichtigt bleibt. Zur Durchführung des Verfahrens wird eine Vorrichtung vorgeschlagen, die eine farbempfindliche Visuell-Kamera (10), eine Infrarot-Kamera (102) und eine Fusions- bzw. Überlagerungseinrichtung (106), die zeit- und ortsgleiche Bildpaare pixel- oder bereichsweise überlagert und/oder Mittelwerte bildet, aufweist.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung nach dem Oberbegriff des betreffenden unabhängigen Patentanspruchs.

Aus der DE 695 06 174 T2 ist ein Nachsichtsystem für ein Fahrzeug bekannt. Das System weist eine Infrarot-Kamera auf, die ein Infrarot-Abbild erzeugt, das die von Personen und Gegenständen ausgehende Wärmestrahlung eines Ausschnitts der Umgebung des Fahrzeugs zeigt. Das Infrarot-Abbild wird über ein Head-up-Display auf den unteren Teil der Windschutzscheibe projiziert und damit dem Fahrer sichtbar gemacht.

Die Zuordnung von Personen und Objekten im Infrarot-Abbild zu der vor dem Fahrer liegenden, visuell durch die Windschutzscheibe erfassbaren Verkehrssituation ist vom Fahrer zu leisten. Dies ist insbesondere bei Dunkelheit, für die das bekannte System gedacht sein soll, schwierig und oft sogar unmöglich, weil das Infrarot-Abbild Personen und Objekte zeigt, die der Fahrer visuell nicht erkennen kann. Eine exaktere Positionsbestimmung der nur im Infrarot-Abbild erkennbaren Personen und Objekte ist daher regelmäßig nicht möglich und lenkt den Fahrer in gefährlicher Weise ab.

Die Aufgabe der Erfindung besteht insbesondere in der Angabe eines verbesserten Verfahrens und einer Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, wie insbesondere ein verbessertes Nachtsichtsystem.

Die Aufgabe der Erfindung wird durch den entsprechenden, unabhängigen Anspruch verfahrensmäßig bzw. vorrichtungsmäßig gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den zugeordneten, abhängigen Patentansprüchen angegeben.

Ein erster wesentlicher Aspekt der Erfindung besteht in der Anzeige bzw. Sichtbarmachung einer Kombination bzw. Überlagerung eines visuellen Abbilds, nachfolgend Visuell-Abbild genannt, und eines infraroten Abbilds, nachfolgend Infrarot-Abbild genannt, des weitgehend selben Ausschnitts der Umgebung eines Fahrzeugs. Durch diese Überlagerung oder Fusion der Abbilder unterschiedlicher Spektralbereiche derselben Szene, werden die vorstehend beschriebenen Nachteile des Stands der Technik weitgehend beseitigt.

Ein zweiter wesentlicher Aspekt besteht darin, die beiden spektralen Anteile (visueller Anteil und infraroter Anteil) bei der Fusion des jeweiligen visuellen Abbilds und des infraroten Abbilds in Abhängigkeit von der konkreten Fahrsituation im Verhältnis zueinander zu gewichten. Im ersten Extremfall der Gewichtung weist das durch Fusion entstandene Bild weitgehend lediglich die visuelle Information auf, im Regelfall eine Überlagerung aus visueller und infraroter Information und im zweiten Extremfall der Gewichtung weist das durch Fusion entstandene Bild weitgehend lediglich die infrarote Information auf.

Wird beispielsweise auf der Landstraße durch ein Abstandsmeßsystem ein vorausfahrendes Fahrzeug erkannt, z.B. durch ein bekanntes radargestütztes ACC-System (Automatic Cruise Control), ist bei einer Ausführungsform der Erfindung vorgesehen, dieses Fahrzeug bei der Fusion der beiden spektralen Anteile ggü. der Fahrumgebung hervorzuheben, so dass es im Fusionsbild ggü. der Umgebung deutlicher hervortritt. Dies kann beispielsweise geschehen, indem die Gewichtung der beiden spektralen Anteile für den relevanten Bereich ggü. der Fahrumgebung verändert wird; in diesem Beispiel derjenige Bildausschnitt des Fusionsbilds, der das unmittelbar vorausfahrende Fahrzeug zeigt. Am Tage kann beispielsweise die visuelle Information ggü. der infraroten Information höher gewichtet und damit deutlicher im Fusionsbild zur Geltung gebracht werden, während bei Dunkelheit gerade andersherum gewichtet wird.

Fährt das Fahrzeug in einem gut ausgeleuchteten Gebiet, ist bei einer anderen Ausführungsform der Erfindung alternativ oder ergänzend vorgesehen, den visuellen Anteil bzw. die visuelle Information ggü. dem infraroten Anteil bzw. ggü. der infraroten Information höher zu gewichten. Auf dunkler Landstraße und/oder Autobahn wird die Gewichtung alternativ oder ergänzend ggü. der vorgenannten andersherum vorgenommen, so dass die infrarote Information bzw. der infrarote Anteil im Fusionsbild ggü. dem visuellen Anteil deutlicher hervortritt.

Alternativ oder ergänzend ist bei einer weiteren Ausführungsform der Erfindung vorgesehen, auf dunkler Landstraße und/oder Autobahn die infrarote Information von weiter entfernten Objekte ggü. deren visueller Information – im Unterschied zu weniger weit vom Fahrzeug entfernten Objekten – durch deren höhere Gewichtung bei der Fusion hervorzuheben. Ggf. kann das dem Fahrer auf einem Display dargebotene Fusionsbild im Nahbereich einen höheren Anteil an visueller Information und im Fernbereich einen höheren Anteil an infraroter Information aufweisen.

Bei Regen, Nebel oder nasser Fahrbahn ist die Nutzbarkeit des Infrarotkanals bzw. der Infrarot-Information ggü. Normalbedingungen beschränkt. Um einer Verschlechterung des Fusionsbilds durch die allenfalls beschränkt brauchbare Infrarotinformation bei solchen Witterungsverhältnissen entgegen zu wirken, ist alternativ oder ergänzend vorgesehen, den visuellen Anteil ggü. dem infraroten Anteil zu erhöhen, d.h. die Gewichtung der beiden Spektralanteile im Fusionsbild entsprechend in Richtung visueller Information zu verändern.

Zur Erkennung der vorgenannten Witterungsbedingungen kann insbesondere ein Regensensor oder ein Nebelsensor am Fahrzeug vorgesehen sein. Ebenso kann ausgewertet werden, welche Fahrzeugleuchten eingeschaltet sind, wie insbesondere die Nebelscheinwerfer. Diese Informationen können jedoch auch durch ein im Fahrzeug vorgesehenes dynamisches Navigationssystem geliefert werden, in das die dynamischen Verkehrs- bzw. Witterungsbedingungen für den gegenwärtigen Aufenthaltsort des Fahrzeugs oder insbesondere vorausschauend für die geplante Fahrtroute übertragen werden. Diese Übertragung kann über ein Mobilfunknetz oder durch eine Fahrzeug-Fahrzeug-Kommunikation erfolgen.

Alternativ oder ergänzend ist bei einer Ausführungsform der Erfindung vorgesehen, dass der Fahrer die Gewichtung der beiden spektralen Anteile zueinander im Fusionsbild manuell einstellen und damit an seine Bedürfnisse und speziellen Umstände optimal anpassen kann. Ein kontinuierlicher Übergang der Darstellung von visueller Information zu Infrarotinformation und umgekehrt ist bei einer Ausführungsform der Erfindung vorgesehen. Dies ermöglicht dem Fahrer, den Zusammenhang zwischen visueller und infraroter Information und den Einfluss auf das Fusionsbild der Fahrumgebung durch die Verschiebung zwischen den spektralen Anteilen leichter und schneller nutzbringend im Sinne einer schnelleren und zuverlässigeren Erfassung der Verkehrssituation anzuwenden.

Bei einer weiteren Ausführungsform wird dem Fahrer alternativ oder ergänzend eine Vielzahl von Fusionsbildern zur Auswahl eines ihm geeignet erscheinenden Fusionsbilds angeboten, wobei die zur Auswahl angebotenen Fusionsbilder sich in ihrem Verhältnis des Anteils von visueller Information zu Infrarot-Information unterscheiden. Insbesondere kann eine unterschiedliche Gewichtung von visuellem Anteil zu infrarotem Anteil bei der Fusion vorgenommen worden sein.

Bei einer konkreten Ausgestaltung des erfindungsgemäßen Nachtsichtsystems weist die Visuell-Kamera oder der erste Sensor bzw. deren Optik eine erste optische Achse und die Infrarot-Kamera oder der zweite optische Sensor bzw. deren Optik eine zweite optische Achse auf, die räumlich zueinander versetzt sind. Daher erfassen die Kameras bzw. Sensoren zumindest teilweise unterschiedliche Ausschnitte der Umgebung des Fahrzeugs, d.h. einen ersten und einen zweiten Ausschnitt. Diese sind zudem entfernungsabhängig. Es versteht sich, dass erfindungsgemäß auch mehr als zwei Infrarot-Kameras bzw. Infrarot-Sensoren, deren Empfindlichkeit unterschiedliche Wellenlängen abdeckt, vorgesehen und die von ihnen gelieferten digitalen Abbilder der Fahrzeug-Umgebung überlagert bzw. fusioniert werden können.

Um ein weitgehend verzerrungsfreies Fusions-Bild zur Darstellung für den Fahrer zu erhalten, ist bei einer Ausführungsform der Erfindung vorgesehen, dass der bereit gestellte erste Ausschnitt und der bereit gestellte zweite Ausschnitt ganz oder teilweise durch eine Überlagerungs- bzw. Fusionseinrichtung pixel- und/oder bereichsweise überlagert bzw. fusioniert werden. Zur Bereitstellung des Fusions-Bilds wird der erste Ausschnitt und/oder der zweite Ausschnitt und/oder das Fusions-Bild bzw. deren unmittelbare oder bearbeitete digitale Daten durch mindestens einen Anpassungsparameter angepasst.

Dieser oder diese entfernungsabhängigen Parameter werden bevorzugt bei der Kalibrierung des erfindungsgemäßen Kamera- oder Sensorsystems bzw. Nachtsichtsystems für mindestens zwei Entfernungsbereiche bzw. Abstandsbereiche zwischen den Kameras bzw. Sensoren und einer Kalibriervorrichtung ermittelt. Ein wesentliches Ziel ist es, den oder die Anpassungsparameter so einzustellen, dass das bei der Überlagerung bzw. Fusion der Abbilder entstehende Fusionsbild von Objekten im betreffenden Entfernungsbereich weitgehend verzerrungsfrei ist, wie insbesondere frei von Geister- bzw. Doppelbildern. Bei dem oder den Anpassungsparametern handelt es sich erfindungsgemäß insbesondere um mindestens einen Registrierungs- oder Transformationsparameter. Ein ähnlicher Parameter ist z.B. aus der Registrierung eines digitalen Bildverarbeitungssystems und damit vorgenommenen Überlagerungen von zwei Bildern bekannt. Der oder die fahrsituations- bzw. entfernungsabhängigen Anpassungsparameter werden bevorzugt bei der Kalibrierung in einem Datenspeicher im Fahrzeug gespeichert.

Bei einer bevorzugten Ausführungsform der Erfindung entspricht ein erster Entfernungsbereich einer für eine Stadtfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbereich von ca. 15 bis 75 m.

Alternativ oder ergänzend entspricht ein zweiter Entfernungsbereich einer für eine Landstrassenfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbereich von ca. 30 bis 150 m.

Alternativ oder ergänzend entspricht ein dritter Entfernungsbereich einer für eine Autobahnfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbereich von ca. 50 bis 250 m.

Es versteht sich, dass alternativ oder ergänzend zu den vorgenannten entfernungsabhängigen oder entfernungsbereichsabhängigen Anpassungsparametern auch andere fahrsituationsabhängige Anpassungsparameter insbesondere mit dem vorgenannten Ziel ermittelt werden können. Hierbei kann es sich beispielsweise um geeignete Anpassungsparameter für Fahrten bei tief stehender Sonne, im Nebel, bei einsetzender Dunkelheit oder bei Dunkelheit handeln.

Ein weiterer wesentlicher Aspekt der Erfindung besteht darin, die aktuelle Fahrsituation des Fahrzeugs automatisch zu ermitteln und den oder die der aktuellen Fahrsituation bzw. Umgebungssituation entsprechenden, insbesondere durch Kalibrierung gewonnenen und im Fahrzeug gespeicherten Anpassungsparameter zur Verwendung durch die erfindungsgemäße Ausricht-Vorrichtung oder durch die Überlagerungs- bzw. Fusionseinrichtung bereitzustellen. Die Überlagerungs- bzw. Fusionseinrichtung führt eine pixel- und/oder bereichsweise Überlagerung bzw. Fusionierung des in Form von digitalen Daten vorliegenden Visuell-Abbilds und des Infrarot-Abbilds durch, wobei ein oder mehrere entfernungsabhängige Anpassungsparameter das Infrarot-Abbild und/oder das Visuell-Abbild und/oder das Fusions-Bild derart beeinflussen, dass bevorzugt ein weitgehend verzerrungsfreies und/oder geisterbildfreies Fusions-Abbild der Umgebung für den Fahrer bereitgestellt wird.

Alternativ oder ergänzend zur vorgenannten automatischen Ermittlung, ist bei einer Ausführungsform der Erfindung vorgesehen, dass der Fahrer ihm geeignet erscheinende, insbesondere durch Kalibrierung gewonnene und im Fahrzeug gespeicherte Anpassungsparameter zur Verwendung durch die erfindungsgemäße Ausricht-Vorrichtung oder durch die Überlagerungs- bzw. Fusionseinrichtung auswählt. So können dem Fahrer beispielsweise der oder die Anpassungsparameter für eine Stadtfahrt typische, eine Landstrassenfahrt typische, eine Autobahnfahrt typische Fahrsituation und/oder ggf. für weitere Fahrsituationen zur Auswahl angeboten werden, z.B. in Form einer manuellen Auswahlmöglichkeit oder durch Spracheingabe. Hierdurch wird der Fahrer auch ohne im Fahrzeug befindliches Fahrzeug-Navigationssystem in die Lage versetzt, ein weitgehend verzerrungsfreies bzw. doppelbildfreies Fusions-Bild selbst herbeizuführen. Zudem wird dem Fahrer dadurch die Möglichkeit eröffnet, sich ggf. über eine automatische Auswahl hinwegzusetzen. Ebenso kann dem Fahrer die Möglichkeit gegeben werden, einen oder mehrere Anpassungsparameter auszuwählen, die ihm die nähere Umgebung seines Fahrzeugs verzerrungsfrei im Fusions-Bild darstellen, z.B. Entfernungen bis zu 20 m von seinem Fahrzeug. Diese Auswahl kann vom Fahrer beispielsweise dann vorgenommen werden, wenn er im Dunkeln an seine Garage heranfährt und über die Infrarot-Information im Fusions-Bild in Erfahrung bringen will, ob ihm hinter einem Gebüsch aufgelauert wird.

Bei einer bevorzugten Ausführungsform der Erfindung, wird die aktuelle Position des Fahrzeugs von einem Fahrzeug-Navigationssystem, insbesondere ein Satelliten-Navigationssystem, bestimmt. Anhand der Position wird von dem im Fahrzeug befindlichen Navigationssystem durch Vergleich mit digitalen Kartendaten automatisch die entsprechende Straßenkategorie bzw. Fahrsituation, wie insbesondere Stadtstrasse, Landstrasse oder Autobahn, ermittelt. Solche Fahrzeug-Navigationssysteme sind bereits heute in zahlreichen Fahrzeugen zum Zweck der Routenführung etc. vorhanden und können ohne großen Aufwand zur vorgenanten automatischen, fahrsituations- und umgebungsabhängigen Optimierung der fusionierten Abbilder der Umgebung des Fahrzeugs genutzt werden.

Alternativ oder ergänzend ist bei einer weiteren Ausführungsform der Erfindung vorgesehen, dass die Fahrsituation anhand mindestens einer fahrdynamischen Größe, wie insbesondere die Fahrzeug-Geschwindigkeit und/oder der Betrieb des Abblend- bzw. Fernlichts und/oder die Fahrzeug-Beschleunigung und/oder Helligkeit und/oder Nebel, ermittelt wird. Diese Informationen können bereits in heutigen Fahrzeugen ganz oder teilweise von deren Bordnetz zur Verfügung gestellt werden, ohne dass ein größerer Aufwand erforderlich ist.

Bei einer bevorzugten Ausführungsform der Erfindung wird ein farbiges visuelles Abbild mit dem Infrarot-Abbild fusioniert bzw. kombiniert oder überlagert. Im Unterschied zu einem schwarzweißen Visuell-Abbild, entsteht ein fusioniertes Bild, das Farbinformationen des Visuell-Abbilds enthält, wie rote Bremsleuchten eines vorausfahrenden Fahrzeugs, eine rote Ampel, ein farbiges Verkehrsschild oder dgl. Die Farbinformation im fusionierten Bild erleichtert dem Fahrer eines entsprechend ausgestatteten Fahrzeugs die schnelle Orientierung und Erfassung der im fusionierten Bild dargestellten Verkehrssituation. Die Farbinformation verringert zudem die Gefahr, das farbige Warnhinweise (rote Ampel etc.) übersehen werden.

Zusammengefasst werden die Abbilder der Umgebung bzw. Szene für unterschiedliche Spektralbereiche jeweils von Störeinflüssen, wie Verzerrungen des Infrarot- bzw. Visuell-Abbilds, insbesondere aufgrund von Abbildungsfehlern der jeweils verwendeten Optik usw., befreit. Dies geschieht bevorzugt softwaremäßig durch be kannte Maßnahmen zur Aufbereitung von digitalisierten Bildern. Die von Störeinflüssen weitgehend befreiten Abbilder bzw. deren digitale Bild-Daten werden bevorzugt durch digitale Bildverarbeitung zueinander ausgerichtet bzw. zur Deckung gebracht, so dass weitgehend zeit- und ortsgleiche Bild-Paare aus Infrarot- und Visuell-Abbild bzw. von deren digitalen Daten vorliegen. Dies geschieht erfindungsgemäß unter Verwendung von mindestens einem entfernungsabhängigen und/oder fahrsituationsabhängigen Anpassungsparameter zur Herbeiführung eines verzerrungsfreien Fusions-Bildes. Die verwendete Software und Hardware zur digitalen Bildverarbeitung erlaubt vorzugsweise eine Verschiebung, Drehung und Skalierung der Abbilder relativ zueinander. Durch diese Aufbereitung kann der nachfolgende Hardwareaufwand zur Überlagerung bzw. Fusion der Abbilder aus den unterschiedlichen Spektralbereichen in kostengünstiger Weise – trotz weitgehender Echtzeit-Verarbeitung zeit- und ortsgleicher Bild-Paare – minimiert werden.

Gemäß einer bevorzugten Ausführungsform der Erfindung, werden die Infrarot-Abbilder und die Visuell-Abbilder mit jeweils gleicher Bildwiederholrate, bevorzugt von ein oder zwei Kameras oder Sensoren für diese Spektralbereiche, erzeugt. Hierdurch können in besonders einfacher Weise zeitgleiche Bild-Paare aus Infrarot-Abbild und Visuell-Abbild erzeugt werden, was den Software- und Hardware-Aufwand für die nachfolgende, erfindungsgemäße Überlagerung bzw. Fusion beider Abbilder – weitgehend in Echtzeit – erheblich vermindert. Die Verarbeitungsgeschwindigkeit der Bild-Paare steigt; die Kosten für Halbleiter-Speicher zur Zwischenspeicherung der Abbilder werden minimiert.

Bei einer bevorzugten Ausführungsform der Erfindung, zeigt das Infrarot-Abbild die von Personen und Objekten abgegebene Infrarot-Strahlung bzw. Wärmestrahlung, die im Wellenlängenbereich von ca. 8 bis 14 μm liegt. Bevorzugt wird eine IR-Kamera oder ein IR-Sensor verwendet, die oder der im Bereich von ca. 8 bis 10 μm empfindlich ist. Damit kann in vorteilhafter Weise auf einen Infrarot-Strahler bzw. eine solche Beleuchtung (typischer Wellenlängenbereich von ca. 800 nm bis 2,5 μm) für die Fahrzeugumgebung verzichtet werden. Eine wechselseitige Blendung entgegenkommender Fahrzeuge, die in bekannter Weise jeweils mit einer Infrarot- Beleuchtung versehen sind, tritt nicht auf. Ebenso ist das erfindungsgemäße Infrarot-Abbild nicht auf die Reichweite einer Infrarot-Beleuchtung beschränkt.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels näher erläutert. Es zeigt:
1 das Blockschaltbild einer erfindungsgemäßen Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs bzw. ein Nachtsichtsystem, anhand dem das erfindungsgemäße Verfahren zur Sichtbarmachung beschrieben wird.
Die in 1 als Blockschaltbild dargestellte, erfindungsgemäße Vorrichtung bzw. das Nachtsichtsystem 100 weist eine im visuellen Spektralbereich aufnehmende elektronische, hier sogenannte Visuell-Kamera 101, z. B. ein CCD-Sensor, eine im infraroten Spektralbereich von ca. 8 bis 10 μm empfindliche elektronische Infrarot-Kamera 102, z. B. ein IR-Sensor, eine erste Normalisierungsvorrichtung 103, eine zweite Normalisierungsvorrichtung 104, eine Ausricht-Vorrichtung 105 und eine Überlagerungs- bzw. Fusionseinrichtung 106 auf. Die Visuell-Kamera 101 liefert ein farbiges, visuelles Abbild.
Die optischen Achsen der Kameras 101 und 102 sind bevorzugt parallel zueinander ausgerichtet, wodurch der Parallaxenfehler minimiert werden kann, und liegen bevorzugt nahe beieinander, wodurch Versetzungsfehler minimiert werden. Die Bildebenen beider Kameras oder Sensoren werden bevorzugt parallel zueinander und senkrecht zur optischen Achse ausgerichtet und liegen nahe beieinander. Die fotoempfindlichen Sensorflächen beider Kameras bzw. Sensoren sind bevorzugt relativ zueinander weder verdreht noch gekippt, sondern weitgehend parallel zueinander angeordnet. Beide Kameras oder Sensoren haben bevorzugt zudem denselben Öffnungswinkel. Durch diese Maßnahmen kann erreicht werden, das die Kameras oder Sensoren Abbilder unterschiedlicher Spektralbereiche liefern, die weitgehend denselben Ausschnitt der Umgebung zeigen und relativ zueinander und zur tatsächlichen Situation nicht verdreht sind. Hierdurch kann der Aufwand für eine Bearbeitung der Abbilder zur Bereitstellung eines fusionierten Bilds aus beiden Abbildern und damit der Hardware- und Software-Aufwand deutlich verringert werden.
Die optischen Oberflächen der Kameras werden bevorzugt hydrophob beschichtet und bevorzugt ist zu ihrer Reinigung eine Hochdruckdüse oder dgl. vorgesehen, wie sie bereits zur Scheinwerfer-Reinigung üblich ist. Beide Kameras werden bevorzugt in einem gemeinsamen Gehäuse eingebaut (Montagefreundlichkeit, Gesamtausrichtung zur Fahrzeugachse, keine Verschiebung optischer Parameter der Kameras untereinander). Am Gehäuse der Kameras sind bevorzugt Befestigungen angeordnet, die einen vibrationsarmen Betrieb der Kameras am oder im Fahrzeug gewährleisten. Für den Betrieb der Kameras sind Anschlüsse für die Betriebsspannung vorgesehen. Die Betriebsspannung der Kameras sollte flexibel an die jeweilige Bordnetzspannung, wie z. B. 12 Volt und/oder 42 Volt, anpassbar sein. Um die Elektronik und die Sensoren der Kameras vor Beschädigungen zu schützen, ist im Betriebsspannungszweig bevorzugt eine Überlastsicherung und ein Verpolungsschutz eingebracht. Die Ausgabe der von den Kameras oder Sensoren generierten Videosignale (Spektralbereiche getrennt oder bereits fusioniert) sollte sich an einem Standard orientieren (z. B. NTSC, PAL, SECAM oder eigener Standard). Als Digital/Analogumsetzer können vorhandene Halbleiterelemente verwendet werden. Die Kameras oder Sensoren können zur Sichtbarmachung der Fahrumgebung vor, hinter und seitlich vom Fahrzeug angebracht werden.
Im Folgenden wird die Kalibrierung des Nachtsichtsystems bzw. der Vorrichtung 100 näher beschrieben. Zur Kalibrierung wird eine erfindungsgemäße Kalibriervorrichtung (nicht dargestellt) verwendet. Diese weist mehrere Glühlampen auf, die bevorzugt schachbrettartig angeordnet sind. Glühlampen zeichnen sich dadurch aus, dass sie sowohl Wärmestrahlung als auch visuell sichtbare Strahlung abgeben. Bevorzugt wird eine mit mehreren Glühlampen versehene Platte oder dgl. nacheinander in verschiedenen Abstandsbereichen vor den beiden Kameras bzw. Sensoren 101 und 102 angeordnet. Bei den Abstandsbereichen handelt es sich um typische ungebungs- oder fahrsituationsabhängige Abstandsbereiche, was nachfolgend näher erläutert werden wird.
Die vor den Kameras 101 und 102 befindliche Kalibriervorrichtung, die bevorzugt in dunkler Umgebung und nicht in der Nachbarschaft von Wärmequellen angeordnet ist, erzeugt in der Visuell-Kamera 101 ein (sogenanntes) Visuell-Abbild, das die schachbrettartig angeordneten Glühlampen zeigt, wie sie auch das menschliche Auge sieht. Ferner erzeugt die Kalibriervorrichutung in der Infrarot-Kamera 102 ein Wärmebild, das ebenfalls die Anordnung der Glühlampen zeigt. Typischerweise zeigt sowohl das Visuell-Abbild als auch das sog. Infrarot-Abbild, insbesondere aufgrund von optischen Abbildungsfehlern etc., Verzeichnungen an den Rändern des jeweiligen Abbilds. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Visuell-Abbild durch eine erste Normalisierungsvorrichtung 103 weitgehend beseitigt. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Infrarot-Abbild durch eine zweite Normalisierungsvorrichtung 104 weitgehend beseitigt. Die Normalisierung bzw. Fehlerbeseitigung erfolgt bevorzugt durch bekannte, softwaremäßige Maßnahmen an den digitalen Daten der Abbilder (digitale Bildverarbeitung) unter Verwendung von Kalibrierungsparametern 107 für das Visuell-Abbild und Kalibrierungsparametern 108 für das Infrarot-Abbild.
Die normalisierten bzw. weitgehend von Störungen etc. befreiten Abbilder bzw. deren digitale Daten werden durch einen an sich in der digitalen Bildverarbeitung bekannten Registrierungsvorgang zueinander durch eine Ausricht-Vorrichtung 105 unter Verwendung von Registrierungsparametern 109 ausgerichtet. Bei dem Ausrichtvorgang bleibt bevorzugt eines der Abbilder unverändert und dient als Referenz für das andere Abbild. Das zweite Abbild wird in Größe und Lage so verändert, dass ein weitgehend objektgleiches Abbild relativ zum ersten Abbild entsteht.
Die normalisierten Abbilder werden also so relativ zueinander ausgerichtet, dass ein und dasselbe Objekt an weitgehend gleicher Stelle und in weitgehend gleicher Größe im fusionierten Bild erscheint. Wird dieser Vorverarbeitungsschritt nicht ausgeführt, entstehen aufgrund unterschiedlicher Kamerageometrien und des Kameraversatzes Schatten- oder Zwillingsbilder. Das bedeutet, dass ein Objekt an zwei Orten und in unterschiedlichen Größen im fusionierten Bild erscheint. Der Betrachter wird von solch einem Bild eher irritiert, als dass ihm Orientierung gegeben wird.
Zur umgebungs- bzw. fahrsituationsabhängigen Optimierung der pixelgenauen oder bereichsgenauen Fusion, wird zunächst ein erster Registrierungsvorgang für eine stadtfahrt-typische Fahrsituation durchgeführt. Der Abstand zwischen der Kalibriervorrichtung und den Kameras 101 und 102 wird hierzu beispielsweise im Bereich von ca. 15 bis 75 m variiert und der oder die für diesen Abstandsbereich geeigneten Registrierungsparameter werden ermittelt und gespeichert. In entsprechender Weise wird ein zweiter Registrierungsvorgang für eine landstrassen-typische Fahrsituation, d.h. beispielsweise ein Bereich von ca. 30 bis 150 m, durchgeführt. Schließlich wird in entsprechender Weise ein dritter Registrierungsvorgang für eine autobahn-typische Fahrsituation, d.h. beispielsweise im Bereich von ca. 50 bis 250 m, durchgeführt.
Unter Verwendung der von einem Fahrzeug-Navigationssystem (nicht dargestellt) bereitgestellten, aktuellen Positionsdaten wird von dem System anhand von digitalen Kartendaten die der Position des Fahrzeugs entsprechende Straßenkategorie bzw. Fahrsituation ermittelt, wie insbesondere Stadtstrasse, Landstrasse oder Autobahn. Insbesondere bei Dunkelheit, werden die der Fahrsituation entsprechenden und im Fahrzeug bei den Kalibriervorgängen gespeicherten Registrierungs- bzw. Anpassungsparameter von der Überlagerungs- bzw. Ausrichtvorrichtung 105 zur fahrsituationsgerechten Ausrichtung der Abbilder verwendet. So werden insbesondere Schatten- oder Zwillings- bzw. Geisterbilder im fusionierten Bild für die betreffende Fahrsituation weitgehend vermieden.
Alternativ oder ergänzend wird die aktuelle Fahrsituation des Fahrzeugs anhand mindestens einer fahrdynamischen Größe ermittelt. Die der oder den fahrdynamischen Größen zugeordneten und im Fahrzeug gespeicherten Registrierungs- bzw. Anpassungsparametern werden erfindungsgemäß von der Überlagerungs- bzw. Ausrichtvorrichtung 105 zur fahrsituationsgerechten Ausrichtung der Abbilder verwendet. Auch durch diese Maßnahme werden insbesondere Schatten- oder Zwillings- bzw. Geisterbilder im fusionierten Bild für die betreffende Fahrsituation weitgehend vermieden. Bei den fahrdynamischen Größen des Fahrzeugs handelt es sich insbesondere um dessen Geschwindigkeit, die Einschaltung des Abblend- oder Fernlichts oder um dessen positive oder negative Beschleunigung.
Die oben genannte Ausrichtung der normalisierten Abbilder kann in drei Schritte eingeteilt werden: Verschiebung, Drehung und Skalierung. In der Praxis stellte sich heraus, das die Reihenfolge Drehung, Skalierung und Verschiebung die qualitativ besten Resultate lieferte. Da die Reihenfolge dieser Schritte im Allgemeinen nicht kommutativ bzw. vertauschbar ist, sollte darauf geachtet werden, dass die Reihenfolge dieser Schritte bei der Kalibrierung und bei dem nachfolgenden Betrieb des erfindungsgemäßen Nachtsichtsystems dieselbe ist. Ggf. ist die Kalibrier- und/oder Betriebs-Software des Nachtsichtsystems entsprechend zu gestalten.
Die zueinander ausgerichteten Abbilder werden in einer Überlagerungs- bzw. Fusionseinrichtung 106 softwaremäßig durch die Bearbeitung von deren digitalen Daten überlagert bzw. fusioniert. Aus jedem zeit- und ortsgleichen bzw. objektgleichen Bild-Paar aus Visuell-Abbild und Infrarot-Abbild wird ein fusioniertes oder überlagertes Bild generiert, das dem Fahrer des Fahrzeugs bevorzugt auf einem Farb-Monitor im Fahrzeug dargestellt wird.
Bevorzugt erfolgt eine Fusion der zeit- und ortsgleichen Bildpaare aus Visuell-Abbild und Infrarot-Abbild auf der Basis einzelner, einander zugeordneter Pixel-Paare aus beiden Abbildern oder unter Verwendung von mehreren Pixeln aus den beiden Abbildern. Dies kann sich insbesondere daran orientieren, welche Auflösung gewünscht und/oder welche Rechenleistung für die digitale Bildverarbeitung zur Verfügung steht. Die wie beschrieben vorverarbeiteten Abbilder werden durch digitale Verarbeitung von deren Bild-Daten überlagert und angezeigt. Vom Ergebnis her, kann dieser Vorgang annähernd mit dem Übereinanderlegen von Folien oder Dias derselben Szene oder Fahrumgebung verglichen werden. Rechentechnisch bzw. bei der digitalen Bildverarbeitung wird dies durch Mittelwertbildung der Pixelinformationen, wie insbesondere unter Berücksichtigung von deren Helligkeit in den jeweiligen Abbildern und der im Visuell-Abbild und/oder im Infrarot-Abbild enthaltenen Farbinformation, erreicht. Dies muss nicht notwendigerweise Pixel für Pixel erfolgen, sondern kann auch durch Mittelwertbildung für orts- und zeitgleiche Pixelbereiche in beiden Abbildern geschehen.
Ferner kann es sinnvoll sein, die Pixelinformation im Infrarot-Abbild bei der Mittelwertbildung unterschiedlich zur zeit- und ortsgleichen Pixelinformation im Visuell-Abbild zu gewichten. Diese unterschiedliche Gewichtung kann bspw. tageslicht- und/oder witterungsabhängig und/oder in Abhängigkeit vom Scheinwerferlicht des Kraftfahrzeugs und/oder in Abhängigkeit von der Farbe im Visuell-Abbild erfolgen; hierdurch kann bspw. erreicht werden, dass eine rote Ampel im Fusionsbild beson ders deutlich erkennbar ist. Ferner kann die Gewichtung für Teilbereiche des Fusionsbilds, z.B. Unterschied zwischen Vordergrund und Hintergrund, oder das gesamte Fusionsbild manuell durch den Fahrer des Fahrzeugs veränderbar sein.
Durch dieses Vorgehen können einzelne Bildbereiche besonders hervorgehoben werden. So kann beispielsweise der unmittelbare Fahrbereich des Fahrzeugs stärker betont werden, um eine gewisse Führung des Fahrers zu erreichen.
Bei zunehmender Dunkelheit könnte die Gewichtung der Infrarot-Information ggü. der visuellen Information bei der Mittelwertbildung zunehmen. Bei eingeschaltetem Abblendlicht könnte die Gewichtung der Infrarot-Information ggü. der visuellen Information im Vergleich zu eingeschaltetem Fernlicht erhöht sein.
Ebenso könnte der Informationsgehalt eines Bereichs in dem jeweiligen Abbild die Gewichtung mit bestimmen. Ist der Informationsgehalt in einem zeit- und ortsgleichen Bereich des Visuell-Abbilds bspw. deutlich höher als in demselben Bereich des Infrarot-Bereichs, so kann es sinnvoll sein, dies bei der Mittelwertbildung durch eine höhere Gewichtung der Visuell-Information zu berücksichtigen.
Wie bereits beschrieben, müssen die von den Kameras bzw. Sensoren generierten Abbilder vorverarbeitet werden, um entzerrt und objekttreu ausgerichtet zu sein. Um Speicher, der kostenintensiv ist, einzusparen, greift der Software-Algorithmus bevorzugt pixelweise auf die Sensorinformationen der Kameras 101 und 102 zu.
Bei den in 1 dargestellten Vorrichtungen zur digitalen Bildverarbeitung handelt es sich ganz oder teilweise bevorzugt um ein oder mehrere softwaregesteuerte Digital-Prozessoren, die vorzugsweise zur digitalen Bildverarbeitung in Echtzeit optimiert worden sind. Ebenso ist es aber auch denkbar, einen oder mehrere softwaregesteuerte PC-Prozessoren in kostengünstiger Weise zu verwrenden, wenn deren Verarbeitungsgeschwindigkeit eine weitgehende Echtzeitverarbeitung der Abbilder zur Bereitstellung eines Fusions-Bildes mit Visuell- und Infrarot-Informationen gestattet.

Claims

Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, gekennzeichnet durch – die Bereitstellung eines Visuell-Abbilds bzw. von dessen digitalen Daten der Umgebung, bevorzugt eines farbigen Visuell-Abbilds, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt, und – die Bereitstellung eines Infrarot-Abbilds bzw. von dessen digitalen Daten der Umgebung, wobei das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Visuell-Abbild oder das normalisierte Visuell-Abbild ggü. dem Infrarot-Abbild oder dem normalisierten Infrarot-Abbild oder umgekehrt durch die Verarbeitung von digitalen Daten der Abbilder ausgerichtet wird, so dass weitgehend zeitgleiche und ortsgleiche Bild-Paare beider Spektralbereiche bereitgestellt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ortsgleiche Pixel oder Pixelbereiche der weitgehend zeit- und ortsgleichen Abbilder der unterschiedlichen Spektralbereiche durch Verarbeitung von deren digitalen Daten einander überlagert werden bzw. dass eine Mittelwertbildung vorgenommen wird und in einem fusionierten Bild dargestellt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Helligkeitswerte und/oder Farbwerte der Pixel oder Pixelbereiche überlagert bzw. für eine Mittelwertbildung herangezogen werden.
Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass eine gewichtete Überlagerung bzw. Mittelwertbildung für ein oder mehrere weitgehend ortsgleiche Pixel aus dem Visuell-Abbild und dem Infrarot-Abbild vorgenommen wird.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Gewichtung unter Berücksichtigung der Helligkeit und/oder der Sichtbedingungen der Umgebung des Fahrzeugs erfolgt.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass Infrarot-Pixel und Visuell-Pixel oder solche Pixel-Bereiche bei der Überlagerung bzw. Fusion einander zugeordneter Pixel oder Pixel-Bereiche unterschiedlich gewichtet werden.
Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass informationsreiche Gebiete ggü. informationsarmen Gebieten des Visuell-Abbilds und/oder des Infrarot-Abbilds bei der Überlagerung bzw. Mittelwertbildung höher gewichtet werden.
Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die Gewichtung und/oder Überlagerung der spektralen Anteile vom Fahrer im fusionierten Bild umgebungs- bzw. fahrsituationsabhängig manuell eingestellt wird.
Verfahren nach einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass die Gewichtung und/oder Überlagerung der spektralen Anteile durch eine Überlagerungs- bzw. Fusionseinrichtung (106) umgebungs- bzw. fahrsituationsabhängig eingestellt wird, die umgebungs- bzw. fahrsituationsab hängige Parameter bzw. Ausgangssignale von am Fahrzeug angeordneten Sensoren berücksichtigt.
Verfahren nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, dass die umgebungs- oder fahrsituationsabhängige Einstellung für das gesamte fusionierte Bild oder für einen Teilbereich des fusionierten Bilds vorgenommen wird.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die umgebungs- bzw. fahrsituationsabhängige Einstellung von der aktuellen Fahrumgebung abhängt, wie von der Wettersituation, z.B. Nebel und/oder Regen und/oder nasse bzw. spiegelnde Fahrbahn, Abstand zu einem vorausfahrenden Fahrzeug, Stadtfahrt, Landfahrt oder Autobahnfahrt, wobei letztere Informationen beispielsweise anhand eines im Fahrzeug vorgesehenen Navigationssystems unter Verarbeitung von kartografischen Daten ermittelt werden.
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die umgebungs- bzw. fahrsituationsabhängige Einstellung von der aktuellen Umfeldhelligkeit des Fahrzeugs abhängt.
Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die fahrsituationsabhängige Einstellung von den aktuellen fahrdynamischen Größen des Fahrzeugs abhängt, wie insbesondere dessen Geschwindigkeit und/oder dessen Beschleunigung und/oder dessen Lenkwinkel.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Visuell-Abbild bzw. dessen digitale Daten durch eine im visuellen Spektralbereich empfindliche Visuell-Kamera, bevorzugt eine farbempfindliche Visuell-Kamera, oder einen solchen ersten Sensor und das Infrarot-Abbild bzw. dessen digitale Daten durch eine im infraroten Spektralbereich empfindliche Infrarot-Kamera oder einen solchen zweiten Sensor bereitgestellt wird.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Visuell-Kamera oder der erste Sensor bzw. deren Optik eine erste optische Achse und die Infrarot-Kamera oder der zweite optische Sensor bzw. deren Optik eine zweite optische Achse aufweist, die insbesondere parallel zueinander versetzt sind, so dass die Kameras bzw. Sensoren zumindest teilweise unterschiedliche Ausschnitte der Umgebung des Fahrzeugs, d.h. einen ersten und einen zweiten Ausschnitt, bereitstellen.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass der bereitgestellte erste Ausschnitt und der bereitgestellte zweite Ausschnitt ganz oder teilweise durch eine Überlagerungs- bzw. Fusionseinrichtung (106) pixel- und/oder bereichsweise überlagert bzw. fusioniert werden, bei der Fusion mindestens ein entfernungsabhängiger, bevorzugt bei einer Kalibrierung für unterschiedliche Entfernungen gewonnener Anpassungsparameter, wie insbesondere mindestens ein Registrierungs- oder Transformationsparameter, berücksichtigt ist und der oder die Anpassungsparameter bevorzugt bei der Kalibrierung in einem Datenspeicher im Fahrzeug gespeichert werden.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass der mindestens eine entfernungsabhängige Anpassungsparameter durch eine erste Kalibrierung für eine erste Entfernung oder einen ersten Entfernungsbereich und mindestens eine weitere Kalibrierung für mindestens eine weitere Entfernung oder einen weiteren Entfernungsbereich gewonnen wird.
Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass die erste Entfernung bzw. der erste Entfernungsbereich einer für eine Stadtfahrt typischen Fahrsituation entspricht, wie insbesondere ein Entfernungsbereich von ca. 15 bis 75 m.
Verfahren nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass eine zweite Entfernung bzw. ein zweiter Entfernungsbereich einer für eine Landstrassenfahrt typischen Fahrsituation entspricht, wie insbesondere ein Entfernungsbereich von ca. 30 bis 150 m.
Verfahren nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, dass eine dritte Entfernung bzw. ein dritter Entfernungsbereich einer für eine Autobahnfahrt typischen Fahrsituation entspricht, wie insbesondere ein Entfernungsbereich von ca. 50 bis 250 m.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die aktuelle Fahrsituation des Fahrzeugs automatisch ermittelt wird und/oder der Fahrer einen ihm geeignet erscheinenden Anpassungsparameter aus einer Mehrzahl von Anpassungsparametern auswählt und der der aktuellen Fahrsituation entsprechende oder ausgewählte, durch Kalibrierung gewonnene und im Fahrzeug gespeicherte Anpassungsparameter bei der pixel- und/oder bereichsweisen Überlagerung bzw. Fusionierung des Visuell-Abbilds und des Infrarot-Abbilds von der digitalen Fusions-Bildverarbeitung berücksichtigt ist, wodurch bevorzugt ein weitgehend verzerrungsfreies und/oder geisterbildfreies Fusions-Abbild der Umgebung entsteht.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die aktuelle Position des Fahrzeugs automatisch von einem Fahrzeug-Navigationssystem, insbesondere ein Satelliten-Navigationssystem, und die der Position entsprechende Straßenkategorie bzw. Fahrsituation, wie insbesondere Stadtstrasse, Landstrasse oder Autobahn, ermittelt wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrsituation automatisch anhand mindestens einer fahrdynamischen Größe, wie insbesondere die Fahrzeug-Geschwindigkeit und/oder der Betrieb des Abblend- bzw. Fernlichts und/oder die Fahrzeug-Beschleunigung, ermittelt wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die von den visuell sichtbaren Objekten und/oder den weiteren Objekten ausgehende und erfasste Infrarot-Strahlung eine Wellenlänge im Bereich von ca. 7 bis 14 μm, bevorzugt ca. 7,5 – 10,5 μm, aufweist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die von den visuell sichtbaren Objekten und/oder den weiteren Objekten ausgehende und erfasste Infrarot-Strahlung eine Wellenlänge im Bereich von ca. 3 μm bis ca. 5 μm, aufweist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die von den visuell sichtbaren Objekten und/oder den weiteren Objekten ausgehende und erfasste Infrarot-Strahlung eine Wellenlänge im Bereich von ca. 800 nm bis ca. 2,5 μm, aufweist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das in Form von digitalen Daten vorliegende Visuell-Abbild der Umgebung des Fahrzeugs unter Verwendung einer Kalibriervorrichtung normalisiert wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das in Form von digitalen Daten vorliegende Infrarot-Abbild des Ausschnitts der Umgebung unter Verwendung der Kalibriervorrichtung normalisiert wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass von der Kalibriervorrichtung visuell sichtbare Strahlung und Infrarot-Strahlung ausgesandt wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibriervorrichtung mindestens eine Glühlampe aufweist, die im Fall von mehreren Glühlampen vorzugsweise schachbrettartig angeordnet sind.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die digitalen Daten des Visuell-Abbilds und/oder des Infrarot-Abbilds in einem Bilddatenspeicher temporär gespeichert werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiederholrate der Visuell-Kamera oder des ersten Sensors und der Infrarot-Kamera oder des zweiten Sensors zumindest weitgehend identisch sind.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ortsgleiche Pixel oder Pixelbereiche der weitgehend zeit- und ortsgleichen Abbilder der unterschiedlichen Spektralbereiche durch Verarbeitung von deren digitalen Daten einander überlagert werden bzw. dass eine Mittelwertbildung vorgenommen wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Helligkeitswerte und/oder Farbwerte der Pixel oder Pixelbereiche überlagert bzw. für eine Mittelwertbildung herangezogen werden.
Verfahren nach einem der einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine gewichtete Überlagerung bzw. Mittelwertbildung für ein oder mehrere weitgehend ortsgleiche Pixel aus dem Visuell-Abbild und dem Infrarot-Abbild vorgenommen wird.
Vorrichtung (100) zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere während der Dunkelheit, dadurch gekennzeichnet, dass die Vorrichtung ein Verfahren nach einem der Ansprüche 1 bis 36 ausführt.
Vorrichtung nach Anspruch 37, gekennzeichnet durch eine Visuell-Kamera (101), bevorzugt eine farbempfindliche Visuell-Kamera, eine Infrarot-Kamera (102), eine erste Normalisierungsvorichtung (103) zur Normalisierung des von der Visuell-Kamera bereitgestellten, vorzugsweise farbigen visuellen Abbilds des Ausschnitts der Umgebung des Fahrzeugs, eine zweite Normalisierungsvorrichtung (104) zur Normalisierung des von der Infrarot-Kamera (102) bereitgestellten Infrarot-Abbilds des Ausschnitts der Umgebung des Fahrzeugs, eine Ausricht-Vorrichtung (105) zur Erzeugung von weitgehend zeit- und ortsgleichen Bildpaaren aus Visuell-Abbildern und Infrarot-Abbildern sowie eine Fusions- bzw. Überlagerungseinrichtung (106), die die weitgehend zeit- und ortsgleichen Bildpaare pixelweise oder bereichsweise überlagert und/oder Mittelwerte bildet.
Kalibriervorrichtung, dadurch gekennzeichnet, dass sie zur Kalibrierung einer Vorrichtung nach Anspruch 37 oder 38 dient und mindestens eine Strahlungsquelle aufweist, die sowohl visuell sichtbare Strahlung als auch Infrarot-Strahlung abgibt, wie insbesondere eine Glühlampe.