Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umqebunqsabhänqiqer Fusion eines Infrarot- und eines Visuell-Abbilds Method and device for visualizing the surroundings of a vehicle with umqebunqsab dependqiqer fusion of an infrared and a visual image
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung nach dem Oberbegriff des betreffenden unabhängigen Patentanspruchs.The invention relates to a method and a device for visualizing the surroundings of a vehicle and a calibration device for calibrating the device according to the preamble of the relevant independent claim.
Aus der DE 695 06 174 T2 ist ein Nachsichtsystem für ein Fahrzeug bekannt. Das System weist eine Infrarot-Kamera auf, die ein Infrarot-Abbild erzeugt, das die von Personen und Gegenständen ausgehende Wärmestrahlung eines Ausschnitts der Umgebung des Fahrzeugs zeigt. Das Infrarot-Abbild wird über ein Head-up-Display auf den unteren Teil der Windschutzscheibe projiziert und damit dem Fahrer sichtbar gemacht.An inspection system for a vehicle is known from DE 695 06 174 T2. The system has an infrared camera that generates an infrared image that shows the thermal radiation emanating from people and objects from a section of the surroundings of the vehicle. The infrared image is projected onto the lower part of the windshield via a head-up display, making it visible to the driver.
Die Zuordnung von Personen und Objekten im Infrarot-Abbild zu der vor dem Fahrer liegenden, visuell durch die Windschutzscheibe erfassbaren Verkehrssituation ist vom Fahrer zu leisten. Dies ist insbesondere bei Dunkelheit, für die das bekannte System gedacht sein soll, schwierig und oft sogar unmöglich, weil das Infrarot- Abbild Personen und Objekte zeigt, die der Fahrer visuell nicht erkennen kann. Eine exaktere Positionsbestimmung der nur im Infrarot-Abbild erkennbaren Personen und Objekte ist daher regelmäßig nicht möglich und lenkt den Fahrer in gefährlicher Weise ab.The driver is responsible for assigning people and objects in the infrared image to the traffic situation in front of the driver that can be visually recognized by the windshield. This is difficult and often even impossible in the dark, for which the known system is intended, because the infrared image shows people and objects that the driver cannot visually recognize. A more precise determination of the position of the people and objects that can only be seen in the infrared image is therefore not regularly possible and distracts the driver in a dangerous manner.
Die Aufgabe der Erfindung besteht insbesondere in der Angabe eines verbesserten Verfahrens und einer Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, wie insbesondere ein verbessertes Nachtsichtsystem.The object of the invention is, in particular, to provide an improved method and a device for making the surroundings of a vehicle visible, such as, in particular, an improved night vision system.
Die Aufgabe der Erfindung wird durch den entsprechenden, unabhängigen Anspruch verfahrensmäßig bzw. vorrichtungsmäßig gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den zugeordneten, abhängigen Patentansprüchen angegeben.
Ein erster wesentlicher Aspekt der Erfindung besteht in der Anzeige bzw. Sichtbarmachung einer Kombination bzw. Überlagerung eines visuellen Abbilds, nachfolgend Visuell-Abbild genannt, und eines infraroten Abbilds, nachfolgend Infrarot- Abbild genannt, des weitgehend selben Ausschnitts der Umgebung eines Fahrzeugs. Durch diese Überlagerung oder Fusion der Abbilder unterschiedlicher Spektralbereiche derselben Szene, werden die vorstehend beschriebenen Nachteile des Stands der Technik weitgehend beseitigt.The object of the invention is achieved by the corresponding independent claim in terms of method and device. Advantageous refinements of the invention are specified in the associated, dependent patent claims. A first essential aspect of the invention consists in the display or visualization of a combination or superimposition of a visual image, hereinafter referred to as a visual image, and an infrared image, hereinafter referred to as an infrared image, of the largely identical section of the surroundings of a vehicle. This superimposition or fusion of the images of different spectral ranges of the same scene largely eliminates the disadvantages of the prior art described above.
Ein zweiter wesentlicher Aspekt besteht darin, die beiden spektralen Anteile (visueller Anteil und infraroter Anteil) bei der Fusion des jeweiligen visuellen Abbilds und des infraroten Abbilds in Abhängigkeit von der konkreten Fahrsituation im Verhältnis zueinander zu gewichten. Im ersten Extremfall der Gewichtung weist das durch Fusion entstandene Bild weitgehend lediglich die visuelle Information auf, im Regelfall eine Überlagerung aus visueller und infraroter Information und im zweiten Extremfall der Gewichtung weist das durch Fusion entstandene Bild weitgehend lediglich die infrarote Information auf.A second essential aspect is to weight the two spectral components (visual component and infrared component) in relation to each other in the fusion of the respective visual image and the infrared image depending on the specific driving situation. In the first extreme case of weighting, the image created by fusion largely has only the visual information, as a rule an overlay of visual and infrared information, and in the second extreme case of weighting, the image created by fusion largely has only the infrared information.
Wird beispielsweise auf der Landstraße durch ein Abstandsmeßsystem ein voraus- fahrendes Fahrzeug erkannt, z.B. durch ein bekanntes radargestütztes ACC-System (Automatic Cruise Control), ist bei einer Ausführungsform der Erfindung vorgesehen, dieses Fahrzeug bei der Fusion der beiden spektralen Anteile ggü. der Fahrumgebung hervorzuheben, so dass es im Fusionsbild ggü. der Umgebung deutlicher hervortritt. Dies kann beispielsweise geschehen, indem die Gewichtung der beiden spektralen Anteile für den relevanten Bereich ggü. der Fahrumgebung verändert wird; in diesem Beispiel derjenige Bildausschnitt des Fusionsbilds, der das unmittelbar vorausfahrende Fahrzeug zeigt. Am Tage kann beispielsweise die visuelle Information ggü. der infraroten Information höher gewichtet und damit deutlicher im Fusionsbild zur Geltung gebracht werden, während bei Dunkelheit gerade an- dersherum gewichtet wird.If, for example, a vehicle in front is detected by a distance measuring system on the country road, e.g. by a known radar-based ACC system (Automatic Cruise Control), in one embodiment of the invention, this vehicle is compared to the fusion of the two spectral components. to highlight the driving environment so that it is compared to the environment stands out more clearly. This can be done, for example, by weighting the two spectral components for the relevant range against the driving environment is changed; in this example, that image section of the fusion image that shows the vehicle immediately ahead. During the day, for example, the visual information the infrared information is weighted higher and is thus more clearly shown in the fusion image, whereas in the dark weighting is done the other way round.
Fährt das Fahrzeug in einem gut ausgeleuchteten Gebiet, ist bei einer anderen Ausführungsform der Erfindung alternativ oder ergänzend vorgesehen, den visuellen Anteil bzw. die visuelle Information ggü. dem infraroten Anteil bzw. ggü. der infraro-
ten Information höher zu gewichten. Auf dunkler Landstraße und/oder Autobahn wird die Gewichtung alternativ oder ergänzend ggü. der vorgenannten andersherum vorgenommen, so dass die infrarote Information bzw. der infrarote Anteil im Fusionsbild ggü. dem visuellen Anteil deutlicher hervortritt.If the vehicle is traveling in a well-lit area, in another embodiment of the invention it is alternatively or additionally provided to compare the visual portion or the visual information. the infrared portion or compared to the infrared weighting information more. On dark country roads and / or motorways, the weighting is alternatively or additionally compared to made the other way around, so that the infrared information or the infrared portion in the fusion image compared. the visual part stands out more clearly.
Alternativ oder ergänzend ist bei einer weiteren Ausführungsform der Erfindung vorgesehen, auf dunkler Landstraße und/oder Autobahn die infrarote Information von weiter entfernten Objekte ggü. deren visueller Information - im Unterschied zu weniger weit vom Fahrzeug entfernten Objekten - durch deren höhere Gewichtung bei der Fusion hervorzuheben. Ggf. kann das dem Fahrer auf einem Display dargebotene Fusionsbild im Nahbereich einen höheren Anteil an visueller Information und im Fernbereich einen höheren Anteil an infraroter Information aufweisen.As an alternative or in addition, in a further embodiment of the invention it is provided that the infrared information from further away objects on dark country roads and / or highways. to emphasize their visual information - in contrast to objects that are less distant from the vehicle - by their higher weighting during the merger. Possibly. For example, the fusion image presented to the driver on a display may have a higher proportion of visual information in the near range and a higher proportion of infrared information in the far range.
Bei Regen, Nebel oder nasser Fahrbahn ist die Nutzbarkeit des Infrarotkanals bzw. der Infrarot-Information ggü. Normalbedingungen beschränkt. Um einer Verschlechterung des Fusionsbilds durch die allenfalls beschränkt brauchbare Infrarotinformation bei solchen Witterungsverhältnissen entgegen zu wirken, ist alternativ oder ergänzend vorgesehen, den visuellen Anteil ggü. dem infraroten Anteil zu erhöhen, d.h. die Gewichtung der beiden Spektralanteile im Fusionsbild entsprechend in Richtung visueller Information zu verändern.If it is raining, foggy or wet, the usability of the infrared channel or the infrared information is Normal conditions limited. In order to counteract a deterioration of the fusion image due to the possibly limited use of infrared information in such weather conditions, it is alternatively or additionally provided to compare the visual part. to increase the infrared portion, i.e. to change the weighting of the two spectral components in the fusion image accordingly in the direction of visual information.
Zur Erkennung der vorgenannten Witterungsbedingungen kann insbesondere ein Regensensor oder ein Nebelsensor am Fahrzeug vorgesehen sein. Ebenso kann ausgewertet werden, welche Fahrzeugleuchten eingeschaltet sind, wie insbesonde- re die Nebelscheinwerfer. Diese Informationen können jedoch auch durch ein im Fahrzeug vorgesehenes dynamisches Navigationssystem geliefert werden, in das die dynamischen Verkehrs- bzw. Witterungsbedingungen für den gegenwärtigen Aufenthaltsort des Fahrzeugs oder insbesondere vorausschauend für die geplante Fahrtroute übertragen werden. Diese Übertragung kann über ein Mobilfunknetz oder durch eine Fahrzeug-Fahrzeug-Kommunikation erfolgen.In particular, a rain sensor or a fog sensor can be provided on the vehicle to detect the aforementioned weather conditions. It is also possible to evaluate which vehicle lights are switched on, especially the fog lights. However, this information can also be supplied by a dynamic navigation system provided in the vehicle, into which the dynamic traffic or weather conditions for the current location of the vehicle or, in particular, foresightedly for the planned travel route are transmitted. This transmission can take place via a mobile radio network or by vehicle-to-vehicle communication.
Alternativ oder ergänzend ist bei einer Ausführungsform der Erfindung vorgesehen, dass der Fahrer die Gewichtung der beiden spektralen Anteile zueinander im Fusionsbild manuell einstellen und damit an seine Bedürfnisse und speziellen Umstände
optimal anpassen kann. Ein kontinuierlicher Übergang der Darstellung von visueller Information zu Infrarotinformation und umgekehrt ist bei einer Ausführungsform der Erfindung vorgesehen. Dies ermöglicht dem Fahrer, den Zusammenhang zwischen visueller und infraroter Information und den Einfluss auf das Fusionsbild der Fahr- Umgebung durch die Verschiebung zwischen den spektralen Anteilen leichter und schneller nutzbringend im Sinne einer schnelleren und zuverlässigeren Erfassung der Verkehrssituation anzuwenden.As an alternative or in addition, one embodiment of the invention provides that the driver manually set the weighting of the two spectral components to one another in the fusion image and thus to his needs and special circumstances can optimally adapt. A continuous transition from the display of visual information to infrared information and vice versa is provided in one embodiment of the invention. This enables the driver to use the relationship between visual and infrared information and the influence on the fusion image of the driving environment through the shift between the spectral components more easily and quickly in the sense of a faster and more reliable detection of the traffic situation.
Bei einer weiteren Ausführungsform wird dem Fahrer alternativ oder ergänzend eine Vielzahl von Fusionsbildern zur Auswahl eines ihm geeignet erscheinenden Fusionsbilds angeboten, wobei die zur Auswahl angebotenen Fusionsbilder sich in ihrem Verhältnis des Anteils von visueller Information zu Infrarot-Information unterscheiden. Insbesondere kann eine unterschiedliche Gewichtung von visuellem Anteil zu infrarotem Anteil bei der Fusion vorgenommen worden sein.In a further embodiment, the driver is alternatively or additionally offered a large number of fusion images for the selection of a fusion image which seems suitable to him, the fusion images offered for selection differing in their ratio of the proportion of visual information to infrared information. In particular, a different weighting from visual portion to infrared portion may have been made during the fusion.
Bei einer konkreten Ausgestaltung des erfindungsgemäßen Nachtsichtsystems weist die Visuell-Kamera oder der erste Sensor bzw. deren Optik eine erste optische Achse und die Infrarot-Kamera oder der zweite optische Sensor bzw. deren Optik eine zweite optische Achse auf, die räumlich zueinander versetzt sind. Daher erfas- sen die Kameras bzw. Sensoren zumindest teilweise unterschiedliche Ausschnitte der Umgebung des Fahrzeugs, d.h. einen ersten und einen zweiten Ausschnitt. Diese sind zudem entfernungsabhängig. Es versteht sich, dass erfindungsgemäß auch mehr als zwei Infrarot-Kameras bzw. Infrarot-Sensoren, deren Empfindlichkeit unterschiedliche Wellenlängen abdeckt, vorgesehen und die von ihnen gelieferten digitalen Abbilder der Fahrzeug-Umgebung überlagert bzw. fusioniert werden können.In a specific embodiment of the night vision system according to the invention, the visual camera or the first sensor or its optics has a first optical axis and the infrared camera or the second optical sensor or its optics has a second optical axis which are spatially offset from one another. Therefore, the cameras or sensors capture at least partially different sections of the surroundings of the vehicle, i.e. a first and a second section. These are also dependent on the distance. It goes without saying that, according to the invention, more than two infrared cameras or infrared sensors, the sensitivity of which covers different wavelengths, can also be provided and the digital images provided by them can be overlaid or fused to the vehicle environment.
Um ein weitgehend verzerrungsfreies Fusions-Bild zur Darstellung für den Fahrer zu erhalten, ist bei einer Ausführungsform der Erfindung vorgesehen, dass der bereit gestellte erste Ausschnitt und der bereit gestellte zweite Ausschnitt ganz oder teilweise durch eine Überlagerungs- bzw. Fusionseinrichtung pixel- und/oder bereichsweise überlagert bzw. fusioniert werden. Zur Bereitstellung des Fusions-Bilds wird der erste Ausschnitt und/oder der zweite Ausschnitt und/oder das Fusions-Bild bzw.
deren unmittelbare oder bearbeitete digitale Daten durch mindestens einen Anpassungsparameter angepasst.In order to obtain a largely distortion-free fusion image for the driver to view, it is provided in one embodiment of the invention that the first section and the second section provided are wholly or partially pixelated and / or by an overlay or fusion device be overlaid or merged in some areas. To provide the fusion image, the first section and / or the second section and / or the fusion image or whose immediate or edited digital data are adjusted by at least one adjustment parameter.
Dieser oder diese entfernungsabhängigen Parameter werden bevorzugt bei der Ka- librierung des erfindungsgemäßen Kamera- oder Sensorsystems bzw. Nachtsichtsystems für mindestens zwei Entfernungsbereiche bzw. Abstandsbereiche zwischen den Kameras bzw. Sensoren und einer Kalibriervorrichtung ermittelt. Ein wesentliches Ziel ist es, den oder die Anpassungsparameter so einzustellen, dass das bei der Überlagerung bzw. Fusion der Abbilder entstehende Fusionsbild von Objekten im betreffenden Entfernungsbereich weitgehend verzerrungsfrei ist, wie insbesondere frei von Geister- bzw. Doppelbildern. Bei dem oder den Anpassungsparametern handelt es sich erfindungsgemäß insbesondere um mindestens einen Registrie- rungs- oder Transformationsparameter. Ein ähnlicher Parameter ist z.B. aus der Registrierung eines digitalen Bildverarbeitungssystems und damit vorgenommenen Überlagerungen von zwei Bildern bekannt. Der oder die fahrsituations- bzw. entfernungsabhängigen Anpassungsparameter werden bevorzugt bei der Kalibrierung in einem Datenspeicher im Fahrzeug gespeichert.This or these distance-dependent parameters are preferably determined during the calibration of the camera or sensor system or night vision system according to the invention for at least two distance ranges or distance ranges between the cameras or sensors and a calibration device. An essential goal is to set the adjustment parameter (s) in such a way that the fusion image of objects in the relevant distance range that is created when the images are superimposed or fused is largely free of distortion, in particular free of ghost or double images. According to the invention, the adaptation parameter or parameters are in particular at least one registration or transformation parameter. A similar parameter is e.g. known from the registration of a digital image processing system and thus made overlays of two images. The adjustment parameter or parameters dependent on the driving situation or distance are preferably stored in a data memory in the vehicle during calibration.
Bei einer bevorzugten Ausführungsform der Erfindung entspricht ein erster Entfer- nungsbereich einer für eine Stadtfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbereich von ca. 15 bis 75 m.In a preferred embodiment of the invention, a first distance range corresponds to a driving situation typical of a city trip, such as in particular a distance range of approximately 15 to 75 m.
Alternativ oder ergänzend entspricht ein zweiter Entfernungsbereich einer für eine Landstrassenfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbe- reich von ca. 30 bis 150 m.Alternatively or in addition, a second distance range corresponds to a driving situation typical for a country road trip, such as in particular a distance range of approximately 30 to 150 m.
Alternativ oder ergänzend entspricht ein dritter Entfernungsbereich einer für eine Autobahnfahrt typischen Fahrsituation, wie insbesondere ein Entfernungsbereich von ca. 50 bis 250 m.As an alternative or in addition, a third distance range corresponds to a driving situation typical for a motorway trip, such as in particular a distance range of approximately 50 to 250 m.
Es versteht sich, dass alternativ oder ergänzend zu den vorgenannten entfernungsabhängigen oder entfernungsbereichsabhängigen Anpassungsparametern auch andere fahrsituationsabhängige Anpassungsparameter insbesondere mit dem vorgenannten Ziel ermittelt werden können. Hierbei kann es sich beispielsweise um
geeignete Anpassungsparameter für Fahrten bei tief stehender Sonne, im Nebel, bei einsetzender Dunkelheit oder bei Dunkelheit handeln.It goes without saying that, as an alternative or in addition to the aforementioned distance-dependent or distance-range-dependent adaptation parameters, other driving situation-dependent adaptation parameters can also be determined, in particular with the aforementioned objective. This can be, for example Use suitable adjustment parameters for driving in the low sun, in the fog, when it gets dark or when it is dark.
Ein weiterer wesentlicher Aspekt der Erfindung besteht darin, die aktuelle Fahrsitua- tion des Fahrzeugs automatisch zu ermitteln und den oder die der aktuellen Fahrsituation bzw. Umgebungssituation entsprechenden, insbesondere durch Kalibrierung gewonnenen und im Fahrzeug gespeicherten Anpassungsparameter zur Verwendung durch die erfindungsgemäße Ausricht-Vorrichtung oder durch die Überlage- rungs- bzw. Fusionseinrichtung bereitzustellen. Die Überlagerungs- bzw. Fusions- einrichtung führt eine pixel- und/oder bereichsweise Überlagerung bzw. Fusionierung des in Form von digitalen Daten vorliegenden Visuell-Abbilds und des Infrarot- Abbilds durch, wobei ein oder mehrere entfernungsabhängige Anpassungsparameter das Infrarot-Abbild und/oder das Visuell-Abbild und/oder das Fusions-Bild derart beeinflussen, dass bevorzugt ein weitgehend verzerrungsfreies und/oder geisterbild- freies Fusions-Abbild der Umgebung für den Fahrer bereitgestellt wird.A further essential aspect of the invention consists in automatically determining the current driving situation of the vehicle and the adaptation parameter or parameters corresponding to the current driving situation or environmental situation, in particular obtained by calibration and stored in the vehicle, for use by the alignment device according to the invention or by to provide the superposition or fusion device. The superimposition or fusion device carries out a pixel and / or area-wise superimposition or fusion of the visual image and the infrared image present in the form of digital data, one or more distance-dependent adaptation parameters of the infrared image and / or influence the visual image and / or the fusion image such that a largely distortion-free and / or ghost-free fusion image of the surroundings is preferably provided for the driver.
Alternativ oder ergänzend zur vorgenannten automatischen Ermittlung, ist bei einer Ausführungsform der Erfindung vorgesehen, dass der Fahrer ihm geeignet erscheinende, insbesondere durch Kalibrierung gewonnene und im Fahrzeug gespeicherte Anpassungsparameter zur Verwendung durch die erfindungsgemäße Ausricht- Vorrichtung oder durch die Überlagerungs- bzw. Fusionseinrichtung auswählt. So können dem Fahrer beispielsweise der oder die Anpassungsparameter für eine Stadtfahrt typische, eine Landstrassenfahrt typische, eine Autobahnfahrt typische Fahrsituation und/oder ggf. für weitere Fahrsituationen zur Auswahl angeboten wer- den, z.B. in Form einer manuellen Auswahlmöglichkeit oder durch Spracheingabe. Hierdurch wird der Fahrer auch ohne im Fahrzeug befindliches Fahrzeug- Navigationssystem in die Lage versetzt, ein weitgehend verzerrungsfreies bzw. doppelbildfreies Fusions-Bild selbst herbeizuführen. Zudem wird dem Fahrer dadurch die Möglichkeit eröffnet, sich ggf. über eine automatische Auswahl hinwegzu- setzen. Ebenso kann dem Fahrer die Möglichkeit gegeben werden, einen oder mehrere Anpassungsparameter auszuwählen, die ihm die nähere Umgebung seines Fahrzeugs verzerrungsfrei im Fusions-Bild darstellen, z.B. Entfernungen bis zu 20 m von seinem Fahrzeug. Diese Auswahl kann vom Fahrer beispielsweise dann vorgenommen werden, wenn er im Dunkeln an seine Garage heranfährt und über die
Infrarot-Information im Fusions-Bild in Erfahrung bringen will, ob ihm hinter einem Gebüsch aufgelauert wird.As an alternative or in addition to the aforementioned automatic determination, one embodiment of the invention provides that the driver selects adaptation parameters that appear suitable to him, in particular obtained by calibration and stored in the vehicle, for use by the alignment device according to the invention or by the superimposition or fusion device. For example, the driver or the adaptation parameters for a city trip, a country road trip, a highway trip typical driving situation and / or possibly for other driving situations can be offered for selection, for example in the form of a manual selection option or by voice input. This enables the driver to produce a largely distortion-free or double-image-free fusion image even without a vehicle navigation system in the vehicle. This also gives the driver the option of overriding an automatic selection if necessary. Likewise, the driver can be given the opportunity to select one or more adaptation parameters which present the immediate surroundings of his vehicle in the fusion image without distortion, for example distances up to 20 m from his vehicle. This selection can be made by the driver, for example, when he approaches his garage in the dark and via the Wants to find out infrared information in the fusion image whether it is lurking behind a bush.
Bei einer bevorzugten Ausführungsform der Erfindung, wird die aktuelle Position des Fahrzeugs von einem Fahrzeug-Navigationssystem, insbesondere ein Satelliten-Navigationssystem, bestimmt. Anhand der Position wird von dem im Fahrzeug befindlichen Navigationssystem durch Vergleich mit digitalen Kartendaten automatisch die entsprechende Straßenkategorie bzw. Fahrsituation, wie insbesondere Stadtstrasse, Landstrasse oder Autobahn, ermittelt. Solche Fahrzeug- Navigationssysteme sind bereits heute in zahlreichen Fahrzeugen zum Zweck der Routenführung etc. vorhanden und können ohne großen Aufwand zur vorgenanten automatischen, fahrsituations- und umgebungsabhängigen Optimierung der fusionierten Abbilder der Umgebung des Fahrzeugs genutzt werden.In a preferred embodiment of the invention, the current position of the vehicle is determined by a vehicle navigation system, in particular a satellite navigation system. Based on the position, the corresponding road category or driving situation, such as in particular city street, country road or motorway, is automatically determined by the navigation system in the vehicle by comparison with digital map data. Such vehicle navigation systems are already present in numerous vehicles for the purpose of route guidance etc. and can be used without great effort for the aforementioned automatic, driving situation and environment-dependent optimization of the merged images of the surroundings of the vehicle.
Alternativ oder ergänzend ist bei einer weiteren Ausführungsform der Erfindung vorgesehen, dass die Fahrsituation anhand mindestens einer fahrdynamischen Größe, wie insbesondere die Fahrzeug-Geschwindigkeit und/oder der Betrieb des Abblendbzw. Fernlichts und/oder die Fahrzeug-Beschleunigung und/oder Helligkeit und/oder Nebel, ermittelt wird. Diese Informationen können bereits in heutigen Fahrzeugen ganz oder teilweise von deren Bordnetz zur Verfügung gestellt werden, ohne dass ein größerer Aufwand erforderlich ist.Alternatively or additionally, it is provided in a further embodiment of the invention that the driving situation is based on at least one driving dynamic variable, such as in particular the vehicle speed and / or the operation of the dimming or High beam and / or vehicle acceleration and / or brightness and / or fog is determined. In today's vehicles, this information can already be made available in whole or in part from their vehicle electrical system, without any major effort being required.
Bei einer bevorzugten Ausführungsform der Erfindung wird ein farbiges visuelles Abbild mit dem Infrarot-Abbild fusioniert bzw. kombiniert oder überlagert. Im Unter- schied zu einem schwarzweißen Visuell-Abbild, entsteht ein fusioniertes Bild, das Farbinformationen des Visuell-Abbilds enthält, wie rote Bremsleuchten eines vorausfahrenden Fahrzeugs, eine rote Ampel, ein farbiges Verkehrsschild oder dgl. Die Farbinformation im fusionierten Bild erleichtert dem Fahrer eines entsprechend ausgestatteten Fahrzeugs die schnelle Orientierung und Erfassung der im fusionier- ten Bild dargestellten Verkehrssituation. Die Farbinformation verringert zudem die Gefahr, das farbige Warnhinweise (rote Ampel etc.) übersehen werden.In a preferred embodiment of the invention, a colored visual image is fused or combined or overlaid with the infrared image. In contrast to a black and white visual image, a merged image is created that contains color information of the visual image, such as red brake lights of a vehicle in front, a red traffic light, a colored traffic sign or the like. The color information in the merged image makes it easier for the driver appropriately equipped vehicle for quick orientation and detection of the traffic situation shown in the merged image. The color information also reduces the risk that colored warnings (red traffic lights, etc.) are overlooked.
Zusammengefasst werden die Abbilder der Umgebung bzw. Szene für unterschiedliche Spektralbereiche jeweils von Störeinflüssen, wie Verzerrungen des Infrarot-
bzw. Visuell-Abbilds, insbesondere aufgrund von Abbildungsfehlern der jeweils verwendeten Optik usw., befreit. Dies geschieht bevorzugt softwaremäßig durch bekannte Maßnahmen zur Aufbereitung von digitalisierten Bildern. Die von Störeinflüssen weitgehend befreiten Abbilder bzw. deren digitale Bild-Daten werden bevorzugt durch digitale Bildverarbeitung zueinander ausgerichtet bzw. zur Deckung gebracht, so dass weitgehend zeit- und ortsgleiche Bild-Paare aus Infrarot- und Visuell-Abbild bzw. von deren digitalen Daten vorliegen. Dies geschieht erfindungsgemäß unter Verwendung von mindestens einem entfernungsabhängigen und/oder fahrsituati- onsabhängigen Anpassungsparameter zur Herbeiführung eines verzerrungsfreien Fusions-Bildes. Die verwendete Software und Hardware zur digitalen Bildverarbeitung erlaubt vorzugsweise eine Verschiebung, Drehung und Skalierung der Abbilder relativ zueinander. Durch diese Aufbereitung kann der nachfolgende Hardwareaufwand zur Überlagerung bzw. Fusion der Abbilder aus den unterschiedlichen Spektralbereichen in kostengünstiger Weise - trotz weitgehender Echtzeit-Verarbeitung zeit- und ortsgleicher Bild-Paare - minimiert werden.The images of the environment or scene for different spectral ranges are summarized by interferences, such as distortions of the infrared or visual image, especially due to aberrations of the optics used, etc., exempted. This is preferably done in software by known measures for the preparation of digitized images. The images, largely free of interference, or their digital image data are preferably aligned with one another or made to coincide with one another by digital image processing, so that image pairs from the infrared and visual image or from their digital data are present that are largely identical in time and location , This is done according to the invention using at least one distance-dependent and / or driving situation-dependent adaptation parameter for producing a distortion-free fusion image. The software and hardware used for digital image processing preferably allows the images to be shifted, rotated and scaled relative to one another. With this preparation, the subsequent hardware expenditure for superimposing or fusing the images from the different spectral ranges can be minimized in a cost-effective manner - despite extensive real-time processing of image pairs of the same time and location.
Gemäß einer bevorzugten Ausführungsform der Erfindung, werden die Infrarot- Abbilder und die Visuell-Abbilder mit jeweils gleicher Bildwiederholrate, bevorzugt von ein oder zwei Kameras oder Sensoren für diese Spektralbereiche, erzeugt. Hierdurch können in besonders einfacher Weise zeitgleiche Bild-Paare aus Infrarot- Abbild und Visuell-Abbild erzeugt werden, was den Software- und Hardware- Aufwand für die nachfolgende, erfindungsgemäße Überlagerung bzw. Fusion beider Abbilder - weitgehend in Echtzeit - erheblich vermindert. Die Verarbeitungsgeschwindigkeit der Bild-Paare steigt; die Kosten für Halbleiter-Speicher zur Zwi- schenspeicherung der Abbilder werden minimiert.According to a preferred embodiment of the invention, the infrared images and the visual images are each generated with the same refresh rate, preferably by one or two cameras or sensors for these spectral ranges. As a result, simultaneous image pairs can be generated from the infrared image and the visual image in a particularly simple manner, which considerably reduces the software and hardware outlay for the subsequent overlaying or fusion of the two images according to the invention — largely in real time. The processing speed of the image pairs increases; the costs for semiconductor memory for intermediate storage of the images are minimized.
Bei einer bevorzugten Ausführungsform der Erfindung, zeigt das Infrarot-Abbild die von Personen und Objekten abgegebene Infrarot-Strahlung bzw. Wärmestrahlung, die im Wellenlängenbereich von ca. 8 bis 14 μm liegt. Bevorzugt wird eine IR- Kamera oder ein IR-Sensor verwendet, die oder der im Bereich von ca. 8 bis 10 μm empfindlich ist. Damit kann in vorteilhafter Weise auf einen Infrarot-Strahler bzw. eine solche Beleuchtung (typischer Wellenlängenbereich von ca. 800 nm bis 2,5 μm) für die Fahrzeugumgebung verzichtet werden. Eine wechselseitige Blendung entgegenkommender Fahrzeuge, die in bekannter Weise jeweils mit einer Infrarot-
Beleuchtung versehen sind, tritt nicht auf. Ebenso ist das erfindungsgemäße Infrarot-Abbild nicht auf die Reichweite einer Infrarot-Beleuchtung beschränkt.In a preferred embodiment of the invention, the infrared image shows the infrared radiation or heat radiation emitted by people and objects, which lies in the wavelength range from approximately 8 to 14 μm. An IR camera or an IR sensor that is sensitive in the range of approximately 8 to 10 μm is preferably used. It is therefore advantageously possible to dispense with an infrared radiator or such illumination (typical wavelength range from approximately 800 nm to 2.5 μm) for the vehicle environment. A mutual glare of oncoming vehicles, each with an infrared Lighting is not provided. Likewise, the infrared image according to the invention is not limited to the range of infrared lighting.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels näher erläutert. Es zeigt:The invention is explained in more detail below using an exemplary embodiment. It shows:
Fig. 1 das Blockschaltbild einer erfindungsgemäßen Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs bzw. ein Nachtsichtsystem, anhand dem das erfindungsgemäße Verfahren zur Sichtbarmachung beschrieben wird.1 shows the block diagram of a device according to the invention for visualizing a section of the surroundings of a vehicle or a night vision system, on the basis of which the method for visualizing according to the invention is described.
Die in Fig. 1 als Blockschaltbild dargestellte, erfindungsgemäße Vorrichtung bzw. das Nachtsichtsystem 100 weist eine im visuellen Spektralbereich aufnehmende elektronische, hier sogenannte Visuell-Kamera 101 , z. B. ein CCD-Sensor, eine im infraroten Spektralbereich von ca. 8 bis 10 μm empfindliche elektronische Infrarot- Kamera 102, z. B. ein IR-Sensor, eine erste Normalisierungsvorrichtung 103, eine zweite Normalisierungsvorrichtung 104, eine Ausricht-Vorrichtung 105 und eine Ü- berlagerungs- bzw. Fusionseinrichtung 106 auf. Die Visuell-Kamera 101 liefert ein farbiges, visuelles Abbild.The device according to the invention and the night vision system 100 shown as a block diagram in FIG. 1 has an electronic, so-called visual camera 101, z. B. a CCD sensor, in the infrared spectral range of about 8 to 10 microns sensitive electronic infrared camera 102, z. B. an IR sensor, a first normalization device 103, a second normalization device 104, an alignment device 105 and an overlay or fusion device 106. The visual camera 101 provides a colored, visual image.
Die optischen Achsen der Kameras 101 und 102 sind bevorzugt parallel zueinander ausgerichtet, wodurch der Parallaxenfehler minimiert werden kann, und liegen bevorzugt nahe beieinander, wodurch Versetzungsfehler minimiert werden. Die Bildebenen beider Kameras oder Sensoren werden bevorzugt parallel zueinander und senkrecht zur optischen Achse ausgerichtet und liegen nahe beieinander. Die fotoempfindlichen Sensorflächen beider Kameras bzw. Sensoren sind bevorzugt relativ zueinander weder verdreht noch gekippt, sondern weitgehend parallel zueinander angeordnet. Beide Kameras oder Sensoren haben bevorzugt zudem denselben Öffnungswinkel. Durch diese Maßnahmen kann erreicht werden, das die Kameras oder Sensoren Abbilder unterschiedlicher Spektralbereiche liefern, die weitgehend denselben Ausschnitt der Umgebung zeigen und relativ zueinander und zur tatsächlichen Situation nicht verdreht sind. Hierdurch kann der Aufwand für eine Bearbeitung der Abbilder zur Bereitstellung eines fusionierten Bilds aus beiden Abbildern und damit der Hardware- und Software-Aufwand deutlich verringert werden.
Die optischen Oberflächen der Kameras werden bevorzugt hydrophob beschichtet und bevorzugt ist zu ihrer Reinigung eine Hochdruckdüse oder dgl. vorgesehen, wie sie bereits zur Scheinwerfer-Reinigung üblich ist. Beide Kameras werden bevorzugt in einem gemeinsamen Gehäuse eingebaut (Montagefreundlichkeit, Gesamtausrichtung zur Fahrzeugachse, keine Verschiebung optischer Parameter der Kameras untereinander). Am Gehäuse der Kameras sind bevorzugt Befestigungen angeordnet, die einen vibrationsarmen Betrieb der Kameras am oder im Fahrzeug gewährleisten. Für den Betrieb der Kameras sind Anschlüsse für die Betriebsspannung vorgesehen. Die Betriebsspannung der Kameras sollte flexibel an die jeweilige Bordnetzspannung, wie z. B. 12 Volt und/oder 42 Volt, anpassbar sein. Um die E- lektronik und die Sensoren der Kameras vor Beschädigungen zu schützen, ist im Betriebsspannungszweig bevorzugt eine Überlastsicherung und ein Verpolungs- schutz eingebracht. Die Ausgabe der von den Kameras oder Sensoren generierten Videosignale (Spektralbereiche getrennt oder bereits fusioniert) sollte sich an einem Standard orientieren (z. B. NTSC, PAL, SECAM oder eigener Standard). Als Digital/Analogumsetzer können vorhandene Halbleiterelemente verwendet werden. Die Kameras oder Sensoren können zur Sichtbarmachung der Fahrumgebung vor, hinter und seitlich vom Fahrzeug angebracht werden.The optical axes of the cameras 101 and 102 are preferably aligned parallel to one another, as a result of which the parallax error can be minimized, and are preferably close to one another, as a result of which displacement errors are minimized. The image planes of both cameras or sensors are preferably aligned parallel to one another and perpendicular to the optical axis and are close to one another. The photosensitive sensor surfaces of both cameras or sensors are preferably neither rotated nor tilted relative to one another, but rather are arranged largely parallel to one another. Both cameras or sensors preferably also have the same aperture angle. Through these measures it can be achieved that the cameras or sensors provide images of different spectral ranges, which largely show the same section of the surroundings and are not twisted relative to one another and to the actual situation. As a result, the effort for processing the images to provide a merged image from both images and thus the hardware and software effort can be significantly reduced. The optical surfaces of the cameras are preferably coated hydrophobically and a high-pressure nozzle or the like is preferably provided for their cleaning, as is already customary for headlight cleaning. Both cameras are preferably installed in a common housing (easy to install, overall alignment to the vehicle axis, no shifting of the optical parameters of the cameras among each other). Fastenings are preferably arranged on the housing of the cameras, which ensure low-vibration operation of the cameras on or in the vehicle. Connections for the operating voltage are provided for the operation of the cameras. The operating voltage of the cameras should be flexible to the respective electrical system voltage, such as. B. 12 volts and / or 42 volts, be customizable. In order to protect the electronics and the sensors of the cameras from damage, an overload protection and reverse polarity protection are preferably incorporated in the operating voltage branch. The output of the video signals generated by the cameras or sensors (spectral ranges separated or already merged) should be based on a standard (e.g. NTSC, PAL, SECAM or your own standard). Existing semiconductor elements can be used as digital / analog converters. The cameras or sensors can be installed in front of, behind and to the side of the vehicle to make the driving environment visible.
Im Folgenden wird die Kalibrierung des Nachtsichtsystems bzw. der Vorrichtung 100 näher beschrieben. Zur Kalibrierung wird eine erfindungsgemäße Kalibriervorrichtung (nicht dargestellt) verwendet. Diese weist mehrere Glühlampen auf, die bevorzugt schachbrettartig angeordnet sind. Glühlampen zeichnen sich dadurch aus, dass sie sowohl Wärmestrahlung als auch visuell sichtbare Strahlung abgeben. Bevorzugt wird eine mit mehreren Glühlampen versehene Platte oder dgl. nacheinander in verschiedenen Abstandsbereichen vor den beiden Kameras bzw. Sensoren 101 und 102 angeordnet. Bei den Abstandsbereichen handelt es sich um typische ungebungs- oder fahrsituationsabhängige Abstandsbereiche, was nachfolgend nä- her erläutert werden wird.The calibration of the night vision system or the device 100 is described in more detail below. A calibration device (not shown) according to the invention is used for calibration. This has several light bulbs, which are preferably arranged in a checkerboard fashion. Incandescent lamps are characterized by the fact that they emit both heat radiation and visually visible radiation. A plate or the like provided with a plurality of incandescent lamps is preferably arranged in succession in different spacing areas in front of the two cameras or sensors 101 and 102. The distance areas are typical distance areas depending on the situation or driving situation, which will be explained in more detail below.
Die vor den Kameras 101 und 102 befindliche Kalibriervorrichtung, die bevorzugt in dunkler Umgebung und nicht in der Nachbarschaft von Wärmequellen angeordnet ist, erzeugt in der Visuell-Kamera 101 ein (sogenanntes) Visuell-Abbild, das die
schachbrettartig angeordneten Glühlampen zeigt, wie sie auch das menschliche Auge sieht. Ferner erzeugt die Kalibriervorrichtung in der Infrarot-Kamera 102 ein Wärmebild, das ebenfalls die Anordnung der Glühlampen zeigt. Typischerweise zeigt sowohl das Visuell-Abbild als auch das sog. Infrarot-Abbild, insbesondere aufgrund von optischen Abbildungsfehlern etc., Verzeichnungen an den Rändern des jeweiligen Abbilds. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Visuell-Abbild durch eine erste Normalisierungsvorrichtung 103 weitgehend beseitigt. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Infrarot-Abbild durch eine zweite Normalisierungsvorrichtung 104 weitge- hend beseitigt. Die Normalisierung bzw. Fehlerbeseitigung erfolgt bevorzugt durch bekannte, softwaremäßige Maßnahmen an den digitalen Daten der Abbilder (digitale Bildverarbeitung) unter Verwendung von Kalibrierungsparametern 107 für das Visuell-Abbild und Kalibrierungsparametern 108 für das Infrarot-Abbild.The calibration device located in front of the cameras 101 and 102, which is preferably arranged in a dark environment and not in the vicinity of heat sources, generates a (so-called) visual image in the visual camera 101 that the Incandescent lamps arranged like a checkerboard show how they are seen by the human eye. Furthermore, the calibration device in the infrared camera 102 generates a thermal image which also shows the arrangement of the incandescent lamps. Typically, both the visual image and the so-called infrared image, particularly due to optical imaging errors etc., show distortions at the edges of the respective image. In a known manner, the distortions or imaging errors in the visual image are largely eliminated by a first normalization device 103. In a known manner, the distortions or imaging errors in the infrared image are largely eliminated by a second normalization device 104. The normalization or troubleshooting is preferably carried out by known software measures on the digital data of the images (digital image processing) using calibration parameters 107 for the visual image and calibration parameters 108 for the infrared image.
Die normalisierten bzw. weitgehend von Störungen etc. befreiten Abbilder bzw. deren digitale Daten werden durch einen an sich in der digitalen Bildverarbeitung bekannten Registrierungsvorgang zueinander durch eine Ausricht-Vorrichtung 105 unter Verwendung von Registrierungsparametern 109 ausgerichtet. Bei dem Ausrichtvorgang bleibt bevorzugt eines der Abbilder unverändert und dient als Referenz für das andere Abbild. Das zweite Abbild wird in Größe und Lage so verändert, dass ein weitgehend objektgleiches Abbild relativ zum ersten Abbild entsteht.The normalized images or their digital data, which are largely freed from interference etc., are aligned with one another by a registration process known per se in digital image processing, using an alignment device 105 using registration parameters 109. During the alignment process, one of the images preferably remains unchanged and serves as a reference for the other image. The second image is changed in size and position in such a way that a largely object-like image is created relative to the first image.
Die normalisierten Abbilder werden also so relativ zueinander ausgerichtet, dass ein und dasselbe Objekt an weitgehend gleicher Stelle und in weitgehend gleicher Grö- ße im fusionierten Bild erscheint. Wird dieser Vorverarbeitungsschritt nicht ausgeführt, entstehen aufgrund unterschiedlicher Kamerageometrien und des Kameraversatzes Schatten- oder Zwillingsbilder. Das bedeutet, dass ein Objekt an zwei Orten und in unterschiedlichen Größen im fusionierten Bild erscheint. Der Betrachter wird von solch einem Bild eher irritiert, als dass ihm Orientierung gegeben wird.The normalized images are thus aligned relative to one another in such a way that one and the same object appears in the merged image at largely the same location and in largely the same size. If this preprocessing step is not carried out, shadow or twin images are created due to different camera geometries and the camera offset. This means that an object appears in two locations and in different sizes in the merged image. The viewer is irritated by such a picture rather than being given orientation.
Zur umgebungs- bzw. fahrsituationsabhängigen Optimierung der pixelgenauen oder bereichsgenauen Fusion, wird zunächst ein erster Registrierungsvorgang für eine stadtfahrt-typische Fahrsituation durchgeführt. Der Abstand zwischen der Kalibriervorrichtung und den Kameras 101 und 102 wird hierzu beispielsweise im Bereich
von ca. 15 bis 75 m variiert und der oder die für diesen Abstandsbereich geeigneten Registrierungsparameter werden ermittelt und gespeichert. In entsprechender Weise wird ein zweiter Registrierungsvorgang für eine landstrassen-typische Fahrsituation, d.h. beispielsweise ein Bereich von ca. 30 bis 150 m, durchgeführt. Schließlich wird in entsprechender Weise ein dritter Registrierungsvorgang für eine autobahntypische Fahrsituation, d.h. beispielsweise im Bereich von ca. 50 bis 250 m, durchgeführt.To optimize the pixel-precise or area-specific fusion depending on the environment or driving situation, a first registration process is carried out for a driving situation typical of city driving. For this purpose, the distance between the calibration device and the cameras 101 and 102 is, for example, in the range varies from approx. 15 to 75 m and the registration parameter or parameters suitable for this distance range are determined and stored. In a corresponding manner, a second registration process is carried out for a driving situation typical of country roads, ie, for example, a range of approximately 30 to 150 m. Finally, a third registration process is carried out in a corresponding manner for a typical driving situation, that is to say, for example, in the range from approximately 50 to 250 m.
Unter Verwendung der von einem Fahrzeug-Navigationssystem (nicht dargestellt) bereitgestellten, aktuellen Positionsdaten wird von dem System anhand von digitalen Kartendaten die der Position des Fahrzeugs entsprechende Straßenkategorie bzw. Fahrsituation ermittelt, wie insbesondere Stadtstrasse, Landstrasse oder Autobahn. Insbesondere bei Dunkelheit, werden die der Fahrsituation entsprechenden und im Fahrzeug bei den Kalibriervorgängen gespeicherten Registrierungs- bzw. Anpassungsparameter von der Überlagerungs- bzw. Ausrichtvorrichtung 105 zur fahrsituationsgerechten Ausrichtung der Abbilder verwendet. So werden insbesondere Schatten- oder Zwillings- bzw. Geisterbilder im fusionierten Bild für die betreffende Fahrsituation weitgehend vermieden.Using the current position data provided by a vehicle navigation system (not shown), the system uses digital map data to determine the road category or driving situation corresponding to the position of the vehicle, such as, in particular, city street, country road or motorway. In the dark, in particular, the registration or adaptation parameters corresponding to the driving situation and stored in the vehicle during the calibration processes are used by the superimposition or alignment device 105 for the alignment of the images in accordance with the driving situation. In particular, shadow or twin or ghost images are largely avoided in the merged image for the driving situation in question.
Alternativ oder ergänzend wird die aktuelle Fahrsituation des Fahrzeugs anhand mindestens einer fahrdynamischen Größe ermittelt. Die der oder den fahrdynamischen Größen zugeordneten und im Fahrzeug gespeicherten Registrierungs- bzw. Anpassungsparametern werden erfindungsgemäß von der Überlagerungs- bzw. Ausrichtvorrichtung 105 zur fahrsituationsgerechten Ausrichtung der Abbilder ver- wendet. Auch durch diese Maßnahme werden insbesondere Schatten- oder Zwillings- bzw. Geisterbilder im fusionierten Bild für die betreffende Fahrsituation weitgehend vermieden. Bei den fahrdynamischen Größen des Fahrzeugs handelt es sich insbesondere um dessen Geschwindigkeit, die Einschaltung des Abblend- oder Fernlichts oder um dessen positive oder negative Beschleunigung.As an alternative or in addition, the current driving situation of the vehicle is determined on the basis of at least one driving dynamics variable. According to the invention, the registration or adaptation parameters assigned to the one or more dynamic driving variables and stored in the vehicle are used by the superimposition or alignment device 105 for the alignment of the images in accordance with the driving situation. This measure also largely avoids, in particular, shadow or twin or ghost images in the merged image for the driving situation in question. The driving dynamics of the vehicle are, in particular, its speed, the activation of the low or high beam or its positive or negative acceleration.
Die oben genannte Ausrichtung der normalisierten Abbilder kann in drei Schritte eingeteilt werden: Verschiebung, Drehung und Skalierung. In der Praxis stellte sich heraus, das die Reihenfolge Drehung, Skalierung und Verschiebung die qualitativ besten Resultate lieferte. Da die Reihenfolge dieser Schritte im Allgemeinen nicht
kommutativ bzw. vertauschbar ist, sollte darauf geachtet werden, dass die Reihenfolge dieser Schritte bei der Kalibrierung und bei dem nachfolgenden Betrieb des erfindungsgemäßen Nachtsichtsystems dieselbe ist. Ggf. ist die Kalibrier- und/oder Betriebs-Software des Nachtsichtsystems entsprechend zu gestalten.The above orientation of the normalized images can be divided into three steps: displacement, rotation and scaling. In practice it turned out that the sequence rotation, scaling and displacement gave the best qualitative results. Because the order of these steps is generally not commutative or interchangeable, care should be taken to ensure that the sequence of these steps during calibration and during subsequent operation of the night vision system according to the invention is the same. Possibly. the calibration and / or operating software of the night vision system must be designed accordingly.
Die zueinander ausgerichteten Abbilder werden in einer Überlagerungs- bzw. Fusionseinrichtung 106 softwaremäßig durch die Bearbeitung von deren digitalen Daten überlagert bzw. fusioniert. Aus jedem zeit- und ortsgleichen bzw. objektgleichen Bild-Paar aus Visuell-Abbild und Infrarot-Abbild wird ein fusioniert.es oder überlager- tes Bild generiert, das dem Fahrer des Fahrzeugs bevorzugt auf einem Farb-Monitor im Fahrzeug dargestellt wird.The mutually aligned images are software-superimposed or fused in a superimposition or fusion device 106 by processing their digital data. A fused or overlaid image is generated from each pair of images of the visual image and the infrared image, which are the same or the same object, and which is preferably displayed to the driver of the vehicle on a color monitor in the vehicle.
Bevorzugt erfolgt eine Fusion der zeit- und ortsgleichen Bildpaare aus Visuell-Abbild und Infrarot-Abbild auf der Basis einzelner, einander zugeordneter Pixel-Paare aus beiden Abbildern oder unter Verwendung von mehreren Pixeln aus den beiden Abbildern. Dies kann sich insbesondere daran orientieren, welche Auflösung gewünscht und/oder welche Rechenleistung für die digitale Bildverarbeitung zur Verfügung steht. Die wie beschrieben vorverarbeiteten Abbilder werden durch digitale Verarbeitung von deren Bild-Daten überlagert und angezeigt. Vom Ergebnis her, kann dieser Vorgang annähernd mit dem Ubereinanderlegen von Folien oder Dias derselben Szene oder Fahrumgebung verglichen werden. Rechentechnisch bzw. bei der digitalen Bildverarbeitung wird dies durch Mittelwertbildung der Pixelinformationen, wie insbesondere unter Berücksichtigung von deren Helligkeit in den jeweiligen Abbildern und der im Visuell-Abbild und/oder im Infrarot-Abbild enthaltenen Farbinformation, erreicht. Dies muss nicht notwendigerweise Pixel für Pixel erfolgen, sondern kann auch durch Mittelwertbildung für orts- und zeitgleiche Pixelbereiche in beiden Abbildern geschehen.The image pairs of the visual image and the infrared image, which are identical in time and place, are preferably merged on the basis of individual, mutually assigned pixel pairs from the two images or using a plurality of pixels from the two images. This can be based in particular on which resolution is desired and / or which computing power is available for digital image processing. The images pre-processed as described are overlaid and displayed by digital processing of their image data. From the result, this process can be compared with the superimposition of foils or slides of the same scene or driving environment. Computationally or in digital image processing, this is achieved by averaging the pixel information, in particular taking into account their brightness in the respective images and the color information contained in the visual image and / or in the infrared image. This does not necessarily have to be done pixel by pixel, but can also be done by averaging for locally and simultaneously pixel areas in both images.
Ferner kann es sinnvoll sein, die Pixelinformation im Infrarot-Abbild bei der Mittel- wertbildung unterschiedlich zur zeit- und ortsgleichen Pixelinformation im Visuell- Abbild zu gewichten. Diese unterschiedliche Gewichtung kann bspw. tageslicht- und/oder witterungsabhängig und/oder in Abhängigkeit vom Scheinwerferlicht des Kraftfahrzeugs und/oder in Abhängigkeit von der Farbe im Visuell-Abbild erfolgen; hierdurch kann bspw. erreicht werden, dass eine rote Ampel im Fusionsbild beson-
ders deutlich erkennbar ist. Ferner kann die Gewichtung für Teilbereiche des Fusionsbilds, z.B. Unterschied zwischen Vordergrund und Hintergrund, oder das gesamte Fusionsbild manuell durch den Fahrer des Fahrzeugs veränderbar sein.Furthermore, it may be useful to weight the pixel information in the infrared image differently from the pixel information in the visual image at the same time and location when averaging. This different weighting can take place, for example, depending on daylight and / or weather and / or depending on the headlight of the motor vehicle and / or depending on the color in the visual image; In this way it can be achieved, for example, that a red traffic light in the fusion image which is clearly recognizable. Furthermore, the weighting for partial areas of the fusion image, for example difference between foreground and background, or the entire fusion image can be changed manually by the driver of the vehicle.
Durch dieses Vorgehen können einzelne Bildbereiche besonders hervorgehoben werden. So kann beispielsweise der unmittelbare Fahrbereich des Fahrzeugs stärker betont werden, um eine gewisse Führung des Fahrers zu erreichen.Individual image areas can be particularly emphasized by this procedure. For example, the immediate driving range of the vehicle can be emphasized more in order to achieve a certain guidance of the driver.
Bei zunehmender Dunkelheit könnte die Gewichtung der Infrarot-Information ggü. der visuellen Information bei der Mittelwertbildung zunehmen. Bei eingeschaltetem Abblendlicht könnte die Gewichtung der Infrarot-Information ggü. der visuellen Information im Vergleich zu eingeschaltetem Fernlicht erhöht sein.With increasing darkness, the weighting of the infrared information compared to increase the visual information when averaging. If the low beam is switched on, the weighting of the infrared information compared to the visual information compared to the high beam switched on.
Ebenso könnte der Informationsgehalt eines Bereichs in dem jeweiligen Abbild die Gewichtung mit bestimmen. Ist der Informationsgehalt in einem zeit- und ortsgleichen Bereich des Visuell-Abbilds bspw. deutlich höher als in demselben Bereich des Infrarot-Bereichs, so kann es sinnvoll sein, dies bei der Mittelwertbildung durch eine höhere Gewichtung der Visuell-Information zu berücksichtigen.The information content of an area in the respective image could also determine the weighting. If the information content in a region of the visual image that is at the same time and location, for example, is significantly higher than in the same region of the infrared region, it may make sense to take this into account when averaging by weighting the visual information.
Wie bereits beschrieben, müssen die von den Kameras bzw. Sensoren generierten Abbilder vorverarbeitet werden, um entzerrt und objekttreu ausgerichtet zu sein. Um Speicher, der kostenintensiv ist, einzusparen, greift der Software-Algorithmus bevorzugt pixelweise auf die Sensorinformationen der Kameras 101 und 102 zu.As already described, the images generated by the cameras or sensors have to be preprocessed in order to be rectified and aligned to the object. In order to save memory, which is cost-intensive, the software algorithm preferably accesses the sensor information of the cameras 101 and 102 pixel by pixel.
Bei den in Figur 1 dargestellten Vorrichtungen zur digitalen Bildverarbeitung handelt es sich ganz oder teilweise bevorzugt um ein oder mehrere softwaregesteuerte Digi- tal-Prozessoren, die vorzugsweise zur digitalen Bildverarbeitung in Echtzeit optimiert worden sind. Ebenso ist es aber auch denkbar, einen oder mehrere softwaregesteuerte PC-Prozessoren in kostengünstiger Weise zu verwenden, wenn deren Verarbeitungsgeschwindigkeit eine weitgehende Echtzeitverarbeitung der Abbilder zur Bereitstellung eines Fusions-Bildes mit Visuell- und Infrarot-Informationen gestattet.
The devices for digital image processing shown in FIG. 1 are, in whole or in part, preferably one or more software-controlled digital processors which have preferably been optimized for digital image processing in real time. However, it is also conceivable to use one or more software-controlled PC processors in a cost-effective manner if their processing speed allows extensive real-time processing of the images to provide a fusion image with visual and infrared information.