EP1846794A1 - Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds - Google Patents

Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds

Info

Publication number
EP1846794A1
EP1846794A1 EP06700891A EP06700891A EP1846794A1 EP 1846794 A1 EP1846794 A1 EP 1846794A1 EP 06700891 A EP06700891 A EP 06700891A EP 06700891 A EP06700891 A EP 06700891A EP 1846794 A1 EP1846794 A1 EP 1846794A1
Authority
EP
European Patent Office
Prior art keywords
image
infrared
visual
vehicle
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP06700891A
Other languages
English (en)
French (fr)
Inventor
Wolfgang Hahn
Thomas Weidner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP1846794A1 publication Critical patent/EP1846794A1/de
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Definitions

  • the invention relates to a method and a device for visualizing the surroundings of a vehicle, which contains a visual image containing digital data of the environment, which shows the visually visible objects, and an infrared image containing the digital data of the surroundings, which is visually visible and / or other objects emanating outgoing infrared radiation, fused to a representable in an image display unit target image to facilitate the assignment of objects that emanate infrared radiation in the recorded environment.
  • Image fusion devices superimpose the images of at least two cameras that record the current environment of a vehicle in different spectral ranges.
  • the spectral regions may comprise, for example, visually visible light and infrared radiation.
  • a target image determined from an image fusion enables the driver of the vehicle to more easily and better interpret the information provided about the surroundings of the vehicle in an image display unit.
  • a camera device has at least two cameras with largely parallel optical axes, which are spatially offset from one another. Due to the staggered mounting of the cameras, i. the offset optical axes, the images supplied by the cameras over a wide range of distances can not be aligned completely object true to each other.
  • the object faithfulness describes the radiation reflected or emitted by one and the same object in the driving environment in the target image on precisely this object which can be unambiguously assigned by the driver.
  • Alignment errors and / or the quality of the object fidelity arise depending on the distance of the cameras as well as on the distance between the cameras and the recorded object.
  • By calibrating the camera device it is possible to close objects either at close range (this corresponds to a typical for a city driving situation with a distance range of about 15 to 75 m) very well, resulting in the remote area, a bad object loyalty is the result.
  • the camera device is optimized for objects in the Fem Championship (this corresponds to, for example, an overland or highway driving with distance ranges between 30 to 150 or 50 to 250 m). This results in an alignment error in the near range.
  • Devices and methods for image fusion are known, for example, from DE 102 27 171 A1 and DE 103 04 703 A1 of the Applicant.
  • the devices described therein each have a camera device with a visual camera providing a visual image containing a digital data of the environment and an infrared camera providing an infrared image containing a digital data of the surroundings.
  • the visual image shows the visually visible objects.
  • the infrared image shows the infrared radiation emanating from the visually visible and / or further objects.
  • An image processing unit performs image fusion of the visual image and the infrared image, wherein the merged target image can be displayed in an image display unit.
  • the image fusion comprises a complete or partial, e.g.
  • a pixel or pixel-by-pixel overlay of the visual image and the infrared image In particular, temporally and spatially identical image pairs are superposed with each other. Brightness and / or color values of the pixels or pixel regions can be superimposed or averaged here. For further optimization, the superimposition of the images can be carried out by means of weighting factors. Optionally, the consideration of the brightness and / or the visibility conditions of the vehicle is described. Also, the different weighting of pixels or pixel areas is proposed. Disadvantage of these known methods is the high computational complexity for displaying object-true target images over a wide range of distances.
  • the object of the present invention is therefore to provide an improved method and an improved device for visualizing the surroundings of a vehicle, which enable a reliable interpretation of the contents of a target image generated from an image fusion.
  • a visual image containing digital data of the environment wherein the visual image shows the visually visible objects.
  • an infrared image containing digital data of the environment which shows the infrared radiation emanating from the visually visible and / or further objects.
  • An image fusion is performed which fuses the visual image and the infrared image to a target image displayable in an image display unit. the assignment of objects, from which emanates infrared radiation, in the recorded environment easier.
  • the image fusion of the visual image and / or the infrared image is exposed as a function of an environmental parameter in order to display only one of the two images or none of the images as the target image.
  • the invention thus proposes to suppress the image fusion as a function of an environmental parameter.
  • the suspension of image fusion upon the entry of the environmental parameter removes information from the displayable target image
  • the user of a vehicle is facilitated to interpret the target image displayed in the image display unit, thereby being less distracted from the traffic of the surroundings of the vehicle.
  • the visual image and / or the infrared image are masked out of the surroundings of the respective image in order to avoid fuzziness and / or double images.
  • the latter means that no target image is displayed in the image display unit.
  • the environmental parameter is determined in accordance with a further expedient embodiment of the method according to the invention from at least one sensory, dynamic driving variable and / or at least one other parameter.
  • the speed of the vehicle in particular the undershooting or exceeding a predetermined
  • Camera detected object in particular the undershooting or exceeding a predetermined distance, processed.
  • both parameters are taken into account in a combination.
  • a further expedient embodiment provides to process the current position of the vehicle as the vehicle dynamics variable.
  • the topology and / or the current weather conditions are processed in a further embodiment.
  • a deactivation of the image fusion depending on the topology or the current position of the vehicle which e.g. can be determined from the GPS system provided a GPS data, for example, when driving through a tunnel.
  • an infrared camera is hardly able to meaningfully present the relevant information for the vehicle user. Overlaying the infrared image with the visual image would therefore not lead to an increase in the information content of the vehicle user, so that it makes sense, e.g. hide the infrared image from the target image.
  • bad weather conditions such as in rain, where the infrared camera can not provide a sufficiently good resolution of the environment.
  • a further embodiment provides that a parameter which can be selected by the vehicle user be processed by the image processing unit as a further parameter.
  • a parameter which can be selected by the vehicle user be processed by the image processing unit as a further parameter.
  • the further parameter would thus correspond to a deactivation and / or activation of the image fusion actively triggered by the vehicle user.
  • the entropy of an image of the environment contains information about the informational value of one of the images. For example, if an image is in saturation, i. if this is overridden, no information is provided that would be meaningful for the vehicle user in any way. Upon detection of such a situation, the image may be hidden, e.g. has too few contrasts to interpret a situation.
  • the decision as to whether or not the image fusion of the visual image and / or the infrared image is made or not, may be made dependent on the arrival of one or more of the above-mentioned environmental parameters.
  • the inhibition of the image fusion can in particular be made dependent on the simultaneous arrival of several parameters. It is also conceivable to suspend the image fusion in temporally successive environmental parameters.
  • a device for visualizing the surroundings of a vehicle, in particular in the dark, has a camera device which has a visual camera providing a visual image containing digital data of the surroundings and an infrared camera providing an infrared image containing a digital data of the surroundings wherein the visual image shows the visually visible objects and the infrared image shows the infrared radiation emanating from the visually visible and / or further objects.
  • an image processing unit is provided for processing the visual image and the infrared image, the image processing unit being designed and / or configured and / or configured to perform an image fusion of the visual image and the infrared image.
  • An image display unit serves to display the image of the environment generated by the image processing unit. According to the invention, the image processing unit is set up to suppress the image fusion as a function of an environmental parameter.
  • At least one sensor coupled to the image processing unit is provided for determining a dynamic driving variable.
  • the image processing unit can be supplied with a further parameter which can be determined either by sensors or is supplied by an external means.
  • the further parameter could, for example, be transmitted to the image processing unit using mobile technologies or via GPS.
  • the image processing unit is set up to determine the environmental parameter from the driving-dynamics variable and / or the further parameter.
  • the camera device is calibrated to a defined distance range.
  • the defined distance range can be either near or far.
  • a close-up is understood to mean a situation that corresponds to a city trip in which distances between 15 and 75 m are important.
  • a Fem Society in this application a typical for a country road driving situation, in particular with a distance range of about 30 to 150 m, or a typical for a highway driving situation, which includes in particular a distance range of about 50 to 250 m understood.
  • the camera device can be calibrated at any distance.
  • the camera apparatus is calibrated to the far range, there are alignment errors in the near range due to the offset optical axes of the cameras, which can cause irritation.
  • An essential parameter influencing the image fusion is the distance of the vehicle to a vehicle in front, which is located in the vicinity of the vehicle, and / or falls below a certain speed.
  • the camera device can be calibrated to the near range, resulting in a correspondingly aberration in the remote area of the vehicle. If a certain distance and / or a certain speed is exceeded, the image fusion could be prevented.
  • Fig. 1 is a block diagram of a device according to the invention for visualizing the environment of a vehicle
  • Fig. 2 shows the relationship between the parallax error and the distance in a camera device with two cameras having substantially parallel optical axes aligned.
  • the device according to the invention shown as a block diagram in FIG. 1 has a camera device 10 with an electronic spectral region, here referred to as a visual camera 101 (eg a CCD sensor) and an infrared spectral range of approximately 8 to 10 mm sensitive electronic infrared camera 102 (eg an IR sensor) on.
  • the visual camera 101 preferably provides a color, visual image.
  • both cameras 101 and 102 are preferably aligned parallel to each other, whereby the parallax error can be minimized. They are preferably close to each other, thereby minimizing misalignment.
  • the image planes of both cameras or sensors are preferably aligned parallel to each other and perpendicular to the optical axis and are close to each other.
  • the photosensitive sensor surfaces of both cameras or sensors are preferably neither relatively tilted nor tilted relative to one another, but are arranged largely parallel to one another. Both cameras or sensors preferably also have the same opening angle. As a result, it can be achieved that the cameras or sensors provide images of different spectral regions, which largely show the same detail of the surroundings and are not twisted relative to one another and to the actual situation. As a result, the cost of processing the images to provide a defined image from both images and thus the hardware and software costs can be significantly reduced.
  • An image processing unit 20 connected to the camera apparatus 10 includes a first normalizing apparatus 103, a second normalizing apparatus 104, an aligning apparatus 105, and a superimposing or merging apparatus 106.
  • the target image generated by the fusion device 106 can be displayed in an image display unit 30.
  • the device shown in Fig. 1 is calibrated by a calibration device to a certain distance range.
  • a calibration device e.g. has several incandescent lamps, which are preferably arranged like a checkerboard.
  • the light bulbs are characterized by the fact that they both heat radiation as well as visually visible
  • a plate provided with a plurality of incandescent lamps or the like in a distance range in front of the two cameras 101,
  • the calibration device located in front of the cameras 101, 102 which is preferably arranged in a dark environment and not in the vicinity of heat sources is in the visual camera 101, a so-called visual image showing the checkerboard-like bulbs, as they see the human eye. Furthermore, the calibration device in the infrared camera 102 generates a thermal image which also shows the arrangement of the incandescent lamps. Typically, both the visual image and the infrared image, especially due to optical aberrations, etc., show distortions at the edges of the respective image. In a known manner, the distortions or aberrations in the visual image are largely eliminated by the first normalizing device 103.
  • the distortions or aberrations in the infrared image are largely eliminated by the second normalizing device 104.
  • the normalization or error correction is preferably carried out by means of known software measures on the digital data of the images using calibration parameters for the visual image and calibration parameter 108 for the infrared image.
  • the normalized images are aligned with each other by the registration device 105 using registration parameters 109 by a registration process known per se in digital image processing.
  • one of the images preferably remains unchanged and serves as a reference for the other image.
  • the second image is changed in size and position so that a largely object-like image is created relative to the first image.
  • the orientation of the normalized images can be divided into three steps: displacement, rotation, and scaling.
  • the aligned images are superimposed or merged in the overlay or fusion device 106 by the processing of their digital data.
  • a fused or superimposed image which is displayed to the driver of the vehicle in an image display unit 30 in the vehicle, is generated from each temporally and spatially identical or object-like image pair of visual image and infrared image.
  • a fusion of the temporally and spatially identical image pairs from the visual image and the infrared image takes place on the basis of individual mutually associated pixel pairs from both images or by using a plurality of pixels from the two image images.
  • This can in particular be based on which resolution is desired and / or which computing power is available for digital image processing.
  • the images as preprocessed as described are superimposed and displayed by digital processing of their image data. As a result, this process can be approximately compared to superimposing slides or slides of the same scene or driving environment.
  • Computationally or in digital image processing this is achieved by averaging the pixel information, in particular taking into account their brightness in the respective images and the color information contained in the visual image and / or in the infrared image. This need not necessarily be done pixel by pixel, but can also be done by averaging for local and simultaneous pixel areas in both images.
  • weight the pixel information in the infrared image in averaging differently to the same time and location pixel information in the visual image.
  • This different weighting can be done, for example, daylight and / or weather-dependent and / or depending on the headlight of the motor vehicle and / or depending on the color in the visual image. This can be achieved, for example, that a red light in the fusion image is particularly clear.
  • the vehicle user can cause irritation.
  • the target image displayed in the image display unit 30 is limited to the reproduction of either the visual image or the infrared image.
  • FIG. 2 shows the relationship between the parallax error and the distance of the camera device to the object picked up by it. It is shown a situation in which the device is optimized for a paralax-free representation in the long-range. If the parallax error exceeds a certain threshold, which depends on various environmental parameters, e.g. Depending on the speed and / or the distance and / or the weather conditions and / or the topology and / or the vehicle environment, the image fusion is suspended and brought the situation more appropriate image of the visual camera or the infrared camera for presentation. In the exemplary embodiment, this threshold is set at a distance which is smaller than the "optimum distance" set by calibration. The threshold need not necessarily be fixed, but may depend dynamically on different parameters or be defined by a range.
  • the vehicle drifts closer to a vehicle ahead, increasing the misalignment of the merged images of the visual camera and the infrared camera in the target image.
  • a sensor 40 which is coupled to the image processing unit, it is determined at which distance between the object and the camera device 10 a certain alignment error is exceeded. After exceeding this alignment error, the image fusion is deactivated and only the image of the infrared camera is displayed. Alternatively, of course, in another embodiment, only the image of the visual camera can be displayed. If, in another exemplary embodiment, a predetermined speed of the vehicle is undershot, then the range of the own headlights is sufficient for the vehicle user to be able to obtain sufficient information about events in the immediate vicinity.
  • the image fusion could be suspended and the image of the visual camera in the target image can not be displayed and only the image of the infrared camera are displayed. This ensures that people, animals, etc., even in a poorly lit environment, such as in a housing estate, in a forest parking lot, etc., are displayed.
  • the speed is determined by a speed sensor 41 coupled to the image processing unit 20.
  • the two embodiments describe an application of exposing the image fusion at small distances and / or at low speeds of the vehicle.
  • the invention can also be applied when the device is calibrated at a short distance. In this case, the image fusion would be exposed if a predetermined distance and / or a certain speed were exceeded.
  • the advantage of the procedure according to the invention is that exposure to image fusion in the target image does not result in aberrations that could lead to irritation.
  • the device according to the invention thus allows the use of an image fusion device, which is calibrated only on a distance range. Complex control algorithms which avoid aberrations in all ranges of distance and which have to be determined by complex calculation algorithms can therefore be dispensed with.

Abstract

Es wird ein Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, beschrieben, bei dem ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt wird, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt. Es wird weiter ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern, wird eine Bildfusion vorgenommen, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert. Die Bildfusion wird in Abhängigkeit eines Umgebungsparameters ausgesetzt, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.

Description

Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, die ein digitale Daten der Umgebung enthaltendes Visuell-Abbild, das die visuell sichtbaren Objekte zeigt, und ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild, das die von dem visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert, um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern.
Vorrichtungen zur Bildfusion überlagern die Bilder zumindest zweier Kameras, die die aktuelle Umgebung eines Fahrzeugs in unterschiedlichen Spektralbereichen aufnehmen. Die Spektralbereiche können beispielsweise visuell sichtbares Licht sowie Infrarot-Strahlung umfassen. Ein aus einer Bildfusion ermitteltes Zielbild ermöglicht dem Fahrer des Fahrzeugs eine leichtere und bessere Interpretierbarkeit der in einer Bildanzeigeeinheit bereitgestellten Informationen über die, Umgebung des Fahrzeugs.
Eine Kameravorrichtung weist hierzu zumindest zwei Kameras mit weitgehend parallelen optischen Achsen auf, die räumlich zueinander versetzt sind. Aufgrund der versetzten Montage der Kameras, d.h. der versetzten optischen Achsen, können die von den Kameras gelieferten Bilder über einen weiten Bereich an Entfernungen nicht vollständig objekttreu zueinander ausgerichtet werden. Die Objekttreue beschreibt die von ein und demselben Objekt in der Fahrumgebung reflektierte bzw. emittierte Strahlung in dem Zielbild auf genau diesem Objekt durch den Fahrer eindeutig zuordenbar ist.
Ausrichtungsfehler bzw. die Qualität der Objekttreue entstehen in Abhängigkeit des Abstandes der Kameras sowie in Abhängigkeit der Entfernung zwischen den Kameras und dem aufgenommenen Objekt. Durch eine Kalibrierung der Kameravorrichtung ist es möglich, Objekte entweder im Nahbereich (dies entspricht einer für eine Stadtfahrt typischen Fahrsituation mit einem Entfernungsbereich von ca. 15 bis 75 m) sehr gut abzubilden, wodurch im Fernbereich eine schlechte Objekttreue die Folge ist. Das Gleiche gilt, wenn die Kameravorrichtung auf Objekte im Fembereich (dies entspricht beispielsweise einer Überland- oder Autobahnfahrt mit Entfernungsbereichen zwischen 30 bis 150 bzw. 50 bis 250 m) optimiert ist. Hierdurch ergibt sich ein Ausrichtungsfehler im Nahbereich.
Vorrichtungen und Verfahren zur Bildfusion sind beispielsweise aus der DE 102 27 171 A1 und der DE 103 04 703 A1 der Anmelderin bekannt. Die darin beschriebenen Vorrichtungen weisen jeweils eine Kameravorrichtung mit einer ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellenden Visuell- Kamera und einem ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellenden Infrarot-Kamera auf. Das visuelle Abbild zeigt die visuell sichtbaren Objekte. Das Infrarot-Abbild zeigt die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung. Eine Bildverarbeitungseinheit nimmt eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vor, wobei das fusionierte Zielbild in einer Bildanzeigeeinheit zur Anzeige bringbar ist. Die Bildfusion umfasst eine vollständige oder teilweise, z.B. eine pixel- oder pixelbereichsweise, Überlagerung des Visuell-Abbilds und des Infrarot-Abbilds. Dabei werden insbesondere zeit- und ortsgleiche Bild-Paare miteinander überlagert. Es können hierbei Helligkeits- und/oder Farbwerte der Pixel oder Pixelbereiche überlagert bzw. gemittelt werden. Zur weiteren Optimierung kann die Überlagerung der Abbilder mittels Gewichtungsfaktoren vorgenommen werden. Optional wird die Berücksichtigung der Helligkeit und/oder der Sichtbedingungen des Fahrzeugs beschrieben. Auch die unterschiedliche Gewichtung von Pixeln oder Pixelbereichen wird vorgeschlagen. Nachteil dieser bekannten Verfahren ist der hohe Rechenaufwand zur Darstellung objekttreuer Zielbilder über einen weiten Entfernungsbereich.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs bereitzustellen, welche eine zuverlässige Interpretation der Inhalte eines aus einer Bildfusion erzeugten Zielbildes ermöglichen. Diese Aufgaben werden durch Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs gemäß den Merkmalen des Patentanspruches 1 sowie durch eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs gemäß den Merkmalen des Patentanspruches 11 gelöst. Vorteilhafte Ausgestaltungen ergeben sich jeweils aus den abhängigen Patentansprüchen.
Bei dem erfindungsgemäßen Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, wird ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt. Es wird weiterhin ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Es wird eine Bildfusion vorgenommen, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert, um. die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern. Erfindungsgemäß wird die Bildfusion des Visuell-Abbilds und/oder des Infrarot-Abbilds in Abhängigkeit eines Umgebungsparameters ausgesetzt, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.
Um einen Ausrichtungsfehler bei der Darstellung eines Zielbildes zu vermeiden, schlägt die Erfindung somit vor, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden. Obwohl durch das Aussetzen der Bildfusion beim Eintreten des Umgebungsparameters Informationen aus dem zur Darstellung bringbaren Zielbild entfernt werden, wird dem Benutzer eines Fahrzeugs die Interpretation des in der Bildanzeigeeinheit dargestellten Zielbilds erleichtert, wodurch dieser weniger vom Verkehrsgeschehen der Umgebung des Fahrzeugs abgelenkt wird.
Gemäß einer zweckmäßigen Ausgestaltung werden in dem Schritt des Aussetzens der Bildfusion das Visuell-Abbild und/oder das Infrarot-Abbild zur Vermeidung von Unscharfen und/oder Doppelbildern sämtliche digitale Daten der Umgebung des jeweiligen Abbilds ausgeblendet. Anders ausgedrückt bedeutet dies, dass entweder das Visuell-Abbild oder das Infrarot-Abbild oder sogar beide Abbilder vollständig und nicht nur teilweise ausgeblendet werden. Letzteres bedeutet, dass in der Bildanzeigeeinheit gar kein Zielbild zur Darstellung gebracht wird.
Der Umgebungsparameter wird gemäß einer weiteren zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens aus zumindest einer sensorisch erfassten, fahrdynamischen Größe und/oder zumindest einem anderen Parameter ermittelt.
Als fahrdynamische Größe wird in einer Ausgestaltung die Geschwindigkeit des Fahrzeugs, insbesondere das Unter- oder Überschreiten einer vorgegebenen
Geschwindigkeit, verarbeitet. In einer weiteren Ausgestaltung wird als fahrdynamische Größe ein Abstand des Fahrzeugs zu einem im Blickwinkel der
Kamera erfassten Objekt, insbesondere das Unter- oder Überschreiten eines vorgegebenen Abstands, verarbeitet. Bevorzugt werden beide Parameter in einer Kombination berücksichtigt.
Eine weitere zweckmäßige Ausgestaltung sieht vor, als fahrdynamische Größe die aktuelle Position des Fahrzeugs zu verarbeiten. Als weiterer Parameter werden in einer weiteren Ausgestaltung die Topologie und/oder die aktuellen Witterungsbedingungen verarbeitet. Eine Deaktivierung der Bildfusion in Abhängigkeit der Topologie bzw. der momentanen Position des Fahrzeugs,, welche z.B. aus den einem Navigationssystem zur Verfügung gestellten GPS-Daten ermittelt werden kann, kann beispielsweise beim Durchfahren eines Tunnels erfolgen. In einer derartigen Fahrsituation ist eine Infrarot-Kamera kaum in der Lage, die für den Fahrzeugbenutzer relevanten Informationen sinnvoll darzustellen. Eine Überlagerung des Infrarot-Abbilds mit dem Visuell-Abbild würde deshalb nicht zu einer Erhöhung des Informationsgehalts des Fahrzeugbenutzers führen, so dass es sinnvoll ist, z.B. das Infrarot-Abbild aus dem Zielbild auszublenden. Ähnliches gilt auch bei schlechten Witterungsbedingungen, wie z.B. bei Regen, bei welchem die Infrarot-Kamera keine ausreichend gute Auflösung der Umgebung erbringen kann.
Eine weitere Ausgestaltung sieht vor, als weiteren Parameter einen durch den Fahrzeugnutzer auswählbaren Parameter durch die Bildverarbeitungseinheit zu verarbeiten. In manchen Situationen kann es für den Fahrzeugbenutzer wünschenswert sein, die Darstellung eines an sich aus einer Bildfusion generierten Zielbildes zu verändern und wahlweise lediglich das Infrarot-Abbild oder das Visuell- Abbild zur Darstellung zu bringen. Der weitere Parameter würde somit einer aktiv durch den Fahrzeugbenutzer ausgelösten Deaktivierung und/oder Aktivierung der Bildfusion entsprechen.
Ferner kann gemäß einer weiteren Ausgestaltung vorgesehen sein, die Entropiewerte des Visuell-Abbilds und des Infrarot-Abbilds zu ermitteln und die Entropiewerte mit einem vorgegebenen Entropiewert zu vergleichen, und anhand des Vergleichsergebnisses zu entscheiden, ob das Visuell-Abbild und/oder das Infrarot-Abbild oder beide ausgeblendet werden. Die Entropie eines Abbilds der Umgebung enthält Informationen über die Aussagefähigkeit eines der Abbilder. Wenn beispielsweise ein Abbild in Sättigung ist, d.h. wenn dieses übersteuert ist, werden keine Informationen geliefert, die für den Fahrzeugbenutzer in irgendeiner Weise sinnvoll auswertbar wären. Bei der Detektion einer solchen Situation kann das Abbild ausgeblendet werden, das z.B. zu geringe Kontraste aufweist, um eine Situation interpretieren zu können.
Die Entscheidung, ob die Bildfusion des Visuell-Abbilds und/oder des Infrarot- Abbilds erfolgt oder unerdrückt wird, kann dabei vom Eintreffen eines oder mehreren beliebigen der oben bezeichneten Umgebungsparameter abhängig gemacht werden. Das Unterbinden der Bildfusion kann insbesondere vom gleichzeitigen Eintreffen mehrerer Parameter abhängig gemacht werden. Denkbar ist auch, bei zeitlich nacheinander eintreffenden Umgebungsparametern, die Bildfusion auszusetzen.
Um zu vermeiden, dass das in der Bildanzeigeeinheit dargestellte Zielbild in kurzen Abständen zwischen einer fusionierten und einer nicht fusionierten Darstellung hin- und herwechselt, was gegebenenfalls zur Verwirrung des Fahrzeugbenutzers führen könnte, ist in einer weiteren vorteilhaften Ausgestaltung vorgesehen, dass das Aussetzen der Bildfusion unter Berücksichtigung einer zeitlichen Hysterese erfolgt. Mit der erfindungsgemäßen Vorrichtung sind die gleichen Vorteile verbunden, wie sie vorstehend in Verbindung mit dem erfindungsgemäßen Verfahren beschrieben wurden.
Eine erfindungsgemäße Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, weist eine Kameravorrichtung auf, die eine ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellende Visuell- Kamera und eine ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellende Infrarot-Kamera aufweist, wobei das Visuell-Abbild die visuell sichtbaren Objekte und das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Ferner ist eine Bildverarbeitungseinheit zum Verarbeiten des Visuell-Abbilds und des Infrarot- Abbilds vorgesehen, wobei die Bildverarbeitungseinheit dazu ausgebildet und/oder dazu ausgebildet und/oder eingerichtet ist, eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vorzunehmen. Eine Bildanzeigeeinheit dient zur Anzeige des von der Bildverarbeitungseinheit generierten Abbilds der Umgebung. Erfindungsgemäß ist die Bildverarbeitungseinheit dazu eingerichtet, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden.
In einer zweckmäßigen Ausgestaltung ist zumindest ein mit der Bildverarbeitungseinheit gekoppelter Sensor zur Ermittlung einer fahrdynamischen Größe vorgesehen.
Gemäß einer weiteren zweckmäßigen Ausgestaltung ist der Bildverarbeitungseinheit ein weiterer Parameter zuführbar, der entweder sensorisch ermittelbar ist oder von einem externen Mittel geliefert wird. Der weitere Parameter könnte beispielsweise unter Nutzung von Mobilfunktechnologien oder per GPS an die Bildverarbeitungseinheit übertragen werden.
Zweckmäßigerweise ist die Bildverarbeitungseinheit dazu eingerichtet, aus der fahrdynamischen Größe und/oder dem weiteren Parameter den Umgebungsparameter zu ermitteln. In einer weiteren zweckmäßigen Ausgestaltung ist die Kameravorrichtung auf einen festgelegten Entfernungsbereich kalibriert. Der festgelegte Entfernungsbereich kann dabei wahlweise in der Nähe oder in der Ferne liegen. Als Nahbereich wird hierbei eine Situation verstanden, welche einer Stadtfahrt entspricht, in der Entfernungen zwischen 15 und 75 m von Bedeutung sind. Als Fembereich wird in dieser Anmeldung eine für eine Landstraßenfahrt typische Fahrsituation, insbesondere mit einem Entfernungsbereich von ca. 30 bis 150 m, oder eine für eine Autobahnfahrt typische Fahrsituation, die insbesondere einen Entfernungsbereich von ca. 50 bis 250 m umfasst, verstanden. Prinzipiell kann die Kameravorrichtung auf jede beliebige Entfernung kalibriert sein. Ist die Kameravorrichtung auf den Fernbereich kalibriert, so ergeben sich Ausrichtungsfehler im Nahbereich aufgrund der versetzten optischen Achsen der Kameras, die zu Irritationen führen können. Ein wesentlicher, die Bildfusion beeinflussender Parameter ist dabei der Abstand des Fahrzeuges zu einem vorausfahrenden Objekt, das sich im Nahbereich des Fahrzeuges befindet, und/oder das Unterschreiten einer bestimmten Geschwindigkeit. In entsprechender Weise kann die Kameravorrichtung auf den Nahbereich kalibriert sein, so dass sich in entsprechender Weise Abbildungsfehler im Fernbereich des Fahrzeuges ergeben. Bei Überschreiten eines bestimmten Abstandes und/oder einer bestimmten Geschwindigkeit könnte damit die Bildfusion unterbunden werden.
Die Erfindung wird nachfolgend anhand der Figuren näher erläutert. Es zeigen:
Fig. 1 das Blockschaltbild einer erfindungsgemäßen Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, und
Fig. 2 den Zusammenhang zwischen dem Paralaxen-Fehler und der Entfernung bei einer Kameravorrichtung mit zwei Kameras, die im wesentlichen parallel zueinander ausgerichtete optische Achsen aufweisen.
Die in Fig. 1 als Blockschaltbild dargestellte, erfindungsgemäße Vorrichtung weist eine Kameravorrichtung 10 mit einer im visuellen Spektralbereich aufnehmenden elektronischen, hier als Visuell-Kamera 101 bezeichnete Kamera (z.B. ein CCD- Sensor) sowie eine im infraroten Spektralbereich von ca. 8 bis 10 mm empfindliche elektronische Infrarot-Kamera 102 (z.B. ein IR-Sensor) auf. Die Visuell-Kamera 101 liefert bevorzugt ein farbiges, visuelles Abbild. Die optischen Achsen der Kameras
101 und 102 sind bevorzugt parallel zueinander ausgerichtet, wodurch der Paralaxen-Fehler minimiert werden kann. Sie liegen bevorzugt nahe beieinander, wodurch Versetzungsfehler minimiert werden. Die Bildebenen beider Kameras oder Sensoren werden bevorzugt parallel zueinander und senkrecht zur optischen Achse ausgerichtet und liegen nahe beieinander. Die photoempfindlichen Sensorflächen beider Kameras bzw. Sensoren sind bevorzugt relativ zueinender weder verdreht noch gekippt, sondern weitgehend parallel zueinander angeordnet. Beide Kameras oder Sensoren haben bevorzugt zudem denselben Öffnungswinkel. Dadurch kann erreicht werden, dass die Kameras oder Sensoren Abbilder unterschiedlicher Spektralbereiche liefern, die weitgehend denselben Ausschnitt zur Umgebung zeigen und zueinander und zur tatsächlichen Situation nicht verdreht sind. Dadurch kann der Aufwand für eine Bearbeitung der Abbilder zur Bereitstellung eines definierten Bilds aus beiden Abbildern und damit der Hardware- und Software- Aufwand deutlich verringert werden.
Eine mit der Kameravorrichtung 10 verbundene Bildverarbeitungseinheit 20 umfasst eine erste Normalisierungsvorrichtung 103, eine zweite Normalisierungsvorrichtung 104, eine Ausrichtvorrichtung 105 und eine Überlagerungs- bzw. Fusionseinrichtung 106 auf. Das von der Fusionseinrichtung 106 erzeugte Zielbild ist in einer Bildanzeigeeinheit 30 darstellbar.
Die in Fig. 1 dargestellte Vorrichtung ist durch eine Kalibriervorrichtung auf einen bestimmten Entfernungsbereich kalibriert. Zur Kalibrierung wird eine (nicht dargestellte) Kalibrierungsvorrichtung verwendet, die z.B. mehrere Glühlampen aufweist, die bevorzugt schachbrettartig angeordnet sind. Die Glühlampen zeichnen sich dadurch aus, dass sie sowohl Wärmestrahlung als auch visuell sichtbare
Strahlung abgeben. Bevorzugt wird eine mit mehreren Glühlampen versehene Platte oder dergleichen in einem Abstandsbereich vor den beiden Kameras 101 ,
102 angeordnet, auf weichen die Kameravorrichtung 10 kalibriert werden soll.
Die vor den Kameras 101 , 102 befindliche Kalibriervorrichtung, die bevorzugt in dunkler Umgebung und nicht in der Nachbarschaft von Wärmequellen angeordnet ist, erzeugt in der Visuell-Kamera 101 ein so genanntes Visuell-Abbild, das die schachbrettartig angeordneten Glühlampen zeigt, wie sie auch das menschliche Auge sieht. Ferner erzeugt die Kalibriervorrichtung in der Infrarot-Kamera 102 eine Wärmebild, das ebenfalls die Anordnung der Glühlampen zeigt. Typischerweise zeigt sowohl das Visuell-Abbild als auch das Infrarot-Abbild, insbesondere aufgrund von optischen Abbildungsfehlern etc., Verzeichnungen an den Rändern des jeweiligen Abbilds. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Visuell-Abbild durch die erste Normalisierungsvorrichtung 103 weitgehend beseitigt. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Infrarot-Abbild durch die zweite Normalisierungsvorrichtung 104 weitgehend beseitigt. Die Normalisierung bzw. Fehlerbeseitigung erfolgt bevorzugt durch bekannte, softwaremäßige Maßnahmen an den digitalen Daten der Abbilder unter Verwendung von Kalibrierungs-Parametern für das Visuell-Abbild und Kalibrierungs-Parametem 108 für das Infrarot-Abbild.
Die normalisierten bzw. weitgehend von Störungen befreiten Abbilder werden durch einen an sich in der digitalen Bildverarbeitung bekannten Registrierungsvorgang zueinander durch die Ausricht- Vorrichtung 105 unter Verwendung von Registrierungs-Parametern 109 ausgerichtet. Bei dem Ausrichtvorgang bleibt bevorzugt eines der Abbilder unverändert und dient als Referenz für das andere Abbild. Das zweite Abbild wird in Größe und Lage so verändert, dass ein weitgehend objektgleiches Abbild relativ zum ersten Abbild entsteht.
Die normalisierten Abbilder werden also so relativ zueinander ausgerichtet, dass ein und dasselbe Objekt an weitgehend gleicher Stelle und in weitgehend gleicher
Größe im fusionierten Bild erscheint. Wird dieser Vorverarbeitungsschritt nicht ausgeführt, entstehen aufgrund unterschiedlicher Kamerageometrien und des
Kameraversatzes Geister-, Doppel-, Schatten- bzw. Zwillingsbilder. Dies bedeutet, dass ein Objekt an zwei Orten und in unterschiedlichen Größen im fusionierten Bild erscheint. Der Betrachter wird von solch einem Bild eher irritiert als dass ihm geholfen wird.
Die Ausrichtung der normalisierten Abbilder kann in drei Schritte eingeteilt werden: Verschiebung, Drehung und Skalierung. Die zueinander ausgerichteten Abbilder werden in der Überlagerungs- bzw. Fusionseinrichtung 106 durch die Bearbeitung von deren digitalen Daten überlagert bzw. fusioniert. Aus jedem zeit- und ortsgleichen bzw. objektgleichen Bild-Paar aus Visuell-Abbild und Infrarot-Abbild wird ein fusioniertes oder überlagertes Bild generiert, das dem Fahrer des Fahrzeugs in einer Bildanzeigeeinheit 30 im Fahrzeug dargestellt wird.
Bevorzugt erfolgt eine Fusion der zeit- und ortsgleichen Bild-Paare aus Visuell- Abbild und Infrarot-Abbild auf der Basis einzelner, einander zugeordneter Pixel- Paare aus beiden Abbildern oder unter Verwendung von mehreren Pixeln aus den beiden Abibildern. Dies kann sich insbesondere daran orientieren, welche Auflösung gewünscht und/oder welche Rechenleistung für die digitale Bildbearbeitung zur Verfügung steht. Die wie beschrieben vorverarbeiteten Abbilder werden durch digitale Verarbeitung von deren Bild-Daten überlagert und angezeigt. Vom Ergebnis her kann dieser Vorgang annähernd mit dem Übereinanderlegen von Folien oder Dias derselben Szene oder Fahrumgebung verglichen werden. Rechentechnisch bzw. bei der digitalen Bildverarbeitung wird dies durch Mittelwertbildung der Pixel- Informationen, insbesondere unter Berücksichtigung von deren Helligkeit in den jeweiligen Abbildern und der im Visuell-Abbild und/oder im Infrarot-Abbild enthaltenen Farbinformationen, erreicht. Dies muss nicht notwendigerweise Pixel für Pixel erfolgen, sondern kann auch durch Mittelwertbildung für orts- und zeitgleiche Pixel-Bereiche in beiden Abbildern geschehen.
Ferner kann es sinnvoll sein, die Pixel-Information im Infrarot-Abbild bei der Mittelwertbildung unterschiedlich zur zeit- und ortsgleichen Pixel-Information im Visuell-Abbild zu gewichten. Diese unterschiedliche Gewichtung kann beispielsweise tageslicht- und/oder witterungsabhängig und/oder in Abhängigkeit vom Scheinwerferlicht des Kraftfahrzeugs und/oder in Abhängigkeit von der Farbe im Visuell-Abbild erfolgen. Hierdurch kann beispielsweise erreicht werden, dass eine rote Ampel im Fusionsbild besonders deutlich erkennbar ist.
Da im Kraftfahrzeug primär die Detektion von Objekten im Fernbereich, d.h. in Entfernungen zwischen 50 bis 250 m, von Interesse ist, erzeugt man aufgrund der festen Einstellung der Kalibrierung im Nahbereich und aufgrund der versetzten optischen Achsen der Kameras 101 , 102 Doppelbilder, die beim Fahrzeugbenutzer zu Irritationen führen können. Um diese Irritationen zu vermeiden, wird beispielsweise in Abhängigkeit der Entfernung zu einem vorausliegenden Objekt und/oder in Abhängigkeit der Geschwindigkeit des Fahrzeugs das in der Bildanzeigeeinheit 30 dargestellte Zielbild auf die Wiedergabe entweder des Visuell- Abbilds oder des Infrarot-Abbilds beschränkt.
In Fig. 2 ist der Zusammenhang zwischen dem Paralaxen-Fehler und der Entfernung der Kameravorrichtung zu dem von dieser aufgenommenen Objekt dargestellt. Es ist dabei eine Situation dargestellt, in der die Vorrichtung auf eine paralaxen-freie Darstellung im Fernbereich optimiert ist. Überschreitet der Paralaxen-Fehler eine gewisse Schwelle, die von verschiedenen Umgebungsparametern, wie z.B. der Geschwindigkeit und/oder der Entfernung und/oder den Witterungsbedingungen und/oder der Topologie und/oder der Fahrzeugumgebung abhängen kann, so wird die Bildfusion ausgesetzt und das der Situation besser geeignete Abbild der Visuell-Kamera oder der Infrarot-Kamera zur Darstellung gebracht. Im Ausführungsbeispiel ist diese Schwelle bei einer Entfernung eingestellt, die kleiner als die durch Kalibrierung eingestellte „Optimal- Entfernung" ist. Die Schwelle braucht nicht unbedingt fest eingestellt zu sein, sondern kann dynamisch von verschiedenen Parametern abhängen oder durch einen Bereich definiert sein.
Es sind beispielsweise folgende Szenarien vorstellbar:
An einer Ampel fährt das Fahrzeug auf ein vorausfahrendes Fahrzeug dichter auf, wodurch der Ausrichtungsfehler der miteinander fusionierten Bilder der Visuell- Kamera und der Infrarot-Kamera im Zielbild zunimmt. In Abhängigkeit einer durch einen Sensor 40 ermittelten Entfernung, welcher mit der Bildverarbeitungseinheit gekoppelt ist, wird ermittelt, bei welcher Entfernung zwischen dem Objekt und der Kameravorrichtung 10 ein bestimmter Ausrichtungsfehler überschritten wird. Nach Überschreiten dieses Ausrichtungsfehlers wird die Bildfusion deaktiviert und lediglich das Abbild der Infrarot-Kamera zur Anzeige gebracht. Alternativ kann in einer anderen Ausgestaltung natürlich auch lediglich das Abbild der Visuell-Kamera zur Anzeige gebracht werden. Wird in einem anderen Ausführungsbeispiel eine vorgegebene Geschwindigkeit des Fahrzeugs unterschritten, so reicht die Reichweite der eigenen Scheinwerfer aus, dass sich der Fahrzeugbenutzer über das Geschehen in der näheren Umgebung ausreichend informieren kann. Bei Unterschreitung einer vorgegebenen Geschwindigkeit des Fahrzeugs könnte deshalb die Bildfusion ausgesetzt und das Abbild der Visuell-Kamera im Zielbild nicht zur Anzeige gebracht werden und lediglich das Abbild der Infrarot-Kamera angezeigt werden. So wird gewährleistet, dass Personen, Tiere, usw. auch in einer schlecht beleuchteten Umgebung, z.B. in einer Wohnsiedlung, auf einem Waldparkplatz, usw., zur Anzeige gebracht werden. Die Geschwindigkeit wird durch einen mit der Bildverarbeitungseinheit 20 gekoppelten Geschwindigkeitssensor 41 ermittelt.
Die beiden Ausführungsbeispiele beschreiben eine Anwendung des Aussetzens der Bildfusion bei geringen Entfernungen und/oder bei kleinen Geschwindigkeiten des Fahrzeugs. Generell lässt sich die Erfindung auch anwenden, wenn die Vorrichtung auf eine geringe Entfernung kalibriert ist. Die Bildfusion würde hierbei bei Überschreiten einer vorgegebenen Entfernung und/oder einer bestimmten Geschwindigkeit ausgesetzt.
Der Vorteil des erfindungsgemäßen Vorgehens besteht darin, dass durch Aussetzen der Bildfusion im Zielbild keine Abbildungsfehler auftreten, die zu Irritationen führen könnten. Die erfindungsgemäße Vorrichtung erlaubt damit den Einsatz einer Bildfusions-Vorrichtung, welche lediglich auf einen Entfernungsbereich kalibriert ist. Auf komplexe Steuerungsalgorithmen, die Abbildungsfehler in sämtlichen Entfernungsbereichen vermeiden und über aufwendige Rechenalgorithmen ermittelt werden müssen, kann dadurch verzichtet werden.
Bezugszeichenliste
10 Kameravorrichtung
20 Bildverarbeitungseinheit
30 Bildanzeigeeinheit
40 Sensor
41 Sensor
101 Kamera
102 Kamera
103 Normalisierungsvorrichtung
104 Normalisierungsvorrichtung
105 Ausricht-Vorrichtung
106 Fusionseinrichtung
107 Kalibrierungs-Parameter
108 Kalibrierungs-Parameter
109 Registrierungs-Parameter

Claims

Patentansprüche
1. Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, bei dem ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt wird, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt, und ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt wird, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, eine Bildfusion vorgenommen wird, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit (30) darstellbaren Zielbild fusioniert, um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern, dadurch gekennzeichnet, dass die Bildfusion in Abhängigkeit eines Umgebungsparameters ausgesetzt wird, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in dem Schritt des Aussetzens der Bildfusion das Visuell-Abbild und/oder das Infrarot-Abbild zur Vermeidung von Unscharfen und/oder Doppelbildern sämtliche digitale Daten der Umgebung des jeweiligen Abbilds ausgeblendet werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Umgebungsparameter aus zumindest einer sensorisch erfassten, fahrdynamischen Größe und/oder zumindest einem anderen Parameter ermittelt wird/
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als fahrdynamische Größe die Geschwindigkeit des Fahrzeugs, insbesondere das Unter- oder Überschreiten einer vorgegebenen Geschwindigkeit, verarbeitet wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass als fahrdynamische Größe ein Abstand des Fahrzeugs zu einem im Blickwinkel der Kamera erfassten Objekt, insbesondere das Unter- oder
Überschreiten eines vorgegebenen Abstands, verarbeitet wird.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass als weiterer Parameter die aktuelle Position des Fahrzeugs verarbeitet wird.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass als weiterer Parameter die Topologie und/oder die aktuellen Witterungsbedingungen verarbeitet werden.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass als weiterer Parameter ein durch den Fahrzeugnutzer auswählbarer Parameter durch die Bildverarbeitungseinheit verarbeitet wird.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die Entropiewerte des Visuell-Abbilds und des Infrarot-Abbilds ermittelt wird, die Entropiewerte mit einem vorgegebenen Entropiewert verglichen werden, und anhand des Vergleichsergebnisses entschieden wird, ob das Visuell- Abbild und/oder das Infrarot-Abbild oder beide ausgeblendet werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aussetzen der Bildfusion unter Berücksichtigung einer zeitlichen Hysterese erfolgt.
1 1. Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, mit einer Kameravorrichtung (10), die eine ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellende Visuell- Kamera (101 ) und eine ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellende Infrarot-Kamera (102) aufweist, wobei das visuelle Abbild die visuell sichtbaren Objekte und das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, - einer Bildverarbeitungseinheit (20) zum Verarbeiten des Visuell-
Abbilds und des Infrarot-Abbilds, wobei die Bildverarbeitungseinheit (20) dazu ausgebildet und/oder dazu eingerichtet ist, eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vorzunehmen, und einer Bildanzeigeeinheit (30) zur Anzeige des von der Bildverarbeitungseinheit (20) generierten Abbilds der Umgebung, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (20) dazu ausgebildet und/oder eingerichtet ist, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden.
12. Vorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass zumindest ein mit der Bildverarbeitungseinheit (20) gekoppelter Sensor (40,41) zur Ermittlung einer fahrdynamischen Größe vorgesehen ist.
13. Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass der Bildverarbeitungseinheit (20) ein weiterer Parameter zuführbar ist.
14. Vorrichtung nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (20) dazu eingerichtet ist, aus der fahrdynamischen Größe und/oder dem weiteren Parameter den
Umgebungsparameter zu ermitteln.
15. Vorrichtung nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass die Kameravorrichtung (10) auf einen festgelegten Entfernungsbereich kalibriert ist.
EP06700891A 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds Ceased EP1846794A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005006290A DE102005006290A1 (de) 2005-02-11 2005-02-11 Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
PCT/EP2006/000133 WO2006084534A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds

Publications (1)

Publication Number Publication Date
EP1846794A1 true EP1846794A1 (de) 2007-10-24

Family

ID=36061713

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06700891A Ceased EP1846794A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds

Country Status (6)

Country Link
US (1) US9088737B2 (de)
EP (1) EP1846794A1 (de)
JP (1) JP2008530667A (de)
CN (1) CN101107556B (de)
DE (1) DE102005006290A1 (de)
WO (1) WO2006084534A1 (de)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4685050B2 (ja) * 2007-03-19 2011-05-18 本田技研工業株式会社 表示装置
JP4853437B2 (ja) * 2007-09-18 2012-01-11 株式会社デンソー 車両周辺監視システム
DE102008047644B4 (de) * 2008-09-17 2015-09-10 Siemens Aktiengesellschaft Verfahren zur Registrierung zweier Bildgebungsmodalitäten
JP5749442B2 (ja) * 2010-03-11 2015-07-15 株式会社日立情報通信エンジニアリング 監視装置
CN102128686B (zh) * 2010-12-14 2012-11-21 天津理工大学 红外显微测温仪
KR101349025B1 (ko) 2011-11-25 2014-01-10 현대자동차주식회사 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
EP2658245B1 (de) * 2012-04-27 2016-04-13 BlackBerry Limited System und Verfahren zum Einstellen von Kamerabilddaten
CN102700472B (zh) * 2012-06-13 2015-04-15 博立码杰通讯(深圳)有限公司 车辆驾驶辅助设备及方法
CN102745135A (zh) * 2012-07-24 2012-10-24 苏州工业园区七星电子有限公司 一种主动式车辆红外夜视系统
DE102012215465A1 (de) * 2012-08-31 2014-03-06 Robert Bosch Gmbh Verfahren und Informationssystem zum Filtern von Objektinformationen
KR101858646B1 (ko) 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR101470198B1 (ko) * 2013-07-29 2014-12-05 현대자동차주식회사 영상 합성 장치 및 방법
US10154208B2 (en) * 2013-07-31 2018-12-11 Maxell, Ltd. Imaging device, imaging method, and on-board imaging system
JP6136948B2 (ja) * 2014-01-24 2017-05-31 株式会社Ｊｖｃケンウッド 撮像装置、映像信号処理方法及び映像信号処理プログラム
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9723224B2 (en) * 2014-03-31 2017-08-01 Google Technology Holdings LLC Adaptive low-light identification
KR101601475B1 (ko) * 2014-08-25 2016-03-21 현대자동차주식회사 야간 주행 시 차량의 보행자 검출장치 및 방법
DE102014115294A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Kamerasystem für ein Kraftfahrzeug, Fahrerassistenzsystem, Kraftfahrzeug und Verfahren zum Zusammenführen von Bilddaten
CN107107834A (zh) * 2014-12-22 2017-08-29 富士胶片株式会社 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
CN104811624A (zh) * 2015-05-06 2015-07-29 努比亚技术有限公司 红外拍摄方法及装置
WO2016205419A1 (en) * 2015-06-15 2016-12-22 Flir Systems Ab Contrast-enhanced combined image generation systems and methods
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
DE102015216908A1 (de) * 2015-09-03 2017-03-09 Robert Bosch Gmbh Verfahren zum Erkennen von Objekten auf einer Abstellfläche
US10359618B2 (en) 2016-01-11 2019-07-23 Nikon Corporation Multispectral stereoscopic endoscope system and use of same
CN105759273A (zh) * 2016-02-17 2016-07-13 吴伟民 车辆障碍物检测方法及系统
JP6445480B2 (ja) * 2016-03-23 2018-12-26 トヨタ自動車株式会社 Ｓｏｉ基板の製造方法
US10412381B1 (en) * 2016-11-22 2019-09-10 Northrop Grumman Systems Corporation Calibration target for image sensor
DE102017200915A1 (de) * 2017-01-20 2018-07-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen eines Hinweises für einen Anwender und Arbeitsvorrichtung
TW201928769A (zh) * 2017-12-27 2019-07-16 宇博先進電子工業有限公司 標示物體溫度的方法
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
EP3715993B1 (de) 2019-03-25 2022-09-14 Hiab AB Fahrzeug mit einer arbeitsausrüstung sowie eine arbeitsausrüstung und ein verfahren im zusammenhang damit
SE1950427A1 (en) 2019-04-05 2020-10-06 Cargotec Patenter Ab A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
CN110362071B (zh) * 2019-05-24 2022-07-22 江西理工大学 基于多光谱成像技术的人工智能控制方法及装置
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11418719B2 (en) * 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN115170817B (zh) * 2022-07-21 2023-04-28 广州大学 基于三维人-物网格拓扑增强的人物交互检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
JPH01268284A (ja) * 1988-04-19 1989-10-25 Fujitsu Ltd 画像合成装置
GB2291304A (en) * 1994-07-07 1996-01-17 Marconi Gec Ltd Head-mountable display system
AU2559399A (en) * 1998-01-16 1999-08-02 Thresholds Unlimited, Inc. Head up display and vision system
JP4103179B2 (ja) * 1998-06-30 2008-06-18 マツダ株式会社 環境認識装置
JP2001101596A (ja) * 1999-09-27 2001-04-13 Mazda Motor Corp 車両の表示装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
US6646799B1 (en) * 2000-08-30 2003-11-11 Science Applications International Corporation System and method for combining multiple energy bands to improve scene viewing
JP2002091407A (ja) * 2000-09-20 2002-03-27 Ricoh Co Ltd 画像表示装置
JP2002237969A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 車載カメラおよび画像処理システム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
DE10207039A1 (de) * 2002-02-20 2003-09-04 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
US20070035625A9 (en) * 2002-12-20 2007-02-15 Hamdan Majed M Vehicle video processing system
JP2004235987A (ja) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 運転支援装置
DE10304703B4 (de) 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP2004312402A (ja) * 2003-04-08 2004-11-04 Hitachi Ltd 道路監視システム，道路監視装置
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
WO2006060746A2 (en) * 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006084534A1 *

Also Published As

Publication number Publication date
CN101107556A (zh) 2008-01-16
JP2008530667A (ja) 2008-08-07
US20080024608A1 (en) 2008-01-31
US9088737B2 (en) 2015-07-21
CN101107556B (zh) 2010-12-22
WO2006084534A1 (de) 2006-08-17
DE102005006290A1 (de) 2006-08-24

Similar Documents

Publication Publication Date Title
WO2006084534A1 (de) Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds
DE10304703B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
EP2765031B1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102012002149B3 (de) Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug
DE102018105951B4 (de) Verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
EP1504960B1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
DE102014018040A1 (de) Sichtsystem
EP3434523A1 (de) Indirektes sichtsystem für ein fahrzeug
EP1339228B1 (de) Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung
DE102012200133A1 (de) Verfahren und Vorrichtung zur Fahrerinformation
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102013224954A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102020107789A1 (de) Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
DE10218175B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE10227171B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE102013220022B4 (de) Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug
EP3106349A1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102015210870A1 (de) Vorrichtung und Verfahren zum Erfassen eines Bildes einer Fahrzeugumgebung
DE102014111186A1 (de) Objekthervorhebung und -erkennung bei Fahrzeugbildanzeigesystemen
DE102022120236B3 (de) Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug
DE102005000775B4 (de) Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus
DE102022101893A1 (de) Verfahren zur Darstellung von Augmented Reality Informationen in Fahrzeugen
DE102018110597A1 (de) Verfahren zur Bildharmonisierung, Bildverarbeitungseinrichtung, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070623

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20071114

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20090528