DE102013000260A1

DE102013000260A1 - Camera system i.e. near infrared camera system, for use with night vision system for displaying surroundings of passenger car, has image sensors, where distance between sensors is smaller than minimum distance necessary for capturing image

Info

Publication number: DE102013000260A1
Application number: DE201310000260
Authority: DE
Inventors: Stefan Franz; Werner Ritter
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2013-01-10
Filing date: 2013-01-10
Publication date: 2013-08-08

Abstract

The system (10) has image sensor (14) detecting picture information in a spectral region of an electromagnetic spectrum. Another image sensor (16) is arranged at a distance (18) from the former image sensor for detecting a part of picture information in another spectral region, preferably far-infrared. A processing unit (V) inserts other picture information of the latter image sensor into the former picture information. An indicating device (A) produces a representation of the picture information, where distance between the image sensors is smaller than minimum distance necessary for capturing a stereoscopic image. An independent claim is also included for a method for generating a representation of an environment of a motor vehicle.

Description

Die Erfindung betrifft ein zumindest zwei Bildsensoren aufweisendes Kamerasystem für einen Kraftwagen, einen Kraftwagen mit einem solchen Kamerasystem sowie ein Verfahren zum Erzeugen einer Darstellung eines Umfelds des Kraftwagens. Das Kamerasystem ist insbesondere als Nachtsichtsystem ausgestaltet.The invention relates to a camera system comprising at least two image sensors for a motor vehicle, a motor vehicle with such a camera system and a method for generating a representation of an environment of the motor vehicle. The camera system is designed in particular as a night vision system.

Dem Fahrer eines Kraftwagens mit einem heutigen Nachtsichtsystem wird das Umfeld des Kraftwagens in der Regel durch eine Anzeigeeinrichtung präsentiert, beispielsweise einem Head-up-Display. Eine Weiterentwicklung solcher Systeme besteht aus der Erweiterung des verwendeten und dargestellten elektromagnetischen Spektrums der eingesetzten Kamerasensoren.The driver of a motor vehicle with a night vision system today, the environment of the motor vehicle is usually presented by a display device, such as a head-up display. A further development of such systems consists of the extension of the electromagnetic spectrum used and shown of the camera sensors used.

Aus der DE 10 2004 033 625 A1 ist hierzu ein Verfahren zur Darstellung von Sichtfeldern aus einem Fahrzeug bekannt. Hierbei werden von einem Nah-Infrarot-Kamerasystem (NIR) einerseits und einem Fern-Infrarot-Kamerasystem (FIR) andererseits erfasste Bildinformationen einer Datenverarbeitungseinheit zugeführt, die darüber entscheidet, ob die Bilddaten der beiden Kamerasysteme überlagert werden soll. Das NIR-Kamerasystem erfasst reflektiertes Licht einer Infrarot-Lichtquelle. Das FIR-Kamerasystem erfasst Objekte in der Umgebung des Fahrzeugs, indem es die reine Wärmeabstrahlung im Sichtfeld aufnimmt. Mittels der Datenverarbeitungseinheit können die FIR-Daten und die NIR-Daten zu einer vollständigen Anzeige von Objekten ergänzt werden. Es können von den verschiedenen Kamerasystemen die Bilddaten nur eines Bereichs des Gesamtbildes mit den Daten des vollständigen Gesamtbildes kombiniert werden.From the DE 10 2004 033 625 A1 For this purpose, a method for displaying fields of view from a vehicle is known. In this case, on the other hand, image information acquired by a near-infrared camera system (NIR) on the one hand and a far-infrared camera system (FIR) is supplied to a data processing unit which decides whether the image data of the two camera systems should be superimposed. The NIR camera system captures reflected light from an infrared light source. The FIR camera system detects objects in the vicinity of the vehicle by absorbing the pure heat radiation in the field of view. By means of the data processing unit, the FIR data and the NIR data can be supplemented to a complete display of objects. From the various camera systems, the image data of only one area of the overall image can be combined with the data of the complete overall image.

Problematisch bei der Überlagerung von Bildinformationen zweier unterschiedlicher Kamerasensoren ist, dass diese Kamerasensoren zwangsweise an unterschiedlichen Orten im Kraftwagen angeordnet sind und daher das Umfeld aus zwei unterschiedlichen Perspektiven, d. h. Blickwinkeln, erfasst wird. Grundsätzlich gibt es hier die Möglichkeit, mit Hilfe einer Stereo- Verarbeitung der Bilddaten zweier unterschiedlicher Kamerasensoren, diese Bildinformationen pixelgenau aufeinander zu registrieren. Dies kann jedoch aufgrund zu geringer Gemeinsamkeiten der Datenbasis bei großen spektralen Unterschieden, wie sie sich etwa bei der Verwendung eines FIR-Kamerasensors einerseits und eines farbempfindlichen Kamerasensors andererseits ergeben, entweder gar nicht oder nur mit einem kostenintensiven Einsatz von Stereo-Sensoren und rechenintensiven Algorithmen umsetzbar sein.The problem with the superposition of image information of two different camera sensors is that these camera sensors are forcibly located at different locations in the motor vehicle and therefore the environment from two different perspectives, ie. H. Viewing angles, is detected. Basically, there is the possibility, with the help of a stereo processing of the image data of two different camera sensors, to register this image information with pixel precision. However, due to insufficient commonality of the data base with large spectral differences, such as those resulting from the use of an FIR camera sensor on the one hand and a color-sensitive camera sensor on the other hand, this can either not be realized at all or can only be implemented with cost-intensive use of stereo sensors and computation-intensive algorithms be.

Der Erfindung liegt die Aufgabe zugrunde, einem Fahrer eines Kraftwagens eine verbesserte Sicht auf eine Szene in einer Umgebung des Kraftwagens mit Hilfe von Kamerasensoren zu ermöglichen.The invention has for its object to enable a driver of a motor vehicle improved visibility to a scene in an environment of the motor vehicle with the aid of camera sensors.

Die Aufgabe wird durch ein Kamerasystem gemäß Patentanspruch 1, einen Kraftwagen gemäß Patentanspruch 8 sowie ein Verfahren gemäß Patentanspruch 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is achieved by a camera system according to claim 1, a motor vehicle according to claim 8 and a method according to claim 9. Advantageous developments of the invention are given by the dependent claims.

Der Erfindung liegt die Idee zugrunde, durch eine günstige Wahl der optischen Konfiguration und der Verbauung von Bildsensoren zweier Kamera-Bildsensoren eine Registrierung bzw. Anpassung der Sichtbereiche für eine bildbasierte Fusion der Bildinformationen der beiden Bildsensoren derart zu vereinfachen, dass eine aufwändige Stereo-Verarbeitung für die Registrierung nicht mehr nötig ist.The invention is based on the idea to simplify a registration or adaptation of the viewing areas for an image-based fusion of the image information of the two image sensors by a favorable choice of the optical configuration and the installation of image sensors of two camera image sensors such that a complex stereo processing for the registration is no longer necessary.

Hierzu weist das erfindungsgemäße Kamerasystem einen ersten Bildsensor zum Erfassen von Bildinformationen in einem ersten Spektralbereich des elektromagnetischen Spektrums sowie einen in einem Abstand zum ersten Bildsensor angeordneten zweiten Bildsensor zum Erfassen zumindest eines Teils der Bildinformationen in einem von dem ersten Spektralbereich zumindest teilweise verschiedenen zweiten Spektralbereich des elektromagnetischen Spektrums auf. Unter Bildinformationen sind hier insbesondere die Informationen über Konturen und Formen, Farben und die relative Positionierung von Objekten in einem Umfeld des Kraftwagens, insbesondere in einem vor dem Kraftwagen befindlichen Fahrbahnbereich, gemeint. Sie werden durch einen Bilddatenstrom dargestellt. Das erfindungsgemäße Kamerasystem weist des Weiteren eine Verarbeitungseinrichtung zum Einfügen der Bildinformationen des zweiten Bildsensors in die Bildinformationen des ersten Bildsensors auf, wodurch die Bildinformationen des ersten Bildsensors durch diejenigen des zweiten Bildsensors ergänzt oder sogar ersetzt werden können. Die derart zusammengefassten Bildinformationen können dann z. B. durch eine Anzeigeeinrichtung des Kamerasystems dargestellt werden. Um hierbei ein kostengünstiges Kamerasystem zu schaffen, ist bei dem erfindungsgemäßen Kamerasystem eine möglichst nahe Anordnung der Bildsensoren zueinander angestrebt. Der Abstand der Bildsensoren ist bei dem erfindungsgemäßen Kamerasystem kleiner als ein für eine stereoskopische Bilderfassung nötiger Mindestabstand. Insbesondere ist der Abstand kleiner als 5 cm, bevorzugt kleiner als 3 cm. Mit anderen Worten erfolgt eine parallaxefreie, monoskopische oder zumindest nahezu monoskopische Erfassung der Bildinformationen durch die beiden Bildsensoren. Dies ermöglicht es, die Bilddaten beider Bildsensoren ohne aufwändige Bildverarbeitungsschritte miteinander zu kombinieren, ohne dass sich in den resultierenden Bilder sogenannte Geisterbilder ergeben. Hierdurch ergibt sich der Vorteil, dass die kostenintensive Stereo-Sensorik entfallen kann und nur eine sehr einfache Rechenhardware bereitgestellt werden muss.For this purpose, the camera system according to the invention has a first image sensor for acquiring image information in a first spectral range of the electromagnetic spectrum and a second image sensor arranged at a distance from the first image sensor for detecting at least part of the image information in a second spectral range of the electromagnetic energy at least partially different from the first spectral range Spectrum on. By image information is meant in particular the information about contours and shapes, colors and the relative positioning of objects in an environment of the motor vehicle, in particular in a lane area located in front of the motor vehicle. They are represented by a picture data stream. The camera system according to the invention further comprises a processing device for inserting the image information of the second image sensor into the image information of the first image sensor, whereby the image information of the first image sensor can be supplemented or even replaced by that of the second image sensor. The thus summarized image information can then z. B. be represented by a display device of the camera system. In order to create a cost-effective camera system, in the case of the camera system according to the invention, an arrangement of the image sensors which is as close as possible to one another is sought. The distance of the image sensors is smaller in the camera system according to the invention than a minimum distance necessary for stereoscopic image acquisition. In particular, the distance is less than 5 cm, preferably less than 3 cm. In other words, there is a parallax-free, monoscopic or at least almost monoscopic acquisition of the image information by the two image sensors. This makes it possible to combine the image data of both image sensors without elaborate image processing steps without resulting in so-called ghost images in the resulting images. This has the advantage that the costly stereo sensor can be omitted and only a very simple computing hardware must be provided.

Mit dem erfindungsgemäßen Kamerasystem kann in einer Weiterbildung das monochrome Bild eines FIR-Kamerasystems aus dem nicht sichtbaren Spektrum durch einen weiteren, farbempfindlichen Kamerasensor für das sichtbare Spektrum aufgewertet werden. Der große Vorteil für den Nutzer besteht darin, dass dieser sich leichter in der dargestellten Szene orientieren und z. B. Warnungen vor Objekten im Display schneller im natürlichen Umfeld des Fahrzeugs identifizieren und orten kann. Die Weiterbildung des erfindungsgemäßen Kamerasystems weist entsprechend eine Konfiguration auf, bei welcher der erste Spektralbereich zumindest teilweise das sichtbare Spektrum und/oder der zweite Spektralbereich zumindest teilweise ein Infrarotspektrum für eine Fern-Infrarot-Erfassung umfasst. Die Verwendung eines Bildsensors für das sichtbare Farbspektrum weist den Vorteil auf, dass nicht mehr, wie bei heutigen Nachtsichtsystemen, nur eine monochrome Darstellung des Umfelds erfolgt, sondern in vorteilhafter Weise dem Benutzer ein natürlicher Bildeindruck dargeboten werden kann. Die Erfassung von Bildinformationen im Fern-Infrarot-Spektralbereich weist den Vorteil auf, dass auch Bildinformationen in solchen Bereichen des Umfelds erfasst werden können, die durch den farbempfindlichen Bildsensor nicht mehr erfasst werden können, weil sie beispielsweise im Dunkeln liegen und nicht durch die Fahrzeugscheinwerfer ausgeleuchtet werden.With the camera system according to the invention, in one development, the monochrome image of an FIR camera system can be upgraded from the non-visible spectrum by a further color-sensitive camera sensor for the visible spectrum. The great advantage for the user is that it is easier to orient in the scene shown and z. B. can identify and locate warnings about objects in the display faster in the natural environment of the vehicle. The development of the camera system according to the invention accordingly has a configuration in which the first spectral range comprises at least partially the visible spectrum and / or the second spectral range at least partially an infrared spectrum for a far-infrared detection. The use of an image sensor for the visible color spectrum has the advantage that no longer, as in today's night vision systems, only a monochrome representation of the environment takes place, but advantageously the user a natural image impression can be presented. The acquisition of image information in the far-infrared spectral range has the advantage that also image information can be detected in those areas of the environment that can no longer be detected by the color-sensitive image sensor, for example because they are in the dark and not illuminated by the vehicle headlights become.

Als besonders geeignet für die Realisierung des erfindungsgemäßen Kamerasystems hat sich die Verwendung eines Wafer-Level-Kameramoduls herausgestellt (WLC – Wafer Level Camera). Ein solches Kameramodul ist sogar kleiner als ein für ein Mobiltelefon üblicherweise verwendetes Kameramodul und kann so als integrierter Bestandteil eines üblicherweise weitaus größer bauenden FIR-Kameragehäuses bereitgestellt werden.Particularly suitable for the realization of the camera system according to the invention, the use of a wafer-level camera module has been found (WLC - Wafer Level Camera). Such a camera module is even smaller than a camera module commonly used for a mobile phone and can thus be provided as an integrated part of a usually much larger-sized FIR camera body.

Die Verarbeitungseinrichtung ist in einer Ausführungsform des Kamerasystems dazu ausgelegt, die von zumindest einem der Bildsensoren stammenden Bilddaten einer Bildverarbeitung zu unterziehen. Eine solche Bildverarbeitung kann beispielsweise eine Änderung der Bildinformationen selber betreffen, also das Schärfen von Kanten in den Bildern oder das Verändern eines Kontrastes oder einer Farbsättigung. Es kann auch eine Skalierung der Bilder vorgenommen werden, um Bildausschnitte der Bilder der beiden Bildsensoren aneinander anzugleichen. Es können auch Übergänge und Ränder der Bilder eines Bildsensors durch eine Glättung oder auch durch graduelles Überblenden derart aufgelöst werden, dass die Bilder in einem Übergangsbereich mit einstellbarer Breite ineinander übergehen. Dies verbessert in vorteilhafter Weise den Gesamteindruck.In one embodiment of the camera system, the processing device is designed to subject the image data originating from at least one of the image sensors to image processing. Such image processing can, for example, relate to a change in the image information itself, ie the sharpening of edges in the images or the alteration of a contrast or a color saturation. Scaling of the images can also be performed in order to align image sections of the images of the two image sensors. It is also possible to resolve transitions and edges of the images of an image sensor by means of smoothing or also by gradual blending in such a way that the images merge into one another in a transition region with an adjustable width. This advantageously improves the overall impression.

Durch Auswahl verschiedener Öffnungswinkel der Optiken der beiden Bildsensoren werden noch gegebenenfalls bestehende Effekte, wie sie durch einen verbleibenden Parallaxenfehler der beiden Bildsensoren hervorgerufen werden können, weiter reduziert. Bevorzugt wird hierzu der Aufnahmewinkel einer Optik für den zweiten Bildsensor kleiner als ein Aufnahmewinkel einer Optik für den ersten Bildsensor gewählt.By selecting different aperture angles of the optics of the two image sensors, any existing effects, such as may be caused by a remaining parallax error of the two image sensors, are further reduced. For this purpose, the pickup angle of an optical system for the second image sensor is preferably chosen to be smaller than a pickup angle of an optical system for the first image sensor.

In Bezug auf die Anzeigeeinrichtung ergibt sich eine vorteilhafte Weiterbildung des Kamerasystems, wenn dieses ein Head-up-Display umfasst, welches dazu ausgelegt ist, die Darstellung der zusammengefassten Bildinformationen in einem Bereich einer Windschutzscheibe des Kraftwagens einzublenden. Hierdurch können dem Fahrer die Bildinformationen präsentiert werden, während dieser seine Aufmerksamkeit weiter auf den Verkehr richtet.With regard to the display device, an advantageous further development of the camera system results if this comprises a head-up display which is designed to display the representation of the combined image information in a region of a windshield of the motor vehicle. As a result, the image information can be presented to the driver while he continues to focus his attention on the traffic.

Der erfindungsgemäße Kraftwagen kennzeichnet sich durch ein Kamerasystem aus, welches eine Ausführungsform des erfindungsgemäßen Kamerasystems darstellt.The motor vehicle according to the invention is characterized by a camera system, which represents an embodiment of the camera system according to the invention.

Das ebenfalls zur Erfindung gehörige Verfahren ermöglicht einen Betrieb eines Kamerasystems, das beispielsweise eine Ausführungsform des erfindungsgemäßen Kamerasystems sein kann. Mittels des Verfahrens wird eine Darstellung eines Umfelds des Kraftwagens erzeugt. Hierzu werden Bildinformationen des Umfelds mit einem ersten Bildsensor aus einem ersten Blickwinkel und in einem ersten Spektralbereich des elektromagnetischen Spektrums erfasst und aus den erfassten Bildinformationen erste Bilddaten mittels des ersten Bildsensors erzeugt. Zu zumindest einem Teilbereich des Umfelds werden zweite Bildinformationen mittels eines zweiten Bildsensors und hierbei in einem vom ersten Spektralbereich verschiedenen zweiten Spektralbereich des elektromagnetischen Spektrums erfasst. Aus den so erfassten zweiten Bildinformationen werden zweite Bilddaten mittels des zweiten Bildsensors erzeugt. In der bereits beschriebenen Weise werden dann die ersten Bilddaten mit den zweiten Bilddaten zu Anzeigedaten kombiniert, welche dann angezeigt werden. Um die Kombination möglichst einfach gestalten zu können, wird bei dem erfindungsgemäßen Verfahren mittels des zweiten Bildsensors die zweiten Bildinformationen aus einem zweiten Blickwinkel erfasst, für den sich eine Blickwinkeldifferenz zum ersten Blickwinkel ergibt, die kleiner als eine für eine stereoskopische Bilderfassung des Teilbereichs des Umfelds nötige Mindestdifferenz ist. Dies ermöglicht es wieder, ohne eine aufwändige Bildregistrierung oder perspektivische Anpassung der Bilddaten die Bilddatenströme der beiden Bildsensoren miteinander zu kombinieren. Die Kombination kann also z. B. durch eine direkte, pixelweise gewichtete Überlagerung erfolgen. Es sind höchstens nur einfache Transformationen, wie z. B. eine Sklierung, nötig.The method also belonging to the invention enables operation of a camera system, which can be, for example, an embodiment of the camera system according to the invention. By means of the method, a representation of an environment of the motor vehicle is generated. For this purpose, image information of the environment is detected with a first image sensor from a first viewing angle and in a first spectral range of the electromagnetic spectrum, and first image data is generated from the acquired image information by means of the first image sensor. For at least a partial area of the environment, second image information is acquired by means of a second image sensor and in this case in a second spectral range of the electromagnetic spectrum which is different from the first spectral range. From the second image information thus acquired, second image data are generated by means of the second image sensor. In the manner already described, the first image data are then combined with the second image data to display data, which are then displayed. In order to be able to design the combination as simply as possible, in the method according to the invention by means of the second image sensor, the second image information is acquired from a second viewing angle, for which a viewing angle difference results to the first viewing angle, which is smaller than necessary for a stereoscopic image acquisition of the subregion of the environment Minimum difference is. This makes it possible again, without a complex image registration or perspective adaptation of the image data, the image data streams of the two image sensors together combine. The combination can therefore z. B. done by a direct, pixel-wise weighted overlay. At most, only simple transformations, such. B. a slavery needed.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, welche Merkmale aufweisen, die bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kamerasystems beschrieben worden sind. Aus diesem Grund werden die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.Developments of the method according to the invention which have features which have already been described in connection with the developments of the camera system according to the invention also belong to the invention. For this reason, the corresponding developments of the method according to the invention will not be described again here.

Im Folgenden wir die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels beschrieben. Hierzu zeigt:In the following, the invention will be described once more with reference to a concrete embodiment. This shows:

1 eine schematische Darstellung von Bildsensoren einer Ausführungsform des erfindungsgemäßen Kamerasystems; und 1 a schematic representation of image sensors of an embodiment of the camera system according to the invention; and

2 eine Anzeige einer Anzeigeeinrichtung einer Ausführungsform des erfindungsgemäßen Kamerasystems. 2 a display of a display device of an embodiment of the camera system according to the invention.

Die Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.The examples illustrate preferred embodiments of the invention.

In 1 ist ein Kamerasystem 10 gezeigt. Das Kamerasystem 10 kann beispielsweise in einem Kraftwagen, insbesondere einen Personenkraftwagen, eingebaut sein. Zur Veranschaulichung der Größenordnungen ist in 1 zusätzlich eine Bleistiftspitze 12 dargestellt. Das Kamerasystem 10 umfasst einen ersten Bildsensor 14 und einen zweiten Bildsensor 16, die in einem Abstand 18 zueinander angeordnet sind. Die Bildsensoren 14, 16 weisen jeweils eine Optik 20, 22 auf, die in dieselbe Richtung ausgerichtet ist, so dass beide Bildsensoren 14, 16 sehr ähnliche Blickwinkel auf eine Umgebung des Kamerasystems 10 aufweisen. Die Blickwinkeldifferenz ist durch den Abstand 18 festgelegt. Der Abstand 18 ist derart klein gewählt, dass durch die Bildsensoren 14, 16 Bildsequenzen erfasst werden können, wobei ein Einzelbild des Bildsensors 14 und ein korrespondierendes Einzelbild des Bildsensors 16 nahezu parallaxefrei, bevorzugt vollständig parallaxefrei, sind.In 1 is a camera system 10 shown. The camera system 10 For example, it can be installed in a motor vehicle, in particular a passenger car. To illustrate the orders of magnitude is in 1 in addition a pencil tip 12 shown. The camera system 10 includes a first image sensor 14 and a second image sensor 16 that at a distance 18 are arranged to each other. The image sensors 14 . 16 each have an appearance 20 . 22 on, which is aligned in the same direction, so that both image sensors 14 . 16 very similar view of an environment of the camera system 10 exhibit. The viewing angle difference is by the distance 18 established. The distance 18 is chosen so small that through the image sensors 14 . 16 Image sequences can be detected, with a single image of the image sensor 14 and a corresponding frame of the image sensor 16 are almost parallax-free, preferably completely free of parallax, are.

Mit dem Kamerasystem 10 kann eine Verkehrsszene vor dem Kraftwagen erfasst werden. Das Kamerasystem 10 kann hierbei als Nachtsichtsystem ausgelegt sein. Der Bildsensor 14 kann als ein farbempfindlicher Sensor zum Erfassen von Farbbildern im sichtbaren elektromagnetischen Spektrum ausgelegt sein. Bei dem Bildsensor 14 kann es sich beispielsweise um ein WLC-Modul handeln. Der Bildsensor 16 kann ein FIR-Bildsensor sein. Die Bildsensoren 14, 16 können mit einer Bildverarbeitungseinrichtung V gekoppelt sein, die beispielsweise einen Prozessor für eine Bildverarbeitung umfassen kann. Durch die Bildverarbeitungseinrichtung werden von den Bildsensoren 14, 16 erzeugte Bilddaten, die jeweils Einzelbilder darstellen, miteinander zu einem kombinierten Einzelbild kombiniert und hieraus Anzeigedaten für eine Anzeigeeinrichtung A erzeugt, die beispielsweise ein Head-up-Display umfassen kann. Die Anzeigeeinrichtung A kann auch in einem Kombiinstrument oder durch einen Bildschirm einer Mittelkonsole des Kraftwagens bereitgestellt sein.With the camera system 10 a traffic scene can be detected in front of the car. The camera system 10 can be designed as a night vision system. The image sensor 14 may be designed as a color-sensitive sensor for capturing color images in the visible electromagnetic spectrum. At the image sensor 14 For example, it may be a WLC module. The image sensor 16 can be an FIR image sensor. The image sensors 14 . 16 may be coupled to an image processing device V, which may include, for example, a processor for image processing. By the image processing device are of the image sensors 14 . 16 generated image data, each representing individual images combined with each other to form a combined single image and from this generates display data for a display device A, which may comprise, for example, a head-up display. The display device A can also be provided in an instrument cluster or through a screen of a center console of the motor vehicle.

Eine beispielhafte, durch die Verarbeitungseinrichtung V erzeugbare und die Anzeigeeinrichtung A anzeigbare Anzeige 24 ist in 2 gegeben. Die Anzeige 24 zeigt eine sichtverbesserte Szene 26, wie sie mittels der Bilddaten aus beiden Bildsensoren 14, 16 durch Erfassen der Szene 26 in verschiedenen Spektren, z. B. dem Farbspektrum und dem FIR-Spektrum, zur verbesserten und natürlichen Darstellung bei Nacht erzeugt werden kann. Durch Platzieren eines Temperaturbilds 28 des Bildsensors 16 als Bild-in-Bild-Repräsentation (PIP – Picture in Picture) in einem Farbbild 30 des Bildsensors 14 können die vorteilhaften Eigenschaften des Temperaturbilds 28 direkt in die natürliche und dem Benutzer des Kamerasystems 10 gewohnte Darstellung des Farbbilds 30 eingeblendet werden. Zur Verdeutlichung des Vorteils ist in 2 noch ein Rand 32 eines Lichtkegels eines Scheinwerfers des Kraftwagens gezeigt. Der Rand 32 verdeutlicht, dass mit dem Scheinwerfer des Kraftwagens nur ein Nahbereich 34 der Szene 26 vor dem Kraftwagen ausgeleuchtet wird. Ein Fernbereich 36 liegt im Dunkeln. Im Fernbereich 36 befinden sich zwei Personen 38, 40, die nicht mittels des Scheinwerferlichts erkannt werden können. Der Farb-Bildsensor 14 erfasst im Nahbereich 30 mittels der Ausleuchtung durch den Scheinwerfer die im Nahbereich 30 befindlichen Objekte. Die Personen 38, 34 bilden eine Wärmequelle, die von dem FIR-Bildsensor 16 auch im nicht ausgeleuchteten Fernbereich 36 jenseits des Randes 32 erfasst werden können. Da für den Fernbereich 36 die Bildinformationen des Farbbilds 30 durch die FIR-Bildinformationen des Temperaturbilds 28 mittels der Verarbeitungseinrichtung V ergänzt oder sogar ersetzt werden können, wird auf der Anzeige 24 für den Fahrer die Szene 26 in einer Weise dargestellt, die es dem Fahrer ermöglicht, auch die Personen 38, 40 zu erkennen.An exemplary, producible by the processing device V and the display device A displayable display 24 is in 2 given. The ad 24 shows a view improved scene 26 as shown by the image data from both image sensors 14 . 16 by capturing the scene 26 in different spectra, z. As the color spectrum and the FIR spectrum, for improved and natural representation at night can be generated. By placing a temperature image 28 of the image sensor 16 as picture-in-picture representation (PIP) in a color picture 30 of the image sensor 14 can the favorable characteristics of the temperature picture 28 directly into the natural and the user of the camera system 10 familiar representation of the color image 30 to be displayed. To illustrate the advantage is in 2 another edge 32 a light cone of a headlight of the motor vehicle shown. The edge 32 clarifies that with the headlight of the motor vehicle, only a short-range 34 the scene 26 is illuminated in front of the car. A long distance area 36 is in the dark. In the distance area 36 there are two people 38 . 40 that can not be detected by the headlight. The color image sensor 14 recorded at close range 30 by means of illumination by the headlight in the vicinity 30 located objects. The people 38 . 34 Form a heat source from the FIR image sensor 16 even in the non-illuminated distant area 36 beyond the edge 32 can be detected. As for the long-range 36 the image information of the color image 30 through the FIR image information of the temperature image 28 can be supplemented or even replaced by the processing device V is on the display 24 for the driver the scene 26 presented in a way that allows the driver, including the persons 38 . 40 to recognize.

Es wird so ein farbgetreues Bild 30 im Nahfeld 34 ohne Bildregistrierung oder perspektivischer Anpassung um die weiteren Bildinformationen des Temperaturbilds 28 des Bildsensors 16 ergänzt.It will be a true color picture 30 in the near field 34 without image registration or perspective adaptation to the further image information of the temperature image 28 of the image sensor 16 added.

Der Bildsensor 14 für die Farbbilderfassung deckt durch einen größeren Öffnungswinkel W1 den Nahbereich 30 mit dem seitlichen Umfeld nach vorne im Bereich des vom Kraftwagen ausgestrahlten Scheinwerferlichtes ab. Die Optik 22 weist einen kleineren Öffnungswinkel W2 auf. Der Bildsensor 16 für die FIR-Bilderfassung deckt hier nur den nicht angestrahlten Bereich in großer Entfernung ab. Aufgrund des geringen Abstands 18 lassen sich die Bildströme der beiden Bildsensoren dennoch einfach kombinieren, beispielsweise durch Überblenden, und so eine vollständige Darstellung der Szene 26 generieren. Übergänge und Ränder zwischen dem Temperaturbild 28 und dem umliegenden Farbbild 30 können noch durch eine Glättung aufgelöst werden und so der Gesamteindruck verbessert werden, in welchem sich das FIR-Temperaturbild 28 in die Szene 26 integriert.The image sensor 14 for color image acquisition, the near area is covered by a larger opening angle W1 30 with the lateral environment forward in the area of the light emitted by the car headlights. The optics 22 has a smaller opening angle W2. The image sensor 16 For the FIR image capture covers only the unirradiated area at a great distance. Due to the small distance 18 Nevertheless, the image streams of the two image sensors can be easily combined, for example by crossfading, and so a complete representation of the scene 26 to generate. Transitions and edges between the temperature image 28 and the surrounding color image 30 can be resolved by a smoothing and so the overall impression can be improved, in which the FIR temperature image 28 into the scene 26 integrated.

Insgesamt ergibt sich so eine Verbesserung des Bildeindrucks der Szene 26. Die Vorteile des Nachtsichtsystems 10, wie sie durch einen FIR-Bildsensor 16 erlangt werden können, also beispielsweise auch eine automatische Fußgänger-Erkennung, bleiben erhalten und ein Fahrer kann zusätzlich schnell das Bild eines Anzeigegeräts, beispielsweise eines Head-up-Displays, der ihm gebotenen Fahrzeugumgebung zuordnen, indem ein farbgetreues Bild 30 des Nahfelds 34 dargeboten wird.Overall, this results in an improvement of the image impression of the scene 26 , The advantages of the night vision system 10 as seen through an FIR image sensor 16 can be obtained, so, for example, an automatic pedestrian detection, remain and a driver can additionally quickly assign the image of a display device, such as a head-up display, the given vehicle environment by a true color image 30 of the near field 34 is presented.

Insgesamt ist durch die Erfindung ein multispektrales Farbnachtsichtsystem offenbart, bei welchem Bilddatenströme von Sensoren mit unterschiedlicher spektraler Empfindlichkeit, z. B. NIR, FIR oder visuelle Erfassung, überlagert werden. Dabei ist keine aufwändige perspektivische Anpassung bzw. Bildregistrierung erforderlich. Es wird bevorzugt eine Bild-in-Bild-Präsentation realisiert, wobei die temperaturabhängige FIR-Bildinformation durch die optische Konfiguration und Anordnung der Sensoren direkt in die natürliche, gewohnte Bildinformation, also beispielsweise visuell oder NIR, eingeblendet bzw. überlagert wird. Insbesondere sind die Bildsensoren möglichst gering zueinander beabstandet angeordnet. Eine zusätzliche Bildbearbeitung, beispielsweise eine einfache Bildtransformation, wie etwa eine Skalierung, kann stattfinden. Bei dem Bildsensor für die Farbbilderfassung handelt es sich bevorzugt um ein Wafer-Level-Kamera-Modul. Das erfindungsgemäße Farbnachtsichtsystem kann im Zusammenhang mit einem Head-up-Display genutzt werden.Overall, the invention discloses a multispectral color night vision system in which image data streams from sensors with different spectral sensitivity, e.g. As NIR, FIR or visual detection, are superimposed. No elaborate perspective adaptation or image registration is required. Preferably, a picture-in-picture presentation is realized, wherein the temperature-dependent FIR picture information is superimposed or superimposed by the optical configuration and arrangement of the sensors directly into the natural, familiar picture information, thus for example visually or NIR. In particular, the image sensors are arranged as small as possible spaced from each other. Additional image processing, such as simple image transformation, such as scaling, may take place. The image sensor for color image acquisition is preferably a wafer-level camera module. The color night vision system according to the invention can be used in conjunction with a head-up display.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Kamerasystemcamera system
1212: Bleistiftspitzepencil tip
14, 1614, 16: Bildsensorimage sensor
1818: Abstanddistance
20, 2220, 22: Optikoptics
2424: Anzeigedisplay
2626: Szenescene
2828: Temperaturbildtemperature image
3030: Farbbildcolor
3232: Randedge
3434: Nahbereichclose range
3636: Fernbereichremote area
38, 4038, 40: Personperson
AA: Anzeigeeinrichtungdisplay
VV: Verarbeitungseinrichtungprocessing device
W1, W2W1, W2: Öffnungswinkelopening angle

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102004033625 A1 [0003]

Claims

Camera system ( 10 ) for a motor vehicle, comprising - a first image sensor ( 14 ) for acquiring image information in a first spectral range of the electromagnetic spectrum, one at a distance ( 18 ) to the first image sensor ( 14 ) arranged second image sensor ( 16 ) for detecting at least part of the image information in a second spectral range of the electromagnetic spectrum which is at least partially different from the first spectral range, - processing means (V) for inserting the image information ( 28 ) of the second image sensor ( 16 ) in the image information ( 30 ) of the first image sensor ( 16 ) and - a display device (A) for generating a representation ( 24 ) of the summarized image information ( 28 . 30 ), characterized in that the distance ( 18 ) of the image sensors ( 14 . 16 ) is smaller than a minimum distance necessary for a stereoscopic image acquisition.

Camera system ( 10 ) according to claim 1, characterized in that the first spectral range at least partially the visible spectrum and / or the second spectral range at least partially comprises an infrared spectrum for a far-infrared detection.

Camera system ( 10 ) according to claim 1 or 2, characterized in that the first image sensor ( 14 ) through a wafer-level camera module ( 14 ).

Camera system ( 10 ) according to one of the preceding claims, characterized in that the processing device (V) is designed to store the image information ( 28 . 30 ) representing image data of at least one of the image sensors ( 14 . 16 ) undergo image processing.

Camera system ( 10 ) according to one of the preceding claims, characterized in that a receiving angle (W2) of an optical system ( 22 ) for the second image sensor ( 16 ) smaller than an acceptance angle (W1) of an optic ( 20 ) for the first image sensor ( 14 ).

Camera system ( 10 ) according to any one of the preceding claims, characterized in that the display device (A) comprises a head-up display, which is adapted to the representation ( 24 ) in an area of a windshield of the motor vehicle.

Camera system ( 10 ) according to one of the preceding claims, characterized in that the distance ( 18 ) is less than 5 cm.

Car with a camera system ( 10 ) according to any one of the preceding claims.

Method for generating a representation ( 24 ) of an environment ( 26 ) of a motor vehicle, comprising the steps of: - acquiring first image information ( 30 ) of the environment ( 26 ) with a first image sensor ( 14 ) from a first viewing angle and in a first spectral range of the electromagnetic spectrum and generating first image data by means of the first image sensor ( 14 ); Capturing second image information ( 28 ) at least one partial area ( 36 ) of the environment ( 26 ) by means of a second image sensor ( 16 ) and in a second spectral range of the electromagnetic spectrum, which is different from the first spectral range, and generating second image data by means of the second image sensor (US Pat. 16 ); - Combining the first image data ( 30 ) with the second image data ( 28 ) to display data ( 24 ) in which the first image information and the second image information are combined; - Display the display data ( 24 ); characterized in that by means of the second image sensor ( 16 ) the second image information ( 28 ) are detected from a second viewing angle for which a viewing angle difference results from the first viewing angle that is smaller than one for a stereoscopic image capturing of the sub-area ( 36 ) is necessary minimum difference.