-
Die Erfindung betrifft einen optischen Bildsensor für sichtbares und infrarotes Licht mit einer Pixelmatrix gemäß dem Oberbegriff des Anspruchs 1, eine Monokamerasystem unter Verwendung des optischen Bildsensors gemäß dem Oberbegriff des Anspruchs 7, eine Stereokamera unter Verwendung zweier Bildsensoren gemäß dem Oberbegriff des Anspruchs 8 sowie eine Bilderzeugungseinrichtung gemäß dem Oberbegriff des Anspruchs 9.
-
In heutigen Kraftfahrzeugen kommen Fahrerassistenzsysteme immer häufiger zum Einsatz, wobei verstärkt solche Fahrerassistenzsysteme eingesetzt werden, die Informationen über das Umfeld des Kraftfahrzeugs benötigen. Derartige Fahrerassistenzsysteme sind beispielsweise Einparkhilfen oder Einparkassistenten zum Einparken eines Fahrzeugs, adaptive Geschwindigkeitsregelsysteme, Spurhalteassistenten, Notbremssysteme und Unfallvermeidungssysteme. Ferner sind Assistenten in der Entwicklung, die weitere Fahrfunktionen übernehmen und quasi ein semiautonomes Fahren ermöglichen. Zur Ermittlung und Bereitstellung der notwendigen Umfeldinformationen können dabei, je nach Anwendung, Ultraschallsensoren, Radarsensoren, Lidarsensoren und/oder optische Sensoren zum Einsatz kommen.
-
Insbesondere sind optische Sensoren, wie beispielsweise Kameras, aufgrund der immer höher auflösenden Bildsensoren und gleichzeitig zunehmender Rechenleistung ein Sensorkonzept, dessen Potential in der fahrerassistenzseitigen Anwendung nicht ausgeschöpft ist. Dabei werden sowohl Monokameras als auch Stereokameras als optische Sensoren bei Fahrerassistenzsystemen zur Umfelddetektion eingesetzt, wobei Stereokameras auf einfache Weise die Bestimmung eines 3D-Umfeldes ermöglichen.
-
Mono- und Stereokameras nutzen das sichtbare Licht, welches über einen optischen Pfad auf einen Bildsensor fällt und dort in elektrische Impulse umgesetzt wird. Dabei wird üblicherweise der Anteil des infraroten Lichts, kurz als IR-Licht bezeichnet, an dem insgesamt auf den Bildsensor einfallenden Licht mittels einem IR-Filter gefiltert, um den sichtbaren Anteil des einfallenden Lichts zu erhalten. Derartige I R-Cut-Off-Filter werden üblicherweise auf der ersten Linse des optischen Pfads eingesetzt, wobei die IR-Cut-Off-Filter der Einfachheit halber als Beschichtung der ersten Linse des optischen Pfads ausgeführt sind.
-
Wird der optische Pfad, also die das einfallende Licht auf den Bildsensor abbildende Optik, mit einem IR-Cut-Off-Filter beschichtet, so geht die Information des einfallenden IR-Lichts verloren und steht für die Auswertung der Umfeldinformation nicht mehr zur Verfügung.
-
Es gibt nun Überlegungen die Information des IR-Lichts zu nutzen, insbesondere beispielsweise zur nächtlichen Detektion von Objekten mittels IR-Licht, also zur Erreichung einer Art Nachtsichtfähigkeit für den Fahrer über ein entsprechendes Assistenzsystem. Derzeit werden zur Erzielung einer Nachtsichtfähigkeit reine IR-Kameras eingesetzt, die gegenüber sichtbarem Licht unempfindlich sind oder den sichtbaren Anteil des Lichts, falls dieser vorhanden ist, herausfiltern. Das sich ergebende IR-Bild der Umgebung des Fahrzeugs kann dann auf einem Display dargestellt werden, wobei zur Ausleuchtung des Umfeldes gegebenenfalls eine geeignete IR-Lichtquelle verwendet wird, so dass der entgegenkommende Verkehr in der Nacht nicht geblendet wird.
-
Bei üblichen Bildsensoren, wie beispielsweise fast alle gebräuchlichen CCD-Sensoren, können die lichtempfindlichen Zellen des Sensors, d.h. die Pixel, nur Helligkeitswerte erfassen. Um Farbinformationen zu erhalten wird vor jeder einzelnen Zelle ein winziger Farbfilterelement in einer der drei Grundfarben Rot, Grün oder Blau aufgebracht, so dass die einzelne Zelle nur den Helligkeitswert der gefilterten Grundfarbe misst. Jedes Pixel liefert daher nur die Information einer einzigen Farbkomponente an dieser Stelle, so dass für ein vollständiges Bild dieser Farbkomponente jeweils benachbarte Pixel derselben Farbe zur Interpolation herangezogen werden müssen. In ihrer Gesamtheit bilden die mit den unterschiedlichen lokalen Farbfiltern versehenen Pixel der Matrix eines Bildsensors daher eine Art farbiges Schachbrett. Als Bayer-Sensor wird ein solcher, mit Pixelfarbfiltern versehenen Bildsensor bezeichnet, dessen Anteil an grünen Filtern 50% und dessen Anteile an roten und blauen Filtern je 25% beträgt. Somit weist ein sog. Pixel eines Bayer-Sensors, d.h. ein Viereck bestehend aus vier aneinandergrenzenden Subpixel, zwei grüne Filterelement und je ein rotes und ein blaues Filterelement auf. Ein solcher Bayer-Sensor verfügt in der Regel über weitere Pixel, die sich am Rand der Bildsensorfläche befinden und geschwärzt sind, um damit im Betrieb des Bildsensors unter Belichtung das temperaturabhängige Grundrauschen des Sensors zu bestimmen und rechentechnisch zu erfassen.
-
Aus der Druckschrift
US 2008/0056707 A1 ist ein Bildsensor bekannt, der eine Pixelmatrix aufweist, wobei ein erster Teilbereich der Pixelmatrix mit einem IR-Cut-Off-Filter versehen ist, ein zweiter Teilbereich mit einer Beschichtung versehen ist, die undurchlässig für sichtbares Licht ist, und ein dritter Teilbereich der Pixelmatrix sowohl für IR-Licht und sichtbares Licht empfindlich ist. Auf diese Weise kann mit Hilfe der drei Bereiche der Anteil der Infrarot-Bestrahlung des Bildsensors bestimmt werden, um zu einem automatischen Weißabgleich zu gelangen. Allerdings kann der bekannte Bildsensor zwar zur Erzeugung von sichtbaren Farbbildern aber nicht zur Erzeugung von IR-Bildern verwendet werden.
-
Aus der Druckschrift
DE 100 33 751 A1 ist eine digitale, hochauflösende Kinofilm-Kamera mit einem flächigen Bildsensor mit Sensorelementen und einer Farbmosaik-Filtermaske bekannt. Eine IR-Bilderzeugung ist mit dieser Kamera nicht beabsichtigt.
-
Die Druckschrift
DE 202 09 998 U1 zeigt eine Vorrichtung zur Bilderfassung mit mehreren Bildaufnahmeelementen, die eine unterschiedlich spektrale Empfindlichkeit besitzen, wobei die spektrale Empfindlichkeit zumindest eines der Bildaufnahmeelemente im Wesentlichen außerhalb des Wellenlängenbereiches von 400 nm bis 700 nm liegt.
-
Die Druckschrift
US 2012/0087645 A1 offenbart ein Bildgebungssystem umfassend einen Bildsensor und einen optischen Filter, wobei der Bildsensor Bilddaten als Reaktion auf einfallendes Licht erfasst. Der optische Filter filtert das Licht und verfügt über ein Übertragungsspektrum mit zwei Fenstern. Das Übertragungsspektrum mit zwei Fenstern umfasst ein erstes Übertragungsfenster, das auf die Übertragung von sichtbarem Licht ausgerichtet ist, und ein zweites Übertragungsfenster mit einem zweiten Durchgangsband, das sich mit einem Absorptionsband für Infrarotlicht in der Erdatmosphäre überlappt.
-
Die Druckschrift
US 2001/0031912 A1 betrifft ein Endoskop mit eingeschränkten Abmessungen und mindestens einem Bildsammler, mindestens einem Bildverzerrer und mindestens einem Bildsensor, der so geformt ist, dass es in diese begrenzten Abmessungen passt, und wobei dieser Bildverformer ein Bild verzerren kann, das von diesem Bildsammler empfangen wurde, so dass das entstehende Bild an den Bildsensor angepasst wird.
-
Der Erfindung liegt daher die Aufgabe zugrunde, einen Bildsensor zur Detektion von sichtbarem Licht und IR-Licht sowie eine entsprechende Kamera und Bilderzeugungseinrichtung zu schaffen, womit Bilder sowohl im sichtbaren Bereich als auch im infraroten Bereich erzeugt werden können.
-
Diese Aufgabe wird durch einen Bildsensor zur Detektion von sichtbarem Licht und infrarotem Licht mit den Merkmalen des Anspruchs 1, durch eine Monokamera unter Verwendung eines derartigen Bildsensors mit den Merkmalen des Anspruchs 7, durch eine Stereokamera unter Verwendung zweier Bildsensoren mit den Merkmalen des Anspruchs 8 sowie durch eine Bilderzeugungseinrichtung mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Der erfindungsgemäße Bildsensor für einen optischen Sensor zur Detektion von infrarotem Licht und sichtbarem Licht mit einer lichtempfindlichen Pixelmatrix weist folgende Merkmale auf:
- - jedes Pixel der Pixelmatrix wird durch ein Pixel erster Art oder durch ein Pixel zweiter Art gebildet,
- - die Pixel erster Art sind empfindlich für IR-Licht,
- - die Pixel zweiter Art sind empfindlich sowohl für IR-Licht als auch für sichtbares Licht, und
- - die Pixel erster Art und die Pixel zweiter Art sind über die Pixelmatrix derart verteilt, dass sowohl ein Bild aus sichtbarem Licht als auch ein Bild aus infrarotem Licht aus den Pixel-Informationen erstellt werden kann.
-
Mit anderen Worten, die Pixelmatrix des Bildsensors wird aus zwei Arten von Pixeln gebildet, die gegenüber IR-Licht auf der einen Seite und sichtbares Licht auf der anderen Seite unterschiedlich reagieren. So sensieren Pixel erster Art IR-Licht. Pixel zweiter Art sensieren sowohl IR-Licht als auch sichtbares Licht. Auf diese Weise kann mit einem Bildsensor bei entsprechender Verteilung der Pixel erster Art und zweiter Art über die Oberfläche der Pixelmatrix sowohl ein IR-Bild basierend auf dem empfangenen infraroten Licht als auch ein sichtbares Bild basierend auf dem empfangenen sichtbaren Licht erstellt werden.
-
Vorzugsweise werden die Pixel erster Art durch gegenüber sichtbarem Licht inaktive Pixel und die Pixel der zweiten Art werden durch gegenüber sichtbarem Licht aktive Pixel gebildet.
-
Die lichtempfindlichen Zellen eines Bildsensors, der beispielsweise als CCD-Sensor ausgeführt ist, können nur Helligkeitswerte erfassen, wobei die lichtempfindlichen Zellen oder Pixel sowohl für sichtbares als auch für IR-Licht empfindlich sind. Im Folgenden wird ein Beispiel einer möglichen Ausführungsform erläutert, aus der sich das Prinzip entnehmen lässt. Wird nun ein Teil der Pixel beispielsweise mit einem geeigneten IR-Filter selektiv abgedeckt, so ist dieser Teil nur noch für sichtbares Licht empfindlich. Derartige Pixel werden als IR-inaktive Pixel bezeichnet. Die nicht mit einem Filter versehenen oder abgedeckten Pixel sind weiterhin für sichtbares Licht und IR-Licht empfindlich und werden als IR-aktive Pixel bezeichnet. Durch eine geeignete, im allgemeinen symmetrische Verteilung der IR-aktiven und der IR-inaktiven Pixel über die Fläche des Bildsensors, d.h. der Pixelmatrix, kann erreicht werden, dass der Bildsensor sowohl ein sichtbares Licht mittels der IR-inaktiven Pixel als auch eine IR-Bild mittels der IR-aktiven Pixel liefert. In der einfachsten Form, in der die IR-aktiven Pixel keinen lokalen Filter aufweisen, ist das Pixelsignal die Summe des einfallenden sichtbaren Lichts und des einfallenden IR-Lichts. Durch Berücksichtigung der Signale der benachbarten IR-inaktiven Pixel kann rechnerisch durch Interpolation auf den reinen IR-Anteil des Signals der IR-aktiven Pixel geschlossen werden. Daher ist der Bildsensor durch die lokale Anordnung eines Filters auf einzelnen Pixels durch eine geeignete Verteilung der IR-aktiven und der IR-inaktiven Pixel über der Pixelmatrix in der Lage Signale sowohl für ein sichtbares Bild als auch für ein IR-Bild zu erzeugen. Andere Filteranordnungen sind möglich, es müssen nur Pixel erster und zweiter Art erzeugt werden, wie dies oben definiert ist.
-
Weiter bevorzugt kann ein IR-inaktives Pixel mit einem lokalen IR-Cut-Off-Filter versehen sein und ein gegenüber sichtbarem Licht inaktives Pixel kann mit einem lokalen Cut-Off-Filter für sichtbares Licht versehen sein.
-
Weiter bevorzugt sind die Pixel erster Art und die Pixel zweiter Art über die Pixelmatrix gleichmäßig verteilt. Mittels einer gleichmäßigen Verteilung, beispielsweise in Form eines Schachbrettmusters, kann eine gleichmäßige Auflösung des IR-Bildes und des sichtbaren Bildes erreicht werden, wobei die Auflösung für beide Bilder nicht gleich sein muss. So kann beispielsweise die Anzahl der IR-aktiven Pixel geringer sein als diejenige der IR-inaktiven Pixel. Dies führt zu einer höheren Auflösung des sichtbaren Bildes und zu einer geringeren Auflösung des IR-Bildes. Wesentlich ist nur, dass die Dichte der Pixel erster Art und die Dichte der Pixel zweiter Art über die Fläche der Pixelmatrix konstant sind.
-
Weiter bevorzugt weisen die Pixel der ersten und der zweiten Art eine vorgegebene Anzahl von Subpixeln auf, wobei zumindest die Subpixel eines Teils der Pixel der ersten Art und/oder zumindest die Subpixel eines Teils der Pixel der zweiten Art Farbfilter zur Erzeugung eines Farbpixels aufweisen. Durch die Verwendung von Farbfiltern lassen sich Farbinformationen und damit ein Farbbild erzeugen.
-
Vorzugsweise weisen die Subpixel der mit Farbfiltern versehenen Pixel ein Bayer-Muster auf. Üblicherweise wird ein Pixel bestehend aus vier Subpixeln als Bayer-Muster bezeichnet, wenn zwei auf einer Diagonalen angeordnete Subpixel mit Grünfiltern versehen sind, während die beiden anderen Pixel einen Rotfilter bzw. einen Blaufilter aufweisen.
-
Eine erfindungsgemäße Monokamera mit einem Bildsensor und einem Linsensystem, welches dem Bildsensor vorgeschaltet ist, verwendet zur Erzeugung eines sichtbaren Bildes und eines infraroten Bildes einen Bildsensor wie im Vorangegangenen beschrieben.
-
Eine erfindungsgemäße Stereokamera umfasst zwei Monokameras wie im Vorangegangenen beschrieben, wobei zur Erzeugung eines sichtbaren Stereobildes und eines infraroten Stereobildes die Verteilung der IR-aktiven Pixel und der IR-inaktiven Pixel auf beiden Bildsensoren symmetrisch zueinander ist.
-
Eine erfindungsgemäße Bilderzeugungseinrichtung umfasst entweder eine Monokamera wie im Vorangegangenen beschrieben oder eine Stereokamera wie im Vorangegangenen beschrieben, wobei ferner die Bilderzeugungseinrichtung eine Steuereinrichtung zur Auswertung der Pixelinformationen und eine IR-Beleuchtungseinrichtung zur Umfeldbeleuchtung mit infrarotem Licht aufweist.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
- 1 einen Ausschnitt aus den Pixelmatrizen der beiden Bildsensoren einer Stereokamera,
- 2 einen Ausschnitt aus der Pixelmatrix einem Bildsensors mit Bayer-Muster, und
- 3 eine Bilderzeugungseinrichtung mit einer Stereokamera in schematischer Darstellung.
-
1 zeigt in schematischer Darstellung Ausschnitte der flächigen Pixelmatrizen PM1 und PM2 zweier Bildsensoren BS1 und BS2 einer Stereokamera. Die Pixelmatrizen PM1, PM2 der beiden Bildsensoren BS1 und BS2 weisen Pixel einer ersten Art P1 und Pixel einer zweiten Art P2 auf, die hier zeilenweise und spaltenweise benachbart angeordnet sind, so dass sich ein Schachbrettmuster ergibt. Mit anderen Worten, die Pixel erster Art und die Pixel zweiter Art sind über die Fläche der beiden Bildsensoren B1 und B2 gleichverteilt angeordnet. Es ist damit möglich, aus den Pixelsignalen der Pixel erster Art ein erstes Bild und aus den Pixelsignalen der Pixel zweiter Art ein zweites Bild zu erzeugen, wobei jedes Bild die halbe Auflösung der theoretischen Auflösung der Bildsensoren BS1, BS2 hat.
-
Dabei werden die Pixel erster Art P1 durch Pixel gebildet, die mit einem für sichtbares Licht undurchlässigen Filter versehen sind, während die Pixel zweiter Art P2 keinen lokalen Filter aufweisen. In diesem Fall sensieren die Pixel erster Art P1 nur IR-Licht, während die Pixel zweiter Art P2 sowohl IR-Licht als auch sichtbares Licht sensieren. Aus den Pixeln erster Art P1 kann ein IR-Bild erzeugt werden, während aus den Pixeln zweiter Art nach Herausrechnen des IR-Anteils ein sichtbares Bild erzeugt wird.
-
2 zeigt eine Ausführungsform eines Bildsensors BS, wobei ein Ausschnitt der Pixelmatrix PM dargestellt ist. Auch hier wird die Pixelmatrix durch Pixel erster Art P1 und Pixel zweiter Art P2 gebildet. Die Pixel erster Art P1 können in einem ersten Ausführungsbeispiel mit einem IR-Cut-Off-Filter versehen sein, so dass diese Pixel IR-inaktiv sind. Die Pixel zweiter Art P2 weisen keinen lokalen IR-Filter auf und sind daher IR-aktiv, d.h. sensieren in diesem Fall sowohl IR-Licht als auch sichtbares Licht. Ferner sind in dem Beispiel der 2 ein Teil der Pixel zweiter Art P2 mit einem Bayer-Muster versehen. Diese Pixel sind in 2 mit P2BP bezeichnet. Die mit einem Bayer-Muster versehenen Pixel zweiter Art P2BP sind hier durch vier Subpixel realisiert, die entsprechend dem lokal aufgebrachten Farbfilter Grün, Blau und Rot mit G, B und R gekennzeichnet sind. Mit diesen, mit einem Bayer-Muster versehenen Pixel P2BP können also Farbinformationen aus der einfallenden Lichtintensität abgeleitet werden, so dass aus den mit einem Bayer-Muster versehenen Pixel P2BP ein Farbbild kreiert werden kann.
-
Weitere Möglichkeiten sind natürlich denkbar. So können prinzipiell alle Pixel erster und zweiter Art P1, P2 mit einem Bayer-Muster versehen sein, so dass der jedes Pixel P1, P2 des Bildsensor BS ein Farbsignal erzeugen würde, wie dies bei CCD-Sensoren üblich ist. Die Pixel erster Art P1 könnten dann als IR-inaktive Pixel realisiert werden, indem ein IR-Cut-Off-Filter auf den Bayer-Filter lokal aufgebracht wird, bzw. die Bayer-Filter B, G, R selbst eine IR-Blockierung aufweisen würden.
-
3 zeigt eine Bilderzeugungseinrichtung 1 zur Erzeugung von Bildern infraroten Lichts und Bilder sichtbaren Lichts mit einer ersten Kamera 2 und einer zweiten Kamera 3, wobei die Kameras 2, 3 die im Vorangegangenen geschilderten Bildsensoren aufweisen. Die Signale der Bildsensoren der beiden Kameras 2, 3 werden einer Steuereinrichtung 5 zugeführt, die aus den zugeführten Signalen ein Bild 6 infraroten Lichts und ein Bild 7 sichtbaren Lichts erzeugt. Um eine Ausleuchtung des aufzunehmenden Gegenstandes (nicht dargestellt) zu erreichen, ist ferner eine IR-Belichtungseinrichtung 4 vorgesehen, die von der Steuereinrichtung 5 ansteuerbar ist.
-
Bezugszeichenliste
-
- BS
- Bildsensor
- BS1
- erster Bildsensor
- BS2
- zweiter Bildsensor
- PM
- Pixelmatrix
- PM1
- erste Pixelmatrix
- PM2
- zweite Pixelmatrix
- P1
- IR-inaktives Pixel
- P2
- IR-aktives Pixel
- P2BP
- mit einem Bayer-Filter versehenes Pixel zweiter Art
- R
- Rotfilter
- G
- Grünfilter
- B
- Blaufilter
- 1
- Bilderzeugungseinrichtung
- 2
- Kamera
- 3
- Kamera
- 4
- IR-Beleuchtung
- 5
- Steuereinrichtung
- 6
- infrarotes Bild
- 7
- sichtbares Bild
