-
Stand der Technik
-
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Bei sogenannten Colour Filter Array(CFA-)Imagers, also Bildsensoren mit einer speziellen Bayer-Matrix, ist jedes Pixel innerhalb eines von vielen Makro-Pixeln, die typischerweise eine 2×2-Matrix-Gruppierung an Pixeln aufweisen, jeweils mit einem Farbfilter z. B. RGBI – Rot Grün Blau Intensität/Grauwert versehen. Ein Rot-Farbfilter beispielsweise lässt dabei ausschließlich rotes Licht passieren usw. Fahrerbeobachtungskamerasysteme, typischerweise mit Ein- oder Zwei- bzw. Multikamerasystemen, bestehen aus einem Kameramodul mit dem Bildsensor, einer aktiven Nah-lnfrarotbeleuchtungseinheit, auch IR-Modul genannt, und einer Bestimmungseinrichtung. Eine bekannte Kamera-Auslegung ist, dass der Bildsensor der Kamera monochrom und die Kameraoptik mit einem speziellen Bandpass-Filter versehen ist, um nur sensitiv für die eigene Infrarotbeleuchtung und dadurch unempfindlich gegenüber Störlicht, z. B. Sonnenlicht, zu sein.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Bildsensor und eine Bildsensoreinrichtung, ferner ein Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds, weiterhin eine Beobachtungskamera, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtungen möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass durch die Sensoreinheit sowohl ein Infrarot-Bild als auch ein Intensität-Bild erzeugt werden kann. Das bereitgestellte Intensität-Bild kann dabei beispielsweise als ein Videobild für eine Videotelefonie genutzt werden, ohne, dass eine zusätzliche Beobachtungskamera nötig ist.
-
Es wird ein Bildsensor für eine multifunktionale Beobachtungskamera zum Beobachten eines Fahrers eines Fahrzeug vorgestellt. Der Bildsensor weist eine Mehrzahl von Makro-Pixeln auf, wobei ein Makro-Pixel zumindest ein Infrarot-Pixel und ein Intensität-Pixel aufweist.
-
Der Bildsenor, beispielsweise ein halbleiterbasierter Bildsensor, kann ein Feld aus der Mehrzahl von Makro-Pixeln aufweisen. Die Makro-Pixel können einen Sensorfläche des Bildsensors ausformen und matrixartig benachbart zueinander angeordnet sein. Jedes der Makro-Pixel kann ein Feld von Pixeln, auch als Bildpunkte, bezeichnet, aufweisen. Jedes Pixel kann ausgebildet sein, um eine Lichtintensität zu erfassen. Der Intensität-Pixel kann auch als Grauwert-Pixel bezeichnet werden. Ein Intensität-Pixel ist dazu ausgebildet, um eine Lichtintensität des auf das Intensität-Pixel einfallenden Lichts zu erfassen. Beispielsweise kann ein Intensität-Pixel ausgebildet sein, um zumindest die Lichtintensität von Licht im sichtbaren Bereich zu erfassen. Gemäß einer Ausführungsform weisen die Intensität-Pixel keinen Farbfilter auf. Ein Infrarot-Pixel ist dazu ausgebildet, um lediglich auf das Infrarot-Pixel einfallendes Infrarotlicht zu erfassen. Gemäß einer Ausführungsform weisen die Infrarot-Pixel einen Filter auf, der ausschließlich Infrarot-Licht passieren lässt. Der vorgestellte Ansatz ermöglicht, dass durch die Kombination aus Infrarot-Pixeln und Intensität-Pixels in einem Bildsensor sowohl ein Infrarot-Bild als auch ein Intensität-Bild, auch Grauwert-Bild genannt, erzeugt werden kann.
-
Damit das Infrarot-Bild eine hohe Bildauflösung aufweisen kann, kann jedes der Makro-Pixel mehr Infrarot-Pixel als Intensität-Pixel, beispielsweise drei Infrarot-Pixel und ein einziges Intensität-Pixel aufweisen. Auf diese Weise kann ein Makro-Pixel aus vier gleichgroßen Pixeln aufgebaut sein, die aneinander angeordnet ein Quadrat ausformen können. Gemäß weiteren Ausführungsformen kann jedes der Makro-Pixel eine andere Anzahl von Infrarot-Pixeln und/oder mehr als ein Intensitäts-Pixel aufweisen. Auch kann ein Makro-Pixel eine andere geeignete Form, beispielsweise eine Wabenform aufweisen.
-
Eine Bildsensoreinrichtung weist die folgenden Merkmale auf:
Eineb genannten Bildsensor; und
eine Bestimmungseinrichtung, die ausgebildet ist, um unter Verwendung von Infrarotbildsignalen der Infrarot-Pixel ein Infrarot-Bild und unter Verwendung von Intensitätbildsignalen der Intensität-Pixel ein Intensität-Bild zu bestimmen.
-
Durch die Bestimmungseinrichtung der vorgestellten Bildsensoreinrichtung lässt sich beispielsweise ein unbearbeitetes Rohbild, auch CFA-Bild genannt, das ein gemeinsames Abbild sowohl der Infrarotbildsignale als auch der Intensitätbildsignale repräsentiert, in das Infrarot-Bild und das Intensität-Bild zerlegen.
-
Dabei ist es von Vorteil, wenn die Bestimmungseinrichtung dazu ausgebildet ist, um das Infrarot-Bild durch eine bilineare Interpolation zu erzeugen. Bei der bilinearen Interpolation werden den Intensitäts-Pixeln zugeordnete Positionen in dem Infrarot-Bild durch interpolierte Pixel gefüllt.
-
Dabei kann die Bestimmungseinrichtung dazu ausgebildet sein, um zum Bestimmen zumindest eines der interpolierten Pixel eine bilineare Interpolation durchzuführen, für die beispielsweise vier oder acht zu dem interpolierten Pixel benachbart angeordnete Infrarot-Pixel verwendet werden. Je mehr Pixel für die Interpolation herangezogen werden, umso realitätsnäher kann das interpolierte Pixel bestimmt werden.
-
Gemäß einer Ausführungsform kann die Bestimmungseinrichtung ferner dazu ausgebildet sein, um das Intensität-Bild als ein Videobild für eine Videotelefonie bereitzustellen. Das Videobild für die Videobildtelefonie kann insbesondere für hochautomatisiert fahrbare Fahrzeuge interessant und nützlich sein.
-
Die Bestimmungseinrichtung kann auch dazu ausgebildet sein, um unter Verwendung des Intensität-Bilds ein eine Blendung des Fahrers anzeigendes Blendungssignal bereitzustellen. Das Blendungssignal kann unter Verwendung eines Bildauswerteverfahrens bestimmt werden, durch das beispielsweise eine sehr hohe Lichtintensität aufweisende Bereiche des Intensitäts-Bilds ausgewertet werden können. Das Blendungssignal kann beispielsweise zur Steuerung einer adaptiven Sonnenblende dienen. Eine videobasierte Erkennung der Blendung im Gesicht ist möglich, da keine optische Filterung des Sonnenlichts im Intensität-Pixel vorhanden ist.
-
Eine Beobachtungskamera zum Beobachten eines Fahrers weist eine der vorgestellten Bildsensoreinrichtungen und eine Nah-Infrarotbeleuchtungseinheit zum Bereitstellen eines Infrarotlichts zum Beleuchten des Fahrers auf. Die vorgestellte Beobachtungskamera kann als Ersatz für bekannte Fahrerbeobachtungskameras dienen, mit dem Unterschied, dass die vorgestellte Beobachtungskamera unter Verwendung nur eines einzigen Bildsensors vorteilhafterweise sowohl das Infrarot-Bild als auch das Intensität-Bild erzeugen kann.
-
Ein Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds unter Verwendung einer der vorgestellten Bildsensoreinrichtungen umfasst die folgenden Schritte:
Einlesen der Infrarotbildsignale der Infrarot-Pixel und der Intensitätbildsignale der Intensität-Pixel; und
Erzeugen des Infrarot-Bilds unter Verwendung der Infrarotbildsignale und des Intensität-Bilds unter Verwendung der Intensitätbildsignale.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein. Das Verfahren kann auch durch die vorgestellte Beobachtungskamera ausführbar sein.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung einer Beobachtungskamera gemäß einem Ausführungsbeispiel;
-
2 eine schematische Aufsicht auf einen Bildsensor gemäß einem Ausführungsbeispiel;
-
3 eine schematische Darstellung eines Infrarot-Bilds gemäß einem Ausführungsbeispiel;
-
4 eine schematische Darstellung eines Intensität-Bilds gemäß einem Ausführungsbeispiel;
-
5 eine schematische Darstellung einer bilinearen Interpolation; und
-
6 ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung einer Beobachtungskamera 100 gemäß einem Ausführungsbeispiel. Die Beobachtungskamera 100 kann zum Beobachten eines Fahrers eines Fahrzeugs in einem Fahrzeug angeordnet sein und weist eine Bildsensoreinrichtung 105 und eine Nah-Infrarotbeleuchtungseinheit 110 auf. Die Nah-Infrarotbeleuchtungseinheit 110 ist dazu ausgebildet, um ein Infrarotlicht zum Beleuchten des Fahrers bereitzustellen. Die Bildsensoreinrichtung 105 weist einen Bildsensor 112 und eine Bestimmungseinrichtung 115 auf. Der Bildsensor 112 weist eine Mehrzahl von Makro-Pixeln 120 mit gemäß diesem Ausführungsbeispiel jeweils vier Pixeln auf. Gemäß diesem Ausführungsbeispiel weist der Bildsensor 112 drei Makro-Pixel 120 auf, deren vier gleichgroße Pixel jeweils so zueinander angeordnet sind, dass die Makro-Pixel 120 quadratisch ausgeformt sind. Typischerweise weist ein Bildsensor 112 zumindest mehrere hundert von Makro-Pixeln 120 auf.
-
Gemäß diesem Ausführungsbeispiel weist jedes Makro-Pixel 120 zumindest ein Infrarot-Pixel IR und ein Intensität-Pixel I auf. Jedes der Infrarot-Pixel IR ist ausgebildet, um eine Intensität von auf das Infratrot-Pixel IR einfallenden Infrarotlichts zu erfassen und ein die Intensität abbildendes Infrarotbildsignal 125 bereitzustellen. Jedes der Intensität-Pixel I ist dazu ausgebildet, um eine Lichtintensität von beispielsweise Licht im sichtbaren Bereiche zu erfassen und eine die Intensität abbildendes Intensitätbildsignal 130 bereitzustellen. Gemäß diesem Ausführungsbeispiel sind der Übersichtlichkeit halber lediglich ein Infrarotbildsignal 125 und ein Intensitätbildsignal 130 dargestellt, alle weiteren dargestellten Infrarot-Pixel IR erzeugen jedoch ebenfalls jeweils ein Infrarotbildsignal 135 und alle weiteren dargestellten Intensität-Pixel I erzeugen ebenfalls jeweils ein Intensitätbildsignal 130.
-
Die Bestimmungseinrichtung 115 ist dazu ausgebildet, um unter Verwendung der Infrarotbildsignale 125 der Infrarot-Pixel IR ein Infrarot-Bild 135 und unter Verwendung der Intensitätbildsignale 130 der Intensität-Pixel I ein Intensität-Bild 140 zu erzeugen und an eine Schnittstelle der Kamera 100 oder eine in in der Kamera 100 integrierte Verarbeitungseinrichtung bereitzustellen.
-
Die Kamera 100 ist gemäß einem Ausführungsbeispiel geeignet, um bisherige Anforderungen an Beobachtungskameras 100 zu erfüllen, die durch SW-Funktionen bzw. Algorithmen wie head and eye tracking, also eine Kopf- und Blickerfassung, Face ldentification, also eine Gesichtserkennung, Driver Modelling, also eine Fahrermodellierung (Müdigkeit, Ablenkungs-Erkennung) und gaze control, also eine Blicksteuerung, vorgegeben werden.
-
Durch Auswahl und Auslegung eines CFA Imagers in Form des Bildsensors 112 mit einem I3Ir-Pattern, d. h. mit drei Pixeln IR und einem Pixel Intensität I pro Makro-Pixel 120, und einer speziellen Bildvorverarbeitung, z. B. durch die Anwendung einer bilinearen Interpolation bzw. modifizierten bilinearen Interpolation, kann beispielsweise unter Verwendung der Bestimmungseinrichtung 115 aus einem CFA-Bild das Infrarot-Bild 135 für Basisfunktionen der Beobachtungskamera 100 und das Intensität-Bild 140 für Zusatzfunktionen für eine Videotelefonie und/oder eine adaptive Sonnenblende und/oder eine videobasierte Herzratenerkennung bestimmt werden. Vorteil dabei ist, dass die Systemkosten gering bleiben, da keine zweite Beobachtungskamera für die genannten Zusatzfunktionen nötig ist. Die Beobachtungskamera 100 wird dadurch multifunktional. Die Videotelefonie mit einem normalen Grauwertbild, also dem Intensität-Bild 140, entspricht vorteilhaft der menschlichen Wahrnehmung eines menschlichen Gesichts und wirkt nicht entfremdend wie das IR- oder Nah-IR-Bild 135, welches sehr fahl und blass wirkt und Blutgefäße im Gesicht deutlich sichtbar macht.
-
Gemäß einem Ausführungsbeispiel ergibt sich aufgrund der Kameraeinbaulage der Kamera 100, z. B. Einbaulage im Kombibereich, eine Bildperspektive von schräg unten auf das Gesicht des Fahrers. Bisher kann dem Fahrer aus Sicherheitsgründen ein Videobild nur im Stillstand des Fahrzeugs angeboten werden. Dass der Fahrer das Gesicht bzw. den Kopf während der Videotelefonie nach unten bewegt, um das Videobild zu sehen und dadurch eine ungünstige Bildperspektive auf Kinn und Nasenlöcher des Fahrers nicht mehr vorhanden ist, lässt sich leicht nachvollziehen. Weiterhin kann die Videotelefonie dem Fahrer bei teil- oder hochautomatisiert fahrbaren Fahrzeugen zur Verfügung gestellt werden, da der Fahrer hier zur Beobachtungskamera 100 runterschauen kann, sodass auch hierbei ein Videobild frei von Nasenlöchern möglich ist. Dieses typische Herunterschauen auf ein Display ist auch sehr häufig bei Smartphone-Nutzern zu beobachten. Bei einer adaptiven Sonnenblende-Funktion ist eine videobasierte Erkennung einer Blendung im Gesicht möglich, da keine optische Filterung des Sonnenlichts im Intensität-Pixel I vorhanden ist. Ein weiterer positiver Nebeneffekt ist ein qualitativ besseres Bild von Blickrichtung und Augenzustand, da aufgrund der adaptiven Sonnenblende-Funktion keine Mimik Kompensation der Augen des Fahrers durch ein Augenzukneifen stattfindet.
-
2 zeigt eine schematische Aufsicht auf einen Bildsensor 112 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den anhand von 1 beschriebenen Bildsensor 112 handeln, mit dem Unterschied, dass der hier dargestellte Bildsensor 112 eine höhere Anzahl an Makro-Pixeln 120 aufweist. Gemäß diesem Ausführungsbeispiel weißt jedes der beispielhaft 36 Makro-Pixel 120 drei Infrarot-Pixel IR und ein Intensität-Pixel I auf.
-
3 zeigt eine schematische Darstellung eines Infrarot-Bilds 135 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von 1 beschriebene Infrarot-Bild 135 handeln, das beispielsweise unter Verwendung des in 2 gezeigten Bildsensors ermittelt wurde. Gemäß diesem Ausführungsbeispiel sind den Intensitäts-Pixeln aus 2 zugeordnete Positionen 305 in dem Infrarot-Bild 135 durch interpolierte Pixel IR‘ gefüllt. Gemäß diesem Ausführungsbeispiel ist die anhand von 1 beschriebene Bestimmungseinrichtung dazu ausgebildet, um eine hierfür notwendige bilineare Interpolation durchzuführen. Wie die bilinearen Interpolation durchgeführt werden kann, ist nachfolgen anhand von 5 beschrieben.
-
4 zeigt eine schematische Darstellung eines Intensität-Bilds 140 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von 1 beschriebene Intensität-Bild 140 handeln. Gemäß diesem Ausführungsbeispiel sind die anhand von 2 dargestellten Intensitäts-Pixel I zusammengerückt, und ohne die Infrarot-Pixel dargestellt. Eine Auflösung des dargestellten Intensität-Bilds 140 weist somit nur ein Viertel der Auflösung des anhand von 3 dargestellten Infrarot-Bilds auf.
-
5 zeigt eine schematische Darstellung einer bilinearen Interpolation 500, wie sie durch die anhand von 1 beschriebene Bestimmungseinrichtung zur Bestimmung des Infrarot-Bilds durchgeführt werden kann.
-
Das Vorgehen wird hier beispielhaft anhand eines Bildsensors 502 vom Typ R3I beschrieben, kann jedoch in entsprechender Weise für einen Bildsensor gemäß dem hier beschriebenen Ansatz angewandt werden. Der Bildsensor 502 weist eine Mehrzahl an Makro-Pixeln 120 mit jeweils drei Pixeln I für Intensität/Grauwert und einem Pixel R für Rot auf. Dieser Bildsensor 502 ist dazu ausgebildet, um mehrere Fahrerassistenz-Funktionen wie eine Fahrstreifenerkennung für z. B. Lane Keeping Support, eine Objekterkennung und Verkehrszeichenerkennung zu ermöglichen. Dabei unterstützt insbesondere der rote Pixel R die videobasierte Erkennung von roten Schildern, die z. B. ein Geschwindigkeitslimit anzeigen. Bevor die Videodetektionsalgorithmen starten, wird ein Rohbild 505, oder CFA-Bild, in jeweils ein Grauwertbild, oder Intensität-Bild 510, und ein Rot-Bild 515 zerlegt. Dabei wird beim Grauwertbild 510 der vierte fehlende Pixel 520 im Makro-Pixel durch bilineare Interpolation 500 ergänzt. Das Rot-Bild 515 hingegen hat nur ein Viertel der Auflösung des Intensität-Bilds 510. Die bilineare Interpolation 500 wird auch Debayering genannt und bedeutet, dass eine farbige Rastergrafik aus den unvollständigen Farbwerten eines mit Mosaik-Farbfiltern überlagerten Bildsensors 502 rekonstruiert wird. Für die bilineare Interpolation 500 werden hierfür vier benachbarte Pixel I des fehlenden Pixels 520, gradienten-basiert, oder bis zu acht benachbarte Pixel I, gradienten- + orientierungsbasiert, zur Interpolation, in x-y Richtung und Diagonale, herangezogen.
-
6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds gemäß einem Ausführungsbeispiel. Das Infrarot-Bild und das Intensität-Bild werden dabei unter Verwendung einer der anhand der vorangegangenen Figuren beschriebenen Bildsensoreinrichtungen erzeugt.
-
In einem Schritt 605 des Einlesens werden die Infrarotbildsignale der Infrarot-Pixel und die Intensitätbildsignale der Intensität-Pixel eingelesen. In einem Schritt 610 des Erzeugens werden das Infrarot-Bild unter Verwendung der Infrarotbildsignale und das Intensität-Bilds unter Verwendung der Intensitätbildsignale erzeugt.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
