EP3437315A1 - Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds - Google Patents

Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds

Info

Publication number
EP3437315A1
EP3437315A1 EP17711586.2A EP17711586A EP3437315A1 EP 3437315 A1 EP3437315 A1 EP 3437315A1 EP 17711586 A EP17711586 A EP 17711586A EP 3437315 A1 EP3437315 A1 EP 3437315A1
Authority
EP
European Patent Office
Prior art keywords
image
intensity
infrared
pixels
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP17711586.2A
Other languages
English (en)
French (fr)
Inventor
Hoang Trinh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3437315A1 publication Critical patent/EP3437315A1/de
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • An image sensor for a multi-functional observation camera for observing a driver for a vehicle image sensor device, observation camera, and method for generating an infrared image and an intensity image
  • the approach is based on a device or a method according to the preamble of the independent claims. Subject of the present approach is also a computer program.
  • CFA imagers ie image sensors with a special Bayer matrix, each pixel within one of many macro pixels, which typically have a 2x2 matrix grouping of pixels, is each provided with a color filter z.
  • a red color filter for example, lets only red light pass through, etc.
  • Driver surveillance camera systems typically with single or dual or multi-camera systems, consist of a camera module with the image sensor, an active near-infrared illumination unit, also called the I R module, and a determination device .
  • a camera module with the image sensor
  • an active near-infrared illumination unit also called the I R module
  • a determination device e.g., a camera module with the image sensor
  • the image sensor of the camera monochrome and the camera optics is provided with a special band-pass filter to sensitive only for their own infrared lighting and thus insensitive to stray light, z. As sunlight to be.
  • an image sensor and an image sensor device further a method for generating an infrared image and an intensity image, further an observation camera, the this method is used, and finally a corresponding
  • the advantages that can be achieved with the presented approach are that both an infrared image and an intensity image can be generated by the sensor unit.
  • the provided intensity image can be
  • the image sensor for a multi-functional observation camera for observing a driver of a vehicle is presented.
  • the image sensor has a plurality of macro pixels, wherein a macro pixel has at least one infrared pixel.
  • the image sensor such as a semiconductor-based image sensor, may include one of the plurality of macro-pixels.
  • the macro-pixels can form a sensor surface of the image sensor and be arranged adjacent to one another like a matrix.
  • Each of the macro pixels may comprise a field of pixels, also referred to as pixels.
  • Each pixel may be configured to detect a light intensity.
  • the intensity pixel can also be referred to as a grayscale pixel.
  • An intensity pixel is designed to be one
  • an intensity pixel may be formed to detect at least the light intensity of light in the visible range.
  • the intensity pixels have no color filter.
  • An infrared pixel is designed to detect only infrared light incident on the infrared pixel.
  • the infrared pixels have a filter that allows only infrared light to pass.
  • the presented approach enables the combination of infrared pixels and intensity pixels in an image sensor to generate both an infrared image and an intensity image, also called gray scale image.
  • each of the macro pixels may have more infrared pixels than intensity pixels, for example, three infrared pixels and a single intensity pixel. In this way, a macro pixel can be made up of four equal-sized pixels that can form a square adjacent to one another. According to others
  • each of the macro pixels may have a different number of infrared pixels and / or more than one intensity pixel.
  • a macro pixel may have another suitable shape, such as a honeycomb shape.
  • An image sensor device has the following features:
  • One named image sensor and a determiner configured to determine an infrared image using infrared image signals of the infrared pixels and an intensity image using intensity image signals of the intensity pixels.
  • the determination device of the presented image sensor device can be, for example, an unprocessed raw image, also called CFA image, which is a common image of both the infrared image signals and the
  • the determination device is designed to generate the infrared image by a bilinear interpolation.
  • bilinear interpolation positions associated with the intensity pixels in the infrared image are filled by interpolated pixels.
  • the determination device can be designed to be used for
  • the determining means may be further configured to provide the intensity image as a video image for video telephony.
  • the video image for video telephony can be interesting and useful, in particular for highly automated mobile vehicles.
  • the determination device can also be designed to provide a dazzling signal indicating dazzling of the driver using the intensity image.
  • the glare signal can be determined using an image evaluation method by which, for example, a very high light intensity regions of the intensity image can be evaluated.
  • the glare signal can for example be used to control an adaptive sun visor. A video-based detection of glare on the face is possible because there is no optical filtering of the sunlight in the intensity pixel.
  • An observation camera for observing a driver has one of the presented image sensor devices and a near-infrared illumination unit for providing an infrared light for illuminating the driver.
  • the presented observation camera can be used as a substitute for known
  • Driver observation cameras are used, with the difference that the presented observation camera using only a single image sensor can advantageously generate both the infrared image and the intensity image.
  • a method for generating an infrared image and an intensity image using one of the presented image sensor devices comprises the following steps:
  • Observation camera be executable.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method for generating an infrared image and an intensity image according to any one of the above
  • Embodiments is used, in particular when the program product or program is executed on a computer or a device.
  • FIG. 1 shows a schematic representation of an observation camera according to an embodiment
  • FIG. 2 is a schematic plan view of an image sensor according to a
  • FIG. 3 is a schematic representation of an infrared image according to an embodiment
  • FIG. 4 is a schematic representation of an intensity image according to an exemplary embodiment
  • FIG. 6 is a flowchart of a method for generating an infrared image and an intensity image according to an exemplary embodiment.
  • the observation camera 100 may be arranged to observe a driver of a vehicle in a vehicle and has an image sensor device 105 and a proximity sensor.
  • the near-infrared illumination unit 110 is configured to provide an infrared light for illuminating the driver
  • the image sensor device 105 has an image sensor 112 and a determination device 115.
  • the image sensor 112 has a plurality of macro pixels 120 with four pixels according to this exemplary embodiment.
  • the image sensor 112 has three macro-pixels 120 whose four equally sized pixels are each arranged relative to one another in such a way that the macro-pixels 120 have a square shape.
  • an image sensor 112 has at least several hundred of macro-pixels 120.
  • each macro-pixel 120 has at least one infrared pixel I R and one intensity pixel I.
  • Each of the infrared pixels IR is configured to have an intensity of incident on the infrared pixel I R
  • Each of the intensity pixels I is configured to be one
  • intensity-depicting intensity image signal 130 To detect light intensity of, for example, light in the visible region and provide an intensity-depicting intensity image signal 130.
  • intensity-depicting intensity image signal 130 To detect light intensity of, for example, light in the visible region and provide an intensity-depicting intensity image signal 130.
  • only one infrared image signal 125 and one intensity image signal 130 are shown for the sake of clarity, however, all other infrared pixels IR shown also generate one each
  • Infrared image signal 135 and all other intensity pixels I shown also each generate an intensity image signal 130.
  • the determining device 115 is configured to use the infrared image signals 125 of the infrared pixels IR, an infrared image 135 and under Using the intensity image signals 130 of the intensity pixels I to generate an intensity image 140 and to provide an interface of the camera 100 or a processing device integrated in the camera 100.
  • the camera 100 is suitable according to an embodiment to previous
  • SW functions or algorithms such as head and eye tracking, so a head and eye tracking, face identification, so a face recognition, Driver
  • Modeling ie a driver modeling (fatigue, distraction detection) and gaze control, so a view control, are given.
  • the advantage here is that the system costs remain low, since no second observation camera is required for the mentioned additional functions.
  • the observation camera 100 thereby becomes multifunctional.
  • Video telephony with a normal gray value image, ie the intensity image 140 advantageously corresponds to the human
  • a video image can only be offered when the vehicle is at a standstill. That the driver moves the face or the head down during video telephony in order to see the video image and thus an unfavorable image perspective on the chin and nostrils of the driver is no longer present, can be easily understood.
  • the video telephony can be made available to the driver in partially or highly automated mobile vehicles, since the driver can look down here to the observation camera 100, so that in this case a video image free of nostrils is possible. This typical look down on a display is also very common in smartphone
  • FIG. 2 shows a schematic plan view of an image sensor 112 according to an exemplary embodiment. It may be the reference to FIG. 1
  • the image sensor 112 shown here has a larger number of macro pixels 120.
  • each of the exemplary 36 macro-pixels 120 has three infrared pixels I R and one intensity pixel I.
  • FIG. 3 shows a schematic representation of an infrared image 135 according to a
  • Embodiment This may be the case with reference to FIG. 1
  • Embodiments are associated with the intensity pixels of FIG. 2
  • the determination device described with reference to FIG. 1 is designed to carry out a bilinear interpolation which is necessary for this purpose. How the bilinear interpolation can be performed is described below with reference to FIG. 5.
  • FIG. 4 shows a schematic representation of an intensity image 140 according to an exemplary embodiment. This may be the intensity image 140 described with reference to FIG. According to this embodiment, the intensity pixels I shown in FIG. 2 are brought together and shown without the infrared pixels. A resolution of the illustrated Intensity image 140 thus has only one quarter of the resolution of the infrared image shown with reference to FIG. 3.
  • FIG. 5 shows a schematic representation of a bilinear interpolation 500, as can be carried out by the determination device described with reference to FIG. 1 for determining the infrared image.
  • the procedure is described here by way of example with reference to an image sensor 502 of the type R3I, but can be applied correspondingly for an image sensor according to the approach described here.
  • the image sensor 502 has a plurality of macro pixels 120 each having three pixels I i
  • This image sensor 502 is configured to provide a plurality of driver assistance functions, such as a
  • Lane detection for z Lane Keeping Support, to enable object recognition and traffic sign recognition.
  • the red pixel R supports the video-based detection of red signs that z. For example, show a speed limit.
  • a raw image 505, or CFA image is decomposed into a gray scale image, or intensity image 510, and a red image 515, respectively.
  • the fourth missing pixel 520 in the macro pixel is supplemented by bilinear interpolation 500.
  • the red image 515 has only a quarter of the resolution of the intensity image 510.
  • the bilinear interpolation 500 is also called debayering and means that a colored raster image is reconstructed from the incomplete color values of an image sensor 502 superimposed with mosaic color filters.
  • the bilinear interpolation 500 four adjacent pixels I of the missing pixel 520, gradient-based, or up to eight adjacent pixels I, gradient + orientation-based, for interpolation, in the x-y direction and diagonal, are used for this purpose.
  • FIG. 6 shows a flow chart of a method 600 for generating an infrared image and an intensity image according to an exemplary embodiment.
  • the infrared image and the intensity image are generated using one of the image sensor devices described with reference to the preceding figures.
  • a step 605 of reading in the infrared image signals of the infrared pixels and the intensity image signals of the intensity pixels are read.
  • a step 610 of generating the infrared image is acquired using the
  • an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Der hier vorgestellte Ansatzbetrifft einen Bildsensor (112) für eine multifunktionale Beobachtungskamera (100) zum Beobachten eines Fahrers für ein Fahrzeug. Der Bildsensor (112) weist eine Mehrzahl von Makro-Pixeln (120) auf, wobei ein Makro-Pixel (120) zumindest ein Infrarot-Pixel (IR) und ein Intensität-Pixel (I) aufweist.

Description

Beschreibung Titel
Bildsensor für eine multifunktionale Beobachtungskamera zum Beobachten eines Fahrers für ein Fahrzeug, Bildsensoreinrichtung, Beobachtungskamera und Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds
Stand der Technik
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
Bei sogenannten Colour Filter Array (CFA-) Imagers, also Bildsensoren mit einer speziellen Bayer- Matrix, ist jedes Pixel innerhalb eines von vielen Makro-Pixeln, die typischerweise eine 2x2-Matrix-Gruppierung an Pixeln aufweisen, jeweils mit einem Farbfilter z. B. RGBl - Rot Grün Blau Intensitäl Grauwert versehen. Ein Rot- Farbfilter beispielsweise lässt dabei ausschließlich rotes Licht passieren usw. Fahrerbeobachtungskamerasysteme, typischerweise mit Ein- oder Zwei- bzw. Multikamerasystemen, bestehen aus einem Kameramodul mit dem Bildsensor, einer aktiven Nah-Infrarotbeleuchtungseinheit, auch I R-Modul genannt, und einer Bestimmungseinrichtung. Eine bekannte Kamera-Auslegung ist, dass der Bildsensor der Kamera monochrom und die Kameraoptik mit einem speziellen Bandpass-Filter versehen ist, um nur sensitiv für die eigene Infrarotbeleuchtung und dadurch unempfindlich gegenüber Störlicht, z. B. Sonnenlicht, zu sein.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Bildsensor und eine Bildsensoreinrichtung, ferner ein Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds, weiterhin eine Beobachtungskamera, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes
Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte
Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtungen möglich.
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass durch die Sensoreinheit sowohl ein Infrarot-Bild als auch ein Intensität-Bild erzeugt werden kann. Das bereitgestellte Intensität-Bild kann dabei
beispielsweise als ein Videobild für eine Videotelefonie genutzt werden, ohne, dass eine zusätzliche Beobachtungskamera nötig ist.
Es wird ein Bildsensor für eine multifunktionale Beobachtungskamera zum Beobachten eines Fahrers eines Fahrzeug vorgestellt. Der Bildsensor weist eine Mehrzahl von Makro-Pixeln auf, wobei ein Makro-Pixel zumindest ein Infrarot-
Pixel und ein Intensität- Pixel aufweist.
Der Bildsenor, beispielsweise ein halbleiterbasierter Bildsensor, kann ein Feld aus der Mehrzahl von Makro-Pixeln aufweisen. Die Makro-Pixel können einen Sensorfläche des Bildsensors ausformen und matrixartig benachbart zueinander angeordnet sein. Jedes der Makro-Pixel kann ein Feld von Pixeln, auch als Bildpunkte, bezeichnet, aufweisen. Jedes Pixel kann ausgebildet sein, um eine Lichtintensität zu erfassen. Der Intensität-Pixel kann auch als Grauwert-Pixel bezeichnet werden. Ein Intensität- Pixel ist dazu ausgebildet, um eine
Lichtintensität des auf das Intensität-Pixel einfallenden Lichts zu erfassen.
Beispielsweise kann ein Intensität-Pixel ausgebildet sein, um zumindest die Lichtintensität von Licht im sichtbaren Bereich zu erfassen. Gemäß einer Ausführungsform weisen die Intensität-Pixel keinen Farbfilter auf. Ein Infrarot- Pixel ist dazu ausgebildet, um lediglich auf das Infrarot- Pixel einfallendes Infrarotlicht zu erfassen. Gemäß einer Ausführungsform weisen die Infrarot-Pixel einen Filter auf, der ausschließlich Infrarot-Licht passieren lässt. Der vorgestellte Ansatz ermöglicht, dass durch die Kombination aus Infrarot-Pixeln und Intensität- Pixels in einem Bildsensor sowohl ein Infrarot-Bild als auch ein Intensität-Bild, auch Grauwert-Bild genannt, erzeugt werden kann. Damit das Infrarot-Bild eine hohe Bildauflösung aufweisen kann, kann jedes der Makro-Pixel mehr Infrarot- Pixel als Intensität-Pixel, beispielsweise drei Infrarot- Pixel und ein einziges Intensität- Pixel aufweisen. Auf diese Weise kann ein Makro-Pixel aus vier gleichgroßen Pixeln aufgebaut sein, die aneinander angeordnet ein Quadrat ausformen können. Gemäß weiteren
Ausführungsformen kann jedes der Makro-Pixel eine andere Anzahl von Infrarot- Pixeln und/oder mehr als ein Intensitäts- Pixel aufweisen. Auch kann ein MakroPixel eine andere geeignete Form, beispielsweise eine Wabenform aufweisen.
Eine Bildsensoreinrichtung weist die folgenden Merkmale auf:
Eineb genannten Bildsensor; und eine Bestimmungseinrichtung, die ausgebildet ist, um unter Verwendung von Infrarotbildsignalen der Infrarot- Pixel ein Infrarot-Bild und unter Verwendung von Intensitätbildsignalen der Intensität-Pixel ein Intensität- Bild zu bestimmen.
Durch die Bestimmungseinrichtung der vorgestellten Bildsensoreinrichtung lässt sich beispielsweise ein unbearbeitetes Rohbild, auch CFA-Bild genannt, das ein gemeinsames Abbild sowohl der Infrarotbildsignale als auch der
Intensitätbildsignale repräsentiert, in das Infrarot-Bild und das Intensität- Bild zerlegen.
Dabei ist es von Vorteil, wenn die Bestimmungseinrichtung dazu ausgebildet ist, um das Infrarot-Bild durch eine bilineare Interpolation zu erzeugen. Bei der bilinearen Interpolation werden den Intensitäts-Pixeln zugeordnete Positionen in dem Infrarot-Bild durch interpolierte Pixel gefüllt.
Dabei kann die Bestimmungseinrichtung dazu ausgebildet sein, um zum
Bestimmen zumindest eines der interpolierten Pixel eine bilineare Interpolation durchzuführen, für die beispielsweise vier oder acht zu dem interpolierten Pixel benachbart angeordnete Infrarot- Pixel verwendet werden. Je mehr Pixel für die Interpolation herangezogen werden, umso realitätsnäher kann das interpolierte Pixel bestimmt werden. Gemäß einer Ausführungsform kann die Bestimmungseinrichtung ferner dazu ausgebildet sein, um das Intensität-Bild als ein Videobild für eine Videotelefonie bereitzustellen. Das Videobild für die Videobildtelefonie kann insbesondere für hochautomatisiert fahrbare Fahrzeuge interessant und nützlich sein.
Die Bestimmungseinrichtung kann auch dazu ausgebildet sein, um unter Verwendung des Intensität-Bilds ein eine Blendung des Fahrers anzeigendes Blendungssignal bereitzustellen. Das Blendungssignal kann unter Verwendung eines Bildauswerteverfahrens bestimmt werden, durch das beispielsweise eine sehr hohe Lichtintensität aufweisende Bereiche des Intensitäts- Bilds ausgewertet werden können. Das Blendungssignal kann beispielsweise zur Steuerung einer adaptiven Sonnenblende dienen. Eine videobasierte Erkennung der Blendung im Gesicht ist möglich, da keine optische Filterung des Sonnenlichts im Intensität- Pixel vorhanden ist.
Eine Beobachtungskamera zum Beobachten eines Fahrers weist eine der vorgestellten Bildsensoreinrichtungen und eine Nah-Infrarotbeleuchtungseinheit zum Bereitstellen eines Infrarotlichts zum Beleuchten des Fahrers auf. Die vorgestellte Beobachtungskamera kann als Ersatz für bekannte
Fahrerbeobachtungskameras dienen, mit dem Unterschied, dass die vorgestellte Beobachtungskamera unter Verwendung nur eines einzigen Bildsensors vorteilhafterweise sowohl das Infrarot-Bild als auch das Intensität-Bild erzeugen kann.
Ein Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds unter Verwendung einer der vorgestellten Bildsensoreinrichtungen umfasst die folgenden Schritte:
Einlesen der Infrarotbildsignale der Infrarot- Pixel und der Intensitätbildsignale der Intensität- Pixel; und
Erzeugen des Infrarot-Bilds unter Verwendung der Infrarotbildsignale und des Intensität- Bilds unter Verwendung der Intensitätbildsignale. Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein. Das Verfahren kann auch durch die vorgestellte
Beobachtungskamera ausführbar sein.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds nach einer der vorstehend beschriebenen
Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung einer Beobachtungskamera gemäß einem Ausführungsbeispiel;
Fig. 2 eine schematische Aufsicht auf einen Bildsensor gemäß einem
Ausführungsbeispiel;
Fig. 3 eine schematische Darstellung eines Infrarot-Bilds gemäß einem Ausführungsbeispiel;
Fig. 4 eine schematische Darstellung eines Intensität-Bilds gemäß einem Ausführungsbeispiel;
Fig. 5 eine schematische Darstellung einer bilinearen Interpolation; und
Fig. 6 ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds gemäß einem Ausführungsbeispiel. In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematische Darstellung einer Beobachtungskamera 100 gemäß einem Ausführungsbeispiel. Die Beobachtungskamera 100 kann zum Beobachten eines Fahrers eines Fahrzeugs in einem Fahrzeug angeordnet sein und weist eine Bildsensoreinrichtung 105 und eine Nah-
Infrarotbeleuchtungseinheit 110 auf. Die Nah-Infrarotbeleuchtungseinheit 110 ist dazu ausgebildet, um ein Infrarotlicht zum Beleuchten des Fahrers
bereitzustellen. Die Bildsensoreinrichtung 105 weist einen Bildsensor 112 und eine Bestimmungseinrichtung 115 auf. Der Bildsensor 112 weist eine Mehrzahl von Makro-Pixeln 120 mit gemäß diesem Ausführungsbeispiel jeweils vier Pixeln auf. Gemäß diesem Ausführungsbeispiel weist der Bildsensor 112 drei MakroPixel 120 auf, deren vier gleichgroße Pixel jeweils so zueinander angeordnet sind, dass die Makro-Pixel 120 quadratisch ausgeformt sind. Typischerweise weist ein Bildsensor 112 zumindest mehrere hundert von Makro-Pixeln 120 auf.
Gemäß diesem Ausführungsbeispiel weist jedes Makro-Pixel 120 zumindest ein Infrarot- Pixel I R und ein Intensität- Pixel I auf. Jedes der Infrarot- Pixel I R ist ausgebildet, um eine Intensität von auf das Inf ratrot- Pixel I R einfallenden
Infrarotlichts zu erfassen und ein die Intensität abbildendes Infrarotbildsignal 125 bereitzustellen. Jedes der Intensität- Pixel I ist dazu ausgebildet, um eine
Lichtintensität von beispielsweise Licht im sichtbaren Bereiche zu erfassen und eine die Intensität abbildendes Intensitätbildsignal 130 bereitzustellen. Gemäß diesem Ausführungsbeispiel sind der Übersichtlichkeit halber lediglich ein Infrarotbildsignal 125 und ein Intensitätbildsignal 130 dargestellt, alle weiteren dargestellten Infrarot- Pixel I R erzeugen jedoch ebenfalls jeweils ein
Infrarotbildsignal 135 und alle weiteren dargestellten Intensität-Pixel I erzeugen ebenfalls jeweils ein Intensitätbildsignal 130.
Die Bestimmungseinrichtung 115 ist dazu ausgebildet, um unter Verwendung der Infrarotbildsignale 125 der Infrarot- Pixel I R ein Infrarot-Bild 135 und unter Verwendung der Intensitätbildsignale 130 der Intensität- Pixel I ein Intensität- Bild 140 zu erzeugen und an eine Schnittstelle der Kamera 100 oder eine in in der Kamera 100 integrierte Verarbeitungseinrichtung bereitzustellen. Die Kamera 100 ist gemäß einem Ausführungsbeispiel geeignet, um bisherige
Anforderungen an Beobachtungskameras 100 zu erfüllen, die durch SW- Funktionen bzw. Algorithmen wie head and eye tracking, also eine Kopf-und Blickerfassung, Face Identification, also eine Gesichtserkennung, Driver
Modelling, also eine Fahrermodellierung (Müdigkeit, Ablenkungs-Erkennung) und gaze control, also eine Blicksteuerung, vorgegeben werden.
Durch Auswahl und Auslegung eines CFA Imagers in Form des Bildsensors 112 mit einem I3lr-Pattern, d. h. mit drei Pixeln I R und einem Pixel Intensität I pro Makro-Pixel 120, und einer speziellen Bildvorverarbeitung, z. B. durch die Anwendung einer bilinearen Interpolation bzw. modifizierten bilinearen
Interpolation, kann beispielsweise unter Verwendung der
Bestimmungseinrichtung 115 aus einem CFA-Bild das Infrarot-Bild 135 für Basisfunktionen der Beobachtungskamera 100 und das Intensität- Bild 140 für Zusatzfunktionen für eine Videotelefonie und/oder eine adaptive Sonnenblende und/oder eine videobasierte Herzratenerkennung bestimmt werden. Vorteil dabei ist, dass die Systemkosten gering bleiben, da keine zweite Beobachtungskamera für die genannten Zusatzfunktionen nötig ist. Die Beobachtungskamera 100 wird dadurch multifunktional. Die Videotelefonie mit einem normalen Grauwertbild, also dem Intensität- Bild 140, entspricht vorteilhaft der menschlichen
Wahrnehmung eines menschlichen Gesichts und wirkt nicht entfremdend wie das
I R- oder Nah-I R-Bild 135, welches sehr fahl und blass wirkt und Blutgefäße im Gesicht deutlich sichtbar macht.
Gemäß einem Ausführungsbeispiel ergibt sich aufgrund der Kameraeinbaulage der Kamera 100, z. B. Einbaulage im Kombibereich, eine Bildperspektive von schräg unten auf das Gesicht des Fahrers. Bisher kann dem Fahrer aus
Sicherheitsgründen ein Videobild nur im Stillstand des Fahrzeugs angeboten werden. Dass der Fahrer das Gesicht bzw. den Kopf während der Videotelefonie nach unten bewegt, um das Videobild zu sehen und dadurch eine ungünstige Bildperspektive auf Kinn und Nasenlöcher des Fahrers nicht mehr vorhanden ist, lässt sich leicht nachvollziehen. Weiterhin kann die Videotelefonie dem Fahrer bei teil- oder hochautomatisiert fahrbaren Fahrzeugen zur Verfügung gestellt werden, da der Fahrer hier zur Beobachtungskamera 100 runterschauen kann, sodass auch hierbei ein Videobild frei von Nasenlöchern möglich ist. Dieses typische Herunterschauen auf ein Display ist auch sehr häufig bei Smartphone-
Nutzern zu beobachten. Bei einer adaptiven Sonnenblende-Funktion ist eine videobasierte Erkennung einer Blendung im Gesicht möglich, da keine optische Filterung des Sonnenlichts im Intensität-Pixel I vorhanden ist. Ein weiterer positiver Nebeneffekt ist ein qualitativ besseres Bild von Blickrichtung und Augenzustand, da aufgrund der adaptiven Sonnenblende-Funktion keine Mimik
Kompensation der Augen des Fahrers durch ein Augenzukneifen stattfindet.
Fig. 2 zeigt eine schematische Aufsicht auf einen Bildsensor 112 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den anhand von Fig. 1
beschriebenen Bildsensor 112 handeln, mit dem Unterschied, dass der hier dargestellte Bildsensor 112 eine höhere Anzahl an Makro-Pixeln 120 aufweist. Gemäß diesem Ausführungsbeispiel weißt jedes der beispielhaft 36 Makro-Pixel 120 drei Infrarot-Pixel I R und ein Intensität-Pixel I auf. Fig. 3 zeigt eine schematische Darstellung eines Infrarot-Bilds 135 gemäß einem
Ausführungsbeispiel. Dabei kann es sich um das anhand von Fig. 1
beschriebene Infrarot-Bild 135 handeln, das beispielsweise unter Verwendung des in Fig. 2 gezeigten Bildsensors ermittelt wurde. Gemäß diesem
Ausführungsbeispiel sind den Intensitäts-Pixeln aus Fig. 2 zugeordnete
Positionen 305 in dem Infrarot-Bild 135 durch interpolierte Pixel I R' gefüllt.
Gemäß diesem Ausführungsbeispiel ist die anhand von Fig. 1 beschriebene Bestimmungseinrichtung dazu ausgebildet, um eine hierfür notwendige bilineare Interpolation durchzuführen. Wie die bilinearen Interpolation durchgeführt werden kann, ist nachfolgen anhand von Fig. 5 beschrieben.
Fig. 4 zeigt eine schematische Darstellung eines Intensität-Bilds 140 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von Figur 1 beschriebene Intensität- Bild 140 handeln. Gemäß diesem Ausführungsbeispiel sind die anhand von Fig. 2 dargestellten Intensitäts- Pixel I zusammengerückt, und ohne die Infrarot- Pixel dargestellt. Eine Auflösung des dargestellten Intensität- Bilds 140 weist somit nur ein Viertel der Auflösung des anhand von Fig. 3 dargestellten Infrarot-Bilds auf.
Fig. 5 zeigt eine schematische Darstellung einer bilinearen Interpolation 500, wie sie durch die anhand von Fig. 1 beschriebene Bestimmungseinrichtung zur Bestimmung des Infrarot-Bilds durchgeführt werden kann.
Das Vorgehen wird hier beispielhaft anhand eines Bildsensors 502 vom Typ R3I beschrieben, kann jedoch in entsprechender Weise für einen Bildsensor gemäß dem hier beschriebenen Ansatz angewandt werden. Der Bildsensor 502 weist eine Mehrzahl an Makro-Pixeln 120 mit jeweils drei Pixeln I für
Intensitäl Grauwert und einem Pixel R für Rot auf. Dieser Bildsensor 502 ist dazu ausgebildet, um mehrere Fahrerassistenz- Funktionen wie eine
Fahrstreifenerkennung für z. B. Lane Keeping Support, eine Objekterkennung und Verkehrszeichenerkennung zu ermöglichen. Dabei unterstützt insbesondere der rote Pixel R die videobasierte Erkennung von roten Schildern, die z. B. ein Geschwindigkeitslimit anzeigen. Bevor die Videodetektionsalgorithmen starten, wird ein Rohbild 505, oder CFA-Bild, in jeweils ein Grauwertbild, oder Intensität- Bild 510, und ein Rot-Bild 515 zerlegt. Dabei wird beim Grauwertbild 510 der vierte fehlende Pixel 520 im Makro-Pixel durch bilineare Interpolation 500 ergänzt. Das Rot-Bild 515 hingegen hat nur ein Viertel der Auflösung des Intensität- Bilds 510. Die bilineare Interpolation 500 wird auch Debayering genannt und bedeutet, dass eine farbige Rastergrafik aus den unvollständigen Farbwerten eines mit Mosaik- Farbfiltern überlagerten Bildsensors 502 rekonstruiert wird. Für die bilineare Interpolation 500 werden hierfür vier benachbarte Pixel I des fehlenden Pixels 520, gradienten-basiert, oder bis zu acht benachbarte Pixel I, gradienten- + orientierungsbasiert, zur Interpolation, in x-y Richtung und Diagonale, herangezogen.
Fig. 6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds gemäß einem Ausführungsbeispiel. Das Infrarot-Bild und das Intensität- Bild werden dabei unter Verwendung einer der anhand der vorangegangenen Figuren beschriebenen Bildsensoreinrichtungen erzeugt. In einem Schritt 605 des Einlesens werden die Infrarotbildsignale der Infrarot- Pixel und die Intensitätbildsignale der Intensität- Pixel eingelesen. In einem Schritt 610 des Erzeugens werden das Infrarot-Bild unter Verwendung der
Infrarotbildsignale und das Intensität- Bilds unter Verwendung der
Intensitätbildsignale erzeugt.
Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1. Bildsensor (112) für eine multifunktionale Beobachtungskamera (100) zum Beobachten eines Fahrers eines Fahrzeugs, dadurch
gekennzeichnet, dass der Bildsensor (112) eine Mehrzahl von MakroPixeln (120) aufweist, wobei ein Makro-Pixel (120) zumindest ein Infrarot- Pixel (IR) und ein Intensität- Pixel (I) aufweist.
2. Bildsensor (112) gemäß Anspruch 1, bei dem die Makro-Pixel (120) jeweils drei Infrarot-Pixel (IR) und das Intensität- Pixel (I) aufweisen.
3. Bildsensoreinrichtung (105) mit folgenden Merkmalen: einem Bildsensor (112) gemäß einem der vorangegangenen Ansprüche; und einer Bestimmungseinrichtung (115), die ausgebildet ist, um unter Verwendung von Infrarotbildsignalen (125) der Infrarot- Pixel (IR) ein Infrarot-Bild (135) und unter Verwendung von Intensitätbildsignalen (130) der Intensität- Pixel (I) ein Intensität- Bild (140) zu bestimmen.
4. Bildsensoreinrichtung (105) gemäß Anspruch 3, bei dem die
Bestimmungseinrichtung (115) dazu ausgebildet ist, um den Intensitäts- Pixeln (I) zugeordnete Positionen (305) in dem Infrarot-Bild (135) durch interpolierte Pixel (IR') zu füllen.
5. Bildsensoreinrichtung (105) gemäß Anspruch 4, bei dem die
Bestimmungseinrichtung (115) dazu ausgebildet ist, um zum Bestimmen zumindest eines der interpolierten Pixel (IR') eine bilineare Interpolation (500) unter Verwendung zumindest vier zu dem interpolierten Pixel (IR') benachbart angeordneten Infrarot- Pixel (IR) durchzuführen.
6. Bildsensoreinrichtung (105) gemäß einem der Ansprüche 3 bis 5, bei dem die Bestimmungseinrichtung (115) dazu ausgebildet ist, um das Intensität- Bild (140) als ein Videobild für eine Videotelefonie
bereitzustellen.
7. Bildsensoreinrichtung (105) gemäß einem der Ansprüche 3 bis 6, bei dem die Bestimmungseinrichtung (115) dazu ausgebildet ist, um unter Verwendung des Intensität-Bilds (140) ein eine Blendung des Fahrers anzeigendes Blendungssignal bereitzustellen.
8. Beobachtungskamera (100) zum Beobachten eines Fahrers, wobei die Beobachtungskamera (100) eine Bildsensoreinrichtung (105) gemäß einem der Ansprüche 3 bis 7 und eine Nah-Infrarotbeleuchtungseinheit (110) zum Bereitstellen eines Infrarotlichts zum Beleuchten des Fahrers aufweist.
9. Verfahren (600) zum Erzeugen eines Infrarot-Bilds (135) und eines
Intensität- Bilds (140) unter Verwendung einer Bildsensoreinrichtung (105) gemäß einem der Ansprüche 3 bis 7, wobei das Verfahren die folgenden Schritte umfasst:
Einlesen (605) der Infrarotbildsignale (125) der Infrarot- Pixel (I R) und der Intensitätbildsignale (130) der Intensität- Pixel (I); und
Erzeugen (610) des Infrarot-Bilds (135) unter Verwendung der
Infrarotbildsignale (125) und des Intensität- Bilds (140) unter
Verwendung der Intensitätbildsignale (130).
10. Computerprogramm, das dazu eingerichtet ist, das Verfahren (600) gemäß Anspruch 9 auszuführen und/oder anzusteuern.
11. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 10 gespeichert ist.
EP17711586.2A 2016-03-29 2017-03-08 Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds Ceased EP3437315A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016205095.8A DE102016205095A1 (de) 2016-03-29 2016-03-29 Bildsensor für eine multifunktionale Beobachtungskamera zum Beobachten eines Fahrers für ein Fahrzeug, Bildsensoreinrichtung, Beobachtungskamera und Verfahren zum Erzeugen eines Infrarot-Bilds und eines Intensität-Bilds
PCT/EP2017/055400 WO2017167557A1 (de) 2016-03-29 2017-03-08 Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds

Publications (1)

Publication Number Publication Date
EP3437315A1 true EP3437315A1 (de) 2019-02-06

Family

ID=58358554

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17711586.2A Ceased EP3437315A1 (de) 2016-03-29 2017-03-08 Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds

Country Status (4)

Country Link
EP (1) EP3437315A1 (de)
CN (1) CN108886587B (de)
DE (1) DE102016205095A1 (de)
WO (1) WO2017167557A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019111914A1 (de) * 2019-05-08 2020-11-12 Deutsche Institute Für Textil- Und Faserforschung Denkendorf Verfahren zur Auswertung einer Infrarotsignatur

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10046309C1 (de) * 2000-09-19 2001-10-31 Siemens Ag Sensoranordnung zur Bilderkennung
DE10220825A1 (de) * 2002-05-08 2003-07-03 Audi Ag Bildaufnahmevorrichtung für Fahrerassistenzsysteme
CN1698381A (zh) * 2003-05-08 2005-11-16 西门子公司 检测物体或人员的方法和装置
JP2007245911A (ja) * 2006-03-15 2007-09-27 Omron Corp 監視装置および方法、記録媒体、並びに、プログラム
JP6308760B2 (ja) * 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
CN104224204B (zh) * 2013-12-24 2016-09-07 烟台通用照明有限公司 一种基于红外检测技术的驾驶员疲劳检测系统

Also Published As

Publication number Publication date
CN108886587B (zh) 2022-02-01
CN108886587A (zh) 2018-11-23
DE102016205095A1 (de) 2017-10-05
WO2017167557A1 (de) 2017-10-05

Similar Documents

Publication Publication Date Title
EP1503580B1 (de) Sensoranordnung mit einer Mehrzahl von Typen optischer Sensoren
DE10046309C1 (de) Sensoranordnung zur Bilderkennung
DE112011103083T5 (de) Umgebungsbild-Anzeigesystem und Umgebungsbild-Anzeigeverfahren für ein Fahrzeug
EP1665815A2 (de) Verfahren zum erstellen einer raumbildvorlage für abbildungsverfahren mit rumlichen tiefenwirkungen und vorrichtung zum anzeigen einer raumbildvorlage
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
DE102015217253A1 (de) Umfelderfassungseinrichtung für ein Fahrzeug und Verfahren zum Erfassen eines Bilds mittels einer Umfelderfassungseinrichtung
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102014205519A1 (de) Verfahren und Vorrichtung zum Anpassen einer Anzeige eines autostereoskopischen Displays für ein Fahrzeug
DE102009001122B4 (de) 1 - 15Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102009014437B4 (de) Objekterkennungssystem und -verfahren
DE102007034608A1 (de) Kamera
DE102017011562A1 (de) Verfahren zur Umwandlung eines Rohbilds in ein Farbbild
DE10220825A1 (de) Bildaufnahmevorrichtung für Fahrerassistenzsysteme
EP3437315A1 (de) Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds
WO2014063701A1 (de) Sensoranordnung zur bilderfassung
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
DE102004033625A1 (de) Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
DE102015206796A1 (de) Sichtfeldanzeigevorrichtung für ein Fahrzeug und Verfahren zum Darstellen eines Bildes in einem Sichtbereich einer Person
WO2015074915A1 (de) Filteranordnung und verfahren zum herstellen einer filteranordnung
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
WO2015090997A1 (de) Optisches sensorsystem
DE102019123740B4 (de) Verfahren zum Bereitstellen einer Rück- und/oder Seitenansicht eines Fahrzeugs, virtuelleSpiegelvorrichtung und Fahrzeug
DE102020215419A1 (de) Bildsensor für eine Kamera und Verfahren zum Erzeugen eines Kamerabilds
DE102005041241A1 (de) Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs
EP2819408A2 (de) Verfahren und Vorrichtung zum Anpassen einer Darstellung eines Bildes auf einem Bildschirm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181029

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210125

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20221230