DE102017217486A1 - A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system - Google Patents
A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system Download PDFInfo
- Publication number
- DE102017217486A1 DE102017217486A1 DE102017217486.2A DE102017217486A DE102017217486A1 DE 102017217486 A1 DE102017217486 A1 DE 102017217486A1 DE 102017217486 A DE102017217486 A DE 102017217486A DE 102017217486 A1 DE102017217486 A1 DE 102017217486A1
- Authority
- DE
- Germany
- Prior art keywords
- wavelength
- driver
- unit
- observation system
- shift unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Abstract
Die Erfindung betrifft ein Fahrerbeobachtungssystem (102) zum Beobachten eines Fahrers (104) in einem Fahrzeug (100). Das Fahrerbeobachtungssystem (102) umfasst eine Beleuchtungseinheit (106) zum Beleuchten des Fahrers (104) mit elektromagnetischer Strahlung (108) einer Beleuchtungswellenlänge, eine Wellenlängenschiebereinheit (112) zum Verschieben einer Wellenlänge eines vom Fahrer (104) reflektierten Anteils (111) der elektromagnetischen Strahlung (108) hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist und eine bessere Quanteneffizienz der Detektionseinheit bedingt, und eine Detektoreinheit (110) zum Detektieren einer von der Wellenlängenschiebereinheit (112) transmittierten Strahlung.The invention relates to a driver observation system (102) for observing a driver (104) in a vehicle (100). The driver observation system (102) comprises a lighting unit (106) for illuminating the driver (104) with electromagnetic radiation (108) of an illumination wavelength, a wavelength shift unit (112) for shifting a wavelength of a portion (111) of the electromagnetic radiation reflected by the driver (104) (108) toward a detection wavelength smaller than the illumination wavelength and resulting in better quantum efficiency of the detection unit, and a detector unit (110) for detecting radiation transmitted from the wavelength shift unit (112).
Description
Stand der TechnikState of the art
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche.The invention is based on a device or a method according to the preamble of the independent claims.
Anwendungen zur Beobachtung von Kopf- und Augenbewegungen eines Fahrers sind heutzutage essenzieller Bestandteil eines jeden Fahrerbeobachtungssystems, auch Driver Monitoring Camera oder kurz DMC genannt. Diese Systeme sind für teilautonomes oder vollautomatisiertes Fahren zur Analyse der Reaktionsfähigkeit des Fahrers unabdingbar.Today, driver tracking applications, such as Driver Monitoring Camera or DMC, are an essential part of any driver monitoring system. These systems are indispensable for semi-autonomous or fully automated driving to analyze driver responsiveness.
Für DMC-Imager verfügbare und kommerziell nutzbare monochrome CMOS-Bildsensoren mit der für DMC-Anwendungen notwendigen Auflösung haben in dem für die Beleuchtung verwendeten nahen Infrarot aufgrund ihrer technischen Umsetzung als siliziumbasierte Halbleiter eine nicht sehr hohe Quanteneffizienz oder Lichtempfindlichkeit, was zu einer suboptimalen Umsetzung des empfangenen Infrarotlichts pro Pixel in elektrische Signale führen kann und ein höheres Signal-Rausch-Verhältnis in diesem Wellenlängenbereich bedingen kann.Commercially available monochrome CMOS image sensors for DMC imagers, with the resolution required for DMC applications, do not have very high quantum efficiency or photosensitivity in the near infrared used for illumination because of their technical implementation as silicon based semiconductors received infrared light per pixel can result in electrical signals and can cause a higher signal-to-noise ratio in this wavelength range.
Offenbarung der ErfindungDisclosure of the invention
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Fahrerbeobachtungssystem, ein Fahrzeug mit einem Fahrerbeobachtungssystem, ein Verfahren zum Erfassen eines Fahrers mittels eines Fahrerbeobachtungssystems und ein Verfahren zum Herstellen einer Wellenlängenschiebereinheit für ein Fahrerbeobachtungssystem gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a driver observation system, a vehicle with a driver observation system, a method for detecting a driver by means of a driver observation system, and a method for manufacturing a wavelength shift unit for a driver observation system according to the main claims are presented. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.
Es wird ein Fahrerbeobachtungssystem zum Beobachten eines Fahrers in einem Fahrzeug vorgestellt, wobei das Fahrerbeobachtungssystem folgende Merkmale aufweist:
- eine Beleuchtungseinheit zum Beleuchten des Fahrers mit elektromagnetischer Strahlung einer Beleuchtungswellenlänge;
- eine Wellenlängenschiebereinheit zum Verschieben einer Wellenlänge eines vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist; und
- eine Detektoreinheit zum Detektieren einer von der Wellenlängenschiebereinheit transmittierten Strahlung.
- a lighting unit for illuminating the driver with electromagnetic radiation of an illumination wavelength;
- a wavelength shift unit for shifting a wavelength of a portion of the electromagnetic radiation reflected by the driver to a detection wavelength smaller than the illumination wavelength; and
- a detector unit for detecting a radiation transmitted by the wavelength shift unit.
Unter einer Beleuchtungseinheit kann eine beispielsweise in einem Instrumentencluster oder Fahrzeuginnenraum vor dem Fahrer angeordnete Einheit mit einer oder mehreren Strahlungsquellen wie etwa Leuchtdioden verstanden werden. Beispielsweise kann die Beleuchtungseinheit ausgebildet sein, um Infrarotstrahlung auszusenden. Unter einer Wellenlängenschiebereinheit kann beispielsweise ein Mikrolinsenarray, eine Linse oder ein optischer Filter mit einer speziellen Dotierung oder Beschichtung aus sogenannten UC-Partikeln verstanden werden, wobei UC für Photon-Upconversion steht. Die UC-Partikel können beispielsweise auch in ein Material der Detektoreinheit durch Dotierung oder Beschichtung eingebracht sein. Unter einer Detektoreinheit kann ein optischer Sensor, etwa ein CMOS-Sensor oder ein sonstiges lichtsensitives Halbleiterbauelement, verstanden werden. Die Wellenlängenschiebereinheit kann der Detektoreinheit als separates Element vorgeschaltet sein oder in eine aktive Fläche der Detektoreinheit integriert sein. A lighting unit can be understood as a unit arranged, for example, in an instrument cluster or vehicle interior in front of the driver with one or more radiation sources, such as light-emitting diodes. For example, the lighting unit can be designed to emit infrared radiation. A wavelength-shift unit can be understood as meaning, for example, a microlens array, a lens or an optical filter with a special doping or coating of so-called UC particles, where UC stands for photon upconversion. For example, the UC particles can also be introduced into a material of the detector unit by doping or coating. A detector unit can be understood to be an optical sensor, for example a CMOS sensor or another light-sensitive semiconductor component. The wavelength shift unit may be connected upstream of the detector unit as a separate element or integrated into an active area of the detector unit.
Die Verschiebung der Wellenlänge hin zu der Detektionswellenlänge bedingt eine bessere Quanteneffizienz der Detektionseinheit.The shift of the wavelength towards the detection wavelength requires a better quantum efficiency of the detection unit.
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass mittels Photon-Upconversion oder Anti-Stokes-Verschiebung durch sogenannte nicht lineare Wellenlängenschieber die Quanteneffizienz eines Monochrom- oder Farbbildsensors eines DMC-Imagers gesteigert werden kann. Dazu kann ein spezielles Material beispielsweise in dünnen Schichten auf Linsen oder den Bildsensor selbst vollflächig aufgebracht werden oder durch Dotierung in einen Mikrolinsenarray des DMC-Imagers eingebracht werden. Beispielsweise können kommerzielle Sensoren, die für sichtbares Licht zwischen 380 und 780 nm eine gute Quanteneffizienz aufweisen, durch einen entsprechenden Veredelungsschritt in ihrer Quanteneffizienz oder Lichtempfindlichkeit bei Infrarotlichtbeleuchtung deutlich verbessert werden. Dadurch kann die bei DMC-Anwendungen notwendige Bildsignalverarbeitung signifikant vereinfacht werden, da die Eingangsbilddaten einen besseren Kontrast und weniger Bildrauschen, d. h. ein höheres Signal-Rausch-Verhältnis, aufweisen. Auch das Design des optischen Pfads des DMC-Imagers kann von der gesteigerten Empfindlichkeit des Bildsensors profitieren bzw. diesbezüglich aus Kostensicht optimiert werden.The approach presented here is based on the finding that the quantum efficiency of a monochrome or color image sensor of a DMC imager can be increased by means of photon upconversion or anti-Stokes displacement by so-called non-linear wavelength shifters. For this purpose, a special material, for example, in thin layers on lenses or the image sensor itself can be applied over the entire surface or introduced by doping in a microlens array of the DMC imager. For example, commercial sensors that have good quantum efficiency for visible light between 380 and 780 nm can be significantly improved by a corresponding refining step in their quantum efficiency or photosensitivity under infrared illumination. As a result, the image signal processing necessary in DMC applications can be significantly simplified because the input image data provides better contrast and less image noise, ie. H. have a higher signal-to-noise ratio. Also, the design of the optical path of the DMC imager can benefit from the increased sensitivity of the image sensor or be optimized in this respect from a cost point of view.
Die Detektoreinheit kann bei der Detektionswellenlänge eine bessere Quanteneffizienz als bei der Wellenlänge des vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung aufweisen. Daher ist die Verschiebung der Wellenlänge vorteilhaft.The detector unit may have better quantum efficiency at the detection wavelength than at have the wavelength of the driver reflected by the proportion of electromagnetic radiation. Therefore, the shift of the wavelength is advantageous.
Gemäß einer Ausführungsform kann die Beleuchtungseinheit ausgebildet sein, um den Fahrer mit elektromagnetischer Strahlung im nahen Infrarot zu beleuchten. Dabei kann die Wellenlängenschiebereinheit ausgebildet sein, um die Wellenlänge des reflektierten Anteils hin zu einer Detektionswellenlänge zu verschieben, die im Wellenlängenbereich sichtbaren Lichts liegt. Unter nahem Infrarot kann ein Bereich des elektromagnetischen Spektrums verstanden werden, der sich in Richtung größerer Wellenlänge an das sichtbare Licht anschließt.According to one embodiment, the lighting unit may be configured to illuminate the driver with electromagnetic radiation in the near infrared. In this case, the wavelength shift unit may be configured to shift the wavelength of the reflected portion toward a detection wavelength that is in the visible light wavelength range. Near-infrared can be understood as meaning a region of the electromagnetic spectrum which adjoins the visible light in the direction of a greater wavelength.
Fahrerbeobachtungssysteme können mit direkter, beispielsweise gepulster Infrarotbeleuchtung arbeiten. Diese Infrarotstrahler befinden sich normalerweise im Instrumentencluster oder Fahrzeuginnenraum mit Blickrichtung auf den Fahrer.Driver observation systems can work with direct, such as pulsed infrared lighting. These infrared radiators are normally located in the instrument cluster or vehicle interior looking towards the driver.
Für die Beleuchtung kann Infrarotlicht mit einer Wellenlänge im nahen Infrarot um 940 nm genutzt werden, um eine von der Umgebungslichtsituation möglichst unabhängige homogene Ausleuchtung zu erreichen, die für den Fahrer nicht sichtbar ist und diesen somit auch nicht blendet. Zur Unterdrückung des Umgebungslichtes kann ein optischer Bandpassfilter im optischen Pfad des Fahrerbeobachtungssystems genutzt werden. Diese Region-of-Interest-Beleuchtung mit Infrarotstrahlungsquellen soll das Gesicht oder den Oberkörper des Fahrers optimal ausleuchten, unter Berücksichtigung des derzeitigen Kopfabstands, von Reflexionen durch Brillen und der vorherrschenden äußeren Umgebungslichtsituation. Dabei ist es eine Hauptaufgabe, den relevanten Bereich, d. h. den Kopf des Fahrers, so zu beleuchten, dass dieser gut vom Hintergrund unterschieden, d. h. von diesem segmentiert werden kann und alle zu untersuchenden Gesichtsmerkmale einen für die Bildverarbeitung geeigneten Kontrast aufweisen.For the illumination, infrared light with a wavelength in the near infrared around 940 nm can be used in order to achieve a homogeneous illumination that is as independent as possible from the ambient light situation, which is not visible to the driver and thus does not dazzle the driver. To suppress the ambient light, an optical bandpass filter in the optical path of the driver observation system can be used. This region-of-interest illumination with infrared radiation sources is intended to optimally illuminate the face or upper body of the driver, taking into account the current head distance, reflections from spectacles and the prevailing external ambient light situation. One of the main tasks is to find the relevant area, ie. H. to illuminate the driver's head so that it is well differentiated from the background, d. H. can be segmented by this and all facial features to be examined have a suitable image processing contrast.
Gemäß einer weiteren Ausführungsform kann die Wellenlängenschiebereinheit ein fluoreszierendes Material zum Bewirken einer Anti-Stokes-Verschiebung aufweisen. Bei dem fluoreszierenden Material kann es sich beispielsweise um Ionen von seltenen Erden, Lanthanoiden oder Actinoiden handeln. Unter einer Anti-Stokes-Verschiebung kann eine Wellenlängenverschiebung verstanden werden, bei der eine im Material vorhandene und auf bekannten physikalischen Zusammenhängen basierende energetische Anregung bei Emission von Photonen vernichtet wird, wobei die Wellenlänge der ausgehenden Photonen kleiner als die der einfallenden Photonen ist.According to another embodiment, the wavelength shift unit may comprise a fluorescent material for effecting an anti-Stokes shift. The fluorescent material may be, for example, ions of rare earths, lanthanides or actinides. An anti-Stokes shift can be understood to mean a wavelength shift in which an energetic excitation present in the material and based on known physical relationships is destroyed on emission of photons, the wavelength of the outgoing photons being smaller than that of the incident photons.
Beispielsweise kann die Wellenlängenschiebereinheit Ytterbium- und/oder Erbium-Ionen als fluoreszierendes Material aufweisen. Dadurch kann die Wellenlängenverschiebung möglichst effizient erfolgen.For example, the wavelength shifter unit may have ytterbium and / or erbium ions as the fluorescent material. This allows the wavelength shift as efficiently as possible.
Je nach Ausführungsform kann die Wellenlängenschiebereinheit als Mikrolinsenarray, Linse, optischer Filter oder als eine Kombination aus zumindest zwei der genannten optischen Bauelemente ausgeführt sein. Dabei kann das Mikrolinsenarray, die Linse oder der optische Filter mit dem fluoreszierenden Material dotiert und/oder beschichtet sein. Zusätzlich oder alternativ kann die Wellenlängenschiebereinheit durch Dotieren und/oder Beschichten der Detektoreinheit mit dem fluoreszierenden Material gebildet sein.Depending on the embodiment, the wavelength shift unit may be embodied as a microlens array, lens, optical filter or as a combination of at least two of the said optical components. In this case, the microlens array, the lens or the optical filter may be doped and / or coated with the fluorescent material. Additionally or alternatively, the wavelength shift unit may be formed by doping and / or coating the detector unit with the fluorescent material.
Es ist vorteilhaft, wenn das Mikrolinsenarray und/oder die Linse und/oder der optische Filter auf einer der Detektoreinheit zugewandten Seite mit dem fluoreszierenden Material dotiert und/oder beschichtet ist. Dadurch können die optischen Eigenschaften des Mikrolinsenarrays, der Linse oder des optischen Filters trotz Dotierung oder Beschichtung mit dem fluoreszierenden Material beibehalten werden, beispielsweise wegen der Streuung an den eingebrachten Partikeln.It is advantageous if the microlens array and / or the lens and / or the optical filter on a side facing the detector unit is doped and / or coated with the fluorescent material. Thereby, the optical properties of the microlens array, the lens or the optical filter can be maintained despite doping or coating with the fluorescent material, for example because of the scattering of the introduced particles.
Der hier vorgestellte Ansatz schafft zudem ein Fahrzeug mit einem Fahrerbeobachtungssystem gemäß einer der vorstehenden Ausführungsformen. Bei dem Fahrzeug kann es sich beispielsweise um ein teilautonomes oder vollautomatisiertes Fahrzeug handeln. Das Fahrerbeobachtungssystem kann beispielsweise in einem Instrumentencluster oder im Fahrzeuginnenraum verbaut sein.The approach presented here also creates a vehicle with a driver observation system according to one of the preceding embodiments. For example, the vehicle may be a semi-autonomous or fully automated vehicle. The driver observation system can be installed, for example, in an instrument cluster or in the vehicle interior.
Gegenstand des hier vorgestellten Ansatzes ist ferner ein Verfahren zum Erfassen eines Fahrers mittels eines Fahrerbeobachtungssystems mit einer Beleuchtungseinheit, einer Detektoreinheit und einer Wellenlängenschiebereinheit, wobei das Verfahren folgende Schritte umfasst:
- Beleuchten des Fahrers mit elektromagnetischer Strahlung einer Beleuchtungswellenlänge mittels der Beleuchtungseinheit;
- Verschieben einer Wellenlänge eines vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung hin zu einer Detektionswellenlänge mittels der Wellenlängenschiebereinheit, wobei die Detektionswellenlänge kleiner als die Beleuchtungswellenlänge ist; und
- Detektieren einer von der Wellenlängenschiebereinheit transmittierten Strahlung mittels der Detektoreinheit.
- Illuminating the driver with electromagnetic radiation of an illumination wavelength by means of the illumination unit;
- Shifting a wavelength of a portion of the electromagnetic radiation reflected by the driver toward a detection wavelength by means of the wavelength shift unit, wherein the detection wavelength is smaller than the illumination wavelength; and
- Detecting a radiation transmitted by the wavelength shift unit by means of the detector unit.
Vorteilhafterweise kann durch das Verschieben der Wellenlänge eine besserer Quanteneffizient des Imagers bei der Detektion erwirkt werden.Advantageously, by shifting the wavelength, a better quantum efficiency of the imager can be obtained during the detection.
Schließlich schafft der hier vorgestellte Ansatz ein Verfahren zum Herstellen einer Wellenlängenschiebereinheit für ein Fahrerbeobachtungssystem gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren den folgenden Schritt umfasst: Finally, the approach presented here provides a method of manufacturing a wavelength shift unit for a driver observation system according to any one of the preceding embodiments, the method comprising the step of:
Dotieren und/oder Beschichten des Mikrolinsenarrays und/oder der Linse und/oder des optischen Filters und/oder der Detektoreinheit mit dem fluoreszierenden Material, um die Wellenlängenschiebereinheit herzustellen.Doping and / or coating of the microlens array and / or the lens and / or the optical filter and / or the detector unit with the fluorescent material to produce the wavelength shift unit.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel; -
2 ein Diagramm zur Darstellung einer Quanteneffizienz in Abhängigkeit von einer Wellenlänge für einen CMOS-Sensor; -
3 verschiedene Ansichten einer Wellenlängenschiebereinheit aus1 ; -
4 eine schematische Darstellung eines CMOS-Pixels einer Detektoreinheit gemäß einem Ausführungsbeispiel; -
5 eine schematische Darstellung eines CMOS-Pixels aus4 in Kombination mit einer Mikrolinse eines Mikrolinsenarrays aus3 ; -
6 ein Aufbauschema eines CMOS-Pixels aus den4 und5 ; -
7 eine schematische Darstellung eines Partikels eines fluoreszierenden Materials zur Beschichtung oder Dotierung einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel; -
8 eine schematische Darstellung eines CMOS-Pixels aus5 mit dotierter Mikrolinse; -
9 eine schematische Darstellung eines Imagers eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel; -
10 eine schematische Darstellung eines Imagers eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel; -
11 ein Ablaufdiagramm eines Verfahrens zum Erfassen eines Fahrers gemäß einem Ausführungsbeispiel; und -
12 ein Ablaufdiagramm eines Verfahrens zum Herstellen einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel.
-
1 a schematic representation of a vehicle according to an embodiment; -
2 a diagram illustrating a quantum efficiency as a function of a wavelength for a CMOS sensor; -
3 different views of awavelength shift unit 1 ; -
4 a schematic representation of a CMOS pixel of a detector unit according to an embodiment; -
5 a schematic representation of a CMOS pixel from4 in combination with a microlens of a microlens array3 ; -
6 a construction scheme of a CMOS pixel from the4 and5 ; -
7 a schematic representation of a particle of a fluorescent material for coating or doping a wavelength shift unit according to an embodiment; -
8th a schematic representation of a CMOS pixel from5 with doped microlens; -
9 a schematic representation of an imager of a driver observation system according to an embodiment; -
10 a schematic representation of an imager of a driver observation system according to an embodiment; -
11 a flowchart of a method for detecting a driver according to an embodiment; and -
12 a flowchart of a method for producing a wavelength shifter unit according to an embodiment.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.
Jeweils am Rand des CMOS-Pixels
Der hier vorgestellte Ansatz hat insbesondere das Ziel der Effizienzsteigerung zur Verbesserung der Lichtempfindlichkeit von CMOS-Bildsensoren bei Verwendung von Infrarotbeleuchtung für DMC-Anwendungen. Hierzu wird eine Linse der Imageroptik oder das Mikrolinsenarray auf dem Bildsensor in geeigneter Weise, beispielsweise mittels Dotierung, d. h. Implantation von Fremdatomen, bei der Verwendung von Silikatglas, so modifiziert, dass das physikalische Prinzip der Photon-Upconversion eine Wellenlängenverschiebung des vom Fahrer reflektierten Lichts im nahen Infrarot mit einer Wellenlänge von ca. 940 nm in einen Wellenlängenbereich bewirkt, bei dem der Bildsensor eine höhere Quanteneffizienz aufweist, beispielsweise bei ca. 570 nm. Die Funktionsweise eines solchen dotierten Wellenlängenschieber-Mikrolinsenarrays wird im Folgenden erläutert.In particular, the approach presented here has the goal of increasing the efficiency of improving the photosensitivity of CMOS image sensors using infrared illumination for DMC applications. For this purpose, a lens of the imager optics or the microlens array on the image sensor in a suitable manner, for example by means of doping, d. H. Implantation of impurities when using silicate glass modified so that the physical principle of photon upconversion causes a wavelength shift of the driver's reflected light in the near infrared with a wavelength of about 940 nm in a wavelength range in which the image sensor has a higher Quantum efficiency, for example, at about 570 nm. The operation of such a doped wavelength shifter microlens array will be explained below.
Photon-Upconversion, kurz UC, ist ein Verfahren, bei dem die sequenzielle Absorption von zwei oder mehr Photonen durch bestimmte fluoreszierende Materialien, vorangehend auch UC-Partikel
In
Zur Herstellung eines Wellenlängenschieber-Mikrolinsenarrays für CMOS-Sensoren sind zwei Umsetzungsszenarien denkbar. Das Mikrolinsenarray wird beispielsweise während der Produktion, bevor oder während es auf den CMOS-Bildsensor aufgebracht oder aufgetragen wird, mittels UC-Materialien oder UC-Partikeln angereichert. Alternativ wird das Mikrolinsenarray eines kommerziell verfügbaren CMOS-Bildsensors in einem Veredelungsschritt mittels Dotierung von UC-Materialien oder UC-Partikel in geeigneter Weise modifiziert.Two implementation scenarios are conceivable for producing a wavelength-shift microlens array for CMOS sensors. For example, the microlens array is enriched with UC or UC particles during production before or while it is being applied or applied to the CMOS image sensor. Alternatively, the microlens array of a commercially available CMOS image sensor is suitably modified in a refining step by doping UC materials or UC particles.
Bei Nichtvorhandensein eines Mikrolinsenarrays können auch andere Schichten wie Farb- oder Anti-Aliasing-Filter, die sich über den aktiven Flächen des Bildsensors befinden, dotiert werden. Hierbei ist genau zu prüfen, ob und in welcher Konzentration und Eindringtiefe das Einbringen von Fremdatomen mittels Dotierung in die oberhalb liegenden Schichten die Funktionsweise der Halbleiterübergänge des CMOS-Sensors beeinträchtigen kann.In the absence of a microlens array, other layers such as color or anti-aliasing filters located over the active areas of the image sensor may also be doped. In this case, it must be checked exactly whether and in what concentration and penetration depth the introduction of foreign atoms by means of doping into the layers above can impair the functioning of the semiconductor junctions of the CMOS sensor.
Bei beiden Fertigungsverfahren sollten aufgrund der umzusetzenden Wellenlängenverschiebung, die von der Beleuchtungswellenlänge λex und der Detektionswellenlänge λem, d. h. der Quanteneffizienzverteilung über der Wellenlänge des verwendeten CMOS-Bildsensors, abhängt, die zu verwendenden UC-Materialien bezüglich Massenverhältnis und Elementzuordnung präzise bestimmt werden.In both manufacturing methods, due to the wavelength shift to be implemented, which depends on the illumination wavelength λ ex and the detection wavelength λ em , ie, the quantum efficiency distribution over the wavelength of the CMOS image sensor used, the UC materials to be used in mass ratio and element allocation should be precisely determined.
Der zuvor vorgestellte Wirkzusammenhang der Upconversion sowie deren Nutzung für DMC-Anwendungen lässt sich auch direkt auf eine Umsetzung innerhalb der DMC-Optik übertragen, die aus einem oder mehreren optischen Elementen wie Linsen und Filtern besteht. Die
Alternativ ist eine dedizierte Wellenlängerschieber-Scheibe aus mit UC-Partikeln dotiertem Silikatglas in den optischen Pfad des Fahrerbeobachtungssystems integriert, wie in
Eine Linse oder ein optischer Filter der DMC-Optik wird aus mehreren Schichten gefertigt, von denen eine die UC-Materialien oder UC-Partikel enthält.A lens or optical filter of the DMC optic is fabricated from multiple layers, one of which contains the UC materials or UC particles.
Eine Linse oder ein optischer Filter der DMC-Optik wird während der Fertigung einseitig mittels UC-Materialien oder UC-Partikel dotiert.A lens or optical filter of the DMC optic is unilaterally doped during fabrication using UC materials or UC particles.
Eine kommerziell verfügbare Linse oder ein kommerziell verfügbarer optischer Filter der DMC-Optik wird in einem Veredelungsschritt durch Dotierung mit UC-Materialien oder UC-Partikeln modifiziert.A commercially available lens or a commercially available optical filter of the DMC optics is modified in a refining step by doping with UC materials or UC particles.
Eine dedizierte Wellenlängerschieber-Scheibe aus mit UC-Partikeln dotiertem Silikatglas wird in den optischen Pfad des DMC-Imagers integriert.A dedicated waveguide disk made of UC particles doped silicate glass is integrated into the optical path of the DMC imager.
Auch bei diesen Fertigungsverfahren sollten aufgrund der umzusetzenden Wellenlängenverschiebung, die von der Beleuchtungswellenlänge λex und der Detektionswellenlänge λem, d. h. der Quanteneffizienzverteilung über der Wellenlänge des verwendeten CMOS-Bildsensors, abhängt, die zu verwendenden UC-Materialien bezüglich Massenverhältnis und Elementzuordnung präzise bestimmt werden.Also in these manufacturing methods, due to the wavelength shift to be implemented, which depends on the illumination wavelength λ ex and the detection wavelength λ em , ie, the quantum efficiency distribution over the wavelength of the CMOS image sensor used, the UC materials to be used in mass ratio and element allocation should be precisely determined.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.
Claims (10)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017217486.2A DE102017217486A1 (en) | 2017-09-29 | 2017-09-29 | A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system |
CN201811122875.3A CN109572553A (en) | 2017-09-29 | 2018-09-26 | Driver monitoring system for vehicle detects the method for the method and manufacture of driver for its wavelength mobile unit by it |
FR1858780A FR3071788B1 (en) | 2017-09-29 | 2018-09-26 | DRIVER OBSERVATION SYSTEM AND METHOD OF CAPTURED BY THE SYSTEM AND METHOD OF MANUFACTURING THE SYSTEM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017217486.2A DE102017217486A1 (en) | 2017-09-29 | 2017-09-29 | A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017217486A1 true DE102017217486A1 (en) | 2019-04-04 |
Family
ID=65727701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017217486.2A Pending DE102017217486A1 (en) | 2017-09-29 | 2017-09-29 | A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN109572553A (en) |
DE (1) | DE102017217486A1 (en) |
FR (1) | FR3071788B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11780372B2 (en) | 2021-03-01 | 2023-10-10 | Magna Mirrors Of America, Inc. | Vehicular driver monitoring system with driver monitoring camera and near IR light emitter at interior rearview mirror assembly |
WO2022187805A1 (en) * | 2021-03-01 | 2022-09-09 | Magna Mirrors Of America, Inc. | Interior rearview mirror assembly with driver monitoring system |
WO2023034956A1 (en) | 2021-09-03 | 2023-03-09 | Magna Electronics Inc. | Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553296B2 (en) * | 1995-06-07 | 2003-04-22 | Automotive Technologies International, Inc. | Vehicular occupant detection arrangements |
US7110570B1 (en) * | 2000-07-21 | 2006-09-19 | Trw Inc. | Application of human facial features recognition to automobile security and convenience |
US20060092401A1 (en) * | 2004-10-28 | 2006-05-04 | Troxell John R | Actively-illuminating optical sensing system for an automobile |
JP4438753B2 (en) * | 2006-01-27 | 2010-03-24 | 株式会社日立製作所 | In-vehicle state detection system, in-vehicle state detection device and method |
JP4915314B2 (en) * | 2007-08-23 | 2012-04-11 | オムロン株式会社 | Imaging apparatus and imaging control method |
US9007438B2 (en) * | 2012-05-21 | 2015-04-14 | Xerox Corporation | 3D imaging using structured light for accurate vehicle occupancy detection |
KR101646390B1 (en) * | 2014-11-26 | 2016-08-05 | 현대자동차주식회사 | Combination structure of Head up display system and Driven State Monitoring |
-
2017
- 2017-09-29 DE DE102017217486.2A patent/DE102017217486A1/en active Pending
-
2018
- 2018-09-26 FR FR1858780A patent/FR3071788B1/en active Active
- 2018-09-26 CN CN201811122875.3A patent/CN109572553A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
FR3071788A1 (en) | 2019-04-05 |
CN109572553A (en) | 2019-04-05 |
FR3071788B1 (en) | 2023-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112016002299T5 (en) | PHOTO CATHODE WITH FIELD MEMBER ARRANGEMENT ON A SILICONE SUBSTRATE WITH BORSCHICHT | |
EP2115435B1 (en) | Method and arrangement for detecting mechanical defects in a semiconductor component, in particular a solar cell or solar cell arrangement | |
EP2879919B1 (en) | Detection of rain drops on a plate by means of a camera and illumination | |
DE102017217486A1 (en) | A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system | |
EP2210073B1 (en) | Circuit arrangement for creating light and temperature dependant signals, particularly for an imaging pyrometer | |
DE102016209316A1 (en) | Sensor with several pixels and corresponding pixel cell | |
DE112017000260T5 (en) | Charged particle detector, charged particle beam device and mass spectrometer | |
DE112017008147T5 (en) | CHARGED PARTICLE JET APPARATUS AND METHOD OF SAMPLE OBSERVATION USING THE SAME | |
DE102011056369A1 (en) | Semiconductor device with trench gate | |
WO2018219915A1 (en) | Radiation-detecting semiconductor element | |
DE10127837A1 (en) | Device and method for examining documents | |
DE112020006542T5 (en) | Light-emitting body, electron beam detector and scanning electron microscope | |
DE19545484C2 (en) | Image recording device | |
EP4014027A1 (en) | Method and device for analysing a multiple solar cell with at least two sub-solar cells by means of luminescent radiation | |
DE10151127A1 (en) | Defect detection method for semiconductor device manufacture, involves estimating similarity between the conductive pad groups based on the secondary electron emission after accumulation of electrons and holes in pads | |
DE102022102009A1 (en) | SPECTRAL SENSOR MODULE | |
DE102012104148A1 (en) | Optoelectronic semiconductor component, has optical diffuser element fixed downstream to semiconductor chip in radiation pattern and comprising profile and having optical transparency and optical diffuse effect based on viewing angle | |
DE112018000236T5 (en) | Charge carrier detector and charge carrier beam device | |
DE112021000990T5 (en) | IMPROVEMENTS FOR SPAD-BASED PHOTO DETECTORS | |
DE102008044881A1 (en) | Measuring method for a semiconductor structure | |
DE102013002400A1 (en) | Imaging apparatus of e.g. MRI system, has imaging lens that images object on light entry surface of cable, and opto-electric transducer array with opto-electrical converter for signal conversion and signal coupling | |
DE102017215715B4 (en) | OPTICAL PICTORIAL STUDENTS FOR THE RECORDING OF TWO-DIMENSIONAL IMAGES IN THE NEAR INFRARED RANGE | |
DE102012109243B4 (en) | Radiation-detecting semiconductor component | |
DE102016208409A1 (en) | Sensor module, method for determining a brightness and / or a color of electromagnetic radiation and method for producing a sensor module | |
DE102021114314A1 (en) | photon detection |