DE102017217486A1 - A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system - Google Patents

A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system Download PDF

Info

Publication number
DE102017217486A1
DE102017217486A1 DE102017217486.2A DE102017217486A DE102017217486A1 DE 102017217486 A1 DE102017217486 A1 DE 102017217486A1 DE 102017217486 A DE102017217486 A DE 102017217486A DE 102017217486 A1 DE102017217486 A1 DE 102017217486A1
Authority
DE
Germany
Prior art keywords
wavelength
driver
unit
observation system
shift unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017217486.2A
Other languages
German (de)
Inventor
Hoang Trinh
Markus Holzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017217486.2A priority Critical patent/DE102017217486A1/en
Priority to CN201811122875.3A priority patent/CN109572553A/en
Priority to FR1858780A priority patent/FR3071788B1/en
Publication of DE102017217486A1 publication Critical patent/DE102017217486A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Abstract

Die Erfindung betrifft ein Fahrerbeobachtungssystem (102) zum Beobachten eines Fahrers (104) in einem Fahrzeug (100). Das Fahrerbeobachtungssystem (102) umfasst eine Beleuchtungseinheit (106) zum Beleuchten des Fahrers (104) mit elektromagnetischer Strahlung (108) einer Beleuchtungswellenlänge, eine Wellenlängenschiebereinheit (112) zum Verschieben einer Wellenlänge eines vom Fahrer (104) reflektierten Anteils (111) der elektromagnetischen Strahlung (108) hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist und eine bessere Quanteneffizienz der Detektionseinheit bedingt, und eine Detektoreinheit (110) zum Detektieren einer von der Wellenlängenschiebereinheit (112) transmittierten Strahlung.The invention relates to a driver observation system (102) for observing a driver (104) in a vehicle (100). The driver observation system (102) comprises a lighting unit (106) for illuminating the driver (104) with electromagnetic radiation (108) of an illumination wavelength, a wavelength shift unit (112) for shifting a wavelength of a portion (111) of the electromagnetic radiation reflected by the driver (104) (108) toward a detection wavelength smaller than the illumination wavelength and resulting in better quantum efficiency of the detection unit, and a detector unit (110) for detecting radiation transmitted from the wavelength shift unit (112).

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche.The invention is based on a device or a method according to the preamble of the independent claims.

Anwendungen zur Beobachtung von Kopf- und Augenbewegungen eines Fahrers sind heutzutage essenzieller Bestandteil eines jeden Fahrerbeobachtungssystems, auch Driver Monitoring Camera oder kurz DMC genannt. Diese Systeme sind für teilautonomes oder vollautomatisiertes Fahren zur Analyse der Reaktionsfähigkeit des Fahrers unabdingbar.Today, driver tracking applications, such as Driver Monitoring Camera or DMC, are an essential part of any driver monitoring system. These systems are indispensable for semi-autonomous or fully automated driving to analyze driver responsiveness.

Für DMC-Imager verfügbare und kommerziell nutzbare monochrome CMOS-Bildsensoren mit der für DMC-Anwendungen notwendigen Auflösung haben in dem für die Beleuchtung verwendeten nahen Infrarot aufgrund ihrer technischen Umsetzung als siliziumbasierte Halbleiter eine nicht sehr hohe Quanteneffizienz oder Lichtempfindlichkeit, was zu einer suboptimalen Umsetzung des empfangenen Infrarotlichts pro Pixel in elektrische Signale führen kann und ein höheres Signal-Rausch-Verhältnis in diesem Wellenlängenbereich bedingen kann.Commercially available monochrome CMOS image sensors for DMC imagers, with the resolution required for DMC applications, do not have very high quantum efficiency or photosensitivity in the near infrared used for illumination because of their technical implementation as silicon based semiconductors received infrared light per pixel can result in electrical signals and can cause a higher signal-to-noise ratio in this wavelength range.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Fahrerbeobachtungssystem, ein Fahrzeug mit einem Fahrerbeobachtungssystem, ein Verfahren zum Erfassen eines Fahrers mittels eines Fahrerbeobachtungssystems und ein Verfahren zum Herstellen einer Wellenlängenschiebereinheit für ein Fahrerbeobachtungssystem gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, with the approach presented here, a driver observation system, a vehicle with a driver observation system, a method for detecting a driver by means of a driver observation system, and a method for manufacturing a wavelength shift unit for a driver observation system according to the main claims are presented. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Es wird ein Fahrerbeobachtungssystem zum Beobachten eines Fahrers in einem Fahrzeug vorgestellt, wobei das Fahrerbeobachtungssystem folgende Merkmale aufweist:

  • eine Beleuchtungseinheit zum Beleuchten des Fahrers mit elektromagnetischer Strahlung einer Beleuchtungswellenlänge;
  • eine Wellenlängenschiebereinheit zum Verschieben einer Wellenlänge eines vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist; und
  • eine Detektoreinheit zum Detektieren einer von der Wellenlängenschiebereinheit transmittierten Strahlung.
A driver observation system for monitoring a driver in a vehicle is presented, wherein the driver observation system has the following features:
  • a lighting unit for illuminating the driver with electromagnetic radiation of an illumination wavelength;
  • a wavelength shift unit for shifting a wavelength of a portion of the electromagnetic radiation reflected by the driver to a detection wavelength smaller than the illumination wavelength; and
  • a detector unit for detecting a radiation transmitted by the wavelength shift unit.

Unter einer Beleuchtungseinheit kann eine beispielsweise in einem Instrumentencluster oder Fahrzeuginnenraum vor dem Fahrer angeordnete Einheit mit einer oder mehreren Strahlungsquellen wie etwa Leuchtdioden verstanden werden. Beispielsweise kann die Beleuchtungseinheit ausgebildet sein, um Infrarotstrahlung auszusenden. Unter einer Wellenlängenschiebereinheit kann beispielsweise ein Mikrolinsenarray, eine Linse oder ein optischer Filter mit einer speziellen Dotierung oder Beschichtung aus sogenannten UC-Partikeln verstanden werden, wobei UC für Photon-Upconversion steht. Die UC-Partikel können beispielsweise auch in ein Material der Detektoreinheit durch Dotierung oder Beschichtung eingebracht sein. Unter einer Detektoreinheit kann ein optischer Sensor, etwa ein CMOS-Sensor oder ein sonstiges lichtsensitives Halbleiterbauelement, verstanden werden. Die Wellenlängenschiebereinheit kann der Detektoreinheit als separates Element vorgeschaltet sein oder in eine aktive Fläche der Detektoreinheit integriert sein. A lighting unit can be understood as a unit arranged, for example, in an instrument cluster or vehicle interior in front of the driver with one or more radiation sources, such as light-emitting diodes. For example, the lighting unit can be designed to emit infrared radiation. A wavelength-shift unit can be understood as meaning, for example, a microlens array, a lens or an optical filter with a special doping or coating of so-called UC particles, where UC stands for photon upconversion. For example, the UC particles can also be introduced into a material of the detector unit by doping or coating. A detector unit can be understood to be an optical sensor, for example a CMOS sensor or another light-sensitive semiconductor component. The wavelength shift unit may be connected upstream of the detector unit as a separate element or integrated into an active area of the detector unit.

Die Verschiebung der Wellenlänge hin zu der Detektionswellenlänge bedingt eine bessere Quanteneffizienz der Detektionseinheit.The shift of the wavelength towards the detection wavelength requires a better quantum efficiency of the detection unit.

Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass mittels Photon-Upconversion oder Anti-Stokes-Verschiebung durch sogenannte nicht lineare Wellenlängenschieber die Quanteneffizienz eines Monochrom- oder Farbbildsensors eines DMC-Imagers gesteigert werden kann. Dazu kann ein spezielles Material beispielsweise in dünnen Schichten auf Linsen oder den Bildsensor selbst vollflächig aufgebracht werden oder durch Dotierung in einen Mikrolinsenarray des DMC-Imagers eingebracht werden. Beispielsweise können kommerzielle Sensoren, die für sichtbares Licht zwischen 380 und 780 nm eine gute Quanteneffizienz aufweisen, durch einen entsprechenden Veredelungsschritt in ihrer Quanteneffizienz oder Lichtempfindlichkeit bei Infrarotlichtbeleuchtung deutlich verbessert werden. Dadurch kann die bei DMC-Anwendungen notwendige Bildsignalverarbeitung signifikant vereinfacht werden, da die Eingangsbilddaten einen besseren Kontrast und weniger Bildrauschen, d. h. ein höheres Signal-Rausch-Verhältnis, aufweisen. Auch das Design des optischen Pfads des DMC-Imagers kann von der gesteigerten Empfindlichkeit des Bildsensors profitieren bzw. diesbezüglich aus Kostensicht optimiert werden.The approach presented here is based on the finding that the quantum efficiency of a monochrome or color image sensor of a DMC imager can be increased by means of photon upconversion or anti-Stokes displacement by so-called non-linear wavelength shifters. For this purpose, a special material, for example, in thin layers on lenses or the image sensor itself can be applied over the entire surface or introduced by doping in a microlens array of the DMC imager. For example, commercial sensors that have good quantum efficiency for visible light between 380 and 780 nm can be significantly improved by a corresponding refining step in their quantum efficiency or photosensitivity under infrared illumination. As a result, the image signal processing necessary in DMC applications can be significantly simplified because the input image data provides better contrast and less image noise, ie. H. have a higher signal-to-noise ratio. Also, the design of the optical path of the DMC imager can benefit from the increased sensitivity of the image sensor or be optimized in this respect from a cost point of view.

Die Detektoreinheit kann bei der Detektionswellenlänge eine bessere Quanteneffizienz als bei der Wellenlänge des vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung aufweisen. Daher ist die Verschiebung der Wellenlänge vorteilhaft.The detector unit may have better quantum efficiency at the detection wavelength than at have the wavelength of the driver reflected by the proportion of electromagnetic radiation. Therefore, the shift of the wavelength is advantageous.

Gemäß einer Ausführungsform kann die Beleuchtungseinheit ausgebildet sein, um den Fahrer mit elektromagnetischer Strahlung im nahen Infrarot zu beleuchten. Dabei kann die Wellenlängenschiebereinheit ausgebildet sein, um die Wellenlänge des reflektierten Anteils hin zu einer Detektionswellenlänge zu verschieben, die im Wellenlängenbereich sichtbaren Lichts liegt. Unter nahem Infrarot kann ein Bereich des elektromagnetischen Spektrums verstanden werden, der sich in Richtung größerer Wellenlänge an das sichtbare Licht anschließt.According to one embodiment, the lighting unit may be configured to illuminate the driver with electromagnetic radiation in the near infrared. In this case, the wavelength shift unit may be configured to shift the wavelength of the reflected portion toward a detection wavelength that is in the visible light wavelength range. Near-infrared can be understood as meaning a region of the electromagnetic spectrum which adjoins the visible light in the direction of a greater wavelength.

Fahrerbeobachtungssysteme können mit direkter, beispielsweise gepulster Infrarotbeleuchtung arbeiten. Diese Infrarotstrahler befinden sich normalerweise im Instrumentencluster oder Fahrzeuginnenraum mit Blickrichtung auf den Fahrer.Driver observation systems can work with direct, such as pulsed infrared lighting. These infrared radiators are normally located in the instrument cluster or vehicle interior looking towards the driver.

Für die Beleuchtung kann Infrarotlicht mit einer Wellenlänge im nahen Infrarot um 940 nm genutzt werden, um eine von der Umgebungslichtsituation möglichst unabhängige homogene Ausleuchtung zu erreichen, die für den Fahrer nicht sichtbar ist und diesen somit auch nicht blendet. Zur Unterdrückung des Umgebungslichtes kann ein optischer Bandpassfilter im optischen Pfad des Fahrerbeobachtungssystems genutzt werden. Diese Region-of-Interest-Beleuchtung mit Infrarotstrahlungsquellen soll das Gesicht oder den Oberkörper des Fahrers optimal ausleuchten, unter Berücksichtigung des derzeitigen Kopfabstands, von Reflexionen durch Brillen und der vorherrschenden äußeren Umgebungslichtsituation. Dabei ist es eine Hauptaufgabe, den relevanten Bereich, d. h. den Kopf des Fahrers, so zu beleuchten, dass dieser gut vom Hintergrund unterschieden, d. h. von diesem segmentiert werden kann und alle zu untersuchenden Gesichtsmerkmale einen für die Bildverarbeitung geeigneten Kontrast aufweisen.For the illumination, infrared light with a wavelength in the near infrared around 940 nm can be used in order to achieve a homogeneous illumination that is as independent as possible from the ambient light situation, which is not visible to the driver and thus does not dazzle the driver. To suppress the ambient light, an optical bandpass filter in the optical path of the driver observation system can be used. This region-of-interest illumination with infrared radiation sources is intended to optimally illuminate the face or upper body of the driver, taking into account the current head distance, reflections from spectacles and the prevailing external ambient light situation. One of the main tasks is to find the relevant area, ie. H. to illuminate the driver's head so that it is well differentiated from the background, d. H. can be segmented by this and all facial features to be examined have a suitable image processing contrast.

Gemäß einer weiteren Ausführungsform kann die Wellenlängenschiebereinheit ein fluoreszierendes Material zum Bewirken einer Anti-Stokes-Verschiebung aufweisen. Bei dem fluoreszierenden Material kann es sich beispielsweise um Ionen von seltenen Erden, Lanthanoiden oder Actinoiden handeln. Unter einer Anti-Stokes-Verschiebung kann eine Wellenlängenverschiebung verstanden werden, bei der eine im Material vorhandene und auf bekannten physikalischen Zusammenhängen basierende energetische Anregung bei Emission von Photonen vernichtet wird, wobei die Wellenlänge der ausgehenden Photonen kleiner als die der einfallenden Photonen ist.According to another embodiment, the wavelength shift unit may comprise a fluorescent material for effecting an anti-Stokes shift. The fluorescent material may be, for example, ions of rare earths, lanthanides or actinides. An anti-Stokes shift can be understood to mean a wavelength shift in which an energetic excitation present in the material and based on known physical relationships is destroyed on emission of photons, the wavelength of the outgoing photons being smaller than that of the incident photons.

Beispielsweise kann die Wellenlängenschiebereinheit Ytterbium- und/oder Erbium-Ionen als fluoreszierendes Material aufweisen. Dadurch kann die Wellenlängenverschiebung möglichst effizient erfolgen.For example, the wavelength shifter unit may have ytterbium and / or erbium ions as the fluorescent material. This allows the wavelength shift as efficiently as possible.

Je nach Ausführungsform kann die Wellenlängenschiebereinheit als Mikrolinsenarray, Linse, optischer Filter oder als eine Kombination aus zumindest zwei der genannten optischen Bauelemente ausgeführt sein. Dabei kann das Mikrolinsenarray, die Linse oder der optische Filter mit dem fluoreszierenden Material dotiert und/oder beschichtet sein. Zusätzlich oder alternativ kann die Wellenlängenschiebereinheit durch Dotieren und/oder Beschichten der Detektoreinheit mit dem fluoreszierenden Material gebildet sein.Depending on the embodiment, the wavelength shift unit may be embodied as a microlens array, lens, optical filter or as a combination of at least two of the said optical components. In this case, the microlens array, the lens or the optical filter may be doped and / or coated with the fluorescent material. Additionally or alternatively, the wavelength shift unit may be formed by doping and / or coating the detector unit with the fluorescent material.

Es ist vorteilhaft, wenn das Mikrolinsenarray und/oder die Linse und/oder der optische Filter auf einer der Detektoreinheit zugewandten Seite mit dem fluoreszierenden Material dotiert und/oder beschichtet ist. Dadurch können die optischen Eigenschaften des Mikrolinsenarrays, der Linse oder des optischen Filters trotz Dotierung oder Beschichtung mit dem fluoreszierenden Material beibehalten werden, beispielsweise wegen der Streuung an den eingebrachten Partikeln.It is advantageous if the microlens array and / or the lens and / or the optical filter on a side facing the detector unit is doped and / or coated with the fluorescent material. Thereby, the optical properties of the microlens array, the lens or the optical filter can be maintained despite doping or coating with the fluorescent material, for example because of the scattering of the introduced particles.

Der hier vorgestellte Ansatz schafft zudem ein Fahrzeug mit einem Fahrerbeobachtungssystem gemäß einer der vorstehenden Ausführungsformen. Bei dem Fahrzeug kann es sich beispielsweise um ein teilautonomes oder vollautomatisiertes Fahrzeug handeln. Das Fahrerbeobachtungssystem kann beispielsweise in einem Instrumentencluster oder im Fahrzeuginnenraum verbaut sein.The approach presented here also creates a vehicle with a driver observation system according to one of the preceding embodiments. For example, the vehicle may be a semi-autonomous or fully automated vehicle. The driver observation system can be installed, for example, in an instrument cluster or in the vehicle interior.

Gegenstand des hier vorgestellten Ansatzes ist ferner ein Verfahren zum Erfassen eines Fahrers mittels eines Fahrerbeobachtungssystems mit einer Beleuchtungseinheit, einer Detektoreinheit und einer Wellenlängenschiebereinheit, wobei das Verfahren folgende Schritte umfasst:

  • Beleuchten des Fahrers mit elektromagnetischer Strahlung einer Beleuchtungswellenlänge mittels der Beleuchtungseinheit;
  • Verschieben einer Wellenlänge eines vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung hin zu einer Detektionswellenlänge mittels der Wellenlängenschiebereinheit, wobei die Detektionswellenlänge kleiner als die Beleuchtungswellenlänge ist; und
  • Detektieren einer von der Wellenlängenschiebereinheit transmittierten Strahlung mittels der Detektoreinheit.
The object of the approach presented here is also a method for detecting a driver by means of a driver observation system comprising a lighting unit, a detector unit and a wavelength shift unit, the method comprising the following steps:
  • Illuminating the driver with electromagnetic radiation of an illumination wavelength by means of the illumination unit;
  • Shifting a wavelength of a portion of the electromagnetic radiation reflected by the driver toward a detection wavelength by means of the wavelength shift unit, wherein the detection wavelength is smaller than the illumination wavelength; and
  • Detecting a radiation transmitted by the wavelength shift unit by means of the detector unit.

Vorteilhafterweise kann durch das Verschieben der Wellenlänge eine besserer Quanteneffizient des Imagers bei der Detektion erwirkt werden.Advantageously, by shifting the wavelength, a better quantum efficiency of the imager can be obtained during the detection.

Schließlich schafft der hier vorgestellte Ansatz ein Verfahren zum Herstellen einer Wellenlängenschiebereinheit für ein Fahrerbeobachtungssystem gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren den folgenden Schritt umfasst: Finally, the approach presented here provides a method of manufacturing a wavelength shift unit for a driver observation system according to any one of the preceding embodiments, the method comprising the step of:

Dotieren und/oder Beschichten des Mikrolinsenarrays und/oder der Linse und/oder des optischen Filters und/oder der Detektoreinheit mit dem fluoreszierenden Material, um die Wellenlängenschiebereinheit herzustellen.Doping and / or coating of the microlens array and / or the lens and / or the optical filter and / or the detector unit with the fluorescent material to produce the wavelength shift unit.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

  • 1 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel;
  • 2 ein Diagramm zur Darstellung einer Quanteneffizienz in Abhängigkeit von einer Wellenlänge für einen CMOS-Sensor;
  • 3 verschiedene Ansichten einer Wellenlängenschiebereinheit aus 1;
  • 4 eine schematische Darstellung eines CMOS-Pixels einer Detektoreinheit gemäß einem Ausführungsbeispiel;
  • 5 eine schematische Darstellung eines CMOS-Pixels aus 4 in Kombination mit einer Mikrolinse eines Mikrolinsenarrays aus 3;
  • 6 ein Aufbauschema eines CMOS-Pixels aus den 4 und 5;
  • 7 eine schematische Darstellung eines Partikels eines fluoreszierenden Materials zur Beschichtung oder Dotierung einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel;
  • 8 eine schematische Darstellung eines CMOS-Pixels aus 5 mit dotierter Mikrolinse;
  • 9 eine schematische Darstellung eines Imagers eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
  • 10 eine schematische Darstellung eines Imagers eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
  • 11 ein Ablaufdiagramm eines Verfahrens zum Erfassen eines Fahrers gemäß einem Ausführungsbeispiel; und
  • 12 ein Ablaufdiagramm eines Verfahrens zum Herstellen einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel.
Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description. It shows:
  • 1 a schematic representation of a vehicle according to an embodiment;
  • 2 a diagram illustrating a quantum efficiency as a function of a wavelength for a CMOS sensor;
  • 3 different views of a wavelength shift unit 1 ;
  • 4 a schematic representation of a CMOS pixel of a detector unit according to an embodiment;
  • 5 a schematic representation of a CMOS pixel from 4 in combination with a microlens of a microlens array 3 ;
  • 6 a construction scheme of a CMOS pixel from the 4 and 5 ;
  • 7 a schematic representation of a particle of a fluorescent material for coating or doping a wavelength shift unit according to an embodiment;
  • 8th a schematic representation of a CMOS pixel from 5 with doped microlens;
  • 9 a schematic representation of an imager of a driver observation system according to an embodiment;
  • 10 a schematic representation of an imager of a driver observation system according to an embodiment;
  • 11 a flowchart of a method for detecting a driver according to an embodiment; and
  • 12 a flowchart of a method for producing a wavelength shifter unit according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine schematische Darstellung eines Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Gezeigt ist eine schematische Anordnung eines Fahrerbeobachtungssystems 102 zum Beobachten eines Fahrers 104 im Fahrzeug 100. Das Fahrerbeobachtungssystem 102 umfasst eine Beleuchtungseinheit 106 zum Beleuchten des Fahrers 104 mit elektromagnetischer Strahlung 108 einer Beleuchtungswellenlänge, beispielsweise mit Infrarotstrahlung, und eine Detektoreinheit 110 zum Detektieren eines vom Fahrer 104 reflektieren Anteils 111 der ausgesandten Strahlung 108. Der Detektoreinheit 110 ist eine Wellenlängenschiebereinheit 112 vorgeschaltet, die ausgebildet ist, um eine Wellenlänge des reflektierten Anteils 111 hin zu einer Detektionswellenlänge zu verschieben, bevor der reflektierte Anteil 111 die Detektoreinheit 110 erreicht. Die Detektionswellenlänge ist dabei kleiner als die Beleuchtungswellenlänge. Durch eine solche Wellenlängenverschiebung können die Quanteneffizienz und die Lichtempfindlichkeit der Detektoreinheit 110 gesteigert werden. Dies ist ein wesentlicher Vorteil des hier beschriebenen Ansatzes. 1 shows a schematic representation of a vehicle 100 according to an embodiment. Shown is a schematic arrangement of a driver observation system 102 for watching a driver 104 in the vehicle 100 , The driver observation system 102 includes a lighting unit 106 to illuminate the driver 104 with electromagnetic radiation 108 an illumination wavelength, for example with infrared radiation, and a detector unit 110 to detect one from the driver 104 reflect proportion 111 the emitted radiation 108 , The detector unit 110 is a wavelength shift unit 112 upstream, which is formed by a wavelength of the reflected portion 111 to shift to a detection wavelength before the reflected portion 111 the detector unit 110 reached. The detection wavelength is smaller than the illumination wavelength. By such a wavelength shift, the quantum efficiency and the photosensitivity of the detector unit 110 be increased. This is a significant advantage of the approach described here.

2 zeigt ein Diagramm zur Darstellung einer Quanteneffizienz in Abhängigkeit von einer Wellenlänge für einen CMOS-Bildsensor. Aus der gezeigten Kurve 200 ist ersichtlich, dass die Quanteneffizienz im Bereich nahen Infrarots zwischen 900 und 950 nm verhältnismäßig niedrig ist. 2 shows a diagram illustrating a quantum efficiency as a function of a wavelength for a CMOS image sensor. From the curve shown 200 It can be seen that the quantum efficiency in the near infrared region between 900 and 950 nm is relatively low.

3 zeigt verschiedene Ansichten einer Wellenlängenschiebereinheit 112 aus 1. Gemäß diesem Ausführungsbeispiel ist die Wellenlängenschiebereinheit 112 als ein mit der Detektoreinheit, etwa einem CMOS-Bildsensor, pixelkongruentes Mikrolinsenarray mit spezieller Dotierung oder Beschichtung zur Wellenlängenverschiebung ausgeführt. Das Mikrolinsenarray hat die Hauptfunktion, die lichtempfindliche Fläche pro Pixel, d. h. die Lichtempfindlichkeit und somit das Signal-Rausch-Verhältnis pro Pixel, zu vergrößern. Damit kann die lichtempfindliche Fläche pro Pixel auf dem CMOS-Sensor bei gleicher Lichtausbeute oder -empfindlichkeit flächenmäßig verringert werden, was dazu führt, dass bei gleicher CMOS-Chipfläche eine höhere Pixeldichte und damit eine höhere Bildauflösung erreicht wird. Die 4 und 5 stellen diesen Sachverhalt grafisch dar. 3 shows various views of a wavelength shifter unit 112 out 1 , According to this embodiment, the wavelength shifter unit is 112 as a with the detector unit, such as a CMOS image sensor, pixel-congruent microlens array with special doping or coating designed for wavelength shift. The microlens array has the main function of increasing the photosensitive area per pixel, ie the photosensitivity and thus the signal-to-noise ratio per pixel. Thus, the photosensitive area per pixel on the CMOS sensor can be reduced in terms of area with the same luminous efficacy or sensitivity, which leads to a higher pixel density and thus a higher image resolution being achieved with the same CMOS chip area. The 4 and 5 illustrate this fact graphically.

4 zeigt eine schematische Darstellung eines CMOS-Pixels 400 einer Detektoreinheit 110 gemäß einem Ausführungsbeispiel, etwa der vorangehend anhand von 1 beschriebenen Detektoreinheit. Die Detektoreinheit 110 ist aus einer Mehrzahl gleichartiger CMOS-Pixel 400 aufgebaut. 4 shows a schematic representation of a CMOS pixel 400 a detector unit 110 according to an embodiment, such as the above with reference to 1 described Detector unit. The detector unit 110 is from a plurality of similar CMOS pixels 400 built up.

5 zeigt eine schematische Darstellung eines CMOS-Pixels 400 aus 4 in Kombination mit einer Mikrolinse 500 eines als Wellenlängenschiebereinheit realisierten Mikrolinsenarrays aus 3. Die Mikrolinse 500 befindet sich gegenüber einer Pixelfläche des CMOS-Bildsensors. Durch die Mikrolinse 500 umgelenkte Lichtstrahlen sind mit einer Mehrzahl von Pfeilen gekennzeichnet. 5 shows a schematic representation of a CMOS pixel 400 out 4 in combination with a microlens 500 a realized as a wavelength shift unit microlens array 3 , The microlens 500 is opposite a pixel area of the CMOS image sensor. Through the microlens 500 deflected light rays are marked with a plurality of arrows.

Jeweils am Rand des CMOS-Pixels 400 befindliche Pixelflächen 502 repräsentieren lichtunempfindliche Leiterbahnen zur Verdrahtung einzelner aktiver Pixelflächen 504. Mittels der Mikrolinse 500 wird das einfallende Licht in den lichtempfindlichen Bereich des Pixels 400 umgeleitet oder hierauf fokussiert. Hierdurch kann die Lichtempfindlichkeit pro Pixel etwa um das Verhältnis der aktiven zu den nicht aktiven Pixelflächen gesteigert werden. Je nach Pixelabstand des Bildsensors weist die Mikrolinse 500 beispielsweise einen Durchmesser von 5 bis 3000 µm auf. Die Mikrolinse 500 ist beispielsweise sphärisch, zylindrisch oder elliptisch und mit einer Höhe bis 100 µm ausgeformt. Die Herstellung der Mikrolinse 500 erfolgt mittels Lithografie oder Mastering in Glas oder Quarz, insbesondere durch Trockenätzen.Each at the edge of the CMOS pixel 400 located pixel areas 502 represent light-insensitive printed conductors for wiring individual active pixel areas 504 , By means of the microlens 500 the incident light becomes the photosensitive area of the pixel 400 diverted or focused on. As a result, the photosensitivity per pixel can be increased approximately by the ratio of the active to the non-active pixel areas. Depending on the pixel pitch of the image sensor, the microlens 500 for example, a diameter of 5 to 3000 microns. The microlens 500 is, for example, spherical, cylindrical or elliptical and formed with a height up to 100 microns. The production of the microlens 500 takes place by means of lithography or mastering in glass or quartz, in particular by dry etching.

6 zeigt ein Aufbauschema eines CMOS-Pixels 400 aus den 4 und 5. Das CMOS-Pixel 400 umfasst die Mikrolinse 500, einen Farbfilter 600, einen Lagenverbund 602 mit Leiterbahnen und gegebenenfalls Transistoren, eine Anode 604, eine Siliziumoxidlage 606, eine p-Silizium-Lage 608 und eine Kathode 610. Neben der Mikrolinse 500 und dem Farbfilter 600 sind die Leiterbahnen mit Treibertransistoren und die aktive Pixelfläche, die als Fotodiode mit der Anode 604, der Siliziumoxidsperrschicht 606, dem p-dotierten Silizium 608 und der Kathode 610 realisiert ist, übereinander angeordnet dargestellt. Je nach Ausführungsbeispiel sind zusätzlich Anti-Aliasing- oder Infrarotsperrfilter integriert. 6 shows a construction scheme of a CMOS pixel 400 from the 4 and 5 , The CMOS pixel 400 includes the microlens 500 , a color filter 600 , a layer composite 602 with interconnects and optionally transistors, an anode 604 , a silica layer 606 , a p-silicon layer 608 and a cathode 610 , In addition to the microlens 500 and the color filter 600 are the tracks with driver transistors and the active pixel area acting as the photodiode with the anode 604 , the silicon oxide barrier layer 606 , the p-doped silicon 608 and the cathode 610 is realized, shown superimposed. Depending on the embodiment, anti-aliasing or infrared blocking filters are additionally integrated.

7 zeigt eine schematische Darstellung eines Partikels 700 eines fluoreszierenden Materials zur Beschichtung oder Dotierung einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel. Das Partikel 700 kann auch als UC-Partikel oder kurz UCP bezeichnet werden. Gezeigt sind drei Pfeile 702, die eine Strahlung der Beleuchtungswellenlänge von beispielsweise 940 nm repräsentieren, durch die das Partikel 700 angeregt wird, sowie ein Pfeil 704, der eine vom Partikel 700 ausgesandte Strahlung mit der Detektionswellenlänge von beispielsweise 570 nm repräsentiert. 7 shows a schematic representation of a particle 700 a fluorescent material for coating or doping a wavelength shift unit according to an embodiment. The particle 700 may also be referred to as a UC particle or UCP for short. Shown are three arrows 702 representing a radiation of the illumination wavelength of 940 nm, for example, through which the particle 700 is stimulated, as well as an arrow 704 , one of the particles 700 Represented emitted radiation with the detection wavelength of, for example, 570 nm.

8 zeigt eine schematische Darstellung eines CMOS-Pixels 400 aus den 4 bis 6 mit dotierter Mikrolinse 500. Die in die Mikrolinse 500 durch Dotierung eingebrachten Partikel 700 sind durch eine Mehrzahl von Punkten gekennzeichnet. 8th shows a schematic representation of a CMOS pixel 400 from the 4 to 6 with doped microlens 500 , The in the microlens 500 by doping introduced particles 700 are characterized by a plurality of points.

9 zeigt eine schematische Darstellung eines Imagers 900 eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel. Gezeigt sind die Detektoreinheit 110 in Form eines CMOS-Sensors, die der Detektoreinheit 110 vorgeschaltete Wellenlängenschiebereinheit 112, die hier als Linse ausgeführt ist, und ein der Wellenlängenschiebereinheit 112 vorgeschalteter Bandpassfilter 904. Gemäß diesem Ausführungsbeispiel weist die Wellenlängenschiebereinheit 112 auf einer der Detektoreinheit 110 zugewandten Seite eine Schicht aus den Partikeln 700 auf. 9 shows a schematic representation of an imager 900 a driver observation system according to an embodiment. Shown are the detector unit 110 in the form of a CMOS sensor, the detector unit 110 upstream wavelength shift unit 112 , which is embodied here as a lens, and one of the wavelength shift unit 112 upstream bandpass filter 904 , According to this embodiment, the wavelength shifter unit 112 on one of the detector unit 110 facing side, a layer of the particles 700 on.

10 zeigt eine schematische Darstellung eines Imagers 900 eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel. Im Unterschied zu 9 ist die Wellenlängenschiebereinheit 112 gemäß dem in 10 gezeigten Ausführungsbeispiel in Form einer dedizierten Wellenlängenschieber-Scheibe aus UCP-dotiertem Silikatglas in den optischen Pfad des Imagers 900 integriert. Beispielhaft ist die Wellenlängenschiebereinheit 112 dabei zwischen der Detektoreinheit 110 und einer separaten Linse 1000 des Imagers 900 angeordnet. 10 shows a schematic representation of an imager 900 a driver observation system according to an embodiment. In contrast to 9 is the wavelength shift unit 112 according to the in 10 shown embodiment in the form of a dedicated wavelength shifter disc of UCP-doped silicate glass in the optical path of the imager 900 integrated. Exemplary is the wavelength shift unit 112 between the detector unit 110 and a separate lens 1000 of the imager 900 arranged.

Der hier vorgestellte Ansatz hat insbesondere das Ziel der Effizienzsteigerung zur Verbesserung der Lichtempfindlichkeit von CMOS-Bildsensoren bei Verwendung von Infrarotbeleuchtung für DMC-Anwendungen. Hierzu wird eine Linse der Imageroptik oder das Mikrolinsenarray auf dem Bildsensor in geeigneter Weise, beispielsweise mittels Dotierung, d. h. Implantation von Fremdatomen, bei der Verwendung von Silikatglas, so modifiziert, dass das physikalische Prinzip der Photon-Upconversion eine Wellenlängenverschiebung des vom Fahrer reflektierten Lichts im nahen Infrarot mit einer Wellenlänge von ca. 940 nm in einen Wellenlängenbereich bewirkt, bei dem der Bildsensor eine höhere Quanteneffizienz aufweist, beispielsweise bei ca. 570 nm. Die Funktionsweise eines solchen dotierten Wellenlängenschieber-Mikrolinsenarrays wird im Folgenden erläutert.In particular, the approach presented here has the goal of increasing the efficiency of improving the photosensitivity of CMOS image sensors using infrared illumination for DMC applications. For this purpose, a lens of the imager optics or the microlens array on the image sensor in a suitable manner, for example by means of doping, d. H. Implantation of impurities when using silicate glass modified so that the physical principle of photon upconversion causes a wavelength shift of the driver's reflected light in the near infrared with a wavelength of about 940 nm in a wavelength range in which the image sensor has a higher Quantum efficiency, for example, at about 570 nm. The operation of such a doped wavelength shifter microlens array will be explained below.

Photon-Upconversion, kurz UC, ist ein Verfahren, bei dem die sequenzielle Absorption von zwei oder mehr Photonen durch bestimmte fluoreszierende Materialien, vorangehend auch UC-Partikel 700 genannt, zur Emission von Licht mit einer unterhalb einer Anregungswellenlänge λex liegenden Emissionswellenlänge λem führt, was auch als Anti-Stokes-Emission bezeichnet wird. Ein Beispiel ist die Umwandlung von nahem Infrarot in sichtbares Licht. Materialien, mit denen die Upconversion umgesetzt werden kann, enthalten beispielsweise Ionen von d- und f-Block-Elementen wie seltenen Erden, Lanthanoiden oder Actinoiden. Beispielsweise können Ytterbium (Yb3+) und Erbium (Er3+) zur Dotierung eines Silikatglassubstrats genutzt werden, das bei einer Anregung mit Infrarotlicht der Wellenlänge λex ≈ 950 nm mittels Upconversion als Hauptemissionen sichtbares grünes Licht der Wellenlänge λem1 ≈ 545 nm und rotes Licht der Wellenlänge λem2 ≈ 660 nm emittiert. Diese werden aufgrund spontaner Photonenemission durch Niveauübergänge angeregter Elektronen der Er3+-Ionen zwischen deren induzierten metastabilen Energiezuständen erzeugt, wobei Yb3+ mittels Energietransfer zur Anregung der Er3+-Ionen dient.Photon upconversion, UC for short, is a process in which the sequential absorption of two or more photons by certain fluorescent materials, previously UC particles 700 called, leads to the emission of light with an emission wavelength λ em lying below an excitation wavelength λ ex , which is also referred to as anti-Stokes emission. An example is the conversion of near infrared into visible light. Materials with which the upconversion can be implemented include, for example, ions of d- and f-block elements such as rare earths, lanthanides or actinides. For example, ytterbium (Yb 3+ ) and erbium (Er 3+ ) are used for doping a silicate glass substrate, which, upon excitation with infrared light of wavelength λ ex ≈ 950 nm by upconversion as the main emission visible green light of wavelength λ em1 ≈ 545 nm and red light of Wavelength λ em2 ≈ 660 nm emitted. These are generated due to spontaneous photon emission by level transitions of excited electrons of Er 3+ ions between their induced metastable energy states, with Yb 3+ serves by means of energy transfer to excite the Er 3+ ions.

In 8 ist die Upconversion im dotierten Mikrolinsenarray dargestellt. Treffen zwei oder mehr Photonen der Wellenlänge λex ≈ 940 nm ein oder mehrere in die Linse dotierte wechselwirkende Lanthanoid-Ionen, so wird im Anschluss mittels Upconversion ein Photon kleinerer Wellenlänge λem ≈ 570 nm emittiert. Dabei können nicht alle einfallenden Photonen mittels Upconversion in der Wellenlänge oder Energie transformiert werden, da manche ohne Wechselwirkung mit den dotierten Ionen die Linse passieren. Dies wird mittels des Wirkungsgrades der Upconversion beschrieben, der direkt von der Dotierungsdichte der UC-Partikel 700 in der Linse 500 abhängt.In 8th the upconversion is shown in the doped microlens array. If two or more photons of the wavelength λ ex ≈ 940 nm meet one or more interacting lanthanoid ions doped into the lens, a photon of smaller wavelength λ em ≈ 570 nm is subsequently emitted by upconversion. Not all incident photons can be transformed into the wavelength or energy by upconversion, as some pass through the lens without interaction with the doped ions. This is described by the efficiency of upconversion, which is directly related to the doping density of the UC particles 700 in the lens 500 depends.

Zur Herstellung eines Wellenlängenschieber-Mikrolinsenarrays für CMOS-Sensoren sind zwei Umsetzungsszenarien denkbar. Das Mikrolinsenarray wird beispielsweise während der Produktion, bevor oder während es auf den CMOS-Bildsensor aufgebracht oder aufgetragen wird, mittels UC-Materialien oder UC-Partikeln angereichert. Alternativ wird das Mikrolinsenarray eines kommerziell verfügbaren CMOS-Bildsensors in einem Veredelungsschritt mittels Dotierung von UC-Materialien oder UC-Partikel in geeigneter Weise modifiziert.Two implementation scenarios are conceivable for producing a wavelength-shift microlens array for CMOS sensors. For example, the microlens array is enriched with UC or UC particles during production before or while it is being applied or applied to the CMOS image sensor. Alternatively, the microlens array of a commercially available CMOS image sensor is suitably modified in a refining step by doping UC materials or UC particles.

Bei Nichtvorhandensein eines Mikrolinsenarrays können auch andere Schichten wie Farb- oder Anti-Aliasing-Filter, die sich über den aktiven Flächen des Bildsensors befinden, dotiert werden. Hierbei ist genau zu prüfen, ob und in welcher Konzentration und Eindringtiefe das Einbringen von Fremdatomen mittels Dotierung in die oberhalb liegenden Schichten die Funktionsweise der Halbleiterübergänge des CMOS-Sensors beeinträchtigen kann.In the absence of a microlens array, other layers such as color or anti-aliasing filters located over the active areas of the image sensor may also be doped. In this case, it must be checked exactly whether and in what concentration and penetration depth the introduction of foreign atoms by means of doping into the layers above can impair the functioning of the semiconductor junctions of the CMOS sensor.

Bei beiden Fertigungsverfahren sollten aufgrund der umzusetzenden Wellenlängenverschiebung, die von der Beleuchtungswellenlänge λex und der Detektionswellenlänge λem, d. h. der Quanteneffizienzverteilung über der Wellenlänge des verwendeten CMOS-Bildsensors, abhängt, die zu verwendenden UC-Materialien bezüglich Massenverhältnis und Elementzuordnung präzise bestimmt werden.In both manufacturing methods, due to the wavelength shift to be implemented, which depends on the illumination wavelength λ ex and the detection wavelength λ em , ie, the quantum efficiency distribution over the wavelength of the CMOS image sensor used, the UC materials to be used in mass ratio and element allocation should be precisely determined.

Der zuvor vorgestellte Wirkzusammenhang der Upconversion sowie deren Nutzung für DMC-Anwendungen lässt sich auch direkt auf eine Umsetzung innerhalb der DMC-Optik übertragen, die aus einem oder mehreren optischen Elementen wie Linsen und Filtern besteht. Die 9 und 10 zeigen je ein Beispielschema, das einen optischen Bandpassfilter 904 mit einem Durchlassbereich von ca. 940 nm zur Unterdrückung des Umgebungslichtes beinhaltet. Die Upconversion sollte im optischen Pfad vorteilhafterweise hinter dem Bandpassfilter 904 stattfinden. Um die Upconversion umzusetzen, wird eine normale Linse der Imageroptik, wie in 9 gezeigt, mit einer Linse ersetzt, die beispielsweise auf der dem CMOS-Sensor zugewandten Linsenseite eine UC-Schicht aufweist. Diese ist beispielsweise mittels Dotierung mit oben genannten Materialien erzeugt.The above-presented effect of the upconversion as well as its use for DMC applications can also be directly transferred to a conversion within the DMC optics, which consists of one or more optical elements such as lenses and filters. The 9 and 10 each show a sample scheme that includes an optical bandpass filter 904 with a passband of about 940 nm for the suppression of ambient light includes. The upconversion should be in the optical path, advantageously behind the bandpass filter 904 occur. To implement the upconversion, a normal lens of the imager optics, as in 9 shown replaced with a lens having, for example, on the side facing the CMOS sensor lens side a UC layer. This is produced for example by means of doping with the above-mentioned materials.

Alternativ ist eine dedizierte Wellenlängerschieber-Scheibe aus mit UC-Partikeln dotiertem Silikatglas in den optischen Pfad des Fahrerbeobachtungssystems integriert, wie in 10 zu erkennen. Zur Realisierung einer Wellenlängenschieber-Optik sind zusammengefasst vier Umsetzungsszenarien möglich.Alternatively, a dedicated wavelength slider disk made of UC particles doped silicate glass is integrated into the optical path of the driver observation system, as in FIG 10 to recognize. In order to realize a wavelength shift optics, four implementation scenarios are possible.

Eine Linse oder ein optischer Filter der DMC-Optik wird aus mehreren Schichten gefertigt, von denen eine die UC-Materialien oder UC-Partikel enthält.A lens or optical filter of the DMC optic is fabricated from multiple layers, one of which contains the UC materials or UC particles.

Eine Linse oder ein optischer Filter der DMC-Optik wird während der Fertigung einseitig mittels UC-Materialien oder UC-Partikel dotiert.A lens or optical filter of the DMC optic is unilaterally doped during fabrication using UC materials or UC particles.

Eine kommerziell verfügbare Linse oder ein kommerziell verfügbarer optischer Filter der DMC-Optik wird in einem Veredelungsschritt durch Dotierung mit UC-Materialien oder UC-Partikeln modifiziert.A commercially available lens or a commercially available optical filter of the DMC optics is modified in a refining step by doping with UC materials or UC particles.

Eine dedizierte Wellenlängerschieber-Scheibe aus mit UC-Partikeln dotiertem Silikatglas wird in den optischen Pfad des DMC-Imagers integriert.A dedicated waveguide disk made of UC particles doped silicate glass is integrated into the optical path of the DMC imager.

Auch bei diesen Fertigungsverfahren sollten aufgrund der umzusetzenden Wellenlängenverschiebung, die von der Beleuchtungswellenlänge λex und der Detektionswellenlänge λem, d. h. der Quanteneffizienzverteilung über der Wellenlänge des verwendeten CMOS-Bildsensors, abhängt, die zu verwendenden UC-Materialien bezüglich Massenverhältnis und Elementzuordnung präzise bestimmt werden.Also in these manufacturing methods, due to the wavelength shift to be implemented, which depends on the illumination wavelength λ ex and the detection wavelength λ em , ie, the quantum efficiency distribution over the wavelength of the CMOS image sensor used, the UC materials to be used in mass ratio and element allocation should be precisely determined.

11 zeigt ein Ablaufdiagramm eines Verfahrens 1100 zum Erfassen eines Fahrers gemäß einem Ausführungsbeispiel. Das Verfahren 1100 kann beispielsweise unter Verwendung eines vorangehend anhand der 1 bis 10 beschriebenen Fahrerbeobachtungssystems ausgeführt werden. Dabei wird in einem ersten Schritt 1110 der Fahrer mittels der Beleuchtungseinheit mit elektromagnetischer Strahlung der Beleuchtungswellenlänge beleuchtet. In einem zweiten Schritt 1120 wird die Wellenlänge des vom Fahrer reflektierten Anteils der elektromagnetischen Strahlung mittels der Wellenlängenschiebereinheit hin zur Detektionswellenlänge verschoben. In einem dritten Schritt 1130 wird die von der Wellenlängenschiebereinheit transmittierte Strahlung der Detektionswellenlänge mittels der Detektoreinheit detektiert, um den Fahrer zu erfassen. 11 shows a flowchart of a method 1100 for detecting a driver according to an embodiment. The procedure 1100 For example, using a preceding from the 1 to 10 described driver observation system are executed. This will be done in a first step 1110 the driver uses the illumination unit to illuminate the illumination wavelength with electromagnetic radiation. In a second step 1120 the wavelength of the part of the electromagnetic radiation reflected by the driver is shifted towards the detection wavelength by means of the wavelength shift unit. In a third step 1130 the radiation of the detection wavelength transmitted by the wavelength shift unit is detected by the detector unit to detect the driver.

12 zeigt ein Ablaufdiagramm eines Verfahrens 1200 zum Herstellen einer Wellenlängenschiebereinheit gemäß einem Ausführungsbeispiel. Das Verfahren 1200 kann beispielsweise zur Herstellung einer vorangehend anhand der 1 bis 10 beschriebenen Wellenlängenschiebereinheit ausgeführt werden. Dabei wird in einem optionalen Schritt 1210 je nach Ausführungsbeispiel ein Mikrolinsenarray, eine Linse oder ein optischer Filter bereitgestellt. In einem weiteren Schritt 1220 wird das Mikrolinsenarray, die Linse oder der optische Filter mit dem fluoreszierenden Material, auch UC-Partikel genannt, dotiert oder beschichtet, um die Wellenlängenschiebereinheit herzustellen. Alternativ oder zusätzlich wird im Schritt 1210 die Detektoreinheit bereitgestellt und im Schritt 1220 die Detektoreinheit mit dem fluoreszierenden Material dotiert oder beschichtet, um die Wellenlängenschiebereinheit herzustellen. Die Wellenlängenschiebereinheit wird dabei direkt in die Detektoreinheit integriert. 12 shows a flowchart of a method 1200 for producing a wavelength shift unit according to an embodiment. The procedure 1200 For example, for the preparation of a preceding on the basis of 1 to 10 described wavelength shift unit are executed. It will be in an optional step 1210 Depending on the embodiment, a microlens array, a lens or an optical filter provided. In a further step 1220 For example, the microlens array, the lens or the optical filter is doped or coated with the fluorescent material, also called UC particles, to make the wavelength shift unit. Alternatively or additionally, in step 1210 the detector unit provided and in step 1220 the detector unit is doped or coated with the fluorescent material to produce the wavelength shift unit. The wavelength shift unit is integrated directly into the detector unit.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

Claims (10)

Fahrerbeobachtungssystem (102) zum Beobachten eines Fahrers (104) in einem Fahrzeug (100), wobei das Fahrerbeobachtungssystem (102) folgende Merkmale aufweist: eine Beleuchtungseinheit (106) zum Beleuchten des Fahrers (104) mit elektromagnetischer Strahlung (108) einer Beleuchtungswellenlänge; eine Wellenlängenschiebereinheit (112) zum Verschieben einer Wellenlänge eines vom Fahrer (104) reflektierten Anteils (111) der elektromagnetischen Strahlung (108) hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist; und eine Detektoreinheit (110) zum Detektieren einer von der Wellenlängenschiebereinheit (112) transmittierten Strahlung.A driver observation system (102) for monitoring a driver (104) in a vehicle (100), the driver observation system (102) comprising: an illumination unit (106) for illuminating the driver (104) with electromagnetic radiation (108) of an illumination wavelength; a wavelength shift unit (112) for shifting a wavelength of a portion (111) of the electromagnetic radiation (108) reflected by the driver (104) toward a detection wavelength smaller than the illumination wavelength; and a detector unit (110) for detecting a radiation transmitted by the wavelength shift unit (112). Fahrerbeobachtungssystem (102) gemäß Anspruch 1, bei der die Detektoreinheit (110) bei der Detektionswellenlänge eine bessere Quanteneffizienz als bei der Wellenlänge des vom Fahrer (104) reflektierten Anteils (111) der elektromagnetischen Strahlung (108) aufweist.Driver observation system (102) according to Claim 1 in which the detector unit (110) has a better quantum efficiency at the detection wavelength than at the wavelength of the portion (111) of the electromagnetic radiation (108) reflected by the driver (104). Fahrerbeobachtungssystem (102) gemäß einem der vorangegangenen Ansprüche, bei dem die Beleuchtungseinheit (106) ausgebildet ist, um den Fahrer (104) mit elektromagnetischer Strahlung (108) im nahen Infrarot zu beleuchten, wobei die Wellenlängenschiebereinheit (112) ausgebildet ist, um die Wellenlänge des reflektierten Anteils (111) hin zu einer Detektionswellenlänge zu verschieben, die im Wellenlängenbereich sichtbaren Lichts liegt.A driver observation system (102) according to any one of the preceding claims, wherein the illumination unit (106) is adapted to illuminate the driver (104) with near infrared electromagnetic radiation (108), the wavelength shift unit (112) being configured to wavelength of the reflected portion (111) to shift to a detection wavelength which is in the wavelength range of visible light. Fahrerbeobachtungssystem (102) gemäß einem der vorangegangenen Ansprüche, bei dem die Wellenlängenschiebereinheit (112) ein fluoreszierendes Material (700) zum Bewirken einer Anti-Stokes-Verschiebung aufweist.A driver observation system (102) according to any one of the preceding claims, wherein the wavelength shift unit (112) comprises a fluorescent material (700) for effecting an anti-Stokes shift. Fahrerbeobachtungssystem (102) gemäß Anspruch 4, bei dem die Wellenlängenschiebereinheit (112) Ytterbium- und/oder Erbium-Ionen als fluoreszierendes Material (700) aufweist.Driver observation system (102) according to Claim 4 in which the wavelength shift unit (112) has ytterbium and / or erbium ions as the fluorescent material (700). Fahrerbeobachtungssystem (102) gemäß Anspruch 4 oder 5, bei dem die Wellenlängenschiebereinheit (112) als Mikrolinsenarray und/oder Linse und/oder optischer Filter ausgeführt ist, wobei das Mikrolinsenarray und/oder die Linse und/oder der optische Filter mit dem fluoreszierenden Material (700) dotiert und/oder beschichtet ist, und/oder die Wellenlängenschiebereinheit (112) durch Dotieren und/oder Beschichten der Detektoreinheit (110) mit dem fluoreszierenden Material (700) gebildet ist.Driver observation system (102) according to Claim 4 or 5 in which the wavelength-shift unit (112) is embodied as a microlens array and / or lens and / or optical filter, the microlens array and / or the lens and / or the optical filter being doped and / or coated with the fluorescent material (700), and / or the wavelength shift unit (112) is formed by doping and / or coating the detector unit (110) with the fluorescent material (700). Fahrerbeobachtungssystem (102) gemäß Anspruch 6, bei dem das Mikrolinsenarray und/oder die Linse und/oder der optische Filter auf einer der Detektoreinheit (110) zugewandten Seite mit dem fluoreszierenden Material (700) dotiert und/oder beschichtet ist.Driver observation system (102) according to Claim 6 in which the microlens array and / or the lens and / or the optical filter is doped and / or coated with the fluorescent material (700) on a side facing the detector unit (110). Fahrzeug (100) mit einem Fahrerbeobachtungssystem (102) gemäß einem der vorangegangenen Ansprüche.Vehicle (100) with a driver observation system (102) according to one of the preceding claims. Verfahren (1100) zum Erfassen eines Fahrers (104) mittels eines Fahrerbeobachtungssystems (102) mit einer Beleuchtungseinheit (106), einer Detektoreinheit (110) und einer Wellenlängenschiebereinheit (112), wobei das Verfahren (1100) folgende Schritte umfasst: Beleuchten (1110) des Fahrers (104) mit elektromagnetischer Strahlung (108) einer Beleuchtungswellenlänge mittels der Beleuchtungseinheit (106); Verschieben (1120) einer Wellenlänge eines vom Fahrer (104) reflektierten Anteils (111) der elektromagnetischen Strahlung (108) hin zu einer Detektionswellenlänge, die kleiner als die Beleuchtungswellenlänge ist, mittels der Wellenlängenschiebereinheit (112); und Detektieren (1130) einer von der Wellenlängenschiebereinheit (112) transmittierten Strahlung mittels der Detektoreinheit (110).A method (1100) for detecting a driver (104) by means of a driver observation system (102) having a lighting unit (106), a detector unit (110) and a wavelength shift unit (112), the method (1100) comprising the steps of: lighting (1110) the driver (104) with electromagnetic radiation (108) of an illumination wavelength by means of the illumination unit (106); Shifting (1120) a wavelength of a portion (111) of the electromagnetic radiation (108) reflected by the driver (104) toward one Detection wavelength smaller than the illumination wavelength by the wavelength shifter unit (112); and detecting (1130) a radiation transmitted by the wavelength shifter unit (112) by means of the detector unit (110). Verfahren (1200) zum Herstellen einer Wellenlängenschiebereinheit (112) für ein Fahrerbeobachtungssystem (102) gemäß Anspruch 6 oder 7, wobei das Verfahren (1200) den folgenden Schritt umfasst: Dotieren und/oder Beschichten (1220) des Mikrolinsenarrays und/oder der Linse und/oder des optischen Filters und/oder der Detektoreinheit (110) mit dem fluoreszierenden Material (700), um die Wellenlängenschiebereinheit (112) herzustellen.A method (1200) for producing a wavelength shift unit (112) for a driver observation system (102) according to Claim 6 or 7 wherein the method (1200) comprises the step of: doping and / or coating (1220) the microlens array and / or the lens and / or the optical filter and / or the detector unit (110) with the fluorescent material (700) to produce the wavelength shift unit (112).
DE102017217486.2A 2017-09-29 2017-09-29 A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system Pending DE102017217486A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102017217486.2A DE102017217486A1 (en) 2017-09-29 2017-09-29 A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system
CN201811122875.3A CN109572553A (en) 2017-09-29 2018-09-26 Driver monitoring system for vehicle detects the method for the method and manufacture of driver for its wavelength mobile unit by it
FR1858780A FR3071788B1 (en) 2017-09-29 2018-09-26 DRIVER OBSERVATION SYSTEM AND METHOD OF CAPTURED BY THE SYSTEM AND METHOD OF MANUFACTURING THE SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017217486.2A DE102017217486A1 (en) 2017-09-29 2017-09-29 A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system

Publications (1)

Publication Number Publication Date
DE102017217486A1 true DE102017217486A1 (en) 2019-04-04

Family

ID=65727701

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017217486.2A Pending DE102017217486A1 (en) 2017-09-29 2017-09-29 A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system

Country Status (3)

Country Link
CN (1) CN109572553A (en)
DE (1) DE102017217486A1 (en)
FR (1) FR3071788B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11780372B2 (en) 2021-03-01 2023-10-10 Magna Mirrors Of America, Inc. Vehicular driver monitoring system with driver monitoring camera and near IR light emitter at interior rearview mirror assembly
WO2022187805A1 (en) * 2021-03-01 2022-09-09 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with driver monitoring system
WO2023034956A1 (en) 2021-09-03 2023-03-09 Magna Electronics Inc. Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US7110570B1 (en) * 2000-07-21 2006-09-19 Trw Inc. Application of human facial features recognition to automobile security and convenience
US20060092401A1 (en) * 2004-10-28 2006-05-04 Troxell John R Actively-illuminating optical sensing system for an automobile
JP4438753B2 (en) * 2006-01-27 2010-03-24 株式会社日立製作所 In-vehicle state detection system, in-vehicle state detection device and method
JP4915314B2 (en) * 2007-08-23 2012-04-11 オムロン株式会社 Imaging apparatus and imaging control method
US9007438B2 (en) * 2012-05-21 2015-04-14 Xerox Corporation 3D imaging using structured light for accurate vehicle occupancy detection
KR101646390B1 (en) * 2014-11-26 2016-08-05 현대자동차주식회사 Combination structure of Head up display system and Driven State Monitoring

Also Published As

Publication number Publication date
FR3071788A1 (en) 2019-04-05
CN109572553A (en) 2019-04-05
FR3071788B1 (en) 2023-02-10

Similar Documents

Publication Publication Date Title
DE112016002299T5 (en) PHOTO CATHODE WITH FIELD MEMBER ARRANGEMENT ON A SILICONE SUBSTRATE WITH BORSCHICHT
EP2115435B1 (en) Method and arrangement for detecting mechanical defects in a semiconductor component, in particular a solar cell or solar cell arrangement
EP2879919B1 (en) Detection of rain drops on a plate by means of a camera and illumination
DE102017217486A1 (en) A driver observation system, a method of detecting a driver by a driver observation system, and a method of manufacturing a wavelength shift unit for a driver observation system
EP2210073B1 (en) Circuit arrangement for creating light and temperature dependant signals, particularly for an imaging pyrometer
DE102016209316A1 (en) Sensor with several pixels and corresponding pixel cell
DE112017000260T5 (en) Charged particle detector, charged particle beam device and mass spectrometer
DE112017008147T5 (en) CHARGED PARTICLE JET APPARATUS AND METHOD OF SAMPLE OBSERVATION USING THE SAME
DE102011056369A1 (en) Semiconductor device with trench gate
WO2018219915A1 (en) Radiation-detecting semiconductor element
DE10127837A1 (en) Device and method for examining documents
DE112020006542T5 (en) Light-emitting body, electron beam detector and scanning electron microscope
DE19545484C2 (en) Image recording device
EP4014027A1 (en) Method and device for analysing a multiple solar cell with at least two sub-solar cells by means of luminescent radiation
DE10151127A1 (en) Defect detection method for semiconductor device manufacture, involves estimating similarity between the conductive pad groups based on the secondary electron emission after accumulation of electrons and holes in pads
DE102022102009A1 (en) SPECTRAL SENSOR MODULE
DE102012104148A1 (en) Optoelectronic semiconductor component, has optical diffuser element fixed downstream to semiconductor chip in radiation pattern and comprising profile and having optical transparency and optical diffuse effect based on viewing angle
DE112018000236T5 (en) Charge carrier detector and charge carrier beam device
DE112021000990T5 (en) IMPROVEMENTS FOR SPAD-BASED PHOTO DETECTORS
DE102008044881A1 (en) Measuring method for a semiconductor structure
DE102013002400A1 (en) Imaging apparatus of e.g. MRI system, has imaging lens that images object on light entry surface of cable, and opto-electric transducer array with opto-electrical converter for signal conversion and signal coupling
DE102017215715B4 (en) OPTICAL PICTORIAL STUDENTS FOR THE RECORDING OF TWO-DIMENSIONAL IMAGES IN THE NEAR INFRARED RANGE
DE102012109243B4 (en) Radiation-detecting semiconductor component
DE102016208409A1 (en) Sensor module, method for determining a brightness and / or a color of electromagnetic radiation and method for producing a sensor module
DE102021114314A1 (en) photon detection