DE102020204731A1 - Method for operating a motor vehicle and system - Google Patents
Method for operating a motor vehicle and system Download PDFInfo
- Publication number
- DE102020204731A1 DE102020204731A1 DE102020204731.6A DE102020204731A DE102020204731A1 DE 102020204731 A1 DE102020204731 A1 DE 102020204731A1 DE 102020204731 A DE102020204731 A DE 102020204731A DE 102020204731 A1 DE102020204731 A1 DE 102020204731A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- function
- gloss
- motor vehicle
- radiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 210000001061 forehead Anatomy 0.000 claims abstract description 45
- 230000005855 radiation Effects 0.000 claims abstract description 42
- 210000003128 head Anatomy 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 38
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004378 air conditioning Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 239000002932 luster Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 21
- 210000004243 sweat Anatomy 0.000 description 10
- 238000011161 development Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
- 238000010626 work up procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
Ein Verfahren zum Betreiben eines Kraftfahrzeugs (1) umfasst ein Ermitteln einer Anwesenheit eines Fahrers (20) des Kraftfahrzeugs (1) und ein Erstellen eines Kopfmodells und ein Verorten eines Stirnbereichs des Fahrers (20) in Abhängigkeit von der ermittelten Anwesenheit. Das Verfahren umfasst weiter ein Aussenden eines Lichtstrahls (13) mittels einer Strahlungsquelle (12) in Abhängigkeit von dem verorteten Stirnbereich (21) und ein Erfassen eines reflektierten Lichtstrahls (14) mittels eines Strahlungssensors (11), der repräsentativ ist für einen Lichtanteil des ausgesendeten Lichtstrahls (13), welcher von dem Stirnbereich (21) des Fahrers (20) reflektiert wurde. Das Verfahren umfasst weiter ein Ermitteln eines Glanzes einer Hautoberfläche des Stirnbereichs (21) in Abhängigkeit von dem erfassten Lichtstrahl (14) und ein Steuern einer dem Kraftfahrzeug (1) zugehörigen Funktion in Abhängigkeit von dem ermittelten Glanz der Hautoberfläche des Stirnbereichs (21). A method for operating a motor vehicle (1) comprises determining the presence of a driver (20) of the motor vehicle (1) and creating a head model and locating a forehead region of the driver (20) as a function of the determined presence. The method further comprises emitting a light beam (13) by means of a radiation source (12) depending on the located forehead area (21) and detecting a reflected light beam (14) by means of a radiation sensor (11), which is representative of a portion of the light emitted Light beam (13) which was reflected from the forehead area (21) of the driver (20). The method further comprises determining a luster of a skin surface of the forehead region (21) as a function of the detected light beam (14) and controlling a function associated with the motor vehicle (1) as a function of the determined luster of the skin surface of the forehead region (21).
Description
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs und ein System zur Glanzdetektion für einen Fahrer des Kraftfahrzeugs.The invention relates to a method for operating a motor vehicle and a system for gloss detection for a driver of the motor vehicle.
Kraftfahrzeuge werden zunehmend mit Kameras oder Sensoren ausgestattet. Diese Kameras oder Sensoren können beispielsweise dazu benutzt werden, um den Straßenverkehr zu beobachten oder den gesundheitlichen Zustand eines Fahrzeuginsassen zu überwachen. Die Überwachung des gesundheitlichen Zustandes des Fahrzeuginsassen kann zur Erhöhung der Sicherheit im Straßenverkehr beitragen.Motor vehicles are increasingly being equipped with cameras or sensors. These cameras or sensors can be used, for example, to observe road traffic or to monitor the health of a vehicle occupant. Monitoring the health of the vehicle occupant can help increase road safety.
Es ist eine Aufgabe, die der Erfindung zugrunde liegt, ein Verfahren zum Betreiben eines Kraftfahrzeugs zu schaffen, das zu einer erhöhten Sicherheit im Straßenverkehr beitragen kann. Es ist ferner eine Aufgabe, die der Erfindung zugrunde liegt, ein System bereitzustellen, mittels dessen ein solches Verfahren durchführbar ist.It is an object on which the invention is based to create a method for operating a motor vehicle which can contribute to increased safety in road traffic. It is also an object on which the invention is based to provide a system by means of which such a method can be carried out.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen des Verfahrens sind in den abhängigen Patentansprüchen angegeben.The object is achieved by the features of the independent patent claims. Advantageous refinements of the method are specified in the dependent claims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs. Dabei ist dem Kraftfahrzeug eine Sensorik zugeordnet, die eine Strahlungsquelle zur Emission einer vorgegebenen Strahlung und einen Strahlungssensor zur Strahlungsdetektion aufweist. Die Strahlungsquelle ist insbesondere als Infrarot-Leuchtdiode ausgebildet und der Strahlungssensor ist vorzugsweise als CCD-Kamera-Sensor realisiert. Das Verfahren umfasst ein Ermitteln einer Anwesenheit eines Fahrers des Kraftfahrzeugs und ein Erstellen eines Kopfmodells des Fahrers in Abhängigkeit der ermittelten Anwesenheit. Das Verfahren umfasst weiter ein Verorten eines Stirnbereichs des Fahrers in Abhängigkeit von dem erstellten Kopfmodell. Das Verfahren umfasst weiter ein Aussenden eines Lichtstrahls mittels der Strahlungsquelle in Abhängigkeit von dem verorteten Stirnbereich und ein Erfassen eines reflektierten Lichtstrahls mittels des Strahlungssensors. Der reflektierte Lichtstrahl ist repräsentativ für einen Lichtanteil des ausgesendeten Lichtstrahls, welcher von dem Stirnbereich des Fahrers reflektiert wurde. Das Verfahren umfasst weiter ein Ermitteln eines Glanzes einer Hautoberfläche des Stirnbereichs in Abhängigkeit von dem erfassten Lichtstrahl und ein Steuern einer dem Kraftfahrzeug zugehörigen Funktion in Abhängigkeit von dem ermittelten Glanz der Hautoberfläche des Stirnbereichs.One aspect of the invention relates to a method for operating a motor vehicle. The motor vehicle is assigned a sensor system which has a radiation source for emitting a predetermined radiation and a radiation sensor for radiation detection. The radiation source is designed in particular as an infrared light-emitting diode and the radiation sensor is preferably implemented as a CCD camera sensor. The method includes determining a presence of a driver of the motor vehicle and creating a head model of the driver as a function of the determined presence. The method further includes locating a forehead area of the driver as a function of the created head model. The method further comprises emitting a light beam by means of the radiation source as a function of the located forehead area and detecting a reflected light beam by means of the radiation sensor. The reflected light beam is representative of a light component of the emitted light beam which was reflected from the forehead area of the driver. The method further comprises determining a gloss of a skin surface of the forehead area as a function of the detected light beam and controlling a function associated with the motor vehicle as a function of the determined gloss of the skin surface of the forehead area.
Mittels des beschriebenen Verfahrens ist eine automatisierte Schweißdetektion oder Überwachung der Schweißbildung eines Fahrers realisierbar, die zu einem verbesserten Komfort des Kraftfahrzeugs, aber insbesondere zu einer erhöhten Sicherheit im Straßenverkehr beitragen kann. Unter anderem kann mittels des beschriebenen Verfahrens durch optische Glanzdetektion ein verbessertes Erstellen von Fahrermodellen ermöglicht werden.By means of the method described, an automated sweat detection or monitoring of the sweat formation of a driver can be realized, which can contribute to an improved comfort of the motor vehicle, but in particular to an increased safety in road traffic. Among other things, an improved creation of driver models can be made possible by means of the described method by optical gloss detection.
Gemäß einer bevorzugten Weiterbildung des Verfahrens ist der Strahlungssensor als ein CCD-Kamera-Sensor bereitgestellt und das Erstellen des Kopfmodells und das Verorten des Stirnbereichs des Fahrers umfasst ein Erfassen eines Messsignals des CCD-Kamera-Sensors und ein Ermitteln des Kopfmodells und Lokalisieren des Stirnbereichs in Abhängigkeit von dem erfassten Messsignal. Mittels des CCD-Kamera-Sensors kann ferner die Präsenz des Fahrers überprüft und daraufhin sein Kopf und seine Stirn erfasst werden.According to a preferred development of the method, the radiation sensor is provided as a CCD camera sensor and creating the head model and locating the forehead area of the driver includes capturing a measurement signal from the CCD camera sensor and determining the head model and localizing the forehead area in Dependence on the recorded measurement signal. The presence of the driver can also be checked by means of the CCD camera sensor and his head and forehead can then be recorded.
Gemäß einer weiteren Weiterbildung des Verfahrens wird das Erstellen des Kopfmodells und das Verorten des Stirnbereichs des Fahrers auf Basis mehrerer unterschiedlicher Positionen eines oder mehrerer CCD-Kamera-Sensoren durchgeführt. Somit kann aus unterschiedlichen Winkeln der Kopf des Fahrers erfasst und der Stirnbereich für die Glanzdetektion besonders genau und zuverlässig verortet werden.According to a further development of the method, the creation of the head model and the positioning of the forehead area of the driver are carried out on the basis of several different positions of one or more CCD camera sensors. The driver's head can thus be captured from different angles and the forehead area can be located particularly precisely and reliably for gloss detection.
Gemäß einer weiteren Weiterbildung des Verfahrens wird das Ermitteln des Glanzes der Hautoberfläche des Stirnbereichs in Abhängigkeit von einem Winkel des ausgesendeten Lichtstrahls und/oder des erfassten Lichtstrahls relativ zueinander durchgeführt. Auf Basis einer winkelabhängigen Auswertung der Glanzdetektion kann zu einer besonders genauen und zuverlässigen Ermittlung von auf der Stirn vorhandenem Schweiß durchgeführt werden.According to a further development of the method, the determination of the gloss of the skin surface of the forehead area is carried out as a function of an angle of the emitted light beam and / or the detected light beam relative to one another. On the basis of an angle-dependent evaluation of the gloss detection, a particularly precise and reliable determination of sweat present on the forehead can be carried out.
Gemäß einer weiteren Weiterbildung des Verfahrens wird das Ermitteln des Glanzes der Hautoberfläche des Stirnbereichs in Abhängigkeit von einer Kopfposition oder einer Blickrichtung des Fahrers durchgeführt. Auch eine solche Weiterbildung kann zu einer zuverlässigen und präzisen Glanzdetektion beitragen, indem die Kopfposition und/oder die Blickrichtung des Fahrers bei der Messung berücksichtigt werden.According to a further development of the method, the gloss of the skin surface of the forehead area is determined as a function of a head position or a direction of view of the driver. Such a development can also contribute to a reliable and precise gloss detection in that the head position and / or the direction of view of the driver are taken into account in the measurement.
Gemäß einer weiteren Weiterbildung des Verfahrens wird beschriebene Verfahren bzw. das Ermitteln des Glanzes der Hautoberfläche des Stirnbereichs zu mindestens zwei unterschiedlichen Zeitpunkten durchgeführt. Daraufhin erfolgt ein Ermitteln eines zeitlichen Verlaufs des Glanzes des Fahrers in Abhängigkeit von dem jeweils ermittelten Glanz und ein Steuern einer dem Kraftfahrzeug zugehörigen Funktion in Abhängigkeit von dem ermittelten Verlauf des Glanzes des Fahrers.According to a further development of the method, the described method or the determination of the gloss of the skin surface of the forehead area is carried out at at least two different times. This is followed by a determination of a time course of the driver's gloss as a function of the respectively determined gloss and a control of a function associated with the motor vehicle as a function of the determined course of the driver's gloss.
Gemäß einer weiteren Weiterbildung umfasst das Verfahren ein Bereitstellen eines Messwertes, der repräsentativ ist für eine aktuelle physikalische Kenngröße in und/oder außerhalb des Kraftfahrzeugs und ein Steuern einer dem Kraftfahrzeug zugehörigen Funktion in Abhängigkeit von dem bereitgestellten Messwert. Der bereitgestellte Messwert kann eine Temperatur in dem Fahrzeuginnenraum realisieren und bei der Glanzdetektion berücksichtigt werden. Alternativ oder zusätzlich kann der Messwert eine Außentemperatur realisieren und im Zusammenhang mit der Glanzdetektion verarbeitet werden. Auf diese Weise kann insbesondere zwischen einer Schweißbildung aufgrund eines erhöhten Stresslevels oder einer zu hohen Umgebungstemperatur unterschieden bzw. eine solche plausibilisiert werden. Darüber hinaus kann der bereitgestellte Messwert alternativ oder zusätzlich auch Parameter betreffen, die sich auf eine Fahrt mit dem Kraftfahrzeug auswirken, wie eine glatte oder feuchte Fahrbahn, starker Regen- oder Schneefall und/oder ein Lichtausfall der Scheinwerfer des Kraftfahrzeugs.According to a further development, the method includes providing a measured value that is representative of a current physical parameter in and / or outside the motor vehicle and controlling a function associated with the motor vehicle as a function of the measured value provided. The measured value provided can realize a temperature in the vehicle interior and can be taken into account in the gloss detection. Alternatively or additionally, the measured value can realize an outside temperature and be processed in connection with the gloss detection. In this way, in particular, a distinction can be made between perspiration due to an increased stress level or an excessively high ambient temperature, or such a plausibility can be checked. In addition, the provided measured value can alternatively or additionally also relate to parameters that have an effect on driving the motor vehicle, such as a slippery or damp road, heavy rain or snowfall and / or a light failure of the headlights of the motor vehicle.
Das Steuern einer dem Kraftfahrzeug zugehörigen Funktion kann zum Beispiel ein Einschalten oder Verstärken einer Klimaanlage des Kraftfahrzeugs in Abhängigkeit von dem ermittelten Glanz umfassen. Alternativ oder zusätzlich kann das Steuern einer dem Kraftfahrzeug zugehörigen Funktion ein Ausgeben eines Warnsignals, das Erstellen eines Fahrermodells und/oder das Einleiten von Sicherheitsmaßnahmen in Abhängigkeit von dem ermittelten Glanz umfassen. Auf diese Weise können höherwertige Funktionen auf Basis der Glanzdetektion automatisiert ausgelöst werden und zu einem komfortablen und insbesondere sicheren Betrieb des Kraftfahrzeugs beitragen.Controlling a function associated with the motor vehicle can include, for example, switching on or boosting an air conditioning system of the motor vehicle as a function of the gloss determined. Alternatively or additionally, controlling a function associated with the motor vehicle can include outputting a warning signal, creating a driver model and / or initiating safety measures as a function of the gloss determined. In this way, higher-value functions can be triggered automatically on the basis of gloss detection and contribute to comfortable and, in particular, safe operation of the motor vehicle.
Ein weiterer Aspekt der Erfindung betrifft ein System, mittels dessen das zuvor beschriebene Verfahren durchführbar ist. Das System zur Glanzdetektion eines Fahrers eines Kraftfahrzeugs weist dabei ein Lenkrad mit Sensorik auf, die eine Strahlungsquelle zur Emission einer vorgegebenen Strahlung und einen Strahlungssensor zur Strahlungsdetektion umfasst. Die Strahlungsquelle und/oder der Strahlungssensor ist in oder an einem Mitteilteil des Lenkrads (
Das beschriebene System stellt insbesondere eine platzsparende und bevorzugte Möglichkeit bereit, das zuvor beschriebene Verfahren durchzuführen, sodass die beschriebenen Eigenschaften und Merkmale im Zusammenhang mit dem Verfahren auch für das System offenbart sind und umgekehrt.The system described provides in particular a space-saving and preferred option for carrying out the method described above, so that the properties and features described in connection with the method are also disclosed for the system and vice versa.
Insbesondere können in einem Kraftfahrzeug bereits verbaute Kameras, LEDs oder Sensoren gezielt eingesetzt werden, um das beschriebene Verfahren durchzuführen. Somit können vorhandene Ressourcen weiter genutzt und das Verfahren kostengünstig durchgeführt werden. Alternativ kann eine Sensorik des Kraftfahrzeugs um die Komponenten des Systems erweitert werden, um eine besonders zuverlässige Glanzdetektion zu ermöglichen. Bevorzugt sind dabei ein oder mehrere Infrarot- Leuchtdioden und/oder CCD-Kamera-Sensoren in dem ringförmigen Lenkhebel verbaut, um von verschieden Positionen aus, zum Beispiel während eines Fahrzyklus, eine Glanzdetektion durchzuführen. Auch eine LED ermöglicht bereits eine Glanzdetektion zu unterschiedlichen Zeitpunkten und unterschiedlichen Positionen, wenn das beschriebene Verfahren zum Beispiel vor und während einer Kurvenfahrt durchgeführt wird. Dabei kann ferner ein Lenkwinkel als Messwert in das Verfahren und die Auswertung des reflektierten Lichtanteils mit einbezogen werden.In particular, cameras, LEDs or sensors already installed in a motor vehicle can be used in a targeted manner in order to carry out the described method. In this way, existing resources can continue to be used and the process can be carried out cost-effectively. Alternatively, a sensor system of the motor vehicle can be expanded to include the components of the system in order to enable particularly reliable gloss detection. One or more infrared light-emitting diodes and / or CCD camera sensors are preferably installed in the ring-shaped steering lever in order to carry out a gloss detection from different positions, for example during a driving cycle. An LED also enables gloss detection at different times and different positions if the described method is carried out, for example, before and during cornering. A steering angle can also be included as a measured value in the method and the evaluation of the reflected light component.
Mittels des beschriebenen Verfahrens bzw. des Systems kann insbesondere ein Modell des Fahrers ermittelt werden, auf Basis dessen dann Funktionen des Kraftfahrzeugs eingeleitet werden können, welche einen Einfluss auf Fahrentscheidungen oder sicherheitsrelevante Maßnahmen nehmen. Dies kann zum Beispiel eine Notbremsung oder die Ausgabe eines visuellen und/oder akustischen Warnsignals seins, wenn eine besonders hohe Glanzdetektion erfasst wurde. In Abhängigkeit von der Glanzdetektion kann unter anderem auf ein Stresslevel des Fahrers geschlossen werden. Die beschriebene Sensorik hat zudem den Vorteil, dass kein direkter Kontakt zur Haut erforderlich ist und dass der Stirnbereich des Fahrers als Messfläche verortet wird, welcher in der Regel nicht durch einen Schal oder einen Hut bedeckt ist und somit üblicherweise für eine Messung zur Verfügung steht.By means of the described method or the system, in particular a model of the driver can be determined, on the basis of which functions of the motor vehicle can then be initiated which influence driving decisions or safety-related measures. This can be, for example, emergency braking or the output of a visual and / or acoustic warning signal if a particularly high gloss detection has been detected. Depending on the gloss detection, conclusions can be drawn about a stress level of the driver, among other things. The sensor system described also has the advantage that no direct contact with the skin is required and that the driver's forehead area is located as a measuring surface, which is usually not covered by a scarf or hat and is therefore usually available for a measurement.
Eine Glanzdetektion bzw. die Auswertung des reflektierten Lichtanteils kann zum Beispiel analog zu einer Eisdetektion erfolgen, wie sie durchgeführt wird, wenn auf eine Straße gerichtet ermittelt werden soll, ob Eis vorhanden ist oder nicht. Dabei kann der Glanz als eine optische Eigenschaft einer Oberfläche definiert sein, Licht ganz oder teilweise spiegelnd zu reflektieren. Ist eine Oberfläche nicht glänzend, weil sie Licht diffus reflektiert, so kann dies als Mattheit bezeichnet werden. Wie eine Farbe ist der Glanz eine Eigenschaft, die zum visuellen Erscheinungsbild einer Oberfläche beiträgt und die zur Eis- oder Glättedetektion auf einer Straße oder zur Schweißdetektion auf einem Stirnbereichs eines Fahrers hin untersucht werden kann. Dabei können auch gezielt optische Glanzsensoren eingesetzt werden, die die reflektierte Lichtintensität aus unterschiedlichen Richtungen detektieren. Solche Sensoren werden beispielsweise zur Qualitätskontrolle von Bauteilen verwendet.A gloss detection or the evaluation of the reflected light component can, for example, take place analogously to an ice detection, as it is carried out when it is intended to determine whether or not ice is present when looking at a road. The gloss can be defined as an optical property of a surface to reflect light completely or partially in a specular way. If a surface is not glossy because it reflects light diffusely, this can be referred to as mattness. Like color, gloss is a property that contributes to the visual appearance of a surface and that can be investigated for ice or slick detection on a road or for sweat detection on a driver's forehead area. Optical gloss sensors that detect the reflected light intensity from different directions can also be used in a targeted manner. Such sensors are used, for example, for quality control of components.
Die in dem beschriebenen Verfahren verwendete Sensorik wird eingesetzt, um eine Bildung von Schweiß des Fahrers zu detektieren. Die Erkennung von Schweiß wird dabei bevorzugt durch einen CCD-Kamera-Sensor durchgeführt, der auf den Kopf des Fahrers gerichtet ist. Mittels eines Algorithmus wird ein Modell für den Kopf des Fahrers gebildet, um so Bewegungen der Kopfposition detektieren zu können. Anhand dieses Modells kann der Stirnbereich des Fahrers lokalisiert und einem Detektionsalgorithmus zur Verfügung gestellt werden. Der CCD-Kamera-Sensor misst nun in dem Stirnbereich des Fahrers vorzugsweise mittels breitbandiger Frequenzanalyse, zum Beispiel im Nah-Infrarot-Frequenzbereich, die Hautoberfläche. Dementsprechend umfasst die Strahlungsquelle vorzugsweise eine oder mehrere Leuchtdioden, die Licht im Nah-Infrarot-Frequenzbereich emittieren. Dies ermöglicht auch eine zuverlässige Durchführung des Verfahrens bei Nacht bzw. in einem dunklen Fahrzeuginnenraum.The sensor system used in the described method is used to detect the formation of perspiration on the part of the driver. The detection of sweat is preferably carried out by a CCD camera sensor which is aimed at the head of the driver. An algorithm is used to create a model for the driver's head in order to be able to detect movements of the head position. Using this model, the driver's forehead area can be localized and made available to a detection algorithm. The CCD camera sensor now measures the skin surface in the forehead area of the driver, preferably by means of broadband frequency analysis, for example in the near-infrared frequency range. Accordingly, the radiation source preferably comprises one or more light-emitting diodes which emit light in the near-infrared frequency range. This also enables the method to be carried out reliably at night or in a dark vehicle interior.
Auf Basis der Frequenzanalyse kann mittels Erfassen des reflektierten Lichtanteils der Glanz der Hautoberfläche über eine Distanz ermittelt werden. Dabei ist ein System mit mehreren Kamerapositionen vorteilhaft, sodass zusätzlich zur Frequenzanalyse auch ein Winkel des reflektierten Lichtanteils einbezogen werden kann. Hierbei kann alternativ oder zusätzlich auch die Position der Beleuchtung durch die Strahlungsquelle variiert werden.On the basis of the frequency analysis, the shine of the skin surface can be determined over a distance by recording the reflected light component. A system with several camera positions is advantageous so that, in addition to the frequency analysis, an angle of the reflected light component can also be included. As an alternative or in addition, the position of the illumination by the radiation source can also be varied here.
Die Beleuchtung mittels einer oder mehrerer Leuchtdioden kann an einer fixen Position zentral an dem Lenkrad oder an dem weiter außen befindlichen, ringförmigen Lenkhebel eingerichtet sein. Insbesondere unter Einbezug des Lenkwinkels kann der Glanz im Stirnbereich so bei verschiedenen Beleuchtungswinkeln gemessen werden. Die Veränderung des Glanzes der Hautoberfläche kann dann direkt auf den Schweißanteil an der Stirn zurückgeführt werden. Somit ist es mittels des Verfahrens möglich, kontinuierlich bzw. fortwährend die Veränderung des Schweißes auf der Stirn zu bestimmen.The lighting by means of one or more light-emitting diodes can be set up at a fixed position centrally on the steering wheel or on the ring-shaped steering lever located further out. In particular, taking into account the steering angle, the gloss in the forehead area can be measured at different lighting angles. The change in the shine of the skin's surface can then be traced back directly to the amount of sweat on the forehead. Thus, by means of the method, it is possible to continuously or continuously determine the change in perspiration on the forehead.
In einem weiteren Schritt kann dann der zeitliche Verlauf des Glanzes dem Fahrermodell zugeführt und als ein Einflussparameter für die Erkennung eines Stresslevels, in Bezug auf Wohlfühlfaktor (erhöhte Temperatur) oder hinsichtlich besonderer Situationen, in denen sich das Kraftfahrzeug und der Fahrer gerade befinden. Es wird zum Beispiel angenommen, dass ein Fahrer ins Schwitzen kommt, wenn er sich unwohl fühlt aufgrund einer aktuellen Situation. Diese kann entweder durch äußere Faktoren, wie die Fahrsituation, aber auch durch die erhöhte Temperatur aufgrund von Sonnenstrahlung gegeben sein.In a further step, the time course of the gloss can then be fed to the driver model and used as an influencing parameter for the detection of a stress level, with regard to the comfort factor (increased temperature) or with regard to special situations in which the motor vehicle and the driver are currently. For example, it is assumed that a driver will work up a sweat when he is uncomfortable with a current situation. This can be given either by external factors, such as the driving situation, or by the increased temperature due to solar radiation.
Alternativ oder zusätzlich zu Leuchtdioden kann die Sensorik zur Glanzerkennung auch Radarsensoren umfassen, die im Fahrzeuginnenraum angeordnet sind. Durch die Entstehung von Schweiß auf der Oberfläche verändert sich der elektrische Leitwert der Hautoberfläche, was zu einer erhöhten Reflektion der Haut in diesem Bereich führt. Diese Information kann entweder selbständig oder in Kombination mit einem CCD-Kamera-Sensor zur Detektion verwendet werden.As an alternative or in addition to light-emitting diodes, the sensor system for gloss detection can also include radar sensors which are arranged in the vehicle interior. The build-up of sweat on the surface changes the electrical conductivity of the skin surface, which leads to an increased reflection of the skin in this area. This information can either be used independently or in combination with a CCD camera sensor for detection.
Im Fahrermodell können insbesondere zusätzliche Einflussfaktoren, wie eine aktuelle Intensität eines Lichteinfalls in den Fahrzeuginnenraum oder eine externe Fahrsituation als Umfeld- oder Umgebungsmodell mit einbezogen werden, um zum Beispiel den zeitlichen Verlauf der Glanzveränderung zuordnen bzw. bewerten zu können. Bevorzugt wird daher eine Kombination aus zusätzlicher Fahrersensorik, Analyse der Umgebungssituation durch Fahrzeugsensorik und Modelle und maschinelle Lernverfahren auf Basis der erhobenen Daten eingesetzt.In the driver model, additional influencing factors, such as the current intensity of a light incidence in the vehicle interior or an external driving situation, can be included as a model of the surroundings or surroundings, for example in order to be able to assign or evaluate the change in gloss over time. A combination of additional driver sensors, analysis of the surrounding situation using vehicle sensors and models and machine learning processes based on the data collected is therefore preferred.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
-
1 ein Kraftfahrzeug mit einem System zur Glanzdetektion eines Fahrers in einer schematischen Ansicht, -
2 ein schematisches Ausführungsbeispiel desSystems nach 1 , -
3 ein weiteres schematisches Ausführungsbeispiel desSystems nach 1 , -
4 eine schematische Darstellung zur Glanzdetektion des Fahrers mitdem System nach 2 oder 3 , und -
5 ein Ablaufdiagramm für ein Verfahren zum Betreiben des Kraftfahrzeugs.
-
1 a motor vehicle with a system for gloss detection of a driver in a schematic view, -
2 a schematic embodiment of the system according to1 , -
3 a further schematic embodiment of the system according to FIG1 , -
4th a schematic representation of the gloss detection of the driver with the system according to2 or3 , and -
5 a flowchart for a method for operating the motor vehicle.
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.Elements of the same construction or function are identified with the same reference symbols in all the figures.
Die
Dem Kraftfahrzeug
Alternativ kann die Strahlungsquelle gemäß
Mittels der beschriebenen Ausführungsformen des Systems ist ein Verfahren zum Betreiben des Kraftfahrzeugs
In einem Schritt
In einem Schritt
In einem weiteren Schritt
In einem Schritt
In einem Schritt
In einem weiteren Schritt
Dabei können ferner externe Faktoren und Messwerte berücksichtigt werden, die zum Beispiel in einem Schritt
In einem weiteren Schritt
Claims (10)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020204731.6A DE102020204731A1 (en) | 2020-04-15 | 2020-04-15 | Method for operating a motor vehicle and system |
PCT/DE2021/200042 WO2021209096A1 (en) | 2020-04-15 | 2021-04-07 | Method for operating a motor vehicle, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020204731.6A DE102020204731A1 (en) | 2020-04-15 | 2020-04-15 | Method for operating a motor vehicle and system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020204731A1 true DE102020204731A1 (en) | 2021-10-21 |
Family
ID=75562505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020204731.6A Pending DE102020204731A1 (en) | 2020-04-15 | 2020-04-15 | Method for operating a motor vehicle and system |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102020204731A1 (en) |
WO (1) | WO2021209096A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2215040A (en) | 1988-02-13 | 1989-09-13 | William George David Ritchie | A method and apparatus for monitoring the driver of a vehicle |
DE10012749A1 (en) | 2000-03-16 | 2001-12-13 | Volkswagen Ag | Glare protection system for motor vehicle has movable shade unit at least partly eyes of occupants and light determining unit to produce sensor signal indicating determined light intensity fed to evaluation control unit |
DE102012200867A1 (en) | 2012-01-23 | 2013-07-25 | Robert Bosch Gmbh | Method for adjusting projection beam of combiner-head-up display for projecting image information in field of view of driver of vehicle, involves determining adjusting signal for combiner of display device for adjusting projection beam |
DE112015003354T5 (en) | 2014-07-23 | 2017-04-06 | Tk Holdings Inc. | Lightbar systems for steering handles |
DE102017200909A1 (en) | 2017-01-20 | 2018-07-26 | Bayerische Motoren Werke Aktiengesellschaft | System for monitoring and controlling vehicle functions |
DE102018103956A1 (en) | 2017-02-27 | 2018-08-30 | Ford Global Technologies, Llc | INFRARED SENSOR ARRANGEMENTS FOR MONITORING VEHICLES AND WINDOWS |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120150387A1 (en) * | 2010-12-10 | 2012-06-14 | Tk Holdings Inc. | System for monitoring a vehicle driver |
DE102014200783A1 (en) * | 2014-01-17 | 2015-07-23 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus and computer program product for operating a motor vehicle |
DE102017208159B4 (en) * | 2017-05-15 | 2024-05-29 | Vitesco Technologies GmbH | Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle |
DE102018205079B4 (en) * | 2018-04-04 | 2021-09-09 | Audi Ag | Device for recognizing a line of sight and motor vehicle |
-
2020
- 2020-04-15 DE DE102020204731.6A patent/DE102020204731A1/en active Pending
-
2021
- 2021-04-07 WO PCT/DE2021/200042 patent/WO2021209096A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2215040A (en) | 1988-02-13 | 1989-09-13 | William George David Ritchie | A method and apparatus for monitoring the driver of a vehicle |
DE10012749A1 (en) | 2000-03-16 | 2001-12-13 | Volkswagen Ag | Glare protection system for motor vehicle has movable shade unit at least partly eyes of occupants and light determining unit to produce sensor signal indicating determined light intensity fed to evaluation control unit |
DE102012200867A1 (en) | 2012-01-23 | 2013-07-25 | Robert Bosch Gmbh | Method for adjusting projection beam of combiner-head-up display for projecting image information in field of view of driver of vehicle, involves determining adjusting signal for combiner of display device for adjusting projection beam |
DE112015003354T5 (en) | 2014-07-23 | 2017-04-06 | Tk Holdings Inc. | Lightbar systems for steering handles |
DE102017200909A1 (en) | 2017-01-20 | 2018-07-26 | Bayerische Motoren Werke Aktiengesellschaft | System for monitoring and controlling vehicle functions |
DE102018103956A1 (en) | 2017-02-27 | 2018-08-30 | Ford Global Technologies, Llc | INFRARED SENSOR ARRANGEMENTS FOR MONITORING VEHICLES AND WINDOWS |
Also Published As
Publication number | Publication date |
---|---|
WO2021209096A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112014001607B4 (en) | Situation awareness system and procedures | |
DE102013200427B4 (en) | Method and device for generating an all-round view image of a vehicle environment of a vehicle, method for providing at least one driver assistance function for a vehicle, all-round view system for a vehicle | |
DE19700665C2 (en) | Sensor for detecting foreign material and windshield wiper system with sensor for detecting foreign material, especially raindrops | |
DE102018101005A1 (en) | ICE SENSOR ASSEMBLY FOR MOTOR VEHICLES AND OPERATING PROCEDURES | |
DE102011081392B4 (en) | Method for calibrating a light emission of at least one headlight of a vehicle | |
EP2702559B1 (en) | Method and device for steering the head lamp system of a vehicle | |
DE102014212777B4 (en) | Method and device for automatic control of a windshield wiper | |
EP3099547A1 (en) | Assembly module | |
DE102018107167A1 (en) | VEHICLE TRAINING SYSTEMS AND METHOD FOR LIGHTING DIAGNOSIS | |
EP2562044B1 (en) | Method for controlling a light emission of a headlamp of a vehicle | |
WO2013083313A1 (en) | Method and device for identifying a braking situation | |
DE102017217072B4 (en) | Method for detecting a weather condition in an area surrounding a motor vehicle, and control device and motor vehicle | |
EP3329241B1 (en) | Light diagnosis by means of a camera system of a vehicle | |
EP1704072A1 (en) | Method and device for controlling a radiation source | |
DE102014223913A1 (en) | Method and device for automatically adjusting a headlamp of a vehicle | |
DE102016009327A1 (en) | Device and method for calibrating a camera | |
EP1933255B1 (en) | Method and system for recognising someone taking part in traffic and for generating an alarm | |
DE102015223500A1 (en) | Method and device for testing the functionality of an outside lighting device of a vehicle | |
DE102018113026A1 (en) | VEHICLE EXTERIOR LIGHT FAILURE | |
DE102020204731A1 (en) | Method for operating a motor vehicle and system | |
DE102016212620A1 (en) | Method for recognizing a living being in the environment of a vehicle | |
EP2181416B1 (en) | Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems | |
DE102019210058B3 (en) | Device and method for object recognition in the underbody area of a motor vehicle | |
DE102016220560A1 (en) | A method of detecting a plant by means of an image sensor and method for driving an assistance system of a vehicle | |
DE102009034026A1 (en) | Method for recognizing object in environment of sensor system of vehicle, involves realizing object recognition based on determined candidates and part of environment detected by complementary metal oxide semiconductor-camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE |
|
R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE |