DE102021105842A1

DE102021105842A1 - Method and device for monitoring drivers in a motor vehicle and motor vehicle

Info

Publication number: DE102021105842A1
Application number: DE102021105842.2A
Authority: DE
Inventors: Ioannis Toptsis
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-09-15

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung (16) zum Überwachen eines Fahrers (12) in einem Kraftfahrzeug (10) sowie ein entsprechend eingerichtetes Kraftfahrzeug (10). In dem Verfahren wird fortlaufend mittels eines Infrarottemperatursensors (18) berührungslos eine Körpertemperatur des Fahrers (12) erfasst. Weiter wird ein zeitlicher Verlauf der Körpertemperatur auf Veränderungen hin ausgewertet, um eine Verringerung der Körpertemperatur zu erkennen. Bei einer Verringerung der Körpertemperatur um wenigstens einen vorgegebenen Wert wird eine Gefahr für ein bevorstehendes Einschlafen des Fahrers (12) erkannt und daraufhin wird automatisch ein vorgegebenes Warn- und/oder Steuersignalen (34) ausgegeben.The invention relates to a method and a device (16) for monitoring a driver (12) in a motor vehicle (10) and a correspondingly equipped motor vehicle (10). In the method, a body temperature of the driver (12) is continuously recorded without contact using an infrared temperature sensor (18). Furthermore, a change in the body temperature over time is evaluated in order to detect a reduction in the body temperature. If the body temperature drops by at least a predetermined value, a risk that the driver (12) is about to fall asleep is recognized and a predetermined warning and/or control signal (34) is then automatically output.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Beobachten oder Überwachen eines Fahrers in einem Kraftfahrzeug sowie ein entsprechend eingerichtetes Kraftfahrzeug.The present invention relates to a method and a device for observing or monitoring a driver in a motor vehicle and a correspondingly equipped motor vehicle.

Eine verbesserte Sicherheit von Kraftfahrzeugen bzw. im Betrieb von Kraftfahrzeugen im Straßenverkehr ist stets wünschenswert. Auch wenn derzeit an der Entwicklung vollständig autonomer Kraftfahrzeuge gearbeitet wird, ist bisher für einen sicheren Betrieb eines Kraftfahrzeugs stets ein aufmerksamer Fahrer von grundlegender Wichtigkeit. So darf zwar in einem bedingt automatisierten Fahrbetrieb, etwa entsprechend SAE J3016 Stufe 3, der Fahrer seinen Blick vom umgebenden Fahr- oder Verkehrsgeschehen abwenden, muss jedoch jederzeit bereit sein, innerhalb von einigen Sekunden die Fahreraufgabe, also die Führung des Kraftfahrzeugs selbst zu übernehmen. Bei geringeren Automatisierungsgraden ist eine dauerhafte Aufmerksamkeit des Fahrers von noch größerer Bedeutung für die Sicherheit. Um einen entsprechenden sicheren Betrieb des Kraftfahrzeugs zu ermöglichen bzw. sicherzustellen, kann eine Beobachtung oder Überwachung des Fahrers sinnvoll sein. Dadurch kann gegebenenfalls automatisch erkannt werden, wenn die Aufmerksamkeit des Fahrers nachlässt.Improved safety of motor vehicles or in the operation of motor vehicles on the road is always desirable. Even if work is currently being done on the development of fully autonomous motor vehicles, an attentive driver has always been of fundamental importance for the safe operation of a motor vehicle. In a conditionally automated driving operation, for example according to SAE J3016 level 3, the driver may look away from the surrounding driving or traffic situation, but must be ready at any time to take over the driver's task, i.e. driving the vehicle, within a few seconds. At lower levels of automation, sustained attention from the driver is even more important for safety. In order to enable or ensure correspondingly safe operation of the motor vehicle, it may be useful to observe or monitor the driver. As a result, it can be automatically recognized if the driver's attention is waning.

Beispielsweise beschreibt die EP 2 620 314 A1 eine Vorrichtung und ein Verfahren zur Überwachung des Betriebs eines Fahrzeugs und zur Warnung eines Fahrers. In dem dort vorgeschlagenen Verfahren erfolgt ein selektives Unterstützen des Betriebs des Fahrzeugs mittels einer Assistenzaktion eines Fahrerassistenzsystems. Ein Indikator, dessen Wert ein Vermögen des Fahrers, das Fahrzeug aufgrund einer Möglichkeit des Fahrers zu betreiben quantifiziert, wird dann basierend auf der Häufigkeit des selektiven Unterstützens bereitgestellt.For example, describes the EP 2 620 314 A1 an apparatus and method for monitoring operation of a vehicle and alerting a driver. In the method proposed there, the operation of the vehicle is selectively supported by means of an assistance action of a driver assistance system. An indicator whose value quantifies a driver's ability to operate the vehicle based on a driver's ability is then provided based on the frequency of the selective assist.

Als weiterer Ansatz ist in der DE 10 2017 110 283 A1 ein Steuern von Funktionen und Ausgaben von autonomen Fahrzeugen auf der Grundlage einer Position und Aufmerksamkeit von Insassen beschrieben. Dort wird ein System zur Verwendung mit einem autonomen Fahrzeug vorgeschlagen, das ein Kontextmodul und ein Fahrermodul umfasst. Das Kontextmodul stellt bei seiner Ausführung fest, dass ein manueller Betrieb des Fahrzeugs während eines autonomen Betriebs des Fahrzeugs empfohlen oder benötigt wird. Das Fahrermodul stellt, wenn es ausgeführt wird, auf der Grundlage von Insassenpositionsdaten, die es von einem Insassenpositionssensor empfängt, fest, dass ein Fahrzeuginsasse nicht bereit ist, die manuelle Steuerung des autonomen Fahrzeugs zu übernehmen.Another approach is in the DE 10 2017 110 283 A1 controlling functions and outputs of autonomous vehicles based on occupant location and attention is described. There, a system for use with an autonomous vehicle is proposed that includes a context module and a driver module. When executed, the context module determines that manual operation of the vehicle is recommended or required during autonomous operation of the vehicle. The driver module, when executed, determines that a vehicle occupant is unwilling to assume manual control of the autonomous vehicle based on occupant position data it receives from an occupant position sensor.

Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Sicherheit im Betrieb eines Kraftfahrzeugs zu ermöglichen.The object of the present invention is to enable improved safety when operating a motor vehicle.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Zeichnung offenbart.According to the invention, this object is achieved by the subject matter of the independent patent claims. Possible refinements and developments of the present invention are disclosed in the dependent patent claims, in the description and in the drawing.

Das erfindungsgemäße Verfahren dient zum Beobachten oder Überwachen eines Fahrers in einem Kraftfahrzeug. Das Verfahren kann insbesondere in einem bedingt automatisierten, teilautomatisierten, assistierten oder nicht automatisierten Fahrbetrieb des Kraftfahrzeugs, entsteht entsprechend SAE J3016 Stufe 3 bis Stufe 0, angewendet werden. In dem Verfahren wird fortlaufend mittels eines Infrarottemperatursensors berührungslos eine Körpertemperatur des Fahrers erfasst. Der Infrarottemperatursensor kann beispielsweise ein Pyrometer und/oder eine Wärmebildkamera sein oder umfassen. Durch die berührungslose Erfassung, also Messung der Körpertemperatur kann das Verfahren besonders komfortabel und benutzerfreundlich angewendet werden.The method according to the invention serves to observe or monitor a driver in a motor vehicle. The method can be used in particular in a conditionally automated, partially automated, assisted or non-automated driving operation of the motor vehicle, resulting in accordance with SAE J3016 level 3 to level 0. In the method, a body temperature of the driver is continuously recorded without contact using an infrared temperature sensor. The infrared temperature sensor can be or include a pyrometer and/or a thermal imaging camera, for example. The method can be used in a particularly convenient and user-friendly manner thanks to the non-contact recording, i.e. measuring the body temperature.

Weiter wird in dem erfindungsgemäßen Verfahren ein zeitlicher Verlauf der erfassten Körpertemperatur auf Veränderungen hin ausgewertet, um eine Verringerung der Körpertemperatur des Fahrers zu erkennen. Dies kann durch ein entsprechend eingerichtetes Steuergerät bzw. eine für das Verfahren eingerichtete Assistenzvorrichtung automatisch durchgeführt werden.Furthermore, in the method according to the invention, a time profile of the detected body temperature is evaluated for changes in order to detect a reduction in the driver's body temperature. This can be carried out automatically by a correspondingly set up control device or an assistance device set up for the method.

Bei einer erkannten Verringerung der Körpertemperatur um wenigstens einen vorgegebenen Wert bzw. in wenigstens einem vorgegebenen Maße wird dann eine Einschlafgefahr des Fahrers, also eine Gefahr für ein bevorstehendes Einschlafen des Fahrers erkannt. Dabei kann ebenso ein Maximalwert für die Verringerung der Körpertemperatur des Fahrers vorgegeben sein, wobei dann die Einschlafgefahr nur bei einer Verringerung der Körpertemperatur um höchstens diesen Maximalwert erkannt werden kann. Bei einer Verringerung der Körpertemperatur um mehr als den Maximalwert kann hingegen von einer anderen Ursache ausgegangen werden, um die Robustheit und Zuverlässigkeit des Verfahrens zu verbessern. Auf das Erkennen der Einschlafgefahr hin wird dann automatisch ein vorgegebenes Warn- und/oder Steuersignal ausgegeben - beispielsweise an den Fahrer und/oder an eine technische Einrichtung des Kraftfahrzeugs.If the body temperature decreases by at least one predetermined value or to at least one predetermined extent, a risk of the driver falling asleep, ie a risk that the driver is about to fall asleep, is then detected. A maximum value for the reduction in the driver's body temperature can also be specified, in which case the risk of falling asleep can only be detected if the body temperature has decreased by at most this maximum value. If the body temperature drops by more than the maximum value, on the other hand, another cause can be assumed in order to improve the robustness and reliability of the method. Upon detection of the danger of falling asleep, a predetermined warning and/or control signal is then automatically output—for example to the driver and/or to a technical device of the motor vehicle.

Die Erfindung beruht auf der Erkenntnis, dass die menschliche Körpertemperatur sich typischerweise noch vor dem tatsächlichen Einschlafen, also während der Fahrer noch wach ist, in Vorbereitung auf eine bevorstehende Schlafphase reduziert. Somit kann ein entsprechend fallender oder negativer Temperaturgradient im Verlauf der erfassten Körpertemperatur erkannt und als Indiz oder Warnzeichen für ein bevorstehendes Einschlafen verwendet werden. Dies ermöglicht es dann insbesondere, das Warn- und/oder Störsignal bereits auszugeben, während der Fahrer noch wach ist, also bevor er eingeschlafen ist. Dies kann sowohl für sogenannten Sekundenschlaf als auch für andere Schlafarten angewendet werden.The invention is based on the finding that the human body temperature typically reduces before actually falling asleep, ie while the driver is still awake, in preparation for an upcoming sleep phase. A correspondingly falling or negative temperature gradient in the course of the recorded body temperature can thus be recognized and used as an indication or warning sign of imminent falling asleep. This then makes it possible in particular to output the warning and/or interference signal while the driver is still awake, ie before he has fallen asleep. This can be used for so-called microsleep as well as for other types of sleep.

Die vorliegende Erfindung bietet gegenüber herkömmlichen Verfahren also den Vorteil, dass eine Gefahr eines bevorstehenden Einschlafens bereits erkannt werden kann, bevor der Fahrer tatsächlich eingeschlafen ist, sodass eine schnellere und sicherere Reaktion einer entsprechenden Vorrichtung und auch des Fahrers selbst möglich ist. Herkömmliche Verfahren können beispielsweise darauf beruhen, den Fahrer kameraoptisch zu beobachten, um eine Blickrichtung und/oder einen Schließzustand der Augen des Fahrers nach zu verfolgen (Eye-Tracking) oder eine reduzierte Atem- und/oder Herzfrequenz des Fahrers, wenn dieser bereits eingeschlafen ist, zu erkennen. Diese Ansätze können jedoch einen hohen technischen Aufwand, beispielsweise eine hochauflösende Kamera und eine hohe Aufnahmefrequenz von beispielsweise 200 Hz sowie eine entsprechend aufwändige Bildverarbeitung erfordern und/oder erst reagieren, wenn der Fahrer bereits eingeschlafen ist. Demgegenüber kann die vorliegende Erfindung besonders aufwandsarm und kostengünstig implementiert werden und einen reduzierten Energiebedarf aufweisen. Zudem kann dadurch, dass hier die Verringerung der Körpertemperatur und nicht die absolute Körpertemperatur des Fahrers als auslösendes Merkmal oder Trigger für das Erkennen der Einschlafgefahr verwendet wird, vorteilhaft ein Einfluss individueller Eigenschaften unterschiedlicher Fahrer und unterschiedlicher Situationen oder Umgebungsbedingungen auf ein jeweiliges Niveau der Körpertemperatur vermieden oder reduziert werden.Compared to conventional methods, the present invention therefore offers the advantage that a risk of imminent falling asleep can already be recognized before the driver has actually fallen asleep, so that a faster and more reliable reaction of a corresponding device and also of the driver himself is possible. Conventional methods can be based, for example, on observing the driver with a camera in order to track the direction in which the driver is looking and/or whether the driver's eyes are closed (eye tracking) or a reduced breathing rate and/or heart rate of the driver if he has already fallen asleep , to recognize. However, these approaches can require a high level of technical complexity, for example a high-resolution camera and a high recording frequency of, for example, 200 Hz, as well as correspondingly complex image processing and/or only react when the driver has already fallen asleep. In contrast, the present invention can be implemented with particularly little effort and cost, and can have a reduced energy requirement. In addition, because the reduction in body temperature and not the absolute body temperature of the driver is used as the trigger for recognizing the risk of falling asleep, an influence of individual characteristics of different drivers and different situations or environmental conditions on a respective level of body temperature can be advantageously avoided or be reduced.

Der vorgegebene Wert für die Verringerung der Körpertemperatur als Auslöser für das Erkennen der Einschlafgefahr kann als Temperaturwert, beispielsweise 0,5°C, vorgegeben sein. Ebenso kann eine Dauer vorgegeben sein, innerhalb derer diese Veränderung auftreten muss, damit die Gefahr eines Einschlafens des Fahrers erkannt wird. Mit anderen Worten kann der vorgegebene Wert also ebenso eine Veränderungsrate der Körpertemperatur als Bedingung oder Trigger für das Erkennen der Einschlafgefahr umfassen oder angeben. Dadurch können entsprechend zuverlässig relativ kurzfristige Temperaturveränderungen - beispielsweise in der Größenordnung einiger Sekunden, einiger Minuten oder bis zu etwa einer Stunde - erkannt werden, die ein bevorstehendes Einschlafen des Fahrers anzeigen können, während längerfristige Temperaturveränderungen herausgefiltert werden können. So können beispielsweise Veränderungen der Körpertemperatur - beispielsweise längerfristig über mehrere Stunden hinweg - auf andere Einflüsse, etwa verendete Umgebungsbedingungen, zurückzuführen sein und daher hier unberücksichtigt bleiben, also nicht als Auslöser für das Erkennen eines unmittelbar bevorstehenden Einschlafens bzw. einer Gefahr dafür verwendet werden.The specified value for the reduction in body temperature as a trigger for recognizing the risk of falling asleep can be specified as a temperature value, for example 0.5°C. Likewise, a duration can be specified within which this change must occur so that the risk of the driver falling asleep is recognized. In other words, the predefined value can also include or specify a rate of change in the body temperature as a condition or trigger for recognizing the risk of falling asleep. As a result, relatively short-term temperature changes—for example on the order of a few seconds, a few minutes or up to about an hour—can be recognized in a correspondingly reliable manner, which can indicate that the driver is about to fall asleep, while longer-term temperature changes can be filtered out. For example, changes in body temperature - for example over a longer period of several hours - can be attributed to other influences, such as dead environmental conditions, and are therefore not taken into account here, i.e. they are not used as a trigger for recognizing an imminent falling asleep or a risk of this.

Durch das Warn- und/oder Störsignal kann beispielsweise der Fahrer gewarnt und/oder Das Kraftfahrzeug oder eine Einrichtung oder ein System des Kraftfahrzeugs angesteuert werden. Letzteres kann beispielsweise bedeuten, dass in einem bedingt automatisierten Betrieb des Kraftfahrzeugs dieses automatisch sicher angehalten, also abgestellt bzw. geparkt wird. Bei einer erkannten Einschlafgefahr kann dann also eine entsprechende Assistenzfunktion zum bedingt automatisierten Führen des Kraftfahrzeugs beendet bzw. nicht mehr angeboten oder bereitgestellt werden. Dies kann vorteilhaft sein, da ein bedingt automatisierter Fahrbetrieb zeitweise weniger Engagement des Fahrers erfordern kann als ein Fahrbetrieb in einem geringeren Automatisierungsgrad oder ein rein manuelles Führen des Kraftfahrzeugs und somit eine noch größere Gefahr für das tatsächliche Einschlafen des Fahrers bestehen kann. Durch das Warnsignal kann der Fahrer aufgeschreckt oder auf seine offenbar gegebene Müdigkeit hingewiesen werden. Dazu kann das Warnsignal beispielsweise akustisch, optisch und/oder apathisch ausgegeben werden.For example, the driver can be warned by the warning and/or interference signal and/or the motor vehicle or a device or a system of the motor vehicle can be controlled. The latter can mean, for example, that when the motor vehicle is operated in a conditionally automated manner, it is automatically and safely stopped, that is to say turned off or parked. If a risk of falling asleep is detected, a corresponding assistance function for conditionally automated driving of the motor vehicle can then be terminated or no longer offered or provided. This can be advantageous since conditionally automated driving can at times require less commitment on the part of the driver than driving with a lower degree of automation or purely manual driving of the motor vehicle, and there is therefore an even greater risk of the driver actually falling asleep. The warning signal can startle the driver or draw attention to his apparent tiredness. For this purpose, the warning signal can be output acoustically, optically and/or apathetically, for example.

In einer möglichen Ausgestaltung der vorliegenden Erfindung wird die Körpertemperatur mit einer Messfrequenz im Bereich von 5 Hz bis 50 Hz, insbesondere von etwa 20 Hz, erfasst. Mit anderen Worten wird also die Körpertemperatur des Fahrers etwa alle 20 ms bis 200 ms bestimmt. Dies stellt eine ausreichende Geschwindigkeit dar, um Veränderungen der Körpertemperatur zuverlässig zu erkennen und zeitnah auf Veränderungen reagieren zu können, kann aber gleichzeitig einen dafür notwendigen Datenverarbeitungsaufwand begrenzen. Es wird hier also die Erkenntnis ausgenutzt, dass die Körpertemperatur typischerweise langsamer oder Träger reagiert als beispielsweise eine Blickrichtung bzw. eine Augenstellung oder Augenbewegung, zu deren nach Verfolgung beispielsweise eine Erfassungsfrequenz von etwa 200 Hz benötigt wird. Durch die hier vorgeschlagene Begrenzung der Messfrequenz für die Körpertemperatur kann das erfindungsgemäße Verfahren also besonders ressourcenschonend angewendet werden, was sich beispielsweise auch günstig auf eine Reichweite des Kraftfahrzeugs auswirken kann, insbesondere wenn es sich dabei um ein batterieelektrisches Fahrzeug handelt.In one possible embodiment of the present invention, the body temperature is recorded with a measurement frequency in the range from 5 Hz to 50 Hz, in particular around 20 Hz. In other words, the driver's body temperature is determined approximately every 20 ms to 200 ms. This represents sufficient speed to reliably detect changes in body temperature and to be able to react to changes in a timely manner, but at the same time can limit the data processing effort required for this. The knowledge that the body temperature typically reacts more slowly or carrier than, for example, a viewing direction or an eye position or eye movement, for the tracking of which a detection frequency of about 200 Hz is required for example, is used here. Due to the limitation of the measuring frequency for the body temperature proposed here, the Ver So driving can be used in a particularly resource-saving manner, which can also have a favorable effect on the range of the motor vehicle, for example, especially if it is a battery-electric vehicle.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfasst der Infrarottemperatursensor wenigstens ein Punkt-Pyrometer. Derartige Punkt-Pyrometer können gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis für das Verfahren ausreichend genaue Werte liefern. Dabei stellen Punkt-Pyrometer eine - beispielsweise im Vergleich zu hochauflösenden Wärmebildkameras - besonders einfache, robuste und kostengünstige Ausgestaltungsmöglichkeiten des Infrarottemperatursensors dar. Sofern die Temperatur mehrerer Stellen erfasst werden soll, kann das Punkt-Pyrometer beispielsweise automatisch verschwenkt oder ausgerichtet werden oder es können mehrere Punkt-Pyrometer verwendet werden. So kann die Körpertemperatur des Fahrers beispielsweise an mehreren unterschiedlichen Stellen des Fahrers erfasst werden, um eine robustere Bestimmung der Körpertemperatur zu ermöglichen. Ebenso können, wie an anderer Stelle näher erläutert, die Körpertemperatur des Fahrers und eine weitere Temperatur, beispielsweise eines Bauteils des Kraftfahrzeugs in einer Umgebung des Fahrers, erfasst werden. Auch dafür können beispielsweise wenigstens ein verschwenkbares Punkt-Pyrometer oder mehrere, unterschiedlich ausgerichtete Punkt-Pyrometer verwendet werden. Wie eingangs bereits angedeutet kann aber ebenso wenigstens eine Wärmebildkamera als der Infrarottemperatursensor oder als Teil davon eingesetzt werden. Gegebenenfalls kann eine Wärmebildkamera mit relativ geringer Auflösung, beispielsweise mit einer Auflösung von höchstens 32000 Pixeln, beispielsweise höchstens 160x200 Pixeln, verwendet werden. Dies kann ebenfalls für das erfindungsgemäße Verfahren ausreichend genaue Daten zum Bestimmen der Körpertemperatur des Fahrers liefern und dabei im Vergleich zu einer höher auflösenden Wärmebildkamera kostengünstiger implementiert werden und eine Durchführung des erfindungsgemäßen Verfahrens mit geringerem Datenverarbeitungsaufwand ermöglichen.In a further possible embodiment of the present invention, the infrared temperature sensor comprises at least one point pyrometer. According to a finding on which the present invention is based, such point pyrometers can supply sufficiently precise values for the method. Point pyrometers represent a particularly simple, robust and cost-effective design option for the infrared temperature sensor - for example compared to high-resolution thermal imaging cameras. If the temperature is to be recorded at several points, the point pyrometer can be automatically pivoted or aligned, for example, or several points can be -pyrometers are used. For example, the driver's body temperature can be recorded at several different points on the driver in order to enable a more robust determination of the body temperature. As explained in more detail elsewhere, the driver's body temperature and a further temperature, for example of a component of the motor vehicle in the surroundings of the driver, can also be recorded. At least one pivotable spot pyrometer or several differently aligned spot pyrometers can also be used for this, for example. As already indicated at the beginning, however, at least one thermal imaging camera can also be used as the infrared temperature sensor or as part of it. If necessary, a thermal imaging camera with a relatively low resolution, for example with a resolution of at most 32000 pixels, for example at most 160x200 pixels, can be used. This can also provide sufficiently accurate data for determining the driver's body temperature for the method according to the invention and can be implemented more cost-effectively compared to a higher-resolution thermal imaging camera and enable the method according to the invention to be carried out with less data processing effort.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zusätzlich zu der Körpertemperatur fortlaufend auch eine Temperatur wenigstens eines Innenraumbauteils des Kraftfahrzeugs erfasst. Dabei wird die Temperatur eines Innenraumbauteils erfasst, das sich in einer, insbesondere unmittelbaren, Umgebung des Fahrers befindet. So kann beispielsweise die Temperatur einer Kopfstütze eines Fahrersitzes oder eines neben einem Fahrerplatz angeordneten Teils einer Innenverkleidung des Kraftfahrzeugs erfasst werden. Die Gefahr für das Einschlafen des Fahrers wird dann nur erkannt, falls bei der Verringerung der Körpertemperatur des Fahrers die erfasste Temperatur des Innenraumbauteils zumindest im Wesentlichen unverändert bleibt. Diese Ausgestaltung der Erfindung basiert auf der Erkenntnis, dass die Verringerung der Körpertemperatur vor einem Einschlafen zumindest im Wesentlichen durch eine körperinterne Regulierung zustande kommt und ein derartiger körperinterner Prozess sich nicht oder nur mit deutlicher Verzögerung auf die Temperatur umgebender Bauteile auswirkt. Andere, externe Ursachen für eine Veränderung der Körpertemperatur des Fahrers würden hingegen gleichzeitig zu einer Veränderung der Temperatur umgebender Bauteile führen. Durch das hier vorgeschlagene Berücksichtigen der Temperatur des wenigstens einen Innenraumbauteils kann die Gefahr des bevorstehenden Einschlafens des Fahrers somit noch robuster und zuverlässiger erkannt werden. Dadurch kann letztlich die Sicherheit im Betrieb des Kraftfahrzeugs und gleichzeitig auch ein Insassen- oder Benutzerkomfort für den Fahrer gesteigert werden, da beispielsweise Fehlalarme vermieden oder reduziert werden können. Externe Einflüsse, die zu einer Veränderung sowohl der Körpertemperatur des Fahrers als auch der Temperatur des Innenraumbauteils führen können, können beispielsweise eine veränderte Sonneneinstrahlung, ein Anblasen des Fahrerplatzes mit einem Kühl- oder Heizluftstrom, eine veränderte Außentemperatur in einer Umgebung des Kraftfahrzeugs und/oder dergleichen mehr umfassen.In a further possible embodiment of the present invention, in addition to the body temperature, a temperature of at least one interior component of the motor vehicle is also continuously recorded. The temperature of an interior component that is located in, in particular in the immediate vicinity of, the driver is recorded. For example, the temperature of a headrest of a driver's seat or of a part of an interior paneling of the motor vehicle arranged next to a driver's seat can be detected. The risk of the driver falling asleep is then only recognized if the detected temperature of the interior component remains at least essentially unchanged when the driver's body temperature decreases. This embodiment of the invention is based on the finding that the reduction in body temperature before falling asleep is brought about at least essentially by internal body regulation and such an internal body process does not affect the temperature of surrounding components or only with a significant delay. Other, external causes for a change in the driver's body temperature, on the other hand, would lead to a change in the temperature of surrounding components at the same time. By taking into account the temperature of the at least one interior component proposed here, the risk of the driver imminently falling asleep can thus be detected even more robustly and reliably. As a result, safety during operation of the motor vehicle and at the same time occupant or user comfort for the driver can ultimately be increased since, for example, false alarms can be avoided or reduced. External influences that can lead to a change in both the body temperature of the driver and the temperature of the interior component can, for example, changed solar radiation, the driver's seat being blown with a flow of cooling or heating air, a changed outside temperature in the vicinity of the motor vehicle and/or the like encompass more.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird automatisch detektiert, wenn eine Klimaanlage des Kraftfahrzeugs eingeschaltet oder eine an der Klimaanlage eingestellte Zieltemperatur verändert wird. Das Erkennen der Gefahr für ein bevorstehendes Einschlafen des Fahrers wird dann so lange ausgesetzt, bis sich ein neues Temperaturgleichgewicht im Fahrzeuginneren, also im Bereich des Fahrers oder eines Fahrerplatzes, eingestellt hat. Mit anderen Worten wird also berücksichtigt, dass eine aktive Klimaanlage einen Einfluss auf die Körpertemperatur des Fahrers haben kann, insbesondere auf die Temperatur an einer Hautoberfläche des Fahrers, die mittels des Infrarottemperatursensors erfasst wird. Durch das hier vorgeschlagene Aussetzen des Erkennens der Einschlafgefahr können durch diesen Effekt bedingte Fehlalarme vermieden oder reduziert werden. Dadurch kann die Robustheit und Zuverlässigkeit des Erkennens der Einschlafgefahr weiter verbessert werden.In a further possible embodiment of the present invention, it is automatically detected when an air conditioning system of the motor vehicle is switched on or a target temperature set on the air conditioning system is changed. The detection of the danger that the driver is about to fall asleep is then suspended until a new temperature equilibrium has been reached in the vehicle interior, ie in the area of the driver or a driver's seat. In other words, it is taken into account that an active air conditioning system can influence the driver's body temperature, in particular the temperature on the driver's skin surface, which is detected by the infrared temperature sensor. False alarms caused by this effect can be avoided or reduced by suspending the detection of the risk of falling asleep as proposed here. As a result, the robustness and reliability of detecting the risk of falling asleep can be further improved.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird automatisch detektiert, wenn ein Fenster des Kraftfahrzeugs geöffnet wird. Das Erkennen der Gefahr für ein bevorstehendes Einschlafen des Fahrers wird dann so lange ausgesetzt, bis das Fenster wieder geschlossen ist und/oder bis sich ein neues Temperaturgleichgewicht im Fahrzeuginneren, also im Bereich des Fahrers oder eines Fahrradplatzes, eingestellt hat. Das Öffnen des Fensters kann zu einem Einströmen von Umgebungsluft ins Fahrzeuginnere führen, wodurch sich die Temperatur im Fahrzeuginneren und auch die Körpertemperatur, insbesondere die Temperatur einer Hautoberfläche des Fahrers, verändern kann, ohne dass dies notwendigerweise im Zusammenhang mit der Möglichkeit oder der Einschlafgefahr des Fahrers steht. Dieser Effekt wird durch das vorliegend vorgeschlagene Aussetzen des Erkennens der Einschlafgefahr berücksichtigt bzw. herausgefiltert. Auf diese Weise kann die Robustheit und Zuverlässigkeit des Erkennens der Einschlafgefahr weiter verbessert werden.In a further possible embodiment of the present invention, it is automatically detected when a window of the motor vehicle is opened. The recognition of the danger that the driver is about to fall asleep is then off for so long set until the window is closed again and/or until a new temperature equilibrium has been reached inside the vehicle, i.e. in the area of the driver or a bicycle space. Opening the window can lead to an inflow of ambient air into the vehicle interior, which can change the temperature inside the vehicle and also the body temperature, in particular the temperature of a skin surface of the driver, without this necessarily being related to the possibility or the risk of the driver falling asleep stands. This effect is taken into account or filtered out by suspending the detection of the risk of falling asleep, which is proposed here. In this way, the robustness and reliability of the detection of the risk of falling asleep can be further improved.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird der vorgegebene Wert der Verringerung der Körpertemperatur, ab oder bei der die Gefahr für ein Einschlafen des Fahrers erkannt wird, automatisch in Abhängigkeit von einer jeweils aktuellen Geschwindigkeit des Kraftfahrzeugs angepasst. Dabei wird bei einer höheren Geschwindigkeit der vorgegebene Wert verringert. Bei einer solchen höheren Geschwindigkeit, beispielsweise bei einer Fahrt des Kraftfahrzeugs auf einer Autobahn, wird also eine niedrigere Warn- oder Erkennungsschwelle eingerichtet als beispielsweise bei einer Fahrt des Kraftfahrzeugs in einem innerstädtischen Bereich mit entsprechend niedrigerer Geschwindigkeit. Die Reduzierung des Wertes bei steigender oder höherer Geschwindigkeit des Kraftfahrzeugs kann sinnvoll sein, da bei derartigen Geschwindigkeiten das Kraftfahrzeug pro Zeiteinheit mehr Strecke zurücklegt und durch den verringerten Wert somit zuverlässiger ausreichend Zeit zur Verfügung steht, um das Warn- und/oder Steuersignal rechtzeitig auszugeben bzw. eine korrekte oder angemessene Reaktion zu ermöglichen, beispielsweise zum Vermeiden einer Kollision des Kraftfahrzeugs. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann die Sicherheit im Betrieb des Kraftfahrzeugs bzw. bei der Anwendung des erfindungsgemäßen Verfahrens also weiter verbessert werden.In a further possible embodiment of the present invention, the predefined value of the reduction in body temperature, from or at which the risk of the driver falling asleep is recognized, is automatically adjusted as a function of a current speed of the motor vehicle. The specified value is reduced at a higher speed. At such a higher speed, for example when the motor vehicle is driving on a freeway, a lower warning or detection threshold is set than, for example, when the motor vehicle is driving in an inner-city area at a correspondingly lower speed. Reducing the value when the speed of the motor vehicle increases or increases can make sense, since at such speeds the motor vehicle covers a greater distance per unit of time and the reduced value means that sufficient time is available more reliably to issue the warning and/or control signal in good time or to activate it to enable a correct or appropriate response, for example to avoid a collision of the motor vehicle. The embodiment of the present invention proposed here can therefore further improve safety when operating the motor vehicle or when using the method according to the invention.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird das Warn- und/oder Steuersignal auch ausgegeben, falls die Körpertemperatur des Fahrers nicht ermittelt werden kann. Mit anderen Worten wird das Warn- und/oder Steuersignal also beispielsweise ausgegeben im Falle eines defekten, verdeckten oder falsch, also nicht auf den Fahrer ausgerichteten Infrarottemperatursensors oder wenn beispielsweise ein für die Körpertemperatur des Fahrers unplausibler Temperaturwert durch den Infrarottemperatursensor ermittelt wird. Unplausible Temperaturwerte in diesem Sinne sind Temperaturen, die außerhalb medizinisch physiologisch möglicher bzw. für Menschen etablierter Grenzen liegen. In der hier vorgeschlagenen Ausgestaltung der vorliegenden Erfindung wird also bei fehlerhafter oder unplausibler Temperaturmessung oder wenn ein Temperatursignal des Infrarottemperatursensors ausbleibt, also beispielsweise nicht durch eine zum Durchführen des erfindungsgemäßen Verfahrens eingerichtete Vorrichtung erfasst werden kann, von einem Worst-Case-Szenario, also einem schlimmsten anzunehmenden Fall, ausgegangen. Dementsprechend wird dann durch das Ausgeben des Warn- und/oder Steuersignals in der für den schlimmsten Fall vorgesehenen Weise reagiert. Dabei kann für diesen Fall ein spezifisches Warn- und/oder Störsignal vorgegeben sein, das angibt, dass die Körpertemperatur des Fahrers nicht ermittelt werden konnte. Dies kann zu einer verbesserten Sicherheit beitragen, da der Fahrer auf diese Weise darauf hingewiesen werden kann, dass er sich nicht auf die entsprechende Funktionalität verlassen kann. Zudem kann eine verbesserte Benutzerfreundlichkeit erreicht werden, da der Fahrer durch das spezifische Warn- und/oder Steuersignalen auf mögliche Ursachen für dessen Ausgeben hingewiesen werden kann und dementsprechend gegebenenfalls entsprechende Maßnahmen einleiten kann, um das Erfassen der Körpertemperatur zu ermöglichen.In another possible embodiment of the present invention, the warning and/or control signal is also output if the driver's body temperature cannot be determined. In other words, the warning and/or control signal is output, for example, in the case of a defective, covered or incorrect infrared temperature sensor, i.e. not aimed at the driver, or if, for example, a temperature value that is implausible for the driver’s body temperature is determined by the infrared temperature sensor. Implausible temperature values in this sense are temperatures that lie outside of medically physiologically possible limits or limits that are established for humans. In the embodiment of the present invention proposed here, if the temperature measurement is incorrect or implausible or if there is no temperature signal from the infrared temperature sensor, i.e. it cannot be detected, for example, by a device set up to carry out the method according to the invention, a worst-case scenario, i.e. a worst assumed case, assumed. Accordingly, a response is then provided in the manner provided for the worst case by issuing the warning and/or control signal. In this case, a specific warning and/or interference signal can be specified for this case, which indicates that the body temperature of the driver could not be determined. This can contribute to improved safety, since the driver can be informed in this way that he cannot rely on the corresponding functionality. In addition, improved user-friendliness can be achieved since the driver can be informed of possible causes for the specific warning and/or control signals for their output and accordingly can initiate appropriate measures to enable the body temperature to be recorded.

Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung für ein Kraftfahrzeug zum Beobachten oder Überwachen eines Fahrers des Kraftfahrzeugs. Die erfindungsgemäße Vorrichtung umfasst einen Infrarottemperatursensor, eine damit verbundene Datenverarbeitungseinrichtung und eine Ausgabeeinrichtung zum Ausgeben eines vorgegebenen Warn- und/oder Steuersignals. Die erfindungsgemäße Vorrichtung ist dabei zum automatischen Ausführen wenigstens einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens, also zum automatischen Erkennen einer Gefahr für ein bevorstehendes Einschlafen des Fahrers, eingerichtet. Die erfindungsgemäße Vorrichtung kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Vorrichtung sein und dementsprechend einige oder alle der in diesem Zusammenhang genannten Eigenschaften und/oder Merkmale aufweisen.A further aspect of the present invention is a device for a motor vehicle for observing or monitoring a driver of the motor vehicle. The device according to the invention comprises an infrared temperature sensor, a data processing device connected thereto and an output device for outputting a predetermined warning and/or control signal. The device according to the invention is set up for automatically executing at least one variant or embodiment of the method according to the invention, ie for automatically detecting a risk that the driver is about to fall asleep. The device according to the invention can in particular be the device mentioned in connection with the method according to the invention and accordingly have some or all of the properties and/or features mentioned in this connection.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine erfindungsgemäße Vorrichtung zum Beobachten oder Überwachen eines Fahrers des Kraftfahrzeugs aufweist. Somit ist also das erfindungsgemäße Kraftfahrzeug zum automatischen Durchführen des erfindungsgemäßen Verfahrens eingerichtet. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Vorrichtung genannte Kraftfahrzeug sein und dementsprechend einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.A further aspect of the present invention is a motor vehicle which has a device according to the invention for observing or monitoring a driver of the motor vehicle. The motor vehicle according to the invention is thus set up for automatically carrying out the method according to the invention. The motor vehicle according to the invention can in particular be the motor vehicle mentioned in connection with the method according to the invention and/or in connection with the device according to the invention and accordingly have some or all of the properties and/or characteristics mentioned in these contexts.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in der einzigen Figur eine schematische Darstellung eines Kraftfahrzeugs mit einer automatischen Fahrerüberwachung zum Erkennen einer Einschlafgefahr.In the single figure, the drawing shows a schematic representation of a motor vehicle with automatic driver monitoring for detecting a risk of falling asleep.

Während des Führens eines Fahrzeugs in einem manuellen Betrieb bis hin zu einem bedingt automatisierten Betrieb darf ein Fahrzeugführer seinen Blick vom umgebenden Geschehen abwenden, jedoch nicht schlafen, da er jederzeit im, beispielsweise in einem Fehlerfall eines Fahrzeugführungssystems, innerhalb von einigen Sekunden die Fahraufgabe übernehmen muss. Außerdem muss er an einem vorgesehenen Fahrerplatz bleiben und darf sich beispielsweise nicht während der Fahrt in einen Fond des Fahrzeugs begeben. Um dies sicherzustellen, kann der Fahrzeugführer beobachtet oder überwacht werden. Dies ist jedoch eine schwierige Aufgabe, die üblicherweise durch aufwändiges Eye-Tracking mittels mehrerer in einem Fahrzeuginnenraum angeordneter Kameras und jeweilige aufwändige Bildverarbeitungseinheiten mit leistungsstarken Prozessoren realisiert wird. Dies bedeutet jedoch hohe Kosten für entsprechende Komponenten und deren Vernetzung und kann Schwierigkeiten bezüglich einer Positionierung der Kameras im strikt begrenzten Fahrzeuginnenraum mit sich bringen. Zudem kann es Datenschutzbedenken hinsichtlich der Erfassung optischer Bilder oder Videos des Fahrzeugführers, weiterer Fahrzeuginsassen und des Fahrzeuginnenraums geben. Zudem können Situationen auftreten, in denen beispielsweise die Augen des Fahrzeugführers durch entsprechende Kameras nicht erfasst werden können.While driving a vehicle in a manual operation up to a conditionally automated operation, a vehicle driver may avert his eyes from the surrounding events, but not sleep, since he must take over the driving task within a few seconds at any time, for example in the event of a fault in a vehicle guidance system . In addition, he must remain in a designated driver's seat and may not, for example, go into the rear of the vehicle while driving. To ensure this, the vehicle driver can be observed or monitored. However, this is a difficult task, which is usually implemented by complex eye-tracking using a plurality of cameras arranged in a vehicle interior and respective complex image processing units with powerful processors. However, this means high costs for the corresponding components and their networking and can entail difficulties in positioning the cameras in the strictly limited vehicle interior. In addition, there may be privacy concerns about the capture of optical images or video of the vehicle driver, other vehicle occupants, and the vehicle interior. In addition, situations can arise in which, for example, the vehicle driver's eyes cannot be captured by appropriate cameras.

Diesen Problemen soll vorliegend begegnet werden. Dazu zeigt 1 eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs 10 mit einem Fahrer 12. Das Kraftfahrzeug 10 umfasst ein hier schematisch angedeutetes Innenraumbauteil 14 in einer, insbesondere unmittelbaren, Umgebung des Fahrers 12. Weiter weist das Kraftfahrzeug 10 eine Erkennungsvorrichtung 16 zum Erkennen einer Gefahr eines bevorstehenden Einschlafen des Fahrers 12 auf. Dazu ist in im Fahrzeuginnenraum des Kraftfahrzeugs 10 ein Strahlungsthermometer 18 angeordnet, das auf den Fahrer 12 bzw. einen für den Fahrer 12 vorgesehenen Fahrerplatz des Kraftfahrzeugs 10 und auf das Innenraumbauteil 14 ausgerichtet ist. Das Strahlungsthermometer 18 kann ein Teil der Erkennungsvorrichtung 16 sein.These problems are to be addressed here. For this shows 1 a sectional schematic representation of a motor vehicle 10 with a driver 12. The motor vehicle 10 comprises an interior component 14 indicated here schematically in an, in particular immediate, environment of the driver 12. The motor vehicle 10 also has a detection device 16 for detecting a risk of the driver falling asleep 12 on. For this purpose, a radiation thermometer 18 is arranged in the vehicle interior of motor vehicle 10 , which is aligned with driver 12 or a driver's seat of motor vehicle 10 provided for driver 12 and with interior component 14 . The radiation thermometer 18 can be part of the detection device 16 .

Das Kraftfahrzeug 10 kann auch weitere Einrichtungen aufweisen, vorliegend beispielhaft repräsentiert durch eine Klimaanlage 20 zum Klimatisieren bzw. Temperieren des Fahrzeuginnenraums, ein öffenbares und schließbares Fenster 22 und eine Betriebseinrichtung 24. Die Betriebseinrichtung 24 kann beispielsweise ein Assistenzsystem (ADAS, englisch: Advanced Driver Assistance System), insbesondere zum teilautomatisierten oder bedingt automatisierten Führen des Kraftfahrzeugs 10, eine Steuereinrichtung, eine Antriebseinrichtung und/oder dergleichen mehr sein oder umfassen. Die Erkennungsvorrichtung 16, die Klimaanlage 20, eine dem Fenster 22 zugeordnete Einrichtung, die eine Stellung oder einen Öffnungsgrad des Fensters 22 bzw. einen Betrieb oder Betriebszustand eines elektrischen Fensterhebers für das Fenster 22 angeben kann, und die Betriebseinrichtung 24 sind vorliegend über ein schematisch angedeutetes Bordnetz 26 des Kraftfahrzeugs 10 miteinander verbunden oder vernetzt.The motor vehicle 10 can also have other devices, represented here by an example of an air conditioning system 20 for air conditioning or temperature control of the vehicle interior, an openable and closable window 22 and an operating device 24. The operating device 24 can, for example, be an assistance system (ADAS, English: Advanced Driver Assistance System), in particular for partially automated or conditionally automated driving of motor vehicle 10, may be or include a control device, a drive device and/or the like. The detection device 16, the air conditioning system 20, a device assigned to the window 22, which can indicate a position or a degree of opening of the window 22 or an operation or operating state of an electric window lifter for the window 22, and the operating device 24 are present via a schematically indicated Electrical system 26 of the motor vehicle 10 connected or networked.

Vorliegend wird der Fahrer 12 bzw. dessen Zustand mittels des Strahlungsthermometers 18 bzw. der Erkennungsvorrichtung 16 beobachtet oder überwacht. Dabei wird fortlaufend bzw. regelmäßig mittels des Strahlungsthermometers 18 eine Körpertemperatur, insbesondere eine Körperoberflächentemperatur, des Fahrers 12 erfasst. Ein fortlaufend erfasster Verlauf der Körpertemperatur des Fahrers 12 wird dabei durch die Erkennungsvorrichtung 16 ausgewertet. Ein fortlaufendes Erfassen der Körpertemperatur kann dabei beispielsweise ein Erfassen oder Messen der Körpertemperatur mit einer vorgegebenen Frequenz, beispielsweise im Bereich bis 50 Hz, bedeuten. Zum Auswerten des Verlaufs der Körpertemperatur umfasst die Erkennungsvorrichtung 16 hier einen Prozessor 28, beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller, und einen damit verbundenen computerlesbaren Datenspeicher 30. In dem Datenspeicher 30 kann beispielsweise ein Computerprogramm hinterlegt sein, das die hier beschriebenen Verfahrensschritte oder Abläufe codiert oder implementiert und mittels des Prozessors 28 ausführbarer ist.In the present case, the driver 12 or his condition is observed or monitored by means of the radiation thermometer 18 or the detection device 16 . A body temperature, in particular a body surface temperature, of the driver 12 is recorded continuously or regularly by means of the radiation thermometer 18 . A continuously recorded profile of the body temperature of driver 12 is evaluated by detection device 16 . A continuous detection of the body temperature can mean, for example, a detection or measurement of the body temperature with a predetermined frequency, for example in the range of up to 50 Hz. To evaluate the course of the body temperature, the detection device 16 here comprises a processor 28, for example a microchip, microprocessor or microcontroller, and a computer-readable data memory 30 connected thereto or implemented and executable by the processor 28.

Die Überwachung des Fahrers 12 mittels des Strahlungsthermometers 18 und der Erkennungsvorrichtung 16 macht sich die Tatsache zunutze, dass die menschliche Körpertemperatur noch vor einem tatsächlichen Einschlafen fällt, beispielsweise um etwa 0,5°C. Wird ein solches Abfallen der Körpertemperatur des Fahrers 12 erkannt, wird mittels einer Ausgabeeinrichtung 32 der Erkennungsvorrichtung 16 durch diese ein Ausgabesignal 34 ausgegeben. Das Ausgabesignal 34 kann beispielsweise ein Warnsignal für den Fahrer 12 und/oder ein Steuersignal für die Betriebseinrichtung 24 sein oder umfassen.The monitoring of the driver 12 by means of the radiation thermometer 18 and the detection device 16 makes use of the fact that the human body temperature drops before actually falling asleep, for example by about 0.5°C. Will such a falling away the body If the temperature of driver 12 is detected, an output signal 34 is output by the detection device 16 by means of an output device 32 of the detection device 16 . The output signal 34 can be or include, for example, a warning signal for the driver 12 and/or a control signal for the operating device 24 .

Die Fahrerzustandsüberwachung basiert hier also nicht auf einem optischen Eye-Tracking, sondern auf einem einfachen thermografischen Verfahren. Dementsprechend kann hier auf optische Kameras verzichtet werden und stattdessen das Strahlungsthermometer 18 eingesetzt werden. Das Strahlungsthermometer 18 kann beispielsweise ein oder mehrere Punkt-Pyrometer und/oder eine Wärmebildkamera umfassen. Das Strahlungsthermometer 18 kann im Bereich der typischen menschlichen Körpertemperatur kalibriert sein, sodass eine zuverlässige Erfassung der Körpertemperatur des Fahrers 12 möglich ist. Beispielsweise kann das Strahlungsthermometer 18 eine integrierte Auswertungseinheit, etwa mit einem Mikrocontroller, umfassen, die dann ein Temperatursignal, beispielsweise via eines Bussystems, wie CAN. LIN, Ethernet oder dergleichen, zyklisch ablegen oder übermitteln kann, das dann von einem zentralen bzw. zentraleren Steuergerät, hier beispielsweise der Erkennungsvorrichtung 16, verarbeitet werden kann, beispielsweise, um in Abhängigkeit davon eine autonome oder bedingt autonome Fahrfunktion des Kraftfahrzeugs 10 zu kontrollieren bzw. zu steuern. Ebenso kann das hier beschriebene Verfahren in einem nicht autonomen oder nur teilautomatisierten Fahrzeug bzw. Fahrbetrieb angewendet werden.The driver status monitoring is not based on optical eye tracking, but on a simple thermographic process. Accordingly, optical cameras can be dispensed with here and the radiation thermometer 18 can be used instead. The radiation thermometer 18 can include, for example, one or more point pyrometers and/or a thermal imaging camera. The radiation thermometer 18 can be calibrated in the range of the typical human body temperature, so that a reliable detection of the body temperature of the driver 12 is possible. For example, the radiation thermometer 18 can include an integrated evaluation unit, for example with a microcontroller, which then transmits a temperature signal, for example via a bus system such as CAN. LIN, Ethernet or the like, can be stored or transmitted cyclically, which can then be processed by a central or more central control unit, here for example the recognition device 16, for example in order to control or to control an autonomous or conditionally autonomous driving function of the motor vehicle 10 depending on this . The method described here can also be used in a non-autonomous or only partially automated vehicle or driving operation.

Mittels des Strahlungsthermometers 18 kann nicht nur die Körpertemperatur des Fahrers 12, sondern auch eine Temperatur des Innenraumbauteils 14 erfasst werden, die dann durch die Erkennungsvorrichtung 16 ebenfalls verarbeitet werden kann. Ebenso kann die Erkennungsvorrichtung 16 weitere Daten oder Signale berücksichtigen, etwa von der Klimaanlage 20, der dem Fenster 22 zugeordneten Einrichtung und/oder der Betriebseinrichtung 24. So kann das Erkennen der Einschlafgefahr beispielsweise ausgesetzt werden, wenn die Klimaanlage 20 eingeschaltet oder daran eine Zieltemperatur verändert wird, wenn das Fenster 22 geöffnet wird und/oder wenn sich die Betriebseinrichtung 24 in einem bestimmten Zustand befindet. Beispielsweise kann das Erkennen der Einschlafgefahr ausgesetzt werden, wenn das Kraftfahrzeug 10 bewegungslos abgestellt oder geparkt ist oder sich die Betriebseinrichtung 24 bzw. das Kraftfahrzeug 10 in einem nicht fahrbereiten Zustand befindet. Ebenso kann eine Warn- oder Erkennungsschwelle für die Einschlafgefahr abhängig von einer jeweils aktuellen Geschwindigkeit des Kraftfahrzeugs 10 automatisch angepasst werden. Dazu kann beispielsweise eine entsprechende vorgegebene Zuordnung oder ein entsprechendes vorgegebenes Kennfeld oder dergleichen in dem Datenspeicher 30 hinterlegt sein.Not only the body temperature of the driver 12 but also a temperature of the interior component 14 can be detected by means of the radiation thermometer 18 , which can then also be processed by the detection device 16 . The detection device 16 can also take into account further data or signals, for example from the air conditioning system 20, the device assigned to the window 22 and/or the operating device 24. For example, the detection of the risk of falling asleep can be suspended if the air conditioning system 20 is switched on or a target temperature changes there when the window 22 is opened and/or when the operating device 24 is in a certain state. For example, the detection of the risk of falling asleep can be suspended if the motor vehicle 10 is parked or parked motionless or the operating device 24 or the motor vehicle 10 is in a non-driving state. Likewise, a warning or detection threshold for the risk of falling asleep can be automatically adjusted depending on a current speed of motor vehicle 10 . For this purpose, for example, a corresponding predefined assignment or a corresponding predefined characteristic map or the like can be stored in the data memory 30 .

Die Erkennungsvorrichtung 16 kann dazu eingerichtet sein, bei einer erkannten Verringerung der Körpertemperatur des Fahrers 12 nur dann eine Einschlafgefahr zu erkennen, wenn dabei die erfasste Temperatur des Innenraumbauteils 14 zumindest im Wesentlichen unverändert bleibt, um externe temperaturverändernde Einflüsse zu berücksichtigen. Ebenso kann beispielsweise eine ermittelte Veränderung der Temperatur des Innenraumbauteils 14 mit einer erkannten Veränderung der Körpertemperatur des Fahrers 12 verrechnet, beispielsweise davon abgezogen werden. Verbleibt dann noch eine Verringerung der Körpertemperatur des Fahrers 12 von wenigstens einem vorgegebenen Wert oder innerhalb eines vorgegebenen Bereichs oder Intervalls, kann die Gefahr für das bevorstehende Einschlafen des Fahrers 12 erkannt werden. Auf diese Weise können also externe temperaturverändernde Einflüsse herausgefiltert werden, um eine noch robustere und zuverlässigere Erkennung der Einschlafgefahr zu ermöglichen.The detection device 16 can be set up to only detect a risk of falling asleep if the detected temperature of the interior component 14 remains at least essentially unchanged in order to take external temperature-changing influences into account. Likewise, for example, a determined change in the temperature of the interior component 14 can be offset against a recognized change in the body temperature of the driver 12, for example subtracted therefrom. If there then still remains a reduction in the body temperature of driver 12 of at least a predetermined value or within a predetermined range or interval, the risk of driver 12 falling asleep can be detected. In this way, external temperature-changing influences can be filtered out in order to enable an even more robust and reliable detection of the risk of falling asleep.

Insgesamt zeigen die beschriebenen Beispiele wie eine Thermographie-basierte Zustandsüberwachung eines Fahrzeugführers, beispielsweise während eines bedingt autonomen Fahrbetriebs eines Kraftfahrzeugs, realisiert werden kann, um eine verbesserte Sicherheit zu erreichen.Overall, the examples described show how thermography-based status monitoring of a vehicle driver, for example during conditionally autonomous driving of a motor vehicle, can be implemented in order to achieve improved safety.

BezugszeichenlisteReference List

1010: Kraftfahrzeugmotor vehicle
1212: Fahrerdriver
1414: Innenraumbauteilinterior component
1616: Erkennungsvorrichtungdetection device
1818: Strahlungsthermometerradiation thermometer
2020: Klimaanlageair conditioning
2222: Fensterwindow
2424: Betriebseinrichtungfacility
2626: Bordnetzelectrical system
2828: Prozessorprocessor
3030: Datenspeicherdata storage
3232: Ausgabeeinrichtungoutput device
3434: Ausgabesignaloutput signal

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

EP 2620314 A1 [0003]
DE 102017110283 A1 [0004]

Claims

Method for monitoring a driver (12) in a motor vehicle (10), in which automatically - a body temperature of the driver (12) is continuously recorded without contact by means of an infrared temperature sensor (18), - a time course of the detected body temperature is evaluated for changes in order to detect a reduction in the body temperature of the driver (12), - if the body temperature drops by at least a predetermined value, a risk that the driver (12) is about to fall asleep is recognized, and - A predetermined warning and/or control signal (34) is then automatically output.

procedure after claim 1 , characterized in that the body temperature is recorded at a frequency in the range from 5 Hz to 50 Hz, in particular around 20 Hz.

Method according to one of the preceding claims, characterized in that the infrared temperature sensor (18) comprises at least one point pyrometer (18).

Method according to one of the preceding claims, characterized in that - a temperature of at least one interior component (14) of the motor vehicle (10) in an, in particular immediate, vicinity of the driver (12) is also continuously recorded, and - the risk of the driver falling asleep Driver (12) is only recognized if the temperature of the interior component (14) remains at least essentially unchanged when the body temperature of the driver (12) decreases.

Method according to one of the preceding claims, characterized in that - it is automatically detected when an air conditioning system (20) of the motor vehicle (10) is switched on or a target temperature set on the air conditioning system (20) is changed, and - recognizing the danger of an impending Falling asleep of the driver (12) is exposed until a new temperature equilibrium has been established.

Method according to one of the preceding claims, characterized in that - it is automatically detected when a window (22) of the motor vehicle (10) is opened, and - the recognition of the risk that the driver (12) is about to fall asleep is suspended until until the window (22) is closed again and/or until a new temperature equilibrium has been established.

Method according to one of the preceding claims, characterized in that the predetermined value of the reduction in body temperature, from which the risk of the driver (12) falling asleep is recognized, is automatically adjusted as a function of a current speed of the motor vehicle (10), with a higher speed the value is reduced.

Method according to one of the preceding claims, characterized in that the warning and/or control signal (34) is also output if the body temperature of the driver (12) cannot be determined.

Device (16) for a motor vehicle (10) for monitoring a driver (12) of the motor vehicle (10), comprising an infrared temperature sensor (18), a data processing device (16; 28, 30) connected thereto and an output device (32) for outputting a predetermined warning and/or control signal (34), wherein the device (16) is set up to automatically carry out a method according to one of the preceding claims.

Motor vehicle (10) having a device (16) according to claim 9 .