DE102022112429A1 - Driver monitoring system and driver monitoring method for a vehicle - Google Patents

Driver monitoring system and driver monitoring method for a vehicle Download PDF

Info

Publication number
DE102022112429A1
DE102022112429A1 DE102022112429.0A DE102022112429A DE102022112429A1 DE 102022112429 A1 DE102022112429 A1 DE 102022112429A1 DE 102022112429 A DE102022112429 A DE 102022112429A DE 102022112429 A1 DE102022112429 A1 DE 102022112429A1
Authority
DE
Germany
Prior art keywords
driver
mobile terminal
vehicle
monitoring system
head area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022112429.0A
Other languages
German (de)
Inventor
Tomas Hejda
Johannes Waldthausen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022112429.0A priority Critical patent/DE102022112429A1/en
Publication of DE102022112429A1 publication Critical patent/DE102022112429A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Fahrerüberwachungssystem für ein Fahrzeug, umfassend wenigstens ein Erfassungsmodul, das eingerichtet ist, um einen Kopfbereich eines Fahrers zu erfassen und entsprechende Erfassungsdaten bereitzustellen; und wenigstens ein Prozessormodul, das eingerichtet ist, um basierend auf den Erfassungsdaten eine Helligkeitsverteilung im Kopfbereich des Fahrers zu bestimmen, und basierend auf der Helligkeitsverteilung zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.The present disclosure relates to a driver monitoring system for a vehicle, comprising at least one sensing module configured to sense a head area of a driver and provide corresponding sensing data; and at least one processor module that is set up to determine a brightness distribution in the driver's head area based on the detection data, and to determine based on the brightness distribution whether an active mobile terminal is located in the driver's head area.

Description

Die vorliegende Offenbarung betrifft ein Fahrerüberwachungssystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrerüberwachungssystem, ein Fahrerüberwachungsverfahren und ein Speichermedium zum Ausführen des Fahrerüberwachungsverfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Erkennung einer Nutzung eines mobilen Endgeräts während einer Fahrt.The present disclosure relates to a driver monitoring system for a vehicle, a vehicle with such a driver monitoring system, a driver monitoring method and a storage medium for executing the driver monitoring method. The present disclosure relates in particular to detecting the use of a mobile terminal while driving.

Stand der TechnikState of the art

Aufgrund einer zunehmenden Verfügbarkeit sowie einer stetigen Erweiterung von Nutzungsmöglichkeiten von mobilen Endgeräten, wie Mobiltelefonen, kommt es häufig vor, dass Fahrer eines Fahrzeugs mobile Endgeräte während der Fahrt unerlaubt benutzen. Beispielsweise können Fahrer auf eine Nutzung einer Freisprecheinrichtung verzichten und das mobile Endgerät in der Hand halten, um zu telefonieren oder eine Sprachnachricht abzuhören. Durch eine derartige missbräuchliche Nutzung von mobilen Endgeräten kann der Fahrer abgelenkt sein, wodurch es zu gefährlichen Situationen im Straßenverkehr kommen kann. Derartige gefährliche Situationen können dabei nicht nur das Fahrzeug betreffen, sondern auch andere Verkehrsteilnehmer.Due to the increasing availability and constant expansion of usage options for mobile devices, such as cell phones, it often happens that drivers of a vehicle use mobile devices without permission while driving. For example, drivers can forego using a hands-free device and instead hold the mobile device in their hand to make a phone call or listen to a voice message. Such misuse of mobile devices can cause the driver to be distracted, which can lead to dangerous situations in traffic. Such dangerous situations can affect not only the vehicle, but also other road users.

Offenbarung der ErfindungDisclosure of the invention

Es ist eine Aufgabe der vorliegenden Offenbarung, ein Fahrerüberwachungssystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrerüberwachungssystem, ein Fahrerüberwachungsverfahren und ein Speichermedium zum Ausführen des Fahrerüberwachungsverfahrens anzugeben, die eine zuverlässige Erkennung einer Nutzung eines mobilen Endgeräts während einer Fahrt ermöglichen. Insbesondere ist es eine Aufgabe der vorliegenden Offenbarung, eine Sicherheit im Straßenverkehr zu verbessern.It is an object of the present disclosure to provide a driver monitoring system for a vehicle, a vehicle with such a driver monitoring system, a driver monitoring method and a storage medium for executing the driver monitoring method, which enable reliable detection of use of a mobile terminal while driving. In particular, it is an object of the present disclosure to improve safety in road traffic.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This task is solved by the subject matter of the independent claims. Advantageous refinements are specified in the subclaims.

Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrerüberwachungssystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrerüberwachungssystem umfasst wenigstens ein Erfassungsmodul, das eingerichtet ist, um einen Kopfbereich eines Fahrers zu erfassen und entsprechende Erfassungsdaten bereitzustellen; und wenigstens ein Prozessormodul. Das wenigstens eine Prozessormodul ist eingerichtet, um basierend auf den Erfassungsdaten eine Helligkeitsverteilung im Kopfbereich des Fahrers zu bestimmen; und basierend auf der Helligkeitsverteilung zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.According to an independent aspect of the present disclosure, a driver monitoring system for a vehicle, in particular a motor vehicle, is specified. The driver monitoring system includes at least one capture module configured to capture a driver's head area and provide corresponding capture data; and at least one processor module. The at least one processor module is set up to determine a brightness distribution in the driver's head area based on the detection data; and based on the brightness distribution, determine whether an active mobile device is in the driver's head area.

Erfindungsgemäß wird eine Beleuchtung im Kopfbereich des Fahrers analysiert, um zu bestimmen, ob der Fahrer ein mobiles Endgerät benutzt. Insbesondere sind mobile Endgeräte im Allgemeinen mit Displays ausgestattet, die während der Nutzung Licht emittieren und den Kopfbereich des Fahrers beleuchten, insbesondere das Gesicht oder einen Teil des Gesichts. Diese zusätzliche Beleuchtung wird erkannt und als Indiz für die Nutzung des mobilen Endgeräts gewertet. Falls eine solche Nutzung des mobilen Endgeräts erkannt wird, können geeignete Maßnahmen ergriffen werden, wie zum Beispiel ein Ausgeben eines Fahrerhinweises und/oder ein Aktivieren einer Fahrassistenzfunktion zum automatisierten Fahren. Im Ergebnis kann eine Sicherheit im Straßenverkehr verbessert werden.According to the invention, lighting in the driver's head area is analyzed to determine whether the driver is using a mobile device. In particular, mobile devices are generally equipped with displays that emit light during use and illuminate the driver's head area, in particular the face or part of the face. This additional lighting is recognized and viewed as an indication that the mobile device is being used. If such use of the mobile device is detected, suitable measures can be taken, such as issuing a driver notification and/or activating a driving assistance function for automated driving. As a result, road safety can be improved.

Das wenigstens eine Erfassungsmodul und das wenigstens eine Prozessormodul können in einem gemeinsamen Software- und/oder Hardware-Modul realisiert sein. Alternativ dazu können das wenigstens eine Erfassungsmodul und das wenigstens eine Prozessormodul jeweils in getrennten Software- und/oder Hardware-Modulen realisiert sein.The at least one acquisition module and the at least one processor module can be implemented in a common software and/or hardware module. Alternatively, the at least one acquisition module and the at least one processor module can each be implemented in separate software and/or hardware modules.

Der Begriff „aktives mobiles Endgerät“ bezieht sich auf eine aktuelle Nutzung des mobilen Endgeräts bzw. einer Funktion davon durch den Fahrer. Insbesondere kann sich der Begriff „aktives mobiles Endgerät“ auf ein aktives Telefongespräch, das der Fahrer gerade führt, beziehen.The term “active mobile device” refers to the current use of the mobile device or a function thereof by the driver. In particular, the term “active mobile device” can refer to an active telephone conversation that the driver is currently conducting.

Ein mobiles Endgerät ist ein Gerät, welches in der Lage ist, in einem mobilen Netzwerk über lokale Netzwerke bzw. Local Area Networks (LANs), wie z.B. Wireless LAN (WiFi/WLAN), oder über Weitverkehrsnetze bzw. Wide Area Networks (WANs) wie z.B. Global System for Mobile Communication (GSM), General Package Radio Service (GPRS), Enhanced Data Rates for Global Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), High Speed Downlink/Uplink Packet Access (HSDPA, HSUPA), Long-Term Evolution (LTE), 5G oder World Wide Interoperability for Microwave Access (WIMAX) drahtlos zu kommunizieren. Eine Kommunikation über weitere gängige oder künftige Kommunikationstechnologien ist möglich.A mobile device is a device that is able to operate in a mobile network via local networks or Local Area Networks (LANs), such as wireless LAN (WiFi/WLAN), or via wide area networks or Wide Area Networks (WANs). such as Global System for Mobile Communication (GSM), General Package Radio Service (GPRS), Enhanced Data Rates for Global Evolution (EDGE), Universal Mobile Telecommunications System (UMTS), High Speed Downlink/Uplink Packet Access (HSDPA, HSUPA), Long-Term Evolution (LTE), 5G or World Wide Interoperability for Microwave Access (WIMAX) to communicate wirelessly. Communication via other common or future communication technologies is possible.

Der Begriff mobiles Endgerät umfasst insbesondere Smartphones, aber auch andere mobile Telefone bzw. Handys, Personal Digital Assistants (PDAs), Tablets, sowie andere gängige und künftigen elektronischen Geräte, welche mit einer Kommunikationstechnologie ausgestattet sind.The term mobile device includes in particular smartphones, but also other mobile telephones or cell phones, personal digital assistants (PDAs), tablets, as well as other common and future electronic devices that are equipped with communication technology.

Vorzugsweise ist das mobile Endgerät kommunikativ mit dem Fahrzeug verbunden. In einigen Ausführungsformen kann das mobile Endgerät mit dem Fahrzeug drahtlos oder drahtgebunden direkt kommunizieren oder drahtlos über eine Server-Anbindung (z.B. Cloud) indirekt kommunizieren.Preferably, the mobile terminal is communicatively connected to the vehicle. In some According to embodiments, the mobile device can communicate with the vehicle directly, wirelessly or by wire, or communicate indirectly wirelessly via a server connection (e.g. cloud).

Vorzugsweise umfasst das wenigstens eine Erfassungsmodul eine Kamera, insbesondere eine Innenraumkamera. Die Kamera kann Bilddaten bereitstellen, die das wenigstens eine Prozessormodul auswertet, um zu bestimmen, ob der Fahrer das mobile Endgerät aktuell benutzt.Preferably, the at least one detection module comprises a camera, in particular an interior camera. The camera can provide image data that the at least one processor module evaluates to determine whether the driver is currently using the mobile device.

Vorzugsweise ist das wenigstens eine Erfassungsmodul ein Infrarotsensor, wie zum Beispiel eine Infrarotkamera.Preferably, the at least one detection module is an infrared sensor, such as an infrared camera.

Vorzugsweise ist die Helligkeitsverteilung eine Helligkeitsverteilung in einem Gesicht oder einem Teil des Gesichts des Fahrers. Insbesondere kann das wenigstens eine Erfassungsmodul den Kopfbereich erfassen, der wenigstens das Gesicht oder den Teil des Gesichts des Fahrers enthält. Die vorliegende Offenbarung ist jedoch nicht hierauf begrenzt und die Helligkeitsverteilung kann zum Beispiel zumindest teilweise auf einem Hals des Fahrers erfasst werden.Preferably, the brightness distribution is a brightness distribution in a face or part of the driver's face. In particular, the at least one detection module can detect the head area that contains at least the face or part of the face of the driver. However, the present disclosure is not limited to this and the brightness distribution may, for example, be at least partially detected on a driver's neck.

Vorzugsweise enthält der Kopfbereich das Gesicht oder den Teil des Gesichts des Fahrers und zumindest einen Teil einer Kopfumgebung. Der durch das wenigstens eine Erfassungsmodul erfasste Kopfbereich kann insbesondere einen an den Kopf des Fahrers angrenzenden Bereich umfassen, in dem das mobile Endgerät angeordnet ist.Preferably, the head region includes the driver's face or part of the face and at least part of a head environment. The head area detected by the at least one detection module can in particular include an area adjacent to the driver's head, in which the mobile terminal is arranged.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um basierend auf den Erfassungsdaten eine Objekterkennung durchzuführen, um das mobile Endgerät zu erkennen. Insbesondere kann das wenigstens eine Prozessormodul eingerichtet sein, um basierend auf den Erfassungsdaten zu bestimmen, ob sich das mobile Endgerät im Kopfbereich des Fahrers befindet. In Kombination mit der Helligkeitsverteilung kann zuverlässig ermittelt werden, dass der Fahrer das mobile Endgerät aktiv benutzt.Preferably, the at least one processor module is set up to carry out object recognition based on the detection data in order to recognize the mobile terminal. In particular, the at least one processor module can be set up to determine, based on the detection data, whether the mobile terminal is in the driver's head area. In combination with the brightness distribution, it can be reliably determined that the driver is actively using the mobile device.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um basierend auf den Erfassungsdaten eine relative Position zwischen dem mobilen Endgerät und einem Kopf des Fahrers zu bestimmen. Zur Bestimmung der relative Position zwischen dem mobilen Endgerät und dem Kopf des Fahrers kann beispielsweise die zuvor erwähnte Objekterkennung verwendet werden. In Kombination mit der Helligkeitsverteilung kann zuverlässig ermittelt werden, dass der Fahrer das mobile Endgerät aktiv benutzt.Preferably, the at least one processor module is set up to determine a relative position between the mobile terminal and a head of the driver based on the detection data. To determine the relative position between the mobile terminal and the driver's head, for example, the aforementioned object recognition can be used. In combination with the brightness distribution, it can be reliably determined that the driver is actively using the mobile device.

Vorzugsweise umfasst, oder ist, die relative Position zwischen dem mobilen Endgerät und dem Kopf des Fahrers eine Position relativ zu einem Bezugspunkt und/oder ein Abstand zwischen dem mobilen Endgerät und dem Kopf, insbesondere dem Bezugspunkt. In einigen Ausführungsformen kann der Bezugspunkt eine linke oder rechte Kopfseite und/oder ein Ohr des Fahrers sein.Preferably, the relative position between the mobile terminal and the driver's head comprises, or is, a position relative to a reference point and/or a distance between the mobile terminal and the head, in particular the reference point. In some embodiments, the reference point may be a left or right side of the driver's head and/or an ear.

Vorzugsweise umfasst das Fahrerüberwachungssystem weiter ein Steuermodul, das eingerichtet ist, um das mobile Endgerät für eine Beeinflussung der Helligkeitsverteilung anzusteuern. Beispielsweise können das mobile Endgerät und das Fahrzeug drahtlos (z.B. Bluetooth oder WLAN) oder drahtgebunden direkt kommunizieren oder drahtlos über eine Server-Anbindung (z.B. Cloud) indirekt kommunizieren, um das Ansteuern des mobilen Endgeräts durch das Fahrerüberwachungssystem zu ermöglichen.Preferably, the driver monitoring system further comprises a control module that is set up to control the mobile terminal to influence the brightness distribution. For example, the mobile device and the vehicle can communicate directly wirelessly (e.g. Bluetooth or WLAN) or by wire, or communicate indirectly wirelessly via a server connection (e.g. cloud) in order to enable the mobile device to be controlled by the driver monitoring system.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass keine Abdunklung oder Deaktivierung eines Displays des mobilen Endgeräts erfolgt. Insbesondere kann eine automatische Abdunklung oder Deaktivierung des Display verhindert werden, die erfolgt, wenn das mobile Endgerät bei einem aktiven Telefonat an den Kopf gehalten wird. Hierdurch kann sichergestellt werden, dass die Beleuchtung des Gesichts bei einer Nutzung des mobilen Endgeräts erfolgt und durch das Fahrerüberwachungssystem erfasst werden kann.Preferably, the control module is set up to control the mobile terminal so that a display of the mobile terminal is not darkened or deactivated. In particular, automatic dimming or deactivation of the display, which occurs when the mobile device is held to the head during an active telephone call, can be prevented. This can ensure that the illumination of the face occurs when the mobile device is used and can be detected by the driver monitoring system.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass das vom mobilen Endgerät emittierte Licht hinsichtlich Wellenlänge und/oder Ansteuerung codiert ist. Hierdurch kann eine Unterscheidung des durch das mobile Endgerät emittierten Lichts vom Licht anderer Lichtquellen, wie der fahrzeugeigenen Innenraumbeleuchtung, Straßenbeleuchtung, anderen Fahrzeugen, etc., ermöglicht werden.Preferably, the control module is set up to control the mobile terminal so that the light emitted by the mobile terminal is coded in terms of wavelength and/or control. This makes it possible to distinguish the light emitted by the mobile device from the light of other light sources, such as the vehicle's interior lighting, street lighting, other vehicles, etc.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass eine Lichtquelle des mobilen Endgeräts ein vorbestimmtes Lichtmuster emittiert. Das vorbestimmte Lichtmuster erzeugt eine bestimmte Helligkeitsverteilung z.B. auf dem Gesicht des Fahrers, so dass eine Erkennungsgenauigkeit verbessert werden kann. In einigen Ausführungsformen kann das Lichtmuster eine zeitliche Variation einer Lichtemission und/oder eine räumliche Variation einer Lichtemission umfassen.Preferably, the control module is set up to control the mobile terminal so that a light source of the mobile terminal emits a predetermined light pattern. The predetermined light pattern produces a specific brightness distribution, for example on the driver's face, so that recognition accuracy can be improved. In some embodiments, the light pattern may include a temporal variation of light emission and/or a spatial variation of light emission.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass eine Lichtquelle des mobilen Endgeräts Wellenlängen im unsichtbaren Bereich emittiert. Hierdurch kann eine Störung bzw. Beeinträchtigung des Fahrers vermieden werden.Preferably, the control module is set up to control the mobile terminal so that a light source of the mobile terminal emits wavelengths in the invisible range. This allows one Disturbance or impairment of the driver can be avoided.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass eine Lichtquelle des mobilen Endgeräts keine Wellenlängen im sichtbaren Bereich emittiert. Hierdurch kann eine Störung bzw. Beeinträchtigung des Fahrers vermieden werden.Preferably, the control module is set up to control the mobile terminal so that a light source of the mobile terminal does not emit any wavelengths in the visible range. In this way, disruption or impairment of the driver can be avoided.

Vorzugsweise ist das Steuermodul eingerichtet, um das mobile Endgerät anzusteuern, dass eine Lichtquelle des mobilen Endgeräts Infrarotlicht emittiert. Hierdurch kann sichergestellt werden, dass das Licht einerseits nicht zu einer Störung des Fahrers führt und andererseits durch das wenigstens eine Erfassungsmodul, das eine Infrarotkamera sein kann, optimal wahrgenommen werden kann.Preferably, the control module is set up to control the mobile terminal so that a light source of the mobile terminal emits infrared light. This can ensure that, on the one hand, the light does not disturb the driver and, on the other hand, can be optimally perceived by the at least one detection module, which can be an infrared camera.

In einigen Ausführungsformen umfasst, oder ist, die Lichtquelle des mobilen Endgeräts das Display des mobilen Endgeräts und/oder eine separate Lichtquelle des mobilen Endgeräts.In some embodiments, the light source of the mobile terminal includes, or is, the display of the mobile terminal and/or a separate light source of the mobile terminal.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einer Beleuchtungssituation in einem Fahrzeuginnenraum zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann Licht einer Innenraumbeleuchtung und/oder Licht von außerhalb des Fahrzeugs erkannt und bei der Analyse der Erfassungsdaten berücksichtigt werden.Preferably, the at least one processor module is set up to further determine, based on a lighting situation in a vehicle interior, whether an active mobile terminal is located in the driver's head area. For example, light from interior lighting and/or light from outside the vehicle can be detected and taken into account when analyzing the detection data.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einem Betriebszustand des mobilen Endgeräts zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann dem Fahrzeug und damit dem Fahrerüberwachungssystem bekannt sein, dass das mobile Endgerät mit dem Fahrzeug gekoppelt ist und/oder ein aktives Telefongespräch existiert. Dies kann bei der Analyse der Erfassungsdaten berücksichtigt werden.Preferably, the at least one processor module is set up to further determine, based on an operating state of the mobile terminal, whether an active mobile terminal is located in the driver's head area. For example, the vehicle and thus the driver monitoring system may know that the mobile terminal is coupled to the vehicle and/or that an active telephone conversation exists. This can be taken into account when analyzing the collection data.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einem Fahrzustand des Fahrzeugs zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann dem Fahrzeug und damit dem Fahrerüberwachungssystem bekannt sein, dass sich das Fahrzeug bewegt. Dies kann bei der Analyse der Erfassungsdaten berücksichtigt werden.Preferably, the at least one processor module is set up to further determine, based on a driving state of the vehicle, whether an active mobile terminal is located in the driver's head area. For example, the vehicle and thus the driver monitoring system may be aware that the vehicle is moving. This can be taken into account when analyzing the collection data.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einer Sitzbelegung zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann dem Fahrzeug und damit dem Fahrerüberwachungssystem z.B. aufgrund eines Sitzbelegungssensors bekannt sein, dass eine Person im Fahrersitz sitzt. Dies kann bei der Analyse der Erfassungsdaten berücksichtigt werden.Preferably, the at least one processor module is set up to further determine, based on seat occupancy, whether an active mobile terminal is located in the driver's head area. For example, the vehicle and thus the driver monitoring system can know, for example due to a seat occupancy sensor, that a person is sitting in the driver's seat. This can be taken into account when analyzing the collection data.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einem Fahrerverhalten zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann durch eine Analyse der Erfassungsdaten erkannt werden, dass der Fahrer spricht (z.B. aufgrund von Lippenbewegungen). Dies kann als Indiz dafür gewertet werden, dass der Fahrer das mobile Endgerät aktiv nutzt.Preferably, the at least one processor module is set up to further determine, based on driver behavior, whether an active mobile terminal is located in the driver's head area. For example, by analyzing the capture data, it can be recognized that the driver is speaking (e.g. based on lip movements). This can be seen as an indication that the driver is actively using the mobile device.

Vorzugsweise ist das wenigstens eine Prozessormodul eingerichtet, um weiter basierend auf einer Körperhaltung des Fahrers zu ermitteln, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Beispielsweise kann durch eine Analyse der Erfassungsdaten ermittelt werden, dass der Fahrer nur eine Hand am Lenkrad hat und/oder eine andere Hand im Kopfbereich positioniert ist. Dies kann als Indiz dafür gewertet werden, dass der Fahrer das mobile Endgerät aktiv nutzt.Preferably, the at least one processor module is set up to further determine, based on a posture of the driver, whether an active mobile terminal is located in the driver's head area. For example, by analyzing the detection data, it can be determined that the driver only has one hand on the steering wheel and/or another hand is positioned in the head area. This can be seen as an indication that the driver is actively using the mobile device.

Vorzugsweise ist das Fahrerüberwachungssystem eingerichtet, um wenigstens eine Fahrzeugfunktion anzusteuern oder eine Ansteuerung der wenigstens einen Fahrzeugfunktion zu veranlassen, wenn bestimmt wird, dass sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.Preferably, the driver monitoring system is set up to control at least one vehicle function or to cause the at least one vehicle function to be activated when it is determined that an active mobile terminal is located in the driver's head area.

In einigen Ausführungsformen kann das Fahrerüberwachungssystem eingerichtet sein, um die wenigstens eine Fahrzeugfunktion derart anzusteuern oder eine Ansteuerung der wenigstens einen Fahrzeugfunktion derart zu veranlassen, dass ein Fahrerhinweis, insbesondere ein Warnhinweis, ausgegeben wird. Durch die Ausgabe des Fahrerhinweis kann der Fahrer dazu veranlasst werden, die aktive Nutzung des mobilen Endgeräts zu beenden.In some embodiments, the driver monitoring system can be set up to control the at least one vehicle function or to cause the at least one vehicle function to be activated in such a way that a driver message, in particular a warning message, is output. By issuing the driver message, the driver can be prompted to stop actively using the mobile device.

Der Fahrerhinweis kann optisch und/oder akustisch und/oder haptisch ausgegeben werden.The driver notification can be issued visually and/or acoustically and/or haptically.

Die optische Ausgabe kann zum Beispiel durch eine Anzeigevorrichtung des Fahrzeugs erfolgen. Die Anzeigevorrichtung kann beispielsweise ein Display eines Infotainmentsystems sein. Typischerweise ist das Display im oder am Armaturenbrett des Fahrzeugs installiert. Das Display kann zum Beispiel eine Headunit sein. In einigen Ausführungsformen ist das Display ein LCD-Display, ein Plasma-Display oder ein OLED-Display.The optical output can take place, for example, through a display device in the vehicle. The display device can be, for example, a display of an infotainment system. Typically, the display is installed in or on the vehicle dashboard. The display can be a head unit, for example. In some embodiments, the display is an LCD display, a plasma display, or an OLED display.

Die akustische Ausgabe kann zum Beispiel durch einen Lautsprecher des Fahrzeugs erfolgen. Die haptische Ausgabe kann zum Beispiel durch eine Vibration des Lenkrads erfolgen.The acoustic output can take place, for example, through a loudspeaker in the vehicle. The haptic output can occur, for example, by vibrating the steering wheel.

Ergänzend oder alternativ kann das Fahrerüberwachungssystem eingerichtet sein, um die wenigstens eine Fahrzeugfunktion derart anzusteuern oder eine Ansteuerung der wenigstens einen Fahrzeugfunktion derart zu veranlassen, dass eine Fahrfunktion zum automatisierten Fahren aktiviert wird. Anders gesagt kann das Fahrzeug die Fahrzeugführung übernehmen, wenn der Fahrer aufgrund einer Nutzung eines mobilen Endgeräts abgelenkt sein könnte. Hierdurch kann das Entstehen von gefährlichen Situationen vermieden werden.Additionally or alternatively, the driver monitoring system can be set up to control the at least one vehicle function or to cause the at least one vehicle function to be activated in such a way that a driving function for automated driving is activated. In other words, the vehicle can take over control of the vehicle if the driver could be distracted due to using a mobile device. This can prevent dangerous situations from occurring.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das Fahrerüberwachungssystem gemäß den Ausführungsformen der vorliegenden Offenbarung.According to a further independent aspect of the present disclosure, a vehicle, in particular a motor vehicle, is specified. The vehicle includes the driver monitoring system according to embodiments of the present disclosure.

Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.The term vehicle includes cars, trucks, buses, mobile homes, motorcycles, etc. that are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport.

Vorzugsweise umfasst das Fahrzeug ein Fahrassistenzsystem zum automatisierten Fahren. In einigen Ausführungsformen kann das Fahrassistenzsystem zum automatisierten Fahren automatisch aktiviert werden, wenn das Fahrerüberwachungssystem bestimmt, dass sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet. Anders gesagt kann das Fahrzeug die Fahrzeugführung übernehmen, wenn der Fahrer aufgrund einer missbräuchlichen Nutzung eines mobilen Endgeräts abgelenkt sein könnte. Hierdurch kann das Entstehen von gefährlichen Situationen vermieden werden.The vehicle preferably includes a driving assistance system for automated driving. In some embodiments, the driver assistance system for automated driving may be activated automatically when the driver monitoring system determines that an active mobile device is in the driver's head area. In other words, the vehicle can take over control of the vehicle if the driver could be distracted due to improper use of a mobile device. This can prevent dangerous situations from occurring.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).In the context of the document, the term “automated driving” can be understood to mean driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. Automated driving can, for example, involve driving for a longer period of time on the motorway or driving for a limited period of time as part of parking or maneuvering. The term “automated driving” includes automated driving with any level of automation. Examples of levels of automation include assisted, partially automated, highly automated or fully automated driving. These levels of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research Compact”, edition 11/2012).

Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.During assisted driving, the driver permanently performs longitudinal or lateral guidance while the system takes over the other function within certain limits. In partially automated driving (TAF), the system takes over longitudinal and lateral guidance for a certain period of time and/or in specific situations, whereby the driver must continuously monitor the system, as with assisted driving. In highly automated driving (HAF), the system takes over longitudinal and lateral guidance for a certain period of time without the driver having to permanently monitor the system; However, the driver must be able to take over control of the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically handle driving in all situations for a specific application; A driver is no longer required for this application.

Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.The four levels of automation mentioned above correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). Furthermore, SAE J3016 specifies SAE level 5 as the highest level of automation, which is not included in the BASt definition. SAE Level 5 corresponds to driverless driving, in which the system can automatically handle all situations throughout the journey like a human driver; a driver is generally no longer required.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrerüberwachungsverfahren für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrerüberwachungsverfahren umfasst ein Erfassen eines Kopfbereichs eines Fahrers und Bereitstellen entsprechender Erfassungsdaten; ein Bestimmen einer Helligkeitsverteilung im Kopfbereich des Fahrers basierend auf den Erfassungsdaten; und ein Ermitteln, basierend auf der Helligkeitsverteilung, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.According to a further independent aspect of the present disclosure, a driver monitoring method for a vehicle, in particular a motor vehicle, is specified. The driver monitoring method includes detecting a head area of a driver and providing corresponding detection data; determining a brightness distribution in the driver's head area based on the detection data; and determining, based on the brightness distribution, whether an active mobile terminal is located in the driver's head area.

Das Fahrerüberwachungsverfahren kann die Aspekte des in diesem Dokument beschriebenen Fahrerüberwachungssystems implementieren.The driver monitoring method may implement the aspects of the driver monitoring system described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrerüberwachungsverfahren auszuführen.According to another independent aspect of the present disclosure, a software (SW) program is provided. The SW program can be set up to run on one or more processors and thereby carry out the driver monitoring procedure described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrerüberwachungsverfahren auszuführen.According to another independent aspect of the present disclosure, a storage medium is provided. The storage medium may include a SW program that is configured to run on one or more processors and thereby the in the carry out driver monitoring procedures described in this document.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des Fahrerüberwachungsverfahrens auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.According to a further independent aspect of the present disclosure, software is to be executed with program code for carrying out the driver monitoring method when the software runs on one or more software-controlled devices.

Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrerüberwachungssystem angegeben. Das Fahrerüberwachungssystem umfasst einen oder mehrere Prozessoren; und wenigstens einen Speicher, der mit dem einen oder den mehreren Prozessoren verbunden ist und Anweisungen enthält, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, um das in diesem Dokument beschriebene Fahrerüberwachungsverfahren auszuführen.According to another independent aspect of the present disclosure, a driver monitoring system is provided. The driver monitoring system includes one or more processors; and at least one memory coupled to the one or more processors and containing instructions executable by the one or more processors to carry out the driver monitoring method described herein.

Ein Prozessor bzw. ein Prozessormodul ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.A processor or a processor module is a programmable arithmetic unit, i.e. a machine or an electronic circuit that controls other elements according to instructions given and thereby drives an algorithm (process).

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:

  • 1 schematisch ein Fahrerüberwachungssystem gemäß Ausführungsformen der vorliegenden Offenbarung,
  • 2 schematisch einen Kopfbereich eines Fahrers und ein mobiles Endgerät gemäß Ausführungsformen der vorliegenden Offenbarung, und
  • 3 ein Flussdiagram eines Fahrerüberwachungsverfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.
Embodiments of the disclosure are shown in the figures and are described in more detail below. Show it:
  • 1 schematically shows a driver monitoring system according to embodiments of the present disclosure,
  • 2 schematically a head area of a driver and a mobile terminal according to embodiments of the present disclosure, and
  • 3 a flowchart of a driver monitoring method according to embodiments of the present disclosure.

Ausführungsformen der OffenbarungEmbodiments of the disclosure

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.In the following, unless otherwise noted, the same reference numerals are used for elements that are the same and have the same effect.

1 zeigt schematisch ein Fahrerüberwachungssystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung. 2 zeigt schematisch einen Kopfbereich KB eines Fahrers und ein mobiles Endgerät 10 gemäß Ausführungsformen der vorliegenden Offenbarung. 1 schematically shows a driver monitoring system 100 according to embodiments of the present disclosure. 2 schematically shows a head area KB of a driver and a mobile terminal 10 according to embodiments of the present disclosure.

Das Fahrerüberwachungssystem 100 umfasst wenigstens ein Erfassungsmodul 110, das eingerichtet ist, um einen Kopfbereich KB eines Fahrers zu erfassen und entsprechende Erfassungsdaten bereitzustellen. Das wenigstens eine Erfassungsmodul 110 kann eine Innenraumkamera sein, die für eine Fahrerüberwachung vorgesehen ist und Bilddaten als die Erfassungsdaten ausgibt. In einigen Ausführungsformen kann die Innenraumkamera eine Infrarotkamera sein.The driver monitoring system 100 includes at least one detection module 110, which is set up to detect a head area KB of a driver and to provide corresponding detection data. The at least one detection module 110 may be an interior camera that is intended for driver monitoring and outputs image data as the detection data. In some embodiments, the indoor camera may be an infrared camera.

Das Fahrerüberwachungssystem 100 umfasst weiter wenigstens ein Prozessormodul 120. Das wenigstens eine Prozessormodul 120 ist eingerichtet, um basierend auf den Erfassungsdaten des wenigstens einen Erfassungsmoduls 110 eine Helligkeitsverteilung im Kopfbereich KB des Fahrers zu bestimmen; und basierend auf der Helligkeitsverteilung zu ermitteln, ob sich ein aktives mobiles Endgerät 10 im Kopfbereich KB des Fahrers befindet.The driver monitoring system 100 further comprises at least one processor module 120. The at least one processor module 120 is set up to determine a brightness distribution in the driver's head area KB based on the detection data of the at least one detection module 110; and based on the brightness distribution, determine whether an active mobile terminal 10 is located in the driver's head area KB.

Die Helligkeitsverteilung im Kopfbereich KB des Fahrers wird durch eine Lichtquelle des mobilen Endgeräts 10 erzeugt oder zumindest beeinflusst. Die Lichtquelle des mobilen Endgeräts 10 kann zum Beispiel ein Display oder eine andere Lichtquelle des mobilen Endgeräts 10, wie zum Beispiel eine Infrarotlichtquelle, sein. Insbesondere emittiert die Lichtquelle Licht und beleuchtet einen Bereich BB, wie zum Beispiel ein Gesicht oder einen Teil des Gesichts des Fahrers. Diese Beleuchtung kann durch das Fahrerüberwachungssystem 100 erfasst und als Indiz dafür gewertet werden, dass der Fahrer das mobile Endgerät 10 aktuell nutzt. Optional kann das Fahrerüberwachungssystem 100 zusätzlich zur erfassten Helligkeitsverteilung weitere Informationen nutzen, um zu bestimmen, ob der Fahrer das mobile Endgerät 10 aktuell nutzt.The brightness distribution in the driver's head area KB is generated or at least influenced by a light source of the mobile terminal 10. The light source of the mobile terminal 10 can be, for example, a display or another light source of the mobile terminal 10, such as an infrared light source. In particular, the light source emits light and illuminates an area BB, such as a face or part of the driver's face. This lighting can be detected by the driver monitoring system 100 and interpreted as an indication that the driver is currently using the mobile terminal 10. Optionally, the driver monitoring system 100 can use additional information in addition to the detected brightness distribution to determine whether the driver is currently using the mobile terminal 10.

In einer beispielhaften Ausführungsform kann das Fahrerüberwachungssystem 100 ein mobiles Endgerät in der Nähe des Gesichts des Fahrers erkennen. Das Fahrerüberwachungssystem 100 kann dann mittels einer Innenraumsensorik, wie einer Innenraumkamera, eine aktuelle Beleuchtungssituation im Fahrzeuginnenraum auswerten. Optional kann das Fahrerüberwachungssystem 100 hierzu weitere Fahrzeugsensoren verwenden, wie zum Beispiel externe Sensoren, um einen Lichteintrag in den Fahrzeuginnenraum von außerhalb bei der Auswertung der Beleuchtungssituation im Fahrzeuginnenraum zu berücksichtigen. Dies kann zum Beispiel unter Verwendung von Daten kamerabasierter Fahrassistenzsysteme (Camera Assisted Driver Assistance Systems, CADAS) erfolgen.In an exemplary embodiment, the driver monitoring system 100 may detect a mobile device near the driver's face. The driver monitoring system 100 can then evaluate a current lighting situation in the vehicle interior using an interior sensor system, such as an interior camera. Optionally, the driver monitoring system 100 can use additional vehicle sensors for this purpose, such as external sensors, in order to take into account light input into the vehicle interior from outside when evaluating the lighting situation in the vehicle interior. This can be done, for example, using data from camera-based driver assistance systems (Camera Assisted Driver Assistance Systems, CADAS).

Das Fahrerüberwachungssystem 100 kann dann bestimmen, ob eine Korrelation zwischen einer Position des mobilen Endgeräts und der Helligkeitsverteilung z.B. im Gesicht des Fahrers vorhanden ist. Ist eine solche Korrelation vorhanden, kann bestimmt werden, dass sich ein aktives mobiles Endgerät 10 im Kopfbereich KB des Fahrers befindet, d.h., dass der Fahrer das mobile Endgerät benutzt.The driver monitoring system 100 can then determine whether there is a correlation between a position of the mobile terminal and the brightness distribution, for example in the driver's face. If such a correlation exists, it can be determined that there is an active mobile end Device 10 is located in the driver's head area KB, that is, the driver is using the mobile device.

Optional kann das Fahrerüberwachungssystem 100 einen oder mehrere weitere Faktoren bei der Auswertung verwenden. Beispielsweise kann ein Zustand des Fahrzeugs und/oder ein Zustand des Fahrers z.B. aus Systemdaten ermittelt und bei der erfindungsgemäßen Auswertung berücksichtigt werden. Beispielhafte Faktoren umfassen einen Bewegungszustand des Fahrzeugs, eine Sitzbelegung, ein Fahrerverhalten, etc. Hierdurch kann insbesondere eine Genauigkeit bei der Erkennung einer aktiven Nutzung des mobilen Endgeräts 10 verbessert werden.Optionally, the driver monitoring system 100 can use one or more additional factors in the evaluation. For example, a state of the vehicle and/or a state of the driver can be determined, for example, from system data and taken into account in the evaluation according to the invention. Example factors include a movement state of the vehicle, seat occupancy, driver behavior, etc. This can in particular improve the accuracy in detecting active use of the mobile terminal 10.

In einigen Ausführungsformen kann das Fahrerüberwachungssystem 100 für eine Verbesserung einer Erkennung der Beleuchtung bzw. der Helligkeitsverteilung eingerichtet sein, um das mobile Endgerät 10 anzusteuern. Zum Beispiel kann eine automatische Abdunklung oder Deaktivierung des Display des mobilen Endgeräts 10 verhindert werden, die erfolgt, wenn das mobile Endgerät 10 bei einem aktiven Telefonat an den Kopf gehalten wird. Hierdurch kann sichergestellt werden, dass die Beleuchtung des Gesichts bei einer Nutzung des mobilen Endgeräts 10 auch tatsächlich erfolgt und durch das Fahrerüberwachungssystem 100 erfasst werden kann.In some embodiments, the driver monitoring system 100 can be set up to improve detection of the lighting or brightness distribution in order to control the mobile terminal 10. For example, automatic dimming or deactivation of the display of the mobile terminal 10, which occurs when the mobile terminal 10 is held to the head during an active telephone call, can be prevented. This can ensure that the illumination of the face actually occurs when the mobile terminal 10 is used and can be detected by the driver monitoring system 100.

Falls das Fahrerüberwachungssystem 100 bestimmt, dass sich ein aktives mobiles Endgerät 10 im Kopfbereich KB des Fahrers befindet, kann das Fahrerüberwachungssystem 100 als Reaktion auf diese Erkenntnis wenigstens eine Fahrzeugfunktion ansteuern oder eine Ansteuerung der wenigstens einen Fahrzeugfunktion veranlassen.If the driver monitoring system 100 determines that an active mobile terminal 10 is located in the driver's head area KB, the driver monitoring system 100 can activate at least one vehicle function or cause the at least one vehicle function to be activated in response to this finding.

In einem ersten Beispiel kann ein Fahrerhinweis, insbesondere ein Warnhinweis, ausgegeben werden. Durch die Ausgabe des Fahrerhinweis kann der Fahrer dazu veranlasst werden, die aktive Nutzung des mobilen Endgeräts zu beenden.In a first example, a driver message, in particular a warning message, can be issued. By issuing the driver message, the driver can be prompted to stop actively using the mobile device.

In einem zweiten Beispiel kann eine Fahrfunktion zum automatisierten Fahren aktiviert werden. Anders gesagt kann das Fahrzeug die Fahrzeugführung übernehmen, wenn der Fahrer aufgrund einer Nutzung eines mobilen Endgeräts abgelenkt sein könnte. Hierdurch kann das Entstehen von gefährlichen Situationen vermieden werden.In a second example, a driving function for automated driving can be activated. In other words, the vehicle can take over control of the vehicle if the driver could be distracted due to using a mobile device. This can prevent dangerous situations from occurring.

3 zeigt schematisch ein Flussdiagramm eines Fahrerüberwachungsverfahrens 300 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Fahrerüberwachungsverfahren 300 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist. 3 schematically shows a flowchart of a driver monitoring method 300 according to embodiments of the present disclosure. The driver monitoring method 300 may be implemented by appropriate software executable by one or more processors (eg, a CPU).

Das Fahrerüberwachungsverfahren 300 umfasst im Block 310 ein Erfassen eines Kopfbereichs eines Fahrers und Bereitstellen entsprechender Erfassungsdaten; im Block 320 ein Bestimmen einer Helligkeitsverteilung im Kopfbereich des Fahrers basierend auf den Erfassungsdaten; und im Block 330 ein Ermitteln, basierend auf der Helligkeitsverteilung, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.The driver monitoring method 300 includes, in block 310, detecting a driver's head area and providing corresponding detection data; in block 320, determining a brightness distribution in the driver's head area based on the detection data; and in block 330 determining, based on the brightness distribution, whether an active mobile terminal is located in the driver's head area.

Erfindungsgemäß wird eine Beleuchtung im Kopfbereich des Fahrers analysiert, um zu bestimmen, ob der Fahrer ein mobiles Endgerät benutzt. Insbesondere sind mobile Endgeräte im Allgemeinen mit Displays ausgestattet, die während der Nutzung Licht emittieren und den Kopfbereich des Fahrers beleuchten, insbesondere das Gesicht oder einen Teil des Gesichts. Diese zusätzliche Beleuchtung wird erkannt und als Indiz für die Nutzung des mobilen Endgeräts gewertet. Falls eine solche Nutzung des mobilen Endgeräts erkannt wird, können geeignete Maßnahmen ergriffen werden, wie zum Beispiel ein Ausgeben eines Fahrerhinweises und/oder ein Aktivieren einer Fahrassistenzfunktion zum automatisierten Fahren. Im Ergebnis kann eine Sicherheit im Straßenverkehr verbessert werden.According to the invention, lighting in the driver's head area is analyzed to determine whether the driver is using a mobile device. In particular, mobile devices are generally equipped with displays that emit light during use and illuminate the driver's head area, in particular the face or part of the face. This additional lighting is recognized and viewed as an indication that the mobile device is being used. If such use of the mobile device is detected, suitable measures can be taken, such as issuing a driver notification and/or activating a driving assistance function for automated driving. As a result, road safety can be improved.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the examples disclosed and other variations may be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a large number of possible variations exist. It is also to be understood that exemplary embodiments are truly examples only and should not be construed in any way as limiting the scope, application, or configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to concretely implement the exemplary embodiments, whereby the person skilled in the art can make a variety of changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, with knowledge of the disclosed inventive concept, without To leave the scope of protection, which is defined by the claims and their legal equivalents, such as further explanations in the description.

Claims (10)

Fahrerüberwachungssystem (100) für ein Fahrzeug, umfassend: wenigstens ein Erfassungsmodul (110), das eingerichtet ist, um einen Kopfbereich (KB) eines Fahrer zu erfassen und entsprechende Erfassungsdaten bereitzustellen; und wenigstens ein Prozessormodul (120), das eingerichtet ist, um: basierend auf den Erfassungsdaten eine Helligkeitsverteilung im Kopfbereich (KB) des Fahrers zu bestimmen; und basierend auf der Helligkeitsverteilung zu ermitteln, ob sich ein aktives mobiles Endgerät (10) im Kopfbereich (KB) des Fahrers befindet.Driver monitoring system (100) for a vehicle, comprising: at least one detection module (110) which is set up to detect a head area (KB) of a driver and corresponding detection data to provide; and at least one processor module (120) that is set up to: determine a brightness distribution in the driver's head area (KB) based on the detection data; and based on the brightness distribution, determining whether an active mobile terminal (10) is in the driver's head area (KB). Fahrerüberwachungssystem (100) nach Anspruch 1, wobei die Helligkeitsverteilung eine Helligkeitsverteilung in einem Gesicht oder einem Teil des Gesichts des Fahrers ist.Driver monitoring system (100). Claim 1 , where the brightness distribution is a brightness distribution in a face or part of the driver's face. Fahrerüberwachungssystem (100) nach Anspruch 1 oder 2, wobei das wenigstens eine Prozessormodul (120) eingerichtet ist, um basierend auf den Erfassungsdaten eine Objekterkennung durchzuführen, um das mobile Endgerät (10) zu erkennen, insbesondere wobei das wenigstens eine Prozessormodul (120) eingerichtet ist, um basierend auf der Helligkeitsverteilung und der Objekterkennung zu ermitteln, ob sich das aktive mobile Endgerät (10) im Kopfbereich (KB) des Fahrers befindet.Driver monitoring system (100). Claim 1 or 2 , wherein the at least one processor module (120) is set up to carry out object recognition based on the detection data in order to recognize the mobile terminal (10), in particular wherein the at least one processor module (120) is set up to based on the brightness distribution and the Object detection to determine whether the active mobile device (10) is in the driver's head area (KB). Fahrerüberwachungssystem (100) nach einem der Ansprüche 1 bis 3, wobei das wenigstens eine Prozessormodul (120) eingerichtet ist, um basierend auf den Erfassungsdaten eine relative Position zwischen dem mobilen Endgerät (10) und einem Kopf des Fahrers zu bestimmen, insbesondere wobei das wenigstens eine Prozessormodul (120) eingerichtet ist, um basierend auf der Helligkeitsverteilung und der relativen Position zwischen dem mobilen Endgerät (10) und dem Kopf des Fahrers zu ermitteln, ob sich das aktive mobile Endgerät (10) im Kopfbereich (KB) des Fahrers befindet.Driver monitoring system (100) according to one of the Claims 1 until 3 , wherein the at least one processor module (120) is set up to determine a relative position between the mobile terminal (10) and a head of the driver based on the detection data, in particular wherein the at least one processor module (120) is set up to based on the brightness distribution and the relative position between the mobile terminal (10) and the driver's head to determine whether the active mobile terminal (10) is in the driver's head area (KB). Fahrerüberwachungssystem (100) nach einem der Ansprüche 1 bis 4, weiter umfassend ein Steuermodul, das eingerichtet ist, um das mobile Endgerät (10), insbesondere ein Display, für eine Beeinflussung der Helligkeitsverteilung anzusteuern.Driver monitoring system (100) according to one of the Claims 1 until 4 , further comprising a control module that is set up to control the mobile terminal (10), in particular a display, to influence the brightness distribution. Fahrerüberwachungssystem (100) nach Anspruch 5, wobei das Steuermodul eingerichtet ist, um: - das mobile Endgerät (10) anzusteuern, dass keine Abdunklung oder Deaktivierung eines Displays erfolgt; und/oder - das mobile Endgerät (10) anzusteuern, dass eine Lichtquelle des mobilen Endgeräts (10) ein vorbestimmtes Lichtmuster emittiert; und/oder - das mobile Endgerät (10) anzusteuern, dass eine Lichtquelle des mobilen Endgeräts (10) Wellenlängen im unsichtbaren Bereich emittiert; und/oder - das mobile Endgerät (10) anzusteuern, dass eine Lichtquelle des mobilen Endgeräts (10) keine Wellenlängen im sichtbaren Bereich emittiert; und/oder - das mobile Endgerät (10) anzusteuern, dass eine Lichtquelle des mobilen Endgeräts (10) Infrarotlicht emittiert.Driver monitoring system (100). Claim 5 , wherein the control module is set up to: - control the mobile terminal (10) so that a display is not darkened or deactivated; and/or - to control the mobile terminal (10) so that a light source of the mobile terminal (10) emits a predetermined light pattern; and/or - to control the mobile terminal (10) so that a light source of the mobile terminal (10) emits wavelengths in the invisible range; and/or - to control the mobile terminal (10) so that a light source of the mobile terminal (10) does not emit any wavelengths in the visible range; and/or - to control the mobile terminal (10) so that a light source of the mobile terminal (10) emits infrared light. Fahrerüberwachungssystem (100) nach einem der Ansprüche 1 bis 6, wobei das wenigstens eine Prozessormodul (120) eingerichtet ist, um weiter basierend auf wenigstens einem der folgenden Aspekte zu ermitteln, ob sich ein aktives mobiles Endgerät (10) im Kopfbereich (KB) des Fahrers befindet: - einer Beleuchtungssituation in einem Fahrzeuginnenraum, insbesondere aufgrund einer Innenraumbeleuchtung und/oder Licht von außerhalb des Fahrzeugs; und/oder - einem Betriebszustand des mobilen Endgeräts (10), insbesondere einer Kopplung mit dem Fahrzeug und/oder einem aktiven Telefongespräch; und/oder - einem Fahrzustand des Fahrzeugs; und/oder - einer Sitzbelegung; und/oder - einem Fahrerverhalten; und/oder - einer Körperhaltung des Fahrers.Driver monitoring system (100) according to one of the Claims 1 until 6 , wherein the at least one processor module (120) is set up to further determine based on at least one of the following aspects whether an active mobile terminal (10) is located in the driver's head area (KB): - a lighting situation in a vehicle interior, in particular due to interior lighting and/or light from outside the vehicle; and/or - an operating state of the mobile terminal (10), in particular a coupling with the vehicle and/or an active telephone conversation; and/or - a driving condition of the vehicle; and/or - a seat occupancy; and/or - driver behavior; and/or - a posture of the driver. Fahrzeug (10), insbesondere Kraftfahrzeug, umfassend das Fahrerüberwachungssystem (100) nach einem der Ansprüche 1 bis 7.Vehicle (10), in particular motor vehicle, comprising the driver monitoring system (100) according to one of Claims 1 until 7 . Fahrerüberwachungsverfahren (300) für ein Fahrzeug, umfassend: Erfassen (310) eines Kopfbereichs eines Fahrers und Bereitstellen entsprechender Erfassungsdaten; Bestimmen (320) einer Helligkeitsverteilung im Kopfbereich des Fahrers basierend auf den Erfassungsdaten; und Ermitteln (330), basierend auf der Helligkeitsverteilung, ob sich ein aktives mobiles Endgerät im Kopfbereich des Fahrers befindet.Driver monitoring method (300) for a vehicle, comprising: detecting (310) a head area of a driver and providing corresponding detection data; determining (320) a brightness distribution in the driver's head area based on the detection data; and Determine (330), based on the brightness distribution, whether an active mobile device is located in the driver's head area. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Fahrerüberwachungsverfahren (300) gemäß Anspruch 9 auszuführen.Storage medium comprising a software program configured to execute on one or more processors and thereby to implement the driver monitoring method (300) according to Claim 9 to carry out.
DE102022112429.0A 2022-05-18 2022-05-18 Driver monitoring system and driver monitoring method for a vehicle Pending DE102022112429A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022112429.0A DE102022112429A1 (en) 2022-05-18 2022-05-18 Driver monitoring system and driver monitoring method for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022112429.0A DE102022112429A1 (en) 2022-05-18 2022-05-18 Driver monitoring system and driver monitoring method for a vehicle

Publications (1)

Publication Number Publication Date
DE102022112429A1 true DE102022112429A1 (en) 2023-11-23

Family

ID=88599857

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022112429.0A Pending DE102022112429A1 (en) 2022-05-18 2022-05-18 Driver monitoring system and driver monitoring method for a vehicle

Country Status (1)

Country Link
DE (1) DE102022112429A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324378A1 (en) 2016-11-16 2018-05-23 Ambrosetti, Sergio Aido Electronic safety system and method for detecting a vehicle driver's attention
US20210012126A1 (en) 2019-07-10 2021-01-14 Ambarella International Lp Detecting illegal use of phone to prevent the driver from getting a fine
DE102019133559A1 (en) 2019-12-09 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Determine the use of a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324378A1 (en) 2016-11-16 2018-05-23 Ambrosetti, Sergio Aido Electronic safety system and method for detecting a vehicle driver's attention
US20210012126A1 (en) 2019-07-10 2021-01-14 Ambarella International Lp Detecting illegal use of phone to prevent the driver from getting a fine
DE102019133559A1 (en) 2019-12-09 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Determine the use of a mobile device

Similar Documents

Publication Publication Date Title
DE102015108366B4 (en) AREA BOUNDARIES DETECTION SYSTEM
EP2752036B1 (en) Motor vehicle
DE102017130414A1 (en) VEHICLE SYSTEMS FOR CONTEXT-RELATED ASSESSMENT
DE102017113447A1 (en) Driving behavior analysis based on vehicle braking
DE102015210781A1 (en) Method and control unit for communication between an autonomous vehicle and a road user
DE102019124629A1 (en) PARKING AID BASED ON OPEN VEHICLE DOOR POSITIONS
DE102018107756A1 (en) SYSTEMS FOR SUBMITTING A WARNING SIGNAL FROM A VEHICLE TO WARNING ENTITIES NEARBY
DE10103401A1 (en) Hazard prevention system for a vehicle
DE112012002381T5 (en) Driver assistance detection system
DE102013211444A1 (en) Warning systems and methods for a vehicle
DE102016103612A1 (en) User interface of an in-vehicle component
DE102014204980B4 (en) Method and apparatus for restricting or forcibly activating motor vehicle functions
DE102019100567A1 (en) USE-BASED INSURANCE COMPANIES
DE112012006761T5 (en) Driving assistance device
DE102020206946A1 (en) AUTONOMOUS VEHICLE CONTROL SYSTEM AND AUTONOMOUS VEHICLE CONTROL METHOD USING THE SAME
DE102014217666A1 (en) VEHICLE SYSTEM FOR AUTOMATIC VIDEO RECORDING
DE102013210964A1 (en) Warning systems and warning procedures for a vehicle
DE102021116931A1 (en) USING A VEHICLE TO IDENTIFY A STATUS OF A GARAGE DOOR
DE102020105566A1 (en) MONITORING STEERING WHEEL INTERVENTION FOR AUTONOMOUS VEHICLES
DE102015210780A1 (en) Method and control unit for communication between an autonomous vehicle and an occupant
EP2547551B1 (en) Method and device for setting parameters of a plurality of light sources and audio sources
DE102017215405A1 (en) Method, mobile user device, system, computer program for controlling a mobile user device of an occupant of a vehicle
DE102017204424A1 (en) A method for providing a usage profile of a user of a motor vehicle and method for operating an output device of a motor vehicle
DE102016211034A1 (en) Information providing device for a vehicle
DE102017105762A1 (en) SYSTEM AND METHOD FOR VIRTUALLY CONVERTING STANDARD OR NON-ASSOCIATED VEHICLES

Legal Events

Date Code Title Description
R163 Identified publications notified