DE102015206209A1 - Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver - Google Patents

Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver Download PDF

Info

Publication number
DE102015206209A1
DE102015206209A1 DE102015206209.0A DE102015206209A DE102015206209A1 DE 102015206209 A1 DE102015206209 A1 DE 102015206209A1 DE 102015206209 A DE102015206209 A DE 102015206209A DE 102015206209 A1 DE102015206209 A1 DE 102015206209A1
Authority
DE
Germany
Prior art keywords
driver
frequency distribution
viewing direction
vehicle
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015206209.0A
Other languages
German (de)
Inventor
Dorin Aiteanu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102015206209.0A priority Critical patent/DE102015206209A1/en
Priority to PCT/EP2016/056335 priority patent/WO2016162207A1/en
Publication of DE102015206209A1 publication Critical patent/DE102015206209A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorgeschlagen wird ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Bestimmung der Aufmerksamkeit eines Fahrzeugführers. Das Verfahren bestimmt eine die Aufmerksamkeit eines Fahrzeugführers abbildende Maßzahl. Es umfasst die Schritte: – Erfassen einer Blickrichtung des Fahrzeugführers, – Bestimmen einer Ist-Häufigkeitsverteilung der Blickrichtung, – Bestimmen der Maßzahl als Funktion einer Abweichung der Ist-Häufigkeitsverteilung von einer Soll-Häufigkeitsverteilung der Blickrichtung.An improved method and apparatus for determining the attention of a driver is proposed. The method determines a measure of the attention of a driver. It comprises the steps of: detecting a viewing direction of the vehicle driver, determining an actual frequency distribution of the viewing direction, determining the measured value as a function of a deviation of the actual frequency distribution from a desired frequency distribution of the viewing direction.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl. Die Erfindung betrifft weiter eine Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers für ein Fahrzeug sowie ein Fahrzeug mit einer solchen Vorrichtung. The present invention relates to a method for determining a measure of the attention of a driver. The invention further relates to a device for monitoring the attention of a vehicle driver for a vehicle and a vehicle having such a device.

DE 197 34 307 A1 offenbart ein Verfahren zur Überwachung des Fahrzeugverhaltens eines Kraftfahrzeugs, wobei eine jeweils momentane Blickrichtung des Fahrers des Kraftfahrzeugs bestimmt wird. Die Blickrichtung wird mit der momentanen Fahrtrichtung des Kraftfahrzeugs verglichen. In Abhängigkeit des Vergleichsergebnisses kann ein Warnsignal erzeugt werden. DE 197 34 307 A1 discloses a method for monitoring the vehicle behavior of a motor vehicle, wherein a respective current viewing direction of the driver of the motor vehicle is determined. The viewing direction is compared with the current direction of travel of the motor vehicle. Depending on the result of the comparison, a warning signal can be generated.

DE 10 2013 002 686 A1 betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs. Dabei werden mittels einer Erfassungseinrichtung Bilder von einem Fahrer erfasst. In Abhängigkeit der erfassten Bilder wird ein Aufmerksamkeitssignal erzeugt. Dabei wird vorgeschlagen, bevorzugt auch die Blickrichtung des Fahrers zu erfassen und zur Erzeugung des Aufmerksamkeitssignals auszuwerten. DE 10 2013 002 686 A1 relates to a method for operating a motor vehicle. In this case, images are captured by a driver by means of a detection device. Depending on the captured images an attention signal is generated. It is proposed, preferably also to capture the line of sight of the driver and to evaluate the generation of the attention signal.

DE 100 24 227 A1 lehrt eine Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades eines Kraftfahrzeugführers. Dabei erfolgt die Erfassung der Blickrichtung durch eine Kamera mit nachgeschalteter Mustervergleichsauswerteeinheit. Es sollen somit Muster oder Musterkombinationen erkannt werden, die akute Schläfrigkeit oder Müdigkeit repräsentieren. Dazu sollen Fuzzy-Verfahren eingesetzt werden. DE 100 24 227 A1 teaches a device for electronically monitoring the degree of attention of a motor vehicle driver. The detection of the viewing direction is performed by a camera with a downstream pattern comparison evaluation unit. It should therefore be recognized patterns or pattern combinations that represent acute drowsiness or fatigue. For this purpose, fuzzy methods are to be used.

Ausgehend vom Stand der Technik stellt sich die Aufgabe, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Bestimmung der Aufmerksamkeit eines Fahrzeugführers anzugeben. Starting from the prior art, the object is to provide an improved method and an improved device for determining the attention of a driver.

Die Aufgabe wird gelöst bei einem Verfahren, einer Vorrichtung und einem Fahrzeug mit den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstände der abhängigen Ansprüche. The object is achieved in a method, a device and a vehicle with the features of the independent claims. Advantageous developments of the invention are subject matter of the dependent claims.

Das erfindungsgemäße Verfahren dient zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl. Eine solche Maßzahl kann beispielsweise binär sein, also Null (0) oder Eins (1). Mit einer binären Maßzahl kann ausgedrückt werden, ob der Fahrzeugführer aufmerksam ist oder nicht. Die Maßzahl kann auch eine Zahl auf einer zweiseitig begrenzten Skala sein. Beispielsweise kann die Maßzahl Werte zwischen 0 und 1 (bzw. zwischen 0 und 100 Prozent) annehmen, wobei 0 für völlige Unaufmerksamkeit und 1 für höchste Aufmerksamkeit stehen kann. Die Maßzahl kann auch eine Zahl auf einer einseitig begrenzten und einseitig offenen Skala sein. Beispielsweise kann die Maßzahl Werte größer oder gleich 0 annehmen. Es kann vorgesehen sein, dass als Maßzahl nur ganze Zahlen bestimmt werden können. The method according to the invention serves to determine a measure of the attention of a driver. Such a measure may be binary, for example, zero (0) or one (1). With a binary measure can be expressed whether the driver is attentive or not. The measure can also be a number on a two-sided limited scale. For example, the metric may take values between 0 and 1 (or between 0 and 100 percent), where 0 may be total inattention and 1 may be highest attention. The measure can also be a number on a one-sided limited and one-sided open scale. For example, the metric may take values greater than or equal to zero. It can be provided that only integers can be determined as a measure.

In einem ersten erfindungsgemäßen Verfahrensschritt wird eine Blickrichtung des Fahrzeugführers erfasst. Hierzu können an sich im Stand der Technik bekannte Blickrichtungserkennungsvorrichtungen genutzt werden, die auch unter den Bezeichnungen „eye tracker“ oder „gaze tracker“ bekannt sind. Unter der Blickrichtung ist zunächst die Raumachse zu verstehen, entlang derer der Fahrzeugführer blickt (Blickrichtungsachse). Da die Blickrichtungsachse sich mit dem den Fahrzeugführer umgebenden Fahrzeug schneidet, kann unter der Blickrichtung auch der Schnittpunkt der Blickrichtungsachse mit dem Fahrzeug oder das den Schnittpunkt umfassende Element des Fahrzeugs verstanden werden. In a first method step according to the invention, a line of sight of the vehicle driver is detected. For this purpose, in the prior art known viewing direction detection devices can be used, which are also known under the names "eye tracker" or "gaze tracker". Under the line of sight is first to understand the spatial axis along which the driver looks (line of sight). Since the line of sight intersects with the vehicle surrounding the vehicle driver, the viewing direction can also be understood to mean the intersection of the line of sight with the vehicle or the element of the vehicle that includes the intersection point.

In einem weiteren Verfahrensschritt wird eine Ist-Häufigkeitsverteilung der Blickrichtung bestimmt. Hierzu kann die gegenwärtig und zu mindestens einem vergangenen Zeitpunkt erfasste Blickrichtung des Fahrzeugführers ausgewertet werden. Die Ist-Häufigkeitsverteilung der Blickrichtung ist somit ein Maß für das Blickverhalten des Fahrzeugführers. In a further method step, an actual frequency distribution of the viewing direction is determined. For this purpose, the current and at least one past time detected viewing direction of the driver can be evaluated. The actual frequency distribution of the viewing direction is thus a measure of the gaze behavior of the vehicle driver.

In einem weiteren Verfahrensschritt wird die die Aufmerksamkeit des Fahrzeugführers abbildende Maßzahl als Funktion einer Abweichung der Ist-Häufigkeitsverteilung von einer Soll-Häufigkeitsverteilung der Blickrichtung bestimmt. Die Soll-Häufigkeitsverteilung der Blickrichtung spiegelt das ideale Blickverhalten eines höchst aufmerksamen Fahrzeugführers wider. Mit anderen Worten wird also die Maßzahl bestimmt, indem das tatsächliche Blickverhalten des Fahrzeugführers mit dem Blickverhalten eines idealen (d.h. höchst aufmerksamen) Fahrzeugführers verglichen wird. In a further method step, the measure of the attention of the vehicle driver is determined as a function of a deviation of the actual frequency distribution from a desired frequency distribution of the viewing direction. The nominal frequency distribution of the viewing direction reflects the ideal gaze behavior of a highly attentive vehicle driver. In other words, the measure is determined by comparing the actual gaze behavior of the driver with the gaze behavior of an ideal (i.e., most attentive) driver.

Versuche haben gezeigt, dass ein Fahrzeugführer seinen Blick nicht starr auf die vor ihm liegende Strecke richtet, sondern ihn über den gesamten für ihn einsehbaren Bereich (Sichtfeld) schweifen lässt. Dabei ist die Häufigkeit der Blickrichtung in aller Regel nicht gleichverteilt, sondern weist eine charakteristische Verteilung auf. Beispielsweise ist der Blick am häufigsten auf die vorausliegende Strecke gerichtet. Mit jeweils abnehmender Häufigkeit ist der Blick weiter beispielsweise auf Außen- und Rückspiegel, ein Armaturenbrett, ein Informations-Display, ein Radio und ein Seitenfenster gerichtet. Ein Abwenden des Blickes von der vorausliegenden Strecke (z.B. Straße) ist somit für sich alleine noch kein Indiz für eine mangelnde Aufmerksamkeit des Fahrzeugführers. Im Gegenteil wird ein aufmerksamer Fahrzeugführer in der Lage sein, sein komplettes Sichtfeld im Blick zu behalten, wozu er die Blickrichtung häufig ändert. Der Erfinder hat festgestellt, dass die Häufigkeitsverteilung der Blickrichtung in signifikanter Weise von der Aufmerksamkeit des Fahrzeugführers abhängt. Beispielsweise kann ein unaufmerksamer Fahrzeugführer seinen Blick mit wesentlich geringerer Häufigkeit von der vorausliegenden Strecke abgewendet haben als ein aufmerksamer Fahrzeugführer. Indem erfindungsgemäß die tatsächliche Häufigkeitsverteilung und die ideale Häufigkeitsverteilung der Blickrichtung miteinander verglichen werden, kann durch die Erfindung festgestellt werden, ob und / oder wie stark der Fahrzeugführer unaufmerksam ist. Experiments have shown that a driver does not focus his gaze on the distance in front of him, but allows him to wander over the entire area (field of vision) visible to him. The frequency of the viewing direction is usually not uniformly distributed, but has a characteristic distribution. For example, the view is most often focused on the route ahead. With decreasing frequency, the view is further directed, for example, on the exterior and rear view mirror, a dashboard, an information display, a radio and a side window. A turning away of the view from the road ahead (eg road) is therefore by itself not an indication of a lack of attention of the driver. On the contrary, an attentive driver will be able to keep an eye on his complete field of vision to keep to what he often changes the line of sight. The inventor has found that the frequency distribution of the line of sight depends significantly on the attention of the vehicle driver. For example, an inattentive driver may have averted his gaze from the trail ahead at a much lower rate than an attentive driver. By comparing the actual frequency distribution and the ideal frequency distribution of the viewing direction with one another according to the invention, it can be determined by the invention whether and / or how strongly the driver is inattentive.

In bevorzugter Ausbildung sind die Ist-Häufigkeitsverteilung der Blickrichtung und die Soll-Häufigkeitsverteilung der Blickrichtung relative Häufigkeitsverteilungen. Es addieren sich also die Häufigkeiten jeder Häufigkeitsverteilung jeweils zu eins (1) bzw. 100 Prozent. Dies hat den Vorteil, dass die Häufigkeitsverteilungen unmittelbar miteinander vergleichbar sind und die Funktion der Abweichung der Ist-Häufigkeitsverteilung von der Soll-Häufigkeitsverteilung der Blickrichtung bestimmt werden kann, ohne zunächst eine der oder beide Häufigkeitsverteilungen normieren zu müssen. Dem Fachmann sind unterschiedliche Methoden zur Bestimmung einer Maßzahl als Funktion einer Abweichung zweier Häufigkeitsverteilungen, insbesondere zweier relativer Häufigkeitsverteilungen, bekannt. Es sei darauf hingewiesen, dass die Erfindung jede dieser Methoden umfasst und nicht auf eine bestimmte Methode beschränkt ist. Beispielhafte Methoden zur Bestimmung der Maßzahl sind untenstehend mit Bezug zu den Figuren anhand eines Ausführungsbeispiels näher beschrieben. In a preferred embodiment, the actual frequency distribution of the viewing direction and the desired frequency distribution of the viewing direction are relative frequency distributions. Thus, the frequencies of each frequency distribution add up to one (1) or 100 percent respectively. This has the advantage that the frequency distributions are directly comparable with one another and the function of the deviation of the actual frequency distribution from the desired frequency distribution of the viewing direction can be determined without first having to normalize one or both of the frequency distributions. The person skilled in the art is familiar with different methods for determining a measure as a function of a deviation of two frequency distributions, in particular two relative frequency distributions. It should be understood that the invention includes each of these methods and is not limited to any particular method. Exemplary methods for determining the measure are described below with reference to the figures using an exemplary embodiment.

In einer besonders vorteilhaften Ausgestaltung umfasst das Verfahren einen zusätzlichen Schritt, bei welchem die Blickrichtung zu einem Teilbereich eines Sichtbereichs des Fahrzeugführers zugeordnet wird. Die Ist-Häufigkeitsverteilung der Blickrichtung und die Soll-Häufigkeitsverteilung der Blickrichtung sind dann Häufigkeitsverteilungen der Teilbereiche. Als Teilbereiche können mit besonderem Vorteil Bereiche des Sichtbereichs dienen, die beim Führen des Fahrzeugs von Bedeutung sind. Ein Teilbereich kann ein Element des Fahrzeugs sein, beispielsweise ein Display oder ein Spiegel. Ein Teilbereich kann auch ein Bereich des Sichtfelds sein, der durch die Verkehrssituation definiert ist. Beispielsweise kann ein Teilbereich derjenige Bereich einer Frontscheibe des Fahrzeugs sein, in dem die vorausliegende Fahrspur sichtbar ist. Ein Teilbereich kann auch als Sektor des Sichtbereichs bezeichnet werden. Wie vorstehend beschrieben kann bei der Blickrichtungserkennung durch Bestimmung des Schnittpunkts der Blickrichtungsachse mit dem Fahrzeug ein bestimmtes Element des Fahrzeugs oder ein bestimmter Teilbereich identifiziert werden. Teilbereiche des Sichtbereichs des Fahrzeugführers eines Kraftfahrzeugs können beispielsweise umfassen

  • • ein linkes Seitenfenster,
  • • einen linken Außenspiegel,
  • • einen durch die Frontscheibe sichtbaren Horizont,
  • • einen durch die Frontscheibe sichtbaren Bereich links der eigenen Fahrspur,
  • • eine eigene Fahrspur,
  • • ein Kombiinstrument der Armaturentafel,
  • • einen durch die Frontscheibe sichtbaren Bereich rechts der eigenen Fahrspur,
  • • ein an der Mittelkonsole angeordnetes Bedienelement,
  • • einen Innenspiegel oder Rückspiegel,
  • • ein mittig im Fahrzeug angeordnetes Display,
  • • einen rechten Außenspiegel,
  • • ein rechtes Seitenfenster.
In a particularly advantageous embodiment, the method comprises an additional step, in which the viewing direction is assigned to a partial area of a viewing area of the vehicle driver. The actual frequency distribution of the viewing direction and the desired frequency distribution of the line of sight are then frequency distributions of the partial areas. As subregions, areas of the field of vision that are important when driving the vehicle can be used with particular advantage. A partial area may be an element of the vehicle, for example a display or a mirror. A subarea may also be an area of the field of view defined by the traffic situation. For example, a partial area may be that area of a windshield of the vehicle in which the preceding lane is visible. A subarea may also be referred to as a sector of the field of view. As described above, in the sight line detection, by determining the intersection of the line of sight with the vehicle, a particular element of the vehicle or a specific section can be identified. Subregions of the field of vision of the vehicle driver of a motor vehicle may comprise, for example
  • • a left side window,
  • • a left side mirror,
  • • a horizon visible through the windscreen,
  • • an area visible through the windscreen to the left of your own lane,
  • • own lane,
  • • an instrument panel of the dashboard,
  • • an area visible through the windscreen to the right of your own lane,
  • A control element arranged on the center console,
  • • an interior mirror or rearview mirror,
  • A display arranged centrally in the vehicle,
  • • a right side mirror,
  • • a right side window.

Indem für die Erfindung Häufigkeitsverteilungen der Teilbereiche genutzt werden, kann ein noch aussagekräftigeres Ergebnis erzielt werden. Es wird nämlich dann nur die Häufigkeit erfasst, mit der der Blick in die jeweiligen Teilbereiche gerichtet ist. Hingegen wird die Veränderung der Blickrichtung innerhalb eines Teilbereiches nicht mehr erfasst. Beispielsweise kann es sein, dass ein Fahrer seinen Blick starr auf die vorausliegende Fahrspur richtet, während ein anderer Fahrer seinen Blick innerhalb des die Fahrspur umfassenden Teilbereichs schweifen lässt. Hieraus kann jedoch noch nicht unmittelbar auf die Aufmerksamkeit dieser beiden beispielhaften Fahrer geschlossen werden. Indem Häufigkeitsverteilungen der Teilbereiche genutzt werden, geht die Veränderung der Blickrichtung innerhalb eines Teilbereichs nicht in die Bestimmung der Maßzahl ein. By using frequency distributions of the subareas for the invention, an even more meaningful result can be achieved. In that case, only the frequency with which the gaze is directed into the respective subregions is detected. On the other hand, the change in the viewing direction within a subarea is no longer recorded. For example, one driver may focus his eyes fixedly on the lane ahead, while another driver may let his gaze wander within the lane area. From this, however, it is not possible to immediately deduce the attention of these two exemplary drivers. By using frequency distributions of the subareas, the change in the viewing direction within a subarea is not included in the determination of the measure.

Es ist möglich und ausdrücklich von der Erfindung umfasst, dass die Ist-Häufigkeitsverteilung der Blickrichtung zunächst nicht mit Bezug zu den Teilbereichen, sondern örtlich fein aufgelöst erfasst wird. Aus der derart erfassten Ist-Häufigkeitsverteilung der Blickrichtung lässt sich in einem nachfolgenden Schritt die Ist-Häufigkeitsverteilung der Teilbereiche durch örtliche Quantisierung der Ist-Häufigkeitsverteilung der Blickrichtung ermitteln. Somit ist es auch möglich, das erfindungsgemäße Verfahren mit veränderlichen Teilbereichen durchzuführen, ohne dass hierzu zwingend die Schritte des Erfassens der Blickrichtung des Fahrzeugführers und des Bestimmens der Ist-Häufigkeitsverteilung der Blickrichtung verändert werden müssen. It is possible and expressly encompassed by the invention that the actual frequency distribution of the viewing direction is initially detected not with reference to the subareas, but locally finely resolved. From the actual frequency distribution of the viewing direction detected in this way, the actual frequency distribution of the partial areas can be determined in a subsequent step by local quantization of the actual frequency distribution of the viewing direction. Thus, it is also possible to carry out the method according to the invention with variable subregions without necessarily having to change the steps of detecting the viewing direction of the vehicle driver and determining the actual frequency distribution of the viewing direction.

In weiterer Ausgestaltung erfolgt der Schritt des Erfassens der Blickrichtung des Fahrzeugführers für eine vorgegebene Zeitdauer. Die Ist-Häufigkeitsverteilung der Blickrichtung wird dann aus der für die vorbestimmte Zeitdauer erfassten Blickrichtung bestimmt. Mit anderen Worten wird die Ist-Häufigkeitsverteilung bestimmt, indem die Blickrichtung für eine vorbestimmte Zeitdauer, beispielsweise für 10 Sekunden, erfasst wird. Dies kann bevorzugt fortlaufend durchgeführt werden, so dass zu jedem Zeitpunkt eine Ist-Häufigkeitsverteilung bestimmt wird, die die Häufigkeiten der Blickrichtungen widerspiegelt. In a further embodiment, the step of detecting the viewing direction of the vehicle driver for a predetermined period of time takes place. The actual frequency distribution of the viewing direction is then determined from the viewing direction detected for the predetermined time duration. In other words, the actual frequency distribution is determined by the line of sight for a predetermined period of time, for example, for 10 seconds, is detected. This can preferably be carried out continuously, so that an actual frequency distribution is determined at each time, which reflects the frequencies of the viewing directions.

Mit besonderem Vorteil kann das Verfahren vorsehen, dass eine gegenwärtige Fahrsituation bestimmt wird und die Zeitdauer in Abhängigkeit der gegenwärtigen Fahrsituation vorgegeben wird. Dieser Ausgestaltung liegt die Erkenntnis zugrunde, dass charakteristische statistische Muster, welche Rückschlüsse auf die Aufmerksamkeit des Fahrzeugführers zulassen, innerhalb einer bestimmten Zeitdauer zu beobachten sind, wobei diese Zeitdauer von der konkreten Fahrsituation abhängig ist. Mit anderen Worten ist in manchen Fahrsituationen eine Beurteilung der Aufmerksamkeit des Fahrzeugführers innerhalb einer relativ kurzen Beobachtungsdauer möglich, wohingegen in anderen Fahrsituationen eine Beurteilung der Aufmerksamkeit des Fahrzeugführers eine relativ lange Beobachtungsdauer erfordert. Eine gegenwärtige Fahrsituation kann eine Fahrgeschwindigkeit betreffen. Bevorzugt kann vorgesehen sein, die Zeitdauer proportional zur Fahrgeschwindigkeit zu erhöhen. Beispielsweise kann die Zeitdauer bei einer Fahrgeschwindigkeit von 130 km/h auf einer Autobahn 30 Sekunden betragen und bei einer Fahrgeschwindigkeit von 30 km/h in einer verkehrsberuhigten Zone 5 Sekunden. Eine gegenwärtige Fahrsituation kann einen Straßentyp (z.B. Autobahn, Landstraße, Stadtverkehr) betreffen. Eine gegenwärtige Fahrsituation kann eine gegenwärtige oder bevorstehende Fahraktion betreffen, z.B. ein Spurwechsel, eine Abbiegevorgang und dergleichen. Zur Bestimmung der gegenwärtigen Fahrsituation kann bevorzugt ein Fahrerassistenzsystem des Fahrzeugs genutzt werden, dass diese Information ohnehin erfasst. Beispielsweise kann ein Navigationssystem des Fahrzeugs über eine Straßentypinformation verfügen. Beispielsweise kann ein Zentralsteuergerät des Fahrzeugs über Fahrzeuginformationen wie Fahrgeschwindigkeit, Lenkwinkel und dergleichen verfügen. So kann beispielsweise ein gegenwärtiger oder bevorstehender Abbiegevorgang anhand des Lenkwinkels und eines aktivierten Richtungsanzeigers (Blinkers) bestimmt werden. With particular advantage, the method can provide that a current driving situation is determined and the time duration is predefined as a function of the current driving situation. This refinement is based on the knowledge that characteristic statistical patterns which allow conclusions to be drawn about the driver's attention are to be observed within a certain period of time, this time duration being dependent on the specific driving situation. In other words, in some driving situations, a judgment of the driver's attention within a relatively short observation period is possible, whereas in other driving situations, a judgment of the driver's attention requires a relatively long observation period. A current driving situation may relate to a driving speed. Preferably, it may be provided to increase the time duration proportionally to the driving speed. For example, the time duration at a driving speed of 130 km / h on a highway can be 30 seconds and at a driving speed of 30 km / h in a traffic-calmed zone 5 seconds. A current driving situation may affect a road type (e.g., highway, highway, city traffic). A current driving situation may relate to a current or upcoming driving action, e.g. a lane change, a turn and the like. To determine the current driving situation, a driver assistance system of the vehicle can preferably be used that detects this information anyway. For example, a navigation system of the vehicle may have road type information. For example, a central control unit of the vehicle may have vehicle information such as vehicle speed, steering angle, and the like. Thus, for example, a current or upcoming turn can be determined based on the steering angle and an activated direction indicator (turn signal).

Mit weiterem Vorteil kann das Verfahren vorsehen, dass die gegenwärtige Fahrsituation bestimmt wird und die Soll-Häufigkeitsverteilung in Abhängigkeit der gegenwärtigen Fahrsituation vorgegeben wird. Der Erfinder hat beobachtet, dass die Soll-Häufigkeitsverteilung, also die Häufigkeitsverteilung der Blickrichtung eines höchst aufmerksamen Fahrers, je nach Fahrsituation unterschiedlich sein kann. Beispielsweise kann eine Fahrt mit höherer Geschwindigkeit und / oder auf einer Autobahn erfordern, dass der Blick sehr häufig auf die eigene Fahrspur und sehr selten auf die Seitenfenster gerichtet ist. Hingegen kann eine Fahrt im dichten Stadtverkehr erfordern, dass der Blick häufig auf die Seitenfenster gerichtet ist, da dort relevanter Querverkehr zu beobachten ist. Auch dann, wenn die Fahrsituation eine gegenwärtige oder bevorstehende Fahraktion betrifft, können mit Vorteil unterschiedliche jeweils für eine bestimmte Fahraktion gespeicherte Soll-Häufigkeitsverteilungen verwendet werden. Beispielsweise erfordert ein Spurwechsel oder ein Abbiegevorgang von einem aufmerksamen Fahrer häufige Blicke in die Spiegel und in die Seitenfenster, wohingegen diese Teilbereiche bei einer Geradeausfahrt auf der Autobahn wesentlich weniger häufig angesehen werden sollten. With further advantage, the method can provide that the current driving situation is determined and the desired frequency distribution is predefined as a function of the current driving situation. The inventor has observed that the desired frequency distribution, ie the frequency distribution of the line of vision of a highly attentive driver, may vary depending on the driving situation. For example, driving at a higher speed and / or on a highway may require the view to be very often directed at one's own lane and very rarely at the side windows. On the other hand, driving in dense city traffic may require that the view is often directed to the side windows, as relevant cross traffic can be observed there. Even if the driving situation relates to a current or imminent driving action, it is advantageous to use different target frequency distributions, each stored for a particular driving action. For example, a lane change or turn by an attentive driver requires frequent glances into the mirrors and side windows, whereas those portions should be viewed much less frequently when driving straight ahead on the highway.

In bevorzugter Ausgestaltung umfasst der Schritt des Erfassens der Blickrichtung des Fahrzeugführers ein Erfassen einer Kopfrichtung und / oder einer Augenrichtung des Fahrzeugführers. Zunächst bestimmt sowohl die Kopfrichtung als auch die Augenrichtung, wohin der Fahrer blickt. Es ist somit vorteilhaft, beide Werte zu erfassen. Jedoch sind die Kopfrichtung und die Augenrichtung auch jeweils für sich gute Indikatoren für die Blickrichtung. Da für die Erfassung der Kopfrichtung und für die Erfassung der Augenrichtung unterschiedliche Bildverarbeitungsalgorithmen Verwendung finden können, kann die Blickrichtung zuverlässiger erfasst werden, wenn Kopfrichtung und / oder Augenrichtung erfasst werden. Beispielsweise kann es aufgrund der Außenlichtverhältnisse schwierig sein, die Augenrichtung zu erfassen. In diesem Fall kann die Blickrichtung dennoch ermittelt werden, indem die Kopfrichtung ermittelt erfasst wird. In a preferred embodiment, the step of detecting the viewing direction of the vehicle driver comprises detecting a head direction and / or an eye direction of the vehicle driver. First, both the head direction and the eye direction determine where the driver is looking. It is thus advantageous to record both values. However, the head direction and the eye direction are also good indicators of the viewing direction. Since different image processing algorithms can be used for the detection of the head direction and for the detection of the eye direction, the viewing direction can be detected more reliably if head direction and / or eye direction are detected. For example, it may be difficult to detect the eye direction due to the external light conditions. In this case, the viewing direction can still be determined by detecting the head direction determined.

In weiterer Ausgestaltung ist vorgesehen, dass die Maßzahl an ein Fahrerassistenzsystem des Fahrzeugs übermittelt wird. Dieses Fahrerassistenzsystem kann beispielsweise dann, wenn die Maßzahl einen vorgegebenen Schwellenwert überschreitet, eine vorbestimmte Handlung vornehmen. Beispielsweise kann in diesem Fall eine visuelle und / oder akustische Alarmierung des Fahrers ausgelöst oder eine Pausenempfehlung auf einem Display angezeigt werden. Es kann auch vorgesehen sein, dass das Fahrerassistenzsystem die Maßzahl als Eingangsparameter zur Regelung einer Fahrerassistenzfunktion verwendet. Beispielsweise kann der von einem automatischen Abstandhaltesystem zu einem vorausfahrenden Fahrzeug eingestellte Abstand proportional zur Maßzahl vergrößert werden. Es kann auch vorgesehen sein, dass die Maßzahl per Fahrzeug-zu-Fahrzeug-Kommunikation an Fahrzeuge in der Umgebung übermittelt wird, um diese über den Grad der Aufmerksamkeit des Fahrers zu informieren. Es kann mit besonderem Vorteil vorgesehen sein, dass das Fahrerassistenzsystem des Fahrzeugs die übermittelten Maßzahlen auswertet und so eine Verteilungsfunktion der Maßzahl eines bestimmten Fahrzeugführers lernt. Es kann dann mit besonderem Vorteil vorgesehen sein, dass bestimmte Handlungen durchgeführt werden, wenn die übermittelte Maßzahl von einem zu dem Fahrzeugführer gehörigen Normalbereich der Maßzahl abweicht. In a further embodiment, it is provided that the measure is transmitted to a driver assistance system of the vehicle. This driver assistance system can, for example, if the measure exceeds a predetermined threshold, make a predetermined action. For example, in this case, a visual and / or audible alerting the driver triggered or a break recommendation are displayed on a display. It can also be provided that the driver assistance system uses the measure as input parameter for controlling a driver assistance function. For example, the distance set by an automatic distance holding system to a preceding vehicle may be increased in proportion to the measure. It may also be provided that the measure is transmitted by vehicle-to-vehicle communication to vehicles in the area to inform them about the degree of attention of the driver. It can be provided with particular advantage that the driver assistance system of the vehicle evaluates the transmitted measures and thus learns a distribution function of the measure of a particular driver. It can then with special Advantage be provided that certain actions are performed when the transmitted measure deviates from a belonging to the driver normal range of the measure.

Eine erfindungsgemäße Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers für ein Fahrzeug umfasst eine Erfassungseinrichtung, insbesondere eine Innenraumkamera, die den Bereich des Kopfes des Fahrzeugführers erfasst. Es kann vorgesehen sein, dass die Innenraumkamera eine Stereo-Innenraumkamera ist. Die Vorrichtung umfasst weiter eine Blickrichtungserkennungseinheit. Diese ist mit der Erfassungseinrichtung verbunden und wertet die von der Erfassungseinrichtung übertragenen Daten aus. Insbesondere können Bildverarbeitungsalgorithmen zum Einsatz kommen, die aus den Bildern der Innenraumkamera die Blickrichtung ermitteln. Die Vorrichtung umfasst weiter eine Recheneinheit zur Durchführung der weiteren vorstehend beschriebenen Verfahrensschritte. Die Recheneinheit kann datentechnisch mit weiteren Steuergeräten des Fahrzeugs verbunden sein, die beispielsweise Fahrzeuginformationen zu der Recheneinheit übertragen können. Die Recheneinheit kann datentechnisch mit einem Fahrerassistenzsystem des Fahrzeugs zur Übermittlung der Maßzahl verbunden sein. An inventive device for monitoring the attention of a vehicle driver for a vehicle comprises a detection device, in particular an interior camera, which detects the area of the head of the vehicle driver. It can be provided that the interior camera is a stereo interior camera. The device further comprises a sight line detection unit. This is connected to the detection device and evaluates the data transmitted by the detection device. In particular, image processing algorithms can be used which determine the viewing direction from the images of the interior camera. The device further comprises a computing unit for carrying out the further method steps described above. The arithmetic unit may be technically connected to other control units of the vehicle, which may transmit vehicle information to the arithmetic unit, for example. The arithmetic unit may be connected to a driver assistance system of the vehicle for transmitting the measure.

Die Erfindung ist für jede Art von Fahrzeugen geeignet, die nicht vollautomatisiert, sondern von einem menschlichen Fahrer geführt werden. Die Erfindung eignet sich somit für Kraftfahrzeuge, insbesondere Lastkraftwagen und Personenkraftwagen, für Krafträder sowie für Schienen-, Wasser- und Luftfahrzeuge. The invention is suitable for any type of vehicles that are not fully automated, but are guided by a human driver. The invention is thus suitable for motor vehicles, especially trucks and passenger cars, motorcycles and rail, water and air vehicles.

Weitere Ausführungsformen der Erfindung werden nachfolgend anhand beispielhafter Darstellungen erläutert. Es zeigen Further embodiments of the invention are explained below with reference to exemplary representations. Show it

1 einen Teilbereiche umfassenden Sichtbereich eines Fahrzeugführers, 1 a partial area comprehensive field of vision of a driver,

2 eine Ist-Häufigkeitsverteilung der Teilbereiche und 2 an actual frequency distribution of the subareas and

3 eine Soll-Häufigkeitsverteilung der Teilbereiche. 3 a desired frequency distribution of the subregions.

Gleiche Bezugszeichen kennzeichnen in den Figuren gleiche Merkmale der dargestellten Ausführungsformen der Erfindung. Es wird darauf hingewiesen, dass es sich bei den dargestellten Figuren sowie der zugehörigen Beschreibung lediglich um Ausführungsbeispiele der Erfindung handelt. Insbesondere sind Darstellungen von Merkmalskombinationen in den Figuren und / oder der Figurenbeschreibung nicht dahingehend auszulegen, dass die Erfindung zwingend die Verwirklichung aller genannten Merkmale erfordert. Andere Ausführungsformen der Erfindung können weniger, mehr und / oder andere Merkmale enthalten. Der Schutzbereich und die Offenbarung der Erfindung ergeben sich aus den beiliegenden Patentansprüchen und der vollständigen Beschreibung. Es wird zudem darauf hingewiesen, dass es sich bei den Darstellungen um Prinzipdarstellungen von Ausführungsformen der Erfindung handelt. Die Anordnung der einzelnen dargestellten Elemente zueinander ist nur beispielhaft gewählt und kann bei anderen Ausführungsformen der Erfindung anders gewählt werden. Weiterhin ist die Darstellung nicht unbedingt maßstabsgetreu. Einzelne dargestellte Merkmale können zu Zwecken der besseren Veranschaulichung vergrößert oder verkleinert dargestellt sein. Like reference characters indicate like features in the figures of the illustrated embodiments of the invention. It should be noted that the illustrated figures and the associated description are merely exemplary embodiments of the invention. In particular, representations of combinations of features in the figures and / or the description of the figures are not to be interpreted as meaning that the invention necessarily requires the realization of all mentioned features. Other embodiments of the invention may include fewer, more, and / or different features. The scope and disclosure of the invention will be apparent from the appended claims and the complete description. It should also be noted that the illustrations are schematic representations of embodiments of the invention. The arrangement of the individual elements shown to each other is chosen only by way of example and can be chosen differently in other embodiments of the invention. Furthermore, the representation is not necessarily to scale. Individual features shown may be enlarged or reduced for purposes of illustration.

In 1 ist ein Sichtbereich 20 eines Fahrzeugführers eines beispielhaften Personenkraftwagens, in welchem die Erfindung in einer Ausführungsform zum Einsatz kommt, dargestellt. Der Fahrzeugführer wird nachfolgend als Fahrer bezeichnet. Der Sichtbereich ist der vom Fahrer einsehbare Bereich. Es handelt sich also nicht um denjenigen Bereich, den der Fahrer zu einem gegebenen Zeitpunkt tatsächlich einsieht, sondern um den Bereich, den der Fahrer einsehen kann. Der Sichtbereich schließt also beispielsweise auch Randbereiche ein, die der Fahrer sehen kann, indem er seinen Kopf dreht. Der Sichtbereich 20 ist in Teilbereiche 113 unterteilt. Jeder der Teilbereiche 113 stellt einen Bereich dar, in den der Fahrer üblicherweise mit einer gewissen Häufigkeit blickt. Die Teilbereiche sind:

  • • ein linkes Seitenfenster (1),
  • • einen linker Außenspiegel (2),
  • • ein durch die Frontscheibe sichtbarer Horizont (3),
  • • ein durch die Frontscheibe sichtbarer Bereich links der eigenen Fahrspur (4),
  • • eine eigene Fahrspur (5),
  • • ein Kombiinstrument der Armaturentafel (6),
  • • ein durch die Frontscheibe sichtbarer Bereich rechts der eigenen Fahrspur (7),
  • • ein an der Mittelkonsole angeordnetes Bedienelement (8),
  • • ein Rückspiegel (9),
  • • ein mittig im Fahrzeug angeordnetes Display (10),
  • • ein rechter Außenspiegel (11),
  • • ein rechtes Seitenfenster (12),
  • • ein Bereich eines Beifahrers und eines Handschuhfachs (13).
In 1 is a viewing area 20 a driver of an exemplary passenger car, in which the invention is used in one embodiment shown. The driver is referred to below as the driver. The field of vision is the area visible to the driver. It is not the area that the driver actually sees at a given time, but the area that the driver can see. For example, the viewing area also includes peripheral areas that the driver can see by turning his head. The field of vision 20 is in subareas 1 - 13 divided. Each of the sections 1 - 13 represents an area in which the driver usually looks with a certain frequency. The subareas are:
  • • a left side window ( 1 )
  • • a left side mirror ( 2 )
  • • a horizon visible through the windscreen ( 3 )
  • • an area visible through the windscreen to the left of your own lane ( 4 )
  • • own lane ( 5 )
  • • an instrument panel of the instrument panel ( 6 )
  • • an area visible through the windscreen to the right of your own lane ( 7 )
  • A control element arranged on the center console ( 8th )
  • • a rearview mirror ( 9 )
  • • a display arranged centrally in the vehicle ( 10 )
  • • a right side mirror ( 11 )
  • • a right side window ( 12 )
  • • an area of a passenger and a glove compartment ( 13 ).

Es sei darauf hingewiesen, dass der in 1 gezeigte Sichtbereich auch Bereiche enthält, die keinem Teilbereich 113 zugeordnet sind. Diese Darstellung wurde jedoch lediglich aus Gründen der besseren Übersichtlichkeit gewählt. Bei der Umsetzung der Erfindung ist es vorteilhaft, wenn jeder Bereich des Sichtbereichs 20 einem Teilbereich 113 zugeordnet ist. It should be noted that the in 1 Displayed area also contains areas that no subarea 1 - 13 assigned. However, this representation was chosen only for reasons of clarity. In the implementation of the invention, it is advantageous if each area of the field of view 20 a subarea 1 - 13 assigned.

Das Fahrzeug verfügt über eine Innenraumkamera 30 mit nachgeschalteter Blickrichtungserkennungseinheit (nicht dargestellt), welche auf den Fahrer gerichtet ist und kontinuierlich dessen Blickrichtung erfasst. In dem dargestellten Ausführungsbeispiel wird nur die Blickrichtung zu einem der Teilbereiche 113 erfasst, nicht aber eine Veränderung der Blickrichtung innerhalb eines Teilbereichs 113. Die Blickrichtung des Fahrers wird kontinuierlich erfasst und einem Teilbereich zugeordnet. Aus der für eine vorbestimmte Zeitdauer erfassten Blickrichtung wird eine Ist-Häufigkeitsverteilung ermittelt. Die Zeitdauer kann beispielsweise 10 Sekunden betragen. Es kann vorgesehen sein, dass die Zeitdauer je nach Fahrsituation angepasst wird. Mit anderen Worten wird im vorliegenden Beispiel kontinuierlich eine Ist-Häufigkeitsverteilung der Blickrichtung der vergangenen 10 Sekunden bestimmt. Da bei der Erfassung der Blickrichtung die Teilbereiche 113 erfasst werden, auf die der Fahrer jeweils seinen Blick gerichtet hat, ergibt sich eine Ist-Häufigkeitsverteilung der Blickrichtung. The vehicle has an interior camera 30 with downstream viewing direction detection unit (not shown), which is directed to the driver and continuously detects its viewing direction. In the illustrated embodiment, only the viewing direction becomes one of the subregions 1 - 13 but not a change in the viewing direction within a subarea 1 - 13 , The driver's line of vision is continuously recorded and assigned to a subarea. An actual frequency distribution is determined from the viewing direction detected for a predetermined period of time. The duration may be, for example, 10 seconds. It can be provided that the time duration is adapted depending on the driving situation. In other words, in the present example, an actual frequency distribution of the viewing direction of the past 10 seconds is continuously determined. As in the detection of the line of sight the subareas 1 - 13 are detected, to which the driver has each directed his gaze, results in an actual frequency distribution of the line of sight.

2 zeigt eine beispielhafte Ist-Häufigkeitsverteilung HIst der Teilbereiche. Wie eben erläutert stellt diese Häufigkeitsverteilung HIst die Blickrichtung (auf die Teilbereiche 113) der vergangenen 10 Sekunden dar. Auf der Abszisse sind die Teilbereiche 113 aufgetragen, wobei die Abszisse mit der Variablen i beschriftet ist, welche für die Teilbereiche 113 steht. Auf der Ordinate ist die relative Häufigkeit HIst(i) des Teilbereichs i aufgetragen. Die Summe der relativen Häufigkeiten ergibt 1:

Figure DE102015206209A1_0002
2 shows an exemplary actual frequency distribution H actual of the subareas. As just explained, this frequency distribution H is the viewing direction (on the subregions 1 - 13 ) of the past 10 seconds. On the abscissa are the sections 1 - 13 plotted, wherein the abscissa is labeled with the variable i, which for the sub-areas 1 - 13 stands. On the ordinate the relative frequency H Ist (i) of the subarea i is plotted. The sum of the relative frequencies gives 1:
Figure DE102015206209A1_0002

Anhand der Ist-Häufigkeitsverteilung der 2 ist zu erkennen, dass der Fahrer in den vergangenen 10 Sekunden seinen Blick zum größten Teil auf das Display 10 gerichtet hat. Der Wert HIst(10) = 0,5, somit hat der Fahrer seinen Blick in den vergangenen 10 Sekunden ca. 5 Sekunden lang auf das Display 10 gerichtet. Hingegen hat der Fahrer etwa mehr als 2 Sekunden auf die eigene Fahrspur 5 geblickt. Based on the actual frequency distribution of 2 can be seen that the driver in the past 10 seconds his gaze for the most part on the display 10 has directed. The value H Is (10) = 0.5, so the driver has his eyes on the past 10 Seconds on the display for about 5 seconds 10 directed. On the other hand, the driver has more than 2 seconds on his own lane 5 looked.

3 zeigt eine Soll-Häufigkeitsverteilung HSoll der Teilbereiche 113. Hierbei handelt es sich im einfachsten Fall um eine vorgegebene Häufigkeitsverteilung HSoll, die beispielsweise für einen bestimmten Fahrzeugtyp einmalig mit Hilfe von Beobachtungen ausgewählter Probanden erstellt worden sein kann. Es kann sich aber auch um eine Soll-Häufigkeitsverteilung HSoll handeln, die aus vergangenem Fahrverhalten des Fahrers gewonnen wurde. Es kann vorgesehen sein, dass die Soll-Häufigkeitsverteilung HSoll in Abhängigkeit der gegenwärtigen Fahrsituation gewählt wird. Die in 3 abgebildete Soll-Häufigkeitsverteilung HSoll zeigt beispielsweise, dass der Fahrer seinen Blick idealerweise für ca. 45 % der Zeit auf die eigene Fahrspur 5 richten sollte, während der Blick in der übrigen Zeit die übrigen Teilbereiche 14, 613 überstreichen sollte. Die Summe der relativen Häufigkeiten ergibt 1. 3 shows a desired frequency distribution H desired subregions 1 - 13 , In the simplest case, this is a given frequency distribution H desired , which may have been created once for example for a specific vehicle type with the aid of observations of selected test persons. However, it may also be a desired frequency distribution H desired , which was obtained from past driving behavior of the driver. It can be provided that the desired frequency distribution H Soll is selected as a function of the current driving situation. In the 3 For example, the target shows that the driver ideally looks at his own lane for approximately 45% of the time 5 while looking into the rest of the time the remaining sections 1 - 4 . 6 - 13 should cover. The sum of the relative frequencies gives 1.

Im nächsten Schritt wird die die Aufmerksamkeit des Fahrers abbildende Maßzahl als Funktion einer Abweichung A der Ist-Häufigkeitsverteilung HIst von der Soll-Häufigkeitsverteilung HSoll der Blickrichtung bestimmt. Dies kann beispielsweise anhand der folgenden Rechenvorschrift geschehen:

Figure DE102015206209A1_0003
In the next step, the measure of the driver's attention is calculated as a function of a deviation A of the actual frequency distribution H Ist from the desired frequency distribution H desired of the viewing direction. This can be done, for example, using the following calculation rule:
Figure DE102015206209A1_0003

Als Ergebnis kann die Abweichung A Werte zwischen 0 (sehr stark abgelenkter Fahrer) und 1 (sehr aufmerksamer Fahrer) annehmen. Im vorliegenden Beispiel ergibt sich A = 0,09 = 9%. Es kann weiter vorgesehen sein, dass der Wert A als Maßzahl an ein Fahrerassistenzsystem übermittelt wird. Dieses kann beispielsweise so eingerichtet sein, dass bei Unterschreiten eines ersten Schwellenwerts von 50% ein Warnsymbol eingeblendet wird und bei Unterschreiten eines zweiten Schwellenwerts von 25% ein akustisches Warnsignal ertönt. Im vorliegenden Beispiel wäre dies der Fall, so dass der Fahrer einen unmittelbaren Hinweis erhalten würde, dass er sein Fahrverhalten verändert sollte bzw. eine Fahrpause einlegen sollte. As a result, the deviation A can assume values between 0 (very much deflected driver) and 1 (very attentive driver). In the present example, A = 0.09 = 9%. It may further be provided that the value A is transmitted as a measure to a driver assistance system. This can be set up, for example, so that when falling below a first threshold of 50%, a warning symbol is displayed and when falling below a second threshold of 25% sounds an audible warning. In the present example, this would be the case, so that the driver would receive an immediate indication that he should change his driving behavior or should take a break.

Die oben angeführte Rechenvorschrift ist beispielhaft zu verstehen. Es sind zahlreiche weitere Funktionen bekannt, die sich zur Bestimmung der Abweichung der Häufigkeitsverteilungen eignen. Beispielsweise könnte alternativ auch eine quadratische Funktion gewählt werden:

Figure DE102015206209A1_0004
The above-mentioned calculation rule is to be understood as an example. Numerous other functions are known which are suitable for determining the deviation of the frequency distributions. For example, a quadratic function could alternatively be selected:
Figure DE102015206209A1_0004

Zur Umsetzung der Erfindung eignet sich jede Funktion, die eine Abweichung der Häufigkeitsverteilungen abbildet. Insbesondere sind Funktionen geeignet, die Werte zwischen 0 und 1 annehmen können. For the implementation of the invention, any function that maps a deviation of the frequency distributions is suitable. In particular, functions are suitable which can assume values between 0 and 1.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19734307 A1 [0002] DE 19734307 A1 [0002]
  • DE 102013002686 A1 [0003] DE 102013002686 A1 [0003]
  • DE 10024227 A1 [0004] DE 10024227 A1 [0004]

Claims (10)

Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl (A) mit den Schritten – Erfassen einer Blickrichtung des Fahrzeugführers, – Bestimmen einer Ist-Häufigkeitsverteilung (HIst) der Blickrichtung, – Bestimmen der Maßzahl als Funktion einer Abweichung (A) der Ist-Häufigkeitsverteilung (HIst) von einer Soll-Häufigkeitsverteilung (HSoll) der Blickrichtung. Method for determining a measure (A) representing the attention of a vehicle driver with the steps - detecting a line of vision of the driver, - determining an actual frequency distribution (H actual ) of the line of vision, - determining the measure as a function of a deviation (A) of the actual Frequency distribution (H actual ) of a desired frequency distribution (H setpoint ) of the viewing direction. Verfahren nach Anspruch 1, wobei die Ist-Häufigkeitsverteilung (HIst) der Blickrichtung und die Soll-Häufigkeitsverteilung (HSoll) der Blickrichtung relative Häufigkeitsverteilungen sind. Method according to claim 1, wherein the actual frequency distribution (H actual ) of the line of sight and the desired frequency distribution (H setpoint ) of the viewing direction are relative frequency distributions. Verfahren nach einem der vorhergehenden Ansprüche mit dem Schritt – Zuordnen der Blickrichtung zu einem Teilbereich (113) eines Sichtbereichs (20) des Fahrzeugführers, wobei die Ist-Häufigkeitsverteilung (HIst) der Blickrichtung und die Soll-Häufigkeitsverteilung (HSoll) der Blickrichtung Häufigkeitsverteilungen der Teilbereiche (113) sind. Method according to one of the preceding claims, with the step - assigning the viewing direction to a subarea ( 1 - 13 ) of a field of view ( 20 ) of the vehicle driver, wherein the actual frequency distribution (H actual ) of the line of sight and the desired frequency distribution (H setpoint ) of the line of sight frequency distribution of the subregions ( 1 - 13 ) are. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Erfassen der Blickrichtung des Fahrzeugführers für eine vorgegebene Zeitdauer, – Bestimmen der Ist-Häufigkeitsverteilung (HIst) der Blickrichtung aus der für die vorbestimmte Zeitdauer erfassten Blickrichtung. Method according to one of the preceding claims, comprising the steps of - detecting the viewing direction of the vehicle driver for a predetermined period of time, - determining the actual frequency distribution (H actual ) of the viewing direction from the viewing direction detected for the predetermined period of time. Verfahren nach Anspruch 4 mit den Schritten – Bestimmen einer gegenwärtigen Fahrsituation, – Vorgeben der Zeitdauer in Abhängigkeit der gegenwärtigen Fahrsituation.  Method according to claim 4, comprising the steps Determining a current driving situation, - Specifying the time duration depending on the current driving situation. Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten – Bestimmen einer gegenwärtigen Fahrsituation, – Vorgeben der Soll-Häufigkeitsverteilung (HSoll) in Abhängigkeit der gegenwärtigen Fahrsituation. Method according to one of the preceding claims with the steps - determining a current driving situation, - specifying the target frequency distribution (H target ) in dependence on the current driving situation. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Erfassens der Blickrichtung des Fahrzeugführers ein Erfassen einer Kopfrichtung und / oder einer Augenrichtung des Fahrzeugführers umfasst.  Method according to one of the preceding claims, wherein the step of detecting the viewing direction of the vehicle driver comprises detecting a head direction and / or an eye direction of the vehicle driver. Verfahren nach einem der vorhergehenden Ansprüche mit dem Schritt – Übermitteln der Maßzahl (A) an ein Fahrerassistenzsystem des Fahrzeugs.  Method according to one of the preceding claims with the step - Transmitting the measure (A) to a driver assistance system of the vehicle. Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers für ein Fahrzeug mit einer Erfassungseinrichtung, insbesondere einer Innenraumkamera (30), einer Blickrichtungserkennungseinheit und einer Recheneinheit zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8. Device for monitoring the attention of a vehicle driver for a vehicle having a detection device, in particular an interior camera ( 30 ), a viewing direction detection unit and a computing unit for performing the method according to one of claims 1 to 8. Fahrzeug mit einer Vorrichtung nach Anspruch 9.  Vehicle with a device according to claim 9.
DE102015206209.0A 2015-04-08 2015-04-08 Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver Pending DE102015206209A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102015206209.0A DE102015206209A1 (en) 2015-04-08 2015-04-08 Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver
PCT/EP2016/056335 WO2016162207A1 (en) 2015-04-08 2016-03-23 Method for determining a metric value representing the alertness of a vehicle driver and device for monitoring the attention of a vehicle driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015206209.0A DE102015206209A1 (en) 2015-04-08 2015-04-08 Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver

Publications (1)

Publication Number Publication Date
DE102015206209A1 true DE102015206209A1 (en) 2016-10-13

Family

ID=55588293

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015206209.0A Pending DE102015206209A1 (en) 2015-04-08 2015-04-08 Method for determining a measure of the attention of a driver and device for monitoring the attention of a driver

Country Status (2)

Country Link
DE (1) DE102015206209A1 (en)
WO (1) WO2016162207A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214539A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft A method, apparatus, computer program and computer program product for detecting a driver's attention of a vehicle
DE102017214535A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for carrying out a driver assistance function of a vehicle
WO2020079340A1 (en) 2018-10-17 2020-04-23 Psa Automobiles Sa Method and device for assisting with driving a motor vehicle during reversing
DE102021202504A1 (en) 2021-03-15 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting inattention on the part of a driver of a vehicle
DE102022115531A1 (en) 2022-06-22 2023-12-28 Bayerische Motoren Werke Aktiengesellschaft Method for determining the attention of a user of a motor vehicle, computer program, data processing device and motor vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493918B2 (en) * 2017-02-10 2022-11-08 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19734307A1 (en) 1997-08-08 1999-02-11 Bosch Gmbh Robert Monitoring and control method for automobile travel characteristics
DE10024227A1 (en) 2000-05-17 2001-12-13 Volkswagen Ag Electronic monitoring of vehicle driver attention involves using ADR regulated automatically controlled traffic column or jam driving mode as additional attention parameter
DE102008015986A1 (en) * 2007-03-30 2008-10-09 Denso Corp., Kariya-shi Database device, warning device and driving support device
DE102011121260A1 (en) * 2011-12-15 2013-06-20 Gm Global Technology Operations, Llc A method for assisting a driver of a motor vehicle in the event of loss of attention with the aid of an error counter
DE102013002686A1 (en) 2013-02-15 2014-08-21 Audi Ag Method for operating motor vehicle, involves acquiring images of portion of driver, where body posture of driver is determined from acquired images, and attention signal is generated depending on determined body posture
DE102013213236A1 (en) * 2013-07-05 2015-01-08 Robert Bosch Gmbh Method for determining an attention level of a driver

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460940B2 (en) * 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
DE102009005730A1 (en) * 2009-01-22 2010-07-29 Hella Kgaa Hueck & Co. Method for monitoring concentration of driver of motor vehicle, involves determining reference direction and time target based on position of indicator, information about road course and/or information of lane maintenance assistants
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19734307A1 (en) 1997-08-08 1999-02-11 Bosch Gmbh Robert Monitoring and control method for automobile travel characteristics
DE10024227A1 (en) 2000-05-17 2001-12-13 Volkswagen Ag Electronic monitoring of vehicle driver attention involves using ADR regulated automatically controlled traffic column or jam driving mode as additional attention parameter
DE102008015986A1 (en) * 2007-03-30 2008-10-09 Denso Corp., Kariya-shi Database device, warning device and driving support device
DE102011121260A1 (en) * 2011-12-15 2013-06-20 Gm Global Technology Operations, Llc A method for assisting a driver of a motor vehicle in the event of loss of attention with the aid of an error counter
DE102013002686A1 (en) 2013-02-15 2014-08-21 Audi Ag Method for operating motor vehicle, involves acquiring images of portion of driver, where body posture of driver is determined from acquired images, and attention signal is generated depending on determined body posture
DE102013213236A1 (en) * 2013-07-05 2015-01-08 Robert Bosch Gmbh Method for determining an attention level of a driver

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214539A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft A method, apparatus, computer program and computer program product for detecting a driver's attention of a vehicle
DE102017214535A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for carrying out a driver assistance function of a vehicle
WO2020079340A1 (en) 2018-10-17 2020-04-23 Psa Automobiles Sa Method and device for assisting with driving a motor vehicle during reversing
FR3087406A1 (en) 2018-10-17 2020-04-24 Psa Automobiles Sa METHOD AND DEVICE FOR ASSISTING THE DRIVING OF A MOTOR VEHICLE IN BACK-UP PHASE
DE102021202504A1 (en) 2021-03-15 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting inattention on the part of a driver of a vehicle
DE102022115531A1 (en) 2022-06-22 2023-12-28 Bayerische Motoren Werke Aktiengesellschaft Method for determining the attention of a user of a motor vehicle, computer program, data processing device and motor vehicle

Also Published As

Publication number Publication date
WO2016162207A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
DE10039795C2 (en) Method for warning a driver of a vehicle
WO2016162207A1 (en) Method for determining a metric value representing the alertness of a vehicle driver and device for monitoring the attention of a vehicle driver
DE102015201456B4 (en) Method and system for issuing a warning message in a vehicle
EP3405375B1 (en) Method for classifying driver movements
DE102014220759A1 (en) Monitoring a degree of attention of a driver of a vehicle
DE102014011264A1 (en) Method for calculating a return time
DE102009005730A1 (en) Method for monitoring concentration of driver of motor vehicle, involves determining reference direction and time target based on position of indicator, information about road course and/or information of lane maintenance assistants
DE102007027000B4 (en) Lane departure warning and method for warning the driver of a vehicle
EP2777032A1 (en) Method and device for warning the driver of a motor vehicle in the event of a lack of attention
DE102019006685B4 (en) Method for operating a vehicle
DE102015210782A1 (en) Driver assistance system for determining a cognitive employment of a driver of a means of locomotion
DE102019201407A1 (en) Method and device for controlling a driver's attention
DE102014105374B4 (en) Driver assistance system
DE102013010019B3 (en) A method of operating a traffic sign detecting system of a motor vehicle and a motor vehicle having a traffic sign detecting system
DE102017212432A1 (en) Method and device for operating a driver assistance system of a motor vehicle and driver assistance systems
DE112019007195B4 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM
DE102019217346A1 (en) Method for displaying information on a man-machine interface of a motor vehicle, computer program product, man-machine interface and motor vehicle
DE102011084915B4 (en) Method for supporting a driver by means of a driver support device
DE112019003127T5 (en) HEAD-UP DISPLAY DEVICE
WO2022161810A1 (en) Estimating a degree of driver distraction
DE102020211859A1 (en) Method and display system for displaying information to a driver
DE102018127471A1 (en) Method and system for warning a driver of a vehicle
WO2019029966A1 (en) Method and device for driver state evaluation and vehicle
DE102017003339A1 (en) Driver assistance system and method for operating such
DE102015010541A1 (en) A method of providing information regarding a blind spot area generated by an A pillar of a motor vehicle to a driver of the motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed