DE102020123744A1

DE102020123744A1 - Determining a line of sight of a person

Info

Publication number: DE102020123744A1
Application number: DE102020123744.8A
Authority: DE
Inventors: Johannes Feldmaier
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2022-03-17

Abstract

Ein Verfahren zum Bestimmen einer Blickrichtung einer Person an Bord eines Fahrzeugs umfasst Schritte des Abtastens der Person mittels einer Abtastvorrichtung innerhalb eines vorbestimmten Abtastbereichs; des Erfassens einer Betätigung eines Bedienelements des Fahrzeugs durch die Person; und des Bestimmens der Blickrichtung der Person auf der Basis der Abtastung und der Betätigung.A method for determining a viewing direction of a person on board a vehicle comprises the steps of scanning the person by means of a scanning device within a predetermined scanning area; the detection of an actuation of an operating element of the vehicle by the person; and determining the person's line of sight based on the sensing and the actuation.

Description

Die vorliegende Erfindung betrifft die Bestimmung der Blickrichtung einer Person. Insbesondere betrifft die Erfindung die Bestimmung der Blickrichtung einer Person an Bord eines Fahrzeugs.The present invention relates to determining a person's line of sight. In particular, the invention relates to determining the line of sight of a person on board a vehicle.

An Bord eines Fahrzeugs ist eine Innenraumkamera vorgesehen, um eine Person optisch abzutasten. Die Innenraumkamera kann insbesondere auf einen Fahrer des Fahrzeugs gerichtet sein, um dessen Kopfpartie zu erfassen. Auf der Basis der Abtastung kann beispielsweise bestimmt werden, ob sich ein Lidschlag des Fahrers verlangsamt oder Pupillen des Fahrers erweitert sind, was übliche Symptome für Müdigkeit sind. Eine Warnung vor mangelnder Konzentration kann dann bereitgestellt werden.An interior camera is provided on board a vehicle to optically scan a person. The interior camera can in particular be aimed at a driver of the vehicle in order to capture his head section. Based on the scanning, it can be determined, for example, whether the driver's blinking is slowing down or the driver's pupils are dilated, which are common symptoms of fatigue. A warning of lack of concentration can then be provided.

Außerdem kann auf der Basis der Abtastung bestimmt werden, wohin der Fahrer blickt. Bezüglich der bestimmten Blickrichtung kann etwa ein Informationsangebot für den Fahrer angepasst werden. Beispielsweise kann eine Information in einer Head-up-Anzeige (Head-up-Display; HUD) an eine Position verschoben werden, die vom Fahrer verbessert eingesehen werden kann. In einer Weiterentwicklung können dem Fahrer Informationen nach Art einer verbesserten Realität (Augmented Reality; AR) oder einer virtuellen Realität (Virtual Reality; VR) in Abhängigkeit von der bestimmten Blickrichtung dargeboten werden. Je besser die Blickrichtung des Fahrers bestimmt werden kann, desto genauer können Informationen in sein Blickfeld eingespiegelt werden, sodass die Informationsaufnahme für den Fahrer einfach und natürlich erfolgen kann.In addition, where the driver is looking can be determined based on the scan. An information offer for the driver can be adapted with regard to the specific viewing direction. For example, information in a head-up display (HUD) may be moved to a position that is more visible to the driver. In a further development, the driver can be presented with information in the form of an improved reality (augmented reality; AR) or a virtual reality (virtual reality; VR) depending on the specific viewing direction. The better the driver's viewing direction can be determined, the more precisely information can be reflected in his field of vision, so that the driver can take in information easily and naturally.

Eine übliche Abtastvorrichtung hat nur einen vorbestimmten Abtastbereich, sodass die Blickrichtung des Fahrers in bestimmten Situationen nicht bestimmt werden kann. Beispielsweise kann der Fahrer seinen Kopf außerhalb eines Bereichs bewegen, der durch die Abtastvorrichtung eingesehen werden kann. Der Fahrer kann seinen Kopf auch so weit zur Seite drehen, dass keine ausreichend aufschlussreichen Informationen über seine Blickrichtung erfasst werden können. Die Bestimmung der Blickrichtung kann dann ungenau oder unzuverlässig werden.A conventional scanning device only has a predetermined scanning area, so that the driver's viewing direction cannot be determined in certain situations. For example, the driver may move his head outside of an area viewable by the scanner. The driver can also turn his head to the side so far that it is not possible to gather sufficiently informative information about his line of vision. The determination of the viewing direction can then become imprecise or unreliable.

In WO 2018/085804 A1 wurde vorgeschlagen, zu bestimmen, wenn ein Fahrer eines Fahrzeugs durch ein Ereignis außerhalb eines Abtastbereichs einer Abtastvorrichtung abgelenkt sein könnte. Die Blickrichtung des Fahrers kann durch diese Technik jedoch nicht verbessert bestimmt werden.In WO 2018/085804 A1 has proposed determining when a driver of a vehicle may be distracted by an event outside of a sensing range of a scanner. However, the driver's viewing direction cannot be better determined using this technology.

Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Blickrichtungserkennung einer Person an Bord eines Fahrzeugs. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.It is an object of the present invention to provide an improved technique for recognizing the line of sight of a person on board a vehicle. The invention solves this problem by means of the subject matter of the independent claims. Subclaims reflect preferred embodiments.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Bestimmen einer Blickrichtung einer Person an Bord eines Fahrzeugs Schritte des Abtastens der Person mittels einer Abtastvorrichtung innerhalb eines vorbestimmten Abtastbereichs; des Erfassens einer Betätigung eines Bedienelements des Fahrzeugs durch die Person; und des Bestimmens der Blickrichtung der Person auf der Basis der Abtastung und der Betätigung.According to a first aspect of the present invention, a method for determining a viewing direction of a person on board a vehicle comprises the steps of scanning the person by means of a scanning device within a predetermined scanning area; the detection of an actuation of an operating element of the vehicle by the person; and determining the person's line of sight based on the sensing and the actuation.

Erfindungsgemäß kann die Blickrichtung unter Berücksichtigung der erfassten Betätigung verbessert bestimmt werden. Insbesondere kann bereits auf der Basis der Betätigung abgeschätzt werden, wohin die Person blickt. In Verbindung mit der Abtastung kann so eine verbesserte Bestimmung möglich sein.According to the invention, the viewing direction can be determined in an improved manner, taking into account the detected actuation. In particular, where the person is looking can already be estimated on the basis of the actuation. In connection with the scanning, an improved determination can thus be possible.

Die Blickrichtung kann insbesondere zur Steuerung einer Informationsausgabe an die Person verwendet werden. Beispielsweise können eine Head-up-Anzeige oder eine verbesserte oder virtuelle Realität der Person verbessert dargeboten werden. Informationen können in Abhängigkeit der bestimmten Blickrichtung verbessert lagerichtig bezüglich eines Kopfes bzw. der Blickrichtung der Person dargestellt werden. Die bestimmte Blickrichtung kann auch zur Steuerung einer Einrichtung an Bord des Fahrzeugs verwendet werden. Ist beispielsweise bekannt, dass die Person aus einem Seitenfenster schaut, kurz nachdem das Fahrzeug an einem Fahrzeugschalter eines Dienstleisters angehalten wurde, so kann das Seitenfenster automatisch geöffnet werden, um der Person eine direkte Kommunikation am Fahrzeugschalter zu erleichtern. Ein anderes Beispiel betrifft eine Absichtserkennung der Person. Kann auf der Basis der Betätigung und/oder der Abtastung darauf geschlossen werden, dass die Person die Absicht hat, das Fahrzeug zu verlassen, so kann in Abhängigkeit eines herannahenden Verkehrs eine Warnung ausgegeben werden oder eine Fahrzeugtür zur Vermeidung einer Kollision mit einem herannahenden anderen Fahrzeug temporär verriegelt werden.The line of sight can be used in particular to control the output of information to the person. For example, a head-up display or an improved or virtual reality of the person can be presented in an improved manner. Depending on the specific viewing direction, information can be displayed in an improved, correct position with respect to a head or the viewing direction of the person. The determined viewing direction can also be used to control a device on board the vehicle. For example, if it is known that the person is looking out of a side window shortly after the vehicle has been stopped at a service provider's vehicle counter, the side window can be opened automatically in order to make it easier for the person to communicate directly at the vehicle counter. Another example relates to an intention recognition of the person. If, based on the actuation and/or the scanning, it can be concluded that the person intends to leave the vehicle, a warning can be output depending on approaching traffic, or a vehicle door can be output to avoid a collision with another approaching vehicle be temporarily locked.

In einer Ausführungsform wird eine auf der Basis der Abtastung bestimmte Blickrichtung auf der Basis der Betätigung validiert. Sind die Informationen nicht konkludent, beispielsweise indem sich eine übermäßige Abweichung einer auf der Basis der Abtastung bestimmten Blickrichtung von einer auf der Basis der Betätigung bestimmten Blickrichtung ergibt, so kann die bestimmte Blickrichtung verworfen werden. Passen andererseits die Informationen der Abtastung und der Betätigung des Bedienelements hingegen gut zusammen, so kann die Blickrichtung mit verbesserter Genauigkeit oder Zuverlässigkeit bestimmt werden.In one embodiment, a gaze direction determined based on the scan is validated based on the actuation. If the information is not implied, for example if there is an excessive deviation between a viewing direction determined on the basis of the scanning and a viewing direction determined on the basis of the actuation, the determined viewing direction can be discarded. On the other hand, the information fits If, on the other hand, the scanning and the actuation of the operating element go well together, the viewing direction can be determined with improved accuracy or reliability.

In einer weiteren Ausführungsform wird auf der Basis der Abtastung und der Betätigung eine Konfidenz bestimmt, mit der die bestimmte Blickrichtung zutreffend ist. Die Konfidenz kann an eine Einrichtung weitergegeben werden, welche die bestimmte Blickrichtung verarbeitet. Diese Einrichtung kann auf der Basis der bestimmten Konfidenz entscheiden, ob die bestimmte Blickrichtung für einen vorliegenden Anwendungszweck ausreichend zuverlässig ist oder nicht.In a further embodiment, a confidence with which the determined viewing direction is correct is determined on the basis of the scanning and the actuation. The confidence can be passed to a device that processes the determined gaze direction. On the basis of the determined confidence, this device can decide whether the determined viewing direction is sufficiently reliable for a given application or not.

Der Betätigung des Bedienelements kann ein vorbestimmtes Ereignis zugeordnet sein. Die Blickrichtung kann auf der Basis einer Position des Ereignisses bestimmt werden. Kann beispielsweise davon ausgegangen werden, dass die Person während des Betätigens ihre eigene Hand betrachtet, so kann die Position der Hand oder des Bedienelements für die Bestimmung der Blickrichtung verwendet werden.A predetermined event can be assigned to the actuation of the control element. The line of sight can be determined based on a position of the event. If, for example, it can be assumed that the person is looking at their own hand during actuation, then the position of the hand or of the operating element can be used to determine the viewing direction.

Das Ereignis kann auf der Basis der Betätigung des Bedienelements gesteuert werden. Beispielsweise kann das Bedienelement das Öffnen oder Schließen eines Garagentors mittels einer Fernbedienung bewirken. Das Ereignis kann in diesem Fall das Garagentor betreffen. Die Blickrichtung der Person kann in diesem Fall auf der Basis der Position des Garagentors bestimmt werden.The event can be controlled based on the actuation of the control. For example, the operating element can open or close a garage door by means of a remote control. In this case, the event can affect the garage door. The person's line of sight in this case can be determined based on the position of the garage door.

In noch einer weiteren Ausführungsform betrifft das Ereignis eine Steuerung des Fahrzeugs. Insbesondere in dieser Ausführungsform kann die Person das Fahrzeug steuern, sodass man von der Person auch als Fahrer sprechen kann. Das Ereignis liegt dabei üblicherweise außerhalb des Fahrzeugs. Sollte der Fahrer beispielsweise das Fahrzeug derart steuern, dass einem Objekt ausgewichen wird, so kann eine Position des Objekts bei der Bestimmung der Blickrichtung angesetzt werden. In einem anderen Beispiel kann das Fahrzeug beispielsweise um eine Kurve oder in eine Parklücke manövriert werden. Die Blickrichtung der Person kann in diesem Fall auf der Basis der Position eines Objekts bestimmt werden, welches außerhalb des Fahrzeugs liegt und das der Fahrer üblicherweise nicht mit dem eigenen Fahrzeug zu berühren sucht.In yet another embodiment, the event relates to control of the vehicle. In this embodiment in particular, the person can control the vehicle, so that the person can also be referred to as the driver. The event is usually outside the vehicle. For example, if the driver steers the vehicle in such a way that an object is avoided, a position of the object can be used when determining the viewing direction. In another example, the vehicle may be maneuvered around a corner or into a parking space, for example. In this case, the person's line of sight can be determined based on the position of an object which is outside the vehicle and which the driver usually does not try to touch with his own vehicle.

In einer weiteren Ausführungsform kann die Blickrichtung auch auf der Basis einer geplanten Route des Fahrzeugs bestimmt werden, insbesondere wenn die Person ein Fahrer ist. Gelangt das Fahrzeug beispielsweise an eine Kreuzung, an der laut geplanter Route ein Abbiegen nach links erfolgt, so kann erwartet werden, dass der Fahrer in diesem Bereich nach links blicken wird. Verlässt die bestimmte Blickrichtung des Fahrers dabei den Abtastbereich, so kann auf der Basis der geplanten Route abgeschätzt werden, wohin er blickt und gegebenenfalls auch, wann seine Blickrichtung wieder auf der Basis einer Abtastung mittels der Abtasteinrichtung bestimmt werden kann.In a further embodiment, the viewing direction can also be determined based on a planned route of the vehicle, in particular when the person is a driver. For example, if the vehicle arrives at an intersection where the planned route indicates a left turn, it can be expected that the driver will look to the left in this area. If the driver's line of sight leaves the scanning area, it can be estimated based on the planned route where he is looking and possibly also when his line of sight can be determined again based on a scan using the scanning device.

In noch einer weiteren Ausführungsform kann bestimmt werden, dass die Person auf das Bedienelement blickt. Insbesondere wenn die Person das Bedienelement manuell betätigt, kann die Blickrichtung sehr genau bestimmt werden. Die Betätigung des Bedienelements kann dazu verwendet werden, die Bestimmung der Blickrichtung der Person auf der Basis der Abtastvorrichtung zu kalibrieren oder zu verifizieren.In yet another embodiment, it can be determined that the person is looking at the control. In particular, if the person operates the control element manually, the line of sight can be determined very precisely. Actuation of the control may be used to calibrate or verify the determination of the person's line of sight based on the scanner.

In einer weiteren Ausführungsform kann die Blickrichtung der Person auch bestimmt werden, wenn sich die Person außerhalb des Abtastbereichs der Abtastvorrichtung befindet. In diesem Fall kann die Blickrichtung allein auf der Basis der Betätigung bestimmt werden; Informationen der Abtastvorrichtung können verworfen werden. Diese Ausführungsform kann insbesondere verwendet werden, um die Blickrichtung der Person abzuschätzen, wenn sich diese vorübergehend aus dem Abtastbereich bewegt. Ein solches vorübergehendes Entfernen aus dem Abtastbereich kann beispielsweise beim genauen oder schnellen Manövrieren des Fahrzeugs stattfinden. Durch das Schätzen der Blickrichtung kann die Blickrichtung dann verbessert verfolgt werden, wenn sich die Person wieder in den Abtastbereich bewegt, sodass Abtastungen der Abtastvorrichtung bereitgestellt werden können. Für viele Zwecke kann sich dadurch eine unterbrechungsfreie Blickrichtungserkennung ergeben. Eine zwischenzeitlich abgesenkte Genauigkeit der erkannten Blickrichtung kann weniger oder gar nicht ins Gewicht fallen.In a further embodiment, the line of sight of the person can also be determined when the person is outside the scanning area of the scanning device. In this case, the line of sight can be determined solely on the basis of the operation; Scanner information may be discarded. In particular, this embodiment can be used to estimate the person's line of sight when they temporarily move out of the scanning area. Such a temporary removal from the scanning area can take place, for example, when maneuvering the vehicle precisely or quickly. By estimating the line of sight, the line of sight can then be better tracked when the person moves back into the scanning area, so that scans of the scanning device can be provided. For many purposes, this can result in an uninterrupted line of sight detection. A reduced accuracy of the recognized viewing direction in the meantime can carry less weight or no weight at all.

In einer weiteren Ausführungsform wird bestimmt, dass sich die Blickrichtung aus dem Abtastbereich bewegt, wobei die Blickrichtung außerhalb des Abtastbereichs auf der Basis der Bewegung bestimmt wird. Beispielsweise kann die Blickrichtung der Person verfolgt werden, etwa mittels eines Kalman-Filters. Durch einen Verlauf der Blickrichtung, bevor die Abtastvorrichtung keine brauchbaren Informationen mehr liefert, kann die Blickrichtung auf der Basis der Betätigung des Bedienelements verbessert geschätzt werden. Insbesondere kann vorhergesagt werden, zu welchem Zeitpunkt, an welcher Position und in welcher Richtung die Blickrichtung wieder in den Bereich des Abtastbereichs wandert. Die bestimmte Blickrichtung der Person kann dadurch schneller oder genauer eingefangen werden.In another embodiment, it is determined that the line of sight is moving out of the scan area, with the line of sight outside of the scan area being determined based on the movement. For example, the person's line of sight can be tracked, for example by means of a Kalman filter. The viewing direction can be better estimated on the basis of the actuation of the operating element by a course of the viewing direction before the scanning device no longer supplies usable information. In particular, it can be predicted at which point in time, at which position and in which direction the viewing direction will move back into the area of the scanning area. The specific viewing direction of the person can thus be captured more quickly or more precisely.

Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst eine Steuervorrichtung zur Bestimmung einer Blickrichtung einer Person an Bord eines Fahrzeugs eine Abtastvorrichtung zur Abtastung der Person innerhalb eines vorbestimmten Abtastbereichs; eine Schnittstelle zur Verbindung mit einem Bedienelement des Fahrzeugs; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, eine Betätigung des Bedienelements durch die Person zu erfassen und die Blickrichtung der Person auf der Basis der Abtastung und der Betätigung zu bestimmen.According to a second aspect of the present invention comprises a control device for determining a viewing direction of a person on board a vehicle, a scanning device for scanning the person within a predetermined scanning area; an interface for connection to a control element of the vehicle; and a processing device that is set up to detect an actuation of the operating element by the person and to determine the viewing direction of the person on the basis of the scanning and the actuation.

Die Steuervorrichtung ist bevorzugt dazu eingerichtet, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The control device is preferably set up to carry out a method described herein in whole or in part. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be present in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Es ist besonders bevorzugt, dass die Abtastvorrichtung dazu eingerichtet ist, eine berührungslose, bildgebende Abtastung eines Kopfbereichs der Person bereitzustellen. Dazu kann die Abtastvorrichtung insbesondere optisch arbeiten und beispielsweise eine Innenraumkamera umfassen. Diese kann zweidimensional arbeiten oder dazu eingerichtet sein, dreidimensionale Informationen bereitzustellen, beispielsweise indem die Innenraumkamera als Tiefenkamera oder Stereo-Kamera ausgebildet ist. Die Kamera kann in einem unsichtbaren Wellenlängenbereich arbeiten, insbesondere im Infrarot-Bereich. Dazu kann die Kamera eine Lichtquelle mit entsprechendem Lichtspektrum umfassen.It is particularly preferred that the scanning device is set up to provide a contactless, imaging scanning of a head area of the person. For this purpose, the scanning device can work optically in particular and can include an interior camera, for example. This can work two-dimensionally or be set up to provide three-dimensional information, for example by the interior camera being designed as a depth camera or stereo camera. The camera can work in an invisible wavelength range, especially in the infrared range. For this purpose, the camera can include a light source with a corresponding light spectrum.

Das Bedienelement ist bevorzugt dazu eingerichtet, eine Funktion des Fahrzeugs zu steuern, die eine Auswirkung auf eine Längs- oder Quersteuerung des Fahrzeugs hat. Insbesondere kann das Bedienelement eines von einem Lenkrad, einem Fahrtrichtungsanzeiger (Blinker) oder einem Gangwählhebel umfassen. Weitere mögliche Bedienelemente umfassen beispielsweise einen Fensterheber oder einen berührungsempfindlichen Bildschirm (Touchscreen). Auf dem Bildschirm kann eine Bedienfläche angezeigt werden. Eine Position der Bedienfläche auf dem Bildschirm und/oder eine mit der Bedienfläche verknüpfte Funktion können in Abhängigkeit eines vorliegenden Kontexts, beispielsweise eines Fahrzustandes des Fahrzeugs, veränderlich sein. In dieser Ausführungsform kann eine Wahrscheinlichkeit, dass eine Person die Bedienfläche betätigt und gleichzeitig auf die betätigte Bedienfläche blickt, besonders hoch sein.The operating element is preferably set up to control a function of the vehicle that has an effect on longitudinal or lateral control of the vehicle. In particular, the operating element can include one of a steering wheel, a direction indicator (turn signal) or a gear selector lever. Other possible controls include, for example, a window lifter or a touch-sensitive screen (touch screen). A control surface can be displayed on the screen. A position of the control surface on the screen and/or a function linked to the control surface can be variable depending on an existing context, for example a driving state of the vehicle. In this embodiment, the probability that a person will actuate the control surface and look at the actuated control surface at the same time can be particularly high.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein System eine hierin beschriebene Steuervorrichtung und eine Abtastvorrichtung. Außerdem kann das System ein Bedienelement umfassen.According to yet another aspect of the present invention, a system includes a controller as described herein and a sensing device. In addition, the system may include a control.

Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug ein hierin beschriebenes System. Das Fahrzeug kann insbesondere ein Kraftfahrzeug, weiter bevorzugt ein Personenkraftfahrzeug umfassen.According to yet another aspect of the present invention, a vehicle includes a system as described herein. The vehicle can in particular comprise a motor vehicle, more preferably a passenger vehicle.

Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

1 ein System;
2 ein Ablaufdiagramm eines Verfahrens; und
3 einen beispielhaften Verlauf einer Blickrichtung einer Person

The invention will now be described in more detail with reference to the accompanying drawings, in which:

1 a system;
2 a flowchart of a method; and
3 an example course of a line of sight of a person

illustriert.illustrated.

1 zeigt ein System 100 an Bord eines Fahrzeugs 105, wobei das System 100 eine Steuervorrichtung 110 und eine Abtastvorrichtung 115 umfasst. Die Abtastvorrichtung 115 ist üblicherweise fest an Bord des Fahrzeugs 105 angebracht und bevorzugt dazu eingerichtet, eine Person 120 zumindest abschnittsweise abzutasten. Die Abtastvorrichtung 115 umfasst bevorzugt eine Kamera, weiter bevorzugt eine Infrarot-Kamera. Die Person 120 befindet sich üblicherweise an einem vorbestimmten Platz 125, der vorliegend durch einen Sitz gebildet ist. Die Person 120 kann einen Passagier oder einen Fahrer des Fahrzeugs 105 umfassen. Eine Unterscheidung zwischen einem Passagier und einem Fahrer kann auf der Basis eines durch die Person eingenommenen Platzes im Fahrzeug 105 getroffen werden. Ein für einen Fahrer vorgesehener Platz befindet sich üblicherweise vorne links (bei einem Fahrzeug 105 für Rechtsverkehr) oder vorne rechts (bei einem Fahrzeug 105 für Linksverkehr). 1 10 shows a system 100 on board a vehicle 105, the system 100 comprising a control device 110 and a scanning device 115. FIG. The scanning device 115 is usually mounted permanently on board the vehicle 105 and is preferably set up to scan a person 120 at least in sections. The scanning device 115 preferably comprises a camera, more preferably an infrared camera. The person 120 is usually located in a predetermined place 125, which in the present case is formed by a seat. The person 120 may include a passenger or a driver of the vehicle 105 . A distinction between a passenger and a driver may be made based on a seat in the vehicle 105 occupied by the person. A space provided for a driver is usually located at the front left (in a vehicle 105 for right-hand traffic) or at the front right (in a vehicle 105 for left-hand traffic).

In der Darstellung von 1 befindet sich die Person 120 auf einem Platz 125, der einem Fahrer zugeordnet ist, sodass die Person 120 als Fahrer des Fahrzeugs 105 bezeichnet werden kann. Die Steuervorrichtung 110 umfasst eine Verarbeitungseinrichtung 130 und eine Schnittstelle 135, mit der die Steuervorrichtung 110 mit einer weiteren Einrichtung an Bord des Fahrzeugs 105 verbunden werden kann. Die Schnittstelle 135 kann insbesondere mit einem Datenbus verbunden werden, wobei über den Datenbus Informationen bereitgestellt oder empfangen werden können.In the representation of 1 the person 120 is in a place 125 that is assigned to a driver, so that the person 120 can be referred to as the driver of the vehicle 105 . The control device 110 includes a processing device 130 and an interface 135 with which the control device 110 can be connected to a further device on board the vehicle 105 . The interface 135 can in particular be connected to a data bus, with information being able to be provided or received via the data bus.

Das Fahrzeug 105 umfasst eines oder mehrere Bedienelemente 140, zu denen in vorliegenden Ausführungsform exemplarisch ein Lenkrad 145, ein Lenkstockschalter 150 und ein Schalter 155 zählen, der beispielsweise zur Betätigung von elektrischen Fensterhebern eingerichtet sein kann. Eine Betätigung eines der Bedienelemente 140 kann über den Datenbus an die Schnittstelle 135 gemeldet werden.The vehicle 105 includes one or more controls 140, which in the present embodiment include a steering wheel 145, a steering column switch 150 and a switch 155, which can be set up, for example, to operate electric windows. An actuation of one of the operating elements 140 can be reported to the interface 135 via the data bus.

Eine Blickrichtung 160 der Person 120 kann bestimmt werden, indem die Person 120 mittels der Abtastvorrichtung 115 abgetastet wird und Informationen über eine Kopf- und/oder Augenposition der Person 120 bestimmt werden. Die Abtastvorrichtung 115 umfasst jedoch nur einen vorbestimmten Abtastbereich 165, der durch eine Position der Abtastvorrichtung 115, eine Position der Person 120 und/oder Abtasteigenschaften der Abtastvorrichtung 115 bestimmt sein kann.A viewing direction 160 of the person 120 can be determined by the person 120 being scanned using the scanning device 115 and information about a head and/or eye position of the person 120 being determined. However, the scanning device 115 comprises only a predetermined scanning area 165, which can be determined by a position of the scanning device 115, a position of the person 120 and/or scanning properties of the scanning device 115.

Es kann unterschieden werden zwischen einem Abtastbereich 165, in welchem sich die Person 120 befinden muss, um von der Abtastvorrichtung 115 optisch erfasst werden zu können, und einem Abtastbereich 165, in welchem die Blickrichtung 160 liegen muss, um auf der Basis der Abtastvorrichtung 115 korrekt erkannt werden zu können. In beiden Fällen kann sich die Person 120 so verhalten, dass die Bestimmung der Blickrichtung 160 auf der Basis der Abtastung mittels der Abtastvorrichtung 115 nicht oder nicht zuverlässig erfolgen kann. Blickt die Person 120 beispielsweise weit zur Seite, wie in 1 dargestellt ist, um beispielsweise einen entgegenkommenden Verkehr beim Durchfahren einer Linkskurve mit dem Fahrzeug 105 verbessert sehen zu können, so kann die Bestimmung seiner Blickrichtung 160 auf der Basis der Abtastvorrichtung 115 versagen. Bewegt die Person 120 zusätzlich ihren Kopf oder ihren gesamten Körper, beispielsweise um einen durch eine Fahrzeugsäule 170 verdeckten Bereich des Umfelds des Fahrzeugs 105 verbessert einsehen zu können, kann die Bestimmung der Blickrichtung 160 mittels der Abtastvorrichtung 115 versagen.A distinction can be made between a scanning area 165, in which the person 120 must be located in order to be optically detected by the scanning device 115, and a scanning area 165, in which the line of sight 160 must lie in order to be correct on the basis of the scanning device 115 to be able to be recognized. In both cases, the person 120 can behave in such a way that the direction of view 160 cannot be determined on the basis of the scanning by the scanning device 115 or cannot be carried out reliably. For example, if person 120 looks far to the side, as in 1 is shown, in order to be able to see better, for example, oncoming traffic when driving through a left-hand bend with the vehicle 105, then the determination of its viewing direction 160 on the basis of the scanning device 115 can fail. If person 120 also moves their head or their entire body, for example in order to be able to better see an area of the surroundings of vehicle 105 that is covered by a vehicle pillar 170, determining viewing direction 160 using scanning device 115 may fail.

Es wird vorgeschlagen, die Blickrichtung 160 der Person 120 zusätzlich auf der Basis einer Betätigung eines Bedienelements 140 zu bestimmen, wobei die Betätigung durch die Person 120 mittelbar oder unmittelbar auf die Blickrichtung 160 hinweist. Insbesondere kann ein Ereignis bestimmt werden, das in der Blickrichtung 160 der Person 120 liegt, wobei das Ereignis auf der Basis einer Betätigung eines Betätigungselements 140, sowie optional eines Fahrzustands des Fahrzeugs 105 bestimmt werden kann.It is proposed to additionally determine the line of sight 160 of the person 120 on the basis of an actuation of an operating element 140 , the actuation by the person 120 pointing directly or indirectly to the line of sight 160 . In particular, an event can be determined that is in the line of sight 160 of the person 120, the event being able to be determined on the basis of an actuation of an actuating element 140 and optionally a driving state of the vehicle 105.

2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zur Bestimmung einer Blickrichtung 160 einer Person 120 an Bord eines Fahrzeugs 105. In einem Schritt 205 kann ein Abschnitt einer Person 120 mittels der Abtastvorrichtung 115 abgetastet werden. Dazu kann beispielsweise ein Bereich, in dem sich ein Kopf der Person 120 üblicherweise befindet, wenn die Person 120 sich an einem vorbestimmten Platz 125 im Fahrzeug 105 befindet, abgetastet werden. Der Bereich ist bevorzugt groß genug gewählt, um einen Kopfbereich auch unterschiedlich großer Fahrer sicher zu erfassen. 2 12 shows a flow chart of a method 200 for determining a viewing direction 160 of a person 120 on board a vehicle 105. In a step 205, a section of a person 120 can be scanned by means of the scanning device 115. For this purpose, for example, an area in which a head of person 120 is usually located when person 120 is in a predetermined place 125 in vehicle 105 can be scanned. The area is preferably selected to be large enough to reliably detect a head area, even drivers of different sizes.

In einem Schritt 210 kann auf der Basis der Abtastung die Blickrichtung 160 der Person 120 bestimmt werden.In a step 210, the viewing direction 160 of the person 120 can be determined on the basis of the scan.

Parallel dazu kann in einem Schritt 215 die Betätigung eines Bedienelements 140 durch die Person 120 erfasst werden. Das Bedienelement 140 kann dazu eingerichtet sein, eine Funktion des Fahrzeugs 105 zu steuern und insbesondere in einem vorbestimmten Zusammenhang zu einem Ereignis stehen, dessen Position bezüglich der Person 120 oder des Fahrzeugs 105 bestimmt werden kann. Das Ereignis und dessen Position können in einem Schritt 220 bestimmt werden.In parallel to this, the actuation of an operating element 140 by the person 120 can be detected in a step 215 . The operating element 140 can be set up to control a function of the vehicle 105 and in particular to be in a predetermined relationship to an event whose position in relation to the person 120 or the vehicle 105 can be determined. In a step 220, the event and its position can be determined.

In einem Schritt 225 kann die Blickrichtung 160 auf der Basis der Bestimmung des Schritts 210 und der Schritte 215 und 220 verbessert bestimmt werden. In einer Ausführungsform können die über die unterschiedlichen Zweige des Verfahrens 200 bestimmten Blickrichtungen 160 miteinander verglichen bzw. gegeneinander validiert werden. Ein Maß für eine Abweichung der Blickrichtungen 160 voneinander kann bestimmt werden.In a step 225 the viewing direction 160 can be determined in an improved manner on the basis of the determination of the step 210 and the steps 215 and 220 . In one embodiment, the viewing directions 160 determined via the different branches of the method 200 can be compared with one another or validated against one another. A measure for a deviation of the viewing directions 160 from one another can be determined.

In einer weiteren Ausführungsform kann bestimmt werden, dass die Blickrichtung 160 im Schritt 210 nicht bestimmt werden konnte, beispielsweise weil sich die Person 120 bzw. ihre Blickrichtung 160 außerhalb des Abtastbereichs 165 der Abtastvorrichtung 115 befand. In noch einer weiteren Ausführungsform kann die Blickrichtung 160 der Person 120 im Schritt 210 fortlaufend bestimmt werden. In a further embodiment, it can be determined that the line of sight 160 could not be determined in step 210 , for example because the person 120 or their line of sight 160 was outside of the scanning area 165 of the scanning device 115 . In yet another embodiment, the viewing direction 160 of the person 120 can be continuously determined in step 210 .

Kann die Blickrichtung 160 vorübergehend nicht auf der Basis der Abtastvorrichtung 115 bestimmt werden, so kann die Blickrichtung 160 auf der Basis der Schritte 215, 220 geschätzt werden. Außerdem kann vorhergesagt werden, wann und wo die Blickrichtung 160 wieder in den mittels der Abtastvorrichtung 115 abtastbaren Bereich zurückkehrt. Die Blickrichtungsbestimmung im Schritt 225 kann eine Fusion der vorhandenen Informationen durchführen. Dabei kann ein Fahrzustand des Fahrzeugs 105 berücksichtigt werden.If the viewing direction 160 cannot temporarily be determined based on the scanning device 115, the viewing direction 160 can be estimated on the basis of steps 215, 220. In addition, it can be predicted when and where the line of sight 160 will return to the area that can be scanned by the scanning device 115 . The line of sight determination in step 225 can perform a fusion of the existing information. A driving state of the vehicle 105 can be taken into account.

In einem Schritt 230 kann eine Konfidenz bestimmt werden, die angeben kann, mit welcher Wahrscheinlichkeit eine bestimmte Blickrichtung 160 tatsächlich geltenden Verhältnissen entspricht. Die bestimmte Blickrichtung 160, die bestimmte Konfidenz sowie ggf. begleitende Umstände, etwa Informationen über die Betätigung eines Bedienelements 140, können nach außen bereitgestellt werden.In a step 230, a confidence can be determined, which can indicate the probability with which a specific viewing direction 160 corresponds to actually applicable conditions. The specific line of sight 160, the specific confidence and any accompanying circumstances, such as information Information about the actuation of an operating element 140 can be made available to the outside.

3 zeigt eine schematische Darstellung eines Verlaufs einer Blickrichtung 160 einer Person 120 an Bord eines Fahrzeugs 105. Die Darstellung ist ähnlich der von 1 und zeigt das Fahrzeug 105 im Wesentlichen aus der Perspektive der Person 120. Beispielhafte Blickrichtungen 165 sind in konstanten zeitlichen Abständen erfasst und in der Ansicht als Pluszeichen visualisiert. Wo sich die Zeichen häufen, verweilt die Blickrichtung 160; weit voneinander beabstandete Pluszeichen weisen auf eine rasche Bewegung der Blickrichtung 160 hin. 3 shows a schematic representation of a course of a viewing direction 160 of a person 120 on board a vehicle 105. The representation is similar to that of FIG 1 and shows the vehicle 105 essentially from the perspective of the person 120. Exemplary viewing directions 165 are recorded at constant time intervals and visualized in the view as a plus sign. Where the signs accumulate, the line of sight lingers 160; widely spaced plus signs indicate rapid movement of gaze direction 160.

Zunächst ruht die Blickrichtung 160 in einem ersten Bereich 305, der durch den Abtastbereich 165 abgedeckt ist. Dann betätigt die Person 120 den Schalter 155, der beispielhaft zur Verstellung eines Außenspiegels 310 eingerichtet ist. Gleichzeitig beginnt die Blickrichtung 165, sich in Richtung des Außenspiegels 310 zu bewegen, wobei die Blickrichtung 160 den Abtastbereich 165 verlässt. Die Blickrichtung 165 erreicht dann einen zweiten Bereich 315, der den Außenspiegel 310 umfasst, und ruht an dieser Stelle, während der Außenspiegel 310 verstellt wird. Mit dem Loslassen des Schalters 155 beginnt die Blickrichtung 165, sich wieder in Richtung des ersten Bereichs 305 zu bewegen, wobei sie in den Abtastbereich 165 eintritt und sich weiter bis zum ersten Bereich 305 verschiebt. Initially, the line of sight 160 rests in a first area 305 which is covered by the scanning area 165 . The person 120 then actuates the switch 155, which is set up, for example, to adjust an exterior mirror 310. At the same time, line of sight 165 begins to move in the direction of exterior mirror 310 , line of sight 160 leaving scanning area 165 . The viewing direction 165 then reaches a second area 315, which includes the exterior mirror 310, and rests at this point while the exterior mirror 310 is adjusted. Upon release of switch 155, gaze direction 165 begins to move toward first region 305 again, entering scan region 165 and continuing to shift toward first region 305. FIG.

Die Blickrichtung 160 ist außerhalb des Abtastbereichs 165 nicht auf der Basis von Abtastungen der Abtasteinrichtung 115 direkt bestimmbar. Allerdings kann auf der Basis einer erfassten Betätigung des Schalters 155 sowie gegebenenfalls der erfassten Bewegung der Blickrichtung 160 bis zur Grenze des Abtastbereichs 165 darauf geschlossen werden, wie sich der Verlauf der Blickrichtung 165 fortsetzt. In entsprechender Weise kann auf der Basis des Loslassens des Schalters 155 vorhergesagt werden, zu welchem Zeitpunkt oder an welcher Stelle die Blickrichtung 160 wieder in den Abtastbereich 165 eintritt.The line of sight 160 cannot be determined directly outside of the scanning area 165 on the basis of scans of the scanning device 115 . However, on the basis of a detected actuation of the switch 155 and possibly the detected movement of the viewing direction 160 up to the limit of the scanning area 165, it can be concluded how the course of the viewing direction 165 will continue. Similarly, based on the release of switch 155, the point in time or location where gaze 160 will re-enter scan region 165 may be predicted.

Die Verfolgung der Blickrichtung 160 kann unter Berücksichtigung der erfassten Betätigung signifikant verbessert werden. Insbesondere kann die Blickrichtung 160 außerhalb des Abtastbereichs 165 zumindest in erster Näherung bestimmt werden, ein Eintreten der Blickrichtung 160 in den Abtastbereich 165 kann vorhergesagt werden und innerhalb des Abtastbereichs 165 kann die Blickrichtung 160 genauer oder zuverlässiger bestimmt werden.The tracking of the line of sight 160 can be significantly improved considering the detected actuation. In particular, the viewing direction 160 can be determined outside of the scanning area 165 at least in a first approximation, entry of the viewing direction 160 into the scanning area 165 can be predicted and within the scanning area 165 the viewing direction 160 can be determined more precisely or more reliably.

BezugszeichenlisteReference List

100100: Systemsystem
105105: Fahrzeugvehicle
110110: Steuervorrichtungcontrol device
115115: Abtastvorrichtungscanning device
120120: Personperson
125125: Platzspace
130130: Verarbeitungseinrichtungprocessing facility
135135: Schnittstelleinterface
140140: Bedienelementcontrol element
145145: Lenkradsteering wheel
150150: Lenkstockschaltersteering column switch
155155: Schaltercounter
160160: Blickrichtungline of sight
165165: Abtastbereichscanning area
170170: Fahrzeugsäule vehicle pillar
200200: Verfahrenprocedure
205205: Abschnitt einer Person abtastenScan a section of a person
210210: Blickrichtung bestimmenDetermine viewing direction
215215: Betätigung Bedienelement erfassenDetect actuation of control element
220220: Ereignis und Position bestimmenDetermine event and position
225225: Blickrichtung bestimmenDetermine viewing direction
230230: Konfidenz bestimmen determine confidence
305305: erster Bereichfirst area
310310: Außenspiegelexterior mirrors
315315: zweiter Bereichsecond area

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

WO 2018/085804 A1 [0005]

Claims

Method (200) for determining a viewing direction (160) of a person (120) on board a vehicle (105), the method (200) comprising the following steps: - Scanning (205) the person (120) by means of a scanning device (115) within a predetermined scanning area (165); - detecting (215) an actuation of an operating element (140) of the vehicle (105) by the person (120); and - determining (225) the line of sight (160) of the person (120) based on the sensing and the actuation.

Method (200) according to claim 1 wherein a gaze direction (160) determined based on the scan is validated (225) based on the actuation.

Method (200) according to claim 1 or 2 , wherein based on the scanning and the actuation, a confidence is determined (230) with which the determined viewing direction (160) is correct.

Method (200) according to one of the preceding claims, wherein the actuation of the operating element (140) is associated with a predetermined event, and the viewing direction (160) is determined (225) on the basis of a position of the event (220).

Method (200) according to claim 4 , wherein the event can be controlled based on actuation of the operating element (140).

Method (200) according to claim 5 , wherein the event relates to a control of the vehicle (105).

Method (200) according to one of the preceding claims, wherein it is determined that the person (120) is looking at the operating element (140).

The method (200) of any preceding claim, wherein the gaze direction (160) is determined based on the actuation if the person (120) is outside the sensing area (165).

The method (200) of any preceding claim, wherein the line of sight (160) is determined to be moving out of the scan area (165) and the line of sight (160) outside of the scan area (165) is determined based on the movement.

Control device (110) for determining a viewing direction (160) of a person (120) on board a vehicle (105), the control device (110) comprising the following elements: - a scanning device (115) for scanning the person (120) within a predetermined scanning area (165); - An interface (135) for connection to a control element (140) of the vehicle (105); and - A processing device (130) for detecting an actuation of the operating element (140) by the person (120); and for determining the line of sight (160) of the person (120) based on the scanning and the actuation.

Control device (110) after claim 10 , wherein the scanning device (115) is set up to provide a contactless, imaging scanning of a head area of the person (120).

Control device (110) after claim 10 or 11 , wherein the operating element (140) comprises one of a steering wheel (145), a direction indicator (150), a window regulator (155) or a gear selector.

System (100), comprising a control device (110) according to any one of Claims 10 until 12 and a scanner (115).

Vehicle (105) comprising a system (100) according to one of Claims 10 until 13 .