DE102022118795A1 - Method for detecting the viewing direction of a user of data glasses for execution in a vehicle - Google Patents
Method for detecting the viewing direction of a user of data glasses for execution in a vehicle Download PDFInfo
- Publication number
- DE102022118795A1 DE102022118795A1 DE102022118795.0A DE102022118795A DE102022118795A1 DE 102022118795 A1 DE102022118795 A1 DE 102022118795A1 DE 102022118795 A DE102022118795 A DE 102022118795A DE 102022118795 A1 DE102022118795 A1 DE 102022118795A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- detecting
- user
- pose
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000004984 smart glass Substances 0.000 claims abstract description 12
- 230000004397 blinking Effects 0.000 claims description 3
- 230000000193 eyeblink Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
Offenbart wird ein Verfahren zur Erkennung der Blickrichtung eines Benutzers einer Datenbrille zur Ausführung in einem Fahrzeug, wobei die Datenbrille einen Sensor zur Erkennung der Blickrichtung des Benutzers umfasst, wobei das Fahrzeug einen Sensor umfasst zur Erkennung der Pose der Datenbrille relativ zum Fahrzeug und einen Sensor zur Erkennung der Pose des Fahrzeugs bezogen zum Umfeld, wobei das Verfahren umfasst: Erkennen der Blickrichtung des Benutzers relativ zur Datenbrille mithilfe des in der Datenbrille integrierten Sensors; Erkennen der Pose der Datenbrille im Fahrzeug mithilfe des im Fahrzeug umfassen Sensors zur Posenerkennung der Datenbrille; Erkennen der Pose des Fahrzeugs bezogen auf das Umfeld; Bestimmen der Blickrichtung des Benutzers bezogen auf das Umfeld basierend auf der erkannten Blickrichtung des Benutzers relativ zur Datenbrille, der erkannten Pose der Datenbrille und der erkannten Pose des Fahrzeugs.Disclosed is a method for detecting the viewing direction of a user of data glasses for execution in a vehicle, wherein the data glasses comprise a sensor for detecting the user's viewing direction, the vehicle comprising a sensor for detecting the pose of the data glasses relative to the vehicle and a sensor for Detecting the pose of the vehicle in relation to the environment, the method comprising: detecting the user's viewing direction relative to the data glasses using the sensor integrated in the data glasses; Detecting the pose of the data glasses in the vehicle using the sensor included in the vehicle for pose recognition of the data glasses; Detecting the pose of the vehicle in relation to the surroundings; Determining the user's viewing direction in relation to the environment based on the detected viewing direction of the user relative to the smart glasses, the detected pose of the smart glasses and the detected pose of the vehicle.
Description
Die Erfindung betrifft ein Verfahren zur Erkennung der Blickrichtung eines Benutzers einer Datenbrille zur Ausführung in einem Fahrzeug, sowie ein entsprechendes System aus Fahrzeug und Datenbrille.The invention relates to a method for detecting the viewing direction of a user of data glasses for execution in a vehicle, as well as a corresponding system consisting of vehicle and data glasses.
Heutzutage befinden sich Datenbrillen (manchmal auch Head-mounted Displays, HMD, genannt) in der Erprobung. Diese umfassen meist zwei transparente Displays mit Verarbeitungselektronik, auf denen einem Benutzer Informationen und Darstellungen angezeigt werden können. Die Anzeige kann auf kontaktanaloge Art erfolgen, also derart, dass dem Benutzer die angezeigte Information oder Darstellung in einem räumlichen Bezug zu einem Objekt im Umfeld erscheint.Today, data glasses (sometimes called head-mounted displays, HMD) are being tested. These usually include two transparent displays with processing electronics on which information and representations can be displayed to a user. The display can be carried out in a contact-analogous manner, i.e. in such a way that the displayed information or representation appears to the user in a spatial relationship to an object in the environment.
Ferner sind Fahrzeuge bekannt, die Innenraumkamerasystem integriert haben, mit denen die Insassen und insbesondere der Fahrer aufgenommen werden. Diese Aufnahmen werden beispielsweise dafür verwendet, die Aufmerksamkeit des Fahrers zu überprüfen.Furthermore, vehicles are known that have integrated interior camera systems with which the occupants and in particular the driver are recorded. These recordings are used, for example, to check the driver's attention.
Die Bedienung des Fahrzeugs und vom Fahrzeug gebotener Funktionen erfolgt meist über haptische bzw. Berührungseingaben oder Spracheingaben. Dies ist insbesondere bei Eingaben, die einen Bezug zum Umfeld des Fahrzeugs haben, mit Ablenkungen des Fahrers von der Fahraufgabe verbunden und auch nicht besonders komfortabel in der Ausführung.The vehicle and the functions offered by the vehicle are usually operated via haptic or touch inputs or voice inputs. This is associated with distractions for the driver from the driving task, particularly for inputs that are related to the vehicle's surroundings, and is also not particularly convenient to execute.
Die Aufgabe an den Fachmann ist die Bereitstellung von einfachen Bedienungsmöglichkeiten für Funktionen, die auf das Umfeld des Fahrzeugs bezogen sind.The task of the specialist is to provide simple operating options for functions that are related to the vehicle's environment.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.The task is solved by the independent claims. Advantageous further training is defined in the dependent claims.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Erkennung der Blickrichtung eines Benutzers einer Datenbrille zur Ausführung in einem Fahrzeug, wobei die Datenbrille einen Sensor zur Erkennung der Blickrichtung des Benutzers umfasst, wobei das Fahrzeug einen Sensor umfasst zur Erkennung der Pose der Datenbrille relativ zum Fahrzeug und einen Sensor zur Erkennung der Pose des Fahrzeugs bezogen zum Umfeld, wobei das Verfahren umfasst: Erkennen der Blickrichtung des Benutzers relativ zur Datenbrille mithilfe des in der Datenbrille integrierten Sensors; Erkennen der Pose der Datenbrille im Fahrzeug mithilfe des im Fahrzeug umfassen Sensors zur Posenerkennung der Datenbrille; Erkennen der Pose des Fahrzeugs bezogen auf das Umfeld; Bestimmen der Blickrichtung des Benutzers bezogen auf das Umfeld basierend auf der erkannten Blickrichtung des Benutzers relativ zur Datenbrille, der erkannten Pose der Datenbrille und der erkannten Pose des Fahrzeugs. Eine Pose ist die Angabe einer Position und eine mindestens zweidimensionale Ausrichtung, typischerweise dreidimensionalen Ausrichtung. Der in der Datenbrille verbaute Sensor ist typischerweise ein Eyetracker, insbesondere auf Kamerabasis.A first aspect of the invention relates to a method for detecting the viewing direction of a user of data glasses for execution in a vehicle, the data glasses comprising a sensor for detecting the user's viewing direction, the vehicle comprising a sensor for detecting the pose of the data glasses relative to the vehicle and a sensor for detecting the pose of the vehicle in relation to the environment, the method comprising: detecting the user's viewing direction relative to the smart glasses using the sensor integrated in the smart glasses; Detecting the pose of the data glasses in the vehicle using the sensor included in the vehicle for pose recognition of the data glasses; Detecting the pose of the vehicle in relation to the surroundings; Determining the user's viewing direction in relation to the environment based on the detected viewing direction of the user relative to the smart glasses, the detected pose of the smart glasses and the detected pose of the vehicle. A pose is the specification of a position and an at least two-dimensional orientation, typically three-dimensional orientation. The sensor built into the data glasses is typically an eye tracker, especially based on a camera.
Hierin wird also vorgeschlagen, dass ein in einer Datenbrille verbauter Eyetracker (hierin auch Sensor genannt) die Blickrichtung und ggf. Augenposition des Nutzers erkennt. Damit kann erkannt werden, wohin der Nutzer blickt. Bei einer Verwendung in einem Fahrzeug kann mit einem entsprechenden Brillentrackingsystem die Brille im Fahrzeug getrackt werden (also deren Pose erkannt werden). In Kombination mit dem Eyetracker in der Brille, kann nun ermittelt werden, wohin der Nutzer im Fahrzeug schaut beziehungsweise die Blickrichtung relativ zum Fahrzeug ermittelt werden. Mit einem im Fahrzeug verbauten INS (Inertial Navigation System) kann nun ermittelt werden, wohin der Nutzer in der Welt schaut, indem zuvor die Pose des Fahrzeugs (meist als zweidimensionale Ausrichtung auf der Oberfläche angegeben) bestimmt wird. Damit ist die technische Voraussetzung geschaffen, zu erkennen, auf welche Objekte der Nutzer im Umfeld des Fahrzeugs schaut.It is therefore proposed here that an eye tracker (also referred to herein as a sensor) installed in data glasses detects the user's viewing direction and, if applicable, eye position. This makes it possible to see where the user is looking. When used in a vehicle, a corresponding glasses tracking system can be used to track the glasses in the vehicle (i.e. their pose can be recognized). In combination with the eye tracker in the glasses, it can now be determined where the user is looking in the vehicle or the direction of view relative to the vehicle. With an INS (Inertial Navigation System) installed in the vehicle, it can now be determined where the user is looking in the world by previously determining the pose of the vehicle (usually specified as a two-dimensional orientation on the surface). This creates the technical prerequisite for recognizing which objects the user is looking at in the area around the vehicle.
Zusammengefasst: Der Nutzer schaut auf ein Objekt außerhalb des Fahrzeugs. Die Blickrichtung wird durch die Eyetracker in der Datenbrille erfasst. Mit dem Brillentrackingsystem und INS im Fahrzeug kann das angeschaute Objekte identifiziert werden.In summary: The user looks at an object outside the vehicle. The direction of view is recorded by the eye trackers in the data glasses. With the glasses tracking system and INS in the vehicle, the objects viewed can be identified.
Das Verfahren umfasst vorteilhafterweise das Bestimmen des vom Benutzer betrachteten Objektes im Umfeld unter Verwendung der Bestimmten Blickrichtung bezogen auf das Umfeld und Daten zu Objekten im Umfeld des Fahrzeugs. Dabei kann vorgesehen sein, die Daten zu Objekten von einem entfernten Server über eine drahtlose Datenschnittstelle empfangen werdenThe method advantageously includes determining the object in the environment viewed by the user using the specific viewing direction in relation to the environment and data on objects in the environment of the vehicle. It can be provided that the data on objects is received from a remote server via a wireless data interface
Dies bedeutet, da die Position und die Orientierung des Fahrzeugs in der Welt bekannt ist, können nun Informationen zu den Objekten in der Umgebung abgerufen werden (z.B. mittels eines Kartendienstes). Damit ist es möglich, mittels Blick Objekte in der Welt für bereitgestellte Funktionen auszuwählen oder zu fokussieren.This means that since the position and orientation of the vehicle in the world is known, information about the objects in the environment can now be retrieved (e.g. using a map service). This makes it possible to select or focus on objects in the world for provided functions by looking.
Das Verfahren kann wie folgt erweitert werden: Erkennen einer Spracheingabe durch den Benutzer während der Benutzer ein Objekt betrachtet; Ausführen einer zur Spracheingabe gehörigen Aktion durch das Fahrzeug oder die Datenbrille.The method can be extended as follows: detecting voice input from the user while the user is viewing an object; Execution of an action related to the voice input by the vehicle or the data glasses.
Alternativ oder zusätzlich können folgende Schritte vorgesehen sein: Erkennen eines oder mehrerer Augenblinzeln während der Benutzer ein Objekt betrachtet; Ausführen einer zum Augenblinzeln gehörigen Aktion durch das Fahrzeug oder die Datenbrille.Alternatively or additionally, the following steps can be provided: detecting one or more eye blinks while the user is looking at an object; Performing an eye blinking action through the vehicle or smart glasses.
In der konkreten Anwendung kann folgendes vorgesehen sein: die Aktion ist eine Reservierung in einem Restaurant; das Ausgeben von Informationen zu einem Objekt, eine Vorgabe für ein automatisiertes Fahrsystem des Fahrzeugs, oder die Erstellung einer Essensbestellung.In the specific application, the following may be provided: the action is a reservation in a restaurant; outputting information about an object, a specification for an automated driving system of the vehicle, or creating a food order.
Es sind insbesondere folgende Interaktionen möglich:
- - Der Nutzer schaut auf ein Restaurant vom Fahrzeug aus und stellt dem Fahrzeug die Frage „Kannst du mir hier für heute Abend einen Tisch reservieren“. Das Fahrzeug erkennt automatisch welches Restaurant gemeint ist.
- - Der Nutzer schaut auf eine Sehenswürdigkeit und sagt „Erzähle mir von dieser Sehenswürdigkeit“. Das Fahrzeug erkennt, welche Sehenswürdigkeit gemeint ist, da die Blickrichtung erkannt wurde.
- - Der Nutzer schaut auf ein Fahrzeug außerhalb und sagt: „Folge dem Fahrzeug“. Damit kann das Zielfahrzeug automatisch beispielsweise für eine automatische Fahrfunktion ausgewählt werden ohne weitere Bedienelemente zu betätigen.
- - Dem Nutzer werden automatisch Informationen zu angeschauten Objekten angezeigt.
- - Durch ein doppeltes Blinzeln (erkannt mit Eyetracker) können Objekte ausgewählt bzw. bestätigt werden (z.B. können bei einem Drive-In-Restaurant die Objekte angeschaut und so der Bestellung hinzugefügt werden).
- - The user looks at a restaurant from the vehicle and asks the vehicle the question “Can you reserve a table for me here this evening”. The vehicle automatically recognizes which restaurant is meant.
- - The user looks at a landmark and says “Tell me about this landmark.” The vehicle recognizes which landmark is meant because the viewing direction has been recognized.
- - The user looks at a vehicle outside and says: “Follow the vehicle”. This means that the target vehicle can be automatically selected, for example for an automatic driving function, without operating any additional controls.
- - Information about viewed objects is automatically displayed to the user.
- - By blinking twice (detected with an eye tracker) objects can be selected or confirmed (e.g. in a drive-in restaurant the objects can be viewed and added to the order).
Ein weiterer Aspekt der Erfindung betrifft ein System, umfassend eine Datenbrille und ein Fahrzeug, wobei die Datenbrille einen Sensor zur Erkennung der Blickrichtung des Benutzers umfasst, wobei das Fahrzeug einen Sensor umfasst zur Erkennung der Pose der Datenbrille relativ zum Fahrzeug und einen Sensor zur Erkennung der Pose des Fahrzeugs bezogen zum Umfeld; wobei das System dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen.A further aspect of the invention relates to a system comprising data glasses and a vehicle, the data glasses comprising a sensor for detecting the user's viewing direction, the vehicle comprising a sensor for detecting the pose of the data glasses relative to the vehicle and a sensor for detecting the Pose of the vehicle in relation to the surroundings; wherein the system is adapted to carry out one of the above methods.
KURZE BESCHREIBUNG DER ZEICHNUNGBRIEF DESCRIPTION OF THE DRAWING
-
1 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung.1 shows a flowchart according to an exemplary embodiment of the invention.
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELSDETAILED DESCRIPTION OF THE EXAMPLE EMBODIMENT
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022118795.0A DE102022118795A1 (en) | 2022-07-27 | 2022-07-27 | Method for detecting the viewing direction of a user of data glasses for execution in a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022118795.0A DE102022118795A1 (en) | 2022-07-27 | 2022-07-27 | Method for detecting the viewing direction of a user of data glasses for execution in a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022118795A1 true DE102022118795A1 (en) | 2024-02-01 |
Family
ID=89508652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022118795.0A Pending DE102022118795A1 (en) | 2022-07-27 | 2022-07-27 | Method for detecting the viewing direction of a user of data glasses for execution in a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022118795A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018201509A1 (en) | 2018-02-01 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
US20210056764A1 (en) | 2018-05-22 | 2021-02-25 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
-
2022
- 2022-07-27 DE DE102022118795.0A patent/DE102022118795A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018201509A1 (en) | 2018-02-01 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
US20210056764A1 (en) | 2018-05-22 | 2021-02-25 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012212217B4 (en) | Control system for a vehicle | |
EP2870430B1 (en) | Method and control system for operating a vehicle | |
DE102016210288A1 (en) | Eyetracker unit operating device and method for calibrating an eyetracker unit of an operating device | |
DE102012222972A1 (en) | Method for determining trajectory of driving maneuver, involves inputting symbol on touch-sensitive display device by user, where target pose is recognized depending on input symbol | |
DE102012219280A1 (en) | Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person | |
EP3116737B1 (en) | Method and apparatus for providing a graphical user interface in a vehicle | |
DE102011110978A1 (en) | Method for operating an electronic device or an application and corresponding device | |
EP3418861B1 (en) | Method for operating a display device, and a motor vehicle | |
DE102014015087A1 (en) | Operating a control system for a motor vehicle and control system for a motor vehicle | |
DE102017215161A1 (en) | Method and device for selecting an environment object in the environment of a vehicle | |
DE112016006769B4 (en) | Method for sign language input into a user interface of a vehicle and vehicle | |
WO2016124473A1 (en) | Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle | |
DE102012208733A1 (en) | Method for determining location of object e.g. shop by user of vehicle, involves determining direction vector and object position data with respect to predetermined reference point and absolute position in geographic coordinate system | |
DE102013016196B4 (en) | Motor vehicle operation using combined input modalities | |
DE102022118795A1 (en) | Method for detecting the viewing direction of a user of data glasses for execution in a vehicle | |
DE102018220693B4 (en) | Control system and method for controlling a function of a vehicle, and vehicle with such | |
WO2015062750A1 (en) | Infortainment system for a vehicle | |
WO2003078112A2 (en) | Automatic process control | |
EP3025214B1 (en) | Method for operating an input device, and input device | |
DE102019204542A1 (en) | Method and device for interaction with an environmental object in the vicinity of a vehicle | |
EP3718810A1 (en) | Method and device for operating electronically controllable components of a vehicle | |
WO2020193392A1 (en) | Method for route guidance to a target person, electronic device of the target person and electronic device of the pick-up vehicle and motor vehicle | |
DE102013003047A1 (en) | Method for controlling functional unit of motor vehicle, involves activating control function for controlling functional unit, when user has performed given blink pattern that is specified as double blink of the user | |
DE102023200302B3 (en) | Method for interacting with a user, computer program product and vehicle | |
DE102013211046A1 (en) | Method and device for obtaining a control signal from an operating gesture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |