DE102015212850A1

DE102015212850A1 - User interface and method for assisting a user in interacting with a user interface

Info

Publication number: DE102015212850A1
Application number: DE102015212850.4A
Authority: DE
Inventors: Jesko Klandt; Johannes Neuber; Janine Perkuhn; Stefan Schulz; Thomas Werner
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2015-07-09
Filing date: 2015-07-09
Publication date: 2017-01-12

Abstract

Es werden ein Fortbewegungsmittel, eine Anwenderschnittstelle sowie ein Verfahren zum Unterstützen eines Anwenders bei der Interaktion mit einer Anwenderschnittstelle (1) vorgeschlagen. Das Verfahren umfasst die Schritte: – Erfassen einer Blickrichtung des Anwenders (2), – Zuordnen der Blickrichtung zu einem auf einer Anzeigeeinrichtung (3) angezeigten Anzeigeelement (4a, 4b, 4c), und im Ansprechen darauf – Anzeigen eines dem Anzeigeelement (4a, 4b, 4c) logisch zugeordneten zusätzlichen Informationsumfangs (5a, 5b) auf der Anzeigeeinrichtung (3).A means of transport, a user interface and a method for assisting a user in interacting with a user interface (1) are proposed. The method comprises the steps of: detecting a viewing direction of the user, assigning the viewing direction to a display element displayed on a display device, and in response thereto displaying a display element, 4b, 4c) logically associated additional information scope (5a, 5b) on the display device (3).

Description

Stand der Technik State of the art

Die vorliegende Erfindung betrifft ein Fortbewegungsmittel, eine Anwenderschnittstelle sowie ein Verfahren zum Unterstützen eines Anwenders bei der Interaktion mit einer Anwenderschnittstelle. Insbesondere betrifft die vorliegende Erfindung eine verbesserte Unterstützung multimodaler Interaktionen mit Anwenderschnittstellen. The present invention relates to a means of locomotion, a user interface, and a method for assisting a user in interacting with a user interface. In particular, the present invention relates to improved support for multimodal interactions with user interfaces.

Im Stand der Technik sind Anwenderschnittstellen bekannt, welche über Blickrichtung, Sprache, (Freihand-)Gestik, berührende Anwendereingaben, sowie über tastatur- und mausbasierte Eingaben bedient werden können. Zumindest teilweise sind die vorgenannten Eingabemodalitäten auch zur Bedienung mobiler Drahtloskommunikationsgeräte (Smartphones, Tablets) und Fortbewegungsmittel vorgeschlagen worden. In the prior art, user interfaces are known which can be operated via viewing direction, speech, (free-hand) gestures, touching user inputs, as well as via keyboard and mouse-based inputs. At least in part, the aforementioned input modalities have also been proposed for operating mobile wireless communication devices (smartphones, tablets) and means of transportation.

DE 10 2012 006 966 A1 offenbart ein Verfahren zum Auslösen einer Fahrzeugfunktion durch blickgesteuerte Bedienung, bei welcher eine Blickdauer beziehungsweise ein Aufrechterhalten einer Blickrichtung für eine vorbestimmte Zeitdauer auf ein Anzeigeelement eine Auswahl desselben bestätigt. DE 10 2012 006 966 A1 discloses a method of triggering a vehicle function by gaze-controlled operation in which gazing or maintaining a gaze direction for a predetermined period of time on a display element confirms a selection thereof.

DE 10 2012 215 407 A1 offenbart eine Anwenderschnittstelle, bei welcher ein blickbasiertes Auswählen eines auf einer Anzeigeeinheit dargestellten Anzeigeelementes durch eine anschließende Geste bestätigt werden kann. DE 10 2012 215 407 A1 discloses a user interface in which view-based selection of a display element displayed on a display unit can be confirmed by a subsequent gesture.

Es ist eine Aufgabe der vorliegenden Erfindung, das Potenzial multimodaler Anwenderschnittstellen weiter auszuschöpfen. It is an object of the present invention to further exploit the potential of multimodal user interfaces.

Offenbarung der Erfindung Disclosure of the invention

Die vorstehend identifizierte Aufgabe wird erfindungsgemäß durch ein Verfahren zum Unterstützen eines Anwenders bei der Interaktion mit einer Anwenderschnittstelle gelöst. Das Verfahren kann beispielsweise vorteilhaft in Verbindung mit einem Smartphone, einem Tablet-PC und/oder einem Fortbewegungsmittel ausgeführt werden, da bei den vorgenannten Einrichtungen zumindest eine Hand des Anwenders zum Bedienen des Fahrzeuges bzw. des entsprechenden Gerätes erforderlich ist und diese somit nicht uneingeschränkt zur Interaktion mit der Anwenderschnittstelle zur Verfügung steht. In einem ersten Schritt wird eine Blickrichtung des Anwenders erfasst. Dies kann beispielsweise über einen optischen Sensor (z. B. eine Kamera) erfolgen. Anschließend wird die Blickrichtung einem auf einer Anzeigeeinrichtung angezeigten Anzeigeelement zugeordnet. Das Anzeigeelement kann beispielsweise ein Bildschirm, eine Datenbrille, ein Head-up-Display o.ä. sein. Im Ansprechen auf das Zuordnen der Blickrichtung wird auf der Anzeigeeinrichtung ein dem Anzeigeelement logisch zugeordneter zusätzlicher Informationsumfang angezeigt. Der zusätzliche Informationsumfang bietet ein Mehr an Informationen gegenüber einem zuvor angezeigten Informationsumfang des Anzeigeelementes. Ein solches Anzeigen eines zusätzlichen Informationsumfangs ist im Stand der Technik beispielsweise in Verbindung mit einer Annäherung eines Anwenders an eine Anzeigeeinrichtung bekannt, wodurch von einem „Anzeigemodus“ in einen „Bedienmodus“ gewechselt wird ( DE 10 2014 200 024.6 ). Durch diesen Wechsel wird von einer optisch ansprechenden Bildschirmdarstellung in einen solchen Anzeigemodus gewechselt, in welchem die optische Darstellung eine nachfolgende Interaktion des Anwenders mit einzelnen Anzeigeelementen bestmöglich vorbereitet wird. Ein Vorteil der vorliegenden Erfindung besteht darin, dass eine Annäherung an die Anzeigeeinrichtung erfindungsgemäß nicht erfolgen muss, sodass der Anwender beide Hände zur freien Verfügung hat, während er die nachfolgende Bedienung in erfindungsgemäßer Weise mittels eines gezielten Blickes vorbereiten kann. The object identified above is achieved according to the invention by a method for assisting a user in interacting with a user interface. The method can be carried out, for example, advantageously in conjunction with a smartphone, a tablet PC and / or a means of locomotion, since in the aforementioned devices at least one hand of the user for operating the vehicle or the corresponding device is required and thus not fully to Interaction with the user interface is available. In a first step, a viewing direction of the user is detected. This can be done, for example, via an optical sensor (eg a camera). Subsequently, the viewing direction is assigned to a display element displayed on a display device. The display element can, for example, a screen, a data glasses, a head-up display or similar. be. In response to the assignment of the line of sight, an additional amount of information logically assigned to the display element is displayed on the display device. The additional amount of information provides more information compared to a previously displayed scope of information of the display element. Such an indication of an additional amount of information is known in the prior art, for example, in connection with an approach of a user to a display device, which changes from a "display mode" to an "operating mode" ( DE 10 2014 200 024.6 ). Through this change is changed from a visually appealing screen display in such a display mode, in which the optical representation of a subsequent interaction of the user with individual display elements is best prepared. An advantage of the present invention is that an approach to the display device according to the invention need not be made, so that the user has both hands at leisure, while he can prepare the subsequent operation in accordance with the invention by means of a targeted look.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The dependent claims show preferred developments of the invention.

Das Anzeigeelement kann beispielsweise eine Kachel (im englischen Sprachgebrauch auch als „Widget“ bezeichnet) sein, welche eine optisch begrenzte Informationseinheit zu einer Funktionsfamilie beziehungsweise einem Funktionsumfang darstellt. Die Kachel kann in erster Linie der Darstellung entsprechender Informationsumfänge dienen, optional jedoch auch Bedienelemente umfassen, welche zum Auslösen eines vordefinierten Funktionsumfangs dienen. Alternativ oder zusätzlich kann das Anzeigeelement ein Foto einer Person umfassen, deren Einbindung in Einträge digitaler Adressbücher mittlerweile üblich ist. Der zusätzliche Informationsumfang kann Kontaktinformationen zu einer dargestellten Person anzeigen und insbesondere zur Auswahl (z.B. als Navigations- oder Anrufziel) anbieten. Alternativ oder zusätzlich können ein Menü und/oder ein Eintrag einer Liste als Anzeigeelement angezeigt werden, bezüglich dessen mögliche Befehle zur Auswahl beziehungsweise in Verbindung mit dem Menü/Eintrag zur Auswahl stehende Funktionen angezeigt werden. The display element can be, for example, a tile (also known as "widget" in English usage), which represents an optically limited information unit to a functional family or a functional scope. The tile can primarily serve to display corresponding information scopes, but optionally also include operating elements which serve to trigger a predefined range of functions. Alternatively or additionally, the display element may include a photo of a person whose integration in entries of digital address books is meanwhile common. The additional amount of information may indicate contact information about a person presented and, in particular, may be offered for selection (e.g., as a navigation or calling destination). Alternatively or additionally, a menu and / or an entry of a list can be displayed as a display element, with regard to which possible commands for selection or functions available in connection with the menu / entry are displayed.

Der zusätzliche Informationsumfang kann beispielsweise durch einen Hilfstext und/oder Sinnbilder (englisch „Icons“) ausgestaltet sein, wobei die Hilfestellung als zusätzliches Element dem bisherigen Anzeigeinhalt (beispielsweise anteilig transparent) überlagert werden kann. Alternativ oder zusätzlich kann das Anzeigeelement selbst durch zusätzliche Informationen modifiziert und beispielsweise detailreicher dargestellt werden. Mit anderen Worten können zusätzliche Schaltflächen, Informationseinheiten, Sinnbilder und Texte die bisherige Darstellungsform ergänzen, um eine anschließende Bedienung vorzubereiten oder bereits ohne eine solche Bedienung den Informationsbedarf des Anwenders zu stillen. The additional scope of information can be configured, for example, by means of an auxiliary text and / or symbols (English "Icons"), wherein the assistance can be superimposed as an additional element to the previous display content (for example, proportionally transparent). Alternatively or additionally, the display element itself can be modified by additional information and displayed, for example, in greater detail. In other words, additional buttons, Information units, symbols and texts complement the previous form of presentation in order to prepare a subsequent operation or to satisfy the information needs of the user already without such operation.

Der zusätzliche Informationsumfang kann beispielsweise zur Verfügung stehende weiterführende Interaktionen mit dem Anzeigeelement in Form von Blickführung und/oder Gesten und/oder Spracheingaben ankündigen. Alternativ oder zusätzlich können mit dem Anzeigeelement assoziierte Funktionen auf niedriger Ebene in einer Menühierarchie gekennzeichnet werden, um dem Anwender bereits vor der optionalen weiterführenden Interaktion mit dem Anzeigeelement einen Hinweis darauf zu geben, welche weiteren Funktionsumfänge mit dem Element assoziiert sind. Jeweils kann sowohl die grundsätzliche Möglichkeit einer weiterführenden Interaktion beziehungsweise die Existenz einer weiteren assoziierten Funktion als auch das konkret zur Auswahl stehende Kommando beziehungsweise die assoziierte Funktion durch den zusätzlichen Informationsumfang benannt werden. The additional scope of information can announce, for example, available further interactions with the display element in the form of gaze guidance and / or gestures and / or voice inputs. Alternatively or additionally, functions associated with the display element may be characterized at a low level in a menu hierarchy in order to give the user an indication as to which further functional scopes are associated with the element even before the optional further interaction with the display element. In each case, both the fundamental possibility of a further interaction or the existence of a further associated function as well as the concrete available command or the associated function by the additional scope of information can be named.

Über die erfindungsgemäße Darstellung des zusätzlichen Informationsumfangs hinaus kann vorgesehen sein, im Ansprechen auf das Zuordnen der Blickrichtung zu dem Anzeigeelement einen bloßen Hinweis daraus auszugeben, dass das zugeordnete Anzeigeelement ausgewählt wurde. Ein solcher Vorgang wird im EDV-Bereich auch als „Aktivieren“ bezeichnet. Hierbei kann das Anzeigeelement optisch hervorgehoben und/oder seine Auswahl durch Auswahl eines akustischen Signals quittiert werden. Dieses Aktivieren kann einmalig beim Starten der Blickanalysefunktion beziehungsweise nach dem Erkennen eines auf die Anzeigeeinrichtung gerichteten Blicks des Anwenders (ggf. inklusive einer vordefinierten zeitlichen Verzögerung) als auch bei jedem Wechsel eines vom Anwender fokussieren Anzeigeelementes ausgeführt werden. Beispielsweise kann beim Starten der Blickanalyse ein jedes Anzeigeelement (z. B. kurzzeitig) aktiviert werden, um dem Anwender einen Überblick darüber zu geben, welche Anzeigeelemente separat durch Blickanalyse angesteuert werden können. In ähnlicher Weise kann der gesamte Bildschirm invertiert oder anderweitig optisch modifiziert werden, um den gestarteten Blickanalysevorgang zu quittieren. Beyond the representation according to the invention of the additional scope of information, provision can be made, in response to the assignment of the viewing direction to the display element, to output a mere indication that the associated display element has been selected. Such a process is also referred to as "activate" in the EDP area. In this case, the display element can be visually highlighted and / or its selection can be acknowledged by selecting an acoustic signal. This activation can be carried out once when starting the eye analysis function or after recognizing a view of the user directed to the display device (possibly including a predefined time delay) as well as each time a user-focused display element is changed. For example, when starting the gaze analysis, each display element (eg, for a short time) can be activated to give the user an overview of which display elements can be separately controlled by gaze analysis. Similarly, the entire screen may be inverted or otherwise optically modified to acknowledge the started gaze analysis process.

In entsprechender Weise können beim Starten der Blickanalyse weitere zusätzliche Informationsumfänge eingeblendet werden, welche weiteren auf der Anzeigeeinrichtung angezeigten Anzeigeelementen zugeordnet sind, selbst wenn diese aktuell nicht im Fokus des Anwenders liegen. Mit anderen Worten wird festgestellt, dass der Anwender seinen Blick auf die Anzeige und/oder mindestens eines der Anzeigeelemente richtet, im Ansprechen worauf der erfindungsgemäße Vorgang einer Anzeige zusätzlicher Informationsumfänge für mehrere, insbesondere sämtliche aktuell dargestellte Anzeigeelemente durchgeführt wird. In a corresponding manner, additional additional information scopes can be superimposed when starting the gaze analysis, which are assigned to further display elements displayed on the display device, even if they are not currently in the focus of the user. In other words, it is determined that the user directs his view of the display and / or at least one of the display elements, in response to what the inventive process of displaying additional information scopes for several, especially all currently displayed display elements is performed.

Optional kann automatisch unterschieden werden, ob ein primärer Anwender (z. B. ein Fahrer eines erfindungsgemäß ausgestalteten Fortbewegungsmittels) oder ein sekundäre Anwender (z. B. ein Beifahrer eines erfindungsgemäß ausgestalteten Fortbewegungsmittels) das Anzeigeelemente beziehungsweise die Anzeigeeinrichtung fokussiert. In Abhängigkeit des Anwenders kann ein jeweiliger, sich von anderen Funktionsumfängen unterscheidender zusätzlicher Funktionsumfang dargestellt werden, sodass unterschiedlichen Anwenderrollen unterschiedliche Interaktionsbefugnisse zugeordnet sind. Beispielsweise können bestimmte Kommandos beziehungsweise zugreifbare Funktionen einem Sekundäranwender nicht angeboten werden, da diese einer Bedienung durch den Primäranwender vorbehalten sind. Optionally, it can be automatically distinguished whether a primary user (eg a driver of a means of transport configured according to the invention) or a secondary user (eg a passenger of a means of transport configured according to the invention) focuses the display element or the display device. Depending on the user, a respective additional range of functions, which differs from other functional ranges, can be represented so that different interaction authorizations are assigned to different user roles. For example, certain commands or accessible functions can not be offered to a secondary user since they are reserved for operation by the primary user.

Mögliche Sprachkommandos, auf welche im Rahmen eines erfindungsgemäß angezeigten Informationsumfangs hingewiesen wird, sind in Verbindung mit einer Bedienung einer dargestellten Liste beispielsweise „nach links scrollen“, „nach rechts scrollen“, „nach oben scrollen“, nach unten scrollen“. In entsprechender Weise kann zum Starten eines aktuell zur Auswahl gestellten Funktionsaufrufes der Sprachbefehl dargestellt werden: „Zum Starten der <Funktion> sagen Sie ok“. Sofern sich der zusätzliche Informationsumfang auf ein Foto eines Kontaktes als Anzeigeelement bezieht, kann beispielsweise dessen Name und/oder dessen Adresse angezeigt werden. Possible speech commands, which are referred to as part of an information scope displayed according to the invention, in connection with an operation of a displayed list, for example, "scroll to the left", "scroll to the right", "scroll up", scroll down ". In a corresponding manner, the voice command can be displayed to start a function call currently being selected: "To start the <function> say ok". If the additional scope of information refers to a photo of a contact as a display element, for example, its name and / or its address can be displayed.

Selbstverständlich kann zum Auswählen von interaktiven Bildschirmelementen beispielsweise ein Doppeltblinzeln beziehungsweise Doppeltzwinkern als Blickeingabe oder ein Nicken als Kopfbewegung analog zu einer berührenden Eingabe („Touch“) oder einem Mausklick vorgesehen sein. Of course, for selecting interactive screen elements, for example, a double-winking or double-winking as a winking input or a nodding head movement analogous to a touching input ("touch") or a mouse click can be provided.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Anwenderschnittstelle vorgeschlagen, mittels welcher ein Anwender bei der Interaktion in erfindungsgemäßer Weise unterstützt werden kann. Die Anwenderschnittstelle umfasst eine Erfassungseinrichtung (z. B. eine optische Kamera), eine Auswerteeinheit (z. B. ein programmierbarer Prozessor, ein Mikrokontroller, ein Nanokontroller o.ä.) und eine Anzeigeeinrichtung, welche beispielsweise als Informationsdisplay, als Bildschirm, als Head- und/oder -Display, als Augmented/Virtual-Reality-Brille, als Oculus Rift o.ä. ausgestaltet sein kann. Die Anwenderschnittstelle kann der Interaktion mit einem Smartphone, einem Tablet oder anderen mobilen Endgeräten (insbesondere zur Drahtloskommunikation) ebenso wie der Interaktion mit sogenannten Power-Walls und insbesondere bei der Bedienung von Wearables wie Smartwatches dienen. Die Erfassungseinrichtung ist zum Erfassen einer Blickrichtung eines Anwenders eingerichtet. Dies schließt nicht aus, dass die Erfassungseinrichtung weitere Anwendereingaben auflösen und datentechnisch bereitstellen kann. Die Auswerteeinheit ist eingerichtet, die Blickrichtung einem auf der Anzeigeeinrichtung angezeigten Anzeigeelement zuzuordnen. Die Anzeigeeinrichtung ist eingerichtet, im Ansprechen auf eine Zuordnung der Blickrichtung zu dem Anzeigeelement einen dem Anzeigeelement räumlich und/oder logisch zugeordneten zusätzlichen Informationsumfang auf der Anzeigeeinrichtung anzuzeigen. Mit anderen Worten ist die Anwenderschnittstelle eingerichtet, ein Verfahren gemäß dem erstgenannten Erfindungsaspekt zu ermöglichen beziehungsweise zu unterstützen. Die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechen derart ersichtlich denjenigen des erfindungsgemäßen Verfahrens, dass zur Vermeidung von Wiederholungen auf die diesbezüglichen Ausführungen verwiesen wird. According to a second aspect of the present invention, a user interface is proposed by means of which a user can be assisted in the interaction in the manner according to the invention. The user interface comprises a detection device (eg an optical camera), an evaluation unit (eg a programmable processor, a microcontroller, a nanocontroller or the like) and a display device which can be used, for example, as an information display, as a screen, as a head and / or display, as augmented / virtual reality glasses, as Oculus Rift or similar. can be designed. The user interface may interact with a smartphone, a tablet or other mobile devices (in particular the Wireless communication) as well as the interaction with so-called power walls and especially in the operation of wearables such as smartwatches serve. The detection device is set up to detect a viewing direction of a user. This does not rule out that the detection device can resolve further user inputs and provide data technology. The evaluation unit is set up to associate the viewing direction with a display element displayed on the display device. The display device is set up in response to an assignment of the viewing direction to the display element to display a display element spatially and / or logically associated additional amount of information on the display device. In other words, the user interface is set up to enable or support a method according to the first-mentioned aspect of the invention. The features, combinations of features and the advantages resulting from these correspond so clearly to those of the method according to the invention, that reference is made to avoid repetition of the relevant embodiments.

Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein mobiles Drahtloskommunikationsendgerät vorgeschlagen, welches beispielsweise als Smartphone, als Tablet, als Datenbrille, als Smartwatch oder als Wearable ausgestaltet sein kann. Das mobile Drahtloskommunikationsendgerät weist eine Anwenderschnittstelle gemäß dem vorgenannten Erfindungsaspekt auf, sodass sich auch diesbezüglich die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile in entsprechender Weise ergeben. According to a third aspect of the present invention, a mobile wireless communication terminal is proposed, which can be configured, for example, as a smartphone, as a tablet, as data glasses, as a smartwatch or as a wearable. The mobile wireless communication terminal has a user interface according to the aforementioned aspect of the invention, so that the features, combinations of features and resulting from these advantages also result in a corresponding manner.

Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt (z. B. ein Datenspeicher) vorgeschlagen, auf welchem Instruktionen gespeichert sind, die einen programmierbaren Prozessor in die Lage versetzen, die Schritte eines Verfahrens gemäß dem erstgenannten Erfindungsaspekt auszuführen. Das Computerprogrammprodukt kann als CD, DVD, Blue-Ray-Disc, Flash-Speicher, Festplatte, RAM/ROM, Cache etc. ausgestaltet sein. According to a fourth aspect of the present invention, there is provided a computer program product (e.g., a data memory) having stored thereon instructions that enable a programmable processor to perform the steps of a method according to the first aspect of the invention. The computer program product can be designed as a CD, DVD, Blue Ray disc, flash memory, hard disk, RAM / ROM, cache, etc.

Gemäß einem fünften Aspekt der vorliegenden Erfindung wird eine Signalfolge repräsentierend Informationen vorgeschlagen, welche einen programmierbaren Prozessor in die Lage versetzen, die Schritte eines Verfahrens gemäß dem erstgenannten Erfindungsaspekt auszuführen. Auf diese Weise wird auch die informationstechnische Bereitstellung der Instruktionen für den Fall unter Schutz gestellt, dass sich die hierzu erforderlichen Speichermittel außerhalb des Geltungsbereiches der beigefügten Ansprüche befinden. According to a fifth aspect of the present invention, there is provided a signal sequence representative of information that enables a programmable processor to perform the steps of a method according to the first aspect of the invention. In this way, the information technology provision of the instructions is provided for the case under protection, that the storage means required for this purpose are outside the scope of the appended claims.

Gemäß einem sechsten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel (z. B. ein PKW, ein Transporter, ein LKW, ein Motorrad, ein Luft- und/oder Wasserfahrzeug und/oder eine Arbeitsmaschine) vorgeschlagen, welches eine Anwenderschnittstelle gemäß dem zweitgenannten Erfindungsaspekt umfasst. Dabei kann die Anordnung insbesondere für den Führer des Fortbewegungsmittels vorgesehen sein, mittels welcher der Führer während der Führung des Fortbewegungsmittels mit dem Fortbewegungsmittel und seinen technischen Einrichtungen kommunizieren kann. Auch die Merkmale, Merkmalskombinationen und Vorteile des erfindungsgemäßen Fortbewegungsmittels ergeben sich in entsprechender Weise aus den Ausführungen bezüglich des erfindungsgemäßen Verfahrens. According to a sixth aspect of the present invention, there is proposed a transportation means (eg, a car, a vans, a truck, a motorcycle, an air and / or water vehicle, and / or a work machine) which includes a user interface according to the second aspect of the invention , In this case, the arrangement can be provided in particular for the driver of the means of locomotion, by means of which the guide can communicate with the means of locomotion and his technical equipment during the guidance of the means of locomotion. The features, feature combinations and advantages of the means of transport according to the invention also result in a corresponding manner from the statements relating to the method according to the invention.

Kurze Beschreibung der Zeichnungen Brief description of the drawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist: Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawings:

1 eine schematische Ansicht eines Ausführungsbeispiels eines erfindungsgemäßen Fortbewegungsmittels mit einem Ausführungsbeispiel einer erfindungsgemäßen Anwenderschnittstelle; 1 a schematic view of an embodiment of a means of transport according to the invention with an embodiment of a user interface according to the invention;

2 eine schematische Darstellung eines Ausführungsbeispiels eines Drahtloskommunikationsendgerätes mit einem Ausführungsbeispiel einer erfindungsgemäß ausgestalteten Anwenderschnittstelle; und 2 a schematic representation of an embodiment of a wireless communication terminal with an embodiment of an inventively designed user interface; and

3 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. 3 a flowchart illustrating steps of an embodiment of a method according to the invention.

Ausführungsformen der Erfindung Embodiments of the invention

1 zeigt einen PKW 10 als Fortbewegungsmittel, in welchem eine Anwenderschnittstelle 1 angeordnet ist. Die Anwenderschnittstelle 1 umfasst eine Innenraumkamera 9, mittels welcher der Blick 11 eines Anwenders 2 auf einen Bildschirm 3 als Anzeigeeinrichtung erfasst und einem elektronischen Steuergerät 6 als Auswerteeinheit informationstechnisch gemeldet werden kann. Das elektronische Steuergerät 6 ist weiter an einen Datenspeicher 7 angeschlossen, über welchen der Programmcode zur Ausführung des erfindungsgemäßen Verfahrens und Referenzen für Anwendereingaben geladen werden können. Ein Lautsprecher 8 unterstützt als Bestandteil einer Ausgabeeinrichtung die akustische Quittierung/Signalisierung von Anwendereingaben. 1 shows a car 10 as a means of transportation, in which a user interface 1 is arranged. The user interface 1 includes an interior camera 9 by means of which the look 11 of a user 2 on a screen 3 detected as a display device and an electronic control unit 6 can be reported as an evaluation unit information technology. The electronic control unit 6 is next to a data store 7 connected, via which the program code for carrying out the method according to the invention and references for user input can be loaded. A loudspeaker 8th As part of an output device, it supports the acoustic acknowledgment / signaling of user input.

2 zeigt eine Anwenderschnittstelle 1 in einem Smartphone als Drahtloskommunikationsendgerät, welches über eine Kamera 9 als Erfassungseinrichtung verfügt, welche mit einem programmierbaren Prozessor 6 als Auswerteeinheit informationstechnisch verbunden ist. Auch das Smartphone 20 verfügt über einen Datenspeicher 7 und einen Lautsprecher 8, welche entsprechend den Ausführungen zu 1 verwendet werden können. Der Bildschirm 3 des Smartphones 20 ist informationstechnisch mit dem programmierbaren Prozessor 6 gekoppelt und zeigt zunächst nur ein Foto 4a eines Adressbucheintrages als Anzeigeelement und eine darunter angeordnete Schaltfläche 4b als weiteres Anzeigeelement. Über die Schaltfläche 4b kann der Adressbucheintrag gelöscht werden. Im Ansprechen auf eine Erfassung eines Blicks des Anwenders, welcher auf das Foto 4a gerichtet ist, werden ein Textfeld 5a umfassend Kontaktinformationen des Adressbucheintrages und ein der Schaltfläche 4b zugeordneter Hilfstext 5b als logisch zugeordnete zusätzliche Informationsumfänge angezeigt. Ein Listenelement 4c innerhalb des Textfeldes 5a wird anschließend vom Anwender fokussiert und kann daher seinerseits als Anzeigeelement im Sinne der vorliegenden Erfindung verstanden werden, welchem (bislang nicht dargestellte) zusätzliche Informationsumfänge (z. B. die Option, den fokussierten Eintrag in Form einer neuen Telefonnummer oder einer geänderte Adresse anzupassen) in erfindungsgemäßer Weise zugeordnet werden können. 2 shows a user interface 1 in a smartphone as Wireless communication terminal using a camera 9 as a detection device, which with a programmable processor 6 is connected as an evaluation unit information technology. Also the smartphone 20 has a data store 7 and a speaker 8th , which according to the comments to 1 can be used. The screen 3 of the smartphone 20 is information technology with the programmable processor 6 coupled and initially shows only a photo 4a an address book entry as a display element and a button arranged below it 4b as another display element. About the button 4b the address book entry can be deleted. In response to capturing a gaze of the user, which on the photo 4a is addressed, become a text box 5a includes contact information of the address book entry and a button 4b assigned help text 5b displayed as logically assigned additional information scopes. A list item 4c within the text box 5a is subsequently focused by the user and can therefore in turn be understood as a display element within the meaning of the present invention, to which (not yet shown) additional information scopes (eg the option to adapt the focused entry in the form of a new telephone number or a changed address) in can be assigned according to the invention.

3 zeigt Schritte eines Verfahrens zum Unterstützen eines Anwenders bei der Interaktion mit einer Anwenderschnittstelle. In Schritt 100 wird mittels einer optischen Kamera eine Blickrichtung des Anwenders erfasst und informationstechnisch aufbereitet. Anschließend wird in Schritt 200 die Blickrichtung zu einem auf einer Anzeigeeinrichtung angezeigten Anzeigeelement zugeordnet. Mit anderen Worten wird erkannt, dass der Anwender das Anzeigeelement fokussiert hat. Im Ansprechen darauf wird das Anzeigeelement in Schritt 300 optisch hervorgehoben und in Schritt 400 ein akustisches Signal in Form eines Quittiertons ausgegeben. Schließlich wird in Schritt 500 ein dem Anzeigeelement logisch zugeordneter zusätzlicher Informationsumfang auf der Anzeigeeinrichtung angezeigt. Dies erfolgt in der Gestalt, dass das Anzeigeelement hinsichtlich seiner Darstellung derart angepasst wird, dass zusätzliche, bislang nicht dargestellte Informationen (Hinweise in Textform) den Anwender auf eine nachfolgende (z. B. anderweitige) Interaktion vorbereiten. 3 shows steps of a method for assisting a user in interacting with a user interface. In step 100 is detected by means of an optical camera a line of sight of the user and processed information technology. Subsequently, in step 200 the viewing direction associated with a display element displayed on a display device. In other words, it is recognized that the user has focused the display element. In response, the display element in step 300 visually highlighted and in step 400 an acoustic signal is output in the form of an acknowledgment tone. Finally, in step 500 an additional amount of information logically assigned to the display element is displayed on the display device. This is done in the form that the display element is adapted in terms of its presentation in such a way that additional, previously not shown information (notes in text form) prepare the user for a subsequent (eg other) interaction.

Auch wenn die erfindungsgemäßen Aspekte und vorteilhaften Ausführungsformen anhand der in Verbindung mit den beigefügten Zeichnungsfiguren erläuterten Ausführungsbeispiele im Detail beschrieben worden sind, sind für den Fachmann Modifikationen und Kombinationen von Merkmalen der dargestellten Ausführungsbeispiele möglich, ohne den Bereich der vorliegenden Erfindung zu verlassen, deren Schutzbereich durch die beigefügten Ansprüche definiert wird. Although the aspects and advantageous embodiments of the invention have been described in detail with reference to the embodiments explained in connection with the accompanying drawings, modifications and combinations of features of the illustrated embodiments are possible for the skilled person, without departing from the scope of the present invention, the scope of protection the appended claims are defined.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Anwenderschnittstelle User interface
2 2: Anwender user
3 3: Bildschirm screen
4a 4a: Foto photo
4b 4b: Schaltfläche button
5a 5a: Textfeld text box
5b 5b: Hinweistext Note text
6 6: elektronisches Steuergerät/programmierbarer Prozessor electronic control unit / programmable processor
7 7: Datenspeicher data storage
8 8th: Lautsprecher speaker
9 9: (Innenraum-)Kamera (Indoor) camera
10 10: PKW car
11 11: Blickrichtung line of sight
20 20: Smartphone Smartphone
100 bis 500 100 to 500: Verfahrensschritte steps

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012006966 A1 [0003]
DE 102012215407 A1 [0004]
DE 102014200024 [0006]

Claims

Method for assisting a user in interacting with a user interface ( 1 ) comprising the steps of: - detecting ( 100 ) a viewing direction ( 11 ) of the user ( 2 ), - Assign ( 200 ) the viewing direction ( 11 ) to one on a display device ( 3 ) display element ( 4a . 4b . 4c ), and in response - Ads ( 500 ) of the display element ( 4a . 4b . 4c ) logically associated additional information ( 5a . 5b ) on the display device ( 3 ).

Method according to claim 1, wherein the display element ( 4a . 4b . 4c ) - a tile and / or - a photo of a person and / or - a button and / or - a menu and / or - an entry of a list and / or covers.

The method of claim 1, wherein the additional amount of information ( 5a . 5b ) - by a help text and / or - by a modified representation of the display element ( 4a . 4b . 4c ) is produced.

Method according to one of the preceding claims, wherein the additional amount of information ( 5a . 5b ) to - available further interactions with the display element ( 4a . 4b . 4c ) and / or - with the display element ( 4a . 4b . 4c ) indicates associated functions at a lower level in a menu hierarchy.

Method according to one of the preceding claims further comprising in response to the assignment of the viewing direction ( 11 ) to the display element ( 4a . 4b . 4c ) - optical highlighting ( 300 ) of the display element ( 4a . 4b . 4c ) and / or - output ( 400 ) of an acoustic signal.

Method according to one of the preceding claims, wherein at the same time further additional information volumes ( 5a . 5b ), which other on the display device ( 3 ) display elements ( 4a . 4b . 4c ) assigned.

User interface comprising: a detection device ( 9 ), - an evaluation unit ( 6 ) and - a display device ( 3 ), wherein - the detection device ( 9 ) for detecting a viewing direction ( 11 ) of a user ( 2 ), - the evaluation unit ( 6 ) for assigning the viewing direction ( 11 ) to one on the display device ( 3 ) display element ( 4a . 4b . 4c ), and - the display device ( 3 ) is set up, in response to an assignment of the viewing direction ( 11 ) to the display element ( 4a . 4b . 4c ) - one the display element ( 4a . 4b . 4c ) logically associated additional information ( 5a . 5b ) on the display device ( 3 ).

Mobile wireless communication terminal ( 20 ) comprising a user interface ( 1 ) according to claim 7.

Computer program product comprising instructions, which, when used on an evaluation unit ( 6 ) a user interface ( 1 ) according to claim 7, the evaluation unit ( 6 ) to perform the steps of a method according to any one of claims 1 to 6.

Means of transport comprising a user interface ( 1 ) according to claim 7.