DE102016116774A1 - Data glasses for interacting with a user - Google Patents

Data glasses for interacting with a user Download PDF

Info

Publication number
DE102016116774A1
DE102016116774A1 DE102016116774.6A DE102016116774A DE102016116774A1 DE 102016116774 A1 DE102016116774 A1 DE 102016116774A1 DE 102016116774 A DE102016116774 A DE 102016116774A DE 102016116774 A1 DE102016116774 A1 DE 102016116774A1
Authority
DE
Germany
Prior art keywords
data glasses
user
object surface
processor
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016116774.6A
Other languages
German (de)
Inventor
Frank Dietrich
Olaf Dressel
Frank Fritze
Andreas Daniel Hartl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Priority to DE102016116774.6A priority Critical patent/DE102016116774A1/en
Priority to EP17761467.4A priority patent/EP3510471A1/en
Priority to PCT/EP2017/071627 priority patent/WO2018046349A1/en
Publication of DE102016116774A1 publication Critical patent/DE102016116774A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Abstract

Die Erfindung betrifft eine Datenbrille (100) zum Interagieren mit einem Nutzer, wobei die Datenbrille (100) durch den Nutzer tragbar ist. Die Datenbrille (100) umfasst eine Kamera (101), welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille (100) umfasst ferner eine Anzeigeeinrichtung (103), welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist. Die Datenbrille (100) umfasst zudem einen Prozessor (105), welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren.The invention relates to data glasses (100) for interacting with a user, the data glasses (100) being portable by the user. The data glasses (100) comprise a camera (101), which is designed to capture a video sequence with an object surface and an input element of the user. The data glasses (100) further comprise a display device (103) which is designed to display a control panel with a plurality of control elements, wherein the control panel is superimposed on the object surface. The data glasses (100) additionally comprise a processor (105), which is designed to detect a position of the input element relative to the object surface on the basis of the video sequence, and to associate the detected position with an operating element of the displayed control field in order to detect an actuation of the operating element ,

Figure DE102016116774A1_0001
Figure DE102016116774A1_0001

Description

Die vorliegende Erfindung betrifft das Gebiet der Mensch-Maschine-Interaktion, insbesondere der Interaktion zwischen einem Nutzer und einer Datenbrille.The present invention relates to the field of human-machine interaction, in particular the interaction between a user and data glasses.

Die Interaktion zwischen einem Nutzer und einer Datenbrille ist für Anwendungen im Bereich der Augmented Reality (AR) von zunehmender Bedeutung. The interaction between a user and data glasses is becoming increasingly important for Augmented Reality (AR) applications.

Eine Interaktion eines Nutzers mit einer Datenbrille erfolgt derzeit üblicherweise mittels einer Steuerung durch vordefinierte Gesten bzw. Tasten an der Datenbrille sowie einer Rückmeldung an den Nutzer. Weiterhin werden gegebenenfalls integrierte Sensoren, wie beispielsweise Bewegungssensoren, zur Interaktion mit dem Nutzer verwendet.An interaction of a user with a data glasses is currently usually by means of a control by predefined gestures or buttons on the data glasses and feedback to the user. Furthermore, integrated sensors, such as motion sensors, may be used to interact with the user.

Die vordefinierten Gesten bzw. die Funktion der Tasten müssen dabei üblicherweise vorab durch den Nutzer erlernt werden. Auch die Interaktion unter Verwendung integrierter Sensoren, beispielsweise von Bewegungssensoren, erfordert eine Einübung des Nutzers, um eine bestimmte Interaktion mit der Datenbrille durchzuführen. Insbesondere bei der Eingabe von Zeichenfolgen durch den Nutzer erweisen sich diese Gesichtspunkte als Herausforderung für die Interaktion mit der Datenbrille.The predefined gestures or the function of the keys usually have to be learned in advance by the user. Also, the interaction using integrated sensors, such as motion sensors, requires training of the user to perform some interaction with the data goggles. Especially when entering strings by the user, these aspects prove to be a challenge for the interaction with the data glasses.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur Interaktion eines Nutzers mit einer Datenbrille zu schaffen.It is therefore the object of the present invention to provide an efficient concept for the interaction of a user with data glasses.

Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren.This object is solved by the features of the independent claims. Advantageous forms of further development are the subject of the dependent claims, the description and the figures.

Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch eine Datenbrille gelöst werden kann, welche eine Objektfläche und ein Eingabeelement des Nutzers erkennen kann, und ein Bedienfeld mit einer Mehrzahl von Bedienelementen über die Objektfläche überlagern kann. Der Nutzer kann mittels seines Eingabeelements einzelne Bedienelemente des Bedienfeldes auf der Objektfläche betätigen und intuitiv mit der Datenbrille interagieren. Die Objektfläche kann beispielsweise eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers, oder eine Oberfläche einer Maschine oder eines Werkzeugs sein. Das Eingabeelement des Nutzers kann beispielsweise ein Finger des Nutzers oder ein Eingabestift des Nutzers sein. The invention is based on the realization that the above object can be achieved by a data goggles, which can recognize an object surface and an input element of the user, and can superimpose a control panel with a plurality of control elements over the object surface. By means of its input element, the user can actuate individual control elements of the control panel on the object surface and interact intuitively with the data glasses. The object surface may be, for example, a body part of the user, in particular a palm of the user, or a surface of a machine or a tool. The input element of the user may be, for example, a user's finger or a stylus of the user.

Dadurch wird erreicht, dass der Nutzer effizient mit der Datenbrille interagieren kann. Insbesondere kann der Nutzer intuitiv eine Zeichenfolge eingeben, wodurch beispielsweise eine effiziente Authentifizierung des Nutzers möglich wird. Die Authentifizierung des Nutzers kann beispielsweise einem Server über ein Kommunikationsnetzwerk signalisiert werden. This ensures that the user can interact efficiently with the data glasses. In particular, the user can intuitively enter a character string, whereby, for example, an efficient authentication of the user becomes possible. The authentication of the user can for example be signaled to a server via a communication network.

Gemäß einem ersten Aspekt betrifft die Erfindung eine Datenbrille zum Interagieren mit einem Nutzer, wobei die Datenbrille durch den Nutzer tragbar ist. Die Datenbrille umfasst eine Kamera, welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille umfasst ferner eine Anzeigeeinrichtung, welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist. Die Datenbrille umfasst zudem einen Prozessor, welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zur Interaktion eines Nutzers mit einer Datenbrille realisiert werden kann. According to a first aspect, the invention relates to data glasses for interacting with a user, wherein the data glasses are portable by the user. The data glasses comprise a camera, which is designed to capture a video sequence with an object surface and an input element of the user. The data glasses further comprise a display device, which is designed to display a control panel with a plurality of control elements, wherein the control panel is superimposed on the object surface. The data glasses also include a processor, which is designed to detect a position of the input element relative to the object surface on the basis of the video sequence, and to associate the detected position with an operating element of the displayed control panel in order to detect an actuation of the operating element. This provides the advantage that an efficient concept for the interaction of a user with data glasses can be realized.

Die Objektfläche kann eine Oberfläche eines beliebigen Objektes sein, wobei die Objektfläche vorbestimmte Eigenschaften, beispielsweise geometrische Abmessungen, Konturen oder Texturen, aufweisen kann. Die Objektfläche kann beispielsweise eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers, oder eine Oberfläche einer Maschine oder eines Werkzeugs sein. Die Objektfläche kann planar oder gekrümmt sein. Das Eingabeelement des Nutzers kann beispielsweise ein Finger des Nutzers oder ein Eingabestift des Nutzers sein. Die Objektfläche sowie das Eingabeelement können beispielsweise mittels einer Mustererkennung erfasst werden. The object surface may be a surface of any object, wherein the object surface may have predetermined properties, for example geometric dimensions, contours or textures. The object surface may be, for example, a body part of the user, in particular a palm of the user, or a surface of a machine or a tool. The object surface may be planar or curved. The input element of the user may be, for example, a user's finger or a stylus of the user. The object surface and the input element can be detected, for example, by means of pattern recognition.

Das Bedienfeld kann beispielsweise ein Tastenfeld sein, wobei die Mehrzahl von Bedienelementen durch eine Mehrzahl von Tasten gebildet sein kann. Die Mehrzahl von Bedienelementen kann ferner Schiebeelemente (engl. Slider) oder Menüstrukturen umfassen, welche der Objektfläche überlagert werden können bzw. auf die Objektfläche projiziert werden können. Die Überlagerung kann in Form einer Augmentierung erfolgen. The control panel may be, for example, a keypad, wherein the plurality of controls may be formed by a plurality of keys. The plurality of operating elements may further comprise slider elements or menu structures which can be superimposed on the object surface or projected onto the object surface. The overlay can be done in the form of augmentation.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, auf der Basis der Videosequenz eine weitere Position des Eingabeelements gegenüber der Objektfläche zu erfassen, der erfassten weiteren Position das Bedienelement des angezeigten Bedienfeldes zuzuordnen, und die Betätigung des Bedienelementes auf der Basis der erfassten Position und der erfassten weiteren Position zu detektieren. Der Prozessor kann folglich auf der Basis der Videosequenz zumindest eine Position des Eingabeelements gegenüber der Objektfläche erfassen. Dadurch wird der Vorteil erreicht, dass die Betätigung des Bedienelementes effizient detektiert werden kann. According to one embodiment, the processor is designed to detect a further position of the input element relative to the object surface based on the video sequence, to assign the control element of the displayed control field to the detected further position, and to actuate the control element on the basis of the detected position and the detected further Position too detect. The processor can therefore detect at least one position of the input element relative to the object surface on the basis of the video sequence. As a result, the advantage is achieved that the operation of the operating element can be detected efficiently.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Drücken des Bedienelementes als Betätigung des Bedienelementes zu detektieren, oder ist der Prozessor ausgebildet, ein Verbleiben des Eingabeelements über dem Bedienelement während einer vorbestimmten Zeitdauer als Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass die Betätigung des Bedienelementes auf unterschiedliche Weisen detektiert werden kann. Die vorbestimmte Zeitdauer kann beispielsweise 0,5 Sekunden, 1 Sekunde, 2 Sekunden oder 5 Sekunden betragen. According to one embodiment, the processor is designed to detect a pressing of the operating element as an actuation of the operating element, or the processor is designed to detect a retention of the input element above the operating element during a predetermined period of time as actuation of the operating element. As a result, the advantage is achieved that the actuation of the operating element can be detected in different ways. The predetermined period of time may be, for example, 0.5 second, 1 second, 2 seconds or 5 seconds.

Gemäß einer Ausführungsform ist jedem Bedienelement des Bedienfeldes ein Zeichen, insbesondere eine Ziffer, zugeordnet, wobei die Anzeigeeinrichtung ausgebildet ist, ein Zeichen, insbesondere eine Ziffer, anzuzeigen, welches dem betätigten Bedienelement des Bedienfeldes zugeordnet ist. Dadurch wird der Vorteil erreicht, dass der Nutzer das betätigte Bedienelement effizient verifizieren kann. According to one embodiment, each control element of the control panel is assigned a character, in particular a digit, wherein the display device is designed to display a character, in particular a digit, which is assigned to the actuated operating element of the control panel. This achieves the advantage that the user can efficiently verify the operated control element.

Gemäß einer Ausführungsform umfasst die Datenbrille ferner einen Aktor, wobei der Aktor ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, mechanisch zu vibrieren. Dadurch wird der Vorteil erreicht, dass dem Nutzer eine erfolgte Betätigung des Bedienelementes effizient angezeigt werden kann. According to one embodiment, the data goggle further comprises an actuator, wherein the actuator is configured to mechanically vibrate in response to detecting the actuation of the operating element. As a result, the advantage is achieved that the user a successful operation of the control element can be displayed efficiently.

Gemäß einer Ausführungsform umfasst die Datenbrille ferner einen Lautsprecher, wobei der Lautsprecher ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, ein akustisches Signal auszugeben. Dadurch wird der Vorteil erreicht, dass dem Nutzer eine erfolgte Betätigung des Bedienelementes effizient angezeigt werden kann.According to one embodiment, the data goggles further comprise a loudspeaker, wherein the loudspeaker is configured to emit an acoustic signal in response to detecting the actuation of the control element. As a result, the advantage is achieved that the user a successful operation of the control element can be displayed efficiently.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Betätigen eines weiteren Bedienelementes des Bedienfeldes zu detektieren, wobei das betätigte Bedienelement und das betätigte weitere Bedienelement eine betätigte Bedienelementfolge bilden, und wobei der Prozessor ausgebildet ist, die betätigte Bedienelementfolge mit einer vorgespeicherten Bedienelementfolge zu vergleichen. Dadurch wird der Vorteil erreicht, dass beispielsweise Zeichenfolgen effizient durch den Nutzer eingegeben werden können. Die Detektion der Betätigung des weiteren Bedienelementes kann auf dieselbe Weise erfolgen, wie die beschriebene Detektion der Betätigung des Bedienelementes. Die betätigte Bedienelementfolge kann eine betätigte Tastenfolge sein, und die vorgespeicherte Bedienelementfolge kann eine vorgespeicherte Tastenfolge sein. According to one embodiment, the processor is configured to detect an actuation of a further control element of the control panel, wherein the actuated control element and the actuated further control element form an actuated control sequence, and wherein the processor is configured to compare the actuated control sequence with a prestored control element sequence. This has the advantage that, for example, strings can be entered efficiently by the user. The detection of the actuation of the further operating element can be effected in the same way as the described detection of the actuation of the operating element. The operated control sequence may be an actuated key sequence and the prestored control sequence may be a pre-stored key sequence.

Gemäß einer Ausführungsform ist die Anzeigeeinrichtung ausgebildet, eine Position des Bedienelementes und eine weitere Position des weiteren Bedienelementes in dem Bedienfeld jeweils zufällig zu bestimmen, das Bedienelement an der zufällig bestimmten Position anzuzeigen, und das weitere Bedienelement an der weiteren zufällig bestimmten Position anzuzeigen. Dadurch wird erreicht, dass eine Anordnung und/oder ein Layout der Bedienelemente variiert werden kann. Hierdurch können beispielsweise Maßnahmen ergriffen werden, um ein unerwünschtes Ausspähen von eingegebenen Bedienelementfolgen durch Dritte zu erschweren. Die Position der Bedienelemente kann für jeden Vorgang jeweils zufällig bestimmt werden, d.h. es wird beispielsweise kein standardisierter Nummernblock als Bedienfeld verwendet. Ferner kann die Anordnung des Bedienfeldes innerhalb der Objektfläche variiert werden.According to one embodiment, the display device is designed to randomly determine a position of the control element and a further position of the further control element in the control panel, to display the control element at the randomly determined position, and to display the further control element at the further randomly determined position. It is thereby achieved that an arrangement and / or a layout of the operating elements can be varied. In this way, for example, measures can be taken to make it difficult to unwanted spying on input operator sequences by third parties. The position of the controls can be determined at random for each operation, i. For example, no standardized number pad is used as the control panel. Furthermore, the arrangement of the control panel can be varied within the object surface.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Authentifizierungssignal zu erzeugen, falls die betätigte Bedienelementfolge der vorgespeicherten Bedienelementfolge entspricht, wobei das Authentifizierungssignal eine Authentifizierung des Nutzers anzeigt. Dadurch wird der Vorteil erreicht, dass mittels der Interaktion des Nutzers mit der Datenbrille eine Authentifizierung des Nutzers realisiert werden kann. According to one embodiment, the processor is configured to generate an authentication signal if the actuated control sequence corresponds to the prestored control element sequence, the authentication signal indicating an authentication of the user. As a result, the advantage is achieved that an authentication of the user can be realized by means of the interaction of the user with the data glasses.

Gemäß einer Ausführungsform umfasst die Datenbrille ferner eine Kommunikationsschnittstelle, wobei die Kommunikationsschnittstelle ausgebildet ist, über ein Kommunikationsnetzwerk mit einem Server zu kommunizieren, und wobei die Kommunikationsschnittstelle ausgebildet ist, das Authentifizierungssignal über das Kommunikationsnetzwerk an den Server auszusenden. Dadurch wird der Vorteil erreicht, dass die Authentifizierung des Nutzers an den Server über das Kommunikationsnetzwerk signalisiert werden kann. According to one embodiment, the data glasses further comprise a communication interface, wherein the communication interface is configured to communicate with a server via a communication network, and wherein the communication interface is configured to send the authentication signal to the server via the communication network. This provides the advantage that the authentication of the user to the server can be signaled via the communication network.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu erfassen, oder ist der Prozessor ausgebildet, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu verfolgen. Dadurch wird der Vorteil erreicht, dass die Position und/oder die weitere Position des Eingabeelements gegenüber der Objektfläche effizient erfasst werden kann. According to one embodiment, the processor is configured to capture the object area and the input element of the user in the video sequence, or the processor is configured to track the object area and the input element of the user in the video sequence. As a result, the advantage is achieved that the position and / or the further position of the input element relative to the object surface can be detected efficiently.

Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein dreidimensionales Umgebungsmodell auf der Basis der Videosequenz zu erzeugen, eine Mehrzahl von Referenzobjektflächen auf der Basis des Umgebungsmodells zu bestimmen, und die Objektfläche aus der Mehrzahl von Referenzobjektflächen auszuwählen. Dadurch wird der Vorteil erreicht, dass eine automatische Bestimmung einer geeigneten Objektfläche zur Interaktion mit dem Nutzer erfolgen kann. Der Nutzer kann die Auswahl der Objektfläche verändern, beispielsweise das Bedienfeld beliebig in einer anderen Objektfläche platzieren bzw. das Bedienfeld im Betrieb verschieben. Die Erzeugung des Umgebungsmodells kann beispielsweise unter Verwendung eines SLAM-Ansatzes (Simultaneous Localization and Mapping, SLAM) zur Laufzeit erfolgen.According to one embodiment, the processor is configured to generate a three-dimensional environment model on the basis of the video sequence, to determine a plurality of reference object surfaces on the basis of the environment model, and select the object area from the plurality of reference object areas. As a result, the advantage is achieved that an automatic determination of a suitable object surface for interaction with the user can take place. The user can change the selection of the object surface, for example, place the control panel as desired in another object surface or move the control panel during operation. The generation of the environment model can be done, for example, using a Simultaneous Localization and Mapping (SLAM) approach at runtime.

Gemäß einer Ausführungsform ist die Anzeigeeinrichtung ausgebildet, ein Zeigerelement anzuzeigen, wobei das Zeigerelement die Position des Eingabeelements gegenüber der Objektfläche repräsentiert. Dadurch wird der Vorteil erreicht, dass der Nutzer das Eingabeelement effizient relativ zu der Objektfläche positionieren kann. Das Zeigerelement kann beispielsweise in Form eines Mauszeigers realisiert werden. Das Zeigerelement kann innerhalb des Bedienfeldes mit der Mehrzahl von Bedienelementen angezeigt werden, welches der Objektfläche überlagert ist bzw. welches auf die Objektfläche projiziert ist.According to one embodiment, the display device is designed to display a pointer element, wherein the pointer element represents the position of the input element relative to the object surface. This achieves the advantage that the user can position the input element efficiently relative to the object surface. The pointer element can be realized for example in the form of a mouse pointer. The pointer element can be displayed within the control panel with the plurality of controls, which is superimposed on the object surface or which is projected onto the object surface.

Gemäß einer Ausführungsform ist das Bedienfeld der Objektfläche transparent, insbesondere halbtransparent, überlagert. Dadurch wird der Vorteil erreicht, dass die Objektfläche für den Nutzer sichtbar bleibt und eine Betätigung des Bedienelementes durch den Nutzer einfach realisiert werden kann. According to one embodiment, the control panel of the object surface is transparent, in particular semi-transparent, superimposed. As a result, the advantage is achieved that the object surface remains visible to the user and an actuation of the operating element can be easily realized by the user.

Gemäß einer Ausführungsform ist die Objektfläche eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers oder eine Armfläche des Nutzers. Dadurch wird der Vorteil erreicht, dass die Interaktion des Nutzers mit der Datenbrille besonders intuitiv erfolgen kann. According to one embodiment, the object surface is a body part of the user, in particular a palm of the user or an arm surface of the user. This provides the advantage that the interaction of the user with the data glasses can be particularly intuitive.

Gemäß einer Ausführungsform ist das Eingabeelement ein Finger des Nutzers oder ein Eingabestift des Nutzers. Dadurch wird der Vorteil erreicht, dass die Interaktion des Nutzers mit der Datenbrille besonders intuitiv erfolgen kann. Der Eingabestift kann durch den Nutzer in einer Hand gehalten werden. According to one embodiment, the input element is a user's finger or a stylus of the user. This provides the advantage that the interaction of the user with the data glasses can be particularly intuitive. The stylus can be held in one hand by the user.

Gemäß einer Ausführungsform ist die Objektfläche eine Handfläche des Nutzers, wobei das Eingabeelement ein Finger des Nutzers ist, und wobei die Handfläche und der Finger unterschiedlichen Händen des Nutzers zugeordnet sind. Dadurch wird der Vorteil erreicht, dass eine Betätigung des Bedienelementes effizient durchgeführt werden kann. According to one embodiment, the object surface is a palm of the user, wherein the input element is a finger of the user, and wherein the palm and the finger are associated with different hands of the user. Thereby, the advantage is achieved that an operation of the operating element can be performed efficiently.

Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille. Die Datenbrille umfasst eine Kamera, eine Anzeigeeinrichtung und einen Prozessor, wobei die Datenbrille durch den Nutzer tragbar ist. Das Verfahren umfasst ein Erfassen einer Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers durch die Kamera, ein Anzeigen eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die Anzeigeeinrichtung, wobei das Bedienfeld der Objektfläche überlagert ist, ein Erfassen auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor, und ein Zuordnen der erfassten Position zu einem Bedienelement des angezeigten Bedienfeldes durch den Prozessor, um eine Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zur Interaktion eines Nutzers mit einer Datenbrille realisiert werden kann. In a second aspect, the invention relates to a method of interacting with a user using smart glasses. The data glasses comprise a camera, a display device and a processor, the data glasses being portable by the user. The method comprises capturing a video sequence with an object surface and an input element of the user by the camera, displaying a control panel with a plurality of controls by the display device, wherein the control field is superimposed on the object surface, detecting based on the video sequence a position of the Input member opposite the object surface by the processor, and assigning the detected position to a control element of the displayed control panel by the processor to detect an actuation of the control element. This provides the advantage that an efficient concept for the interaction of a user with data glasses can be realized.

Das Verfahren kann durch die Datenbrille ausgeführt werden. Weitere Merkmale des Verfahrens resultieren unmittelbar aus den Merkmalen und/oder der Funktionalität der Datenbrille. The procedure can be carried out by the data glasses. Further features of the method result directly from the features and / or functionality of the data glasses.

Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß dem zweiten Aspekt der Erfindung. Dadurch wird der Vorteil erreicht, dass das Verfahren effizient ausgeführt werden kann. According to a third aspect, the invention relates to a computer program with a program code for carrying out the method according to the second aspect of the invention. This provides the advantage that the process can be carried out efficiently.

Die Datenbrille, insbesondere die Kamera, die Anzeigeeinrichtung und/oder der Prozessor, können programmtechnisch eingerichtet sein, um den Programmcode oder Teile des Programmcodes auszuführen. The data glasses, in particular the camera, the display device and / or the processor, may be set up by the program to execute the program code or parts of the program code.

Die Erfindung kann in Hardware und/oder Software realisiert werden. The invention can be implemented in hardware and / or software.

Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:Further embodiments will be explained with reference to the accompanying figures. Show it:

1 ein schematisches Diagramm einer Datenbrille zum Interagieren mit einem Nutzer; und 1 a schematic diagram of a data glasses for interacting with a user; and

2 ein schematisches Diagramm eines Verfahrens zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille. 2 a schematic diagram of a method for interacting with a user using a data glasses.

1 zeigt ein schematisches Diagramm einer Datenbrille 100 zum Interagieren mit einem Nutzer, wobei die Datenbrille 100 durch den Nutzer tragbar ist. Die Datenbrille 100 umfasst eine Kamera 101, welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille 100 umfasst ferner eine Anzeigeeinrichtung 103, welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist. Die Datenbrille 100 umfasst zudem einen Prozessor 105, welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren. 1 shows a schematic diagram of a data glasses 100 for interacting with a user, the data glasses 100 is portable by the user. The data glasses 100 includes a camera 101 , which is designed to capture a video sequence with an object surface and an input element of the user. The data glasses 100 further comprises a display device 103 , which is designed to display a control panel with a plurality of controls, wherein the control panel is superimposed on the object surface. The data glasses 100 also includes a processor 105 which is configured to detect a position of the input element relative to the object surface on the basis of the video sequence, and to associate the detected position with an operating element of the displayed control field in order to detect an actuation of the operating element.

2 zeigt ein schematisches Diagramm eines Verfahrens 200 zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille. Die Datenbrille umfasst eine Kamera, eine Anzeigeeinrichtung und einen Prozessor, wobei die Datenbrille durch den Nutzer tragbar ist. Das Verfahren 200 umfasst ein Erfassen 201 einer Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers durch die Kamera, ein Anzeigen 203 eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die Anzeigeeinrichtung, wobei das Bedienfeld der Objektfläche überlagert ist, ein Erfassen 205 auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor, und ein Zuordnen 207 der erfassten Position zu einem Bedienelement des angezeigten Bedienfeldes durch den Prozessor, um eine Betätigung des Bedienelementes zu detektieren. 2 shows a schematic diagram of a method 200 for interacting with a user using data glasses. The data glasses comprise a camera, a display device and a processor, the data glasses being portable by the user. The procedure 200 includes an acquisition 201 a video sequence with an object area and an input element of the user through the camera, a display 203 a control panel with a plurality of controls by the display device, wherein the control panel is superimposed on the object surface, a detection 205 on the basis of the video sequence of a position of the input element with respect to the object surface by the processor, and an assignment 207 the detected position to an operating element of the displayed control panel by the processor to detect an actuation of the operating element.

Die Datenbrille 100 sowie das Verfahren 200 zur Interaktion mit dem Nutzer erweitern die Interaktionsmöglichkeiten mit der Datenbrille 100, da die Interaktionen unabhängig vom mechanischen Aufbau der Datenbrille 100 gelöst werden kann. Insbesondere kann auf berührungssensitive Flächen auf der Datenbrille 100 verzichtet werden. Der Ansatz basiert auf einer Verfolgung (engl. Tracking) der Objektfläche und des Eingabeelements des Nutzers sowie der Nutzung von Augmented Reality (AR).The data glasses 100 as well as the procedure 200 for interaction with the user extend the interaction possibilities with the data glasses 100 because the interactions are independent of the mechanical design of the data glasses 100 can be solved. In particular, on touch-sensitive surfaces on the data glasses 100 be waived. The approach is based on tracking the object surface and the input element of the user as well as the use of augmented reality (AR).

Der Ansatz zur Bedienerinteraktion mit dem Nutzer beginnt mit einer Erfassung bzw. Erkennung der vorher bestimmten Objektfläche durch die Kamera 101 der Datenbrille 100, beispielsweise mittels einer Verfolgung der Objektfläche. Die Objektfläche kann beispielsweise die linke Handfläche des Nutzers für Rechtshänder, oder die rechte Handfläche des Nutzers für Linkshänder sein. The approach to operator interaction with the user begins with a detection of the previously determined object area by the camera 101 the data glasses 100 , for example by means of a tracking of the object surface. The object area may be, for example, the right-hand user's left palm, or the left-hand user's right palm.

Anschließend erfolgt ein Anzeigen bzw. Überlagern von Bedienelementen durch die Anzeigeeinrichtung 103 der Datenbrille 100 mittels Augmentierung. Beispielsweise kann ein Bedienfeld mit einer Mehrzahl von Bedienelementen, beispielsweise von Tasten, zur Eingabe einer Bedienelementfolge, beispielsweise einer PIN, angezeigt werden. Subsequently, a display or superimposition of operating elements by the display device takes place 103 the data glasses 100 by means of augmentation. For example, a control panel with a plurality of controls, such as buttons, for displaying a control sequence, such as a PIN, are displayed.

Der Nutzer bewegt anschließend ein Eingabeelement, beispielsweise einen Finger seiner anderen Hand, in die zunächst erkannte Objektfläche. Dabei wird die Bewegung des Eingabeelements ebenfalls durch die Kamera 101 der Datenbrille 100 erfasst bzw. verfolgt und durch die Anzeigeeinrichtung 103, beispielsweise ein Display, der Datenbrille 100 eine Rückmeldung über die aktuelle Position gegeben. Die Rückmeldung kann vergleichbar zu einem Mauszeiger auf einem Computer erfolgen. Ist eine gewünschte Position durch das Eingabeelement erreicht worden, kann ein Druck auf das virtuelle Bedienfeld ausgelöst werden, um ein Bedienelement zu betätigen. Dieser Druck kann beispielsweise durch ein längeres Verbleiben an der Position oder durch die Erkennung einer Bewegung des Eingabeelements in die Tiefe ausgelöst werden.The user then moves an input element, for example a finger of his other hand, into the initially recognized object surface. In this case, the movement of the input element is also by the camera 101 the data glasses 100 recorded or tracked and by the display device 103 For example, a display, the data glasses 100 given a feedback about the current position. The feedback can be made similar to a mouse pointer on a computer. If a desired position has been reached by the input element, a pressure on the virtual control panel can be triggered to actuate a control element. This pressure can be triggered, for example, by staying at the position for a longer time or by detecting a movement of the input element into the depth.

Die Datenbrille 100 und das Verfahren 200 können beispielsweise zur berührungslosen Bedienung von Maschinen in Produktionsumgebungen eingesetzt werden.The data glasses 100 and the procedure 200 can be used, for example, for the contactless operation of machines in production environments.

Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung erläuterten und gezeigten Merkmale können in unterschiedlicher Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren. All features explained and shown in connection with individual embodiments of the invention may be provided in different combinations in the article according to the invention, in order to simultaneously realize their advantageous effects.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
Datenbrille data glasses
101101
Kamera camera
103103
Anzeigeeinrichtung display
105105
Prozessor processor
200200
Verfahren zum Interagieren mit einem Nutzer Method for interacting with a user
201201
Erfassen einer Videosequenz Capture a video sequence
203203
Anzeigen eines Bedienfeldes Display a control panel
205205
Erfassen einer Position des Eingabeelements gegenüber der Objektfläche Detecting a position of the input element with respect to the object surface
207207
Zuordnen der erfassten Position Assign the detected position

Claims (15)

Datenbrille (100) zum Interagieren mit einem Nutzer, wobei die Datenbrille (100) durch den Nutzer tragbar ist, mit: einer Kamera (101), welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen; einer Anzeigeeinrichtung (103), welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist; und einem Prozessor (105), welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren.Data glasses ( 100 ) for interacting with a user, the data glasses ( 100 ) is portable by the user, comprising: a camera ( 101 ) configured to detect a video sequence including an object area and an input element of the user; a display device ( 103 ) configured to display a control panel having a plurality of controls, the control panel being superimposed on the object surface; and a processor ( 105 ) configured to detect a position of the input member against the object surface based on the video sequence, and to associate the detected position with an operation of the displayed operation panel to detect an operation of the operation member. Datenbrille (100) nach Anspruch 1, wobei der Prozessor (105) ausgebildet ist, auf der Basis der Videosequenz eine weitere Position des Eingabeelements gegenüber der Objektfläche zu erfassen, der erfassten weiteren Position das Bedienelement des angezeigten Bedienfeldes zuzuordnen, und die Betätigung des Bedienelementes auf der Basis der erfassten Position und der erfassten weiteren Position zu detektieren.Data glasses ( 100 ) according to claim 1, wherein the processor ( 105 ) is formed on the basis of Video sequence to capture a further position of the input element relative to the object surface to assign the detected further position, the control element of the displayed panel, and to detect the operation of the control element on the basis of the detected position and the detected further position. Datenbrille (100) nach Anspruch 2, wobei der Prozessor (105) ausgebildet ist, ein Drücken des Bedienelementes als Betätigung des Bedienelementes zu detektieren, oder wobei der Prozessor (105) ausgebildet ist, ein Verbleiben des Eingabeelements über dem Bedienelement während einer vorbestimmten Zeitdauer als Betätigung des Bedienelementes zu detektieren.Data glasses ( 100 ) according to claim 2, wherein the processor ( 105 ) is adapted to detect a pressing of the operating element as actuation of the operating element, or wherein the processor ( 105 ) is configured to detect a retention of the input element over the operating element during a predetermined period of time as actuation of the operating element. Datenbrille (100) nach einem der Ansprüche 2 oder 3, wobei jedem Bedienelement des Bedienfeldes ein Zeichen, insbesondere eine Ziffer, zugeordnet ist, und wobei die Anzeigeeinrichtung (103) ausgebildet ist, ein Zeichen, insbesondere eine Ziffer, anzuzeigen, welches dem betätigten Bedienelement des Bedienfeldes zugeordnet ist. Data glasses ( 100 ) according to one of claims 2 or 3, wherein each control element of the control panel is associated with a character, in particular a digit, and wherein the display device ( 103 ) is adapted to display a character, in particular a digit, which is associated with the actuated operating element of the control panel. Datenbrille (100) nach einem der Ansprüche 2 bis 4, wobei die Datenbrille (100) ferner einen Aktor umfasst, und wobei der Aktor ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, mechanisch zu vibrieren.Data glasses ( 100 ) according to one of claims 2 to 4, wherein the data glasses ( 100 ) further comprises an actuator, and wherein the actuator is adapted to vibrate mechanically in response to detecting the operation of the operating element. Datenbrille (100) nach einem der Ansprüche 2 bis 5, wobei die Datenbrille (100) ferner einen Lautsprecher umfasst, und wobei der Lautsprecher ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, ein akustisches Signal auszugeben.Data glasses ( 100 ) according to one of claims 2 to 5, wherein the data glasses ( 100 ) further comprises a speaker, and wherein the speaker is configured to emit an acoustic signal in response to detecting the operation of the operating element. Datenbrille (100) nach einem der Ansprüche 2 bis 6, wobei der Prozessor (105) ausgebildet ist, ein Betätigen eines weiteren Bedienelementes des Bedienfeldes zu detektieren, wobei das betätigte Bedienelement und das betätigte weitere Bedienelement eine betätigte Bedienelementfolge bilden, und wobei der Prozessor (105) ausgebildet ist, die betätigte Bedienelementfolge mit einer vorgespeicherten Bedienelementfolge zu vergleichen.Data glasses ( 100 ) according to one of claims 2 to 6, wherein the processor ( 105 ) is configured to detect an actuation of a further control element of the control panel, wherein the actuated control element and the actuated further control element form an actuated control sequence, and wherein the processor ( 105 ) is configured to compare the operated control sequence with a pre-stored control element sequence. Datenbrille (100) nach Anspruch 7, wobei der Prozessor (105) ausgebildet ist, ein Authentifizierungssignal zu erzeugen, falls die betätigte Bedienelementfolge der vorgespeicherten Bedienelementfolge entspricht, und wobei das Authentifizierungssignal eine Authentifizierung des Nutzers anzeigt.Data glasses ( 100 ) according to claim 7, wherein the processor ( 105 ) is adapted to generate an authentication signal if the actuated control sequence corresponds to the pre-stored control sequence, and wherein the authentication signal indicates an authentication of the user. Datenbrille (100) nach Anspruch 8, wobei die Datenbrille (100) ferner eine Kommunikationsschnittstelle umfasst, wobei die Kommunikationsschnittstelle ausgebildet ist, über ein Kommunikationsnetzwerk mit einem Server zu kommunizieren, und wobei die Kommunikationsschnittstelle ausgebildet ist, das Authentifizierungssignal über das Kommunikationsnetzwerk an den Server auszusenden.Data glasses ( 100 ) according to claim 8, wherein the data glasses ( 100 ) further comprises a communication interface, wherein the communication interface is configured to communicate with a server via a communication network, and wherein the communication interface is adapted to send the authentication signal to the server via the communication network. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei der Prozessor (105) ausgebildet ist, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu erfassen, oder wobei der Prozessor (105) ausgebildet ist, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu verfolgen.Data glasses ( 100 ) according to any one of the preceding claims, wherein the processor ( 105 ) is adapted to detect the object surface and the input element of the user in the video sequence, or wherein the processor ( 105 ) is adapted to track the object surface and the input element of the user in the video sequence. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei die Anzeigeeinrichtung (103) ausgebildet ist, ein Zeigerelement anzuzeigen, und wobei das Zeigerelement die Position des Eingabeelements gegenüber der Objektfläche repräsentiert. Data glasses ( 100 ) according to one of the preceding claims, wherein the display device ( 103 ) is adapted to display a pointer element, and wherein the pointer element represents the position of the input element relative to the object surface. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei das Bedienfeld der Objektfläche transparent, insbesondere halbtransparent, überlagert ist.Data glasses ( 100 ) according to one of the preceding claims, wherein the control panel of the object surface is transparent, in particular semi-transparent, superimposed. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei die Objektfläche eine Handfläche des Nutzers ist, wobei das Eingabeelement ein Finger des Nutzers ist, und wobei die Handfläche und der Finger unterschiedlichen Händen des Nutzers zugeordnet sind.Data glasses ( 100 ) according to one of the preceding claims, wherein the object surface is a palm of the user, wherein the input element is a finger of the user, and wherein the palm and the finger are associated with different hands of the user. Verfahren (200) zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille (100), wobei die Datenbrille (100) eine Kamera (101), eine Anzeigeeinrichtung (103) und einen Prozessor (105) umfasst, wobei die Datenbrille (100) durch den Nutzer tragbar ist, mit: Erfassen (201) einer Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers durch die Kamera (101); Anzeigen (203) eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die Anzeigeeinrichtung (103), wobei das Bedienfeld der Objektfläche überlagert ist; Erfassen (205) auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor (105); und Zuordnen (207) der erfassten Position zu einem Bedienelement des angezeigten Bedienfeldes durch den Prozessor (105), um eine Betätigung des Bedienelementes zu detektieren.Procedure ( 200 ) for interacting with a user using data glasses ( 100 ), whereby the data glasses ( 100 ) a camera ( 101 ), a display device ( 103 ) and a processor ( 105 ), the data glasses ( 100 ) is portable by the user, comprising: detecting ( 201 ) of a video sequence having an object surface and an input element of the user through the camera ( 101 ); Show ( 203 ) of a control panel with a plurality of control elements by the display device ( 103 ), wherein the control panel of the object surface is superimposed; To capture ( 205 ) based on the video sequence of a position of the input element relative to the object surface by the processor ( 105 ); and assign ( 207 ) of the detected position to a control element of the displayed control panel by the processor ( 105 ) to detect actuation of the operating element. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (200) nach Anspruch 14.Computer program with a program code for carrying out the method ( 200 ) according to claim 14.
DE102016116774.6A 2016-09-07 2016-09-07 Data glasses for interacting with a user Pending DE102016116774A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016116774.6A DE102016116774A1 (en) 2016-09-07 2016-09-07 Data glasses for interacting with a user
EP17761467.4A EP3510471A1 (en) 2016-09-07 2017-08-29 Head-mounted display for interaction with a user
PCT/EP2017/071627 WO2018046349A1 (en) 2016-09-07 2017-08-29 Head-mounted display for interaction with a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016116774.6A DE102016116774A1 (en) 2016-09-07 2016-09-07 Data glasses for interacting with a user

Publications (1)

Publication Number Publication Date
DE102016116774A1 true DE102016116774A1 (en) 2018-03-08

Family

ID=59772602

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016116774.6A Pending DE102016116774A1 (en) 2016-09-07 2016-09-07 Data glasses for interacting with a user

Country Status (3)

Country Link
EP (1) EP3510471A1 (en)
DE (1) DE102016116774A1 (en)
WO (1) WO2018046349A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
US20140139439A1 (en) 2012-11-20 2014-05-22 Lg Electronics Inc. Head mount display and method for controlling the same
US20150002475A1 (en) 2013-06-27 2015-01-01 Industrial Technology Research Institute Mobile device and method for controlling graphical user interface thereof
US20150067824A1 (en) 2013-08-29 2015-03-05 Geoffrey W. Chatterton Wearable user device authentication system
DE102013014889A1 (en) 2013-09-06 2015-03-12 Audi Ag Mouse pointer control for an operating device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110514A (en) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc Operation input system
US9791948B2 (en) * 2012-09-21 2017-10-17 Sony Corporation Control device and storage medium
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
US20140139439A1 (en) 2012-11-20 2014-05-22 Lg Electronics Inc. Head mount display and method for controlling the same
US20150002475A1 (en) 2013-06-27 2015-01-01 Industrial Technology Research Institute Mobile device and method for controlling graphical user interface thereof
US20150067824A1 (en) 2013-08-29 2015-03-05 Geoffrey W. Chatterton Wearable user device authentication system
DE102013014889A1 (en) 2013-09-06 2015-03-12 Audi Ag Mouse pointer control for an operating device

Also Published As

Publication number Publication date
WO2018046349A1 (en) 2018-03-15
EP3510471A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
EP2989524B1 (en) Method for interacting with an object displayed on data eyeglasses
EP2874789B1 (en) Method for operating an industrial robot, and device for carrying out said method
DE102012103030B3 (en) Method for operating an industrial robot
DE102012103032B3 (en) Method for operating an industrial robot
EP2834715B1 (en) Method for operating an industrial robot
EP3458939B1 (en) Interaction system and method
DE102009010744A1 (en) Simulation of multipoint gestures with a single pointing device
AT513675A1 (en) Method for the secure and conscious activation of functions and / or movements of a controllable technical device
CN107126698A (en) Control method, device, electronic equipment and the computer-readable recording medium of game virtual object
EP2876526B1 (en) Device for gesture recognition and method for recognition of gestures
DE102017218120A1 (en) A method of providing haptic feedback to an operator of a touch-sensitive display
DE102011056940A1 (en) A method of operating a multi-touch display and device having a multi-touch display
DE112012003889T5 (en) Method, apparatus and computer program for pointing to an object
EP3366434A1 (en) Method for checking a function of a vehicle and/or at least one operating device
EP2444866A1 (en) Control device for operating an automated machine
EP3904984B1 (en) Method for an immersive human machine interaction
DE102016116774A1 (en) Data glasses for interacting with a user
EP3312711A1 (en) Method for quick navigation in a user interface, method for making a product from thermoplastic material, installation control for quick navigation in a user interface and installation for manufacturing a product from thermoplastic material
DE102013014889A1 (en) Mouse pointer control for an operating device
DE102020101746A1 (en) Method for recording user interaction from a user in a virtual environment
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture
WO2023110993A1 (en) Creating a work instruction
DE102017200248A1 (en) Method and device for controlling a display element on the display of a mobile device
DE102020100073A1 (en) Method and system for selecting an entry from a list
DE102023204954A1 (en) CHANGING FIXED POSITIONING MODES RELATED TO THE DISPLAY OF COMPUTER-GENERATED CONTENT

Legal Events

Date Code Title Description
R012 Request for examination validly filed