EP3510471A1 - Datenbrille zum interagieren mit einem nutzer - Google Patents

Datenbrille zum interagieren mit einem nutzer

Info

Publication number
EP3510471A1
EP3510471A1 EP17761467.4A EP17761467A EP3510471A1 EP 3510471 A1 EP3510471 A1 EP 3510471A1 EP 17761467 A EP17761467 A EP 17761467A EP 3510471 A1 EP3510471 A1 EP 3510471A1
Authority
EP
European Patent Office
Prior art keywords
user
control
object surface
processor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP17761467.4A
Other languages
English (en)
French (fr)
Inventor
Frank Dietrich
Olaf Dressel
Frank Fritze
Andreas Daniel Hartl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP3510471A1 publication Critical patent/EP3510471A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present invention relates to the field of human-machine interaction, in particular the interaction between a user and data glasses.
  • the interaction between a user and data glasses is becoming increasingly important for Augmented Reality (AR) applications.
  • AR Augmented Reality
  • An interaction of a user with a data glasses is currently usually by means of a control by predefined gestures or buttons on the data glasses and feedback to the user.
  • integrated sensors such as motion sensors, may be used to interact with the user.
  • the predefined gestures or the function of the keys usually have to be learned in advance by the user. Also, the interaction using integrated sensors, such as motion sensors, requires training of the user to perform some interaction with the data goggles.
  • the invention is based on the realization that the above object can be achieved by a data goggles, which can recognize an object surface and an input element of the user, and can superimpose a control panel with a plurality of control elements over the object surface.
  • the user can actuate individual control elements of the control panel on the object surface and interact intuitively with the data glasses.
  • the object surface may be, for example, a body part of the user, in particular a palm of the user, or a surface of a machine or a tool.
  • the input element of the user may be, for example, a user's finger or a stylus of the user. This ensures that the user can interact efficiently with the data glasses.
  • the user can intuitively enter a string, thereby
  • authentication of the user may be via a server
  • the invention relates to data glasses for interacting with a user, wherein the data glasses are portable by the user.
  • the data glasses comprise a camera, which is designed to capture a video sequence with an object surface and an input element of the user.
  • the data glasses further comprise a display device, which is designed to display a control panel with a plurality of control elements, wherein the control panel is superimposed on the object surface.
  • the data glasses also include a processor, which is designed to detect a position of the input element relative to the object surface on the basis of the video sequence, and to associate the detected position with an operating element of the displayed control panel in order to detect an actuation of the operating element.
  • Object surface predetermined properties such as geometric dimensions, contours or textures may have.
  • the object surface may, for example, a body part of the user, in particular a palm of the user, or a
  • the object surface may be planar or curved.
  • the input element of the user may be, for example, a user's finger or a stylus of the user.
  • Input element can be detected for example by means of pattern recognition.
  • the control panel may be, for example, a keypad, wherein the plurality of controls may be formed by a plurality of keys.
  • the plurality of operating elements may further comprise slider elements or menu structures which can be superimposed on the object surface or projected onto the object surface.
  • the overlay can be done in the form of augmentation.
  • the processor is formed on the basis of
  • Video sequence to capture a further position of the input element relative to the object surface, the detected further position, the control of the displayed
  • the processor can therefore detect at least one position of the input element relative to the object surface on the basis of the video sequence. This achieves the advantage that the
  • Actuation of the control element can be detected efficiently.
  • the processor is configured to press the
  • the Processor configured to detect a retention of the input element over the operating element during a predetermined period of time as actuation of the operating element.
  • the predetermined period of time may be, for example, 0.5 second, 1 second, 2 seconds or 5 seconds.
  • each control element of the control panel is assigned a character, in particular a digit, wherein the display device is designed to display a character, in particular a digit, which is assigned to the actuated operating element of the control panel.
  • the data goggle further comprises an actuator, wherein the actuator is configured to mechanically vibrate in response to detecting the operation of the control element.
  • the data goggles further comprise a loudspeaker, wherein the loudspeaker is configured to emit an acoustic signal in response to detecting the actuation of the control element.
  • the processor is configured to detect an actuation of a further control element of the control panel, wherein the actuated Operating element and the actuated further control element actuated
  • Control element can be done in the same way as the described detection of the operation of the control element.
  • the operated control sequence may be an actuated key sequence and the prestored control sequence may be a pre-stored key sequence.
  • the display device is formed, a position of the operating element and a further position of the further operating element in the
  • Control panel randomly to determine, to display the control element at the random position, and to display the other control element at the other randomly determined position. It is thereby achieved that an arrangement and / or a layout of the operating elements can be varied. As a result, for example, measures can be taken to unwanted spying on entered
  • the position of the controls can be determined at random for each operation, i. For example, no standardized number pad is used as the control panel. Furthermore, the arrangement of the control panel can be varied within the object surface.
  • the processor is configured to generate an authentication signal if the actuated control sequence of the prestored
  • Control sequence corresponds, wherein the authentication signal indicates an authentication of the user.
  • the data glasses further comprise a
  • Communication interface wherein the communication interface is adapted to communicate with a server via a communication network, and wherein the
  • Communication interface is designed to send the authentication signal via the communication network to the server.
  • the processor is configured to capture the object area and the input element of the user in the video sequence, or the processor is configured to track the object area and the input element of the user in the video sequence.
  • the processor is configured to generate a three-dimensional environment model based on the video sequence, to determine a plurality of reference object areas based on the environment model, and to select the object area from the plurality of reference object areas.
  • SLAM Simultaneous Localization and Mapping
  • the display device is designed to display a pointer element, wherein the pointer element represents the position of the input element relative to the object surface. This achieves the advantage that the user can position the input element efficiently relative to the object surface.
  • Pointer element can be realized for example in the form of a mouse pointer.
  • the pointer element can be displayed within the control panel with the plurality of controls, which is superimposed on the object surface or which on the
  • Object surface is projected.
  • control panel of the object surface is transparent, in particular semi-transparent, superimposed.
  • the object surface is a body part of the user, in particular a palm of the user or an arm surface of the user.
  • the input element is a user's finger or a stylus of the user.
  • the stylus can be held in one hand by the user.
  • the object surface is a palm of the user, wherein the input element is a finger of the user, and wherein the palm and the finger are associated with different hands of the user.
  • the invention relates to a method of interacting with a user using smart glasses.
  • the data glasses comprise a camera, a display device and a processor, the data glasses being portable by the user.
  • the method comprises capturing a video sequence with a
  • a display device wherein the control panel is superimposed on the object surface, detecting based on the video sequence a position of the input member relative to the object surface by the processor, and assigning the detected position to a control of the displayed control panel by the processor to an actuation of the control element to detect.
  • the procedure can be carried out by the data glasses. Further features of the method result directly from the features and / or functionality of the data glasses.
  • the invention relates to a computer program with a program code for carrying out the method according to the second aspect of the invention
  • the data glasses in particular the camera, the display device and / or the
  • Processor may be programmable to execute the program code or parts of the program code.
  • the invention can be implemented in hardware and / or software.
  • Fig. 1 is a schematic diagram of a data glasses for interacting with a
  • Fig. 2 is a schematic diagram of a method for interacting with a
  • the data glasses 100 comprise a camera 101, which is designed to be a video sequence with a
  • the data glasses 100 further comprise a display device 103, which is designed to display a control panel with a plurality of controls, wherein the control panel is superimposed on the object surface.
  • the data glasses 100 also include a processor 105, which is designed to detect a position of the input element relative to the object surface on the basis of the video sequence, and to associate the detected position with an operating element of the displayed control panel in order to detect an actuation of the operating element.
  • FIG. 2 shows a schematic diagram of a method 200 for interacting with a user using smart glasses.
  • the data glasses comprise a camera, a display device and a processor, the data glasses being portable by the user.
  • the method 200 comprises detecting 201 a video sequence with an object surface and an input element of the user by the camera, a display 203 of a control panel with a plurality of control elements through the
  • a display device wherein the control panel is superimposed on the object surface, detecting 205 based on the video sequence a position of the input member relative to the object surface by the processor, and assigning the detected position 207 to a control of the displayed control panel by the processor to an actuation of the Detecting control element.
  • the data glasses 100 and the method 200 for interaction with the user extend the possibilities of interaction with the data glasses 100, since the interactions can be solved independently of the mechanical structure of the data glasses 100.
  • touch-sensitive surfaces on the data glasses 100 can be dispensed with.
  • the approach is based on tracking the object surface and the input element of the user as well as the use of augmented reality (AR).
  • AR augmented reality
  • the approach to user interaction with the user begins with a detection or recognition of the previously determined object area by the camera 101 of the data glasses 100, for example by means of a tracking of the object surface.
  • the object area may be, for example, the right-hand user's left palm, or the left-hand user's right palm.
  • a display or superimposition of operating elements by the display device 103 of the data glasses 100 by means of augmentation For example, a control panel with a plurality of controls, such as buttons, for displaying a control sequence, such as a PIN, are displayed.
  • the user then moves an input element, for example a finger of his other hand, into the initially recognized object surface.
  • the movement of the input element is also detected by the camera 101 of the data glasses 100 or
  • the data glasses 100 feedback on the current position.
  • the feedback can be made similar to a mouse pointer on a computer. If a desired position has been reached by the input element, a pressure on the virtual control panel can be triggered to actuate a control element. This pressure can be triggered, for example, by staying at the position for a longer time or by detecting a movement of the input element into the depth.
  • the data glasses 100 and the method 200 can be used, for example, for non-contact operation of machines in production environments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft eine Datenbrille (100) zum Interagieren mit einem Nutzer, wobei die Datenbrille (100) durch den Nutzer tragbar ist. Die Datenbrille (100) umfasst eine Kamera (101), welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille (100) umfasst ferner eine Anzeigeeinrichtung (103), welche ausgebildet ist, ein Bedienfeldmit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeldder Objektfläche überlagert ist. Die Datenbrille (100) umfasst zudem einen Prozessor (105), welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren.

Description

Datenbrille zum Interagieren mit einem Nutzer
Die vorliegende Erfindung betrifft das Gebiet der Mensch-Maschine-Interaktion, insbesondere der Interaktion zwischen einem Nutzer und einer Datenbrille. Die Interaktion zwischen einem Nutzer und einer Datenbrille ist für Anwendungen im Bereich der Augmented Reality (AR) von zunehmender Bedeutung.
Eine Interaktion eines Nutzers mit einer Datenbrille erfolgt derzeit üblicherweise mittels einer Steuerung durch vordefinierte Gesten bzw. Tasten an der Datenbrille sowie einer Rückmeldung an den Nutzer. Weiterhin werden gegebenenfalls integrierte Sensoren, wie beispielsweise Bewegungssensoren, zur Interaktion mit dem Nutzer verwendet.
Die vordefinierten Gesten bzw. die Funktion der Tasten müssen dabei üblicherweise vorab durch den Nutzer erlernt werden. Auch die Interaktion unter Verwendung integrierter Sensoren, beispielsweise von Bewegungssensoren, erfordert eine Einübung des Nutzers, um eine bestimmte Interaktion mit der Datenbrille durchzuführen.
Insbesondere bei der Eingabe von Zeichenfolgen durch den Nutzer erweisen sich diese Gesichtspunkte als Herausforderung für die Interaktion mit der Datenbrille. Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur
Interaktion eines Nutzers mit einer Datenbrille zu schaffen.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der
Beschreibung sowie der Figuren.
Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch eine Datenbrille gelöst werden kann, welche eine Objektfläche und ein Eingabeelement des Nutzers erkennen kann, und ein Bedienfeld mit einer Mehrzahl von Bedienelementen über die Objektfläche überlagern kann. Der Nutzer kann mittels seines Eingabeelements einzelne Bedienelemente des Bedienfeldes auf der Objektfläche betätigen und intuitiv mit der Datenbrille interagieren. Die Objektfläche kann beispielsweise eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers, oder eine Oberfläche einer Maschine oder eines Werkzeugs sein. Das Eingabeelement des Nutzers kann beispielsweise ein Finger des Nutzers oder ein Eingabestift des Nutzers sein. Dadurch wird erreicht, dass der Nutzer effizient mit der Datenbrille interagieren kann. Insbesondere kann der Nutzer intuitiv eine Zeichenfolge eingeben, wodurch
beispielsweise eine effiziente Authentifizierung des Nutzers möglich wird. Die
Authentifizierung des Nutzers kann beispielsweise einem Server über ein
Kommunikationsnetzwerk signalisiert werden.
Gemäß einem ersten Aspekt betrifft die Erfindung eine Datenbrille zum Interagieren mit einem Nutzer, wobei die Datenbrille durch den Nutzer tragbar ist. Die Datenbrille umfasst eine Kamera, welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille umfasst ferner eine Anzeigeeinrichtung, welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist. Die Datenbrille umfasst zudem einen Prozessor, welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zur Interaktion eines Nutzers mit einer Datenbrille realisiert werden kann. Die Objektfläche kann eine Oberfläche eines beliebigen Objektes sein, wobei die
Objektfläche vorbestimmte Eigenschaften, beispielsweise geometrische Abmessungen, Konturen oder Texturen, aufweisen kann. Die Objektfläche kann beispielsweise eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers, oder eine
Oberfläche einer Maschine oder eines Werkzeugs sein. Die Objektfläche kann planar oder gekrümmt sein. Das Eingabeelement des Nutzers kann beispielsweise ein Finger des Nutzers oder ein Eingabestift des Nutzers sein. Die Objektfläche sowie das
Eingabeelement können beispielsweise mittels einer Mustererkennung erfasst werden.
Das Bedienfeld kann beispielsweise ein Tastenfeld sein, wobei die Mehrzahl von Bedienelementen durch eine Mehrzahl von Tasten gebildet sein kann. Die Mehrzahl von Bedienelementen kann ferner Schiebeelemente (engl. Slider) oder Menüstrukturen umfassen, welche der Objektfläche überlagert werden können bzw. auf die Objektfläche projiziert werden können. Die Überlagerung kann in Form einer Augmentierung erfolgen. Gemäß einer Ausführungsform ist der Prozessor ausgebildet, auf der Basis der
Videosequenz eine weitere Position des Eingabeelements gegenüber der Objektfläche zu erfassen, der erfassten weiteren Position das Bedienelement des angezeigten
Bedienfeldes zuzuordnen, und die Betätigung des Bedienelementes auf der Basis der erfassten Position und der erfassten weiteren Position zu detektieren. Der Prozessor kann folglich auf der Basis der Videosequenz zumindest eine Position des Eingabeelements gegenüber der Objektfläche erfassen. Dadurch wird der Vorteil erreicht, dass die
Betätigung des Bedienelementes effizient detektiert werden kann.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Drücken des
Bedienelementes als Betätigung des Bedienelementes zu detektieren, oder ist der
Prozessor ausgebildet, ein Verbleiben des Eingabeelements über dem Bedienelement während einer vorbestimmten Zeitdauer als Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass die Betätigung des Bedienelementes auf unterschiedliche Weisen detektiert werden kann. Die vorbestimmte Zeitdauer kann beispielsweise 0,5 Sekunden, 1 Sekunde, 2 Sekunden oder 5 Sekunden betragen.
Gemäß einer Ausführungsform ist jedem Bedienelement des Bedienfeldes ein Zeichen, insbesondere eine Ziffer, zugeordnet, wobei die Anzeigeeinrichtung ausgebildet ist, ein Zeichen, insbesondere eine Ziffer, anzuzeigen, welches dem betätigten Bedienelement des Bedienfeldes zugeordnet ist. Dadurch wird der Vorteil erreicht, dass der Nutzer das betätigte Bedienelement effizient verifizieren kann.
Gemäß einer Ausführungsform umfasst die Datenbrille ferner einen Aktor, wobei der Aktor ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, mechanisch zu vibrieren. Dadurch wird der Vorteil erreicht, dass dem Nutzer eine erfolgte Betätigung des Bedienelementes effizient angezeigt werden kann.
Gemäß einer Ausführungsform umfasst die Datenbrille ferner einen Lautsprecher, wobei der Lautsprecher ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, ein akustisches Signal auszugeben. Dadurch wird der Vorteil erreicht, dass dem Nutzer eine erfolgte Betätigung des Bedienelementes effizient angezeigt werden kann.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Betätigen eines weiteren Bedienelementes des Bedienfeldes zu detektieren, wobei das betätigte Bedienelement und das betätigte weitere Bedienelement eine betätigte
Bedienelementfolge bilden, und wobei der Prozessor ausgebildet ist, die betätigte
Bedienelementfolge mit einer vorgespeicherten Bedienelementfolge zu vergleichen.
Dadurch wird der Vorteil erreicht, dass beispielsweise Zeichenfolgen effizient durch den Nutzer eingegeben werden können. Die Detektion der Betätigung des weiteren
Bedienelementes kann auf dieselbe Weise erfolgen, wie die beschriebene Detektion der Betätigung des Bedienelementes. Die betätigte Bedienelementfolge kann eine betätigte Tastenfolge sein, und die vorgespeicherte Bedienelementfolge kann eine vorgespeicherte Tastenfolge sein. Gemäß einer Ausführungsform ist die Anzeigeeinrichtung ausgebildet, eine Position des Bedienelementes und eine weitere Position des weiteren Bedienelementes in dem
Bedienfeld jeweils zufällig zu bestimmen, das Bedienelement an der zufällig bestimmten Position anzuzeigen, und das weitere Bedienelement an der weiteren zufällig bestimmten Position anzuzeigen. Dadurch wird erreicht, dass eine Anordnung und/oder ein Layout der Bedienelemente variiert werden kann. Hierdurch können beispielsweise Maßnahmen ergriffen werden, um ein unerwünschtes Ausspähen von eingegebenen
Bedienelementfolgen durch Dritte zu erschweren. Die Position der Bedienelemente kann für jeden Vorgang jeweils zufällig bestimmt werden, d.h. es wird beispielsweise kein standardisierter Nummernblock als Bedienfeld verwendet. Ferner kann die Anordnung des Bedienfeldes innerhalb der Objektfläche variiert werden.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein Authentifizierungssignal zu erzeugen, falls die betätigte Bedienelementfolge der vorgespeicherten
Bedienelementfolge entspricht, wobei das Authentifizierungssignal eine Authentifizierung des Nutzers anzeigt. Dadurch wird der Vorteil erreicht, dass mittels der Interaktion des Nutzers mit der Datenbrille eine Authentifizierung des Nutzers realisiert werden kann.
Gemäß einer Ausführungsform umfasst die Datenbrille ferner eine
Kommunikationsschnittstelle, wobei die Kommunikationsschnittstelle ausgebildet ist, über ein Kommunikationsnetzwerk mit einem Server zu kommunizieren, und wobei die
Kommunikationsschnittstelle ausgebildet ist, das Authentifizierungssignal über das Kommunikationsnetzwerk an den Server auszusenden. Dadurch wird der Vorteil erreicht, dass die Authentifizierung des Nutzers an den Server über das Kommunikationsnetzwerk signalisiert werden kann. Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu erfassen, oder ist der Prozessor ausgebildet, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu verfolgen. Dadurch wird der Vorteil erreicht, dass die Position und/oder die weitere Position des Eingabeelements gegenüber der Objektfläche effizient erfasst werden kann.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, ein dreidimensionales Umgebungsmodell auf der Basis der Videosequenz zu erzeugen, eine Mehrzahl von Referenzobjektflächen auf der Basis des Umgebungsmodells zu bestimmen, und die Objektfläche aus der Mehrzahl von Referenzobjektflächen auszuwählen. Dadurch wird der Vorteil erreicht, dass eine automatische Bestimmung einer geeigneten Objektfläche zur Interaktion mit dem Nutzer erfolgen kann. Der Nutzer kann die Auswahl der
Objektfläche verändern, beispielsweise das Bedienfeld beliebig in einer anderen
Objektfläche platzieren bzw. das Bedienfeld im Betrieb verschieben. Die Erzeugung des Umgebungsmodells kann beispielsweise unter Verwendung eines SLAM-Ansatzes (Simultaneous Localization and Mapping, SLAM) zur Laufzeit erfolgen.
Gemäß einer Ausführungsform ist die Anzeigeeinrichtung ausgebildet, ein Zeigerelement anzuzeigen, wobei das Zeigerelement die Position des Eingabeelements gegenüber der Objektfläche repräsentiert. Dadurch wird der Vorteil erreicht, dass der Nutzer das Eingabeelement effizient relativ zu der Objektfläche positionieren kann. Das
Zeigerelement kann beispielsweise in Form eines Mauszeigers realisiert werden. Das Zeigerelement kann innerhalb des Bedienfeldes mit der Mehrzahl von Bedienelementen angezeigt werden, welches der Objektfläche überlagert ist bzw. welches auf die
Objektfläche projiziert ist.
Gemäß einer Ausführungsform ist das Bedienfeld der Objektfläche transparent, insbesondere halbtransparent, überlagert. Dadurch wird der Vorteil erreicht, dass die Objektfläche für den Nutzer sichtbar bleibt und eine Betätigung des Bedienelementes durch den Nutzer einfach realisiert werden kann.
Gemäß einer Ausführungsform ist die Objektfläche eine Körperpartie des Nutzers, insbesondere eine Handfläche des Nutzers oder eine Armfläche des Nutzers. Dadurch wird der Vorteil erreicht, dass die Interaktion des Nutzers mit der Datenbrille besonders intuitiv erfolgen kann. Gemäß einer Ausführungsform ist das Eingabeelement ein Finger des Nutzers oder ein Eingabestift des Nutzers. Dadurch wird der Vorteil erreicht, dass die Interaktion des Nutzers mit der Datenbrille besonders intuitiv erfolgen kann. Der Eingabestift kann durch den Nutzer in einer Hand gehalten werden. Gemäß einer Ausführungsform ist die Objektfläche eine Handfläche des Nutzers, wobei das Eingabeelement ein Finger des Nutzers ist, und wobei die Handfläche und der Finger unterschiedlichen Händen des Nutzers zugeordnet sind. Dadurch wird der Vorteil erreicht, dass eine Betätigung des Bedienelementes effizient durchgeführt werden kann. Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille. Die Datenbrille umfasst eine Kamera, eine Anzeigeeinrichtung und einen Prozessor, wobei die Datenbrille durch den Nutzer tragbar ist. Das Verfahren umfasst ein Erfassen einer Videosequenz mit einer
Objektfläche und einem Eingabeelement des Nutzers durch die Kamera, ein Anzeigen eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die
Anzeigeeinrichtung, wobei das Bedienfeld der Objektfläche überlagert ist, ein Erfassen auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor, und ein Zuordnen der erfassten Position zu einem Bedienelement des angezeigten Bedienfeldes durch den Prozessor, um eine Betätigung des Bedienelementes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zur Interaktion eines Nutzers mit einer Datenbrille realisiert werden kann.
Das Verfahren kann durch die Datenbrille ausgeführt werden. Weitere Merkmale des Verfahrens resultieren unmittelbar aus den Merkmalen und/oder der Funktionalität der Datenbrille.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß dem zweiten Aspekt der
Erfindung. Dadurch wird der Vorteil erreicht, dass das Verfahren effizient ausgeführt werden kann.
Die Datenbrille, insbesondere die Kamera, die Anzeigeeinrichtung und/oder der
Prozessor, können programmtechnisch eingerichtet sein, um den Programmcode oder Teile des Programmcodes auszuführen. Die Erfindung kann in Hardware und/oder Software realisiert werden.
Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
Fig. 1 ein schematisches Diagramm einer Datenbrille zum Interagieren mit einem
Nutzer; und
Fig. 2 ein schematisches Diagramm eines Verfahrens zum Interagieren mit einem
Nutzer unter Verwendung einer Datenbrille.
Fig. 1 zeigt ein schematisches Diagramm einer Datenbrille 100 zum Interagieren mit einem Nutzer, wobei die Datenbrille 100 durch den Nutzer tragbar ist. Die Datenbrille 100 umfasst eine Kamera 101 , welche ausgebildet ist, eine Videosequenz mit einer
Objektfläche und einem Eingabeelement des Nutzers zu erfassen. Die Datenbrille 100 umfasst ferner eine Anzeigeeinrichtung 103, welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist. Die Datenbrille 100 umfasst zudem einen Prozessor 105, welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine Betätigung des Bedienelementes zu detektieren.
Fig. 2 zeigt ein schematisches Diagramm eines Verfahrens 200 zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille. Die Datenbrille umfasst eine Kamera, eine Anzeigeeinrichtung und einen Prozessor, wobei die Datenbrille durch den Nutzer tragbar ist. Das Verfahren 200 umfasst ein Erfassen 201 einer Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers durch die Kamera, ein Anzeigen 203 eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die
Anzeigeeinrichtung, wobei das Bedienfeld der Objektfläche überlagert ist, ein Erfassen 205 auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor, und ein Zuordnen 207 der erfassten Position zu einem Bedienelement des angezeigten Bedienfeldes durch den Prozessor, um eine Betätigung des Bedienelementes zu detektieren. Die Datenbrille 100 sowie das Verfahren 200 zur Interaktion mit dem Nutzer erweitern die Interaktionsmöglichkeiten mit der Datenbrille 100, da die Interaktionen unabhängig vom mechanischen Aufbau der Datenbrille 100 gelöst werden kann. Insbesondere kann auf berührungssensitive Flächen auf der Datenbrille 100 verzichtet werden. Der Ansatz basiert auf einer Verfolgung (engl. Tracking) der Objektfläche und des Eingabeelements des Nutzers sowie der Nutzung von Augmented Reality (AR).
Der Ansatz zur Bedienerinteraktion mit dem Nutzer beginnt mit einer Erfassung bzw. Erkennung der vorher bestimmten Objektfläche durch die Kamera 101 der Datenbrille 100, beispielsweise mittels einer Verfolgung der Objektfläche. Die Objektfläche kann beispielsweise die linke Handfläche des Nutzers für Rechtshänder, oder die rechte Handfläche des Nutzers für Linkshänder sein.
Anschließend erfolgt ein Anzeigen bzw. Überlagern von Bedienelementen durch die Anzeigeeinrichtung 103 der Datenbrille 100 mittels Augmentierung. Beispielsweise kann ein Bedienfeld mit einer Mehrzahl von Bedienelementen, beispielsweise von Tasten, zur Eingabe einer Bedienelementfolge, beispielsweise einer PIN, angezeigt werden.
Der Nutzer bewegt anschließend ein Eingabeelement, beispielsweise einen Finger seiner anderen Hand, in die zunächst erkannte Objektfläche. Dabei wird die Bewegung des Eingabeelements ebenfalls durch die Kamera 101 der Datenbrille 100 erfasst bzw.
verfolgt und durch die Anzeigeeinrichtung 103, beispielsweise ein Display, der Datenbrille 100 eine Rückmeldung über die aktuelle Position gegeben. Die Rückmeldung kann vergleichbar zu einem Mauszeiger auf einem Computer erfolgen. Ist eine gewünschte Position durch das Eingabeelement erreicht worden, kann ein Druck auf das virtuelle Bedienfeld ausgelöst werden, um ein Bedienelement zu betätigen. Dieser Druck kann beispielsweise durch ein längeres Verbleiben an der Position oder durch die Erkennung einer Bewegung des Eingabeelements in die Tiefe ausgelöst werden.
Die Datenbrille 100 und das Verfahren 200 können beispielsweise zur berührungslosen Bedienung von Maschinen in Produktionsumgebungen eingesetzt werden.
Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung erläuterten und gezeigten Merkmale können in unterschiedlicher Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren. BEZUGSZEICHENLISTE
100 Datenbrille
101 Kamera
103 Anzeigeeinrichtung
105 Prozessor
200 Verfahren zum Interagieren mit einem Nutzer
201 Erfassen einer Videosequenz
203 Anzeigen eines Bedienfeldes
205 Erfassen einer Position des Eingabeelements gegenüber der Objektfläche
207 Zuordnen der erfassten Position

Claims

PATENTANSPRÜCHE
1 . Datenbrille (100) zum Interagieren mit einem Nutzer, wobei die Datenbrille (100) durch den Nutzer tragbar ist, mit: einer Kamera (101 ), welche ausgebildet ist, eine Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers zu erfassen; einer Anzeigeeinrichtung (103), welche ausgebildet ist, ein Bedienfeld mit einer Mehrzahl von Bedienelementen anzuzeigen, wobei das Bedienfeld der Objektfläche überlagert ist; und einem Prozessor (105), welcher ausgebildet ist, auf der Basis der Videosequenz eine Position des Eingabeelements gegenüber der Objektfläche zu erfassen, und der erfassten Position ein Bedienelement des angezeigten Bedienfeldes zuzuordnen, um eine
Betätigung des Bedienelementes zu detektieren.
2. Datenbrille (100) nach Anspruch 1 , wobei der Prozessor (105) ausgebildet ist, auf der Basis der Videosequenz eine weitere Position des Eingabeelements gegenüber der Objektfläche zu erfassen, der erfassten weiteren Position das Bedienelement des angezeigten Bedienfeldes zuzuordnen, und die Betätigung des Bedienelementes auf der Basis der erfassten Position und der erfassten weiteren Position zu detektieren.
3. Datenbrille (100) nach Anspruch 2, wobei der Prozessor (105) ausgebildet ist, ein Drücken des Bedienelementes als Betätigung des Bedienelementes zu detektieren, oder wobei der Prozessor (105) ausgebildet ist, ein Verbleiben des Eingabeelements über dem Bedienelement während einer vorbestimmten Zeitdauer als Betätigung des
Bedienelementes zu detektieren.
4. Datenbrille (100) nach einem der Ansprüche 2 oder 3, wobei jedem Bedienelement des Bedienfeldes ein Zeichen, insbesondere eine Ziffer, zugeordnet ist, und wobei die
Anzeigeeinrichtung (103) ausgebildet ist, ein Zeichen, insbesondere eine Ziffer, anzuzeigen, welches dem betätigten Bedienelement des Bedienfeldes zugeordnet ist.
5. Datenbrille (100) nach einem der Ansprüche 2 bis 4, wobei die Datenbrille (100) ferner einen Aktor umfasst, und wobei der Aktor ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, mechanisch zu vibrieren.
6. Datenbrille (100) nach einem der Ansprüche 2 bis 5, wobei die Datenbrille (100) ferner einen Lautsprecher umfasst, und wobei der Lautsprecher ausgebildet ist, ansprechend auf das Detektieren der Betätigung des Bedienelementes, ein akustisches Signal auszugeben.
7. Datenbrille (100) nach einem der Ansprüche 2 bis 6, wobei der Prozessor (105) ausgebildet ist, ein Betätigen eines weiteren Bedienelementes des Bedienfeldes zu detektieren, wobei das betätigte Bedienelement und das betätigte weitere Bedienelement eine betätigte Bedienelementfolge bilden, und wobei der Prozessor (105) ausgebildet ist, die betätigte Bedienelementfolge mit einer vorgespeicherten Bedienelementfolge zu vergleichen.
8. Datenbrille (100) nach Anspruch 7, wobei der Prozessor (105) ausgebildet ist, ein Authentifizierungssignal zu erzeugen, falls die betätigte Bedienelementfolge der vorgespeicherten Bedienelementfolge entspricht, und wobei das Authentifizierungssignal eine Authentifizierung des Nutzers anzeigt.
9. Datenbrille (100) nach Anspruch 8, wobei die Datenbrille (100) ferner eine Kommunikationsschnittstelle umfasst, wobei die Kommunikationsschnittstelle ausgebildet ist, über ein Kommunikationsnetzwerk mit einem Server zu kommunizieren, und wobei die Kommunikationsschnittstelle ausgebildet ist, das Authentifizierungssignal über das Kommunikationsnetzwerk an den Server auszusenden.
10. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei der Prozessor (105) ausgebildet ist, die Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu erfassen, oder wobei der Prozessor (105) ausgebildet ist, die
Objektfläche und das Eingabeelement des Nutzers in der Videosequenz zu verfolgen.
1 1 . Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei die
Anzeigeeinrichtung (103) ausgebildet ist, ein Zeigerelement anzuzeigen, und wobei das Zeigerelement die Position des Eingabeelements gegenüber der Objektfläche
repräsentiert.
12. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei das Bedienfeld der Objektfläche transparent, insbesondere halbtransparent, überlagert ist.
13. Datenbrille (100) nach einem der vorstehenden Ansprüche, wobei die Objektfläche eine Handfläche des Nutzers ist, wobei das Eingabeelement ein Finger des Nutzers ist, und wobei die Handfläche und der Finger unterschiedlichen Händen des Nutzers zugeordnet sind.
14. Verfahren (200) zum Interagieren mit einem Nutzer unter Verwendung einer Datenbrille (100), wobei die Datenbrille (100) eine Kamera (101 ), eine Anzeigeeinrichtung (103) und einen Prozessor (105) umfasst, wobei die Datenbrille (100) durch den Nutzer tragbar ist, mit:
Erfassen (201 ) einer Videosequenz mit einer Objektfläche und einem Eingabeelement des Nutzers durch die Kamera (101 );
Anzeigen (203) eines Bedienfeldes mit einer Mehrzahl von Bedienelementen durch die Anzeigeeinrichtung (103), wobei das Bedienfeld der Objektfläche überlagert ist; Erfassen (205) auf der Basis der Videosequenz einer Position des Eingabeelements gegenüber der Objektfläche durch den Prozessor (105); und
Zuordnen (207) der erfassten Position zu einem Bedienelement des angezeigten
Bedienfeldes durch den Prozessor (105), um eine Betätigung des Bedienelementes zu detektieren.
15. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (200) nach Anspruch 14.
EP17761467.4A 2016-09-07 2017-08-29 Datenbrille zum interagieren mit einem nutzer Ceased EP3510471A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016116774.6A DE102016116774A1 (de) 2016-09-07 2016-09-07 Datenbrille zum Interagieren mit einem Nutzer
PCT/EP2017/071627 WO2018046349A1 (de) 2016-09-07 2017-08-29 Datenbrille zum interagieren mit einem nutzer

Publications (1)

Publication Number Publication Date
EP3510471A1 true EP3510471A1 (de) 2019-07-17

Family

ID=59772602

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17761467.4A Ceased EP3510471A1 (de) 2016-09-07 2017-08-29 Datenbrille zum interagieren mit einem nutzer

Country Status (3)

Country Link
EP (1) EP3510471A1 (de)
DE (1) DE102016116774A1 (de)
WO (1) WO2018046349A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) 1999-12-29 2004-08-03 Petri Pulli User interface
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
CN104620212B (zh) * 2012-09-21 2018-09-18 索尼公司 控制装置和记录介质
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US20150002475A1 (en) 2013-06-27 2015-01-01 Industrial Technology Research Institute Mobile device and method for controlling graphical user interface thereof
US9251333B2 (en) 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
DE102013014889A1 (de) 2013-09-06 2015-03-12 Audi Ag Mauszeigersteuerung für eine Bedienvorrichtung
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures

Also Published As

Publication number Publication date
WO2018046349A1 (de) 2018-03-15
DE102016116774A1 (de) 2018-03-08

Similar Documents

Publication Publication Date Title
DE102012103030B3 (de) Verfahren zur Bedienung eines Industrieroboters
DE112006002954B4 (de) Virtuelles Schnittstellensystem
EP1428110B1 (de) 3d-eingabegerät mit integriertem touchscreen
EP2989524A1 (de) Verfahren zum interagieren mit einem auf einer datenbrille angezeigten objekt
WO2013044893A1 (de) Datenhandschuh mit taktiler rückinformation und verfahren
DE102010038342A1 (de) Vorrichtung zum Verwalten der Funktionen von Peripheriegeräten
EP2834715A1 (de) Verfahren zur bedienung eines industrieroboters
AT513675A1 (de) Verfahren zum sicheren und bewussten Aktivieren von Funktionen und/oder Bewegungen einer steuerbaren technischen Einrichtung
DE102009011687A1 (de) Berührungsereignismodell
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
WO2019072512A1 (de) Verfahren zur bereitstellung einer haptischen rückmeldung an einen bediener einer berührungssensitiven anzeigeeinrichtung
DE112012003889T5 (de) Verfahren, Vorrichtung und Computerprogramm, die zum Zeigen auf ein Objekt dienen
EP3366434A1 (de) Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung
DE102004021379B4 (de) Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren
WO2017186369A1 (de) Bedienpanel zum steuern einer industriellen anlage
DE102009058146B4 (de) Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung
EP3510471A1 (de) Datenbrille zum interagieren mit einem nutzer
KR20160050972A (ko) 이미지 작업 히스토리 표시를 위한 장치, 방법 및 컴퓨터 프로그램
DE102014200609A1 (de) Berührungssensitive Bedienvorrichtung mit Mulde
DE10161924A1 (de) Verfahren zur Zweihandbedienung einer flächigen Anzeige- und Bedieneinheit, mit berührungssensitivem Display, HMI Gerät, Automatisierungssystem und Computerprogrammprodukt zur Durchführung des Verfahrens
DE102020101746A1 (de) Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung
DE102019216411A1 (de) Vorrichtung zum Erfassen einer Eingabe mittels eines Betätigungsobjekts und Verfahren zum Betreiben einer Vorrichtung zum Erfassen einer Eingabe
DE102018125956A1 (de) Verfahren und System zur Steuerung von Geräten in steriler Umgebung
Lu et al. Developing low-cost training environments: How do effector and visual realism influence the perceptual grounding of actions
DE102016012474A1 (de) Verfahren zur schnellen Navigation in einer Benutzeroberfläche, Verfahren zum Herstellen eines Produkts aus thermoplastischem Kunststoff, Anlagensteuerung zur schnellen Navigation in einer Benutzeroberfläche und Anlage zum Herstellen eines Produkts aus thermoplastischem Kunststoff

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190307

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200417

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20240807