DE102021133437A1 - Remotely operating a graphical user interface - Google Patents

Remotely operating a graphical user interface Download PDF

Info

Publication number
DE102021133437A1
DE102021133437A1 DE102021133437.3A DE102021133437A DE102021133437A1 DE 102021133437 A1 DE102021133437 A1 DE 102021133437A1 DE 102021133437 A DE102021133437 A DE 102021133437A DE 102021133437 A1 DE102021133437 A1 DE 102021133437A1
Authority
DE
Germany
Prior art keywords
touch
user interface
sensitive display
display surface
backend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102021133437.3A
Other languages
German (de)
Inventor
Gregorio Loriguillo Gonzalez
Uwe Hassler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Priority to DE102021133437.3A priority Critical patent/DE102021133437A1/en
Publication of DE102021133437A1 publication Critical patent/DE102021133437A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2221—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test input/output devices or peripheral units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/282—Testing of electronic circuits specially adapted for particular applications not provided for elsewhere
    • G01R31/2829—Testing of circuits in sensor or actuator systems

Abstract

Die Erfindung betrifft ein Verfahren zum Betätigen einer Benutzerschnittstelle, bei dem ein Roboter eine berührungsempfindliche Anzeigefläche berührt und mittels des Berührens eine von der berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle betätigt. Ferner betrifft die Erfindung ein System zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle und eine Verwendung eines 3D-Druckers.The invention relates to a method for actuating a user interface, in which a robot touches a touch-sensitive display surface and uses the touch to actuate a user interface displayed by the touch-sensitive display surface. Furthermore, the invention relates to a system for actuating a user interface displayed by a touch-sensitive display surface and a use of a 3D printer.

Description

Die Erfindung betrifft ein Verfahren zum Betätigen einer Benutzerschnittstelle, bei dem ein Roboter eine berührungsempfindliche Anzeigefläche berührt und mittels des Berührens eine von der berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle betätigt. Ferner betrifft die Erfindung ein System zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle und eine Verwendung eines 3D-Druckers.The invention relates to a method for actuating a user interface, in which a robot touches a touch-sensitive display surface and uses the touch to actuate a user interface displayed by the touch-sensitive display surface. Furthermore, the invention relates to a system for actuating a user interface displayed by a touch-sensitive display surface and a use of a 3D printer.

Verfahren der eingangs genannten Art gehören in unterschiedlichen Ausgestaltungen zum Stand der Technik und dienen dazu, ein Betätigen einer Benutzerschnittstelle, welche von einer berührungsempfindlichen Anzeigefläche angezeigt wird, zu automatisieren. Ein Roboter im Sinne der Erfindung ist jede mechanische Vorrichtung mit einer beweglichen Roboterhand, welche zumindest einen beweglichen Finger und idealerweise zwei bewegliche Finger aufweist. Der Roboter entlastet eine Person vom Betätigen der Benutzerschnittstelle.Various configurations of methods of the type mentioned at the outset belong to the prior art and are used to automate actuation of a user interface that is displayed by a touch-sensitive display surface. A robot within the meaning of the invention is any mechanical device with a movable robot hand, which has at least one movable finger and ideally two movable fingers. The robot relieves a person from operating the user interface.

Allerdings sind bekannte Verfahren nicht praktikabel für ein Testen von Benutzerschnittstellen, welche von in Testanordnungen oder Fahrzeugen verbauten berührungsempfindlichen Anzeigeflächen angezeigt werden.However, known methods are not practicable for testing user interfaces which are displayed by touch-sensitive display surfaces installed in test arrangements or vehicles.

Es ist daher eine Aufgabe der Erfindung ein Verfahren zum Betätigen einer Benutzerschnittstelle vorzuschlagen, welches ein komfortables und effizientes Testen einer von einer in einer Testanordnung oder einem Fahrzeug verbauten berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle ermöglicht. Weitere Aufgaben der Erfindung sind, ein System zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle bereitzustellen und eine Verwendung eines 3D-Druckers vorzuschlagen.It is therefore an object of the invention to propose a method for actuating a user interface, which allows convenient and efficient testing of a user interface displayed by a touch-sensitive display surface installed in a test arrangement or in a vehicle. Further objects of the invention are to provide a system for actuating a user interface displayed by a touch-sensitive display surface and to propose the use of a 3D printer.

Ein Gegenstand der Erfindung ist ein Verfahren zum Betätigen einer Benutzerschnittstelle, bei dem ein Roboter eine berührungsempfindliche Anzeigefläche berührt und mittels des Berührens eine von der berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle betätigt. Der Roboter betätigt die Benutzerschnittstelle anstelle einer Person und verwendet zum Betätigen eine bewegliche Roboterhand mit zumindest einem beweglichen Finger und idealerweise zwei beweglichen Fingern. Die Benutzerschnittstelle kann graphisch ausgebildet sein und eine Mehrzahl von funktionalen Bedienelementen umfassen.One subject matter of the invention is a method for actuating a user interface, in which a robot touches a touch-sensitive display surface and, by touching, actuates a user interface displayed by the touch-sensitive display surface. The robot operates the user interface in place of a human and uses a robotic flexing hand with at least one flexing finger and ideally two flexing fingers to operate. The user interface can be designed graphically and can include a plurality of functional operating elements.

Erfindungsgemäß überträgt ein mit einem Netzwerk verbundenes und von einem zentralen Server bereitgestelltes Backend einer verteilten Anwendung mittels des Netzwerks ein Berühren einer berührungsempfindlichen Anzeigefläche definierende Steuerbefehle zu dem mit dem Netzwerk verbundenen Roboter, empfängt der Roboter die übertragenen Steuerbefehle und betätigt der Roboter abhängig von den empfangenen Steuerbefehlen die Benutzerschnittstelle, erfasst ein mit dem Netzwerk verbundener Sensor während des Betätigens die Benutzerschnittstelle kontinuierlich, überträgt der Sensor einen die erfasste Benutzerschnittstelle darstellenden Datenstrom mittels des Netzwerks zu dem Backend und empfängt das Backend den übertragenen Datenstrom. Das Netzwerk übermittelt die Steuerbefehle von dem Backend zu dem Roboter und ermöglicht jede relative räumliche Anordnung des zentralen Servers und des Roboters. Der Server kann zu einer Cloud gehören.According to the invention, a backend of a distributed application connected to a network and provided by a central server transmits control commands defining touching of a touch-sensitive display surface to the robot connected to the network via the network, the robot receives the transmitted control commands and actuates the robot depending on the control commands received the user interface, a sensor connected to the network continuously detects the user interface during actuation, the sensor transmits a data stream representing the detected user interface via the network to the backend, and the backend receives the transmitted data stream. The network transmits the control commands from the backend to the robot and allows any relative spatial arrangement of the central server and the robot. The server may belong to a cloud.

Das Netzwerk kann als ein Mobilfunknetz ausgebildet sein und insbesondere für drahtlose Verbindungen des Roboters und des Sensors eine niedrige maximale Latenz und/oder eine hohe minimale Datenrate bereitstellen, d.h. garantieren (Quality of Service, QoS).The network can be in the form of a cellular network and can provide, i.e. guarantee, a low maximum latency and/or a high minimum data rate (Quality of Service, QoS) in particular for wireless connections between the robot and the sensor.

Die übertragenen Steuerbefehle definieren das Berühren der berührungsempfindlichen Anzeigefläche räumlich und zeitlich. Das Backend steuert den Roboter durch das Übertragen der Steuerbefehle in Echtzeit. Das Backend erhält mittels des übertragenen Datenstroms in Echtzeit eine Kenntnis eines Reagierens der Benutzerschnittstelle auf das Berühren der berührungsempfindlichen Anzeigefläche. Das Backend ermöglicht auf diese Weise ein komfortables und effizientes Testen der von der berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle aus der Ferne.The transmitted control commands define the touching of the touch-sensitive display area spatially and temporally. The backend controls the robot by transmitting the control commands in real time. The back end receives real-time knowledge of a reaction of the user interface to the touching of the touch-sensitive display surface by means of the transmitted data stream. In this way, the backend enables convenient and efficient remote testing of the user interface displayed by the touch-sensitive display surface.

Bevorzugt überträgt das Backend den empfangenen Datenstrom mittels des Netzwerks zu einem mit dem Netzwerk verbundenen und von einem Endgerät bereitgestellten Frontend der verteilten Anwendung, empfängt das Backend von dem Frontend Steuerdaten und erzeugt das Backend abhängig von den empfangenen Steuerdaten und abhängig von Abmessungen der berührungsempfindlichen Anzeigefläche die Steuerbefehle. Das Backend transformiert in den Steuerdaten enthaltene von Abmessungen des Endgeräts abhängige Ortsangaben in korrespondierende zu den Abmessungen der berührungsempfindlichen Anzeigefläche passende Ortsangaben. Das Backend transformiert in den Steuerdaten enthaltene von dem Endgerät erzeugte Auslöseereignisse in korrespondierende Berührungsereignisse der berührungsempfindlichen Anzeigefläche. Das Backend empfängt Definitionen der Auslöseereignisse des Endgeräts und Abmessungen des Endgeräts und die Abmessungen der berührungsempfindlichen Anzeigefläche als Konfigurationsparameter. Auslöseereignisse der berührungsempfindlichen Anzeigefläche sind Berührungen durch den Roboter.The backend preferably transmits the received data stream via the network to a frontend of the distributed application that is connected to the network and provided by a terminal device, the backend receives control data from the frontend and generates the backend depending on the received control data and depending on the dimensions of the touch-sensitive display area control commands. The backend transforms location information contained in the control data, which is dependent on the dimensions of the terminal device, into location information that corresponds to the dimensions of the touch-sensitive display area. The backend transforms trigger events generated by the end device contained in the control data into corresponding touch events of the touch-sensitive display surface. The backend receives definitions of the terminal trigger events and dimensions of the terminal and the dimensions of the touch-sensitive display area as confi configuration parameters. Touch-sensitive display surface trigger events are touches by the robot.

Das Endgerät kann als ein stationäres Endgerät, beispielsweise einem Desktoprechner, oder als ein mobiles Endgerät, beispielsweise ein Smartphone, ein Tablet oder eine Notebook, ausgebildet sein. Dank dem Transformieren der Ortsangaben und der Auslöseereignisse kann die berührungsempfindliche Anzeigefläche mittels sehr unterschiedlicher Endgeräte betätigt werden. Das Netzwerk kann für eine drahtlose Verbindung des Endgeräts eine niedrige maximale Latenz und/oder eine hohe minimale Datenrate bereitstellen, d.h. garantieren (Quality of Service, QoS).The end device can be designed as a stationary end device, for example a desktop computer, or as a mobile end device, for example a smartphone, a tablet or a notebook. Thanks to the transformation of the location information and the trigger events, the touch-sensitive display surface can be actuated using very different end devices. The network can provide, i.e. guarantee, a low maximum latency and/or a high minimum data rate for a wireless connection of the end device (Quality of Service, QoS).

Das Frontend kann ein manuelles Betätigen des Endgeräts erfassen und zu dem erfassten manuellen Betätigen korrespondierende Daten als die Steuerdaten erzeugen und zu dem Backend übertragen. Auf diese Weise kann das manuelle Betätigen des Endgeräts die von der berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle betätigen. Eine Betätigungsweise des Endgeräts kann dank dem Backend, insbesondere dank dem konfigurierbaren Transformieren des Backends, von einer Betätigungsweise der von der berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle abweichen. Infolgedessen ist eine Anwendbarkeit des Verfahrens erweitert.The front end can detect a manual actuation of the terminal device and generate data corresponding to the detected manual actuation as the control data and transmit it to the back end. In this way, manually operating the terminal device can operate the user interface displayed by the touch-sensitive display surface. Thanks to the backend, in particular thanks to the configurable transformation of the backend, an actuation method of the end device can deviate from an actuation method of the user interface displayed by the touch-sensitive display surface. As a result, an applicability of the method is expanded.

Das Endgerät kann entweder jeweils in Echtzeit die Steuerdaten zu dem Backend übertragen, den übertragenen Datenstrom empfangen und den empfangenen Datenstrom anzeigen oder für ein späteres Verwenden die Steuerdaten speichern und bei dem späteren Verwenden jeweils die gespeicherten Steuerdaten zu dem Backend übertragen, den übertragenen Datenstrom empfangen und den empfangenen Datenstrom speichern. Ein Nutzer betätigt mittels des Endgeräts die von der berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle in Echtzeit oder zeitversetzt. Das zeitversetzte Betätigen erfolgt automatisch wie das Ausführen eines Testskripts.The end device can either transmit the control data to the backend in real time, receive the transmitted data stream and display the received data stream, or store the control data for later use and, when used later, transmit the stored control data to the backend, receive the transmitted data stream and save the received data stream. A user uses the terminal device to actuate the user interface displayed by the touch-sensitive display surface in real time or with a time delay. The time-delayed actuation takes place automatically like running a test script.

Weiterhin bevorzugt betätigt ein modifizierter 3D-Drucker als der Roboter die Benutzerschnittstelle und erzeugt und überträgt das Backend GCode-Befehle als die Steuerbefehle. Der 3D-Drucker umfasst einen in drei paarweise orthogonalen Raumrichtungen verschiebbaren Druckkopf. Der modifizierte 3D-Drucker umfasst anstelle des Druckkopfes eine Roboterhand mit zumindest einem beweglichen Finger und idealerweise zwei beweglichen Fingern. GCode ist eine weit verbreitete, d.h. von vielen 3D-Druckern akzeptierte Programmiersprache zum Programmieren einer Bewegung des Druckkopfs. In diesem Fall kann ein Testskript für ein zeitversetztes Betätigen der berührungsempfindlichen Anzeigefläche eine Mehrzahl von GCode-Befehlen umfassen.Further preferably, a modified 3D printer as the robot operates the user interface and generates and transmits the backend GCode commands as the control commands. The 3D printer includes a print head that can be displaced in three pairs of orthogonal spatial directions. Instead of the print head, the modified 3D printer includes a robotic hand with at least one movable finger and ideally two movable fingers. GCode is a programming language that is widely used, i.e. accepted by many 3D printers, for programming a movement of the print head. In this case, a test script for a time-delayed actuation of the touch-sensitive display surface can comprise a plurality of GCode commands.

Allerdings können die Steuerbefehle auch zu einer von GCode verschiedenen Programmiersprache für eine rechnergestützte numerische Steuerung (computer numerical control, CNC) gehören, welche von dem 3D-Drucker akzeptiert wird.However, the control instructions may also belong to a computer numerical control (CNC) programming language other than GCode that is accepted by the 3D printer.

In vielen Ausführungsformen wird eine Benutzerschnittstelle eines Fahrzeugs ferngesteuert betätigt. Die Benutzerschnittstelle kann in einer Testanordnung oder in dem Fahrzeug verbaut sein. Das Verfahren erlaubt ein Testen der Benutzerschnittstelle im verbauten Zustand der die Benutzerschnittstelle anzeigenden Anzeigefläche.In many embodiments, a user interface of a vehicle is operated remotely. The user interface can be installed in a test arrangement or in the vehicle. The method allows the user interface to be tested in the installed state of the display area displaying the user interface.

Vorteilhaft umfasst das Berühren ein Antippen der berührungsempfindlichen Anzeigefläche und/oder ein Wischen auf der berührungsempfindlichen Anzeigefläche. Antippen und Wischen sind häufige Gesten beim Betätigen von berührungsempfindlichen Anzeigeflächen.Touching advantageously includes tapping on the touch-sensitive display surface and/or swiping on the touch-sensitive display surface. Tapping and swiping are common gestures when operating touch-sensitive displays.

Alternativ oder zusätzlich kann der Roboter die berührungsempfindliche Anzeigefläche zu einem Zeitpunkt an einem einzigen Punkt oder an zwei zueinander beabstandeten Punkten berühren. Antippen und Wischen umfassen gewöhnlich ein Berühren der berührungsempfindlichen Anzeigefläche an einem einzigen Punkt. Gleichzeitige Berührungen der berührungsempfindlichen Anzeigefläche an zwei zueinander beabstandeten Punkten sind seltenere Gesten beim Betätigen von berührungsempfindlichen Anzeigeflächen, welche beispielsweise zum Einstellen eines Vergrößerungsfaktors verwendet werden.Alternatively or additionally, the robot may touch the touch-sensitive display surface at a single point or at two spaced points at a time. Tapping and swiping typically involve touching the touch-sensitive display surface at a single point. Simultaneously touching the touch-sensitive display surface at two mutually spaced points are less common gestures when operating touch-sensitive display surfaces, which are used, for example, to set a magnification factor.

Vorteilhaft stellt ein Mikrofon als der Sensor einen Audiostrom als den Datenstrom bereit und/oder stellt eine Kamera als der Sensor einen Videostrom als den Datenstrom bereit. Das Mikrofon erfasst eine auditiv wahrnehmbare klangliche Anzeige der Benutzerschnittstelle. Die Kamera erfasst eine visuell wahrnehmbare graphische Anzeige der Benutzerschnittstelle. Die Kamera kann als eine Digitalkamera ausgebildet sein und unmittelbar einen digitalen Videostrom als den Datenstrom bereitstellen. Alternativ kann die Kamera eine Analogkamera und einen sogenannten Framegrabber umfassen, welcher einen von der Analogkamera bereitgestellten analogen Videostrom in einen digitalen Videostrom transformiert und den digitalen Videostrom als den Datenstrom bereitstellt. Selbstverständlich kann der Datenstrom Audiodaten und Videodaten kombinieren.Advantageously, a microphone as the sensor provides an audio stream as the data stream and/or a camera as the sensor provides a video stream as the data stream. The microphone captures an auditory perceptible sonic indication of the user interface. The camera captures a visually perceptible graphical display of the user interface. The camera can be in the form of a digital camera and can directly provide a digital video stream as the data stream. Alternatively, the camera can include an analog camera and what is known as a frame grabber, which transforms an analog video stream provided by the analog camera into a digital video stream and provides the digital video stream as the data stream. Of course, the data stream can combine audio data and video data.

Ein weiterer Gegenstand der Erfindung ist ein System zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle, umfassend einen Roboter zum Berühren der berührungsempfindlichen Anzeigefläche. Das System erlaubt ein automatisches Betätigen der Benutzerschnittstelle ohne manuelles Mitwirken einer Person.Another object of the invention is a system for actuating a displayed by a touch-sensitive display surface A user interface comprising a robot for touching the touch-sensitive display surface. The system allows the user interface to be actuated automatically without the manual intervention of a person.

Erfindungsgemäß umfasst das System ferner einen Sensor zum kontinuierlichen Erfassen der Benutzerschnittstelle und eine verteilte Anwendung mit einem Backend zum Fernsteuern des Roboters und ist das System konfiguriert, ein erfindungsgemäßes Verfahren auszuführen. Der Sensor ist ausgebildet und relativ zu der berührungsempfindlichen Anzeigefläche angeordnet, um ein Reagieren der Benutzerschnittstelle auf ein Betätigen der Benutzerschnittstelle zu erfassen. Der Sensor kann das Reagieren visuell und/oder auditiv erfassen. Das Backend erlaubt ein ferngesteuertes Betätigen der Benutzerschnittstelle. Ein Testen der Benutzerschnittstelle erfordert mithin lediglich eine Präsenz des Roboters nahe bei der berührungsempfindlichen Anzeigefläche.According to the invention, the system further comprises a sensor for continuously detecting the user interface and a distributed application with a backend for remote control of the robot, and the system is configured to carry out a method according to the invention. The sensor is configured and arranged relative to the touch-sensitive display surface to detect a reaction of the user interface to an actuation of the user interface. The sensor can detect the reaction visually and/or audibly. The backend allows the user interface to be operated remotely. Testing of the user interface therefore only requires the robot to be present close to the touch-sensitive display surface.

Noch ein Gegenstand der Erfindung ist eine Verwendung eines 3D-Druckers. Ein handelsüblicher 3D-Drucker wird modifiziert, indem ein Druckkopf des 3D-Druckers durch eine Roboterhand mit zumindest einem beweglichen Finger und idealerweise zwei beweglichen Fingern ersetzt wird.Another subject of the invention is the use of a 3D printer. A commercial 3D printer is modified by replacing a print head of the 3D printer with a robotic hand with at least one movable finger and ideally two movable fingers.

Erfindungsgemäß wird der 3D-Drucker als Roboter zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle verwendet. Der 3D-Drucker wird relativ zu der berührungsempfindlichen Anzeigefläche derart ausgerichtet, dass sich eine X-Richtung und eine Y-Richtung des 3D-Druckers jeweils parallel zu einer X-Richtung und einer Y-Richtung der berührungsempfindlichen Anzeigefläche erstrecken. Eine Z-Richtung des 3D-Druckers erstreckt sich senkrecht zu der berührungsempfindlichen Anzeigefläche. Dank der Modifikation kann der 3D-Drucker die Roboterhand parallel zu der berührungsempfindlichen Anzeigefläche über jedem Punkt der berührungsempfindlichen Anzeigefläche anordnen und zum Berühren der berührungsempfindlichen Anzeigefläche in dem Punkt die Roboterhand auf die berührungsempfindliche Anzeigefläche absenken.According to the invention, the 3D printer is used as a robot for operating a user interface displayed by a touch-sensitive display surface. The 3D printer is oriented relative to the touch-sensitive display surface such that an X-direction and a Y-direction of the 3D printer extend parallel to an X-direction and a Y-direction of the touch-sensitive display surface, respectively. A Z-direction of the 3D printer extends perpendicularly to the touch-sensitive display surface. Thanks to the modification, the 3D printer can arrange the robot hand parallel to the touch-sensitive panel over each point of the touch-sensitive panel and lower the robot hand onto the touch-sensitive panel to touch the touch-sensitive panel at the point.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass eine von einer berührungsempfindlichen Anzeigefläche angezeigte Benutzerschnittstelle in einem verbauten Zustand der berührungsempfindlichen Anzeigefläche komfortabel und effizient aus der Ferne betätigt wird. Das erfindungsgemäße Verfahren ist zum Testen von in Testanordnungen oder in Fahrzeugen verbauten berührungsempfindlichen Anzeigeflächen geeignet und kommt ohne eine Anwesenheit einer Person am Ort der Testanordnung oder des Fahrzeugs aus.An essential advantage of the method according to the invention is that a user interface displayed by a touch-sensitive display surface is conveniently and efficiently operated remotely when the touch-sensitive display surface is installed. The method according to the invention is suitable for testing touch-sensitive display surfaces installed in test arrangements or in vehicles and does not require a person to be present at the location of the test arrangement or the vehicle.

Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those still to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention.

Die Erfindung ist anhand eines Ausführungsbeispiels in den Zeichnungen schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es zeigt

  • 1 in einem Blockdiagramm ein System nach einer Ausführungsform der Erfindung zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche angezeigten Benutzerschnittstelle.
The invention is shown schematically in the drawings using an exemplary embodiment and is described in detail below with reference to the drawings. It shows
  • 1 12 is a block diagram of a system according to an embodiment of the invention for actuating a user interface displayed by a touch-sensitive display.

1 zeigt in einem Blockdiagramm ein System 1 nach einer Ausführungsform der Erfindung zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche 6 angezeigten Benutzerschnittstelle 60. Die berührungsempfindliche Anzeigefläche 6 kann zum Verbauen in einem Fahrzeug geeignet und vorgesehen sein und beispielsweise als eine zentrale Informationsanzeigeeinheit (Central Information Display, CID) des Fahrzeugs ausgebildet sein. 1 shows a block diagram of a system 1 according to an embodiment of the invention for actuating a user interface 60 displayed by a touch-sensitive display surface 6. The touch-sensitive display surface 6 can be suitable and provided for installation in a vehicle and, for example, as a central information display unit (Central Information Display, CID ) of the vehicle.

Das System 1 dient zum Betätigen der von der berührungsempfindlichen Anzeigefläche 6 angezeigten Benutzerschnittstelle 60 und umfasst einen Sensor 4 zum kontinuierlichen Erfassen der Benutzerschnittstelle 60, einen Roboter 10 zum Berühren der berührungsempfindlichen Anzeigefläche 6 und eine verteilte Anwendung 3 mit einem Backend 30 zum Fernsteuern des Roboters 10.The system 1 is used to operate the user interface 60 displayed by the touch-sensitive display surface 6 and comprises a sensor 4 for continuously detecting the user interface 60, a robot 10 for touching the touch-sensitive display surface 6 and a distributed application 3 with a backend 30 for remotely controlling the robot 10 .

Der Sensor 4 kann als eine Kamera 40 und/oder als ein Mikrofon 41 ausgebildet sein. Als der Roboter 10 kann ein 3D-Drucker, insbesondere ein handelsüblicher modifizierter 3D-Drucker, verwendet werden. Der 3D-Drucker umfasst einen modifizierten Druckkopf, welcher als eine Roboterhand 100 mit zumindest einem Finger, idealerweise mit zwei Fingern, ausgebildet ist. Wenn die Benutzerschnittstelle 60 mittels einer Sprache steuerbar ausgebildet ist, kann zu dem System 1 auch ein Schallwandler 5 zum Ausgeben eines Sprachbefehls 500 gehören.The sensor 4 can be designed as a camera 40 and/or as a microphone 41 . A 3D printer, in particular a commercially available modified 3D printer, can be used as the robot 10 . The 3D printer includes a modified print head, which is designed as a robot hand 100 with at least one finger, ideally with two fingers. If the user interface 60 is designed to be able to be controlled using a voice, the system 1 can also include a sound transducer 5 for outputting a voice command 500 .

Das Backend 30 ist auf einem zentralen Server 11 installiert. Der Roboter 10, der Sensor 4 und das Backend 30 sind mit einem Netzwerk 2, beispielsweise einem Mobilfunknetz, verbunden. Zu der verteilten Anwendung 3 gehört auch ein Frontend 31. Das Frontend 31 kann auf einem Endgerät 12 installiert und mit dem Netzwerk 2 verbunden sein.The backend 30 is installed on a central server 11 . The robot 10, the sensor 4 and the backend 30 are connected to a network 2, for example a cellular network. The distributed application 3 also includes a front end 31. The front end 31 can be installed on a terminal 12 and connected to the network 2.

Das System 1 ist konfiguriert, zum Betätigen der Benutzerschnittstelle 60 ein nachfolgend beschriebenes Verfahren auszuführen.The system 1 is configured to perform a method described below to operate the user interface 60 .

Das mit dem Netzwerk 2 verbundene und von dem zentralen Server 11 bereitgestellte Backend 30 der verteilten Anwendung 3 überträgt mittels des Netzwerks 2 Steuerbefehle 300 zu dem mit dem Netzwerk 2 verbundenen Roboter 10, welche ein Berühren der berührungsempfindlichen Anzeigefläche 6 definieren.The backend 30 of the distributed application 3 , which is connected to the network 2 and provided by the central server 11 , transmits control commands 300 to the robot 10 connected to the network 2 by means of the network 2 , which define touching of the touch-sensitive display surface 6 .

Der Roboter 10 empfängt die übertragenen Steuerbefehle 300, berührt abhängig von den empfangenen Steuerbefehlen 300 die berührungsempfindliche Anzeigefläche 6 und betätigt mittels des Berührens die von der berührungsempfindlichen Anzeigefläche 6 angezeigte Benutzerschnittstelle 60. Das Berühren umfasst vorteilhaft ein Antippen der berührungsempfindlichen Anzeigefläche 6 und/oder ein Wischen auf der berührungsempfindlichen Anzeigefläche 6. Insbesondere kann der Roboter 10 die berührungsempfindliche Anzeigefläche 6 zu einem Zeitpunkt an einem einzigen Punkt oder an zwei zueinander beabstandeten Punkten berühren.The robot 10 receives the transmitted control commands 300, touches the touch-sensitive display surface 6 depending on the received control commands 300 and, by touching, actuates the user interface 60 displayed by the touch-sensitive display surface 6. Touching advantageously includes tapping the touch-sensitive display surface 6 and/or swiping on the touch-sensitive display surface 6. Specifically, the robot 10 may touch the touch-sensitive display surface 6 at a single point or at two spaced points at a time.

Wenn die Benutzerschnittstelle 60 zum Verbauen in einem Fahrzeug vorgesehen ist und insbesondere in einer Testanordnung oder dem Fahrzeug verbaut ist, kann die Benutzerschnittstelle 60 des Fahrzeugs ferngesteuert betätigt werden.If the user interface 60 is intended to be installed in a vehicle, and in particular is installed in a test arrangement or the vehicle, the user interface 60 of the vehicle can be actuated by remote control.

Der mit dem Netzwerk 2 verbundene Sensor 4 erfasst während des Betätigens die Benutzerschnittstelle 60 kontinuierlich und überträgt mittels des Netzwerks 2 einen die erfasste Benutzerschnittstelle 60 darstellenden Datenstrom 400, 410 zu dem Backend 30.The sensor 4 connected to the network 2 continuously detects the user interface 60 during actuation and transmits a data stream 400, 410 representing the detected user interface 60 to the backend 30 via the network 2.

Eine Kamera 40 als der Sensor 4 kann einen Videostrom 400 als den Datenstrom 400, 410 bereitstellen. Der Videostrom 400 stellt einen visuell wahrnehmbaren graphischen Anteil der Benutzerschnittstelle 60 dar. Abgesehen davon kann ein Mikrofon 41 als der Sensor 4 einen Audiostrom 410 als den Datenstrom 400, 410 bereitstellen. Der Audiostrom 410 stellt einen auditiv wahrnehmbaren klanglichen Anteil der Benutzerschnittstelle 60 dar. Das Backend 30 empfängt den übertragenen Datenstrom 400, 410.A camera 40 as the sensor 4 can provide a video stream 400 as the data stream 400,410. The video stream 400 represents a visually perceptible graphical portion of the user interface 60. Apart from that, a microphone 41 as the sensor 4 can provide an audio stream 410 as the data stream 400,410. The audio stream 410 represents an audible perceivable sound portion of the user interface 60. The backend 30 receives the transmitted data stream 400, 410.

Das Backend 30 kann den empfangenen Datenstrom 400, 410 mittels des Netzwerks 2 zu dem mit dem Netzwerk 2 verbundenen und von dem Endgerät 12 bereitgestellten Frontend 31 der verteilten Anwendung 3 übertragen, von dem Frontend 31 Steuerdaten 310 empfangen und abhängig von den empfangenen Steuerdaten 310 und abhängig von Abmessungen der berührungsempfindlichen Anzeigefläche 6 die Steuerbefehle 300 erzeugen.The backend 30 can transmit the received data stream 400, 410 by means of the network 2 to the frontend 31 of the distributed application 3 connected to the network 2 and provided by the terminal 12, receive control data 310 from the frontend 31 and depending on the received control data 310 and generate the control commands 300 depending on the dimensions of the touch-sensitive display surface 6 .

Das Frontend 31 kann ein manuelles Betätigen des Endgeräts 12 erfassen und zu dem erfassten manuellen Betätigen korrespondierende Daten als die Steuerdaten 310 erzeugen und zu dem Backend 30 übertragen.The front end 31 can detect a manual actuation of the terminal device 12 and generate data corresponding to the detected manual actuation as the control data 310 and transmit it to the back end 30 .

Bevorzugt überträgt das Endgerät 12 jeweils in Echtzeit die Steuerdaten 310 zu dem Backend 30, empfängt das Endgerät 12 den übertragenen Datenstrom 400, 410 und zeigt das Endgerät 12 den empfangenen Datenstrom 400, 410 an. Alternativ kann das Endgerät 12 für ein späteres Verwenden die Steuerdaten 310 speichern und bei dem späteren Verwenden jeweils die gespeicherten Steuerdaten 310 zu dem Backend 30 übertragen, den übertragenen Datenstrom 400, 410 empfangen und den empfangenen Datenstrom 400, 410 speichern.The terminal device 12 preferably transmits the control data 310 to the backend 30 in real time, the terminal device 12 receives the transmitted data stream 400, 410 and the terminal device 12 displays the received data stream 400, 410. Alternatively, the terminal 12 can store the control data 310 for later use and, when used later, transmit the stored control data 310 to the backend 30, receive the transmitted data stream 400, 410 and store the received data stream 400, 410.

Wenn der modifizierte 3D-Drucker als der Roboter 10 verwendet wird, betätigt der modifizierte 3D-Drucker als der Roboter 10 die Benutzerschnittstelle 60 und erzeugt und überträgt das Backend 30 GCode-Befehle als die Steuerbefehle 300.When the modified 3D printer is used as the robot 10, the modified 3D printer as the robot 10 actuates the user interface 60 and generates and transmits the backend 30 GCode commands as the control commands 300.

BezugszeichenlisteReference List

11
Systemsystem
1010
Roboterrobot
100100
Roboterhandrobot hand
1111
zentraler Servercentral server
1212
Endgerätend device
22
Netzwerknetwork
33
verteilte Anwendungdistributed application
3030
Backendbackend
300300
Steuerbefehlcontrol command
3131
Frontendfront end
310310
Steuerdatentax data
44
Sensorsensor
4040
Kameracamera
400400
Videostromvideo stream
4141
Mikrofonmicrophone
410410
Audiostromaudio stream
55
Schallwandlersound transducer
500500
Sprachbefehlvoice command
66
berührungsempfindliche Anzeigeflächetouch-sensitive display surface
6060
Benutzerschnittstelleuser interface

Claims (10)

Verfahren zum Betätigen einer Benutzerschnittstelle (60), bei dem - ein mit einem Netzwerk (2) verbundenes und von einem zentralen Server (11) bereitgestelltes Backend (30) einer verteilten Anwendung (3) mittels des Netzwerks (2) ein Berühren einer berührungsempfindlichen Anzeigefläche (6) definierende Steuerbefehle (300) zu einem mit dem Netzwerk (2) verbundenen Roboter (10) überträgt; - der Roboter (10) die übertragenen Steuerbefehle (300) empfängt, abhängig von den empfangenen Steuerbefehlen (300) die berührungsempfindliche Anzeigefläche (6) berührt und mittels des Berührens eine von der berührungsempfindlichen Anzeigefläche (6) angezeigte Benutzerschnittstelle (60) betätigt; - ein mit dem Netzwerk (2) verbundener Sensor (4) während des Betätigens die Benutzerschnittstelle (60) kontinuierlich erfasst und einen die erfasste Benutzerschnittstelle (60) darstellenden Datenstrom (400, 410) mittels des Netzwerks (2) zu dem Backend (30) überträgt und das Backend (30) den übertragenen Datenstrom (400, 410) empfängt.Method for actuating a user interface (60), in which - A backend (30) connected to a network (2) and provided by a central server (11) of a distributed application (3) by means of the network (2) touching a touch-sensitive display surface (6) defining control commands (300) to a with robot (10) connected to the network (2); - the robot (10) receives the transmitted control commands (300), depending on the received control commands (300) touches the touch-sensitive display surface (6) and by touching one of the touch-sensitive display surface (6) actuates the user interface (60) displayed; - A sensor (4) connected to the network (2) continuously detects the user interface (60) during actuation and a data stream (400, 410) representing the detected user interface (60) via the network (2) to the backend (30) transmits and the backend (30) receives the transmitted data stream (400, 410). Verfahren nach Anspruch 1, bei dem das Backend (30) den empfangenen Datenstrom (400, 410) mittels des Netzwerks (2) zu einem mit dem Netzwerk (2) verbundenen und von einem Endgerät (12) bereitgestellten Frontend (31) der verteilten Anwendung (3) überträgt, von dem Frontend (31) Steuerdaten (310) empfängt und abhängig von den empfangenen Steuerdaten (310) und abhängig von Abmessungen der berührungsempfindlichen Anzeigefläche (6) die Steuerbefehle (300) erzeugt.procedure after claim 1 In which the backend (30) transmits the received data stream (400, 410) via the network (2) to a frontend (31) of the distributed application (3) that is connected to the network (2) and provided by a terminal (12). Receives control data (310) from the front end (31) and generates the control commands (300) depending on the received control data (310) and depending on the dimensions of the touch-sensitive display area (6). Verfahren nach Anspruch 2, bei dem das Frontend (31) ein manuelles Betätigen des Endgeräts (12) erfasst und zu dem erfassten manuellen Betätigen korrespondierende Daten als die Steuerdaten (310) erzeugt und zu dem Backend (30) überträgt.procedure after claim 2 , in which the front end (31) detects manual operation of the terminal (12) and generates data corresponding to the detected manual operation as the control data (310) and transmits it to the back end (30). Verfahren nach Anspruch 3, bei dem das Endgerät (12) entweder jeweils in Echtzeit die Steuerdaten (310) zu dem Backend (30) überträgt, den übertragenen Datenstrom (400, 410) empfängt und den empfangenen Datenstrom (400, 410) anzeigt oder für ein späteres Verwenden die Steuerdaten (310) speichert und bei dem späteren Verwenden jeweils die gespeicherten Steuerdaten (310) zu dem Backend (30) überträgt, den übertragenen Datenstrom (400, 410) empfängt und den empfangenen Datenstrom (400, 410) speichert.procedure after claim 3 , in which the terminal (12) either transmits the control data (310) to the backend (30) in real time, receives the transmitted data stream (400, 410) and displays the received data stream (400, 410) or for later use the Stores control data (310) and, when used later, transmits the stored control data (310) to the backend (30), receives the transmitted data stream (400, 410) and stores the received data stream (400, 410). Verfahren nach einem der Ansprüche 1 bis 4, bei dem ein modifizierter 3D-Drucker als der Roboter (10) die Benutzerschnittstelle (60) betätigt und das Backend (30) GCode-Befehle als die Steuerbefehle (300) erzeugt und überträgt.Procedure according to one of Claims 1 until 4 , in which a modified 3D printer as the robot (10) actuates the user interface (60) and the backend (30) generates and transmits GCode commands as the control commands (300). Verfahren nach einem der Ansprüche 1 bis 5, bei dem eine Benutzerschnittstelle (60) eines Fahrzeug ferngesteuert betätigt wird.Procedure according to one of Claims 1 until 5 wherein a user interface (60) of a vehicle is operated remotely. Verfahren nach einem der Ansprüche 1 bis 6, bei dem das Berühren ein Antippen der berührungsempfindlichen Anzeigefläche (6) und/oder ein Wischen auf der berührungsempfindlichen Anzeigefläche (6) umfasst und/oder bei dem der Roboter (10) die berührungsempfindliche Anzeigefläche (6) zu einem Zeitpunkt an einem einzigen Punkt oder an zwei zueinander beabstandeten Punkten berührt.Procedure according to one of Claims 1 until 6 , in which the touching comprises tapping the touch-sensitive display surface (6) and/or swiping on the touch-sensitive display surface (6) and/or in which the robot (10) touches the touch-sensitive display surface (6) at a single point at a time or touched at two mutually spaced points. Verfahren nach einem der Ansprüche 1 bis 7, bei dem ein Mikrofon (41) als der Sensor (4) einen Audiostrom (410) als den Datenstrom (400, 410) bereitstellt und/oder eine Kamera (40) als der Sensor (4) einen Videostrom (400) als den Datenstrom (400, 410) bereitstellt.Procedure according to one of Claims 1 until 7 , in which a microphone (41) as the sensor (4) provides an audio stream (410) as the data stream (400, 410) and/or a camera (40) as the sensor (4) provides a video stream (400) as the data stream (400, 410). System (1) zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche (6) angezeigten Benutzerschnittstelle (60), umfassend einen Sensor (4) zum kontinuierlichen Erfassen der Benutzerschnittstelle (60), einen Roboter (10) zum Berühren der berührungsempfindlichen Anzeigefläche (6) und eine verteilte Anwendung (3) mit einem Backend (30) zum Fernsteuern des Roboters (10), welches konfiguriert ist, ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.System (1) for actuating a user interface (60) displayed by a touch-sensitive display surface (6), comprising a sensor (4) for continuously detecting the user interface (60), a robot (10) for touching the touch-sensitive display surface (6) and a distributed application (3) with a backend (30) for remote control of the robot (10), which is configured, a method according to any one of Claims 1 until 8th to execute. Verwendung eines 3D-Druckers als Roboter zum Betätigen einer von einer berührungsempfindlichen Anzeigefläche (6) angezeigten Benutzerschnittstelle (60).Use of a 3D printer as a robot for actuating a user interface (60) displayed by a touch-sensitive display surface (6).
DE102021133437.3A 2021-12-16 2021-12-16 Remotely operating a graphical user interface Ceased DE102021133437A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021133437.3A DE102021133437A1 (en) 2021-12-16 2021-12-16 Remotely operating a graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021133437.3A DE102021133437A1 (en) 2021-12-16 2021-12-16 Remotely operating a graphical user interface

Publications (1)

Publication Number Publication Date
DE102021133437A1 true DE102021133437A1 (en) 2023-06-22

Family

ID=86605971

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021133437.3A Ceased DE102021133437A1 (en) 2021-12-16 2021-12-16 Remotely operating a graphical user interface

Country Status (1)

Country Link
DE (1) DE102021133437A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996166B2 (en) 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996166B2 (en) 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WERNERSSON, R.: Robot control and computer vision for automated test system on touch display products. 2015.

Similar Documents

Publication Publication Date Title
EP2405356A2 (en) Method and device for actuating a key on a keyboard with a robotic scanning light
AT513828A4 (en) Method and apparatus for simulating an electrode welding process
EP1996996A2 (en) Method for the selection of functions with the aid of a user interface, and user interface
EP3118048B1 (en) Function selection using gesture control with haptic feedback
WO2016096376A1 (en) Identifying and repair-assisting device and method
EP3096969A1 (en) User interface and method for controlling a volume by means of a touch-sensitive display unit
DE102014012550A1 (en) Motor vehicle control device
EP3040817A1 (en) Device and method for inputting a text using virtual control elements with haptic feedback for simulating key haptics, especially in a motor vehicle
WO2016096066A1 (en) Method for operating an operating device of a motor vehicle in different operating modes, operating device, and motor vehicle
EP2924551A1 (en) Method and device for providing a graphical user interface in a vehicle
WO2020229028A1 (en) Input device, method for providing movement commands to an actuator, and actuator system
DE102013216152A1 (en) Ultrasonic head with control device and method for controlling an ultrasound device
DE102016003978A1 (en) Operating device for a motor vehicle and motor vehicle
EP2670629B1 (en) Operator control device
DE102021133437A1 (en) Remotely operating a graphical user interface
DE102014008204A1 (en) Motor vehicle with media reproduction
DE102014103945A1 (en) Device for non-destructive ultrasonic testing of workpieces with improved handling and method therefor
WO2018234156A1 (en) Method for determining the operating mode of a material processing machine, and associated material processing machine
DE102015011648A1 (en) Motor vehicle operating device with sliders and method for operating an operating device
EP3188922B1 (en) Control device and method for controlling functions in a vehicle, in particular a motor vehicle
DE102018209963A1 (en) Method for tactile interaction of a user with an electronic device and a computer program product and an electronic device
DE102007040288A1 (en) Multimodal operating system and method for operating components and functions in a motor vehicle
DE102019129396A1 (en) Graphical user interface, means of transportation and method for operating a graphical user interface for a means of transportation
EP3426516B1 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
EP3443422A1 (en) Machine tool and use of a touch-sensitive display for control of a machine part of a machine tool

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final