EP3904984A1 - Verfahren für eine immersive mensch-maschine-interaktion - Google Patents

Verfahren für eine immersive mensch-maschine-interaktion Download PDF

Info

Publication number
EP3904984A1
EP3904984A1 EP20171528.1A EP20171528A EP3904984A1 EP 3904984 A1 EP3904984 A1 EP 3904984A1 EP 20171528 A EP20171528 A EP 20171528A EP 3904984 A1 EP3904984 A1 EP 3904984A1
Authority
EP
European Patent Office
Prior art keywords
operating means
virtual reality
virtual
simulated
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20171528.1A
Other languages
English (en)
French (fr)
Other versions
EP3904984B1 (de
Inventor
Daniel Krüger
Tobias Ködel
Wolfgang Wohlgemuth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP20171528.1A priority Critical patent/EP3904984B1/de
Priority to US17/239,806 priority patent/US20210333786A1/en
Priority to CN202110455411.XA priority patent/CN113641239A/zh
Publication of EP3904984A1 publication Critical patent/EP3904984A1/de
Application granted granted Critical
Publication of EP3904984B1 publication Critical patent/EP3904984B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40356—Kinetic energy, content and distribution

Definitions

  • the invention relates to a method for an immersive human-machine interaction with a virtual mechanical operating means of an industrial automation arrangement in a virtual reality according to the preamble of claim 1, and an arrangement for an immersive human-machine interaction with a virtual mechanical operating means of an industrial one Automation arrangement in a virtual reality according to the preamble of claim 9.
  • Immersive technologies such as virtual and augmented reality (VR, AR) or virtual environments such as CAVE (Cave Automatic Virtual Environment) are also becoming increasingly important in the industrial environment.
  • Immersive means that virtual reality is largely perceived as real.
  • the interactive visualization of machines in a virtual reality in particular the user interface and the operating means of the machines or the machine controls or the operating and monitoring devices used, enable promising applications.
  • control programs and parameterization of the machine or the associated industrial automation components are tested in a simulation environment before programming or "uploading" to the real machine in order to detect errors at an early stage and to prevent possible consequential damage.
  • the operating personnel learn how to handle a machine using a machine simulation in order to reduce training and downtime of the real machine.
  • Virtual user tests are used to optimize the usability of machines or industrial arrangements.
  • the simulation of human-machine interaction in virtual reality mostly takes place via predefined interaction routines, for example scripts. These are fully defined in the system that creates the virtual reality.
  • a push button is to be mapped, its kinematic behavior (e.g. displaceability) is permanently programmed in the system for virtual reality and triggered by the user via a corresponding input (e.g. pressing a button on a virtual reality controller, i.e. a type of remote control) .
  • the virtual reality system triggers an event that is often directly linked to a technical function of the machine or an operating and monitoring device.
  • it is detected, for example, that a button has been pressed, and thus a feed is switched on or the like means that one aspect of the machine construction is implemented twice for the purpose of visualization.
  • a method for an immersive human-machine interaction with a virtual mechanical operating means of an industrial automation arrangement in a virtual reality is provided, input information being transmitted to a component of the industrial automation arrangement through the interaction with the operating means.
  • the mechanical operating means is modeled in a simulation device for a rigid body simulation, with the mechanical Operating means is mapped in virtual reality, wherein in a third step the virtual reality detects an interaction with the operating means shown, with second parameters being calculated from first parameters of the detected virtual interaction via a simulated physical effect on the operating means, with one fourth step, the second parameters are transmitted to the simulation device, wherein in a fifth step the simulation device uses the second parameters by means of the modeled operating means to simulate a movement of at least part of the operating means, it being decided whether the simulated movement results in a change in the switching state of the Operating means is given, and in a sixth step, at least in the case of a switching state change, the switching state or the switching state change is reported as the input information to the component.
  • This procedure ensures a strict separation of machine simulation and machine visualization. This leads to increased flexibility with regard to the use of different immersive environments (VR headset, CAVE, tablet, AR headset), to a better distribution of the computing load over several nodes and to improved data consistency, because the machine behavior is consistently described in construction systems, whereby the machine know-how remains in the simulation environment, ie in the engineering system. This separation makes it easier to make interactive optimizations of accessibility and "usability" of the machine in virtual reality.
  • the object is also achieved by an arrangement for immersive human-machine interaction with a virtual mechanical operating means of an industrial automation arrangement in a virtual reality, the arrangement being set up to transmit input information to a component of the industrial automation arrangement as a result of the interaction with the operating means , with a system for generating and visualizing virtual reality, and the mechanical operating means in the virtual reality is depicted.
  • a simulation device for a rigid body simulation of the mechanical operating means, the virtual reality being set up to detect an interaction with the operating means shown, provision being made to calculate second parameters from the first parameters of the detected virtual interaction via a simulated physical effect on the operating means , the virtual reality being set up to transmit the second parameters to the simulation device, the simulation device being set up to simulate a movement of at least part of the operating means by means of the modeled operating means based on the second parameters, the simulation device being designed to make a decision about it, whether the simulated movement results in a switching state change of the operating means, and wherein the simulation device at least in the case of the switching state change that has taken place to report de r switching state change or the switching state is set up as the input information to the component.
  • a simulated mass-afflicted body is advantageously used as the at least one part of the operating means, in particular a lever or a button or a switch or another movable element.
  • the operating behavior of many real operating means is thus better reproducible. In particular, this reduces operating errors that can occur as a result of accidental "touches".
  • a so-called virtual reality controller in the manner of a controller for game consoles or the like Kinetics of a mechanical solution can be mapped realistically.
  • At least one force or a force-torque pair or another kinetic interaction dynamic is applied to the simulated mass-afflicted body as the second parameter.
  • the virtual operating action can be approximated further to the real operating action in that first values for a direction and a penetration of a virtual hand or a virtual finger or another body part with the depicted operating means through the virtual reality are determined as the first parameters, with subsequent calculation the simulated effect on the simulated mass-afflicted body, the second parameters are calculated from these first values.
  • the geometry of this device is also mapped in virtual reality.
  • the screen output is generated in the simulation environment of the industrial automation arrangement, in particular by a simulation of an operating and monitoring device (HMI emulation), and transmitted to virtual reality, for example in the form of an image file, streams or the like ("pixel buffer”) for a finished video texture, and shown there in the illustrated housing geometry or the illustrated screen surface of a virtual operating and monitoring device.
  • HMI emulation an operating and monitoring device
  • a realistic simulation of an operating and monitoring device or even a real operating and monitoring device with its original program code can generate the screen output, so that within the virtual reality only one housing, For example, a panel or other industrial operator station must be simulated, and the virtual reality can refer to the screen content from the outside as an image and output it on the displayed housing.
  • virtual reality is not used to generate the screen output or its content; Rather, it can be obtained from a specialized simulation system or even from a real unit.
  • the device with the screen output can be either a real or a simulated operating and monitoring device, whereby inputs from virtual reality and / or the input parameters and / or status information of a simulated industrial process generated from the kinetic rigid body simulation for the real or simulated operating and observation device are used, outputs of the real or the simulated operating and monitoring device being transmitted to the virtual reality and being displayed there with or in an image of the operating and monitoring station.
  • a real operating and monitoring device is integrated into the simulation of the industrial automation arrangement, this is also referred to as hardware-in-the-loop integration. This means that a real system is linked to a simulation system, which is particularly useful in systems that hardly include any mechanics, as is regularly the case with computers for operating and monitoring tasks.
  • a virtual (emulated or simulated) programmable logic controller can be used as the component, the virtual programmable logic controller executing an automation program intended for a real automation system, and where, during the execution of the program in the virtual programmable logic controller, changes required for correction of the automation program can be used and the modified automation program is used in the real automation arrangement.
  • the experience gained through the operation of the simulated system can be made out by means of virtual reality, lead to an improvement in the automation program, so that a real automation arrangement operated with it is optimized.
  • a simulation device for an industrial process or industrial production is connected to the virtual programmable logic controller, the virtual programmable logic controller controlling and / or monitoring an industrial process simulated with it or an industrial production simulated with it by means of bidirectional data exchange.
  • the simulation device for the rigid body simulation transmits the second parameters or third parameters to the virtual reality via the simulated movement, whereby a representation of the operating means is adapted on the basis of the transmitted parameters.
  • a representation of the operating means is adapted on the basis of the transmitted parameters.
  • the single figure shows a schematic representation of a virtual reality with an illustrated industrial control panel with a virtual mechanical or electromechanical one Operating means and a simulation environment with a rigid body simulation, a virtual controller and an emulation of an operating and monitoring device.
  • HMI-E Human Machine Interface
  • V- PLC Virtual Programmable Logic Controller
  • an immersive environment IU is shown, that is to say an environment in which a user can have realistic virtual experiences, in particular can experience the operation of components of an industrial automation system.
  • the immersive environment IU consists of a (not shown) special computer system for generating a virtual reality, data glasses VR-HS (Virtual Reality Headset), not shown means for detecting movement of a hand or other body parts and a movement space not shown here.
  • the computer system for generating the immersive environment IU is set up separately from the simulation environment SU; there are only data connections between the two systems.
  • the virtual programmable logic controller V-PLC usually has a data connection to a further simulation system for an industrial process to be controlled or an industrial production.
  • the simulation environment SU is designed in such a way that an industrial automation arrangement is functionally sufficiently fully simulated and the industrial automation arrangement can be operated in a simulation.
  • the virtual programmable logic controller V-PLC simulates the sequence behavior of all control programs of a machine or arrangement. It therefore also communicates with the multi-body simulation, in particular the rigid body simulation STN, the emulated operating and monitoring device HMI-E and the simulation (not shown) for the industrial process or industrial production.
  • the immersive environment IU is for the graphic representation (rendering) of the machine model and the processing of general user inputs NI (user interaction), tracking of hand and head position (in particular as cursor coordinates C-KOR) and the representation of feedback (in particular changed position L of a operating means shown), while all aspects of the operating behavior of a machine including the human-machine interface and thus the representation of an operating and monitoring device are mapped within the simulation environment SU.
  • NI user interaction
  • C-KOR cursor coordinates
  • feedback in particular changed position L of a operating means shown
  • the geometric description of the machine is transmitted in reduced form to the immersive environment IU and displayed there, in the present exemplary embodiment as the housing of an operating panel.
  • the operating means is, for example, a push button, for example an emergency stop button, which is shown in a circle on the geometry G of an operating panel shown in the immersive environment IU at the bottom left.
  • the first parameters of the detected virtual interaction are established. This can be, for example, the direction and the "depth" of the penetration.
  • second parameters are calculated via the simulated physical action on the operating means. This means that from the movement of the interaction NI for example a force F is determined. This can be done, for example, in that a proportional force F is determined through the virtual operating path, that is, the penetration of the operating means with the finger.
  • kinetics can also be assumed so that a speed of the actuation process is proportionally included in the force F or an assumed impulse (not used here) or the like.
  • An identification of the operating means and the second parameters (here as an example: force F) are then transmitted from the immersive environment IU, i.e. the specialized computer system for virtual reality, to the simulation environment SU and, therein, specifically to the simulation device for a rigid body simulation STM.
  • Mechanical operating elements or operating means appear in the rigid body simulation STM as bodies with mass that can be moved by applying forces and torques within their kinematic degrees of freedom (rotation, translation).
  • the switching logic of the operating means considered here that is to say the pushbutton, can thus be expressed as a function of the current position of the probe body.
  • the mechanical operating means for the simulation device STM is modeled in terms of data technology, for example as a simulation-capable digital twin, as a system of equations, as a simulation object or the like Force F determined from the operating process or a pulse or the like. Applied to the mass-loaded, simulated body of the operating means and any associated spring, latching elements or the like.
  • the rigid body simulation STM calculates a movement of the operating means as a result, in the case of the pushbutton shown here, that is to say a movement of the key top, which is represented by the coordinate X in the figure. Provided they are there If the calculated movement (coordinate X) exceeds a threshold value (here: X> 0), it is decided that the operating means has changed its state, which specifically means that the switch has triggered or an "emergency stop" has been pressed. This change of switching state or generally the currently valid switching state of the operating means is transferred to the virtual programmable logic controller V-PLC and signaled there at a (virtual) input.
  • a threshold value here: 0
  • An automation program can run in the virtual programmable logic controller V-PLC, which controls a production station, for example. As soon as the change in switching status is signaled on this V-PLC controller, the automation program now reacts accordingly, for example by implementing an emergency stop. Corresponding information about the new "emergency stop" status of the automation program is also transmitted to the emulated HMI-E operator control and monitoring device. This leads to a changed screen output of the operating and monitoring device HMI-E, where, for example, a red stop signal is output on the screen or the like. The changed screen output is processed into changed image data or changed partial image data. These image data are to be referred to below as the pixel buffer PB.
  • the pixel buffer PB is transmitted to the immersive environment IU and is displayed there as a video texture VT on a screen area with the geometry G shown in such a way that a user of the immersive environment IU has the impression that he is with an actual control panel with the geometry G and confronted with the screen content of the pixel buffer PB.
  • cursor coordinates C-KOR and corresponding registered inputs for example touches on a virtual touch-sensitive screen (touchscreen), can be transmitted to the emulated operating and monitoring device HMI-E.
  • the virtual programmable logic controller V-PLC can also forward the information to a simulation (not shown) of an industrial process according to the example selected here that the simulated industrial process is stopped. If this does not happen properly in the simulation, there may be an error in the automation program which is being processed by the virtual programmable logic controller V-PLC. This can then be optimized until it is functioning properly. The automation program thus optimized can then be used for correction in a real automation arrangement.
  • the switching logic of the push button can be expressed as a function of the current position of the button body and fed to the virtual programmable logic controller V-PLC, for example as a Boolean signal (or alternatively as an analog or numerical signal proportional to the deflection X).
  • V-PLC virtual programmable logic controller
  • the machine function is triggered by the application of a pressure force on the key body, which corresponds exactly to the real expectations of a user.
  • a force-torque pair (Dyname), which is sent to the simulation environment SU and specifically to the rigid body simulation STM and applied there to the correspondingly simulated rigid body.
  • the resulting change in position of the control element is later communicated back to the immersive environment IU for visualization.
  • This means that the operating means shown then changes its position accordingly in the display in order to give the user appropriate feedback.
  • This interaction dynamics can be determined from the "tracked" hand movements of the user, taking into account the proximity to the geometric representation of the operating element in the sense of a collision analysis.
  • Virtual operating elements are part of the operating screen of the displayed geometry and are handled within the simulation environment SU by emulating the operating and monitoring device HMI-E.
  • this HMI-E emulation consumes these input events from a pointing device (cursor coordinates C-KOR, keystrokes of a mouse, touch inputs, etc.) and renders the screen output in a pixel buffer PB, which is shown on a real machine on a display (HMI- Panel) would be displayed in the form of a screen output (teletexture).
  • the pixel buffer PB is transferred as required from the simulation environment SU to the immersive environment IU and integrated there in the form of a video texture VT in the representation of the machine geometry (geometry G).
  • the input events necessary for interaction are also generated from the user's body movements and / or suitable interaction options of the virtual reality hardware (e.g. controller) and transmitted to the simulation environment SU via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Programmable Controllers (AREA)

Abstract

Die Erfindung betrifft Verfahren und eine Anordnung für eine immersive Mensch-Maschine-Interaktion (NI) mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität (IU), wobei durch die Interaktion (NI) mit dem Bedienmittel eine Eingabeinformation an eine Komponente (V-PLC) der industriellen Automatisierungsanordnung übermittelt wird. Dabei wird das mechanische Bedienmittel in einer Simulationseinrichtung (STM) für eine Starrkörpersimulation modelliert, wobei das mechanische Bedienmittel in der virtuellen Realität (IU) abgebildet wird, wobei durch die virtuelle Realität (IU) eine Interaktion (NI) mit dem dargestellten Bedienmittel detektiert wird, wobei aus ersten Parametern der detektierten virtuellen Interaktion (NI) zweite Parameter (F) über eine simulierte physische Einwirkung auf das Bedienmittel errechnet werden, wobei die zweiten Parameter (F) zu der Simulationseinrichtung (STM) übertragen werden, wobei durch die Simulationseinrichtung (STM) die zweiten Parameter (F) mittels des modellierten Bedienmittels zur Simulation einer Bewegung (X) zumindest eines Teils des Bedienmittels verwendet werden, wobei entschieden wird, ob durch die simulierte Bewegung (X) eine Schaltzustandsänderung des Bedienmittels gegeben ist, und wobei zumindest im Falle einer Schaltzustandsänderung der Schaltzustand oder die Schaltzustandsänderung als die Eingabeinformation an die Komponente (V-PLC) gemeldet wird. Dadurch ist eine strikte Trennung zwischen Maschinensimulation und Maschinenvisualisierung gewährleistet, wobei die virtuelle Bedienung eines mechanischen Bedienmittels realitätskonform erfasst und abgebildet wird.

Description

  • Die Erfindung betrifft ein Verfahren für eine immersive Mensch-Maschine-Interaktion mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität gemäß dem Oberbegriff des Patentanspruchs 1, und eine Anordnung für eine immersive Mensch-Maschine-Interaktion mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität gemäß dem Oberbegriff des Patentanspruchs 9.
  • Immersive Technologien wie Virtual und Augmented Reality (VR, AR) oder virtuelle Umgebungen wie CAVE (Cave Automatic Virtual Environment) gewinnen auch im industriellen Umfeld zunehmend an Bedeutung. Immersiv bedeutet dabei, dass die Virtuelle Realität weitgehend als real empfunden wird. Insbesondere die interaktive Visualisierung von Maschinen in einer virtuellen Realität, insbesondere die Benutzeroberfläche und die Bedienmittel der Maschinen bzw. der Maschinensteuerungen oder der dabei eingesetzten Bedien- und Beobachtungsgeräte ermöglicht vielversprechende Anwendungen.
  • Bei der virtuellen Inbetriebnahme werden Steuerungsprogramme und eine Parametrierung der Maschine bzw. der zugehörigen industriellen Automatisierungskomponenten (Speicherprogrammierbare Steuerungen, Bedien- und Beobachtungsgeräte und dgl.) vor dem Programmieren oder "Aufspielen" auf die reale Maschine in einer Simulationsumgebung getestet, um Fehler frühzeitig zu entdecken und mögliche Folgeschäden zu verhindern. Beim virtuellen Training erlernt das Bedienpersonal den Umgang mit einer Maschine anhand einer Maschinensimulation, um Trainings- und Ausfallzeiten der realen Maschine zu reduzieren. Virtuelle Nutzertests werden zur Optimierung der Gebrauchstauglichkeit (usability) von Maschinen bzw. industriellen Anordnungen eingesetzt.
  • In diesem Zusammenhang müssen Möglichkeiten gefunden werden, die Mensch-Maschine-Schnittstelle und damit die Interaktionen zwischen Mensch und Maschine möglichst realitätskonform innerhalb der immersiven Umgebung (z.B. Virtual Reality-Headset) zur Verfügung zu stellen. Insbesondere Trainingsanwendungen erfordern, dass der Nutzer innerhalb der virtuellen Realität dieselben Interaktionsmetaphern wie später an der realen Maschine vorfindet.
  • In derzeit gebräuchlichen Systemen erfolgt die Simulation der Mensch-Maschine-Interaktion in der virtuellen Realität (VR, AR - Virtual Reality, Augmented Reality) zumeist über vordefinierte Interaktionsroutinen, beispielsweise Skripte. Diese sind vollständig in dem System, welches die virtuelle Realität erzeugt, definiert. Soll beispielsweise ein Druckknopf abgebildet werden, wird dessen kinematisches Verhalten (z.B. Verschiebbarkeit) fest im System für die virtuelle Realität programmiert und vom Nutzer über eine entsprechende Eingabe (z. B. Tastendruck auf einem virtual-reality-controller, also einer Art Fernbedienung) ausgelöst. Als Folge wird von dem System der virtuellen Realität ein Ereignis ausgelöst, das häufig unmittelbar mit einer technischen Funktion der Maschine oder eines Bedien- und Beobachtungsgerätes gekoppelt ist. Im genannten Beispiel wird also beispielsweise detektiert, dass ein Knopf betätigt wurde, und damit wird ein Vorschub eingeschaltet oder dgl. Hier wird also die logische Verschaltung der Mensch-Maschine-Schnittstelle mit der Maschinensteuerung auf Seiten des Virtual-Reality-Systems neu implementiert, das heißt, dass ein Aspekt der Maschinenkonstruktion zum Zweck der Visualisierung doppelt realisiert wird.
  • Da dieser zusätzliche Engineering-Aufwand häufig gescheut wird, sind die Interaktionsmöglichkeiten bei kommerziell realisierten industriellen Virtual-Reality-Systemen meist sehr eingeschränkt.
  • Die Integration dieser Skripte und der Definition der Interaktion zwischen einem Nutzer und dem Bedienmittel (z. B. Druckknopf) in dem System der virtuellen Realität hat zudem den Nachteil, dass bei einer Änderung der simulierten Einrichtungen und damit der realen Bedienmittel auch das System der virtuellen Realität jedes Mal angepasst werden muss.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Anordnung und ein Verfahren zur realitätskonformen Simulation der Mensch-Maschine-Interaktion in immersiven Umgebungen vorzuschlagen, wobei zum einen der Engineering-Aufwand reduziert werden soll, und wobei zum anderen mechanische Bedienmittel möglichst realitätskonform in der virtuellen Realität bedienbar sein sollen.
  • Es ist eine Kernidee der erfindungsgemäßen Lösung der vorliegenden Aufgabe, dass eine strikte Trennung der Maschinensimulation und der Maschinenvisualisierung, also des Virtual-Reality-Systems, eingehalten wird, wobei eine generische Behandlung mechanischer Bedienelemente durch eine physikalische Vermittlung bzw. Simulation der Interaktion stattfindet, und wobei ggf. eine Integration der Bildschirmausgabe von Bedien- und Beobachtungssystemen (HMI-Systeme; HMI = Human Machine Interface) in die Maschinenvisualisierung erfolgt.
  • Die Aufgabe wird insbesondere durch das Verfahren gemäß dem Patentanspruch 1 und durch die Anordnung gemäß dem Patentanspruch 9 gelöst.
  • Dabei ist ein Verfahren für eine immersive Mensch-Maschine-Interaktion mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität vorgesehen, wobei durch die Interaktion mit dem Bedienmittel eine Eingabeinformation an eine Komponente der industriellen Automatisierungsanordnung übermittelt wird. Dabei wird in einem ersten Schritt das mechanische Bedienmittel in einer Simulationseinrichtung für eine Starrkörpersimulation modelliert, wobei in einem zweiten Schritt das mechanische Bedienmittel in der virtuellen Realität abgebildet wird, wobei in einem dritten Schritt durch die virtuelle Realität eine Interaktion mit dem dargestellten Bedienmittel detektiert wird, wobei aus ersten Parametern der detektierten virtuellen Interaktion zweite Parameter über eine simulierte physische Einwirkung auf das Bedienmittel errechnet werden, wobei in einem vierten Schritt die zweiten Parameter zu der Simulationseinrichtung übertragen werden, wobei in einem fünften Schritt durch die Simulationseinrichtung die zweiten Parameter mittels des modellierten Bedienmittels zur Simulation einer Bewegung zumindest eines Teils des Bedienmittels verwendet werden, wobei entschieden wird, ob durch die simulierte Bewegung eine Schaltzustandsänderung des Bedienmittels gegeben ist, und wobei in einem sechsten Schritt zumindest im Falle einer Schaltzustandsänderung der Schaltzustand oder die Schaltzustandsänderung als die Eingabeinformation an die Komponente gemeldet wird. Durch dieses Verfahren ist eine strikte Trennung von Maschinensimulation und Maschinenvisualisierung gewährleistet. Dies führt zu gesteigerter Flexibilität bezüglich der Nutzung verschiedener immersiver Umgebungen (VR-Headset, CAVE, Tablet, AR-Headset), zu einer besseren Verteilung der Rechenlast auf mehrere Knoten und zu einer verbesserten Datenkonsistenz, weil das Maschinenverhalten durchgängig in Konstruktionssystemen beschrieben wird, wobei das Maschinen-Know-How in der Simulationsumgebung verbleibt, d.h. im Engineering-System. Durch diese Trennung lassen sich interaktive Optimierungen an Zugänglichkeit und "Usability" der Maschine leichter in der virtuellen Realität vornehmen.
  • Die Aufgabe wird außerdem durch eine Anordnung für eine immersive Mensch-Maschine-Interaktion mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität gelöst, wobei die Anordnung zur Übermittlung einer Eingabeinformation an eine Komponente der industriellen Automatisierungsanordnung infolge der Interaktion mit dem Bedienmittel eingerichtet ist, mit einem System zur Erzeugung und zur Visualisierung der virtuellen Realität, und wobei das mechanische Bedienmittel in der virtuellen Realität abgebildet ist. Dabei ist eine Simulationseinrichtung für eine Starrkörpersimulation des mechanischen Bedienmittels vorgesehen, wobei die virtuelle Realität zur Detektierung einer Interaktion mit dem dargestellten Bedienmittel eingerichtet ist, wobei vorgesehen ist, aus ersten Parametern der detektierten virtuellen Interaktion zweite Parameter über eine simulierte physische Einwirkung auf das Bedienmittel zu errechnen, wobei die virtuelle Realität zur Übertragung der zweiten Parameter zu der Simulationseinrichtung eingerichtet ist, wobei die Simulationseinrichtung zur Simulation einer Bewegung zumindest eines Teils des Bedienmittels mittels des modellierten Bedienmittels anhand der zweiten Parameter eingerichtet ist, wobei die Simulationseinrichtung zum Treffen einer Entscheidung darüber ausgestaltet ist, ob durch die simulierte Bewegung eine Schaltzustandsänderung des Bedienmittels gegeben ist, und wobei die Simulationseinrichtung zumindest im Falle der erfolgten Schaltzustandsänderung zur Meldung der Schaltzustandsänderung oder des Schaltzustandes als die Eingabeinformation an die Komponente eingerichtet ist. Mit dieser Anordnung können die Vorteile realisiert werden, die bereits anhand des Verfahrens erläutert wurden.
  • Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen angegeben. Dabei gelten die vorteilhaften Ausgestaltungen und deren Vorteile des erfindungsgemäßen Verfahrens auch sinngemäß für die erfindungsgemäße Anordnung, und umgekehrt. Vorteilhafte Varianten können sowohl einzeln, also auch in sinnfälliger Kombination miteinander realisiert sein.
  • In der Simulation wird vorteilhaft als der zumindest eine Teil des Bedienmittels ein simulierter massebehafteter Körper verwendet, insbesondere ein Hebel oder eine Taste oder ein Schalter oder ein anderes bewegliches Element. Im Gegensatz zu nicht-massebehafteten Körpern von Bedienmitteln, von Softkeys auf Benutzeroberflächen, Sensortasten, Lichtschranken oder dgl. ist damit das Bedienverhalten vieler realer Bedienmittel besser nachbildbar. Insbesondere werden damit Fehlbedienungen verringert, die infolge von zufälligen "Berührungen" geschehen können. Während im Stand der Technik es zum Abbilden von solchen Tasten etc. notwendig ist, dass eine Person ein reales Bedienmittel in die Hand nimmt, einen sogenannten Virtual Reality Controller nach Art eines Controllers für Spielekonsolen oder dgl., kann durch die Simulation eines massebehafteten Körpers die Kinetik einer mechanischen Lösung wirklichkeitsgetreu abgebildet werden. Dabei wird als die zweiten Parameter zumindest eine Kraft oder ein Kraft-Drehmoment-Paar oder ein anderes kinetisches Interaktionsdyname auf den simulierten massebehafteten Körper angewendet. Die virtuelle Bedienhandlung kann der realen Bedienhandlung weiter angenähert werden, indem als die ersten Parameter erste Werte für eine Richtung und eine Durchdringung einer virtuellen Hand oder eines virtuellen Fingers oder eines anderen Körperteils mit dem abgebildeten Bedienmittel durch die virtuelle Realität ermittelt werden, wobei anschließend zur Errechnung der simulierten Wirkung auf den simulierten massebehafteten Körper die zweiten Parameter aus diesen ersten Werten berechnet werden.
  • Sofern die industrielle Automatisierungsanordnung ein Gerät mit einer Bildschirmausgabe umfasst, wird die Geometrie dieses Gerätes auch in der virtuellen Realität abgebildet. Dabei wird die Bildschirmausgabe in der Simulationsumgebung der industriellen Automatisierungsanordnung, insbesondere durch eine Simulation eines Bedien- und Beobachtungsgerätes (HMI-Emulation), erzeugt und an die virtuelle Realität übermittelt, beispielsweise in Form einer Bilddatei, Streams o.ä. ("Pixelbuffer") für eine fertige Video-Textur, und dort in der dargestellten Gehäusegeometrie bzw. der dargestellten Bildschirmoberfläche eines virtuell dargestellten Bedien- und Beobachtungsgerätes dargestellt. Dies bedeutet, dass eine realitätsgetreue Simulation eines Bedien- und Beobachtungsgerätes oder sogar ein reales Bedien- und Beobachtungsgerät mit seinem originalen Programmcode die Bildschirmausgabe erzeugen kann, so dass innerhalb der virtuellen Realität nur ein Gehäuse, beispielsweise ein Panel oder eine andere industrielle Bedienstation, nachgebildet werden muss, und die virtuelle Realität von außen den Bildschirminhalt als Bild beziehen und auf dem dargestellten Gehäuse ausgeben kann. Somit wird in dieser vorteilhaften Variante die virtuelle Realität nicht für die Erzeugung der Bildschirmausgabe bzw. deren Inhalt eingesetzt; diese kann vielmehr von einem spezialisierten Simulationssystem oder sogar von einer realen Einheit bezogen werden. Somit kann das Gerät mit der Bildschirmausgabe entweder ein reales oder ein simuliertes Bedien- und Beobachtungsgerät sein, wobei Eingaben aus der virtuellen Realität und/oder die aus der kinetischen Starrkörpersimulation erzeugten Eingabeparameter und/oder Zustandsinformationen eines simulierten industriellen Prozesses für das echte oder simulierte Bedien- und Beobachtungsgerät verwendet werden, wobei Ausgaben des echten oder des simulierten Bedien- und Beobachtungsgerätes an die virtuelle Realität übermittelt und dort mit oder in einem Abbild der Bedien- und Beobachtungsstation dargestellt werden. Sofern ein echtes Bedien- und Beobachtungsgerät in die Simulation der industriellen Automatisierungsanordnung eingebunden ist, spricht man auch von einer Hardware-in-the-loop-Integration. Dies bedeutet, dass ein reales System mit einem Simulationssystem verknüpft ist, was sich insbesondere bei solchen Systemen anbietet, die kaum Mechanik umfassen, wie das bei den Rechnern für Bedien- und Beobachtungsaufgaben regelmäßig der Fall ist.
  • In einer vorteilhaften Variante kann als die Komponente eine virtuelle (emulierte oder simulierte) speicherprogrammierbare Steuerung verwendet werden, wobei die virtuelle speicherprogrammierbare Steuerung ein für eine reale Automatisierungsanordnung bestimmtes Automatisierungsprogramm abarbeitet, und wobei bei der Abarbeitung des Programms in der virtuellen speicherprogrammierbaren Steuerung festgestellte Veränderungserfordernisse zur Korrektur des Automatisierungsprogramms verwendet werden und wobei das veränderte Automatisierungsprogramm in der realen Automatisierungsanordnung eingesetzt wird. Somit können die Erfahrungen, die durch die Bedienung des simulierten Systems mittels der virtuellen Realität heraus gemacht werden, zu einer Verbesserung des Automatisierungsprogramms führen, so dass eine damit betriebene reale Automatisierungsanordnung optimiert wird.
  • In einer vorteilhaften Variante ist dabei an der virtuellen speicherprogrammierbaren Steuerung eine Simulationseinrichtung für einen industriellen Prozess oder eine industrielle Fertigung angeschlossen, wobei die virtuelle speicherprogrammierbare Steuerung mittels eines bidirektionalen Datenaustauschs einen damit simulierten industriellen Prozess oder eine damit simulierte industrielle Fertigung steuert und/oder kontrolliert.
  • In einer vorteilhaften Ausgestaltung werden durch die Simulationseinrichtung für die Starrkörpersimulation die zweiten Parameter oder dritte Parameter über die simulierte Bewegung an die virtuelle Realität übertragen, womit eine Darstellung des Bedienmittels anhand der übermittelten Parameter angepasst wird. Damit ist es möglich, die Bewegung eines Bedienmittels, beispielsweise eines Drucktasters, eines Hebels oder eines Schalters, in der virtuellen Realität realitätsnah darzustellen. Der Vorteil besteht darin, dass ein Nutzer durch seine Bedienhandlung an dem Bedienmittel ein unmittelbares visuelles und ggf. sogar akustisches Feedback erfährt. Dies ist insbesondere bei solchen Anlagen von Vorteil, die für Trainingszwecke aufgebaut sind, weil damit ein komplexes Bedienmuster vollständig und realistisch ("immersiv") trainiert werden kann.
  • Ein Ausführungsbeispiel für das erfindungsgemäße Verfahren wird nachfolgend anhand der Zeichnung erläutert. Das Ausführungsbeispiel dient gleichzeitig der Erläuterung einer erfindungsgemäßen Anordnung.
  • Dabei zeigt die einzige Figur in schematischer Darstellung eine virtuelle Realität mit einem dargestellten industriellen Bedien-Panel mit einem virtuellen mechanischen oder elektromechanischen Bedienmittel und eine Simulationsumgebung mit einer Starrkörpersimulation, einer virtuellen Steuerung und einer Emulation eines Bedien- und Beobachtungsgerätes.
  • In der Figur ist linksseitig eine Simulationsumgebung SU dargestellt, die im vorliegenden Beispiel aus einer Simulationseinrichtung für eine Starrkörpersimulation STM, eine Emulation eines Bedien- und Beobachtungsgerätes HMI-E (HMI-Emulation; HMI = Human Machine Interface) und eine simulierte speicherprogrammierbare Steuerung V-PLC (Virtual Programmable Logic Controller) umfasst. Die drei genannten Einheiten können, wie dargestellt, als einzelne Prozesse auf einer gemeinsamen Hardware-Plattform ablaufen, es können jedoch auch vollständig getrennte Systeme sein, die mittels eines Datennetzwerks kommunizieren. Insbesondere ist es auch möglich, einzelne oder alle gezeigten Simulationseinrichtungen in einer Datenwolke ("Cloud") zu realisieren. Darüber hinaus ist es auch möglich, insbesondere die virtuelle speicherprogrammierbare Steuerung V-PLC und/oder die Emulation des Bedien- und Beobachtungsgerätes HMI-E durch nicht-simulierte speicherprogrammierbare Steuerungen bzw. Bedien- und Beobachtungsgeräte zu ersetzen; man spricht dann von einer Hardware-in-the-loop-Anordnung.
  • Auf der rechten Seite der Figur ist eine immersive Umgebung IU dargestellt, also eine Umgebung, in der ein Benutzer realitätsgetreue virtuelle Erfahrungen tätigen kann, insbesondere die Bedienung von Komponenten einer industriellen Automatisierungsanordnung erleben kann. Im vorliegenden Beispiel besteht die immersive Umgebung IU aus einem (nicht dargestellten) speziellen Computersystem zur Erzeugung einer virtuellen Realität, einer Datenbrille VR-HS (Virtual Reality Headset), nicht dargestellten Mitteln zur Bewegungserfassung einer Hand oder weiterer Körperteile und einem hier nicht dargestellten Bewegungsraum. Das Computersystem zur Erzeugung der immersiven Umgebung IU ist dabei separat von der Simulationsumgebung SU aufgebaut; es existieren lediglich Datenverbindungen zwischen den beiden Systemen.
  • Die schematische Darstellung ist auf das Wesentliche reduziert. Insbesondere weist die virtuelle speicherprogrammierbare Steuerung V-PLC in der Regel eine Datenverbindung zu einem weiteren Simulationssystem für einen zu steuernden zu kontrollierenden industriellen Prozess oder eine industriellen Fertigung auf. Dabei ist die Simulationsumgebung SU derart ausgestaltet, dass eine industrielle Automatisierungsanordnung funktional hinreichend vollständig nachgebildet ist und ein Betrieb der industriellen Automatisierungsanordnung in einer Simulation durchgeführt werden kann.
  • Zur Darstellung der industriellen Automatisierungsanordnung in der virtuellen Realität (immersive Umgebung IU) wird angenommen, dass die meisten Elemente der Automatisierungswelt bereits im Sinne eines digitalen Zwillings (digital twin) konstruktionsbegleitend als Simulationsmodell für eine Simulationsumgebung SU existieren, womit alle technologisch relevanten Aspekte der Maschinen oder Elemente durch entsprechende Simulatoren abgebildet werden können. Dies betrifft die Geometrie, also die geometrische Beschreibung einer Maschine beispielsweise in Form von Daten, wozu auch die Bediengeräte (Panels, Schalter, etc.) gehören, dazu gehört eine Mehrkörpersimulation für Starrkörpermechanik, wobei die Simulation der Bewegung sämtlicher mechanischer Komponenten der Maschine unter Wirkung von eingeprägten Kräften möglich ist; dies umfasst auch die Kinetik von mechanischen Bedienelementen wie Drucktasten oder Stellrädern. Weiter wird angenommen, dass mit der Simulation für das Bedien- und Beobachtungsgerät HMI-E die graphische Benutzeroberfläche des Bediensystems simuliert und damit erzeugt werden kann. Die virtuelle speicherprogrammierbare Steuerung V-PLC simuliert das Ablaufverhalten sämtlicher Steuerungsprogramme einer Maschine oder Anordnung. Sie kommuniziert daher auch mit der Mehrkörpersimulation, insbesondere der Starrkörpersimulation STN, dem emulierten Bedien- und Beobachtungsgerät HMI-E und der (nicht dargestellten) Simulation für den industriellen Prozess oder die industrielle Fertigung.
  • Die immersive Umgebung IU ist für die graphische Darstellung (rendering) des Maschinenmodells und die Verarbeitung von allgemeinen Nutzereingaben NI (Nutzerinteraktion), Tracking von Hand- und Kopfposition (insbesondere als Cursorkoordinaten C-KOR) und der Darstellung von Feedback (insbesondere geänderte Lage L eines dargestellten Bedienmittels) zuständig, während alle Aspekte des Betriebsverhaltens einer Maschine inklusive der Mensch-Maschine-Schnittstelle und damit der Darstellung eines Bedien- und Beobachtungsgerätes innerhalb der Simulationsumgebung SU abgebildet werden. Zur Visualisierung wird die geometrische Beschreibung der Maschine (Geometrie G) in reduzierter Form an die immersive Umgebung IU übertragen und dort dargestellt, im vorliegenden Ausführungsbeispiel als Gehäuse eines Bedien-Panels.
  • Hinsichtlich der Mensch-Maschine-Interaktion werden mechanische Bedienelemente (Hebel, Tasten, Drehknöpfe) von virtuellen Bedienelementen (z.B. Softkeys auf einem Bedienbildschirm) und Anzeigen und dgl. unterschieden.
  • Im Folgenden soll exemplarisch eine Mensch-Maschine-Interaktion, also eine Nutzerinteraktion NI, eines in der immersiven Umgebung IU erfassten Fingers eines Nutzers mit einem Bedienmittel erläutert werden. Das Bedienmittel ist exemplarisch ein Drucktaster, beispielsweise ein Not-Aus-Taster, der auf der Geometrie G eines in der immersiven Umgebung IU dargestellten Bedien-Panels links unten kreisförmig dargestellt ist.
  • Sobald die immersive Umgebung IU eine Kollision bzw. Durchdringung des Fingers des Nutzers mit dem dargestellten Bedienmittel feststellt, werden erste Parameter der detektierten virtuellen Interaktion festgestellt. Dies kann beispielsweise die Richtung und die "Tiefe" der Durchdringung sein. Aus diesen ersten Parametern werden zweite Parameter über die simulierte physische Einwirkung auf das Bedienmittel errechnet. Dies bedeutet, dass aus der Bewegung der Interaktion NI beispielsweise eine Kraft F bestimmt wird. Dies kann beispielsweise geschehen, indem durch den virtuellen Bedienweg, also die Durchdringung des Bedienmittels mit dem Finger, eine proportionale Kraft F bestimmt wird. Es kann aber auch eine Kinetik angenommen werden, so dass eine Geschwindigkeit des Betätigungsvorgangs proportional in die Kraft F oder einen (hier nicht verwendeten) angenommenen Impuls oder dgl. eingerechnet wird.
  • Eine Identifikation des Bedienmittels und die zweiten Parameter (hier exemplarisch: Kraft F) werden dann von der immersiven Umgebung IU, also dem spezialisierten Computersystem für die virtuelle Realität, an die Simulationsumgebung SU und darin speziell an die Simulationseinrichtung für eine Starrkörpersimulation STM übermittelt.
  • Mechanische Bedienelemente oder Bedienmittel treten in der Starrkörpersimulation STM als massebehaftete Körper auf, die durch das Aufbringen von Kräften und Drehmomenten im Rahmen ihrer kinematischen Freiheitsgrade (Rotation, Translation) bewegt werden können. Die Schaltlogik des hier betrachteten Bedienmittels, also der Drucktaste, kann somit in Abhängigkeit der aktuellen Lage des Tastkörpers ausgedrückt werden. Dazu ist das mechanische Bedienmittel für die Simulationseinrichtung STM datentechnisch modelliert, beispielsweise als simulationsfähiger digitaler Zwilling, als Gleichungssystem, als Simulationsobjekt oder dgl. In der Starrkörpersimulation STM wird nun das Bedienmittel bzw. ein beweglicher Teil desselben mit den zweiten Parametern konfrontiert, d.h., dass die aus dem Bedienvorgang ermittelte Kraft F oder ein Impuls oder dgl. auf den massebehafteten, simulierten Körper des Bedienmittels und einer etwaigen damit verbundenen Feder, Rastelementen oder dgl. angewendet wird.
  • Die Starrkörpersimulation STM errechnet daraus resultierend eine Bewegung des Bedienmittels, im hier gezeigten Fall des Drucktasters, also eine Bewegung des Tastenkopfes, was durch die Koordinate X in der Figur dargestellt ist. Sofern die dabei errechnete Bewegung (Koordinate X) einen Schwellwert überschreitet (hier: X>0), wird entschieden, dass das Bedienmittel seinen Zustand geändert hat, was konkret bedeutet, dass der Schalter ausgelöst hat oder ein "Not-Aus" gedrückt worden ist. Diese Schaltzustandsänderung oder allgemein der gerade gültige Schaltzustand des Bedienmittels wird exemplarisch an die virtuelle speicherprogrammierbare Steuerung V-PLC übertragen und dort an einem (virtuellen) Eingang signalisiert.
  • In der virtuellen speicherprogrammierbaren Steuerung V-PLC kann ein Automatisierungsprogramm ablaufen, welches beispielsweise eine Fertigungsstation steuert. Sobald die Schaltzustandsänderung an dieser Steuerung V-PLC signalisiert wird, reagiert nun das Automatisierungsprogramm entsprechend, indem beispielsweise ein Not-Aus umgesetzt wird. Eine entsprechende Information über den neuen Zustand "Not-Aus" des Automatisierungsprogramms wird auch an das emulierte Bedien- und Beobachtungsgerät HMI-E übertragen. Dies führt zu einer geänderten Bildschirmausgabe des Bedien- und Beobachtungsgerätes HMI-E, wo beispielsweise auf dem Bildschirm jetzt ein rotes Stopp-Signal ausgegeben wird oder dgl. Die geänderte Bildschirmausgabe wird zu geänderten Bilddaten bzw. geänderten Teil-Bilddaten verarbeitet. Diese Bilddaten sollen im folgenden Pixelbuffer PB genannt werden. Der Pixelbuffer PB wird an die immersive Umgebung IU übermittelt und dort als Videotextur VT auf einem Bildschirmbereich der dargestellten Geometrie G so dargestellt, dass sich für einen Nutzer der immersiven Umgebung IU der Eindruck ergibt, als wäre er mit einem tatsächlichen Bedienpanel mit der Geometrie G und dem Bildschirminhalt des Pixelbuffers PB konfrontiert. Zur Verarbeitung weiterer Eingaben an dem dargestellten Bedien-Panel können Cursorkoordinaten C-KOR und entsprechende registrierte Eingaben, beispielsweise Berührungen auf einem virtuellen berührungsempfindlichen Bildschirm (Touchscreen), an das emulierte Bedien- und Beobachtungsgerät HMI-E übermittelt werden.
  • Die virtuelle speicherprogrammierbare Steuerung V-PLC kann weiterhin an eine (nicht dargestellte) Simulation eines industriellen Prozesses gemäß dem hier gewählten Beispiel die Information weitergeben, dass der simulierte industrielle Prozess gestoppt wird. Sofern dies in der Simulation nicht ordnungsgemäß geschieht, liegt möglicherweise ein Fehler in dem Automatisierungsprogramm, welches durch die virtuelle speicherprogrammierbare Steuerung V-PLC abgearbeitet wird, vor. Dieses kann dann so lange optimiert werden, bis eine ordnungsgemäße Funktion vorliegt. Das somit optimierte Automatisierungsprogramm kann dann in einer realen Automatisierungsanordnung zur Korrektur eingesetzt werden.
  • Durch die Starrkörpersimulation STM kann die Schaltlogik der Drucktaste also in Abhängigkeit der aktuellen Lage des Tastenkörpers ausgedrückt und der virtuellen speicherprogrammierbaren Steuerung V-PLC beispielsweise als Boole'sches Signal (oder alternativ als ein zur Auslenkung X proportionales analoges oder numerisches Signal) zugeführt werden. Von außen betrachtet wird die Maschinenfunktion also durch das Aufbringen einer Druckkraft auf den Tastenkörper ausgelöst, was exakt der realen Erwartungshaltung eines Nutzers entspricht. Auf Seiten der immersiven Umgebung IU genügt es also, ein Kraft-Drehmomentpaar (Dyname) zu bestimmen, welches an die Simulationsumgebung SU und konkret an die Starrkörpersimulation STM gesendet und dort auf den entsprechend nachgebildeten Starrkörper aufgebracht wird. Die daraus resultierende Lageänderung des Bedienelements wird später zur Visualisierung an die immersive Umgebung IU zurückkommuniziert. Das bedeutet, dass das dargestellte Bedienmittel entsprechend dann auch in der Darstellung seine Lage ändert, um dem Nutzer ein entsprechendes Feedback zu geben. Bestimmen lässt sich diese Interaktionsdyname aus den "getrackten" Handbewegungen des Nutzers unter Berücksichtigung der Nähe zur geometrischen Repräsentation des Bedienelements im Sinne einer Kollisionsanalyse.
  • Virtuelle Bedienelemente (z.B. GUI-Widgets, Sensortasten, virtuelle Tasten etc.) sind Bestandteil des Bedienbildschirms der dargestellten Geometrie und werden innerhalb der Simulationsumgebung SU durch die Emulation des Bedien- und Beobachtungsgerätes HMI-E behandelt. Generell konsumiert diese Emulation HMI-E diese Eingabe-Ereignisse von einem Zeigegerät (Cursorkoordinaten C-KOR, Tastendrücke einer Maus, Touch-Eingaben etc.) und rendert die Bildschirmausgabe in einen Pixelbuffer PB, welcher an einer realen Maschine auf einem Display (HMI-Panel) in Form einer Bildschirmausgabe (Videotextur) angezeigt würde. Um dieses Verhalten auf Seiten der immersiven Umgebung IU zu realisieren, wird der Pixelbuffer PB bedarfsgesteuert aus der Simulationsumgebung SU an die immersive Umgebung IU übertragen und dort in Form einer Videotextur VT in die Darstellung der Maschinengeometrie (Geometrie G) integriert. Im Gegenzug werden die zur Interaktion nötigen Eingabeereignisse (Cursorkoordinaten C-KOR, Tastendrücke) ebenfalls aus den Körperbewegungen des Nutzers und/oder passenden Interaktionsmöglichkeiten der Virtual-Reality-Hardware (z.B. Controller) generiert und über das Netzwerk an die Simulationsumgebung SU übertragen.
  • Die strikte Trennung von Maschinensimulation und Maschinenvisualisierung ergibt eine erhöhte Flexibilität bezüglich verschiedener immersiver Umgebungen (VR-Headset, CAVE, Tablet, AR-Headset). Weiter ist es möglich, die Rechenlast auf mehrere Knoten zu verteilen. Die Datenkonsistenz wird verbessert, weil das Maschinenverhalten durchgängig in einem Konstruktionssystem beschrieben wird, wobei das Know-How in der Simulationsumgebung verbleibt, konkret im zugrunde liegenden Engeneering-System, mit dem die Software und die Hardware der simulierten industriellen Automatisierungsanordnung geplant wurde.
  • Die physikalische Vermittlung der Mensch-Maschine-Interaktion durch Kräfte/Drehmomente (Interaktionsdyname) ermöglicht eine sehr generische Behandlung von mechanischen Bedienelementen. Insbesondere müssen auf Seiten der immersiven Umgebung keine Informationen über funktionale Aspekte der Maschinenkonstruktion vorliegen, die ggf. manuell modelliert werden müssten. Je nachdem, welcher Anspruch an die Genauigkeit der Physiksimulation gestellt wird, verhalten sich die Bedienelemente zudem exakt so, wie in der Realität, wovon Trainingsanwendungen profitieren. Durch die Einbettung der HMI-Emulation in die dreidimensional visualisierte Maschinengeometrie (Videotextur) lassen sich zudem gesamte HMI-Systeme realitätskonform abbilden, wobei auch hier der Anspruch besteht, keine Informationen über die innere Logik des Bediensystems in die immersive Umgebung zu transportieren.

Claims (16)

  1. Verfahren für eine immersive Mensch-Maschine-Interaktion (NI) mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität (IU),
    wobei durch die Interaktion mit dem Bedienmittel eine Eingabeinformation an eine Komponente (V-PLC) der industriellen Automatisierungsanordnung übermittelt wird, dadurch gekennzeichnet,
    dass in einem ersten Schritt das mechanische Bedienmittel in einer Simulationseinrichtung (STM) für eine Starrkörpersimulation modelliert wird,
    dass in einem zweiten Schritt das mechanische Bedienmittel in der virtuellen Realität (IU) abgebildet wird, dass in einem dritten Schritt durch die virtuelle Realität (IU) eine Interaktion mit dem dargestellten Bedienmittel detektiert wird, wobei aus ersten Parametern der detektierten virtuellen Interaktion zweite Parameter (F) über eine simulierte physische Einwirkung auf das Bedienmittel errechnet werden,
    dass in einem vierten Schritt die zweiten Parameter zu der Simulationseinrichtung (STM) übertragen werden,
    dass in einem fünften Schritt durch die Simulationseinrichtung (STM) die zweiten Parameter (F) mittels des modellierten Bedienmittels zur Simulation einer Bewegung (X) zumindest eines Teils des Bedienmittels verwendet werden, wobei entschieden wird, ob durch die simulierte Bewegung (X) eine Schaltzustandsänderung des Bedienmittels gegeben ist, und
    dass in einem sechsten Schritt zumindest im Falle einer Schaltzustandsänderung der Schaltzustand oder die Schaltzustandsänderung als die Eingabeinformation an die Komponente (V-PLC) gemeldet wird.
  2. Verfahren nach Patentanspruch 1,
    dadurch gekennzeichnet, dass
    in der Simulation als der zumindest eine Teil des Bedienmittels ein simulierter massebehafteter Körper verwendet wird, insbesondere ein Hebel oder eine Taste oder ein Schalter oder ein anderes bewegliches Element, wobei als zweite Parameter (F) zumindest eine Kraft oder ein Kraft-Drehmoment-Paar oder ein anderes kinetisches Interaktionsdyname auf den simulierten massebehafteten Körper angewendet wird.
  3. Verfahren nach einem der vorhergehenden Patentansprüche,
    dadurch gekennzeichnet,
    dass als die ersten Parameter erste Werte für eine Richtung und eine Durchdringung einer Hand oder eines Fingers mit dem abgebildeten Bedienmittel durch die virtuelle Realität (IU) ermittelt und zur Errechnung der zweiten Parameter (F) verwendet werden.
  4. Verfahren nach einem der vorhergehenden Patentansprüche,
    dadurch gekennzeichnet,
    dass die industrielle Automatisierungsanordnung ein Gerät mit einer Bildschirmausgabe (PB) umfasst, wobei die Bildschirmausgabe an die virtuelle Realität (IU) übermittelt und in dieser dargestellt wird.
  5. Verfahren nach Patentanspruch 4,
    dadurch gekennzeichnet,
    dass das Gerät ein simuliertes Bedien- und Beobachtungsgerät (HMI-E) ist, wobei Eingaben aus der virtuellen Realität (IU) und/oder die im sechsten Schritt übertragenen Eingabeparameter für das simulierte Bedien- und Beobachtungsgerät (HMI-E) verwendet werden, und wobei Ausgaben des simulierten Bedien- und Beobachtungsgerätes (HMI-E) an die virtuelle Realität (IU) übermittelt und dort mit einem Abbild einer Bedien- und Beobachtungsstation (G) dargestellt werden.
  6. Verfahren nach einem der vorhergehenden Patentansprüche,
    dadurch gekennzeichnet,
    dass als die Komponente (V-PLC) eine virtuelle speicherprogrammierbare Steuerung (V-PLC) verwendet wird, wobei die virtuelle speicherprogrammierbare Steuerung (V-PLC) ein für eine reale Automatisierungsanordnung bestimmtes Automatisierungsprogramm abarbeitet, und wobei bei der Abarbeitung des Automatisierungsprogramms in der virtuellen speicherprogrammierbaren Steuerung (V-PLC) festgestellte Veränderungserfordernisse zur Korrektur des Automatisierungsprogramms verwendet werden, und wobei das veränderte Automatisierungsprogramm in der realen Automatisierungsanordnung eingesetzt wird.
  7. Verfahren nach Patentanspruch 6,
    dadurch gekennzeichnet,
    dass an der virtuellen speicherprogrammierbaren Steuerung (V-PLC) eine Prozess-Simulationseinrichtung für einen industriellen Prozess angeschlossen wird, wobei die virtuelle speicherprogrammierbare Steuerung (V-PLC) mittels eines bidirektionalen Datenaustauschs mit der Prozess-Simulationseinrichtung einen damit simulierten industriellen Prozess steuert und/oder kontrolliert.
  8. Verfahren nach einem der vorhergehenden Patentansprüche,
    dadurch gekennzeichnet,
    dass durch die Simulationseinrichtung (STM) die zweiten Parameter (F) oder dritte Parameter über die simulierte Bewegung (X) an die virtuelle Realität (IU) übermittelt werden, wonach durch die virtuelle Realität eine Darstellung des Bedienmittels anhand der übermittelten Parameter angepasst wird.
  9. Anordnung für eine immersive Mensch-Maschine-Interaktion (NI) mit einem virtuellen mechanischen Bedienmittel einer industriellen Automatisierungsanordnung in einer virtuellen Realität )IU),
    wobei die Anordnung zur Übermittlung einer Eingabeinformation an eine Komponente (V-PLC) der industriellen Automatisierungsanordnung infolge der Interaktion (NI) mit dem Bedienmittel eingerichtet ist,
    mit einem System zur Erzeugung und zur Visualisierung der virtuellen Realität (IU), und
    wobei das mechanische Bedienmittel in der virtuellen Realität (IU) abgebildet ist,
    dadurch gekennzeichnet,
    dass eine Simulationseinrichtung (STM) für eine Starrkörpersimulation des mechanischen Bedienmittels vorgesehen ist,
    dass die virtuelle Realität (IU) zum Detektieren der Interaktion (NI) mit dem dargestellten Bedienmittel eingerichtet ist, wobei vorgesehen ist, aus ersten Parametern der detektierten virtuellen Interaktion zweite Parameter (F) über eine simulierte physische Einwirkung auf das Bedienmittel zu errechnen,
    dass die virtuelle Realität (IU) zur Übertragung der zweiten Parameter (F) zu der Simulationseinrichtung (STM) eingerichtet ist,
    dass die Simulationseinrichtung (STM) zur Simulation einer Bewegung (X) zumindest eines Teils des Bedienmittels mittels des modellierten Bedienmittels anhand der zweiten Parameter (F) eingerichtet ist, wobei die Simulationseinrichtung (STM) zum Treffen einer Entscheidung darüber ausgestaltet ist, ob durch die simulierte Bewegung (X) eine Schaltzustandsänderung des Bedienmittels gegeben ist, und
    dass die Simulationseinrichtung (STM) zumindest im Falle der erfolgten Schaltzustandsänderung zur Meldung der Schaltzustandsänderung oder des Schaltzustandes als die Eingabeinformation an die Komponente (V-PLC) eingerichtet ist.
  10. Anordnung nach Patentanspruch 9,
    dadurch gekennzeichnet, dass
    in der Simulationseinrichtung (STM) das mechanische Bedienmittel einen simulierten massebehafteten Körper aufweist, insbesondere einen Hebel oder eine Taste oder einen Schalter, wobei die Simulationseinrichtung (STM) dazu eingerichtet ist, als zweite Parameter (F) zumindest eine Kraft oder ein Kraft-Drehmoment-Paar oder ein anderes kinetisches Interaktionsdyname auf den simulierten massebehafteten Körper anzuwenden.
  11. Anordnung nach einem der Patentansprüche 9 oder 10,
    dadurch gekennzeichnet,
    dass die industrielle Automatisierungsanordnung ein Gerät mit einer Bildschirmausgabe (PB) umfasst, wobei vorgesehen ist, die Bildschirmausgabe (PB) an die virtuelle Realität (IU) zu übermitteln und in dieser darzustellen.
  12. Anordnung nach einem der Patentansprüche 9 bis 11,
    dadurch gekennzeichnet,
    dass das Gerät ein simuliertes Bedien- und Beobachtungsgerät (HMI-E) ist, wobei vorgesehen ist, Eingaben aus der virtuellen Realität (IU) und/oder die im sechsten Schritt übertragenen Eingabeparameter für das simulierte Bedien- und Beobachtungsgerät (HMI-E) zu verwenden, und wobei vorgesehen ist, Ausgaben (PB) des simulierten Bedien- und Beobachtungsgerätes an die virtuelle Realität (IU) zu übermitteln und dort mit einem Abbild einer Bedien- und Beobachtungsstation (G) darzustellen.
  13. Anordnung nach einem der Patentansprüche 9 bis 12,
    dadurch gekennzeichnet,
    dass die Komponente (V-PLC) eine virtuelle speicherprogrammierbare Steuerung (V-PLC) ist, wobei die virtuelle speicherprogrammierbare Steuerung (V-PLC) ein für eine reale Automatisierungsanordnung bestimmtes Automatisierungsprogramm umfasst, und wobei vorgesehen ist, bei der Abarbeitung des Automatisierungsprogramms in der virtuellen speicherprogrammierbaren Steuerung (V-PLC) festgestellte Veränderungserfordernisse zur Korrektur des Automatisierungsprogramms zu verwenden und das korrigierte Automatisierungsprogramm in der realen Automatisierungsanordnung einzusetzen.
  14. Anordnung nach der Patentanspruch 13,
    dadurch gekennzeichnet,
    dass an der virtuellen speicherprogrammierbaren Steuerung (V-PLC) eine Prozess-Simulationseinrichtung für einen industriellen Prozess angeschlossen ist, wobei die virtuelle speicherprogrammierbare Steuerung (V-PLC) zur Steuerung und/oder Kontrolle eines damit simulierten industriellen Prozesses mittels eines bidirektionalen Datenaustauschs mit der Prozess-Simulationseinrichtung eingerichtet ist.
  15. Anordnung nach einem der Patentansprüche 9 bis 14,
    dadurch gekennzeichnet,
    dass durch die Simulationseinrichtung (STM) dazu eingerichtet ist, die zweiten Parameter (F) oder dritte Parameter über die simulierte Bewegung (X) an die virtuelle Realität (IU) zu übermitteln, wonach vorgesehen ist, dass durch die virtuelle Realität (IU) eine Darstellung des Bedienmittels anhand der übermittelten Parameter angepasst wird.
  16. Anordnung nach einem der Patentansprüche 9 bis 15,
    dadurch gekennzeichnet,
    dass in der Anordnung eine separate Recheneinrichtung mit einer separaten Hardware und/oder einer separaten Software zur Erzeugung der virtuellen Realität (IU) vorgesehen ist.
EP20171528.1A 2020-04-27 2020-04-27 Verfahren für eine immersive mensch-maschine-interaktion Active EP3904984B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20171528.1A EP3904984B1 (de) 2020-04-27 2020-04-27 Verfahren für eine immersive mensch-maschine-interaktion
US17/239,806 US20210333786A1 (en) 2020-04-27 2021-04-26 Apparatus and Method for Immersive Computer Interaction
CN202110455411.XA CN113641239A (zh) 2020-04-27 2021-04-26 用于沉浸式人机交互的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20171528.1A EP3904984B1 (de) 2020-04-27 2020-04-27 Verfahren für eine immersive mensch-maschine-interaktion

Publications (2)

Publication Number Publication Date
EP3904984A1 true EP3904984A1 (de) 2021-11-03
EP3904984B1 EP3904984B1 (de) 2023-03-01

Family

ID=70470862

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20171528.1A Active EP3904984B1 (de) 2020-04-27 2020-04-27 Verfahren für eine immersive mensch-maschine-interaktion

Country Status (3)

Country Link
US (1) US20210333786A1 (de)
EP (1) EP3904984B1 (de)
CN (1) CN113641239A (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022122955A1 (de) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024033695A1 (en) * 2022-08-09 2024-02-15 Instituto Tecnológico y de Estudios Superiores de Monterrey Simulation system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002646A2 (de) * 2014-10-01 2016-04-06 Rockwell Automation Technologies, Inc. Virtuelle designentwicklung
DE102017203329A1 (de) * 2017-03-01 2018-09-06 Siemens Aktiengesellschaft Verfahren und Simulationsvorrichtung zur Simulation zumindest eines Bauteils

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
CN106680827A (zh) * 2016-11-04 2017-05-17 乐视控股（北京）有限公司 一种密闭空间中的定位系统以及相关方法和装置
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002646A2 (de) * 2014-10-01 2016-04-06 Rockwell Automation Technologies, Inc. Virtuelle designentwicklung
DE102017203329A1 (de) * 2017-03-01 2018-09-06 Siemens Aktiengesellschaft Verfahren und Simulationsvorrichtung zur Simulation zumindest eines Bauteils

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022122955A1 (de) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine

Also Published As

Publication number Publication date
CN113641239A (zh) 2021-11-12
EP3904984B1 (de) 2023-03-01
US20210333786A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
EP3381027B1 (de) Kran-, baumaschinen- oder flurförderzeug-simulator
EP3359348B1 (de) Robotersystem und verfahren zur steuerung eines robotersystems
EP2453326B1 (de) Verfahren und System zur Bedienung einer Maschine aus der Automatisierungstechnik
DE10352815B4 (de) Simulationsverfahren für eine Bearbeitung eines Werkstücks durch eine Werkzeugmaschine und korrespondierender Rechner
DE102019002898A1 (de) Robotorsimulationsvorrichtung
EP3904984B1 (de) Verfahren für eine immersive mensch-maschine-interaktion
WO2015168716A1 (de) Bedieneinrichtung und steuersystem
EP3403253B1 (de) Kransimulator
DE102007026502A1 (de) Trainingssystem für ein Automatisierungssystem zur Steuerung eines technischen Prozesses
EP3990231B1 (de) System zum vornehmen einer eingabe an einem robotermanipulator
EP3132331B1 (de) Haptisches system und verfahren zum betreiben
DE19543826A1 (de) Simulatoreinheit zum Simulieren einer Peripherieeinheit einer modular aufgebauten speicherprogrammierbaren Steuerung
DE10161924A1 (de) Verfahren zur Zweihandbedienung einer flächigen Anzeige- und Bedieneinheit, mit berührungssensitivem Display, HMI Gerät, Automatisierungssystem und Computerprogrammprodukt zur Durchführung des Verfahrens
EP3990232B1 (de) Verfahren zum vorgeben eines eingabewerts an einem robotermanipulator
EP3410260B1 (de) Verfahren zur haptischen prüfung eines objektes
EP3712770B1 (de) Überwachungseinheit für sicherheitsrelevante grafische benutzeroberflächen
WO2003032141A2 (de) Verfahren zur zweihandbedienung einer flächigen anzeige- und bedieneinheit, mit berührungssensitivem display, hmi gerät, automatisierungssystem und computerprogrammprodukt zur durchführung des verfahrens
WO2015176707A1 (de) Eingabevorrichtung, rechner oder bedienanlage sowie fahrzeug
DE102022132302A1 (de) Verfahren und System zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung einer erweiterten Realität
EP2624114A1 (de) Handsteuergerät zur Steuerung einer Vorrichtung und Verfahren
DE102006050997A1 (de) System und Verfahren zur Mensch-Maschine-Interaktion
DE102005015188A1 (de) Verfahren und Vorrichtung zur Simulation einer Fertigungsanlage
EP3680792A1 (de) Koppeln eines simulationsmodells mit einer steuerungskomponente mittels einer interaktiven anzeigevorrichtung
DE102015116307A1 (de) Bedienmodul
DE102013210866A1 (de) Verfahren zum Steuern eines Computerprogramms

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

B565 Issuance of search results under rule 164(2) epc

Effective date: 20201014

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220502

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIC1 Information provided on ipc code assigned before grant

Ipc: G06F 3/03 20060101ALI20220901BHEP

Ipc: G06F 3/04847 20220101ALI20220901BHEP

Ipc: G06F 3/01 20060101ALI20220901BHEP

Ipc: G05B 17/02 20060101ALI20220901BHEP

Ipc: G05B 19/409 20060101AFI20220901BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20221027

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1551414

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230315

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502020002612

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230601

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230501

Year of fee payment: 4

Ref country code: DE

Payment date: 20230619

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230602

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230703

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230701

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230905

Year of fee payment: 5

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502020002612

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230427

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20230430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230430

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230301

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230430

26N No opposition filed

Effective date: 20231204

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230427