DE102006050997A1

DE102006050997A1 - Man-machine-interaction system for e.g. controlling and monitoring automation system, has allocation unit allocating role to user, where function spectrum of possible function is assigned to role of user through interaction process

Info

Publication number: DE102006050997A1
Application number: DE200610050997
Authority: DE
Inventors: Wolfgang Friedrich; Christiane Gast
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2006-10-26
Filing date: 2006-10-26
Publication date: 2008-04-30

Abstract

The system (2) has a determination unit determining conditions of an automation system (3), and a representation unit provided for virtual representation of a process/product unit (6) of the automation system. A supply device is provided for supplying of an immersive interaction process (5) such as virtual reality, and a memory stores profiles for a user (1). An allocation unit allocates a role to the user, where a function spectrum of a possible function is assigned to the role of the user through the interaction process. An independent claim is also included for a method for man-machine-interaction between the user and the automation system.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Mensch-Maschine-Interaktion zwischen einem Anwender und einem Automatisierungssystem.The This invention relates to a system and method for human-machine interaction between a user and an automation system.

Ein derartiges System kommt auf dem Gebiet der Automatisierungstechnik zum Einsatz. Die Bedienung von Automatisierungssystemen folgt in allen Lebenszyklen dem Prinzip, dass der Anwender bzw. Bediener oder Nutzer des Systems in einem „outof-process-interface" seine Bedienhandlungen durchführt und Auskünfte einholt. Im folgenden steht Automatisierungssystem für Fertigungs- oder Prozessanlage, Maschine oder Komponente.One Such a system comes in the field of automation technology for use. The operation of automation systems follows in all life cycles the principle that the user or operator or users of the system performs its operations in an "outof-process-interface" and information catches up. In the following, the automation system for production or process plant, machine or component.

Unabhängig davon, ob der Nutzer ein Automatisierungssystem konzipiert (Engineering), ein Automatisierungssystem simuliert bzw. den dazu gehörigen Prozess simuliert, ein Automatisierungssystem parametriert, in Betrieb setzt oder konfiguriert, er steht außerhalb des Automatisierungssystems, fühlt sich als Beobachter bzw. Initiator für das Automatisierungssystem. Selbst beim Bedienen eines Automatisierungssystems in seiner operativen Phase sieht sich der Operator als distanzierter Betrachter, ohne emotionalen Bezug. Auch in der Maintenance-Situation benutzt der Servicetechniker die Auskunftssysteme, Signale, Daten, Dokumentation in einer lexikalischen Arbeitsweise. Er schaut nach, zieht Schlüsse und leitet daraus Handlungen ab. Diese Arbeitsform wird als „out-ofprocess-interface" bezeichnet und findet sich bei allen technischen Geräten unter dem Begriff Mensch-Maschine-Interface (Human-Machine-Interface) wieder bzw. dehnt sich auf ein Mensch-Umgebung-Interface (Human-Environment-Interface) aus, wenn der „Interaktionspartner" nicht als technisches System erkennbar ist, z.B. für ergänzende Informationen zu Gebäuden, historischen Bauten, Fahrzeugen etc.Independently of, whether the user designs an automation system (engineering), an automation system simulates or the associated process simulated, an automation system parameterized, put into operation or configured, he stands outside of the automation system, feels as observer or initiator for the automation system. Even when operating an automation system In its operational phase, the operator sees himself as more distant Viewer, without any emotional connection. Also in the maintenance situation the service technician uses the information systems, signals, data, Documentation in a lexical way of working. He looks, draw conclusions and derives actions from it. This form of work is called "out-of-process-interface" and finds itself with all technical devices under the term man-machine interface (Human Machine Interface) again or extends to a human-environment interface (Human-Environment-Interface) if the "interaction partner" is not technical System is recognizable, e.g. for additional information to buildings, historical buildings, vehicles etc.

Aus EP 1 157 314 B1 ist ein Augmented-Reality-System zur Übertragung von Informationsdaten von einem Anwender an einen entfernten Experten bekannt, bei dem der Experte praktisch virtuell in das Geschehen am Einsatzort eingebunden ist und mit Hilfe des Augmented-Reality-Systems dem Anwender vor Ort sein Wissen übermitteln kann. In derselben Schrift wird eine Vielzahl von Anwendungsfeldern für Augmented Reality beschrieben, beispielsweise ein so genannter „Mixed Mock-Up"-Ansatz auf der Grundlage einer gemischt-virtuellen Umgebung oder eine gemischt-virtuelle Präsentation von Arbeitsschritten in einer Trainingsphase.Out EP 1 157 314 B1 An augmented reality system for transmitting information data from a user to a remote expert is known, in which the expert is practically virtually involved in what is happening on the job site and with the help of the augmented reality system can transmit his knowledge to the user on site , The same document describes a variety of augmented reality application fields, such as a so-called mixed-mock-up approach based on a mixed-virtual environment or a mixed-virtual presentation of operations in a training phase.

Der Erfindung liegt die Aufgabe zugrunde, eine verbesserte Einbindung eines Anwenders in das Geschehen bei einer Mensch-Maschine-Interaktion zu ermöglichen.Of the Invention is the object of an improved integration of a user in the event in a human-machine interaction too enable.

Diese Aufgabe wird durch ein System zur Mensch-Maschine-Interaktion zwischen einem Anwender und einem Automatisierungssystem gelöst, wobei das System umfasst: erste Mittel zur Bestimmung des Zustands des Automatisierungssystems, zweite Mittel zur Einwirkung auf das Automatisierungssystem, dritte Mittel zur virtuellen Repräsentation von zumindest einer Komponente des Automatisierungssystems, vierte Mittel zur Einwirkung auf die virtuelle Repräsentation, fünfte Mittel zur Bereitstellung von zumindest einer immersiven Interaktionstechnik und sechste Mittel zur Vergabe einer Rolle, der ein Funktionsspektrum von durch die Interaktionstechnik möglichen Funktionen zugeordnet ist, an den Anwender.These Task is through a system of human-machine interaction between a user and an automation system, wherein the system comprises: first means for determining the condition of the Automation system, second means for acting on the automation system, third means for virtual representation of at least one Component of the automation system, fourth means of action to the virtual representation, fifth Means for providing at least one immersive interaction technique and sixth means of awarding a role, which is a functional spectrum assigned by the interaction technology possible functions is, to the user.

Die Aufgabe wird weiter durch ein Verfahren mit den in Anspruch 6 angegebenen Merkmalen gelöst.The The object is further achieved by a method with the recited in claim 6 Characteristics solved.

Spiele, insbesondere rechnergestützte Spiele, verfolgen ein Interaktionsprinzip, das hier als „in-process-interface" bezeichnet wird. Der Spieler wird durch eine Dramaturgie, Darstellung der Umgebung, visuell und akustisch, durch ein Belohnungs- oder Bestrafungsprinzip Schritt für Schritt Teil des Spieles und damit Teil der Handlung. Bei vielen Spielen schlüpft der Spieler in eine Rolle/Identität einer Person, die Akteur im Spiel ist, und wird somit emotional in das Geschehen eingebunden, wird temporär Teil davon, zumindest solange das Spiel gespielt wird.Games, in particular computer-aided Games, follow an interaction principle, which is referred to here as "in-process-interface". The player is replaced by a dramaturgy, depicting the environment, visually and acoustically, through a reward or punishment principle step for Step part of the game and thus part of the plot. In many Playing hatches the player in a role / identity of a person, the actor is in play, and is thus emotionally involved in the event, will be part of it temporarily of it, at least as long as the game is played.

Durch das erfindungsgemäße System bzw. Verfahren werden die Prinzipien des „in-process-interface" auf die Interaktion im Life-Cycle eines Produktes, einer Anlage oder Maschine übertragen. Dabei präsentiert sich das System dem Anwender bzw. Nutzer als Spiel, bietet ihm eine Rolle an, personalisiert oder abstrakt, und bindet ihn Schritt für Schritt emotional an den z.B. Engineeringvorgang. Aus der Spieleindustrie transferierte Vorgehen und Techniken führen zu einem Paradigmenwechsel in der Interaktion mit System und Umwelt. So wird beispielsweise das Engineering in einen dramaturgischen Handlungsablauf umgesetzt und mit immersiven Interaktionstechniken wie 3D, virtueller Realität (VR), erweiterter Realität (AR, „augmented reality") sowie Sound und Vibration realisiert. Schritt für Schritt wird dabei z.B. der interaktive Engineeringvorgang mit simulierter Umgebung als erlebbares Fortschrittsergebnis entsprechend der Rolle des Akteurs präsentiert, bzw. der Nutzer erlebt sich als Teil des Engineeringvorgangs, des schrittweisen spielerischen Aufbaus eines Systems.By the system according to the invention or procedures become the principles of the "in-process-interface" on the interaction in the life cycle of a product, plant or machine. Presented If the system presents itself to the user or user as a game, it offers one Role, personalized or abstract, and emotionally binds him step by step to the e.g. Engineering process. Transferred from the games industry Lead procedure and techniques to a paradigm shift in the interaction with the system and the environment. For example, the engineering becomes dramaturgical Action taken with immersive interaction techniques like 3D, virtual reality (VR), augmented reality (AR, "augmented reality ") as well Sound and vibration realized. Step by step, e.g. of the interactive engineering process with simulated environment as experienceable Progress result presented according to the role of the actor, or the user experiences himself as part of the engineering process, the gradual playful construction of a system.

Simulation ist ein wesentliches Element der Erlebniswelt eines Spieles. Dabei unterscheidet die Simulation in ihrer Präsentationsform nicht zwischen der Simulation des schrittweisen Aufbaus der Produktionsmittel des Automatisierungssystems, der Simulation des Produktes, das das Produktionsmittel/Automatisierungssystem erzeugt, und der Simulation der Umgebung, in der das Produktionsmittel seine Aufgabe realisiert.Simulation is an essential element of the experience world of a game. The simulation in its presentation form does not distinguish between the simulation of the step-by-step structure of the Pro the automation system, the simulation of the product that generates the means of production / automation system, and the simulation of the environment in which the means of production realizes its task.

Über die Spielesituation heutiger „Games" oder „Serious Games" hinausgehend, ist das Ziel eines industriellen „Engineeringspiels" ein real existierendes bzw. funktionierendes Produktionsmittel/Automatisierungssystem. Der Übergang von der Virtualität in die Realität mit spiele-orientierten Mechanismen ist eine zusätzliche Herausforderung für die industrielle Anwendung. Hier kommen Techniken wie erweiterte Realität (AR) zum Einsatz, die das „in-process-interface" fortschrittsorientiert von rein virtuellen Welten in reale Welten überführt. Mit AR wird der Akteur, d.h. der Anwender, in seiner bereits in der virtuellen Welt festgelegten Rolle in die Realität geführt und kann somit seine rein virtuellen Aktionen in reale Aktionen überführen. In konsequenter Fortsetzung werden nun die gleichen Mechanismen für das Interagieren mit dem Prozess bzw. dem Produktionsmittel in seiner operativen Phase ausgeführt. Darüber hinaus kann der Akteur in die Rolle eines Produktes schlüpfen, das in einem realen Produktionsmittel gefertigt bzw. transportiert wird.About the Game situation of today's "Games" or "Serious Games ", the goal of an industrial "engineering game" is a real existing one or functioning production means / automation system. The transition from the virtuality into reality With game-oriented mechanisms is an additional challenge for the industrial Application. Here are techniques like augmented reality (AR) Use that advances the "in-process-interface" transferred from purely virtual worlds into real worlds. With AR, the actor, i.e. the user, in his already set in the virtual world Role in reality led and can thus transform its purely virtual actions into real actions. In Consistent sequel will now use the same mechanisms for interacting with the process or the means of production in its operative Phase executed. About that In addition, the actor can assume the role of a product that is manufactured or transported in a real production means.

Beispiele für „in-process-interfacing" im Engineering:

– Einnehmen der Rolle des Produktes. Das Produkt
– bewegt sich in der virtuellen Anlage und fühlt die Bewegung, z.B. die Vibrationen eines Paketes auf einem Förderband. Die Erfahrung kann z.B. dazu genutzt werden, einen zusätzlichen Vibrationssensor in der Anlage zu engineeren, der Messdaten in das System einbringt.
– Das virtuelle Produkt bewegt sich in der realen Anla ge. Vibrations-/Temperaturdaten werden von einem Sensor erfasst und sind fühlbar. Bewegung wird über AR visualisiert.
– Einnehmen der Rolle eines Servicetechnikers. Der Servicetechniker
– kann Reparaturen an einer virtuellen Maschine durchführen bzw. Instandhaltungsaufgaben „üben".
– Er kann die reparierte Maschine virtuell in Betrieb nehmen und bekommt Rückmeldung über Erfolg/Misserfolg.

Examples of "in-process interfacing" in engineering:

- taking the role of the product. The product
- moves in the virtual system and feels the movement, eg the vibrations of a parcel on a conveyor belt. The experience can be used, for example, to engineer an additional vibration sensor in the system, which introduces measured data into the system.
- The virtual product moves in the real world. Vibration / temperature data is collected by a sensor and can be felt. Movement is visualized via AR.
- Taking the role of a service technician. The service technician
- can carry out repairs on a virtual machine or "practice" maintenance tasks.
- He can virtually put the repaired machine into operation and receives feedback on success / failure.

Somit bietet ein „in-process-interface", wie es durch das erfindungsgemäße System bzw. Verfahren realisiert wird, folgende Vorteile: Interaktion und Präsentation bilden eine Welt nach, die dem Anwender vertraut ist. Zukünftige Generationen von Anwendern werden mit den beschriebenen Interaktionsformen vertraut sein. Das immersive Eintauchen und die Übernahme einer Rolle bei Interaktionsprozessen wie Engineering, Simulation, Training und Bedienen/Beobachten fesselt den Akteur und führt zu spielerischen Leistungsanreizen. Die Nutzung von realitätsnaher Darstellung, akustischer Rückkopplung, Einbeziehung von mechanischer Reaktion (Vibration) beziehen wesentlich mehr Sinne des Anwenders in den Interaktionsprozess mit ein und ermöglichen in ihrer Ganzheitlichkeit ein umfassenderes Interaktionsprinzip, was für Spiele system-inhärent ist.Consequently provides an "in-process-interface", as it is through the inventive system or process is realized, the following advantages: interaction and presentation Imagine a world that is familiar to the user. Future generations Users are familiarized with the described forms of interaction be. The immersive immersion and the assumption of a role in interaction processes such as Engineering, simulation, training and operation / observation captivates the actor and leads to playful performance incentives. The use of realistic Representation, acoustic feedback, inclusion of mechanical reaction (vibration) involve significantly more senses of the user in the interaction process in their entirety a more comprehensive interaction principle, what kind of Games system-inherent is.

In einer vorteilhaften Form der Ausgestaltung umfasst das System siebte Mittel zur Erweiterung der virtuellen Repräsentation. Hierdurch sind beispielsweise auch Aufgaben wie virtuelle Erweiterungen einer bestehenden Anlage möglich.In In an advantageous embodiment of the embodiment, the system comprises the seventh Means for expanding the virtual representation. As a result, for example also tasks such as virtual extensions of an existing system possible.

Weitere Beispiele für „in-process-interfacing" im Engineering:

– Einnehmen der Rolle eines Mechanikers. Der Mechaniker
– bewegt sich in der virtuellen Anlage und kann neue Mechanikkomponenten verbauen und den Ablauf simulieren. Er kann die Komponenten auch hören und fühlen (Vibrationen im Betrieb, Temperaturanstiege etc.).
– bewegt sich in der realen Anlage und kann neue Mechanikkomponenten verbauen. Die Komponenten werden ihm per AR visualisiert. Auch hier ist ein zusätzliches akustisches oder haptisches Interface vorstellbar.
– Einnehmen der Rolle eines Elektrikers. Der Elektriker
– bewegt sich in der virtuellen Anlage und legt Kabelkanäle und Kabel.
– In der realen Anlage kann er die baulichen Gegebenheiten überprüfen.

Further examples of "in-process interfacing" in engineering:

- Taking the role of a mechanic. The mechanic
- moves in the virtual plant and can obstruct new mechanical components and simulate the process. He can also hear and feel the components (vibration during operation, temperature rises, etc.).
- moves in the real plant and can obstruct new mechanical components. The components are visualized by AR. Again, an additional acoustic or haptic interface is conceivable.
- Taking the role of an electrician. The electrician
- moves in the virtual plant and lays cable channels and cables.
- In the real plant, he can check the structural conditions.

Die Möglichkeit, Ergebnisse kontinuierlich in einer Simulation überprüfen zu können, führt zum frühzeitigen Erkennen von Fehlern und damit zu insgesamt kürzeren Engineeringzeiten.The Possibility, To be able to continuously check results in a simulation leads to the early detection of errors and thus shorter overall Engineering times.

In einer weiteren vorteilhaften Ausführungsform weist das System einen Speicher zur Speicherung eines Profils für den Anwender auf, anhand dessen ein für den Anwender vorgesehenes Funktionsspektrum von durch die Interaktionstechnik möglichen Funktionen bestimmbar ist. Dadurch ist es möglich, für einen Anwender individuell zu speichern, dass er beispielsweise innerhalb der Rolle eines Mechanikers nicht den vollen Funktionsumfang, sondern nur den eines „Lehrlings" zur Verfügung hat. Ebenso ist es natürlich möglich, einem Anwender individuell das Funktionsspektrum sowohl eines Mechanikers als auch eines Elektrikers (möglicherweise in eingeschränktem Umfang) zur Verfügung zu stellen.In a further advantageous embodiment, the system a memory for storing a profile for the user, based its one for the user provided functional spectrum of the interaction technique potential Functions can be determined. This makes it possible to customize for a user for example, to store him within the role of a mechanic not the full range of functions, but only that of an "apprentice" has it is natural possible, a user individually the functional spectrum of both a mechanic as well as an electrician (possibly in limited Extent) to deliver.

In einer weiteren vorteilhaften Ausführungsform ist dabei das für den Anwender vorgesehene Funktionsspektrum anhand eines erfolgsabhängigen Bewertungssystems erweiter- oder reduzierbar. Dieses erfolgsabhängige Bewertungssystem räumt dabei dem Akteur beispielsweise mehr und mehr „Spielrechte" ein – d.h. das „Engineeringspiel" gewährt zusätzliche Funktionen – um ihn schrittweise vom „Beginner" zum „Professional" zu führen. Das Belohnungssystem berücksichtigt das Leistungsniveau des Akteurs (Anwenders) ohne Einstufungsproblematiken (wer ist Anfänger, Experte).In a further advantageous embodiment, the functional spectrum provided for the user is based on a success-dependent one Rating system expandable or reducible. For example, this performance-based rating system grants the actor more and more "playing rights" - ie the "engineering game" provides additional functions - to gradually guide him from the "beginner" to the "professional". The reward system considers the performance level of the actor (user) without ranking issues (who is beginner, expert).

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:in the Below, the invention with reference to the figures shown in the figures Embodiments described in more detail and explained. Show it:

1 eine Interaktion mit einem Automatisierungssystem mittels eines „out-of-process-interface" und 1 an interaction with an automation system by means of an "out-of-process-interface" and

2 eine Interaktion mit einem Automatisierungssystem mittels eines erfindungsgemäßen „in-processinterface". 2 an interaction with an automation system by means of an inventive "in-process interface".

1 zeigt einen Anwender 1 eines Automatisierungssystems 3, aus dem eine Komponente 6, beispielsweise ein Prozess oder ein Produktionsmittel, herausgehoben dargestellt ist. Das Automatisierungssystem 3 tauscht mit der Komponente 6 z.B. Steuerinformationen und Daten aus. Der Anwender 1 erhält Daten (Bilder etc.) über den Prozess/das Produktionsmittel 6 über ein herkömmliches Mensch-Maschine-Interface 4, über das er 1 auch Kommandos an das Automatisierungssystem 3 zur Steuerung des Prozesses/Produktionsmittels 6 absetzen kann. Dieses Mensch-Maschine-Interface 4 wird als „out-of-processinterface" bezeichnet, da unabhängig davon, ob der Nutzer 1 ein System 3 konzipiert (Engineering), ein System 3 simuliert bzw. den dazu gehörigen Prozess 6 simuliert, ein System 3 parametriert, in Betrieb setzt oder konfiguriert, er 1 außerhalb des Systems 3 steht. 1 shows a user 1 an automation system 3 from which a component 6 For example, a process or a means of production is highlighted. The automation system 3 exchanges with the component 6 eg tax information and data. The user 1 receives data (images, etc.) about the process / means of production 6 via a conventional man-machine interface 4 about him 1 also commands to the automation system 3 for controlling the process / production means 6 can settle. This man-machine interface 4 is referred to as an "out-of-process interface" because regardless of whether the user 1 a system 3 designed (engineering), a system 3 simulates or the associated process 6 simulates a system 3 parameterized, put into operation or configured, he 1 outside the system 3 stands.

2 zeigt wie in 1 einen Anwender 1 eines Automatisierungssystems 3, aus dem eine Komponente 6 herausgehoben dargestellt ist. Das Automatisierungssystem 3 tauscht mit der Komponente 6 wiederum z.B. Steuerinformationen und Daten aus. Der Anwender 1 tauscht in diesem Fall Informationen mit dem Automatisierungssystem 3 über ein erfindungsgemäßes System 2 bzw. unter Verwendung eines erfindungsgemäßen Verfahrens aus. Dabei wird der Anwender 1 durch immersive Interaktionstechniken 5 wie 3D-Darstellungen, virtueller Realität, erweiterter Realität sowie Sound und Vibration ganzheitlich in das Geschehen eingebunden und wird temporär Teil davon. Daher wird dieses Interaktionsprinzip hier als „in-process-interface" bezeichnet, wie in der Figur durch die Einbeziehung des Bedieners 1 mit dem System 2 in das Automatisierungssystem 3 verdeutlicht werden soll. Vertieft wird dieses „Eintauchen" noch dadurch, dass, ähnlich wie in vielen rechnergestützten Spielen, der Anwender 2 in eine Rolle/Identität einer Person (oder auch eines Produktes), die Akteur im vom System 2 realisierten „Engineeringspiel" ist, schlüpfen kann. Ein erfolgsabhängiges Bewertungssystem räumt dabei dem Akteur 1 mehr und mehr „Spielrechte" ein, d.h. das „Engineeringspiel" gewährt zusätzliche Funktionen, wodurch das Leistungsniveau des Anwenders 1 ohne Einstufungsproblematiken berücksichtigt wird. Das Eintauchen durch die immersiven Interaktionstechniken 5 und die Übernahme einer Rolle bei Interaktionsprozessen wie Engineering, Simulation, Training und Bedienen/Beobachten fesselt den Anwender 1 und führt zu spielerischen Leistungsanreizen. 2 shows as in 1 a user 1 an automation system 3 from which a component 6 is shown lifted out. The automation system 3 exchanges with the component 6 turn, for example, control information and data. The user 1 In this case, it exchanges information with the automation system 3 about a system according to the invention 2 or using a method according to the invention. This is where the user becomes 1 through immersive interaction techniques 5 such as 3D representations, virtual reality, augmented reality as well as sound and vibration integrated into the event and temporarily becomes part of it. Therefore, this interaction principle is referred to herein as an "in-process interface", as in the figure by the involvement of the operator 1 with the system 2 into the automation system 3 should be clarified. This "immersion" is further enhanced by the fact that, as in many computer-aided games, the user 2 into a role / identity of a person (or even a product), the actor in the system 2 A "success-based evaluation system" allows the actor to 1 more and more "playing rights", ie the "engineering game" grants additional features, increasing the level of performance of the user 1 without classification problems. The immersion through the immersive interaction techniques 5 and the assumption of a role in interaction processes such as engineering, simulation, training and operator control / watching captivates the user 1 and leads to playful performance incentives.

Zusammenfassend betrifft die Erfindung ein System und ein Verfahren zur Mensch-Maschine-Interaktion zwischen einem Anwender und einem Automatisierungssystem. Der Erfindung liegt die Aufgabe zugrunde, ein System und ein Verfahren für eine Mensch-Maschine-Interaktion vorzuschlagen, bei der ein Anwender durch ein an Computerspielen orientiertes Interaktionsprinzip in das Geschehen eingebunden wird. Diese Aufgabe wird durch ein System zur Mensch-Maschine-Interaktion zwischen einem Anwender und einem Automatisierungssystem gelöst, wobei das System umfasst: erste Mittel zur Bestimmung des Zustands des Automatisierungssystems, zweite Mittel zur Einwirkung auf das Automatisierungssystem, dritte Mittel zur virtuellen Repräsentation von zumindest einer Komponente des Automatisierungssystems, vierte Mittel zur Einwirkung auf die virtuelle Repräsentation, fünfte Mittel zur Bereitstellung von zumindest einer immersiven Interaktionstechnik und sechste Mittel zur Vergabe einer Rolle, der ein Funktionsspektrum von durch die Interaktionstechnik möglichen Funktionen zugeordnet ist, an den Anwender.In summary The invention relates to a system and a method for human-machine interaction between a user and an automation system. The invention the task is based on a system and a method for a human-machine interaction to suggest that a user through a computer games oriented interaction principle is integrated into the event. This task is through a system for human-machine interaction between a user and an automation system, wherein the system comprises: first means for determining the condition of the Automation system, second means for acting on the automation system, third means for virtual representation of at least one Component of the automation system, fourth means of action to the virtual representation, fifth Means for providing at least one immersive interaction technique and sixth means of awarding a role, which is a functional spectrum assigned by the interaction technology possible functions is, to the user.

Claims

System ( 2 ) for human-machine interaction between a user ( 1 ) and an automation system ( 3 ), whereby the system ( 2 ) comprises: - first means for determining the state of the automation system ( 3 ), - second means of acting on the automation system ( 3 ), Third means for virtual representation of at least one component ( 6 ) of the automation system ( 3 ), - fourth means for influencing the virtual representation, - fifth means for providing at least one immersive interaction technique ( 5 ) and - sixth means for assigning a role, which is assigned a functional spectrum of functions that are possible through the interaction technique, to the user ( 1 ).

The system of claim 1, wherein the system ( 2 ) comprises seventh means for expanding the virtual representation.

The system of claim 1 or 2, wherein the system includes memory for storing a profile for the user ( 1 ), on the basis of which one for the user ( 1 ) provided by the interaction technique ( 5 ) is possible to determine possible functions.

A system according to claim 3, wherein for the user ( 1 ) provided function spectrum can be extended or reduced by means of a success-dependent rating system.

System according to one of the preceding claims, wherein the system ( 2 ) for engineering, simulation as well as for operator control and monitoring of the automation system ( 3 ) and the training of the user ( 1 ) on the automation system ( 3 ) is used.

Method for human-machine interaction between a user ( 1 ) and an automation system ( 3 ), comprising the following method steps: determining the state of the automation system ( 3 ), - virtual reproduction of at least one component ( 6 ) of the automation system ( 3 ), - providing at least one immersive interaction technique ( 5 ), - acting on the virtual representation, - acting on the automation system ( 3 ) and - assigning a role, which is a functional spectrum of the interaction technique ( 5 ) is assigned to possible functions to the user ( 1 ).

The method of claim 6, wherein the virtual representation is extended.

Method according to claim 6 or 7, wherein for the user ( 1 ) a profile is saved, on the basis of which one for the user ( 1 ) provided by the interaction technique ( 5 ) possible functions is determined.

Method according to claim 8, wherein for the user ( 1 ) is extended or reduced by means of a performance-based rating system.

Method according to one of claims 6 to 9, wherein the method for engineering, for simulating and for operating and monitoring the automation system ( 3 ) and to train the user ( 1 ) on the automation system ( 3 ) is used.