DE102004021379A1 - Presentation of augmented reality information, e.g. for use in industrial applications to simplify interactions between people and machinery, wherein simulation data can be linked to actual measured environment information - Google Patents

Presentation of augmented reality information, e.g. for use in industrial applications to simplify interactions between people and machinery, wherein simulation data can be linked to actual measured environment information Download PDF

Info

Publication number
DE102004021379A1
DE102004021379A1 DE102004021379A DE102004021379A DE102004021379A1 DE 102004021379 A1 DE102004021379 A1 DE 102004021379A1 DE 102004021379 A DE102004021379 A DE 102004021379A DE 102004021379 A DE102004021379 A DE 102004021379A DE 102004021379 A1 DE102004021379 A1 DE 102004021379A1
Authority
DE
Germany
Prior art keywords
image information
unit
image
plant
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004021379A
Other languages
German (de)
Other versions
DE102004021379B4 (en
Inventor
Christiane Gast
Werner HÖFLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102004021379A priority Critical patent/DE102004021379B4/en
Publication of DE102004021379A1 publication Critical patent/DE102004021379A1/en
Application granted granted Critical
Publication of DE102004021379B4 publication Critical patent/DE102004021379B4/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

System (1) for presentation of information, especially augmented reality information, for at least one user (2) has at least a measurement unit (3) for capture of environment information, at least a simulation system (7) and at least a data processing unit (8) for linking environment information (4) on the basis of simulation data (12) and for storing it in a first storage medium (5). An independent claim is made for a method for presentation of information, especially augmented reality information.

Description

Die Erfindung betrifft ein System und ein Verfahren zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten, wobei eine von der Anlage bzw. Anlagenkomponente hardwaretechnisch entkoppelte Bedienung durch einen Benutzer vorgesehen ist.The The invention relates to a system and a method for operating and Observing in particular industrial plants or plant components, one of the plant or plant component hardware decoupled operation is provided by a user.

Eine derartiges System bzw. Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen sowie komplexen Komponenten, Geräten und Systemen zum Einsatz.A such system or method comes for example in the field automation technology, in production and machine tools as well as complex components, devices and Systems used.

Die Bedienkonzepte in solchen Industrieanlagen sind heute in der Regel PC-basiert. D. h. die Bedienung mit Mouse und Tastatur wurde aus dem Bürobereich in industrielle Anwendungen übertragen. Auch die Bedienphilosophie wird überwiegend aus bekannten Anwendungen übernommen.The Operating concepts in such industrial plants are today, as a rule PC-based. Ie. the operation with mouse and keyboard was off the office area transferred to industrial applications. The operating philosophy is predominantly adopted applications.

In vielen Anlagen existieren zentrale Leitwarten, in denen eine Vielzahl von Rechnern unterschiedliche Sichten auf die Anlage bieten. Dies gilt z. B. für die Prozessleittechnik in Chemie/Pharma/NUG etc., Walzwerke oder Energieverteilungsanlagen. Darüber hinaus sind viele Teilanlagen mit fest installierten „Vorort-Bediengeräten", sogenannten Operator Panels, ausgerüstet. Diese Operator Panels sind überwiegend in fertigungstechnischen Anlagen vorzufinden.In Many plants have central control rooms in which a large number of computers provide different views of the plant. This applies z. For example the process control in chemistry / pharmaceutical / NUG etc., rolling mills or Power distribution systems. About that In addition, many subsystems with permanently installed "on-site operating devices", so-called operator Panels, equipped. These operator panels are predominantly to be found in manufacturing plants.

Aus DE 101 35 837 A1 ist ein System und Verfahren bekannt, welches eine ortsunabhängige und berührungslose Bedienung und Beobachtung einer Anlage ermöglicht. Zur Bedienung der Anlage weist das System ein Spracherkennungssystem auf, das dem Benutzer einen interaktiven Zugriff auf die Anlage ermöglicht. Der Zustand der Anlage wird dem Benutzer in Form eines virtu ellen Displays projiziert oder auf einem Großbildschirm dargestellt.Out DE 101 35 837 A1 a system and method is known, which allows a location-independent and non-contact operation and observation of a system. To operate the system, the system has a voice recognition system that allows the user interactive access to the system. The state of the system is projected to the user in the form of a virtual display or displayed on a large screen.

Der Erfindung liegt die Aufgabe zu Grunde, eine ortsunabhängige und von der realen Anlagenhardware entkoppelt Bedienung und Beobachtung einer Anlage zu ermöglichen, wobei eine möglichst einfache und intuitive Bedienung für einen Benutzer erzielt werden soll.Of the Invention is based on the object, a location-independent and from the real plant hardware decoupled operation and observation of a To enable facility being as simple as possible and intuitive operation for a user is to be achieved.

Diese Aufgabe wird durch ein System zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente mit einer Wiedergabeeinheit, einer Befehlserfassungseinheit zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit gelöst, wobei die Verarbeitungseinheit zur Verknüpfung zweier Bildinformationsmengen zu einer dritten Bildinformationsmenge dient, wobei die erste Bildinformationsmenge auf einem Abbild der Anlage und/oder Anlagenkomponente basiert, die zweite Bildinformationsmenge zur Darstellung von Bedienelementen vorgesehen ist und die dritte Bildinformationsmenge zur Visualisierung mittels einer Bildwiedergabeeinheit der Wiedergabeeinheit vorgesehen ist.These Task is performed by a system for operating and observing at least a system and / or system component with a playback unit, a command detection unit for detecting user input and a processing unit, wherein the processing unit for shortcut two image information sets to a third image information set serves, with the first image information amount on an image of the plant and / or plant component, the second image information amount is provided for the representation of controls and the third Image information for visualization by means of a picture display unit the playback unit is provided.

Diese Aufgabe wird weiter durch ein Verfahren zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente mit Hilfe einer Wiedergabeeinheit, einer Befehlserfassungseinheit zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit gelöst, wobei mit Hilfe der Verarbeitungseinheit zwei Bildinformationsmengen zu einer dritten Bildinformationsmenge verknüpft werden, wobei die erste Bildinformationsmenge auf einem Abbild der Anlage und/oder Anlagenkomponente basiert, die zweite Bildinformationsmenge Bedienelemente darstellt und die dritte Bildinformationsmenge mittels einer Bildwiedergabeeinheit der Wiedergabeeinheit visualisiert wird.These The task continues with a method for operator control and monitoring at least one installation and / or installation component with the aid of a reproduction unit, a command detection unit for detecting user input and a processing unit, wherein by means of the processing unit two picture information sets to a third picture information set connected with the first image information set on an image of the Plant and / or plant component based, the second image information quantity Controls represents and the third image information by means of a picture display unit of the playback unit is visualized.

Das erfindungsgemäße System bzw. Verfahren sieht eine überlagerte Darstellung zweier Bildinformationsmengen vor. Die ers te Bildinformationsmenge dient zur möglichst realitätsnahen Darstellung der zu bedienenden Anlage bzw. Anlagenkomponente und die zweite zur Darstellung von Bedienelementen, durch die der Benutzer einen Zugriff auf die abgebildete Anlage und/oder Anlagenkomponente erhält. Gegenüber einer schematischen Darstellung realer Anlagen/Anlagenkomponenten oder Prozesse in Bedienmasken erfordert ein realistisches Abbild der Maschine von dem Benutzer sehr viel weniger Abstraktionsvermögen. Der Benutzer muss nicht mehr aus einem schematischen Bild ableiten, wie die reale Anlage aussieht. Dadurch wird eine intuitive Benutzerführung gewährleistet. Darüber hinaus muss der Benutzer nicht mehr zwangsläufig Fachmann sein oder speziell auf eine schematische Benutzeroberfläche geschult werden, um diese zu beherrschen.The inventive system or procedure sees a superimposed Presentation of two image information sets. The first image information set serves as possible realistic Representation of the plant or plant component to be operated and the second to represent controls by which the user an access to the depicted plant and / or plant component receives. Across from a schematic representation of real plant / plant components or processes in operating masks requires a realistic image the machine from the user much less abstraction ability. Of the User no longer needs to derive from a schematic image what the real system looks like. This ensures intuitive user guidance. About that In addition, the user does not necessarily have to be a specialist or special be trained on a schematic user interface to this to dominate.

Die Benutzereingaben zur Bedienung der Anlage werden mit Hilfe der Befehlserfassungseinheit erfasst und mittels der Verarbeitungseinheit in ein Steuerungssignal konvertiert, das an die Anlage/Anlagenkomponente transferiert wird.The User inputs for operating the system are made using the command acquisition unit detected and by means of the processing unit in a control signal converted to the plant / plant component.

Durch das erfindungsgemäße System kann somit ein hohe Zahl an Bediengeräten und der damit verbundene Verkabelungsaufwand (Energieversorgung, Datenbus etc.) eingespart werden. Der Benutzer sieht ein Abbild der realen Maschine und eine insbesondere kontextabhängige Einblendung eines oder mehrerer Bedienelemente und kann die Anlage durch Betätigung der dargestellten Bedienelemente steuern. Durch das erfindungsgemäße System wird somit die Verwendung und die damit verbundene Verschmutzung herkömmlicher, im Industrieumfeld positionierter Bediengeräte wie Keybords, Mouse, Touchscreens etc. vermieden. Da die eingeblendeten Bediengeräte nicht an die Hardware der Anlage gekoppelt sind, kann die Bedienung der Anlage auch an einem von der Anlage entfernten Ort stattfinden.By the system according to the invention thus a high number of operating devices and the associated cabling effort (power supply, data bus, etc.) can be saved. The user sees an image of the real machine and a particular context-dependent display of one or more controls and can control the system by pressing the controls shown. By the inventive system is thus avoiding the use and associated contamination of conventional HMI devices such as keyboards, mice, touchscreens, etc. positioned in the industrial environment. Since the displayed operator panels are not linked to the system hardware, the system can also be operated in a location away from the system.

Um ein möglichst realitätsnahes Abbild der Anlage bzw. Anlagenkomponente auf Basis der ersten Bildinformationsmenge zu erzeugen, weist in einer vorteilhaften Ausführungsform der Erfindung das System eine Bilderfassungseinheit zur Erfassung der ersten Bildinformationsmenge auf. Hierdurch wird der Aufwand für die Projektierung des Systems erheblich reduziert, da die Vorprojektierung eines Anlagenbildes entfällt.Around one possible realistic Image of the plant or plant component based on the first image information quantity to produce, in an advantageous embodiment of the invention, the system an image acquisition unit for acquiring the first image information amount on. As a result, the effort for the configuration of the system considerably reduced, because the pre-configuration of a plant picture eliminated.

Ein aktuelles Abbild der Anlage kann dem Benutzer zur Verfügung gestellt werden, indem die Bilderfassungseinheit als Kamerasystem zur insbesondere kontinuierlichen Erfassung der ersten Bildinformationsmenge ausgeführt ist. Dadurch erhält der Benutzer immer eine aktuelle Darstellung und ist nicht auf Archivbilder angewiesen. Der Benutzer hat somit die Möglichkeit, den aktuellen Anlagenzustand und die Reaktionen der Anlage auf die von ihm generierten Benutzerkommandos zu beobachten. Alternativ kann das Abbild der Anlage von dem Kamerasystem durch eine Einzelaufnahme erzeugt werden. Diese Einzelaufnahme kann darüber hinaus in diskreten zeitlichen Abständen wiederholt werden, um ein aktualisiertes Abbild der Anlage zu erzeugen.One The current image of the system can be made available to the user be by the image acquisition unit as a camera system in particular Continuous detection of the first image information amount is performed. This preserves the user always has a current presentation and is not on archive images reliant. The user thus has the option of the current system status and the reactions of the system to the user commands generated by it to observe. Alternatively, the image of the system from the camera system be generated by a single shot. This single shot can about that be repeated at discrete time intervals to to generate an updated image of the plant.

Neben Bildinformationen können in einer vorteilhaften Ausführungsform dem Benutzer auch akustische, haptische oder geruchsbildende Signale zur Beschreibung des Anlagenzustandes übermittelt werden, indem die Wiedergabeeinheit neben einer Bildwiedergabeeinheit zur Wiedergabe der dritten Bildinformationsmenge auch eine Tonwiedergabeeinheit zur Wiedergabe von Akustiksignalen und/oder eine Wiedergabeeinheit zur Wiedergabe haptischer Signale und/oder eine Wiedergabeeinheit zur Wiedergabe geruchsbildender Signale umfasst. Z. B. kann das Schwingen einer Maschine an den Benutzer als haptisches Signal übertragen werden. Dazu trägt der Benutzer ein Schwingungsgerät, das die Schwingungen an seinen Körper überträgt. Die aktuelle Auswirkung wird in eine Schwingung umgewandelt und direkt an das Schwingungsgerät des Benutzers weitergeleitet.Next Image information can in an advantageous embodiment the user also acoustic, haptic or odor-causing signals for Description of the plant condition can be transmitted by the Playback unit next to a picture display unit for playback the third image information amount is also a sound reproduction unit for reproducing acoustic signals and / or a reproduction unit for the reproduction of haptic signals and / or a reproduction unit for Reproduction of odoriferous signals includes. For example, the swinging can a machine to the user as a haptic signal transmitted become. Contributes to this the user a vibration device, that transmits the vibrations to his body. The actual Impact is transformed into a vibration and directly to the vibration device forwarded by the user.

Das Wissen über die aktuelle Schwingung kann auf zwei Arten ermittelt werden:

  • – Das Schwingungsverhalten ist projektiert. Es wird festgelegt, welche Schwingung z.B. für welche Drehzahl des Motors weitergegeben wird.
  • – Das Schwingen wird direkt an der Maschine aufgezeichnet und genau so weitergegeben. Eventuell kann noch eine Umsetzung auf die Möglichkeiten des Schwingungsgerätes vorgenommen werden.
The knowledge of the current vibration can be determined in two ways:
  • - The vibration behavior is configured. It is determined which oscillation is passed on for which speed of the motor, for example.
  • - The swing is recorded directly on the machine and passed on exactly the same. Eventually, a conversion to the possibilities of the vibration device can be made.

Weiterhin kann die Schwingung auch über Schallwellen als akustisches Signal an den Benutzer übertragen werden.Farther The vibration can also be over sound waves be transmitted as an acoustic signal to the user.

Eine sehr realitätsnahe Visualisierung der zu bedienenden Anlage wird in einer vorteilhaften Ausführungsform dadurch erreicht, dass die Bildwiedergabeeinheit als Projektionsgerät ausgeführt ist und zur Darstellung der dritten Bildinformationsmenge auf einer Projektionsfläche oder holografisch in Luft dient. Durch das Mittel der Projektion wird die räumliche Begrenzung der Darstellungsfläche, wie sie eine Bildschirm basierte Visualisierung beispielsweise aufweisen würde, und die damit verbundene eingeschränkte Wahrnehmungsmöglichkeit weitgehend umgangen.A very realistic Visualization of the plant to be operated will be beneficial embodiment achieved in that the image display unit is designed as a projection device and for displaying the third image information amount on a projection or holographically in air. By the means of projection becomes the spatial Limitation of the display area, as they have a screen based visualization, for example would, and the associated limited possibility of perception largely bypassed.

Die Darstellung der Bildinformationen mit Hilfe der Projektion hat schließlich auch den Vorteil, dass dem Benutzer eine berührungslose Bedienung der Anlage bzw. Anlagenkomponente ermöglicht wird. Hierdurch werden Verschmutzungen etwaigen Bediengeräts vermieden.The Presentation of the image information with the help of projection finally has the advantage that the user a non-contact operation of the system or plant component is enabled. As a result, contamination of any HMI device can be avoided.

Die Befehlerfassungseinheit weist vorteilhafter Weise eine Bilderkennungseinheit zur Erfassung einer Körperbewegung eines Benutzers und zur Generierung entsprechender Bilderkennungsinformationen und/oder eine Spracherkennungseinheit zur Erfassung von akustischen Befehlen des Benutzers und zur Generierung entsprechender Spracherkennungsinformationen auf.The Command detection unit advantageously has an image recognition unit for detecting a body movement a user and to generate corresponding image recognition information and / or a voice recognition unit for detecting acoustic Commanding the user and generating appropriate speech recognition information on.

Die bei herkömmlichen Bediengeräten angewandte Bedienung per Fingerdruck kann durch diese Lösung einfach auf andere Bewegungen wie Gestik und Mimik ausgeweitet werden. Z. B. kann der Bediener durch eine spezifizierte Armbewegung eine Maschine stoppen. Die Bedienung mittels akustischer Signale erlaubt es dem Bediener, seine Hände für andere Tätigkeiten frei zu halten.The at conventional HMIs Applied operation by finger pressure can be made easy by this solution be extended to other movements such as gestures and facial expressions. Z. For example, the operator may specify a machine by a specified arm movement to stop. The operation by means of acoustic signals allows the Operator, his hands for others activities to keep free.

In einer vorteilhaften Ausführungsform dient die zweite Bildinformationsmenge zur Kennzeichnung virtueller Bedienelemente. Diese Bedienelemente werden dem Benutzer schematisch in das durch die ersten Bildinformationsmenge dargestellte Abbild der realen Anlage eingeblendet, um so eine möglichst intuitive Zuordnung der Bedienoberfläche zur Anlage zu ermöglichen.In an advantageous embodiment the second image information set serves to identify virtual Controls. These controls become schematic to the user into the image represented by the first image information set the real system, so as intuitively as possible the user interface to Facility to allow.

Für den Fall, dass die zu bedienende Anlage bereits eigene reale Bedienelemente aufweist, ist es vorteilhaft, dass die zweite Bildinformationsmenge zur Kennzeichnung dieser real an der Anlage oder Anlagenkomponente vorhandenen Bedienelemente dient. Somit kann die Anlage wie in der Realität bedient werden. Der Benutzer kann z. B. direkt einen Motor einschalten oder ein Ventil öffnen, indem er die Abbildung des Motors oder des Ventils berührt.In the event that the system to be operated already has its own real operating elements, it is advantageous for the second image information quantity to be used to identify these real operating elements present on the system or system component serves. Thus, the system can be operated as in reality. The user can z. For example, directly turn on an engine or open a valve by touching the image of the engine or valve.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:in the Below, the invention with reference to the figures shown in the figures Embodiments described in more detail and explained. Show it:

1 eine schematische Darstellung eines Systems zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten und 1 a schematic representation of a system for operating and monitoring particular industrial equipment or system components and

2 eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform des in 1 gezeigten Systems. 2 a representation of a typical application scenario of an embodiment of in 1 shown system.

1 zeigt eine schematische Darstellung eines Systems 1 zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten. 1 shows a schematic representation of a system 1 for operating and monitoring in particular industrial plants or plant components.

Das System 1 weist eine Verarbeitungseinheit 5 auf, mit dem eine erste Bildinformationsmenge 6 und eine zweite Bildinformationsmenge 7 zu einer dritten Bildinformationsmenge 8 verknüpft werden. Mit Hilfe der ersten Bildinformationsmenge 6 wird ein möglichst realitätsnahes Abbild einer realen Anlage 2 beschrieben. Die zweite Bildinformationsmenge 7 kennzeichnet Bedienelemente der realen Anlage 2.The system 1 has a processing unit 5 on, with which a first image information set 6 and a second image information amount 7 to a third image information set 8th be linked. With the help of the first image information set 6 becomes a realistic image of a real plant 2 described. The second image information set 7 identifies controls of the real plant 2 ,

Die Verarbeitungseinheit 5 verknüpft nun die erste Bildeinformationsmenge 6 und die zweite Bildinformationsmenge 7 zu der dritten Bildinformationsmenge 8 derart, dass bei einer Darstellung der dritten Bildinformationsmenge 8 die Bedienelemente in das reale Abbild der Anlage 2 eingeblendet werden. Zur Darstellung der Bildinformationen für einen Benutzer weist das System 1 eine Wiedergabeeinheit 3 auf.The processing unit 5 now links the first image information set 6 and the second image information amount 7 to the third image information amount 8th such that in a representation of the third image information amount 8th the controls in the real image of the plant 2 to be displayed. The system displays the image information for a user 1 a playback unit 3 on.

Der Benutzer ist nun in der Lage, die eingeblendeten Bedienelemente mit Hilfe von Gestik, Mimik oder auch Sprachbefehlen zu bedienen und somit die reale Anlage 2 zu steuern. Die auf diese Weise von dem Benutzer generierten Befehle werden von einer Befehlerfassungseinheit 4 erkannt und in ein von der Verarbeitungseinheit 5 lesbares Signal umgewandelt. Die Verarbeitungseinheit 5 steuert schließlich in Abhängigkeit der Benutzerbefehle die reale Anlage 2.The user is now able to use the displayed controls with the help of gestures, facial expressions or voice commands and thus the real system 2 to control. The commands generated by the user in this way are from a command detection unit 4 detected and in one of the processing unit 5 converted readable signal. The processing unit 5 Finally, controls the real plant depending on the user commands 2 ,

Das beschriebene System 1 ermöglicht dem Benutzer eine von der Hardware der Anlage 2 entkoppelte Bedienung. Durch die erste Bildinformationsmenge 6 wird dem Benutzer hierzu ein möglichst realitätsnahes Abbild der Anlage 2 eingeblendet und somit die Möglichkeit gegeben, die durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente möglichst kontextnah zur realen Anlage 2 zu sehen. Auf diese Weise wird dem Benutzer eine intuitive Bedienung der Anlage 2 ermöglicht.The described system 1 allows the user one of the hardware of the plant 2 decoupled operation. Through the first image information set 6 This will give the user a realistic image of the system 2 faded in and thus given the opportunity by the second image information 7 described controls as close as possible to the real plant 2 to see. In this way, the user gets an intuitive operation of the system 2 allows.

Bei der Wiedergabeeinheit 3 kann es sich beispielsweise auch um ein Projektionsgerät handeln, mit dem die dritte Bildin formationsmenge 8 auf eine Projektionsfläche oder auch holografisch in Luft dargestellt wird. Eine Bedienung der projizierten und durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente durch den Benutzer wird von der Befehlserfassungseinheit 4 erkannt und ausgewertet. Durch das Mittel der Projektion ist eine berührungslose Bedienung der Anlage 2 möglich. Auf diese Art und Weise werden Verschmutzungen von Bedienelementen vermieden.At the playback unit 3 it may also be, for example, a projection device with which the third Bildin formation amount 8th on a projection surface or holographically in air. An operation of the projected and by the second image information amount 7 User controls described by the user is the command acquisition unit 4 recognized and evaluated. By means of the projection is a non-contact operation of the system 2 possible. In this way, contamination of controls are avoided.

2 zeigt eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform des in 1 gezeigten Systems 1. Um ein möglichst realitätsnahes und aktuelles Abbild einer realen Anlage 2 zu erzeugen, wird diese mit Hilfe einer als Kamerasystem ausgeführten Bilderfassungseinheit 9 kontinuierlich aufgenommen. Das Kamerasystem 9 dient somit zur Erzeugung einer ersten Bildinformationsmenge 6. Eine zweite Bildinformationsmenge 7 enthält Bildinformationen über Bedienelemente der realen Anlage 2. Hierbei kann es sich sowohl um real an der Anlage 2 vorhandene Bedienelemente handeln als auch um eine rein schematische Darstellung virtueller Bedienelemente der Anlage 2. Die erste Bildinformationsmenge 6 und die zweite Bildinformationsmenge 7 werden mit Hilfe einer Verarbeitungseinheit 5 zu einer dritten Bildinformationsmenge 8 verknüpft, bei der die durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente in das reale Abbild der Anlage 2, das durch die erste Bildinformationsmenge 6 beschrieben wird, eingeblendet werden. 2 FIG. 12 is an illustration of a typical application scenario of an embodiment of the invention in FIG 1 shown system 1 , To get a realistic and up-to-date image of a real plant 2 This is produced by means of an image acquisition unit designed as a camera system 9 continuously recorded. The camera system 9 thus serves to generate a first image information amount 6 , A second image information set 7 Contains picture information about controls of the real system 2 , This can be both real on the system 2 Existing controls act as well as a purely schematic representation of virtual controls the system 2 , The first image information set 6 and the second image information amount 7 be using a processing unit 5 to a third image information set 8th linked by the second image information set 7 described controls in the real image of the system 2 that through the first image information set 6 will be displayed.

Die dritte Bildinformationsmenge 8 wird mit Hilfe eines Projektionsgerätes 3a auf einer Projektionsfläche 13 für den Benutzer 14 sichtbar gemacht. Ebenso erhält der Benutzer 14 ein Akustiksignal 10, das zur Beschreibung des Anlagenzustandes dient. Dieses Akustiksignal 10 wird dem Benutzer 14 mit Hilfe einer Tonwiedergabeeinheit 3b hörbar gemacht. Zur Erzeugung des Akustiksignals 10 kann beispielsweise in der Nähe der Anlage 2 ein Mikrofon angebracht sein.The third image information set 8th is using a projection device 3a on a projection screen 13 for the user 14 made visible. Likewise, the user receives 14 an acoustic signal 10 , which is used to describe the system status. This acoustic signal 10 becomes the user 14 with the help of a sound reproduction unit 3b audible. For generating the acoustic signal 10 For example, near the plant 2 a microphone attached.

Der Benutzer 14 ist in dem dargestellten Anwendungsszenario in der Lage, Steuerungsbefehle an die Anlage 2 in Form von Gestik und Mimik und in Form von Sprachsignalen zu vermitteln. Hierzu enthält das System eine Bilderfassungseinheit 4a, mit der Körperbewegungen des Benutzers 14 erfasst und entsprechende Bilderkennungsinformationen 11 generiert werden können, die an die Verarbeitungseinheit 5 weitergegeben werden.The user 14 is in the illustrated application scenario able to control commands to the plant 2 in the form of gestures and facial expressions and in the form of speech signals. For this purpose, the system contains an image acquisition unit 4a , with the body movements of the user 14 captured and corresponding image recognition information 11 can be generated to the processing unit 5 be passed on.

Zur Erfassung und Verarbeitung der Sprachbefehle des Benutzers 14 enthält das System eine Spracherfassungseinheit 4b, mit der die Sprachbefehle erfasst und entsprechende Spracherkennungsinformationen 12 generiert werden. Auch die Spracherkennungsinformationen 12 werden an die Verarbeitungseinheit 5 weitergegeben.To capture and process the voice commands of the user 14 the system contains a language acquisition unit 4b with which the voice commands are captured and corresponding voice recognition information 12 to be generated. Also the speech recognition information 12 be sent to the processing unit 5 passed.

Die Verarbeitungseinheit 5 generiert aus den Bilderkennungsinformationen 11 und den Spracherkennungsinformationen 12 ein entsprechendes Steuersignal 15, mit dem die Anlage 2 gesteuert werden kann.The processing unit 5 generated from the image recognition information 11 and the speech recognition information 12 a corresponding control signal 15 with which the plant 2 can be controlled.

In dem beschriebenen Anwendungsszenario des Systems 1 kann sich der Benutzer 14 an einem von der Anlage 2 entfernten Ort befinden und den aktuellen Zustand der Anlage 2 mit Hilfe von Bild- und Akustiksignalen verfolgen. Darüber hinaus ist der Benutzer 14 in der Lage, durch Gestik und Mimik und durch Sprachsignale berührungslos die Anlage 2 zu steuern.In the described application scenario of the system 1 can the user 14 at one of the plant 2 distant place and the current state of the plant 2 track with the help of image and acoustic signals. In addition, the user is 14 Able to contact, by gestures and facial expressions and by voice signals the system 2 to control.

Durch die überlagerte Darstellung der von der Kamera 9 aufgenommenen Anlage 2 und den Bedienelementen, die durch die zweite Bildinformationsmenge 7 dargestellt werden, wird dem Benutzer 14 ein möglichst realitätsnahes und aktuelles Bild der Anlage 2 vermittelt. Auf diese Weise ist der Benutzer 14 in der Lage, Reaktionen auf die von ihm initiierten Steuerbefehle direkt zu beobachten. Weiterhin wird dem Benutzer 14 durch die realitätsnahe Darstellung der Anlage 2 wenig Abstraktionsvermögen abverlangt.Due to the superimposed representation of the camera 9 recorded plant 2 and the controls provided by the second image information set 7 will be presented to the user 14 a realistic and up-to-date picture of the plant 2 taught. That way the user is 14 able to directly observe reactions to the control commands initiated by him. Furthermore, the user is 14 through the realistic representation of the plant 2 little abstraction required.

Neben dem in 2 beschriebenen Anwendungsszenario, bei dem eine Projektion des realen Anlagebildes und der Bedienelemente auf eine Projektionsfläche 13 durchgeführt wird, ist auch eine Projektion in Luft möglich. Hierbei wird die dritte Bildinformationsmenge 8 holografisch dargestellt. Da man bei dieser Art der Darstellung nicht auf eine Projektionsfläche angewiesen ist, ist ein noch flexiblerer Einsatz des Systems 1 mit Hilfe der holografischen Darstellung möglich. Das entsprechende Bild kann an verschiedenen Orten in Abhängigkeit der aktuellen Position des Benutzers 14 eingespielt werden. Hierzu wird der Benutzer 14 z. B. per Funk oder per optischer Bilderkennung geortet und identifiziert. Der Projektor befindet sich an der Decke und projiziert das Bild in das Sichtfeld des Benutzers 14.In addition to the in 2 described application scenario in which a projection of the real investment image and controls on a projection screen 13 is carried out, a projection in air is possible. Here, the third image information amount becomes 8th holographically represented. Since this type of presentation does not rely on a projection surface, the system is even more flexible 1 possible with the help of the holographic representation. The corresponding image may be in different locations depending on the current position of the user 14 be recorded. This is the user 14 z. B. located by radio or optical image recognition and identified. The projector is located on the ceiling and projects the image into the user's field of view 14 ,

Zur Vermittlung des Anlagenzustandes kann dem Benutzer 14 neben den Bildinformationen 8 und dem Akustiksignal 10 auch ein haptisches Signal zur Verfügung gestellt werden. Hierzu trägt der Benutzer 14 ein Schwingungsgerät mit sich, das die Schwingung an seinen Körper weitergibt. Die Verarbeitungseinheit 5 erkennt die aktuelle Bedienung des Benutzers 14 und vergleicht diese mit der Reaktion der Anlage 2. Schwingt die Anlage aufgrund eines bestimmten Maschinenzustandes, so wird diese Schwingung in ein Schwingungssignal umgewandelt, und dem Benutzer 14 mit Hilfe des Schwingungsgerätes erkenntlich gemacht.To convey the system status, the user can 14 next to the picture information 8th and the acoustic signal 10 also a haptic signal can be provided. The user contributes to this 14 a vibrating device that carries the vibration to his body. The processing unit 5 recognizes the current operation of the user 14 and compares these with the reaction of the plant 2 , If the system oscillates due to a certain machine condition, this vibration is converted into a vibration signal and to the user 14 made recognizable with the help of the vibration device.

Zusammenfassend betrifft die Erfindung ein Bedien- und Beobachtungssystem für industrielle Anlagen, das eine von der Anlage hardwaretechnisch entkoppelte Bedienung der Anlage und eine hardwaretechnisch entkoppelte Visualisierung des Anlagenzustandes erlaubt. Zur Bedienung der Anlage werden einem Benutzer hierfür notwendige virtuelle und/oder reale Bedienelemente zur Bedienung der Anlage durch Projektion auf eine Projektionsfläche oder nach dem Prinzip der Holografie in Luft visualisiert. Der Benutzer kann auf die projizierten Be dienelemente durch Fingerdruck zugreifen. Alternativ ist auch eine Bedienung durch Gestik, Mimik oder Sprache vorgesehen. Um dem Benutzer den Bezug der projizierten Bedienelemente zur realen Anlage zu erleichtern, wird zusätzlich eine Abbild der realen Anlage projiziert, wobei es sich insbesondere um ein direkt aufgenommenes Bild der Anlage handelt, welches den aktuellen Zustand der Anlage reflektiert und somit die Reaktion der Anlage auf Benutzereingaben zugänglich macht. Zusätzlich zu den visuellen Information sind auch akustische und/oder haptische Informationen zur Vermittlung des Anlagenzustandes vorgesehen.In summary The invention relates to an operating and monitoring system for industrial Installations, which are hardware decoupled from the system the system and a hardware-decoupled visualization of the system status. To operate the system will be a User for this necessary virtual and / or real operating controls the plant by projection onto a projection screen or visualized in air according to the principle of holography. The user can access the projected Be dienelemente by finger pressure. Alternatively, an operation by gestures, facial expressions or language intended. To the user the reference of the projected controls to facilitate the real investment, in addition, an image of the real Projected, in particular, a directly recorded Image of the plant is what the current state of the plant reflected and thus makes the response of the system accessible to user input. additionally The visual information also includes acoustic and / or haptic Information about the mediation of the plant state provided.

Claims (16)

System (1) zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente (2) mit einer Wiedergabeeinheit (3), einer Befehlserfassungseinheit (4) zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit (5) dadurch gekennzeichnet, dass die Verarbeitungseinheit (5) zur Verknüpfung einer ersten und einer zweiten Bildinformationsmenge (6, 7) zu einer dritten Bildinformationsmenge (8) dient, wobei die erste Bildinformationsmenge (6) auf einem Abbild der Anlage und/oder Anlagenkomponente (2) basiert, die zweite Bildinformationsmenge (7) zur Darstellung von Bedienelementen vorgesehen ist und die dritte Bildinformationsmenge (8) zur Visualisierung mittels einer Bildwiedergabeeinheit (3a) der Wiedergabeeinheit (3) vorgesehen ist.System ( 1 ) for operating and monitoring at least one plant and / or plant component ( 2 ) with a playback unit ( 3 ), a command acquisition unit ( 4 ) for capturing user input and a processing unit ( 5 ), characterized in that the processing unit ( 5 ) for linking a first and a second image information quantity ( 6 . 7 ) to a third image information set ( 8th ), the first image information quantity ( 6 ) on an image of the plant and / or plant component ( 2 ), the second image information set ( 7 ) is provided for the representation of operating elements and the third image information quantity ( 8th ) for visualization by means of a picture display unit ( 3a ) of the playback unit ( 3 ) is provided. System (1) nach Anspruch 1, dadurch gekennzeichnet, dass das System eine Bilderfassungseinheit (9) zur Erfassung der ersten Bildinformationsmenge (6) aufweist.System ( 1 ) according to claim 1, characterized in that the system comprises an image acquisition unit ( 9 ) for acquiring the first image information quantity ( 6 ) having. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinheit (9) als Kamerasystem zur insbesondere kontinuierlichen Erfassung der ersten Bildinformationsmenge (6) ausgeführt ist.System ( 1 ) according to one of the preceding claims, characterized in that the image acquisition unit ( 9 ) as a camera system for, in particular, continuous acquisition of the first image information quantity ( 6 ) is executed. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (3) eine Tonwiedergabeeinheit (3b) zur Wiedergabe von Akustiksignalen (10) und/oder eine Wiedergabeeinheit zur Wiedergabe haptischer Signale und/oder eine Wiedergabeeinheit zur Wiedergabe geruchsbildender Signale aufweist.System ( 1 ) according to one of the preceding claims, characterized in that the reproduction unit ( 3 ) a sound reproduction unit ( 3b ) for reproducing acoustic signals ( 10 ) and / or a reproduction unit for the reproduction of haptic signals and / or a reproduction unit for the reproduction of odor-forming signals. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiedergabeeinheit (3a) als Projektionsgerät ausgeführt ist und zur Darstellung der dritten Bildinformationsmenge (8) auf einer Projektionsfläche (13) oder holografisch in Luft dient.System ( 1 ) according to one of the preceding claims, characterized in that the image display unit ( 3a ) is designed as a projection device and for displaying the third image information quantity ( 8th ) on a projection surface ( 13 ) or holographically in air. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Befehlserfassungseinheit (4) eine Bilderkennungseinheit (4a) zur Erfassung einer Körperbewegung eines Benutzers (14) und zur Generierung entsprechender Bilderkennungsinformationen (11) und/oder eine Spracherkennungseinheit (4b) zur Erfassung von akustischen Befehlen des Benutzers (14) und zur Generierung entsprechender Spracherkennungsinformationen (12) aufweist.System ( 1 ) according to one of the preceding claims, characterized in that the command detection unit ( 4 ) an image recognition unit ( 4a ) for detecting a body movement of a user ( 14 ) and for generating corresponding image recognition information ( 11 ) and / or a speech recognition unit ( 4b ) for the detection of acoustic commands of the user ( 14 ) and for generating corresponding speech recognition information ( 12 ) having. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Bildinformationsmenge (7) zur Kennzeichnung virtueller Bedienelemente dient.System ( 1 ) according to one of the preceding claims, characterized in that the second image information quantity ( 7 ) is used to identify virtual controls. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Bildinformationsmenge (7) zur Kennzeichnung real an der Anlage oder Anlagenkomponente (2) vorhandener Bedienelemente dient.System ( 1 ) according to one of the preceding claims, characterized in that the second image information quantity ( 7 ) for marking real on the plant or plant component ( 2 ) existing controls is used. Verfahren zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente (2) mit Hilfe einer Wiedergabeeinheit (3), einer Befehlserfassungseinheit(4) zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit (5) dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungseinheit (5) zwei Bildinformationsmengen (6, 7) zu einer dritten Bildinformationsmenge (8) verknüpft werden, wobei die erste Bildinformationsmenge (6) auf einem Abbild der Anlage und/oder Anlagenkomponente (2) basiert, die zweite Bildinformationsmenge (7) Bedienelemente darstellt und die dritte Bildinformationsmenge (8) mittels einer Bildwiedergabeeinheit (3a) der Wiedergabeeinheit (3) visualisiert wird.Method for operating and monitoring at least one installation and / or installation component ( 2 ) by means of a playback unit ( 3 ), a command acquisition unit ( 4 ) for capturing user input and a processing unit ( 5 ) characterized in that by means of the processing unit ( 5 ) two image information sets ( 6 . 7 ) to a third image information set ( 8th ), the first image information quantity ( 6 ) on an image of the plant and / or plant component ( 2 ), the second image information set ( 7 ) Controls and the third image information set ( 8th ) by means of a picture display unit ( 3a ) of the playback unit ( 3 ) is visualized. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mit Hilfe einer Bilderfassungseinheit (9) die erste Bildinformationsmenge (6) erfasst wird.Method according to claim 9, characterized in that by means of an image acquisition unit ( 9 ) the first image information quantity ( 6 ) is detected. Verfahren nach einem der Ansprüche 9 bis 10, dadurch gekennzeichnet, dass mit Hilfe eines Kamerasystems die erste Bildinformationsmenge (6) insbesondere kontinuierlich erfasst wird.Method according to one of claims 9 to 10, characterized in that with the aid of a camera system, the first image information amount ( 6 ) is detected in particular continuously. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass Akustiksignale (10) mit Hilfe einer Tonwiedergabeeinheit (3b) und/oder haptische Signale und/oder geruchsbildende Signale wiedergegeben werden.Method according to one of claims 9 to 11, characterized in that acoustic signals ( 10 ) by means of a sound reproduction unit ( 3b ) and / or haptic signals and / or odor-causing signals. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass mit Hilfe eines Projektionsgeräts die dritte Bildinformationsmenge (8) auf einer Projektionsfläche (13) oder holografisch in Luft dargestellt wird.Method according to one of claims 9 to 12, characterized in that with the aid of a projection device, the third image information amount ( 8th ) on a projection surface ( 13 ) or holographically in air. Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass mit Hilfe einer Bilderkennungseinheit (4a) eine Körperbewegung eines Benutzers (14) erfasst und entsprechende Bilderkennungsinformationen (11) generiert werden und/oder mit Hilfe einer Spracherkennungseinheit (4b) akustische Befehle des Benutzers (14) erfasst und entsprechende Spracherkennungsinformationen (12) generiert werden.Method according to one of claims 9 to 13, characterized in that by means of an image recognition unit ( 4a ) a body movement of a user ( 14 ) and corresponding image recognition information ( 11 ) and / or with the aid of a speech recognition unit ( 4b ) user's acoustic commands ( 14 ) and corresponding speech recognition information ( 12 ) to be generated. Verfahren nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass anhand der zweiten Bildinformationsmenge (7) virtuelle Bedienelemente gekennzeichnet werden.Method according to one of claims 9 to 14, characterized in that based on the second image information quantity ( 7 ) virtual controls are marked. Verfahren nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass anhand der zweiten Bildinformationsmenge (7) real an der Anlage oder Anlagenkomponente (2) vorhandene Bedienelemente gekennzeichnet werden.Method according to one of Claims 9 to 15, characterized in that based on the second image information quantity ( 7 ) real on the plant or plant component ( 2 ) existing controls are marked.
DE102004021379A 2003-11-10 2004-04-30 Operating and monitoring system for industrial plants and processes Expired - Fee Related DE102004021379B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004021379A DE102004021379B4 (en) 2003-11-10 2004-04-30 Operating and monitoring system for industrial plants and processes

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10352893 2003-11-10
DE10352893.8 2003-11-10
DE102004021379A DE102004021379B4 (en) 2003-11-10 2004-04-30 Operating and monitoring system for industrial plants and processes

Publications (2)

Publication Number Publication Date
DE102004021379A1 true DE102004021379A1 (en) 2005-06-16
DE102004021379B4 DE102004021379B4 (en) 2007-07-12

Family

ID=34485219

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102004016329A Ceased DE102004016329A1 (en) 2003-11-10 2004-04-02 System and method for performing and visualizing simulations in an augmented reality
DE102004021379A Expired - Fee Related DE102004021379B4 (en) 2003-11-10 2004-04-30 Operating and monitoring system for industrial plants and processes

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE102004016329A Ceased DE102004016329A1 (en) 2003-11-10 2004-04-02 System and method for performing and visualizing simulations in an augmented reality

Country Status (1)

Country Link
DE (2) DE102004016329A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (en) * 2011-04-15 2012-10-18 Abb Technology Ag Operating and monitoring system for technical installations
DE102012012430A1 (en) * 2012-06-25 2014-01-02 Robert Bosch Gmbh Control device for field device and system and method for commissioning a field device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004032996A1 (en) * 2004-07-08 2006-02-16 Abb Research Ltd. Robot programming method for robot of data processing system involves functional unit whereby virtual work area is generated and course of motion for robot in start position and end position is specified
DE102005045855A1 (en) * 2005-09-26 2007-03-29 Siemens Ag Method and apparatus for facilitating the adjustment of systems in which objects are moved
JP4056542B2 (en) * 2005-09-28 2008-03-05 ファナック株式会社 Offline teaching device for robots
DE102012206712A1 (en) * 2012-04-24 2013-10-24 Homag Holzbearbeitungssysteme Gmbh Method for processing workpiece used for manufacturing e.g. furniture, involves providing command acoustically input by operator using input device such as microphone to processing unit connected to control device
CN106384374A (en) * 2016-09-27 2017-02-08 郑州云海信息技术有限公司 Method and device for realizing animation effect
DE102017215114A1 (en) * 2017-08-30 2019-02-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Manipulator system and method for controlling a robotic manipulator
DE102017130137A1 (en) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Method for simplified commissioning of a field device
DE102017130138A1 (en) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Method for simplified commissioning of a field device
DE102022122955A1 (en) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Method and device for simulated handling in real time with a container treatment machine

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052536A1 (en) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Operating and monitoring system utilizing augmented reality technology
DE10135837A1 (en) * 2001-07-23 2003-02-20 Siemens Ag Operating observing system involves detecting voice information in user voice commands, projecting system state images, combining voice information with data determining operating state

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10056291A1 (en) * 2000-11-14 2002-05-23 Siemens Ag Visual display of objects in field of view for man-machine communication by acquiring information input by user using signal or pattern recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052536A1 (en) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Operating and monitoring system utilizing augmented reality technology
DE10135837A1 (en) * 2001-07-23 2003-02-20 Siemens Ag Operating observing system involves detecting voice information in user voice commands, projecting system state images, combining voice information with data determining operating state

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (en) * 2011-04-15 2012-10-18 Abb Technology Ag Operating and monitoring system for technical installations
US20140121790A1 (en) * 2011-04-15 2014-05-01 Abb Technology Ag Device and method for the gesture control of a screen in a control room
US10824126B2 (en) * 2011-04-15 2020-11-03 Abb Schweiz Ag Device and method for the gesture control of a screen in a control room
DE102012012430A1 (en) * 2012-06-25 2014-01-02 Robert Bosch Gmbh Control device for field device and system and method for commissioning a field device

Also Published As

Publication number Publication date
DE102004016329A1 (en) 2005-05-25
DE102004021379B4 (en) 2007-07-12

Similar Documents

Publication Publication Date Title
DE102019002898B4 (en) robot simulation device
DE102005061211B4 (en) Method for creating a human-machine user interface
EP1157314B1 (en) Use of augmented reality fundamental technology for the situation-specific assistance of a skilled worker via remote experts
EP1362281B1 (en) User-controlled link of information within an augmented reality system
EP1451652B1 (en) System and method for establishing a documentation of working processes for display in an augmented reality system
EP1163557B1 (en) System and method for processing documents with a multi-layer information structure, in particular for technical and industrial applications
EP1683063A1 (en) System and method for carrying out and visually displaying simulations in an augmented reality
DE102004021379B4 (en) Operating and monitoring system for industrial plants and processes
DE102005045973A1 (en) Device for camera-based tracking has processing arrangement for determining movement information for evaluating images, whereby information characterizes object position change within time interval
EP1665023B1 (en) Method and device for controlling a virtual reality graphic system using interactive techniques
EP2753951A1 (en) Interaction with a three-dimensional virtual scenario
DE102018212944A1 (en) Procedure to support collaboration between humans and robots using data glasses
DE102015012732A1 (en) System and method for controlling, in particular for commissioning, a production plant
EP2697702B1 (en) Device and method for the gesture control of a screen in a control room
DE102004029356A1 (en) Plant`s e.g. energy distribution plant, condition monitoring system for e.g. automation engineering, has image recording unit for recording image of plant that has visualisation unit made of chromogenic material to indicate condition
DE10135837A1 (en) Operating observing system involves detecting voice information in user voice commands, projecting system state images, combining voice information with data determining operating state
DE19650328A1 (en) Visualisation arrangement for plant of raw material industry
DE102016106993A1 (en) Control and configuration unit and method for controlling and configuring a microscope
DE102021205859A1 (en) Audiovisual assistance system, method and computer program for supporting maintenance work, repair work or installation work in an industrial plant
DE102023125994A1 (en) Information processing apparatus, information processing method, robot system, method of manufacturing an article using the robot system, program and recording medium
DE102006050997A1 (en) Man-machine-interaction system for e.g. controlling and monitoring automation system, has allocation unit allocating role to user, where function spectrum of possible function is assigned to role of user through interaction process

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee