WO2012019618A2 - Method for operating, observing and/or controlling an installation, and control apparatus - Google Patents

Method for operating, observing and/or controlling an installation, and control apparatus Download PDF

Info

Publication number
WO2012019618A2
WO2012019618A2 PCT/EP2010/004859 EP2010004859W WO2012019618A2 WO 2012019618 A2 WO2012019618 A2 WO 2012019618A2 EP 2010004859 W EP2010004859 W EP 2010004859W WO 2012019618 A2 WO2012019618 A2 WO 2012019618A2
Authority
WO
WIPO (PCT)
Prior art keywords
model
image
operating
controlling
installation
Prior art date
Application number
PCT/EP2010/004859
Other languages
German (de)
French (fr)
Other versions
WO2012019618A3 (en
Inventor
Edgar Frank
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to PCT/EP2010/004859 priority Critical patent/WO2012019618A2/en
Publication of WO2012019618A2 publication Critical patent/WO2012019618A2/en
Publication of WO2012019618A3 publication Critical patent/WO2012019618A3/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23182—3D display of controlled system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32085—Layout of factory, facility, cell, production system planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the invention relates to a method for operating, monitoring and / or controlling a system by graphically representing a 3D model of at least part of the system, operating an element of the 3D model and generating a control signal for the system in response to the actuation.
  • the present invention relates to a control device for operating, monitoring and / or controlling a system with a display device for graphically displaying a 3D model of at least a portion of the system, an actuator for actuating an element of the 3D model and a driver device for generating a Control signal for the system in response to the actuation of the actuator.
  • An installation is also understood to mean a device, a machine, a vehicle and the like.
  • controls are a software component that realizes, for example, a "button", a text field, a menu and the like. Controls are usually nestable.
  • a "dialog” is also a software component that creates a surface window with a border, and a dialog is typically not nestable.
  • the 2D views should preferably be interactive, ie you should operate them and z. B. can make inputs.
  • the 2D views are normally not hard-coded, but created by users or the manufacturers of the respective system.
  • the object of the present invention is thus to propose a method with which the operation, monitoring and / or control of a system can be realized more easily.
  • a corresponding control device should be specified.
  • this object is achieved by a method for operating, monitoring and / or controlling a system by graphically representing a 3D model of at least a part of the system, operating an element of the 3D model and generating a control signal for the system in response to the actuation in which the element to be actuated is an image of a 2D element, the image is created in a standardized graphic format and incorporated into the 3D model.
  • the invention provides a control device for operating, monitoring and / or controlling a system with a display device for graphically displaying a 3D model of at least part of the system, an actuating device for actuating an element of the 3D system.
  • Model and a driver device for generating a control signal for the system in response to the actuation of the actuator wherein the element to be actuated is an image of a 2D element, the image is created in a standardized graphics format and integrated into the 3D model.
  • the standardized graphic format is preferably the bitmap format or a standardized, vector-based format. Such a format can usually be easily processed by common 3D applications.
  • the 2D element in the 3D model can be tilted and / or rotated. This completely preserves the 3D impression of the integrated 2D element.
  • Actuating the element or image thereof may include manually controlling a graphical pointer to the element and activating the element when the graphical pointer is on the element by a separate manual movement.
  • the 2D element in the 3D model can thus be activated and clicked with a mouse.
  • the 2D element can be a dialog or a control. This can also be in the 3D model simple way to represent familiar windows, buttons, text boxes, menus and the like.
  • the actuation of the image of the element in the 3D model should be forwarded to the 2D element underlying the image, and a corresponding control signal should be generated by the 2D element.
  • a reaction to the actuation can be implemented with a simple 2D application.
  • the forwarding of the operation of the image of the element can be done by a previously created mapping table. As a result, computational effort and possibly also computing time can be saved.
  • the 2D element can be part of a 2D surface.
  • the 2D interface is a larger software component created with a 2D application (eg Dialog or Control).
  • the 2D element can for example be a single button of this 2D surface.
  • FIG. 1 shows a schematic diagram for integrating a 2D surface into a 3D model
  • FIG. 2 shows a schematic diagram for operating the embedded in the 3D model 2D surface.
  • a 2D surface 1 To display 2D views (eg a 2D surface 1) in a 3D model 2 for the purpose of operating, observing and / or controlling an installation.
  • a 2D surface 1 In the 2D illustrated in FIG. Surface 1 is a so-called “dialog” that can be used, for example, to display the status data of an installation and to make or confirm entries.
  • the dialog has the form of a window and has a common framework.
  • the 3D model 2 is a three-dimensional representation of a plant, wherein the term "plant” any technical structure, in particular a manufacturing plant, a device, but also for example a train, a subway, a ship or the like can be understood.
  • the term "fade in” is understood to mean the representation of a 2D element on a surface which is located in 3D space, which ultimately means that the 2D element or the surface can also be tilted and rotated
  • the technologies for displaying 3D models can be combined with the technologies for 2D surfaces, but in order to be able to use, for example, a 2D surface created with an Etab-Herten technology also in a 3D model, according to the invention only an image of the 2D Integrated into the 3D model or displayed in the 3D model, the image is generated in a standardized format, for example, the bitmap format is used, or alternatively a standardized vector graphic can be used with which transformations (eg. Zoom) is possible in many technologies.
  • the window message WM_Print exists in Windows, and the image 5 generated by the 2D element 1 is displayed in the 3D model 2
  • the representation of an image is usually part of every conventional 3D technology.
  • 3D coordinates must then be converted to the corresponding 2D coordinates in order to forward them to the 2D original dialog 7 8.
  • the advantage of this method is that users can continue to create the 2D surfaces with the technologies that are familiar to them.
  • the 2D surfaces can be integrated generically into the 3D model without special adaptation. As long as all controls contained in the interface have a corresponding interface for UI automation, they can be operated from the 3D model. State changes and changes to the 2D surface are in the 3D model displayed by repeating the creation of the screenshot cyclically as described above. In this way, the activity of the two 2D surfaces within the 3D models can be easily ensured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

The operation, observation or control of an installation with 2D elements in a 3D model is intended to be able to be implemented easily. To this end, a method is provided in which a 3D model (2) of at least part of the installation is presented. An element of the 3D model (2) can be activated for this purpose. The element to be activated is a depiction (5) of a 2D element (1). The depiction (5) is produced in a standardized graphics format and is incorporated into the 3D model (2). Finally, a control signal is produced for the installation on the basis of the activation of the element of the 3D model (2).

Description

Beschreibung description
Verfahren zum Bedienen, Beobachten und/oder Steuern einer Anlage und Steuervorrichtung Method for operating, monitoring and / or controlling a system and control device
Die Erfindung betrifft ein Verfahren zum Bedienen, Beobachten und/oder Steuern einer Anlage durch grafisches Darstellen eines 3D-Modells zumindest eines Teils der Anlage, Betätigen eines Elements des 3D-Modells und Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen. Darüber hinaus betrifft die vorliegende Erfindung eine Steuervorrichtung zum Bedienen, Beobachten und/oder Steuern einer Anlage mit einer Anzeigeeinrichtung zum grafischen Darstellen eines 3D-Modells zumindest eines Teils der Anlage, einer Betätigungseinrichtung zum Betätigen eines Elements des 3D- odells und einer Treibereinrichtung zum Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen der Betätigungseinrichtung. Unter einer Anlage wird hier auch ein Gerät, eine Maschine, ein Fahrzeug und dergleichen verstanden . The invention relates to a method for operating, monitoring and / or controlling a system by graphically representing a 3D model of at least part of the system, operating an element of the 3D model and generating a control signal for the system in response to the actuation. Moreover, the present invention relates to a control device for operating, monitoring and / or controlling a system with a display device for graphically displaying a 3D model of at least a portion of the system, an actuator for actuating an element of the 3D model and a driver device for generating a Control signal for the system in response to the actuation of the actuator. An installation is also understood to mean a device, a machine, a vehicle and the like.
In der Automatisierungstechnik werden vielfältige Visualisierungen zum Bedienen und Beobachten von Anlagen eingesetzt. Der Trend geht hier von 2D-Visualisierungen hin zu SD- Ansichten, bei denen 3D-Modelle einer Anlage dargestellt werden. In den 3D-Modellen werden neben der Anlage selbst auch 2D-Ansichten (so genannte „Controls" und „Dialoge") dargestellt, die beispielsweise Informationen über den Zustand der Anlage anzeigen. Bei einem „Control" handelt es sich um eine Softwarekomponente, die beispielsweise einen „Button", ein Textfeld, ein Menü und dergleichen realisiert. Controls sind üblicherweise schachtelbar. Bei einem „Dialog" handelt es sich ebenfalls um eine Software-Komponente, mit der ein Oberflächenfenster mit einem Rahmen realisiert wird. Ein Dialog ist typischerweise nicht schachtelbar. Die 2D-Ansichten sollen vorzugsweise interaktiv sein, d. h. man soll sie bedienen und z. B. Eingaben vornehmen können. Die 2D-Ansichten werden im Normalfall nicht fest programmiert, sondern von Anwendern bzw. den Herstellern der jewei- ligen Anlage erstellt. In automation technology, a variety of visualizations are used for operating and monitoring systems. The trend here is from 2D visualizations to SD views, where 3D models of a plant are displayed. In addition to the system itself, the 3D models also display 2D views (so-called "controls" and "dialogs"), which, for example, display information about the condition of the system. A "control" is a software component that realizes, for example, a "button", a text field, a menu and the like. Controls are usually nestable. A "dialog" is also a software component that creates a surface window with a border, and a dialog is typically not nestable. The 2D views should preferably be interactive, ie you should operate them and z. B. can make inputs. The 2D views are normally not hard-coded, but created by users or the manufacturers of the respective system.
Bisher wurde das Problem, dass man sowohl 3D-Modelle als auch 2D-Oberflachen darstellen muss, bei vielen SD- Visualisierungen umgangen, indem man die 3D- und die 2D- Ansichten jeweils in getrennten Fenstern vorgenommen hat. In anderen Fällen, in denen 2D-Elemente eingebettet in 3D- Modelle angezeigt wurden, wurden diese in der Regel als 3D- Elemente realisiert, die flach dargestellt werden. Insbesondere mussten dabei die jeweiligen Techniken zur Implementie- rung von 3D-Elementen verwendet werden, d. h. die 2D-So far, the problem of having to display both 3D models and 2D surfaces has been circumvented in many SD visualizations by having the 3D and 2D views respectively in separate windows. In other cases where 2D elements were embedded embedded in 3D models, they were typically implemented as 3D elements that are rendered flat. In particular, the respective techniques for the implementation of 3D elements had to be used, ie. H. the 2D
Oberfläche selbst musste als 3D-Modell realisiert werden. Möchte man beispielsweise in ein 3D-Modell, das mit der Technologie „DirectX" der Firma Microsoft erstellt wird, 2D- Elemente einblenden, so müssen diese auch mit „DirectX" imp- lementiert werden. Dies ist in der Regel sehr schwierig und aufwendig . Surface itself had to be realized as a 3D model. For example, if you want to display 2D elements in a 3D model that is created using Microsoft's "DirectX" technology, then these elements must also be implemented with "DirectX". This is usually very difficult and expensive.
Die Aufgabe der vorliegenden Erfindung besteht somit darin, ein Verfahren vorzuschlagen, mit dem das Bedienen, Beobachten und/oder Steuern einer Anlage einfacher realisiert werden kann. Darüber hinaus soll eine entsprechende Steuervorrichtung angegeben werden. The object of the present invention is thus to propose a method with which the operation, monitoring and / or control of a system can be realized more easily. In addition, a corresponding control device should be specified.
Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren zum Bedienen, Beobachten und/oder Steuern einer Anlage durch grafisches Darstellen eines 3D-Modells zumindest eines Teils der Anlage, Betätigen eines Elements des 3D-Modells und Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen, wobei das zu betätigende Element ein Abbild eines 2D-Elements ist, das Abbild in einem standardisierten Grafikformat erstellt und in das 3D-Modell eingebunden wird. Darüber hinaus wird erfindungsgemäß bereitgestellt eine Steuervorrichtung zum Bedienen, Beobachten und/oder Steuern einer Anlage mit einer Anzeigeeinrichtung zum grafischen Darstellen eines 3D-Modells zumindest eines Teils der Anlage, einer Be- tätigungseinrichtung zum Betätigen eines Elements des 3D-According to the invention, this object is achieved by a method for operating, monitoring and / or controlling a system by graphically representing a 3D model of at least a part of the system, operating an element of the 3D model and generating a control signal for the system in response to the actuation in which the element to be actuated is an image of a 2D element, the image is created in a standardized graphic format and incorporated into the 3D model. In addition, the invention provides a control device for operating, monitoring and / or controlling a system with a display device for graphically displaying a 3D model of at least part of the system, an actuating device for actuating an element of the 3D system.
Modells und einer Treibereinrichtung zum Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen der Betätigungseinrichtung, wobei das zu betätigende Element ein Abbild eines 2D-Elements ist, das Abbild in einem stan- dardisierten Grafikformat erstellt und in das 3D-Modell eingebunden ist. Model and a driver device for generating a control signal for the system in response to the actuation of the actuator, wherein the element to be actuated is an image of a 2D element, the image is created in a standardized graphics format and integrated into the 3D model.
In vorteilhafter Weise ist es somit möglich, gängige Bibliotheken zur Erstellung von 2D-Applikationen zu verwenden, um Steuerelemente, Bedienelemente und/oder Beobachtungselemente in ein 3D-Modell einzubinden. Dadurch reduziert sich der Implementierungsaufwand deutlich. Advantageously, it is thus possible to use common libraries for creating 2D applications in order to integrate control elements, operating elements and / or observation elements in a 3D model. This significantly reduces the implementation effort.
Vorzugsweise handelt es sich bei dem standardisierten Grafik- format um das Bitmap-Format oder ein standardisiertes, vektorbasiertes Format. Ein derartiges Format lässt sich in der Regel problemlos von gängigen 3D-Applikationen verarbeiten. The standardized graphic format is preferably the bitmap format or a standardized, vector-based format. Such a format can usually be easily processed by common 3D applications.
Vorteilhafter Weise lässt sich das 2D-Element in dem 3D- Modell kippen und/oder drehen. Damit bleibt der 3D-Eindruck bei dem eingebundenen 2D-Element vollständig erhalten. Advantageously, the 2D element in the 3D model can be tilted and / or rotated. This completely preserves the 3D impression of the integrated 2D element.
Das Betätigen des Elements bzw. des Abbilds davon kann ein manuell gesteuertes Bewegen eines grafischen Zeigers auf das Element und ein Aktivieren des Elements, wenn sich der grafische Zeiger auf dem Element befindet, durch eine separate manuelle Bewegung beinhalten. Insbesondere kann so das 2D- Element in dem 3D-Modell mit einer Maus angesteuert und angeklickt werden. Actuating the element or image thereof may include manually controlling a graphical pointer to the element and activating the element when the graphical pointer is on the element by a separate manual movement. In particular, the 2D element in the 3D model can thus be activated and clicked with a mouse.
Bei dem 2D-Element kann es sich um einen Dialog oder ein Control handeln. Damit lassen sich auch in dem 3D-Modell auf einfache Weise gewohnte Fenster, Buttons, Textfelder, Menüs und dergleichen darstellen. The 2D element can be a dialog or a control. This can also be in the 3D model simple way to represent familiar windows, buttons, text boxes, menus and the like.
Das Betätigen des Abbilds des Elements in dem 3D-Modell soll- te zu dem dem Abbild zugrundeliegenden 2D-Element weitergeleitet werden, und von dem 2D-Element sollte ein entsprechendes Steuersignal erzeugt werden. Damit kann das Generieren einer Reaktion auf das Betätigen mit einer einfachen 2D- Applikation umgesetzt werden. The actuation of the image of the element in the 3D model should be forwarded to the 2D element underlying the image, and a corresponding control signal should be generated by the 2D element. Thus, the generation of a reaction to the actuation can be implemented with a simple 2D application.
Das Weiterleiten der Betätigung des Abbilds des Elements kann durch eine vorab erstellte Zuordnungstabelle erfolgen. Dadurch lässt sich Rechenaufwand und gegebenenfalls auch Rechenzeit einsparen. The forwarding of the operation of the image of the element can be done by a previously created mapping table. As a result, computational effort and possibly also computing time can be saved.
Das 2D-Element kann Teil einer 2D-Oberflache sei. Bei der 2D- Oberfläche handelt es sich um eine größere Softwarekomponente, die mit einer 2D-Applikation erstellt wird (z. B. Dialog oder Control) . Das 2D-Element kann beispielsweise ein einzel- ner Button dieser 2D-0berfläche sein. The 2D element can be part of a 2D surface. The 2D interface is a larger software component created with a 2D application (eg Dialog or Control). The 2D element can for example be a single button of this 2D surface.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen: FIG 1 eine Prinzipskizze zum Einbinden einer 2D-Oberfläche in ein 3D-Modell und The present invention will now be described with reference to the accompanying drawings, in which: FIG. 1 shows a schematic diagram for integrating a 2D surface into a 3D model and FIG
FIG 2 eine Prinzipskizze zum Bedienen der in das 3D-Modell eingebundenen 2D-Oberfläche . 2 shows a schematic diagram for operating the embedded in the 3D model 2D surface.
Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Der Grundgedanke der vorliegenden Erfindung besteht darin,The embodiments described in more detail below represent preferred embodiments of the present invention. The basic idea of the present invention is
2D-Ansichten (z. B. eine 2D-Oberfläche 1) in ein 3D-Modell 2 zum Zwecke des Bedienens, des Beobachtens und/oder Steuerns einer Anlage einzublenden. Bei der in FIG 1 dargestellten 2D- Oberfläche 1 handelt es sich um einen so genannten „Dialog", mit dem beispielsweise Statusdaten einer Anlage wiedergegeben und Eingaben gemacht bzw. bestätigt werden können. Der Dialog besitzt die Gestalt eines Fensters und weist einen üblichen Rahmen auf. To display 2D views (eg a 2D surface 1) in a 3D model 2 for the purpose of operating, observing and / or controlling an installation. In the 2D illustrated in FIG. Surface 1 is a so-called "dialog" that can be used, for example, to display the status data of an installation and to make or confirm entries.The dialog has the form of a window and has a common framework.
Das 3D-Modell 2 ist eine dreidimensionale Darstellung einer Anlage, wobei unter dem Begriff „Anlage" jedes technische Gebilde, insbesondere eine Fertigungsanlage, ein Gerät, aber auch beispielsweise ein Zug, eine U-Bahn, ein Schiff oder dergleichen verstanden werden kann. The 3D model 2 is a three-dimensional representation of a plant, wherein the term "plant" any technical structure, in particular a manufacturing plant, a device, but also for example a train, a subway, a ship or the like can be understood.
In dem 3D-Modell 2 ist hier symbolisch eine würfelförmige Komponente 3 zu sehen, die eine Fläche 4 besitzt. In diese Fläche soll nun die 2D-Oberfläche 1 eingeblendet werden. Hintergrund dafür ist, dass zum Erstellen der 2D-Oberfläche 1 bzw. eines beliebigen anderen 2D-Objekts gängige Bibliotheken zur Erstellung von 2D-Applikationen verwendet werden können (z. B. MFC , ActiveX) . Es muss für die Erstellung der 2D- Komponente also nicht auf komplizierte 3D-Applikationen zurückgegriffen werden. In the 3D model 2, a cube-shaped component 3, which has a surface 4, can be seen symbolically here. In this area now the 2D-surface 1 should be displayed. The reason for this is that common libraries can be used to create 2D applications (eg MFC, ActiveX) to create 2D surface 1 or any other 2D object. There is no need to resort to complicated 3D applications for creating the 2D component.
Unter dem Begriff „Einblenden" versteht man hier das Darstellen eines 2D-Elements auf einer Oberfläche, die sich im 3D- Raum befindet. Dies bedeutet letztlich, dass das 2D-Element bzw. die Oberfläche auch gekippt und gedreht werden kann. Erfindungsgemäß sollen also die Technologien für die Anzeige von 3D-Modellen mit den Technologien für 2D-Oberflächen kombiniert werden. Um jedoch beispielsweise eine mit einer etab- Herten Technologie erstellte 2D-Oberfläche auch in einem 3D- Modell nutzen zu können, wird erfindungsgemäß nur ein Abbild der 2D-Oberfläche in das 3D-Modell integriert bzw. in dem 3D- Modell angezeigt. Das Abbild wird in einem standardisierten Format generiert. Beispielsweise wird dabei das Bitmapformat genutzt. Alternativ kann auch eine standardisierte Vektorgrafik genutzt werden, mit der Transformationen (z. B. Zoom) besser durchgeführt werden können. Das Erzeugen des Abbilds 5 ist in vielen Technologien möglich. Es entspricht im Wesent- liehen der Erstellung eines „Screenshots" des jeweiligen 2D- Elements (z. B. Control oder Dialog). In Windows existiert dafür beispielsweise die Window-Message WM_Print. Das von dem 2D-Element 1 erzeugte Abbild 5 wird im 3D-Modell 2 eingeblendet bzw. dargestellt. Das Darstellen eines Bilds (z. B. im Bitmap-Format) ist in der Regel Bestandteil jeder gängigen 3D-Technologie . Um die 2D-Oberflache gemäß FIG 2 im 3-Modell bedienbar zu machen, ist es nötig, beispielsweise Mausinteraktionen 6 (Bewegungen und Klicks) auf dem Bild der Oberfläche im 3D-Modell zu analysieren und entsprechend an den 2D-Original-Dialog, der selbst nicht dargestellt wird, weiterzuleiten. Hierbei wird festgestellt, auf welchem Bildpunkt (Koordinaten im SD- Modell) der Mausklick stattgefunden hat. Diese 3D-Koordinaten müssen dann auf die dazugehörenden 2D-Koordinaten umgerechnet werden, um sie dann an die 2D-Original-Dialog 7 weiterzuleiten 8. The term "fade in" is understood to mean the representation of a 2D element on a surface which is located in 3D space, which ultimately means that the 2D element or the surface can also be tilted and rotated The technologies for displaying 3D models can be combined with the technologies for 2D surfaces, but in order to be able to use, for example, a 2D surface created with an Etab-Herten technology also in a 3D model, according to the invention only an image of the 2D Integrated into the 3D model or displayed in the 3D model, the image is generated in a standardized format, for example, the bitmap format is used, or alternatively a standardized vector graphic can be used with which transformations (eg. Zoom) is possible in many technologies. For example, the window message WM_Print exists in Windows, and the image 5 generated by the 2D element 1 is displayed in the 3D model 2 The representation of an image (eg in bitmap format) is usually part of every conventional 3D technology.To make the 2D surface according to FIG 2 in the 3-model operable, it is necessary, for example Analyze mouse interaction 6 (movements and clicks) on the image of the surface in the 3D model and forward it to the 2D original dialog, which itself is not displayed, to determine which pixel (coordinates in the SD model) These 3D coordinates must then be converted to the corresponding 2D coordinates in order to forward them to the 2D original dialog 7 8.
Die Weiterleitung an den 2D-Original-Dialog 7 kann beispielsweise über etablierte Mechanismen zur UI-Automatisierung (auf Windows-Plattformen, z. B. MSAA und UI-Automation = User Interface Automation) erfolgen. Diese Mechanismen erlauben es, von außen festzustellen, aus welchen Bestandteilen, Controls) eine Oberfläche aufgebaut ist und welche Eigenschaften diese Bestandteile jeweils haben. Hierbei kann schon vorab eine Zuordnungstabelle aufgebaut werden, über die zu einem ange- klickten Punkt das betreffende Control gefunden werden kann. The forwarding to the 2D original dialog 7 can take place, for example, via established mechanisms for UI automation (on Windows platforms, eg MSAA and UI automation = user interface automation). These mechanisms make it possible to determine from the outside, from which components, controls) a surface is built up and which properties these components have in each case. In this case, an assignment table can be set up beforehand, via which the relevant control can be found for a clicked point.
Vorteilhaft bei diesem Verfahren ist, dass die Anwender die 2D-0berflächen weiterhin mit den für sie vertrauten Technologien erstellen können. Die 2D-Oberflächen können generisch, also ohne spezielle Anpassung, in das 3D-Modell integriert werden. Solange alle enthaltenen Controls der Oberfläche eine entsprechende Schnittstelle für die UI-Automatisierung besitzen, können sie vom 3D-Modell aus bedient werden. Zustandsän- derungen und Änderungen der 2D-Oberfläche werden im 3D-Modell angezeigt, indem man das Erstellen des Screenshots wie oben beschrieben zyklisch wiederholt. Auf diese Weise kann die Aktivität der zwei 2D-Oberflächen innerhalb der 3D-Modelle auf einfache Weise gewährleistet werden. The advantage of this method is that users can continue to create the 2D surfaces with the technologies that are familiar to them. The 2D surfaces can be integrated generically into the 3D model without special adaptation. As long as all controls contained in the interface have a corresponding interface for UI automation, they can be operated from the 3D model. State changes and changes to the 2D surface are in the 3D model displayed by repeating the creation of the screenshot cyclically as described above. In this way, the activity of the two 2D surfaces within the 3D models can be easily ensured.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 2D-Oberflache1 2D surface
2 3D-Modell 2 3D model
3 Komponente  3 component
4 Fläche  4 area
5 Abbild  5 image
6 Mausinteraktionen 6 mouse interactions
7 2D-Original-Dialog7 2D original dialog
8 Weiterbildung 8 further education

Claims

Patentansprüche claims
1. Verfahren zum Bedienen, Beobachten und/oder Steuern einer Anlage durch 1. Method for operating, monitoring and / or controlling a system by
- grafisches Darstellen eines 3D-Modells (2) zumindest eines Teils der Anlage, graphical representation of a 3D model (2) of at least part of the installation,
- Betätigen eines Elements des 3D-Modells (2) und  - Pressing an element of the 3D model (2) and
- Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen,  Generating a control signal for the plant as a function of the actuation,
dadurch gekennzeichnet, dass characterized in that
- das zu betätigende Element ein Abbild (5) eines 2D- Elements (1) ist,  the element to be actuated is an image (5) of a 2D element (1),
- das Abbild (5) in einem standardisierten Grafikformat erstellt und in das 3D-Modell (2) eingebunden wird.  - The image (5) is created in a standardized graphics format and incorporated into the 3D model (2).
2. Verfahren nach Anspruch 1, wobei das standardisierte Grafikformat das Bitmap-Format oder ein standardisiertes, vektorbasiertes Format ist. 2. The method of claim 1, wherein the standardized graphics format is the bitmap format or a standardized, vector-based format.
3. Verfahren nach Anspruch 1 oder 2, wobei das 2D-Element (1) in dem 3D-Modell (2) kippbar und/oder drehbar ist. 3. The method of claim 1 or 2, wherein the 2D element (1) in the 3D model (2) is tiltable and / or rotatable.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Betätigen des Elements ein manuell gesteuertes Bewegen eines grafischen Zeigers auf das Element und ein Aktivieren des Elements, wenn sich der grafische Zeiger auf dem Element befindet, durch eine separate manuelle Bewegung beinhaltet. 4. The method of claim 1, wherein actuating the element includes manually controlling a graphical pointer to the element and activating the element when the graphical pointer is on the element by a separate manual movement.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das 2D-Element (1) ein Dialog oder ein Control ist. 5. The method according to any one of the preceding claims, wherein the 2D element (1) is a dialog or a control.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Betätigen des Abbilds (5) des Elements in dem 3D-Modell (2) zu dem dem Abbild (5) zugrundeliegenden 2D-Element (1) weitergeleitet wird und von dem 2D-Element (1) das Steuersignal erzeugt wird. 6. Method according to one of the preceding claims, wherein the actuation of the image (5) of the element in the 3D model (2) is forwarded to the 2D element (1) on which the image (5) is based, and of the 2D element (FIG. 1) the control signal is generated.
7. Verfahren nach Anspruch 6, wobei das Weiterleiten durch eine vorab erstellte Zuordnungstabelle erfolgt. 7. The method of claim 6, wherein the forwarding is performed by a pre-established mapping table.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das 2D-Element (1) Teil einer 2D-Oberflache ist. 8. The method according to any one of the preceding claims, wherein the 2D element (1) is part of a 2D surface.
9. Steuervorrichtung zum Bedienen, Beobachten und/oder Steuern einer Anlage mit 9. Control device for operating, monitoring and / or controlling a system with
einer Anzeigeeinrichtung zum grafischen Darstellen eines 3D-Modells (2) zumindest eines Teils der Anlage,  a display device for graphically displaying a 3D model (2) of at least part of the installation,
einer Betätigungseinrichtung zum Betätigen eines Elements des 3D-Modells (2) und  an actuator for actuating an element of the 3D model (2) and
einer Treibereinrichtung zum Erzeugen eines Steuersignals für die Anlage in Abhängigkeit von dem Betätigen der Betä- tigungseinrichtung ,  a driver device for generating a control signal for the system as a function of the actuation of the actuating device,
dadurch gekennzeichnet, dass characterized in that
das zu betätigende Element ein Abbild (5) eines 2D- Elements (1) ist,  the element to be actuated is an image (5) of a 2D element (1),
das Abbild (5) in einem standardisierten Grafikformat er- stellt und in das 3D-Modell (2) eingebunden ist.  The image (5) is created in a standardized graphic format and integrated into the 3D model (2).
PCT/EP2010/004859 2010-08-09 2010-08-09 Method for operating, observing and/or controlling an installation, and control apparatus WO2012019618A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/004859 WO2012019618A2 (en) 2010-08-09 2010-08-09 Method for operating, observing and/or controlling an installation, and control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/004859 WO2012019618A2 (en) 2010-08-09 2010-08-09 Method for operating, observing and/or controlling an installation, and control apparatus

Publications (2)

Publication Number Publication Date
WO2012019618A2 true WO2012019618A2 (en) 2012-02-16
WO2012019618A3 WO2012019618A3 (en) 2013-03-28

Family

ID=43856260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/004859 WO2012019618A2 (en) 2010-08-09 2010-08-09 Method for operating, observing and/or controlling an installation, and control apparatus

Country Status (1)

Country Link
WO (1) WO2012019618A2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6772017B1 (en) * 2000-01-20 2004-08-03 Fisher-Rosemount Systems, Inc. Tool for configuring and managing a process control network including the use of spatial information
US7474929B2 (en) * 2000-01-20 2009-01-06 Fisher-Rosemount Systems, Inc. Enhanced tool for managing a process control network
DE10016765A1 (en) * 2000-04-04 2001-10-11 Abb Patent Gmbh Display system for generation of hybrid two-dimensional or three-dimensional representation of conditions within airport environment has data server that provides input to interpretation model
SI2080073T1 (en) * 2006-10-24 2011-10-28 Krones Ag Manipulation aid for a device for manipulating containers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
WO2012019618A3 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
WO2022042925A1 (en) Method and assembly for presenting a three-dimensional building model on a display device on the basis of a knowledge graph
EP3269580B1 (en) Method for operating a vehicle information system and vehicle information system of a vehicle
DE102015103735A1 (en) Method and device for testing a device to be operated in an aircraft
DE102013011818B4 (en) Simulator for a working machine
DE102018200011A1 (en) Test system and method for testing a control of an at least partially autonomous vehicle in a virtual environment
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
EP3263392A1 (en) Method and device for adjusting of at least one movable first seat element of a vehicle seat
EP2068214A1 (en) Graphical programming by derivating the process control sequence from the connection of dynamic graphical objects
WO2008074561A1 (en) Method for displaying a map section in a navigation system, and navigation system
WO2017025644A1 (en) System for monitoring a technical device
WO2005101148A2 (en) Method and system for the virtual start-up of a technical plant with the aid of a preferred use
DE102013223058A1 (en) METHOD AND SYSTEM FOR SELECTING TERMS THAT USE A TOUCH SCREEN
DE102016001998A1 (en) A motor vehicle operating device and method for operating an operating device to effect an interaction between a virtual display plane and a hand
WO2012019618A2 (en) Method for operating, observing and/or controlling an installation, and control apparatus
EP2642359A1 (en) Device for developing and method for creating a programm for an electronical control unit
DE102015012732A1 (en) System and method for controlling, in particular for commissioning, a production plant
EP3094516B1 (en) Method and device for providing a user with feedback on an input
EP1693738A1 (en) Two-dimensional control area.
DE102008045123B4 (en) Assistance and information device in a motor vehicle and method for outputting information
EP3058547B1 (en) Method and arrangement for presenting a display element
DE102013209853A1 (en) Parking assistance system and method for performing a semi-automatic parking or Rangiervorgangs a vehicle
AT525369B1 (en) Test environment for urban human-machine interaction
DE102020107997A1 (en) Method for operating a digital assistant of a vehicle, computer-readable medium, system and vehicle
DE102017203329A1 (en) Method and simulation device for simulating at least one component
EP1826687B1 (en) Method and device for program supported handling of technical documentation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10754411

Country of ref document: EP

Kind code of ref document: A2

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10754411

Country of ref document: EP

Kind code of ref document: A2