DE10361511A1

DE10361511A1 - Kontextabhängige Bedienung von Engineering-Systemen über zeichnerische Eingaben

Info

Publication number: DE10361511A1
Application number: DE10361511A
Authority: DE
Inventors: Rainer Heller; Thomas Jachmann
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2003-12-23
Filing date: 2003-12-23
Publication date: 2005-07-28
Also published as: WO2005064423A2; WO2005064423A3

Abstract

Die Erfindung betrifft ein System, eine Vorrichtung sowie ein Verfahren zur kontextabhängigen Bedienung von Engineering-Systemen im Automatisierungsumfeld. Hierbei wird beispielsweise ein Tablet-PC zur Eingabe von Symbolen oder Textelementen durch einen Benutzer bei der Erstellung von Kontakt- oder Funktionsplänen verwendet. Der Benutzer kann seine Engineering-Lösung quasi skizzieren; ähnlich wie auf einem Zeichenblatt. Die Symbole und Textelemente werden von der Vorrichtung in Bezug auf ihre Semantik erkannt.

Description

Kontextabhängige Bedienung von Engineering-Systemen über zeichnerische Eingaben Automatisierungssysteme müssen engineered werden, d.h. in einem umfänglichen Prozess wird festgelegt welche Busparametrierung, welche Hardware-Elemente, welche Bausteine, welche Anwenderprogramme etc. später eine lauffähige Automatisierungsanlage ergeben. Heute existierende Engineering-Systeme sind z.B. Step 7, PCS7 oder Simotion Scout der Siemens A&D. Auch B&B Systeme zur Überwachung und Bedienung eines Automatisierungssystems bzw. einer Anlage haben einen "Engineering" Aspekt, wenn es um die Erstellung und Verknüpfung von "Screens" (verschieden gestaltete Bedienoberflächen für den Anwender) geht.

Grafische Oberflächen sind bei solchen Applikationen Stand der Technik. Die Bedienung heutiger Automatisierungs-Software (insbesondere Engineering-Systeme) erfolgt in der Regel mit der Tastatur und der Maus. Für Ungeübte gestaltet sich der schnelle Umgang mit der Maus schwierig. Die Tastatur ist typischerweise nur etwas für den Experten-Anwender, doch selbst der Einsteiger wird zu einem dauernden Wechsel zwischen Maus und Tastatur durch heutige Bedienkonzepte gezwungen. Dies reduziert die mögliche Arbeitsgeschwindigkeit des Anwenders deutlich, ist aber heute spätestens bei der Eingabe von Text (z.B. Symbol-Namen oder Kommentare) unerlässlich.

Hierbei sind die im Engineering-System zu tätigenden Eingaben zudem durch gänzlich andere Tätigkeiten gekennzeichnet, als sie einem Inbetriebsetzer oder einem Elektromeister, welche für die Erstellung des entsprechenden Funktions- bzw. Stromlaufplan verantwortlich sind, nahe liegen. Der Anwender muss sich an eine IT-lastige Umwelt anpassen, die seine Performanz und reduziert und ggf, die sogar Zielerreichung verhindert, da der Anwender diese Umwelt nicht versteht oder sie ihm nicht eingängig ist. Es müssen ggf. für die Umsetzung in das Engineering-System speziell ausgebildete Experten zur Verfügung stehen.

Der Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung sowie ein Verfahren anzugeben, mit Hilfe dessen eine einfache Bedienung eines Engineering-Systems über die Erstellung von Skizzen ermöglicht wird.

Die Aufgabe wird erfindungsgemäß durch eine Vorrichtung gemäß den Merkmalen des Anspruchs 1 gelöst. Die Aufgabe wird erfindungsgemäß weiterhin durch ein Verfahren gemäß den Merkmalen des Anspruchs 20 gelöst.

Der Erfindung liegt die Erkenntnis zugrunde, dass der Einsatz neu auf dem Markt verfügbarer Formfaktoren an Geräten z.B. in Form von Tablet PCs den Aufwand für die oben beschriebenen Engineering-Tätigkeiten stark zu reduzieren vermag und, was noch viel wichtiger ist, die Bediener, typischerweise Inbetriebsetzer oder Elektromeister, mehr in ihrem Metier abzuholen.

Hierbei existieren für die neuen Bedienanforderungen durch neue Formfaktoren bisher noch keine Konzepte. Obwohl hier mit dem Stylus als Zeichengerät ein neues Eingabegerät zur Verfügung steht, wird dieses lediglich als Maus-Ersatz verwendet.

Die bisher in den Engineering-Systemen bzw. speziellen Editoren eingesetzten Bedienphilosophien sind für den Umgang mit Stylus-basierten Systemen wie z.B. Tablet PCs nur begrenzt geeignet und lassen an vielen Stellen bezüglich ihrer Effektivität und Usability (Bedienbarkeit) zu wünschen übrig.

Die Erfindung beschreibt nun ein Verfahren, dass die Nutzung der neuen effektiven Möglichkeiten von Stylus-basierter Bedienung für Automatisierungs-Software erlaubt. Dies wird durch die Definition einer Gesten-Sprache erreicht, die durch den Anwender mit Hilfe des Stylus oder ähnlichen zukünftigen gestikorientierten Eingabesystemen ausgeführt wird.

Vorraussetzung für eine solche Vorgehensweise ist, dass es sich bei den zu bedienenden Applikationen um grafik-lastige Editoren handelt, die nur eine begrenzte Anzahl an Freiheitsgraden aufweisen. Weniger nützlich ist der Einsatz in text- lastigen Anwendungsfällen.

Tablet PCs z.B. mit einer Windows XP Tablet Editon sind sehr gut in der Text-Erkennung. Ihre Aufgabe ist es, dem Benutzer eine Schreibfläche zu bieten, wo er mit einem speziellen Stift schriftliche Notizen und Skizzen machen kann, die später z.B. als Besprechungsnotizen genutzt werden können. Geschriebener Text lässt sich durch die vorhandene Texterkennung in vom Computer erkannten Text konvertieren. Weiterhin sind einige Grafikprogramme (die speziell für Tablet PCs designed wurden) in der Lage einfache geometrische Formen (Linien, Kreise, Ellipsen, Rechtecke) zu erkennen und diese "glatt zu ziehen" nachdem sie vom Benutzer gemalt wurden. Im Rahmen der vorliegenden Erfindung wird nun das Bedien-Paradigma in die Applikationsführung eines Engineering-Systems übertragen und mit einer kontext-adaptiven Erkennung von Elementen und Symbolen ausgestattet.

Hierbei werden die einfachen Erkennungsalgorithmen für Grafik-Primitive sowie die Erkennung von Text genutzt, um deren Verhalten innerhalb einer beschränkten grafischen Applikation zur einfachen und natürlichen Bedienung von Engineering-Systemen heranzuziehen.

Wenn ein mittels Zeichnung eingegebenes Symbol oder Textelement nicht sofort endgültig erkannt werden kann, und man auf weiter einschränkende Eingaben warten kann, ist es im Rahmen einer vorteilhaften Ausbildung der Erfindung möglich, dem Benutzer eine Auswahl der möglichen Interpretationen anzubieten. Dies ist typischerweise der Fall, nachdem einem noch nicht eindeutig zuordenbaren Element ein einschränkendes Kriterium hinzugefügt wurde (typischerweise durch die Bestimmung einer relativen Position. Wird hier z.B. Text erkannt kann dieser als Filterkriterium für die Auswahlliste dienen (z.B. als "beginnt mit", oder "beinhaltet"-Einschränkung) Besonders vorteilhaft ist es in diesem Falle, dem Benutzer die verbliebenen Auswahlmöglichkeiten visuell um die aktuell von ihm bearbeitete Stelle herum darzustellen werden. So muss er seinen Kontext nicht verlassen und kann mit einer einfachen "Geste" seine endgültige Auswahl treffen. Eine Geste ist hierbei eine besonders einfache Skizze oder ein Zeichen, hinter der ein Befehl liegt (beispielsweise ein großes X durch ein Symbol, wenn das Symbol gelöscht werden soll oder ein Haken zur Bestätigung einer Eingabe.

Die Bereitstellung der Auswahlmöglichkeiten kann z.B. durch eine matrixartige Darstellung der Auswahlmöglichkeiten geschehen (z.B. unterhalb des Elementes). Ideal hierfür ist aber auch die Darstellung als ein erweitertes "Pie-Menu" (siehe z.B. auch http://www.piemenus.com), wie in der Figurenbeschreibung näher erläutert.

Eine andere Alternative der Auswahl aus einer Vielzahl an Möglichkeiten besteht durch vor- oder benutzerdefinierte Symboliken. Will der Benutzer z.B. einen häufig verwendeten Baustein immer wieder einfügen, so kann er diesen mit einem Symbol versehen. Ist erst einmal eine Geste zugeordnet, so kann der zugehörige Baustein durch das einfache Zeichnen (und Erkennen) der Symbolik ausgewählt werden.

Einfügen von Symbolen oder Textelementen und deren Verknüpfung sind bereits deutliche Kommandos an das System. Aber auch das Löschen, Bestätigen etc. lässt sich auf einfache Gesten zurückführen (z.B. ein Haken für eine Bestätigung, ein Umkringeln einer Auswahlmöglichkeit zu dessen Übernahme, ein Durchstreichen für ein Löschen oder eine Ablehnung etc.). Da durch wird der Benutzer nicht gezwungen das Paradigma zu verlassen und z.B. eine Dialogbox zu bestätigen.

Das beschriebene Prinzip ist über den kompletten Lebenszyklus einer Automatisierungsanlage einsetzbar – von der Planung, dem Engineering, der Inbetriebnahme, der Überwachung bis hin zur Wartung. Die Bedienung passt sich dabei zwar dem Anwendungsfall an, unterscheidet sich aber von ihrer Gestik etc. nicht. So kann das Verfahren bereits in Kundengesprächen Einsatz, finden, wo die Aufgabe skizziert wird, schnell änderbar ist und so im direkten Dialog mit dem Kunden bereits ein weiterverwertbares Ergebnis entsteht (z.B. im Rahmen der Hardware-Auslegung einer Anlage, die dann direkt in den Hardware-Editor einfließen kann.

So findet das Prinzip nicht nur bei der Ersterstellung von Engineering-Lösungen Einsatz. Auch bei dem weiteren Umgang, z.B. der Simulation, dem Forcen etc. bedient sich der Anwender derselben, ihm bekannten Symbolsprache. Zusätzlich ist hier der Stylus bzw. das Zeichengerät als "Prüfspitze" einsetzbar, welche die spezielle Eigenschaften eines angewählten Elementes darstellt oder auslöst.

Weiterhin lassen sich so Anwenderszenarien in den Vordergrund rücken und die Grenzen der einzelnen Applikationen, die an einer Aufgabe beteiligt sind verwischen dabei. Kommentare, Anmerkungen, Fragen, Offene Punkte etc. können direkt in den Editoren frei platziert und vermerkt werden. Noch nicht bekannte Elemente (z.B. ein noch nicht definiertes Symbol oder eine Meldung) wird benutzt, vom System als noch nicht vorhanden erkannt und markiert und kann so mit einer einfachen Geste entsprechend erzeugt und verwendet werden (sozusagen: "Creation by using").

Hierbei wird im Rahmen der erfindungsgemäßen Vorrichtung zwischen den unterschiedlichen Editoren, die ihre Regeln für den jeweiligen Anwendungs-Kontext zur Erkennung der eingegebenen Symbole und Textelemente haben, auf der Bedienoberfläche der Vorrichtung gewechselt, wenn dies vom Benutzer eingegeben wird. Dieser Wechsel kann beispielsweise wieder durch das Eingeben einfacher Gesten mittels des Zeichengeräts auf der Bedienoberfläche durch den Anwender bzw. Benutzer der Vorrichtung erfolgen.

Bei der Erkennung von gezeichneten Symbolen oder Textelementen sind zwei Möglichkeiten im Rahmen der Erfindung denkbar. In beiden Fällen erkennt das System unmittelbar nach dem Zeichnen das Symbol bzw. Textelement und damit die Intention des Benutzers.

Bei der ersten Alternative wandelt es darauf hin sofort das erkannte Symbol in einen Repräsentanten des gezeichneten Elements um. Die vom Benutzer gezeichnete Darstellung geht dabei verloren. Der Vorteil bei dieser Ausführungsvariante der Erfindung liegt darin, dass das gezeichnete Element automatisch "sauber" bzw. geglättet dargestellt wird. Das System kann sofort deutlich machen als was das System die Eingabe erkannt hat. Dies ist z.B. insbesondere bei Bausteinen notwendig, zu denen es weitere Informationen wie Eingänge und Ausgänge anzuzeigen gilt.

Dem Benutzer wird sein gezeichnetes Element hierbei jedoch "unter der Nase" weggezogen. Eine Neuorientierung mag darauf hin notwendig sein. Gerade, wenn in diesem Fall auch Verbindungen durch Autorouter neu gezeichnet werden müssen, mag dies zu überraschenden Ergebnissen führen.

Die zweite Alternative wäre, das vom Benutzer Gezeichnete beizubehalten (ggf. unter leichter Glättung des Gezeichneten) und erst in einem zweiten Schritt eine Umwandlung durchzuführen. Dies bedeutet natürlich nicht, dass der Benutzer kein Feedback über erkannte Elemente erhält. Dies kann beispielsweise durch Strichstärken oder Farben passieren (Beispiel: Er malt in Blau und alle erkannten Bestandteile werden in Schwarz gewandelt). Der Vorteil hierbei ist, dass der Benutzer nicht bei der Eingabe gestört wird. Die Zeichnungen können jedoch ziemlich schnell "chaotisch" werden.

Eine völlig freie Erkennung von gezeichneten Elementen ist extrem aufwändig, jedoch können typische Automatisierungs-Editoren ein Bewusstsein für ihre Umgebung besitzen: Hier ist nicht alles möglich, sondern das Platzieren von Blöcken, Verbinden von Kontakten etc. unterliegt strengen Regeln.

Weiterhin ist die Erstellung ein iterativer Prozess, d.h. der Benutzer zeichnet ein Element nach dem anderen. Dadurch kann jedes neu gezeichnete Symbol oder Textelement sofort einer Verarbeitung unterworfen werden.

Vor allem in der Inbetriebnahmephase einer engineerten Anlage kommen die Online- und Diagnose-Möglichkeiten eines Engineering-Systems ins Spiel. Hier besteht im Rahmen einer vorteilhaften Ausbildung der Erfindung die Möglichkeit, reale Werte in den Plänen anzuzeigen, die beispielsweise an den Eingängen bzw. Ausgängen von Bausteinen anliegen. Schon heute ist es möglich detailliertere Information (z.B. über Änderungszeitstempel des Wertes oder Quality of Service) zu erhalten, indem man mit der Maus über einen Eingang sich bewegt. Dieses Verhalten lässt sich mit einem Stylus viel einfacher Lösen, imitiert er doch die Verwendung einer Prüfspitze eines Messinstruments noch viel besser.

Im Rahmen der Erfindung besteht weiterhin die Möglichkeit Zeichenflächen mehrerer Vorrichtungen im Sinne eines Collaboration-Tool gemeinsam zu nutzen. Dies dient in erster Linie dazu, Skizzen zusammen zu erstellen und gemeinsam an einer (zeichnerischen) Lösung zu arbeiten. Durch die vorliegende Erfindung kann das heute in der Regel noch verwendete "dumme" Zeichenblatt in diesem Szenario mit intelligenten Erkennungsmechanismen kombiniert werden. Diese vorteilhafte Verwendung der erfindungsgemäßen Vorrichtung führt zu einer ganz neuen Qualität als Collaboration-Engineering Tool.

Die Interaktion zwischen den verschiedenen beteiligten Benutzern kann hierbei über ein Intra- oder Internet erfolgen. Die Benutzer können über einzelnen Vorrichtungen mit entsprechenden Bedienoberflächen an einer Engineering-Lösung arbeiten.

Die Bedienoberflächen können hierbei als Clients, Thin Clients oder auch PDAs ausgebildet sein, wenn die Funktionalität, die heute in einem Tablet PC realisiert ist sich dort implementieren lässt.

Die Verknüpfung von Kontexten mit strukturierten grafisch skizzierten Elementen erhöht die Produktivität der Anwender und erlaubt sie, in ihrem Metier zu unterstützen. Dem Benutzer wird nicht mehr die Computer-Sicht der Dinge aufgezwungen, sondern er bewegt sich in einem Umfeld, wie er auch typischerweise seine Probleme sonst zu Papier bringen würde: Mit Stift und Block; nur ist hier der Block ein Tablet PC.

Weitere vorteilhafte Ausbildungen der Erfindung sind in den Unteransprüchen angegeben.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert.
Es zeigen:
1 Eine schematische Darstellung der Vorrichtung zur Bedienung eines Engineering-Systems
2 Eine beispielhafte Darstellung der eingegebenen Skizze in einen KOP-Editor
3 Eine beispielhafte Darstellung der eingegebenen Skizze in einen FUP-Editor
4 Eine beispielhafte Darstellung der eingegebenen Skizze in einen CFC-Editor
5 Einen beispielhafte Darstellung einer Auswahlliste als Pie Menu
1 zeigt ein Schema der erfindungsgemäßen Vorrichtung mit einer Bedienoberfläche 1 zur Eingabe von Symbolen S und Textelementen T durch einen Benutzer U der Vorrichtung. Hierbei werden die Symbole S und Textelemente T mit Hilfe eines Zeichengeräts P, beispielsweise eines Stylus zur Bedienung eines Tablet PC vom Benutzer U eingegeben. Der Benutzer U zeichnet auf der Bedienoberfläche 1 so, wie er das auch auf einem normalen Blatt Papier mit einem Stift täte.
Vom Benutzer auf der Bedienoberfläche gezeichnete Symbole S und Textelemente T werden durch die Bestimmungsmittel 2 in Bezug auf ihre Position auf der Bedienoberfläche 1 bestimmt. Hierbei wird die Position der Symbole S und Textelemente T durch ihre absolute Lage auf der Bedienoberfläche 1 bestimmt oder die Position wird durch die relative Lage der Symbole S und Textelemente T zu anderen, bereits eingegebenen Symbolen S und Textelementen T berechnet. Auf Basis der berechneten Position der Symbole S und Textelemente T wird mit Hilfe der Erkennungsmittel, die hinter den Symbolen S und Textelementen T liegende Semantik erkannt. Hierbei wird beispielsweise erkannt, dass eine gezeichnete Linie, welche zwei bereits erkannte Symbole miteinander verbindet im Rahmen eines Kontaktplans eine Verbindung zur Kommunikation zwischen den zwei bereits erkannten Symbolen darstellt.
Zusätzlich kann für die Erkennung der Symbole S und Textelemente T auch eine Kontext-Information KI zur Hilfe genommen werden. Die Kontext-Information KI wird von den Bereitstellungsmitteln 4 für die Erkennungsmittel 3 und die Bestimmungsmittel 2 zur Verfügung gestellt. Bei der Kontext-Information KI handelt es sich um bereits erkannte und in ihrer Position bestimmte Symbole S und Textelemente T, welche im Rahmen des verwendeten Editors mit seinen dahinter liegenden Regeln dazu verwendet werden, neu gezeichnete Elemente bzw.
weitere Elemente auf einfachere Weise im Zusammenhang des Kontexts erkennen zu können. Die Kontext-Information KI wächst im Verlauf der Nutzung der Vorrichtung durch die Benutzer U an, und die Erkennung weiterer Symbole S und Textelemente T wird im Verlauf des Erstellens einer Engineering-Lösung immer einfacher. Es handelt sich bei der Erstellung der Engineering-Lösungen mittels des erfindungsgemäßen Systems um einen iterativen Prozess. Die Erkennung muss hierbei nicht "augenblicklich" bei der Eingabe erfolgen. Man kann sich auch merken, wann Elemente eingegeben wurden und diese dann nach ihrer Reihenfolge danach (z.B. auf Tastendruck) erkennen.
Im Folgenden wird das Verfahren der Erstellung einer Engineering-Lösung schrittweise beschrieben:
Ein über die Bedienoberfläche 1 eingegebenes Symbol S oder Textelement T wird von den bisher schon erkannten Elementen separiert. Es wird die Entfernung zwischen dem Symbol S oder Textelement T und den restlichen, bereits erkannten, Elementen mithilfe der Bestimmungsmittel 2 berechnet. Bei den als "nah" eingestuften Elementen wird nun ebenfalls die relative Platzierung (z.B. "über", "unter", "links direkt angrenzend" "innerhalb",...) bestimmt. Diese relative Platzierung kann auch auf der Bedienoberfläche 1 visualisiert werden, wodurch der Benutzer U noch weiter durch das Programm bei seiner Eingabe geführt wird.
Die Eingabe von Textelementen T ist hierbei kritisch, da ein gekritzelter Linienzug sich von vorne herein nur schwer als solcher erkennen lässt. Dies kann entweder durch den Versuch erreicht werden, alle ("textähnlichen") Elemente zu interpretieren, und aus der Grafikeingabe den Text zu erkennen. Dessen Qualität (z.B. handelt es sich dabei um sinnvolle Worte einer Sprache) kann dann als Faktor in den nachfolgenden Erkennungsalgorithmus von Grafik-Primitiven einfließen. Eine andere Möglichkeit ist die Unterstützung der Erkennung von Text durch einfach zu erkennenden Symbole oder Zeichen (z.B. Pfeile).
Ein ausgewählter Erkennungsalgorithmus, der ggf. bereits aufgrund der absoluten oder der relativen Position ausgewählt wurde bzw. durch dessen Informationen gewichtet (parametriert) wird, interpretiert nun das Symbol S oder Textelement. Ist die Form oder die Lage "einzigartig", so kann das Symbol S oder Textelement T bereits eindeutig bestimmt werden. Wurde das Symbol S oder Textelement T als gültig erkannt wird es der Menge der bereits erkannten Elemente hinzugefügt und dient, durch die Bereitstellungsmittel, für den nächsten Schritt ebenfalls als Kontext-Information KI.
Häufiger ist es jedoch, dass das Symbol S oder Textelement T nur einer Gruppe von Möglichkeiten zugeordnet werden kann, z. B. "Es handelt sich um einen Baustein", klar ist dabei aber noch nicht, um welchen genau. In diesem Fall ist eine weitere Bestimmung durch den Benutzer U notwendig. In vielen Fällen kommt der relativen Position "innerhalb" (in manchen Fällen auch "über" oder "unter") eine besondere Bedeutung zu. Weitere Grafik-Primitive können so noch nicht eindeutig erkannte Symbole S oder Textelemente T letztlich exakt bestimmen.
Die Bedienung der Applikationen wird demnach durch das Zeichnen von grafischen Symbolen S durch den Benutzer U bestimmt. Die dabei eingesetzte Bildsprache entspricht weitgehend dem intuitiven Erfahrungsschatz des Benutzers U: Es werden die den Elementen (wie Blöcken, Kontakten, Bausteinen, etc.) zugrunde liegenden Grafik-Primitive verwendet. Dabei handelt es sich typischerweise um Linien, Rechtecke, Kreise etc., die auch in den, dem Umfeld häufig zugrunde liegenden Normen, beschrieben sind.
2 zeigt einen mit einem Tablet PC skizzierten KOP – noch ohne angewandte Analyse-Funktionalität der gezeichneten Elemente.
Statt dass der Benutzer Kontakte in einen Stromlaufplan einfügt, malt er diese in die Stromlinien. Will er einen Abzweig einfügen, zeichnet er diesen ein. Will er einen Kontakt negieren macht er dies an diesem deutlich, z.B. indem er ihn durchstreicht. Will er einen Kontakt mit einem Symbol verknüpfen, notiert er den Namen des Symbols einfach über einem Kontakt. Will er einen Baustein einfügen, malt er diesen einfach als Kasten in einen Stromlaufplan, danach definiert er, um welche es sich dabei handelt. Die Definition kann beispielsweise über Auswahllisten erfolgen.
Beim KOP lassen sich durch die Zurückführung der gezeichneten Elemente auf Grafikprimitive z.B. Kontakte durch zwei senkrechte Linien erkennen. Sind diese in der Nähe einer Stromlaufschiene, so wird der Kontakt in diese eingefügt.
3 zeigt einen mit einem Tablet PC skizzierten FUP – ohne angewandte Analyse-Funktionalität der, gezeichneten Elemente.
Der Benutzer U malt Und- und Oder-Glieder durch Kästen. Will er an einem solchen Und/Oder Glied einen neuen Eingang hinzufügen, zeichnet er ihn einfach ein. Die Verknüpfung der Bausteine erfolgt durch das Ziehen von Linien zwischen den Bausteinen, ohne auf die Linienführung groß zu achten. Will er einen Eingang negieren, markiert es dies an diesem, z.B. indem er einen Kreis vor dem Eingang malt, wie es in solchen Schaltplänen üblich ist.
4 zeigt einen mit einem Tablet PC skizzierten CFC – noch ohne angewandte Analyse Funktionalität der gezeichneten Elemente. Der Benutzer zeichnet Rechtecke und definiert, um welche Bausteine es sich dabei handelt. Die Verschaltung der Ein- und Ausgänge geschieht durch das Malen von Linien.
5 zeigt ein Beispiel für die Auswahl aus Listen am Beispiel der Darstellung von Auswahlmöglichkeiten als Pie Menu. Der Benutzer U zieht z.B. ein Rechteck um das Plazieren eines Bausteins bzw. Symbols S oder Textelements T zu symbolisieren. Noch ist unklar, um welchen Baustein es sich dabei handelt. Typischerweise würde der Benutzer U jetzt die Bibliothek nach dem Baustein durchsuchen, den er möchte. Dies würde ihn jedoch bei seiner Arbeit behindern. Vielmehr nutzt er einen Filter als ein weiteres Element dieser Erfindung. Er weiß, er benötigt einen PID Regler. Er hat bereits durch das Zeichnen des Rechtecks signalisiert, dass er einen Block platzieren möchte. So schreibt er einfach in den "Baustein in spe" ein Suchkriterium. Daraufhin wird ihm eine eingeschränkte Liste der möglichen zu platzierenden Bausteine an Ort und Stelle angezeigt. Er wählt einen aus und der Baustein ist platziert.
Ebenso kann dies bei Eindeutigkeit auch sofort erfolgen. Erkennt die Analyse beispielsweise ein "&" in einem Block oder ein ">= 1", so ist dies typischerweise (in einem FUP oder CFC) eindeutig und kann dann ohne Nachfrage zum Einfügen eines Und bzw. Oder Glieds führen.
Will man in einem Editor ein nicht verwendetes Symbol S oder Textelement T verwenden, kann die Vorrichtung es als noch nicht vorhanden erkennen und wie in der Figur skizziert, hier mit dem Bezugszeichen M versehen, markieren. Dann kann man vor Ort, wieder durch Auswertung des Positionsprinzips bei der Analyse, diese Symbole S oder Textelemente T beispielsweise einfach in die Symboltabelle eintragen, indem eine Verknüpfung der Daten skizziert wird (siehe z.B. das skizzierte FUP oder CFC Beispiel).
Ein weiteres typisches Einsatzgebiet sind beispielsweise Kommentare, die vor Ort mit Teilen den Plänen oder auch mit verbundenen Objekten verknüpft werden können. Dies kann, wie im Bild mit Hilfe einer Sprechblase oder mit einer Verknüpfungsgeste (ähnlich dem Pfeil, mit dem man beispielsweise einen neuen Symboltabelleneintrag erreichen kann) durchgeführt werden.
Im Rahmen der Vorrichtung und des Verfahrens können benutzerdefinierte Symboliken, wie beispielsweise die Sprungfunktion im Block im CFC oder FUP Bild erstellt werden. Diese könnte einer oder einer Reihe von Elementen aus dem Bausteinkatalog zugeordnet sein. Durch Eingabe des zugeordneten Symbols S oder Textelement T wird dadurch der Katalog auf die mit diesem Symbol S oder Textelement T verknüpften Einträge reduziert angezeigt.
Zusammenfassend betrifft die Erfindung ein System, eine Vorrichtung sowie ein Verfahren zur kontextabhängigen Bedienung von Engineering-Systemen im Automatisierungsumfeld. Hierbei wird beispielsweise ein Tablet PC zur Eingabe von Symbolen oder Textelementen durch einen Benutzer bei der Erstellung von Kontakt- oder Funktionsplänen verwendet. Der Benutzer kann seine Engineering-Lösung quasi skizzieren; ähnlich wie auf einem Zeichenblatt. Die Symbole und Textelemente werden von der Vorrichtung in Bezug auf ihre Semantik erkannt.

Claims

Vorrichtung zur Bedienung von Engineering-Systemen, insbesondere im Automatisierungsumfeld, mit – einer Bedienoberfläche (1) zur Eingabe von grafischen Symbolen und/oder Textelementen (S,T) durch einen Benutzer (U) mittels eines Zeichengeräts (P), – Bestimmungsmitteln (2) zur Bestimmung der absoluten Position der eingegebenen Symbole und/oder Textelemente (S,T) und/oder zur Bestimmung der relativen Position (Pos) der eingegebenen Symbole und/oder Textelemente (S,T) im Verhältnis zu bereits vorhandenen Symbolen und/oder Textelementen (S,T), – Erkennungsmitteln (3) zur Erkennung der eingegebenen Symbole und/oder Textelemente (S,T) durch Interpretation der absoluten und/oder relativen Position (Pos) und/oder einer vorhandenen Kontext-Information (KI) und/oder durch vom Benutzer (U) über die Benutzeroberfläche (1) tätigbare Eingaben und – Bereitstellungsmitteln (4) zur Bereitstellung erkannter Symbole und/oder Textelemente (S,T) für die Bestimmungsmittel (1) und/oder die Erkennungsmittel (2) als Kontext-Information (KI) zur Bestimmung der Position und Erkennung weiterer Symbole und/oder Textelemente (S,T).
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein Anwendungs-Kontext (AK), in dem die Eingabe durch den Anwender erfolgt vorgebbar ist, wobei der Anwendungs-Kontext (AK) während der Benutzung wechselbar ist.
Vorrichtung nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass in Abhängigkeit des Anwendungs-Kontexts (AK) Regeln für die Bestimmung der Position und die Erkennung der Symbole und/oder Textelemente (S,T) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bestimmungsmittel (2) zur Bestimmung der Position neu eingegebener Symbole und/oder Textelemente (S,T) durch Berechnung der Entfernung zu bereits bestehenden und/oder erkannten Symbolen und/oder Textelementen (S) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bedienoberfläche (1) zur Visualisierung der Position der Symbole und/oder Textelemente (S,T) vorgesehen ist.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Erkennungsmittel (3) zur Erkennung von Textelementen (T) anhand ihrer sprachlichen Qualität vorgesehen sind.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Erkennungsmittel (3) zur Erkennung von Textelementen (T) durch die Zuweisung spezifischer Symbole (S) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Erkennungsmittel (3) zur Auswahl von Erkennungsalgorithmen auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) vorgesehen sind.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass ein ausgewählter Erkennungsalgorithmus auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) parametrierbar ist.
Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Vorrichtung zur Darstellung und/oder zum Angebot von Auswahllisten (L) mit spezifischen Symbolen und/oder Textelementen (S,T) und/oder zusätzliche Angaben zu vom Benutzer (U) gezeichneten Symbolen (S) vorgesehen ist.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Auswahllisten (L) durch vom Benutzer (U) eingebbare Filter-Kriterien einschränkbar sind.
Vorrichtung nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass die Elemente einer Auswahlliste (L) auf der Bedienoberfläche (1) dem zu spezifizierenden Symbol und/oder Textelement (S,T) räumlich zugeordnet und zur direkten Auswahl durch den Benutzer vorgesehen sind.
Vorrichtung nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Eingabe von Befehlen durch einen Benutzer (U) mittels spezieller Gesten vorgesehen ist.
Vorrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Definition von Symboliken für ausgewählte Bausteine durch den Benutzer (U) vorgesehen ist.
Vorrichtung nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass das Zeichengerät (P) zur Verwendung als Erfassungsmittel, insbesondere als Prüfspitze für eine Online-Diagnose und/oder eine Simulation vorgesehen ist.
Vorrichtung nach einem der Ansprüche 1. bis 15, dadurch gekennzeichnet, dass die Vorrichtung zur automatischen Umwandlung der auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textele mente (S,T) in Repräsentanten nach Bestimmung der Position und Erkennung vorgesehen ist.
Vorrichtung nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Vorrichtung zur Umwandlung der auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente in Repräsentanten auf Befehl vom Benutzer hin vorgesehen ist.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Vorrichtung zur Visualisierung der bereits bestimmten und erkannten Symbole und/oder Textelemente (S,T) durch spezielle grafische Darstellung vorgesehen ist.
System bestehend aus zwei oder mehr Vorrichtungen nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass die Vorrichtungen zur Bedienung eines Engineering-Systems durch mehrere Anwender vorgesehen sind.
Verfahren zur Bedienung von Engineering-Systemen, insbesondere im Automatisierungsumfeld, bei dem – grafische Symbole und/oder Textelemente (S,T) durch einen Benutzer (U) mittels eines Zeichengeräts (P) eingegeben werden, – die absolute Position der eingegebenen Symbole und/oder Textelemente (S,T) und/oder die relative Position (Pos) der eingegebenen Symbole und/oder Textelemente (S,T) im Verhältnis zu bereits vorhandenen Symbolen und/oder Textelementen (S, T) bestimmt wird, – die eingegebenen Symbole und/oder Textelemente (S,T) durch Interpretation der absoluten und/oder relativen Position (Pos) und/oder einer vorhandenen Kontext-Information (KI) und/oder durch vom Benutzer (U) über die Benutzeroberfläche (1) eingebbare Signale erkannt werden und – erkannte Symbole und/oder Textelemente (S,T) für die Bestimmungsmittel (1) und/oder die Erkennungsmittel (2) als Kontext-Information (KI) zur Bestimmung der Position und Erkennung neuer Symbole und/oder Textelemente (S,T) bereitgestellt werden.
Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass ein Anwendungs-Kontext (AK), in dem die Eingabe durch den Anwender erfolgt vorgegeben wird, wobei der Anwendungs-Kontext (AK) während der Benutzung gewechselt werden kann.
Verfahren nach den Ansprüchen 20 oder 21, dadurch gekennzeichnet, dass in Abhängigkeit des Anwendungs-Kontexts (AK) Regeln für die Bestimmung der Position und die Erkennung der Symbole und/oder Textelemente (S,T) vorgegeben werden.
Verfahren nach einem der Ansprüche 20 bis 22, dadurch gekennzeichnet, dass die Position der Symbole und/oder Textelemente (S,T) durch die Entfernung zu bereits bestehenden und/oder erkannten Symbolen und/oder Textelementen (S) berechnet wird.
Verfahren nach einem der Ansprüche 20 bis 23, dadurch gekennzeichnet, dass die Position der Symbole und/oder Textelemente (S,T) visualisiert wird.
Verfahren nach einem der Ansprüche 20 bis 24, dadurch gekennzeichnet, dass Textelemente (T) durch ihre sprachliche Qualität erkannt werden.
Verfahren nach einem der Ansprüche 20 bis 24, dadurch gekennzeichnet, dass Textelemente (T) durch die Zuweisung spezifischer Symbole (5) erkannt werden.
Verfahren nach einem der Ansprüche 20 bis 26, dadurch gekennzeichnet, dass Erkennungsalgorithmen auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) ausgewählt werden.
Verfahren nach Anspruch 27, dadurch gekennzeichnet, dass ein ausgewählter Erkennungsalgorithmus auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) parametriert wird.
Verfahren nach einem der Ansprüche 20 bis 28, dadurch gekennzeichnet, dass Auswahllisten (L) mit spezifischen Symbolen und/oder Textelementen (S,T) und/oder zusätzliche Angaben zu vom Benutzer (U) gezeichneten Symbolen (S) dargestellt werden.
Verfahren nach Anspruch 29, dadurch gekennzeichnet, dass die Auswahllisten (L) durch vom Benutzer (U) eingebbare Filter-Kriterien eingeschränkt werden.
Verfahren nach einem der Ansprüche 29 oder 30, dadurch gekennzeichnet, dass die Elemente einer Auswahlliste (L) auf der Bedienoberfläche (1) dem zu spezifizierenden Symbol und/oder Textelement (S,T) räumlich zugeordnet sind und durch den Benutzer direkt ausgewählt werden.
Verfahren nach einem der Ansprüche 20 bis 31, dadurch gekennzeichnet, dass Befehle durch einen Benutzer (U) mittels spezieller Gesten eingegeben werden.
Verfahren nach einem der Ansprüche 20 bis 32, dadurch gekennzeichnet, dass ausgewählte Bausteine durch den Benutzer (U) über Symboliken definiert werden.
Verfahren nach einem der Ansprüche 20 bis 33, dadurch gekennzeichnet, dass die Zeichenmittel (P) als Erfassungsmittel, insbesondere Prüfspitze, für eine Online-Diagnose und/oder eine Simulation verwendet werden.
Verfahren nach einem der Ansprüche 20 bis 34, dadurch gekennzeichnet, dass die auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente (S,T) nach Bestimmung der Position und Erkennung automatisch in Repräsentanten umgewandelt werden.
Verfahren nach einem der Ansprüche 20 bis 34, dadurch gekennzeichnet, dass die auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente auf Befehl vom Benutzer hin in Repräsentanten umgewandelt werden.
Verfahren nach Anspruch 36, dadurch gekennzeichnet, dass die bereits bestimmten und erkannten Symbole und/oder Textelemente (S,T) durch spezielle grafische Darstellung visualisiert werden.
Verfahren nach einem der Ansprüche 20 bis 37, dadurch gekennzeichnet, dass mehrere Anwender ein Engineering-System gemeinsam bedienen.