DE102005061211A1

DE102005061211A1 - Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche

Info

Publication number: DE102005061211A1
Application number: DE102005061211A
Authority: DE
Inventors: John Pretlove; Charlotte Skourup; Pierre ÖBERG; Thomas Pettersen; Christoffer Apneseth
Original assignee: ABB Research Ltd Switzerland; ABB Research Ltd Sweden
Current assignee: ABB Schweiz AG
Priority date: 2004-12-22
Filing date: 2005-12-21
Publication date: 2006-09-07
Anticipated expiration: 2025-12-22
Also published as: DE102005061211B4; US20060241792A1; US7787992B2

Abstract

Ein Verfahren zum Generieren von technischen Informationen über ein Gerät oder einen Prozess durch Erkennung der Identität eines Gerätes (7) oder Prozesses, Aufrufen eines gespeicherten Bilds (14', 17') abhängig von dem Gerät, Kombinieren des gespeicherten virtuellen Bilds zusammen mit einem Bild eines realen Gerät-Objekts (7), Anzeigen der Kombination auf einer Anzeige (3) und Bereitstellen eines virtuellen Steuer-MMO-Mittels (14') dem Benutzer zum Überwachen und/oder Kontrollieren des Geräts oder Prozesses. Eine graphische Benutzer-Oberfläche, ein Computerprogramm und ein System werden ebenfalls beschrieben.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren und ein System, um eine Mensch-Maschine-Benutzer-Oberfläche zur Überwachung und/oder Steuerung eines industriellen Prozesses oder Geräts zu generieren. Die Erfindung kann auf vielen Gebieten, wie Öl und Gas, Elektrizitäts-Erzeugung, Übertragung, Verteilung, sowie in der Industrie, angewendet werden. Die Erfindung kann zur Überwachung, zur Steuerung und/oder zur Programmierung von industriellen Robotern für Robotik und automatischen Anwendungen, angewendet werden.
Hintergrund zum Stand der Technik
Ein Techniker oder ein Außendienst-Betreiber, in z. B. einer verfahrenstechnischen Anlage, Fabrikationsanlage, auf Plattformen vor der Küste oder einer elektrischen Stromübertragungs- oder Verteilungs-Anlage oder Schaltstation, braucht beide um mit Systemen oder Geräten in der installierten Ausstattung zu interagieren und um Zugang zu Information und Unterlagen über die installierte Ausstattung zu haben. Verschiedene Benutzer-Oberflächen, beide physische und Software-Oberflächen, für die installierte Ausstattung, Betriebs-Geräte und -Systeme und so weiter, sind oft verschieden ausgelegt, so dass die Außendienst-Betreiber lernen müssen, wie man eine Vielzahl von verschiedenen Benutzer-Oberflächen benutzt. Die verschiedenen Ausstattungs-Oberflächen können auch oft mit einander unvereinbar sein.
Der Außendienst-Betreiber braucht, neben interagieren mit installierter Ausstattung oder Geräten oder Systemen, Zugang zu Unterlagen jeglicher Art, was ein Handbuch, Abstammungs-Daten, Wartungs-Geschichte & Reparaturberichte und desgleichen sein können. Obgleich der Trend dazu geht, dass Teile solcher Unterlagen elektrisch erhältlich geworden sind, werden sie oft in verschiedenen Systemen und an verschiedenen Standorten gespeichert. Daher müssen die Außendienst-Betreiber, entweder die Informations-Sammlung für ihre Arbeits-Aufgabe im Vorfeld planen, oder sie müssen die weiterlaufenden Aufgaben unterbrechen, um Unterstützungs-Information und Unterlagen für die installierte Ausstattung, den Prozess oder das Gerät zu finden und dann darauf zugreifen.
Als ein Beispiel innerhalb von Fabrikationsanlagen, kann ein Fließband einige Roboter einschließen, die für gewöhnlich von separaten Steuergeräten und/oder Handprogrammier-Geräten gesteuert werden. Der Betreiber braucht ab einem bestimmten Punkt das interagieren mit den Robotern, um z. B. einen Status zu prüfen, Betriebs-Parameter für die Roboter zu inspizieren oder ein neues Roboter-Steuer-Programm zu erstellen. Ein genereller Missstand ist, dass der Betreiber das Interaktions-Gerät wechseln muss, in diesem Fall für jeden Roboter in Abfolge zu einer anderen Steuerung oder anderem Handprogrammier-Gerät wechseln, obgleich einige Roboter angeordnet werden können, um eine Aufgabe auf einmal zu vollführen.
Erweiterte Realität (ER) ist ein Verfahren des Darüberlegens von realen Welt-Darstellungen mit computergenerierten Graphiken. Idealerweise werden für die auf Sicht basierende erweiterte Realität, die computergenerierten Graphiken mit realen Welt-Bildern auf eine Art kombiniert, in welcher der Benutzer nicht in der Lage sein wird irgendeinen Unterschied zwischen der realen und der computergenerierten Graphiken zu erkennen. Der Benutzer wird eine Wahrnehmung der realen Welt-Umgebung erhalten, welche verbessert ist durch die Anwesenheit von zugefügten visuellen Bildern.
Erweiterte Realitäts-Techniken werden heutzutage in etlichen Anwendungen benutzt. Beispiele der Benutzung sind innerhalb von Medien, z. B. Wetterberichterstattung, Medizin, z. B. Visualisierung von inneren Organen, für gemeinschaftliche Umgebungen, z. B. virtuelle Besprechungszimmer, und in der Luftfahrt-Industrie für Kombination von realen Welt- Bildern und anderer Information über projizierte Frontscheiben-Anzeigen und/oder in Flugsimulator-Projektionen.
In der Hand haltbare und tragbare Steuer-Konsolen mit Interaktions-Möglichkeiten existieren bereits und das Interesse an solchen Geräten nimmt zu. Die Benutzung von Mobil-Telefonen und PDA's, als die Oberfläche für Systeme oder Geräte ist bekannt. Auch Tablet-PC's, welche z.B. in Krankenhäusern benutzt wurden, stellen eine Oberfläche bereit, die den Benutzer, durch berühren des Bildschirms, leicht herumführen und mit ihm interagieren kann.
Ein neu eingeführtes Gerät ist die virtuelle Tastatur. Ein Bild einer Tastatur, eine virtuelle Tastatur, wird z. B. auf einen Tisch projiziert und kann typischerweise das Eingabemittel für den eigentlichen Computer sein. Der Benutzer berührt oder drückt die Tasten des Bildes, der virtuellen Tastatur, und ein assoziatives System erkennt die spezifischen berührten Tasten, als wie wenn der Benutzer eine Standard-Tastatur bedient hat. Virtuelle Tastaturen sind als kommerzielle Produkte erhältlich, die von einigen Herstellern, z. B. Canesta, Senseboard Technologies und Samsung, angeboten werden.

US 6,614,422 mit dem Titel „Verfahren und Apparat zur Einspeisung von Daten durch benutzen eines virtuellen Eingabegerätes"; eröffnet digitale Benutzer-Eingabe in ein begleitendes System wie ein PDA, ein zellulares Telefon oder ein Anwendungs-Gerät durch benutzen eines virtuellen Eingabe-Geräts wie einem Bild einer Tastatur. Ein Sensor fängt dreidimensionale Positions-Information von dem Standort der Finger des Benutzers, in Bezug zu wo die Tasten auf einer eigentlichen Tastatur wären, ein. Diese Information wird in Bezug auf den Finger-Standorten und Geschwindigkeiten und Form verarbeitet, um zu bestimmen, wann eine virtuelle Taste angeschlagen wurde. Die verarbeitete digitale Information wird an ein begleitendes System ausgegeben.

US. 6,618,425 mit dem Titel „Virtueller Laser-Betreiber"; eröffnet eine Laser-Steuerung, die einen virtuellen Laser-Betreiber umfassen. Eine Laser-Steuerung, der zusammengeschaltet ist mit einem elektrischen Entladungs-Laser, steht in Verbindung mit einem entlegenen Computer, der einen Anzeige-Bildschirm vereinigt, der eine konventionelle Tastatur nachbildet. Der Anzeige-Bildschirm hat eine Mehrheit von Bildern von Tasten, virtuellen Tasten, wobei jede eine physische Taste einer konventionellen Tastatur nachbildet. Ein Tastenanschlag wird typischerweise durch das manuelle drücken der Position einer übereinstimmenden virtuellen Taste auf einem berührungsempfindlichen Bildschirm durch, oder alternativ durch auslösen eines konventionellen Zeige-Geräts, den Betreiber ausgeführt.

Zusammenfassung der Erfindung

Ein erstes Ziel der vorliegenden Erfindung ist, ein Verfahren bereitzustellen, um zusätzliche Information, zu existierender Fabrik, zu generieren und um mit existierender Fabrik-Information für den Betreiber im Außendienst zu interagieren, die erweiterte Realitäts-Techniken zum Benutzen zur Identifizierung einer Steuer-Strategie benutzen, um einen industriellen Automatisierungs-Prozess zum Benutzen zu steuern.

Ein zweites Ziel der vorliegenden Erfindung ist es, eine zusätzliche Information, in Form von graphischer Information, bedienbar durch den Betreiber, bereitzustellen, um in direktem Bezug zu einer spezifischen Ausstattung und/oder Gerät zur Überwachung von, und Interaktion mit, einer spezifischen Ausstattung, Fabrik oder Prozess, aufzurufen, zu untersuchen und zu benutzen. Ein anderes Ziel ist, eine zusätzliche Information in Form von graphischer Information bereitzustellen, die durch den Betreiber bedienbar ist, um für eine spezifische Ausstattung, Fabrik oder Prozess, auf Steuerungs-Aktionen zugriff zu haben, zu untersuchen und sie auszuführen.

Die oberen und mehr Ziele wurden gemäß der Erfindung, durch ein Verfahren nach unabhängigem Anspruch 1 und ein System gemäß dem unabhängigen System-Anspruch, welcher die Benutzung des Verfahrens vereint, erreicht.

Gemäß eines ersten Aspekts der Erfindung, wird ein Verfahren zum Benutzen erweiterter Realität (ER) zur Generierung von Information für den Außendienst-Betreiber beschrieben und Interaktion mit Information, z. B. in einer verfahrenstechnischen Anlage, durch den Außendienst-Betreiber. Dieser Aspekt der Erfindung stellt Lösungen zur Funktion der Generierung und Anzeige virtueller Information in direkter Beziehung mit einer spezifischen Ausstattung und/oder Geräts zur Überwachung von und Interaktion mit der spezifischen Ausstattung oder Geräts, und/oder betreffenden Teilen des Steuerungs-Systems bereit;
Gemäß eines zweiten Aspekts der Erfindung, wird ein Verfahren zur Anzeige von ER virtueller Information an einen oder mehrere entlegen lokalisierte Experten, zur weiteren Interaktion, und zur weiteren Interaktion mit dem Originalbenutzer oder Betreiber beschrieben.

Gemäß eines dritten Aspekts der Erfindung, wird ein Verfahren zur Anzeige von ER virtueller Information beschrieben, deren generierte Anzeige-Information der Benutzer benutzen kann, um ihn/sie durch die Fabrik oder den Prozess an einen spezifischen Standort der spezifischen Ausstattung zu führen.

Das generelle Ziel dieser Erfindung ist, zusätzliche Information in Form von „virtueller" Information über ein Gerät oder Prozess zu generieren und es einem Außendienst-Betreiber anzuzeigen (z.B. einem Betreiber, einem Service-Techniker, einer Wartungsperson, Originalhersteller, einem Verfahrenstechniker usw.). Zuerst wird in diesem beschriebenen Verfahren relevante Information dem Außendienst-Betreiber zum Überwachen und Interagieren mit dem industriellen Prozess oder Gerät vorgelegt. Positionsinformation muss daher aufgerufen, erfasst und/oder berechnet werden, um Aufenthaltsorte in dem Prozess, an denen sich der Betreiber gegenwärtig befindet, zu bestimmen. Verschiedene Verfolgungs- und Erkennungs-Technologien können benutzt werden, um diese Funktion auszuführen. Virtuelle Information wird generiert und dann über Bilder von der realen Welt des Prozesses oder Geräts von Interesse gelegt. Information, die sich auf Ausstattung und/oder Geräte in dem Prozess bezieht, wird direkt angezeigt, über die spezifische Ausstattung und/oder Gerät gelegt. Beispiele von Ausstattung/Geräte-Information, können online oder offline Ablesungen oder Alarme, Ereignisse sein, wie:
'Tank Füllstand: 70%'
'Motor an'
'Alarm: Temperatur ist über max. Sollwert'

Des Weiteren kann eine komplette virtuelle Steuer-Konsole zur Überwachung und Interaktion direkt auf der spezifischen Ausstattung und/oder dem spezifischen Gerät angezeigt werden.

Gemäß einer anderen Ausführungsform der Erfindung, wird ein System beschrieben, welches mindestens ein Verfolgungs-System und eine Anzeige (bevorzugt eine am Kopf befestigte Anzeige, tragbare Brille, kann jedoch ein PDA, ein Tablet-PC usw. sein) umfasst. Das Verfolgungs-System umfasst ein Zeige-Gerät oder interagierendes Zeige-Gerät, welches durch den Benutzer oder Betreiber benutzt wird, um zu der Ausstattung in der realen Welt zu zeigen und, um auf visuelle Bilder zu zeigen oder mit visuellen Bildern zu interagieren, virtuell und/oder real in der erweiterten Realitäts-Anzeige.

Der hauptsächliche Vorteil der Erfindung ist, dass relevante Information für ein spezifisches Gerät oder einen Prozess aufgerufen wird und in ein Bild generiert wird, das einem Benutzer bereitgestellt wird, welches zur gleichen Zeit untersucht werden kann, in der der Benutzer das Gerät oder den Prozess untersucht. Die Information kann so differenziert sein wie eine virtuelle Steuer-Konsole oder ein Bildschirm für das Gerät und so einfach wie Text-Information eines Herstellerhandbuchs oder eines Fehlersuche-Schemas.

Andere Vorteile schließen ein, dass:

– vorlegen virtueller Information, in der realen Welt an eine Geräteausstattung, draußen in der verfahrenstechnische Anlage, positioniert und natürlich angebracht ist,
Information, die sich auf eine Gerät/Ausstattung bezieht, ist immer zur Hand und erhältlich,
– die Information kann z. B. von einer einzelnen Quelle bereitgestellt werden und/oder kann die aktuellste Version sein,
– relevante, zusammenhangsbewusste Information kann vorgelegt werden und/oder auf sie in einer intuitiven Art zugegriffen werden,
– Kontrollraum-Funktionalität kann draußen in der verfahrenstechnischen Anlage oder in Verteiler-Schaltanlage bereitgestellt werden, mit der Fähigkeit Information direkt wie Echtzeit-Prozess-Parameter, implizite Information z. B. berechnete Tasten-Vollführungs-Anzeiger, Unterlagen, zu sehen,
– Interaktion oder Thematisierung einer Steuerungs-Aktion für die Ausstattung oder das Gerät kann über ein virtuelles Bildschirm oder virtuelle Steuer-Konsole bereitgestellt werden,
– es gibt keinen Bedarf von virtuellen ,Bildschirmen' selbst, widerstandsfähiger und/oder intrinsisch sicher bescheinigt zu sein,
– virtuelle Anmerkungen und/oder Anweisungen sind an den Geräten einfach und effektiv „angebracht",
– MMO und Steuer-Oberflächen können einfach standardisiert werden und somit einfach durch Betreiber und andere Benutzer rekonfiguriert werden,
– teilen und interagieren mit Anwendungs-Teilung zwischen einem oder mehr entlegen lokalisierten Experten und dem Außendienst-Betreiber ist mit der Fähigkeit bereitgestellt, für irgendeinen Informations-Empfänger „virtuelle" Information, während Anweisung durch eine Experten-Informations-Zusammenfassung, durch den Betreiber oder durch einen Experten, während Erklärungen, Diskussionen usw. darüberzulegen,
– Information oder Anzeigen für den Benutzer, um Führung zu geben, um physische Standorte in der verfahrenstechnischen Anlage zu finden, werden mit Hilfe von virtueller Information bereitgestellt (entweder initialisiert durch den entfernt lokalisierten Experten oder auf Anfrage durch das System automatisch).

Ferner werden weitere und vorteilhafte Aspekte der Erfindung in Bezug auf einen independent Anspruch für eine graphische Benutzer-Oberfläche und einen Anspruch für ein Computer-Programm zur Implementierung des Verfahrens und einen Anspruch für ein Produkt des Computer-Programms, der das Computer-Programm umfasst, beschrieben.

Kurzbeschreibung der Zeichnungen
Ausführungsformen der Erfindung werden nun nur an Hand von Beispielen mit spezieller Bezugnahme auf die angehängten Zeichnungen beschrieben, in welchen:
1 eine schematische oder Blockdiagramm- Übersicht einer Anzeige einer Mensch-Maschine-Oberfläche unter Benutzung erweiterter Realität gemäß einer Ausführungsform der Erfindung ist;
2 ein schematisches Diagramm einer Mensch-Maschine-Oberfläche unter Benutzung erweiterter Realität gemäß einer Ausführungsform der Erfindung ist;
3. ein schematisches Ablaufschema für ein Verfahren zur Bereitstellung einer Mensch-Maschine-Oberfläche unter Benutzung erweiterter Realität gemäß einer Ausführungsform der Erfindung ist;
4 eine schematische oder Blockdiagramm- Übersicht einer Anzeige einer Mensch-Maschine-Oberfläche unter Benutzung erweiterter Realität gemäß einer anderen Ausführungsform der Erfindung ist.
Detaillierte Beschreibung der Ausführungsformen
1 zeigt einen schematischen Überblick in welchem sich ein Benutzer 1 einem Objekt 7 annähert. Benutzer 1 hat ein Anzeigegerät 3, welches eine am Kopf befestigte Anzeige sein kann. Objekt 7 ist mit einem identifizierenden Marker 8 angeordnet. Benutzer 1 ist mit einer Kamera, bevorzugt einer Video-Kamera, und einem Zeige-Gerät 4 ausgestattet. Steuer-Ausstattung, welche in etwas Abstand von der Ausstattung von Interesse lokalisiert sein kann, ist mit der Ausstattung von Interesse (Objekt 7) über ein Steuersystem, dezentrales Steuersystem (DSA) oder auf eine andere Art verbunden. Die Steuer-Ausstattung, die entlegen sein kann, umfasst Informations-Anzeigen 17 oder Ausleser, und eine oder mehrere Steuer-Schalter oder Steuer-Konsolen 14.
Sich nahe der Ausstattung von Interesse, Objekt 7, aufhaltend, sieht der Benutzer 1 in der Anzeige 3, ein zusammengesetztes Bild 9, welches ein Bild 7' eines realen Objekts, ein computergeneriertes graphisches Bild 4' des Zeigers und ein oder mehrere computergenerierte Bilder 14' der Unterlagen und/oder Graphik-Objekte zur Steuerung, wie einen Bildschirm oder eine Steuer-Konsole 17' einschließt. Das computergenerierte Bild für die Ausstattung von Interesse wird abhängig von der Identität des ausgewählten Objekts 7 ausgewählt, abgerufen oder anderweitig generiert. Die Anzeige 3 ist bevorzugt eine am Kopf Befestigte, wie eine Brille. Die Figur zeigt auch, dass der Benutzer irgendwie mit einem ER-System 18 und über ein Daten-Netzwerk 10 mit einer Quelle der Unterstützungs-Unterlagen 14 verbunden ist. Die Unterlagen können Text einschließen und können im speziellen erweiterte Realitäts-Objekte und andere Graphik-Objekte einschließen. ER-System 18 umfasst ein Verfolgungs-System oder ein Sicht-System, um den gegenwärtigen Standpunkt des Benutzers zu bestimmen und Eingaben von einem Ausstattungs-Identifizierenden Marker, wie Marker 8 und/oder Zeiger 4; einem Graphik-Generator, und Oberflächen von vernetzten Unterstützungs-Systemen wie ein LAN, WLAN, DCS, AIP zu handhaben.
2 ist eine schematische Ansicht, die einen Benutzer 1 zeigt, der mit einem Anzeigegerät 3 wie Brille, einem Zeiger 4 und einem Computer, wie einem tragbaren Computer 2, ausgestattet ist. Der Benutzer nähert sich einem Objekt 7, wie einem Gerät, einer Ausstattung oder System von Interesse, welches mit einem Marker 8 angeordnet ist. Der Benutzer hat eine Kamera 6 und eine Verfolgungs-Einheit 5, welche in diesem Fall auf Sicht basierend ist.
Der Betreiber 1 geht in der Umgebung umher. Das Verfolgungs-System 5 erkennt bekannte Identitäten (ID's) von Geräten, wie Objekt 7, in der Umgebung. In dem Fall, wo das Verfolgungs-System wie in 2 auf Sicht basierend ist, trägt der Betreiber eine Kamera 6, die an seinem Kopf angebracht ist. Die Kamera 6 nimmt direkt ein Video von der realen Welt auf. Die Kamera 6 kann auch zur erweiterten Realitäts-Visualisierung der virtuellen Steuer-Konsole benutz werden, für den Fall, dass das „Video- Durchsicht"-Verfahren („video see through") benutzt wird.
Die virtuellen Graphiken zeigen in 1 schematisch 9, wie Beispiele 17, 4', 14', eine virtuelle Steuer-Konsole 14' einschließend, entweder als „optische Durchsicht" oder „Video-Durchsicht" auf der tragbaren Anzeige 3 visualisiert werden, welche bevorzugt tragbare Brille oder eine am Kopf befestigte Anzeige oder eine projizierte Frontscheiben-Anzeige ist. Ebenso wie eine normale optische Anzeige, ist es auch möglich direkte Projektion von virtueller/computergenerierter Information in das Auge zu benutzen, eine „virtuelle Netzhaut-Anzeige" ist eine alternative, wenn die zusätzliche Komplexität gerechtfertigt ist. Der Benutzer hat ein Zeige-Gerät 4 (welches auf der Anzeige als ein Bild 4' gezeigt ist), um mit den virtuellen Graphiken und im speziellen mit der virtuellen Steuer-Konsole 14' zu interagieren. Das Zeige-Gerät 4 kann ein integriertes Verfolgungs- System, z. B. GPS-überwacht, kreisel-basierend oder ultraschall-basierend, haben, um es zu befähigen auf Posen in der Umgebung zu zeigen, Posen in der Umgebung zu verfolgen, identifizieren der Positions-Koordinaten und Orientierung des Zeigers und, um mit dem System mittels dieser Positions-Information zu interagieren. Alternativ oder ebenfalls, kann die Kamera 6 benutzt werden, um als auf Sicht basierende Verfolgungs-Information für die Interaktion und Zeige-Gerät 4 bereitzustehen.
3 zeigt ein Diagramm, das ein Ablaufschema für ein Verfahren gemäß einer Ausführungsform der Erfindung umfasst. Es zeigt ein Verfolgungs-System 20, eine Anwendungs-Einheit 21 und Speicher-Einheit 22 und eine Graphik-(ER)-Einheit 23. Der Betreiber benutzt ein interagierendes Gerät, wie den Zeiger 4 aus 1, 2, welcher durch ein Verfolgungs-Gerät verfolgt werden kann, welches ein, in den Zeiger, integriertes System, ein auf Sicht basierendes System 5, wie in 2 gezeigt, oder ein anderes Verfolgungs-System sein kann.
Jede Ausstattung, Gerät, Instrument und System in der Installations-Umgebung, das der Benutzer benutzen wird, um zu überwachen und damit, wie durch Objekt 7 repräsentiert, zu interagieren, hat an ihnen eine Art von bekannter ID 8 begreifend angebracht. Die ID's werden gespeichert in oder andererseits durch das Steuer-System abrufbar, so dass ein Verfolgungs-System, wie Verfolgungs-System 5, das spezifische Gerät/System identifizieren kann, wenn es untersucht wird. Das Verfolgungs-System 5 bestimmt die Position und Orientierung des Objekts, d.h. einer Ausstattung oder eines Geräts oder Systems, das teilweise auf dem bekannten ID 8 jedes Ding basiert. Die ID 8 ist auch angepasst an eine oder mehrere übereinstimmende computergenerierte Information in Form von virtuellen Graphikansichten wie 17', 14', die auf dem Speichermittel 22 gespeichert sind. Die virtuellen Graphiken können als graphische Teile oder Komponenten oder graphische Grundelemente gespeichert werden, welche, wenn sie zusammengesetzt, gruppiert oder generiert sind, ein virtuelles Bild wie 17', 14' formen. Alternativ zum Benutzer eines Verfolgungs-Systems, wie durch das Verfolgungs-System 5 beispielhaft erläutert, können der Zeiger und das Interaktions-Gerät (4) ein integriertes System haben, das zum identifizieren spezifischer Ausstattung, Geräte und Systeme benutzt werden kann. Eine andere Lösung ist, die Positions-Verfolgung des Benutzers und seines Kopfes zu benutzen, um zu identifizieren was er ansieht. Ohne Bezug zum benutzten System zum Verfolgen der Position, wird dann eine absolute Position hinsichtlich Koordinaten gegen gespeicherte Positionen von Ausstattung, Geräten und Systemen in dem Steuer-System oder in einem assoziierten Computersystem abgebildet.
Das System hat mindestens einen vordefinierten und konfigurierten Satz von computergenerierter Information gespeichert, die die spezifische Ausstattung betrifft. Dies kann irgendeine graphische Ansicht oder Oberfläche/Bildschirm 14', Text-Anweisungen für spezifische betreffende Ausstattung umfassen. Solche graphischen Ansichten, Text und/oder Oberflächen werden gegen die bekannte ID abgebildet, die an der spezifischen Ausstattung/Gerät und/oder einer einzigartigen Position des Benutzers in der verfahrenstechnischen Anlage angebracht ist.
Ein tragbarer Computer 2, wie in 2 gezeigt, oder ein stationärer Computer, kann die notwendige Software beinhalten, um die erweiterte Realitäts-Steuer-Konsole 14' zu generieren, die, in dem Fall, dass die Video- Durchsicht benutzt wird, auf der Ausgabe von einem Verfolgungs-System wie dem Verfolgungs-System 5 und dem Video-Datenstrom der Kamera 6 basiert. Der tragbare Computer 2 beinhaltet auch die Software, die für das vollführen das erwünschte Überwachen, Inspizieren, Steuern usw. notwendig ist, Aufgabe oder Prozess sollen der Betreiber oder andere Benutzer ausführen, z. B. wechselseitige Kommunikation mit Ausstattung, Geräten, Instrumenten oder Systemen, Echtzeit-Daten-Verwaltung und Visualisierung. Des Weiteren kann der tragbare Computer 2 die virtuellen Graphiken generieren, welche die ER-Oberfläche für die kombinierte Ansicht 9 1 bereitstellen werden. Der tragbare Computer 2 kann zusätzlich ein Speicher-Medium umfassen, um vorher gesicherte Information zu sichern und zu aufrufen. Alternativ kann das Speicher-Medium auf einem Server lokalisiert sein, so dass das tragbare Computer-System teilweise als eine Kunden/Server-Lösung mit dem tragbaren Computer 2, der die Kunden-Funktion oder -Funktionen aufweist, funktioniert.
Kommunikation der Information von der Interaktion und von dem Zeige-Gerät 4 mit dem tragbaren Computer 2 wird durch eine Kabel- oder Kabellos-Verbindung bewerkstelligt. Abhängig von der Art des Verfolgungs-Systems, kann die Pose des interagierenden Zeige-Geräts 4 von dem Zeige-Gerät selbst kommen, oder von einem externen Verfolgungs-System oder z. B. von einem System, wie das Verfolgungs-System 5. Kommunikation mit der Verfolgungs-Funktion ist durch ein Kabel- oder Kabellos-Kommunikations-Medium vollführt, welches mittels optischen, IR usw. oder akustischen z. B. auf Ultraschall basierenden Gerätes bewerkstelligt werden kann.
Gemäß eines anderen Aspekts der Erfindung wird ein System zur Generierung und Bereitstellung virtueller Information beschrieben, die ausgewählte Prozess Ausstattung und/oder Geräte in verfahrenstechnischen Anlagen oder anderen industriellen oder kommerziellen Installationen direkt betreffen. Das System umfasst:

– ein oder mehrere erweiterte Realitäts-Systeme wiederum umfassend:
– ein in der Hand getragenes interagierendes Zeige-Gerät und ein integriertes oder externes Verfolgungs-System zur Bestimmung von Zeiger-Position und Orientierung in Bezug auf ein Welt-Koordinaten-System,
– ein oder mehrere tragbare Anzeigegeräte (Brille, am Kopf befestigte Anzeige oder projizierte Frontscheiben-Anzeige) zur Visualisierung von erweiterten Realitäts-Bildern, die über eine oder mehrere Ansichten der realen Welt gelegt sind. In dem Fall, dass Video- Durchsicht für erweiterte Realitäts-Visualisierung benutzt wird, kann das Anzeigegerät des Weiteren eine Kamera zum Erfassen eines Datenstroms von Bildern der Umgebung umfassen, die befestigt ist auf oder integriert ist mit dem Anzeigegerät; die Kamera kann in einer festen Position relativ zu dem Anzeigegerät, z. B. an dem Anzeigegerät befestigt, befestigt werden und das Anzeigegerät kann dann entlang der Kamera-Blickrichtung und in der Bild-Ebene der Kamera positioniert werden,
– einzigartige IDs werden zum markieren von Objekten von Interesse bereitgestellt, das sind die Ausstattung, Geräte und Systeme, die gegenwärtig in der Umgebung sind.

Das System kann auch umfassen:

– ein Erkennungs-System zur Erkennung der einzigartigen ID's und ein Verfolgungs-System zur Bestimmung der Objekt-Position und Orientierung in Bezug auf ein Welt-Koordinaten-System, welches Verfolgungs-System das gleiche System sein kann, das benutzt wird zum Verfolgen der Position und Orientierung des Zeigers; und/oder
– ein System zur Generierung einer erweiterten Realitäts-Darstellung 14', 17' der computergenerierten graphischen Information, im voraus generiert und darübergelegt, zum Darüberlegen über ein reales Welt-Bild, und/oder
– ein Kommunikations-System, das Stimmen-Kommunikation und Transfer der Ganzen oder Teile der erweiterten Realitäts-Oberfläche und/oder zusätzliche virtuelle Information, unterstützt.

Das System kann auf verschiedene Arten konfiguriert werden. Die erweiterte Realität kann angewendet werden, auf mindestens zweit verschiedenen Arten visualisiert: Video-Durchsicht, optische Durchsicht.
Video-Durchscheinen benutzt eine Kamera, um einen direkten Video-Datenstrom der Umgebung oder zumindest eine Reihe von Standbildern, übereinstimmend mit der Benutzer-Ansicht der Welt einzufangen. Das System kombiniert computergenerierte Graphiken 14'. 4', 17' mit dem direkten Video-Datenstrom und projiziert das kombiniert erweiterten Realitäts-Video und Bild 7' vom realen Objekt 7 auf das Anzeigegerät. Der Benutzer wird das Video mit virtueller Information darübergelegt sehen, als wenn er/sie die reale Welt sieht.
In dem Fall einer optischen Durchsicht-Anordnung, werden die computergenerierten Graphiken direkt auf dem Anzeigegerät registriert und folgen der Benutzeransicht der realen Welt. Die virtuellen Graphiken werden mit der realen Welt, ohne einschließen eines Videos der realen Welt, kombiniert oder überlagert. Die Video-Durchsicht-Anordnung tendiert dazu weniger anspruchsvoll bzgl. der Bildwechselfrequenz zu sein.
Wie oben angeführt zeigt 2 einen Benutzer 1 mit einem Anzeigegerät 3, wie einer Brille, einem Zeiger 4 und einem Computer, wie einem tragbaren Computer 2. Der Benutzer nähert sich einem Objekt 7 von Interesse, wie einem Gerät, eine Ausstattung oder ein System, das mit einem Marker 8 angeordnet ist. Der Benutzer hat eine Kamera 6 und eine Verfolgungs-Einheit 8.
Es werden grundsätzlich mindestens zwei Verfolgungs-Funktionen zur Generierung der Visualisierung der Prozess/Gerät-Information und des Interaktions-System benötigt. Dies ist zusätzlich zu einem Erkennungs-System zur Erkennung identifizierender Marker angefordert, die die Geräte/Prozesse in der Umgebung markieren, welche Marker dann mit jeder ID zusammenpassen.
Die erste Verfolgungs-Funktion macht ausfindig und bestimmt die Position und Orientierung des interagierenden Zeige-Geräts 4 und/oder der Position des Außendienst- Betreibers 1, wobei die zweite Verfolgungs-Funktion eine ID für eine Ausstattung, ein Gerät oder System in der verfahrenstechnischen Anlage ausfindig macht und bestimmt. Diese Verfolgungs-Funktionen können in einem einzelnen Verfolgungs-System, benutzt zur Verfolgung Beider oder als eine Mehrheit von Verfolgungs-Systemen, umfasst sein. Ein auf Sicht basierendes Verfolgungs-System schließt eine Kamera ein, die daran befestigt ist oder darin integriert ist, das Anzeigegerät ist eine Lösung, welche mit ER-Visualisierung kombiniert werden kann, die auf Video-Durchsicht basiert.
Position und Orientierung des Zeige- und interagierenden Geräts kann in einigen verschiedenen Arten bestimmt werden. Es kann z. B. ein Verfolgungs-System geben, das auf Klang, z. B. Ultraschall Verfolgungs-Systeme basiert, magnetische Verfolgungs-Systeme, optische Systeme und/oder Verfolgungs-Systeme, die auf inertial navigation mittels Beschleunigungsmesser und/oder Kreisel basieren. Ein Verfolgungs-System kann auch auf einer Erfassung einer physischen Position usw. von mechanischen Armen basieren; und es gibt auf Sicht basierende und optische Systeme und Hybrid-Systeme, die einige der vorher erwähnten Technologien kombinieren. Für einige der Verfolgungs-Systeme, kann das interagierende Zeige-Gerät 4 integrierte Sensoren zum Bestimmen der Positionen oder Orientierungen aufweisen. Solche Sensoren können z. B. Kreisel, inertiale Sensoren und/oder Beschleunigungsmesser sein. Der Bezugspunkt, oder origo des Welt-Koordinaten-Systems ist bevorzugt definiert, um mit der Position des Anzeigegeräts 3 Übereinzustimmen. Wenn die Kamera 6 bevorzugt befestigt wird auf oder integriert wird mit einem Anzeigegerät 3, ist die relative Position der Kamera zu dem Anzeigegerät bekannt. Daher kann das System die Posen des interagierenden Zeige-Geräts 4 in Bezug auf der Kamera/Anzeigegerät-System bestimmen. Als eine alternative zu einem Zeiger kann eine Hand oder ein Finger des Betreibers benutzt werden, besonders falls sie/er auf irgendeine Art, z. B. durch einen Ring oder ein Armband oder ähnlichem, identifiziert oder markiert ist. Die Hand, der Arm oder Finger usw. können dann verfolgt werden, wie es der Zeiger geworden wäre.
Das System bedarf der Erkennung vordefinierter ID's in der Umgebung. Diese ID's sind angebracht, um jede Instanz der Ausstattung, Geräts, Instruments und Systems, mit welchem der Betreiber interagieren können wollte, zu identifizieren. Eine andere Lösung für Positionsbasierende Identifizierung der ID für eine Maschine/Prozess ist das Bestimmen der Position des Außendienst-Betreibers und seinem/ihrem Kopf und das Vergleichen dieser Position mit vordefinierten Positionen von relevanter Ausstattung und Geräten innerhalb der verfahrenstechnischen Anlage. In diesem Fall kann das Verfolgungs-System nur zum Verfolgen des interagierenden Zeige-Geräts des Außendienst-Betreibers angeordnet werden. Alternativ zu den oben beschriebenen Verfolgungs-Systemen, zur Bestimmung der Position von einer Maschine/Prozess-ID in der Umgebung, können verschiedene Marker-Technologien zur Erkennung, wie Funktransponder, Strichcodes, Ultraschall, Funksignale, optische Signale und/oder GPS, benutzt werden.
Wie oben beschrieben trägt der Ingenieur, Techniker oder Außendienst-Betreiber entweder eine am Kopf befestigte Anzeige 3 oder eine Brille (HMD; Head Mounted Display; am Kopf angebrachte Anzeige) oder führt oder trägt andererseits eine mobile Anzeige, welche ein Tablet-PC, ein Handprogrammiergerät oder ein PDA sein kann. Solch eine Anzeige funktioniert wie die „Ansicht" der erweiterten Welt.
Die Anwendungs-Einheit 21 beinhaltet die benötigte Software, um den erwünschten Prozess oder Aufgabe, z. B. integrierte Echtzeit-Daten mit erkanntem Gerät/System, zu vollführen und Aktionen, die auf Eingabe des interagierenden Zeige-Geräts basieren, zu vollführen. Das Verfolgungs-System wird es ermöglichen die Pose des interagierenden Zeige-Geräts 4 in 3D ausfindig zu machen und kann auch benutzt werden um das Welt-Koordinaten-System zu spezifizieren. Das interagierende Zeige-Gerät kann auch benutzt werden für zusätzliche Aufgabe, wie eine virtuelle Steuer-Konsole oder andere virtuelle Information von der in der Hand gehaltene ID zu einem spezifischen Gerät/System zu ziehen und neue Positionen in der Umgebung zu lokalisieren, auszuwählen, zu zeigen usw.. Des Weiteren weist die Anwendungs-Einheit Information auf, die die Koordinaten-Systeme betrifft. Daher ist die Anwendungs-Einheit 21 von dem/der spezifischen System/Umgebung abhängig.
Der Betreiber benutzt ein interagierendes Zeige-Gerät 4, welches durch ein Verfolgungs-System 20 verfolgt wird, welches mit dem interagierenden Zeige-Gerät integriert werden kann. Der Benutzer benutzt das interagierende Zeige-Gerät 4, 4' zum interagieren mit der virtuellen Steuer-Konsole 14' und zum Zeigen 4 in der Umgebung.
4 zeigt eine Anzeige gemäß einer anderen Ausführungsform. Sie zeigt eine erweiterte Realitäts-Anzeige 9', ein Bild 7' des Objekts (7, 1) und ein Bild 4' des Zeigers (4 1). Es zeigt auch ein Bild der Graphik einer Steuer-Konsole 14' oder mit dem Bild 7' des Objekts überlagerte virtuelle Bildschirm. Die Steuer-Konsole kann aus einem Anzeige-Teil 80 bestehen, welches einen Menü-Kernstück-Text 83 oder eine Graphik und z. B. online Ablesungen, wie verschiedene Messungen, Sensor-Ausgaben, Temperatur, Druck, Drehzahl, Strom, Spannung, Phasenwinkel usw. zeigen kann. Die Steuer-Konsole kann auch zwei bis vier Steuer-Knöpfe aufweisen, wie Knöpfe 85, welche benutzt werden können, um Dinge oder Kernstücke zu bedienen, die in der Anzeige 80 der Steuer-Konsolen 14' gezeigt sind. Die Steuer-Konsolen-Anzeige kann bedient werden, durch „drücken" eines Bilds eines Knopfes 87, mit dem Bild 4' des Zeigers, dadurch, dass der Betreiber den realen Zeiger im Raum bewegt, was darin resultiert, dass die verfolgenden und graphischen Systeme das virtuelle Zeiger-Bild 4' auf der erweiterten Realitäts-Anzeige 9' bewegen. Ein Ding auf der Anzeige kann ausgewählt werden 83, und Knöpfe 87 usw. können bedient werden, um auf mehr Information usw. zuzugreifen. Andere Auswahlen können gemacht werden, um ein Menü aufzurufen, um von einem Menü andere Dinge wie gespeicherte Daten, Trends, Wartungs-Geschichte, Unterlagen oder Kontakt mit einem Experten auszuwählen.
Andere Steuer-Funktionen können auf der Anzeige 9' abgespielt werden. Dies kann in Form von Bildern oder Symbolen oder Knöpfen sein, um eine Steuer-Funktion direkt auszuführen oder die Anzeige 9' auf irgendeine Art zu bedienen. Im Besonderen können Abkürzungs-Symbole, wie 91 Menü, 93 online Messungen, 94 gespeicherte Bedienungs-Daten, 96 Trends in Bedienungs-Daten, 97 Wartungs-Geschichte, 98 Unterlagen oder 99 Kontakt mit einem Experten angezeigt werden. Solche andere graphischen Bilder 91–99, die über die erweiterte Realitäts-Anzeige gelegt sind, können durch Bewegungen des realen Zeigers 4, welcher dann das Bild 4' des virtuellen Zeigers antreibt, ausgewählt und aktiviert werden.
Die Graphik-Einheit 23 generiert eine 3D graphische Darstellung der visuellen Information, die in Bezug auf die Benutzer-ID (999) angezeigt wird. Diese Graphik-Einheit weist eine Spezifizierung der 3D graphischen Grundelemente auf, um visualisiert zu werden. Die Graphik-Einheit 23 empfängt, basierend auf Benutzer-Eingabe und Objekt-ID und/oder Benutzer-Position und Orientierung, Information von der Anwendungs-Einheit 21 bzgl. der virtuellen graphischen Information, die angezeigt wird. Alle graphischen Grundelement-Positionen sind in Bezug auf die Welt-Koordinaten-Rahmen bevorzugt spezifiziert. Für die Programmierungs-Anwendung des Roboters relevante visuelle Information können betreiberspezifische Wegpunkte, der eigentliche Roboter-Pfad, aufgabenspezifische Information usw. sein. Das Programmieren von Roboter-Pfaden, ein benutzen von Wegpunkten, ist beschrieben in einer veröffentlichten PCT-Anwendung WO 03/99526 A1 mit dem Titel „Ein Verfahren und ein System zur Programmierung eines industriellen Roboters", welches Dokument hierbei im Ganzen in dieser Spezifizierung mittels dieser Bezugnahme miteinbezogen ist. Die graphischen Darstellungen in den graphischen Modulen werden an die Registrierungs-Einheit 25 übermittelt.
Die registrierende Einheit 25 oder Registrierungs-Einheit kombiniert die virtuellen Graphiken von der Graphik-Einheit 23 mit der realen Welt-Ansicht. Für den Fall, dass das Video-Durchsicht-Verfahren benutzt wird, wird ein direktes Video des realen Welt-Bilds von der Kamera-System-Einheit 26 erfasst und mit der graphischen Darstellung von der Graphik-Einheit 23 kombiniert. Die registrierende Einheit 25 benutzt die Pose-Daten von der ID-Verfolgungs-System-Einheit 24, um die realen Welt-Bilder über die computergenerierten Graphiken in eine richtige Position, relativ zu den realen Welt-Bildern, zu legen. Mit der richtig bewerkstelligten Registrierung werden die computergenerierten Graphiken an der realen Welt-Szene virtuell „angebracht".
Im Fall der Video-Durchsicht, produziert eine Kamera-Einheit 6, die an das Anzeigegerät 3, 27 angebracht ist, reale Welt-Bilder. Die Pose der Kamera und der Anzeige wird gemäß des Welt-Koordinaten-Rahmens bestimmt und die Pose wird von der registrierenden Einheit 25 benutzt, um die realen Welt-Szene über die computergenerierten Graphiken von dem Graphik-Modul 23 zu legen. Die kombinierten Bilden werden auf dem Anzeigegerät 3, 27 angezeigt.
Alternativ überlagert die registrierende Einheit 25 die reale Welt mit den computergenerierten Graphiken in einer optischen Durchsicht-Anordnung.
Eine Speicher-Einheit 22, ein Daten Server oder andere Speicher-Mittel, ermöglichen das Sichern und Laden von anwendungsbezogener Information, z. B. anwendungsbezogene Information, graphische Oberflächen für verschiedene Geräte/Systeme und System-Konfigurations-Parameter, z. B. Orts- und/oder Welt-Koordinaten-Rahmen.
Gemäß einer zweiten bevorzugten Ausführungsform der vorliegenden Erfindung, nähert sich der Betreiber oder ein Benutzer 1 einer spezifische Ausstattung/Gerät/Prozess an dem er interessiert ist, um weitere Information zu bekommen oder um mit Objekt 7 zu interagieren. Das System bestimmt dann automatisch die Position des Benutzers innerhalb der verfahrenstechnischen Anlage, was entweder durch

– erkennen vor oder neben welcher Ausstattung oder Gerät der Benutzer steht; oder durch
– erkennen der Position des Benutzers und seines Kopfes in Bezug zu der Fabrik und der vordefinierten Positionen der Ausstattung, Geräte und Systeme innerhalb der Fabrik, bewerkstelligt werden kann. Ein Koordinaten-System ist spezifiziert für graphische Synchronisierung, manchmal beschrieben als Registrierung der virtuellen Graphiken mit dem Bild der realen Welt. In dem Fall, wo einzigartige Marker 8 an Ausstattung, Geräte, Instrumente und Systeme angebracht werden, existiert für jedes Gerät ein relatives und lokalen Koordinaten-System. Virtuelle Graphiken können in Bezug zu diesem lokalen Koordinaten-System synchronisiert werden. In dem Fall, wo die absolute Position des Außendienst-Betreibers und seines Kopfes benutzt wird, wird ein absolutes Koordinaten-System, ein Welt-Koordinaten-System, definiert und die virtuellen Graphiken in Bezug zu dem Welt-Koordinaten-System synchronisiert.

Das System zeigt vordefinierte Ansichten, ähnlich zu denen in 9 in 1 gezeigt, an, die aus ein oder mehreren computergenerierten Graphiken 14', 17', 4' bestehen, die projiziert oder anderweitig direkt überlagert sind mit einem Bild der spezifischen Ausstattung oder Gerät 7'. Auf der Anzeige 3 sieht der Benutzer die virtuelle Information, die an der Ausstattung, dem Gerät, Instrument oder System angebracht ist. Die virtuelle Information/Graphik kann z. B. Ablesungen wie Echtzeit-Prozess-Parameter, Temperatur, Druck usw. repräsentieren; und/oder Ereignisse, Warnungen und/oder Alarme; die computergenerierten Graphiken können eine virtuelle Steuer-Konsole 14' oder einen virtuellen Bildschirm zur Interaktion mit der Ausstattung, Gerät, Instrument oder System anzeigen; kann Unterlagen anzeigen; oder eine Kombination von Dokumenten und der oberen Graphiken.
Gemäß einer dritten bevorzugten Ausführungsform der vorliegenden Erfindung betreibt der Benutzer das System durch tragen/halten des erweiterten Realitäts-Systems, das eine Anzeige und ein interagierendes Zeige-Gerät einschließt. Video-Durchsicht wird benutzt, um eine ER-Welt auf dem Anzeigegerät zu generieren und vorzulegen. Die Kamera, die mit dem Anzeigegerät integriert ist, wird benutzt, um einen direkten Video-Datenstrom der realen Welt einzufangen. Die Kamera ist in Bezug zu der Anzeige so lokalisiert, dass sie die gleiche Ansicht bereitstellt, die der Benutzer erhalten würde, wenn er durch das Anzeigegerät „hindurchsehen" würde. Der direkte Video-Datenstrom, kombiniert mit computergenerierten Graphiken, wird in Echtzeit auf dem Anzeigegerät vorgelegt. Zusätzliche Funktionalität schließt Kamerazoomen mit Ausgabe der eigentlichen Kamera-Brennweite ein. Dies wird das System befähigen, die computergenerierten Graphiken, während des Zoomens, richtig anzuzeigen. Die Kamera und/oder die Kamera-Brennweiten-Ausgabe kann auch für auf Sicht basierendes Verfolgen benutzt werden, falls auf Sicht basierendes Verfolgen als Verfolgungs-System benutzt wird.
Das interagierende Zeige-Gerät-Verfolgungs-System verfolgt die Position des Zeige-Geräts, in Bezug zu dem lokalen oder Welt-Koordinaten-System. Die Position des Zeige-Geräts des Betreibers wird z. B. zum Rendern computergenerierter Graphiken auf einem projizierte Frontscheiben-Anzeigegerät oder auf in der Hand gehaltenem Anzeigegerät und zum Erkennen von Interaktion, Auswahl oder Zeigen auf die virtuelle Graphiken und besonders der virtuellen Graphiken, die eine virtuelle Steuer-Konsole 14' oder andere Steuer-Funktionen repräsentieren, benutzt.
Der Benutzer vollführt den erwünschten Prozess, z. B. Information zu überwachen, um durch verschiedene virtuelle Ansichten zu navigieren und/oder mit der virtuellen Steuer-Konsole zu interagieren. Während der Ausführung der spezifischen Aufgabe wird prozessbezogene Information mittels der computergenerierten 3D Graphiken direkt in der Ausstattung, dem Gerät, Instrument oder System generiert und visualisiert. Die Graphiken werden von der integrierten Kamera über die reale Welt-Darstellung gelegt. Wenn der Benutzer sich umherbewegt oder seinen Kopf bewegt, werden die virtuellen Graphiken generiert und/oder angepasst, sodass sie am gleichen Ort auf der spezifischen Ausstattung, Gerät, Instrument oder System positioniert zu sein scheinen, obgleich der Standpunkt des kombinierten Objekts und der Graphiken sich geändert haben kann.
Zusätzlich zum Anzeigen virtueller Information, direkt bezogen auf eine spezifische Ausstattung und/oder Gerät zur Überwachung von, und Interaktion mit, der spezifischen Ausstattung oder Gerät und/oder dem Steuer-System, kommunizieren in einer bevorzugten Ausführungsform, die durch das System und Verfahren bereitgestellten Anzeigen mit anderen Benutzern. Die Anzeigen werden geteilt, so dass der Benutzer auch mit lokalen oder entlegen lokalisierten Experten interagieren kann. Benutzer-Funktionen werden z. B. abhängig von der ID der Person oder angeschlossenen Personen erweitert, so dass die anderen Benutzer oder entlegene Experten virtuelle Anmerkungen oder andere graphische Geräte zu der Ansicht, die durch den Betreiber in Anzeige 3 zu sehen ist, anbringen können.
Die virtuelle Information schließt, wie in der Benutzer-Ansicht 9 der 1, ein graphisches Bild 4' des Zeigers 4 ein. Dieser Zeiger kann über irgendeinem Teil der Fabrik oder des Prozesses, abhängig von dem gegenwärtigen Standort des Betreibers, angezeigt werden oder darübergelegt werden. Durch untersuchen einer relativen Position des graphischen Bilds 4' des Zeigers, der über die Schemata der Fabrik, die Schemata des Prozesses, Fabrik-Aufbau, Steuer-System-Ansicht usw. gelegt wurde und untersuchen eines erwünschten ausgewählten Geräts/Prozesses, irgendwo in der Fabrik/dem Prozess, kann der Benutzer das graphische Bild 4' des Zeigers als einen Orts-Führer oder Routen-Führer durch den Fabrik-Prozess zu einem spezifischen Ort in der Fabrik benutzen. Dies bedeutet, dass der Benutzer das System benutzten kann, um seinen Weg zu einem Gerät/Objekt von Interesse zu lokalisieren und zu finden. Andere Variationen der Grundsätze der Erfindung, wie hier eröffnet, können geübt werden. Ein oder Beide, Zeiger 4 und Kamera 6, können einen kabellosen Sender und kabellosen Empfänger umfassen oder können z. B. kabellosen Funk-Sende-Empfänger (Sender-Empfänger) sein. Kabellose Kommunikation kann ausgeführt werden, durch benutzen irgendeines passenden Protokolls. Kurzstrecken-Funk-Kommunikation ist die bevorzugte Technologie, die ein Protokoll benutzt, das mit Standards kompatibel ist, die durch die „Bluetooth Spezial Interest Group" (SIG), irgendeine Variation von IEEE-802.11, WiFi, Ultra-Weit-Band (UWB), ZigBee oder IEEE-802.15.4, IEEE-802.13 oder äquivalente oder ähnliche, thematisiert werden.
Generell funktioniert eine Funk-Technologie wie eine Funk-Kommunikations-Techniken vom Stand der Technik, z. B. Frequenzsprung, Spreiz-Spektrum, Ultra-Breitband usw., die irgendein passendes Frequenzband, wie das 2.4 GHz- oder 5 GHz-Band oder höher, benutzen, mit signifikanten Interferenz-Unterdrückungs-Mitteln durch z. B. Spreiz-Spektrum Technologie, die bevorzugte Art von kabelloser Kommunikation ist Frequenzsprung usw.. Ein breites Spektrum kabelloses Protokoll in welchem jedes oder irgendein Datenpaket bei anderen Frequenzen z. B. eines breiten Spektrums ca. 7 mal pro ms wieder versendet werden kann, kann benutzt werden, wie in einem Protokoll, das, entwickelt von ABB, kabellose Oberfläche für Sensoren und Aktuatoren (Wireless interface for sensors and actuators, Wisa) genannt wird. Jedoch kann eine oder mehr kabellose Kommunikationen alternativ sein oder auch, durch Benutzung von Infrarot-Mittel (IR) und Protokolle wie IrDA, IrCOMM oder ähnliche, ausgeführt werden. Kabellose Kommunikation kann auch durch Benutzung von Klang- oder Ultraschall-Signalgebern ausgeführt werden.
Die Verfahren und das System, das in Bezug auf Ausführungsformen der vorliegenden Erfindung erwähnt wurde, kann für Betreibungen, wie Automobilzusammenbau und Herstellungsprozessen, die in der Automobilherstellung benutzt werden, angewendet werden. Ein Roboter oder eine Automatisierungsanwendung, die einen Roboter einschließt, kann z. B. programmiert werden, um irgendeinen der Folgenden auszuführen: Schweißen, Löten, elektrisches Löten, Nietverbinden, Putzschleifen, Lackieren, Sprühlackieren, elektrostatisches Pulveraufspritzen, Kleben, Betreibungsvollführung in Bezug zu metallverarbeitenden Prozessen wie Stranggiesen, Giesen, Druckgiesen und Produktionsverfahren für andere Materialien wie Plastikspritzblasen, Verdichtung und/oder Reaktionsguss oder Extrusion. Eine Roboter-Anwendung kann programmiert werden, um andere Betreibungen auszuführen, die so etwas wie Abweisblech, Biegeblech und/oder Walzenblech einschließen. Die Roboter-Anwendung kann eine Mehrheit von Werkzeugen umfassen, beides sind spezialisierte Werkzeuge für schweißen, lackieren usw. als auch andere mehr generelle Geräte, Zangen, Greifer, Manipulatoren usw., die bedienartigen Aufgaben wie Halten, Platzieren, Nehmen und Platzieren und sogar Verpacken von Komponenten oder Subkomponenten, in einen Behälter, ausführen.
Ein oder mehr Mikroprozessoren (oder Prozessoren oder Computer) umfassen eine zentrale Verarbeitungs-Einheit CPU, die die Schritte der Verfahren gemäß einem oder mehrerer Aspekte der Erfindungs-Vollführung. Dies wird mit der Hilfe eines oder mehrerer Computer-Programme vollführt, welche zumindest teilweises in Speicher gespeichert werden, der für einen oder mehrere Prozessoren zugänglich ist. Der oder jeder Prozessor kann zumindest lokalisiert sein in oder angeordnet verbunden werden mit, dem Computer oder tragbaren Computer 2. Es soll verstanden werden, dass Computer-Programme, die Verfahren gemäß der Erfindung ausführen, auch auf einen oder mehr generellen Zweck gelaufen werden können industriellen Mikroprozessoren oder Computer oder ein oder mehrere spezielle adaptierte Computer oder Prozessoren, FPGAs (Außendienst- programmierbare gate arrays) oder ASICs (Anwendungs spezifische integrierte Schaltungen) oder andere Geräte wie einfache programmierbare logische Geräte (SPLDs), komplexe programmierbare logische Geräte (CPLDs), außendienst-programmierbare System-Chips (FPSCs). Die beschriebenen Computer-Programme können auch teilweises als eine dezentralisierte Anwendung angeordnet sein, die in der Lage ist auf einigen verschiedenen Computern oder Computer-Systemen zu mehr oder wendiger der gleichen Zeit zu laufen.
Ein Teil des Programms kann in einem Prozessor wie oben gespeichert werden, aber auch in einem ROM, RAM, PROM, EPROM oder EEPROM-Chip oder ähnlichen Speicher-Mitteln. Das Programm kann zum Teil oder im ganzen auch lokal (oder zentral) gespeichert werden, auf oder in andere passende computer-lesbare Medien, wie einer Magnetplatte, CD-ROM oder DVD-Scheibe, Festplatte, magnetooptischen Speicher-Mitteln, in permanenten Speicher, in Flash-Speicher, als Firmware oder gespeichert auf einen Daten Server. Andere bekannte und passende Medien schießen entfernbare Speicher-Medien wie Sony-Speicher-Stick (TM) und andere entfernbare Flash-Speicher ein, die in digitalen Kameras usw. benutzt werden, Telefonen oder entfernbare Festplatten-Laufwerk usw. können auch benutzt werden. Das Programm kann auch teilweises von einem Daten-Netzwerk 10 versorgt werden, welches teilweises oder temporär ein öffentliches Netzwerk, wie das Internet, umfassen kann.
Es sollte angemerkt werden, dass, während die oberen Beschreibung beispielhaft gezeigte Ausführungsformen der Erfindung sind, es einige Variationen und Modifikationen gibt, welche zu der eröffneten Lösung ohne Abweichung von dem Bereich der vorliegenden Erfindung, wie in den angehängten Ansprüchen definiert, gemacht werden können.

Claims

Verfahren zum Generieren einer Mensch-Maschine-Benutzeroberfläche für einen Benutzer zum Überwachen oder Kontrollieren eines industriellen oder kommerziellen Geräts oder Prozesses, gekennzeichnet durch – erhalten von Information einer Identität des industriellen Geräts (7) oder Prozesses oder einer Ausstattung von Interesse, – übereinstimmen dieses industriellen Geräts (7) mit Kontroll-System-Daten, – aufrufen wenigstens eines gespeicherten virtuellen Bilds (14', 17'), abhängig von der Identität dieses industriellen Geräts, – kombinieren des wenigstens einen gespeicherten virtuellen Bilds zusammen mit einem Bild (7') eines realen Objekts (7), Anzeigen der Kombination auf einer Anzeige (3) anzeigend und – bereitstellen eines virtuellen Kontroll- bzw. Steuer-MMO-Mittels (14') einem Benutzer zum Überwachen und/oder Kontrollieren des industriellen Geräts.
Verfahren gemäß Anspruch 1, gekennzeichnet durch Auswählen des industriellen Geräts mittels einer Bewegung oder Führen eines Zeigers (4) und verfolgen der Position des Zeigers im Raum.
Verfahren gemäß Anspruch 2, gekennzeichnet durch Auswählen dieses industriellen Geräts mittels einer Bewegung oder Führen des Zeigers (4) im Sichtfeld einer Kamera (6) und Fotografieren der Position und/oder Bewegung des Zeigers.
Verfahren gemäß Anspruch 3, gekennzeichnet durch Auswählen eines Teils des industriellen Geräts oder mindestens eines gespeicherten virtuellen Bilds mittels einer Bewegung oder Führen eines Zeigers (4) und verfolgen der Position des Zeigers, um ein computergeneriertes Bild (4') des auf der Anzeige gezeigten Zeigers zu bewegen oder zu bedienen.
Verfahren gemäß Anspruch 1 oder 4, gekennzeichnet durch Aufrufen der Status-Information (17') oder Zustands-Information für einen Teils dieses industriellen Geräts oder Prozesses, abhängig von der Bedienung durch den Benutzer des virtuellen Kontroll- bzw. Steuer-MMO-Mittels (14').
Verfahren gemäß Anspruch 1, 5, gekennzeichnet durch generieren einer Kontroll-Aktion für einen Teil dieses industriellen Geräts oder eines Prozesses oder einer Ausstattung, in Abhängigkeit von der Bedienung durch den Benutzer des virtuellen Kontroll- bzw. Steuer-MMO-Mittels (14').
Verfahren gemäß Anspruch 1, 5, gekennzeichnet durch Erfassen einer Position des Kopfes des Benutzers (1) oder eines anderen Betreibers und Berechnen einer Position und Orientierung und/oder einer realen Welt-Koordinaten-Position.
Verfahren gemäß Anspruch 2, gekennzeichnet durch Berechnen einer Position und Orientierung und/oder einer realen Welt-Koordinaten-Position dieses industriellen Geräts mittels der Bild-Ausgabe von mindestens einer Kamera (6).
Verfahren gemäß Anspruch 8, gekennzeichnet durch Berechnen einer Position und Orientierung und/oder einer realen Welt-Koordinaten-Position mittels einer Brennweiten-Ausgabe von mindestens einer Kamera.
Verfahren gemäß Anspruch 2, gekennzeichnet durch Auswählen dieses industriellen Geräts mittels einer Bewegung oder Führen eines Zeigers (4) und Verfolgen der Position des Zeigers im Raum, Benutzen eine Technologie basierend auf irgendeinem von der Liste aus Ultraschall, sichtbares Licht, Infrarot-Licht, ein GPS System, eine mechanische Verknüpfung.
Verfahren gemäß Anspruch 1, gekennzeichnet durch Übereinstimmen der Identität dieses industriellen Geräts oder Prozesses mit einem physischen Standort des Geräts oder Prozesses oder mit einem Standort, eingebettet als eine Software-Dateneinheit in einem Kontroll-System für das Gerät oder den Prozess.
Verfahren gemäß Anspruch 8, gekennzeichnet durch teilweises Übereinstimmen der Identität dieses industriellen Geräts oder Prozesses mit einem bekannten Bild dieses industriellen Geräts oder Prozesses.
Verfahren gemäß Anspruch 8, gekennzeichnet durch Erfassen eines Signals, Kennzeichens oder codierten visuellen Mittels und Übereinstimmen des erkannten Kennzeichens mit gespeichertem Daten-Standort und/oder gespeicherter Koordinate, umfassend dieses industrielle Gerät oder diesen industriellen Prozess.
Verfahren gemäß Anspruch 8, gekennzeichnet durch Erfassen eines optischen, Radio- und Klang-Signals, abgestrahlt von einem ausgewählten Teil des industriellen Geräts oder Prozesses und Übereinstimmen des erkannten Signals mit gespeichertem Standort und/oder gespeicherten Koordinaten-Daten, umfassend dieses industrielle Gerät oder diesen industriellen Prozess.
Verfahren gemäß Anspruch 8, gekennzeichnet durch Festlegen einer Pose oder Orientierung und/oder Richtung von Interesse für den Benutzer (1) und die Berechnung des Standorts dieses industriellen Geräts oder Prozesses, um einen physischen Standort in einem oder einen Standort in einer virtuellen Fabrik, zu bilden.
Verfahren gemäß Anspruch 8, gekennzeichnet durch Identifizieren eines dieses ausgewählten industriellen Geräts oder Prozesses, Festlegen einer Position des Benutzers (1), Berechnen des Standorts dieses industriellen Geräts oder Prozesses, relativ zur Position des Benutzers, und Bereitstellen einer graphischen Orientierung eines physischen Standorts, eines Standorts in einer virtuellen Fabrik.
Verfahren gemäß Anspruch 1, gekennzeichnet durch Übereinstimmen eines Markers (8), der sichtbar und dieses industrielle Gerät identifizierend ist, durch Erkennung von einer oder mehreren Nummern und/oder Buchstaben oder codierte Nummern und/oder Buchstaben, mit gespeicherten Daten.
Verfahren gemäß Anspruch 17, gekennzeichnet durch Übereinstimmen eines Markers (8), der sichtbar und dieses industrielle Gerät identifizierend ist, durch Erkennung von einer oder mehreren Nummern und/oder Buchstaben in einem sichtbaren Bild, mit gespeicherten Daten.
Verfahren gemäß Anspruch 1, gekennzeichnet durch Übereinstimmen eines Bilds dieses industriellen Geräts mit gespeicherten Daten und durch Bild-Erkennungs-Mittel dieses industrielle Gerät identifizierend.
Verfahren gemäß Anspruch 1, gekennzeichnet durch Berechnen einer Position des Zeigers (4), Übereinstimmen der Position mit einem Standort in einer Darstellung der Fabrik und zeigen der graphischen Darstellung des Zeigers (4') über die Darstellung der Fabrik gelegt.
Computer-Programm, welches, wenn es in einen Computer oder Prozessor eingelesen wird, den Computer oder Prozessor veranlasst, ein Verfahren gemäß der Schritte von irgendeinem der Ansprüche 1–20 auszuführen.
Computer-lesbares Medium, umfassend ein Computer-Programm, welches, wenn es in einen Computer oder Prozessor eingelesen wird, den Computer oder Prozessor veranlasst, ein Verfahren gemäß der Schritte von irgendeinem der Ansprüche 1–20 auszuführen.
Graphische Benutzer-Oberfläche einer Mensch-Maschine-Benutzeroberfläche für einen Benutzer, um einen industrielles/n oder kommerzielles/n Gerät oder Prozess zu überwachen oder zu kontrollieren, gekennzeichnet, durch eine graphische Benutzer-Oberfläche (GBO) (9') zur Anzeige von Daten, die für dieses industrielle Gerät oder den industriellen Prozess relevant sind, wobei diese GBO eine graphische Benutzer-Oberfläche-Anzeige und/oder Bedienungs-Mittel (4', 14', 80, 85) für Aktivierungs- Funktionen zur Überwachung und/oder Kontrolle dieses industriellen Geräts umfasst.
Verfahren für eine graphische Benutzer-Oberfläche gemäß Anspruch 22, gekennzeichnet durch graphische Benutzer-Oberfläche-Anzeige und/oder Bedienungs-Mittel (91–99) zum Aufrufen von Information und/oder Aktivierungs-Funktionen zur Überwachung und/oder Kontrolle dieses industriellen Geräts.
System zum Generieren einer Mensch-Maschine-Benutzeroberfläche für einen Benutzer zu benutzen, um einen industrielles/n oder kommerzielles/n Gerät oder Prozess zu überwachen oder zu kontrollieren, gekennzeichnet durch ein oder mehrere erweiterte Realitäts-Systeme, jedes umfassend: – Mittel zum Erfassen eines identifizierenden Markers (8) und Mittel zum Übereinstimmen des identifizierten Markers mit dem industriellen Gerät oder Prozess, – ein in der Hand getragenes interagierendes Zeige-Gerät (4), mit einem verfolgenden System (5, 6, 20) zum Festlegen seiner Position und Orientierung in Bezug zu einem Welt-Koordinaten-System, – ein graphisches Bedienungs-System (23, 18), zum Generieren mindestens eines gespeicherten virtuellen Bilds (14', 17'), angeordnet mit Computer-Programm-Mitteln zum Kontrollieren der Überwachungs- und/oder Kontroll-Funktionen, und – ein tragbares Anzeigegerät (3) zur Visualisierung einer erweiterten Realitäts-Anzeige, umfassend mindestens ein gespeichertes virtuelles Bild, über ein reales Welt-Bild (7') eines Teils des industriellen Geräts oder Prozesses gelegt.
System gemäß Anspruch 25, gekennzeichnet durch ein verfolgendes System zur Festlegung der Zeiger-Position, umfassend Sensor-Mittel, die in den Zeiger integriert oder eingebaut sind.
System gemäß Anspruch 25, gekennzeichnet durch ein verfolgendes System zur Festlegung der Zeiger-Position, umfassend Kamera-Mittel (6), die durch den Benutzer betrieben werden.
System gemäß Anspruch 25, gekennzeichnet durch ein verfolgendes System (20) zur Festlegung der Zeiger-Position, umfassend Kamera-Mittel (6), die durch den Benutzer betrieben werden, und eine verfolgende Einheit (5).
System gemäß Anspruch 25, gekennzeichnet durch ein verfolgendes System (20) zur Festlegung der Zeiger-Position, umfassend eine Technologie basierend auf irgendeinem von der Liste: Ultraschall, sichtbares Licht, Infrarot-Licht, ein GPS System, eine mechanische Verknüpfung.
System gemäß Anspruch 25, gekennzeichnet durch einen oder mehrere Computer-Programm-Mittel zum Festlegen der Position des Zeigers (4) in der realen Welt und Mittel zum Berechnen einer Position auf einer Anzeige für ein Bild (4') des realen Welt-Zeigers.
System gemäß Anspruch 25, gekennzeichnet durch ein Anzeige-Gerät (3), angeordnet in einer bekannten Position relativ zu einer Kamera (6) oder integriert mit der Kamera.
System gemäß Anspruch 28, gekennzeichnet durch eine Bild-Einfang-System-Einheit (26) oder ein Kamera-System für eine Video-Durchsicht-System-Anordnung.
System gemäß Anspruch 24, gekennzeichnet durch einen identifizierenden Marker (8), relativ zu einem industriellen Gerät oder Prozess angeordnet.
System gemäß Anspruch 33, gekennzeichnet durch einen identifizierenden Marker (8), umfassend irgendeinen von der Liste: numerisches Zeichen, alphanumerisches Zeichen, codiertes alphanumerisches Zeichen, maschinen-lesbares sichtbares Zeichen, Bar-Code, visuelles Zeichen eingebettet in codierte alphanumerische Information.
System gemäß Anspruch 33, gekennzeichnet durch einen identifizierenden Marker (8), umfassend ein signalisierendes Mittel, umfassend irgendeinen von der Liste: IR-Detektor oder Emitter, Ultraschall-Emitter, Sensor für einen Laserstrahl, kabelloser Funk-Sender und -Empfänger.
System gemäß Anspruch 25, gekennzeichnet durch verfolgende Mittel zur Erfassung einer Position des Kopfes des Benutzers (1) oder anderer Betreiber und berechnende Mittel zur Berechnung einer Position und Orientierung und/oder einer realen Welt-Koordinaten-Position des Benutzers.
System gemäß Anspruch 25, gekennzeichnet durch Umfassen einer Anwendungs-Einheit (21) mit Software-Mitteln, integrierend von Echtzeit-Daten und/oder Graphiken mit einem Bild (7') des identifizierten industriellen Geräts oder Prozesses.
System gemäß Anspruch 25, gekennzeichnet durch Umfassen von einer Registrierungs-Einheit (25) mit Software und/oder Hardware Mitteln zum Überlagern von Bildern der realen Welt (7') mit den computererzeugten Graphiken (14', 17') für eine optisch durchsichtige System-Anordnung.
System gemäß Anspruch 25, gekennzeichnet durch Umfassen von Kommunikations-Mitteln zur stimmunterstützten Kommunikation und/oder von Teilen oder allem einer erweiterten Realitäts-Benutzeroberfläche (9, 9', 80) und/oder zusätzlicher virtueller Information (4', 14', 17', 85, 98) für eine Mehrheit an Benutzern.
System gemäß Anspruch 39, gekennzeichnet durch Computer-Programm-Mittel für einen oder mehrere andere angeschlossene Benutzer zum bedienen der erweiterten Realitäts-Anzeige.
System gemäß Anspruch 39, gekennzeichnet durch Computer-Programm-Mittel für einen oder mehrere andere angeschlossene Benutzer zum Anhängen von Text oder Graphik-Anmerkungen an ein Bild (4', 7', 17', 14'), umfasst in der erweiterten Realitäts-Anzeige (9, 9').
System gemäß Anspruch 25, gekennzeichnet durch Umfassen von Computer-Programm-Mittel und Daten-Basis-Mittel (22) zum Handhaben von Information von Unterlagen oder anderen Quellen.
System gemäß Anspruch 25, dadurch gekennzeichnet, dass eine Hand oder ein Finger des Benutzers konfigurierend in dem System angeordnet ist, wie ein interagierendes Zeige-Gerät (4) und/oder mit einem Ring, einer Umhängekette, einem Armband oder einem anderen identifizierenden Objekt angeordnet ist.