DE112018004347T5

DE112018004347T5 - Virtueller röntgenblick in einer prozesssteuerungsumgebung

Info

Publication number: DE112018004347T5
Application number: DE112018004347.9T
Authority: DE
Inventors: James Aaron Crews; Trevor Duncan Schleiss; Benjamin Michael Bishop
Original assignee: Fisher Rosemount Systems Inc
Current assignee: Fisher Rosemount Systems Inc
Priority date: 2017-09-27
Filing date: 2018-09-26
Publication date: 2020-05-07
Also published as: US10796487B2; CN111149133A; GB2580825B; DE112018004395T5; CN111149133B; GB202212775D0; JP2020535534A; GB2580824B; GB2580825A; GB2607819A; US11244515B2; JP7315313B2; JP2020535536A; JP2019067383A; GB2580824A; US11080931B2; JP7209704B2; GB202004547D0; JP2023153815A; US20200402320A1

Abstract

In einem Verfahren zum Bereitstellen einer virtuellen, erweiterten Sicht für einen Benutzer eines Augmented-Reality-(AR)-Mobilgeräts wird bestimmt, dass ein erster Knoten, der einer Karte einer Prozesssteuerungsumgebung zugeordnet ist, einem ersten realen Objekt entspricht, das sich derzeit in einem Sichtfeld einer Kamera des AR-Mobilgeräts befindet. Eine Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten wird bestimmt, wobei die Beziehung angibt, dass ein oder mehrere andere Objekte, die anderen Knoten entsprechen, zumindest teilweise durch das erste Objekt verdeckt sind. Zumindest teilweise als Reaktion auf das Bestimmen der Beziehung werden ein oder mehrere digitale Modelle oder Bilder, die das andere Objekt oder die anderen Objekte darstellen, aus dem Speicher abgerufen. Eine Anzeige des AR-Mobilgeräts wird veranlasst, dem Benutzer die abgerufenen digitalen Modelle oder Bilder zu präsentieren, während sich das erste Objekt im Sichtfeld der Kamera befindet.

Description

VERWEISE AUF VERWANDTE ANMELDUNGEN
Dies beansprucht den Vorteil der vorläufigen US-Patentanmeldung Nr. 62/564,074 , die am 27. September 2017 eingereicht wurde und den Titel „Augmented Reality Platform“ („Plattform für erweiterte Realität“) trägt, auf deren Offenbarung hiermit in vollem Umfang Bezug genommen wird.
TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich allgemein auf Technologie für erweiterte Realität (Augmented Reality, AR) und insbesondere auf eine Plattform für erweiterte Realität, die in der Prozesssteuerung oder in anderen Umgebungen verwendet werden kann.
HINTERGRUND
Systeme für erweiterte Realität (auch Augmented-Reality-[AR-]Systeme), die die Überlagerung digitaler Informationen (z. B. Text, Bilder, Animationen usw.) auf reale Umgebungen ermöglichen, werden immer häufiger eingesetzt, während neue Anwendungen für die Technologie erforscht werden. AR-Systeme liefern normalerweise Informationen, die spezifisch für den Kontext der aktuellen realen Umgebung des Benutzers sind. Für solche Systeme sind im Allgemeinen Kenntnisse über die reale Welt erforderlich, z. B. Kenntnisse über physische Dinge, die sich derzeit im Sichtfeld eines Benutzers befinden, und die physische Umgebung am und um den aktuellen Standort des Benutzers. Um diese Art von Informationen dem AR-System zur Verfügung zu stellen, wird typischerweise ein dreidimensionales (3D), digitales Modell erstellt, das die Umgebung des Benutzers und die darin enthaltenen Objekte darstellt. Das 3D-Modell kann dann mit bestimmten Arten von Daten (z. B. Beschreibungen), Grafiken (z. B. Icons) usw. erweitert werden, die sich auf bestimmte Orte und/oder bestimmte Objekte in der Umgebung beziehen. Wenn sich ein Benutzer, der mit der entsprechenden AR-Ausrüstung ausgestattet ist, durch die kartierte Umgebung bewegt, können die erweiterten Bereiche dem Benutzer gerendert oder angezeigt werden, indem digitale Informationen über die reale Sicht des Benutzers gelegt werden (z. B. über eine Echtzeitkameraansicht oder als ein Heads-up-Display [HUD], über das der Benutzer die Umgebung betrachtet), ohne dass der Rest des 3D-Modells gerendert oder angezeigt wird.
Herkömmlicherweise werden 3D-Modelle dieser Art manuell von menschlichen Designern und/oder unter Verwendung eines 3D-Scanners erstellt. Beide Ansätze können jedoch für Anwendungen mit Umgebungen, die einen komplexen Aufbau und/oder eine große Anzahl von Objekten aufweisen, sehr zeit- und arbeitsintensiv sein. Darüber hinaus können Änderungen an der Umgebung (z. B. wenn Objekte innerhalb der Umgebung verschoben oder ersetzt/aktualisiert werden) die Wiederholung des gesamten Modellierungsprozesses oder andere zeit- und arbeitsintensive Verfahren erfordern.
Aktuelle AR-Systeme können auch unter anderen Nachteilen leiden. Beispielsweise bei Verwendung in relativ dichten Umgebungen (z. B. in Umgebungen mit mehreren Objekten, die sich in unmittelbarer Nähe befinden und/oder eine große Menge an Informationen aufweisen, die in der AR-Ansicht angezeigt werden sollen) können AR-Systeme die Benutzer einer großen Menge an Informationen aussetzen, was leicht zu einer sensorischen Überlastung führen kann, und/oder es kann möglich sein, dass der Benutzer den Kontext aller Informationen nicht leicht wahrnehmen kann. Darüber hinaus kann es sein, einige Objekte in der AR-Ansicht verdeckt sind. Beispielsweise können sich Objekte innerhalb eines Gehäuses befinden oder sich an einem unzugänglichen oder unbequemen (z. B. entfernten) Ort befinden.
ZUSAMMENFASSUNG
Techniken, Systeme, Vorrichtungen und Verfahren zum Bereitstellen einer Augmented-Reality-Erfahrung werden hier offenbart. Die genannten Techniken, Systeme, Vorrichtungen und Verfahren können auf industrielle Prozesssteuerungssysteme, Umgebungen und/oder Anlagen angewendet werden, die hier austauschbar als „industrielle Steuerungssysteme“, „Prozesssteuerungssysteme“ oder „Prozesssysteme“, Umgebungen und/oder Anlagen bezeichnet werden. Üblicherweise stellen solche Systeme und Anlagen eine dezentralisierte Steuerung eines oder mehrerer Prozesse bereit, die zur Fertigung, Veredelung oder Umformung von physischen Rohstoffen dienen, um Produkte zu erzeugen. In einigen Ausführungsformen können die hierin beschriebenen Techniken, Systeme, Vorrichtungen und Verfahren jedoch in anderen Arten von Umgebungen und/oder in einem anderen Kontext als dem Kontext der erweiterten Realität (z. B. im Kontext von virtueller Realität [VR]) verwendet werden.
Im Allgemeinen können Prozesssteuerungsumgebungen zu vielen der verschiedenen Schwierigkeiten führen, die oben im Abschnitt „Hintergrund“ erläutert wurden und die mit der Erschaffung und Verwendung eines herkömmlichen AR-Systems oder einer herkömmlichen AR-Plattform verbunden sind. Beispielsweise enthalten solche Umgebungen häufig eine große Anzahl verschiedener Objekte (z. B. Behälter, Pumpen, Ventile, Motoren, Sender usw.), die sich in unmittelbarer Nähe befinden und/oder mit großen Informationsmengen verbunden sind (z. B. Sensorwerte, Diagnosestatus usw.). Darüber hinaus können diese Objekte häufig bewegt oder ersetzt werden.
Eine vorliegend beschriebene AR-Plattform kann einige oder alle dieser Schwierigkeiten überwinden oder mindern und sie kann daher für die Verwendung in Prozesssteuerungsumgebungen gut geeignet sein. Mit der AR-Plattform wird ein dreidimensionales Modell von einem Benutzer generiert, der ein AR-Mobilgerät verwendet. Das AR-Mobilgerät kann ein AR-Helm, ein AR-Headset, eine AR-Schutzbrille, eine Smart-Brille, ein Smartphone, ein Tablet oder ein anderer geeigneter Typ eines Mobilgeräts sein, der zur Standortverfolgung fähig ist (wie nachstehend erläutert) und dem Benutzer eine AR-Erfahrung bereitstellen kann.
Das 3D-Modell zeigt 3D-Standorte oder -positionen von bedeutenden Punkten innerhalb der Prozesssteuerungsumgebung an, die verschiedenen realen Objekten entsprechen (z. B. Feldgeräten, Behältern, Förderern, Steuerungen, Schaltern usw.). Objekte, die dem 3D-Modell hinzugefügt werden, werden hier als „Knoten“ der AR-Plattform oder des AR-Systems bezeichnet. Der Begriff „Objekt“ (auch als „reales Objekt“ bezeichnet) kann sich in der Form, wie er hier verwendet wird, auf einen beliebigen physischen Gegenstand (z. B. ein Gerät, eine Komponente, eine Ausrüstungsgegenstände, eine Struktur usw.), ein Teil eines Gegenstands (z. B. ein Element eines Geräts oder einer Komponente usw.) oder auf eine Kombination von Gegenständen (z. B. eine Gruppe verwandter Geräte oder Komponenten usw.) beziehen. In einer Prozesssteuerungsumgebung kann ein Objekt beispielsweise ein Feldgerät (z. B. ein Ventil, eine Pumpe, ein Sensor usw.), ein Ausrüstungselement (z. B. ein Förderer, ein Behälter usw.), eine Prozesssteuerung, ein Schalter, ein Gerät usw. sein.
In einigen Implementierungen führt der Benutzer beim Starten einer AR-Anwendung auf einem AR-Mobilgerät (z. B. bei einer spezifischen Aktivierung seitens des Benutzers oder beim Einschalten des Geräts) einen „Check-in“ oder eine Registrierung des AR-Mobilgeräts an einem Referenz- oder „Orientierungspunkt“-Standort durch. Beispielsweise kann der Benutzer einen QR-Code oder eine andere visuelle Darstellung eines Codes oder einer Kennung am Orientierungspunktstandort mit einer Kamera des AR-Mobilgeräts scannen. Das Scannen des Codes kann einen Startort für den Benutzer oder das Gerät festlegen (z. B. die Koordinaten {0,0,0} in einem {x,y,z}-Raum).
Nach der Registrierung kann der Benutzer beginnen, sich mit dem AR-Mobilgerät physisch durch die Prozesssteuerungsumgebung zu bewegen. Eine geeignete Standorterkennungstechnologie (die zum Beispiel vom AR-Mobilgerät des Benutzers bereitgestellt wird) kann verwendet werden, um die Bewegung des Benutzers durch die Prozessanlage zu verfolgen. Da GPS- oder GNSS-Einheiten in vielen Prozessanlagenumgebungen möglicherweise nicht gut funktionieren und keine Orientierungsdaten oder genaue Höhendaten liefern können (insbesondere für Prozesssteuerungsumgebungen in Innenräumen), können andere Standorterkennungs- und/oder Orientierungstechnologien verwendet werden. Zum Beispiel kann die Position des AR-Mobilgeräts relativ zum Orientierungspunktstandort und die Ausrichtung des AR-Mobilgeräts (z. B. die Richtung eines Sichtfelds einer Kamera des AR-Mobilgeräts, die der Richtung entsprechen kann, in die der Benutzer sieht) unter Verwendung einer Zusammenstellung von Daten einer Trägheitsmesseinheit (engl. inertial measurement unit, kurz: IMU) (z. B. erzeugt durch Beschleunigungsmesser, Gyroskope usw.) und von Kamerabilddaten verfolgt werden. In einer Implementierung wird beispielsweise die von Qualcomm® entwickelte VIO-Technologie (visuell-inertiale Odometrie) verwendet, um Position und Ausrichtung zu verfolgen.
Bei der Ankunft an oder in der Nähe eines realen Objekts, das als Knoten hinzugefügt werden soll, und wenn der Benutzer in Richtung des Objekts zeigt (z. B. beim Tragen eines AR-Helms oder einer Schutzbrille) oder wenn die Gerätekamera auf andere Weise auf das Objekt gerichtet ist (z. B. wenn das Gerät ein Tablet oder Smartphone ist), kann der Benutzer eine Option zum Hinzufügen eines neuen Knotens auswählen. Beispielsweise kann das AR-Mobilgerät den Sprachbefehl „Knoten hinzufügen“ erkennen, wenn er vom Benutzer gesprochen wird, oder das AR-Mobilgerät kann es dem Benutzer erlauben (z. B. wenn das Gerät ein Tablet oder Smartphone ist), einen Befehl „Knoten hinzufügen“ oder eine ähnliche Option/Steuerung auf einer grafischen Benutzeroberfläche (GUI) der Anzeige des AR-Mobilgeräts auszuwählen. Das AR-Mobilgerät kann dann ein Bild des Objekts erfassen und das Bild verarbeiten, um eine Entfernung zwischen dem AR-Mobilgerät und dem Objekt abzuschätzen. Alternativ können andere Sensoren (z. B. Lidar, Radar usw.) verwendet werden, um den Abstand zwischen dem AR-Mobilgerät und dem Objekt zu bestimmen. Das AR-Mobilgerät kann dann die Position des Objekts relativ zum Orientierungspunktstandort basierend auf der aktuellen Position und Ausrichtung des AR-Mobilgeräts sowie der Entfernung zwischen dem AR-Mobilgerät und dem Objekt bestimmen. Alternativ kann ein entfernter Server oder ein anderes Rechengerät oder -system Bilddaten verarbeiten, die von dem AR-Mobilgerät erfasst werden, um die Objektposition relativ zum Orientierungspunktstandort zu bestimmen.
Der Benutzer kann auch den Namen oder Typ des neuen Knotens (z. B. Ventil, Pumpe usw.) und/oder andere Informationen (z. B. eine Modellnummer oder eine andere Kennung für das Objekt, eine kurze Beschreibung des Objekts usw.) angeben. Die angegebenen Informationen können dann dem neuen Knoten in einer Back-End-Datenbank des AR-Systems zugeordnet werden. Die Back-End-Datenbank kann eine Bibliothek von Knoten enthalten, die vom Benutzer (und möglicherweise auch von anderen Benutzern) mit zugehörigen 3D-Positionen relativ zum Orientierungspunktstandort hinzugefügt wurden, um gemeinsam eine virtuelle 3D-„Karte“ von Objekten/Assets in der Prozesssteuerungsumgebung zu erstellen. Die Datenbank kann auch andere Knoteninformationen speichern, wie beispielsweise Listen verwandter und/oder verbundener Knoten.
Nachdem mindestens ein bedeutendes Objekt in einer bestimmten Prozesssteuerungsumgebung kartiert wurde (d. h. mithilfe eines AR-Mobilgeräts zur Knotenbibliothek hinzugefügt wurde), können alle Benutzer, die ihre AR-Mobilgeräte am Orientierungspunktstandort registrieren (einschließlich der Benutzer, die die Kartierung vorgenommen haben) einen erweiterten Rundgang durch die Prozesssteuerungsumgebung machen. Wenn ein Benutzer mit einem registrierten AR-Mobilgerät ein Sichtfeld einer Kamera des AR-Mobilgeräts auf einen Bereich richtet, der ein bestimmtes reales Objekt enthält (z. B. wenn der Benutzer den Bereich mit einem AR-Helm oder einer AR-Schutzbrille betrachtet), und wenn das Objekt bereits einem Knoten in der Knotenbibliothek zugeordnet ist, kann das AR-Mobilgerät die vom Benutzer betrachtete reale Szene mit einer Knoten-„Markierung“ (z. B. einem Text, einem Symbol, einer Grafik usw.) erweitern, die dem Benutzer so erscheint, als ob sie sich in der realen Sicht des Benutzers an oder in der Nähe der Koordinaten des Objekts befindet.
Wenn der Benutzer einen bestimmten Knoten auswählt (z. B. durch Fokussieren auf die Knotenmarkierung oder Ausgeben eines Sprachbefehls usw.), kann das AR-Mobilgerät dem Benutzer eine oder mehrere „Knotenerfahrungen“ zur Verfügung stellen. Beispielsweise kann eine Knotenerfahrung Text (Knotenname, Beschreibung usw.), Tabellen und/oder Grafiken/Symbole über die reale Sicht des Benutzers legen. Andere Knotenerfahrungen können beispielsweise Webinhalte von einer bestimmten URL (z. B. ein Lehr- oder Hilfsvideo) oder Visualisierungen von physischen oder logischen Verbindungen und/oder Beziehungen zu anderen Objekten/Knoten überlagert anzeigen. Weitere Knotenerfahrungen können das Abrufen eines Arbeitsauftrags, der dem Objekt/Knoten zugeordnet ist, das Herstellen einer Kommunikationsverbindung zwischen dem Benutzer und einem geeigneten Experten an einem entfernten Standort usw. beinhalten. In einigen Implementierungen startet (oder verknüpft) mindestens eine Knotenerfahrung eine oder mehrere andere Softwareanwendungen oder - systeme in dem spezifischen Kontext des Objekts, das vom Benutzer beobachtet wird. Beispielsweise kann das AR-Mobilgerät Sensordaten, den Status und/oder virtuelle Steuerungen für ein ausgewähltes Objekt oder einen ausgewählten Knoten (z. B. ein Feldgerät) über das Sichtfeld legen, wenn die Daten von einer anderen Anwendung empfangen und die Benutzereingaben für die Steuerungen an eine andere Anwendung übertragen werden.
Die Erfahrungen, die einem Benutzer für einen bestimmten Knoten zur Verfügung stehen, die Art des Inhalts, der innerhalb einer bestimmten Knotenerfahrung präsentiert wird, und/oder (in einigen Implementierungen) die Frage, ob einem bestimmten Benutzer für einen bestimmten Knoten überhaupt erweiterte Informationen zur Verfügung stehen, können zumindest teilweise basierend auf der „Rolle“ des Benutzers festgelegt werden. Beispielsweise kann ein bestimmter Benutzer das AR-Mobilgerät verwenden, um eine „Bediener“-Rolle, eine „Instandhalter“-Rolle oder eine „Ingenieur“-Rolle auszuwählen, oder ihm kann eine solche Rolle vorab zugewiesen werden.
Den Benutzern kann ebenfalls eine Reihe anderer Funktionen zur Verfügung gestellt werden. In einigen Implementierungen kann Benutzern beispielsweise ein virtueller „Röntgenblick“ bereitgestellt werden, indem hyperrealistische oder pseudorealistische 3D-Modellvisualisierungen erstellt werden, die, wenn sie über die reale Sicht des Benutzers gelegt werden, so aussehen, als ob die Benutzer Objekte, die sich in Gehäusen (z. B. in einem Schrank) oder hinter Barrieren befinden, sehen würden. Das AR-Mobilgerät kann dem Benutzer auch bestimmte Knotenerfahrungen präsentieren (und/oder es dem Benutzer ermöglichen, diese auszuwählen), die mit versteckten Objekten verbunden sind, wie beispielsweise das Anzeigen von Statusdaten oder Warnungen, die mit den versteckten Objekten verbunden sind, und das Ausgeben von Sprachbefehlen, um den Betrieb der verborgenen Objekte zu steuern und so weiter.
Als weiteres Beispiel kann das AR-Mobilgerät einen „Avatar“ eines eingeschränkt zugänglichen und/oder entfernten Objekts/Knotens über die reale Sicht des Benutzers legen. Das Objekt kann sich beispielsweise auf einem hohen Turm oder in einem toxischen oder Hochspannungsbereich usw. befinden. Wie bei den versteckten Objekten können dem Benutzer bestimmte Knotenerfahrungen zur Verfügung gestellt werden, die verschiedene Arten von Interaktionen mit dem eingeschränkt zugänglichen und/oder entfernten Objekt ermöglichen. Sowohl bei den Implementierungen/Szenarien, die ein verstecktes Objekt („Röntgenblick“) als auch ein nur eingeschränkt zugängliches oder entferntes Objekt umfassen, kann den Benutzern eine Gesamterfahrung bereitgestellt werden, die sehr ähnlich zu einer Erfahrung ist, die der Benutzer hätte, wenn sich das Objekt oder der Knoten direkt vor ihm befände und vollständig für ihn sichtbar wäre, während der Benutzer mit dem Objekt interagiert.
Auch andere Arten von Funktionen können von der AR-Plattform unterstützt werden. Beispielsweise können aktuelle Positionen von Benutzern verschiedene Warnungen auslösen (z. B. eine Warnung, dass sich der Benutzer in einem gefährlichen Bereich befindet) und/oder andere Informationen anzeigen. Als weiteres Beispiel können aktuelle und/oder historische 3D-Positionen von Benutzern innerhalb einer Prozessanlage für verschiedene Zwecke verfolgt oder aufgezeichnet werden, z. B. um sicherzustellen, dass Mitarbeiter in einer Notsituation evakuiert werden, dass Mitarbeiter nicht verletzt werden oder anderweitig auf medizinische Hilfe angewiesen sind oder um die Schulung bestimmter Mitarbeiter zu überwachen.
Die oben und weiter unten beschriebene AR-Plattform kann abhängig von der spezifischen Implementierung eine Reihe von Vorteilen bieten. Indem beispielsweise nur die relativen 3D-Positionen bestimmter Objekte kartiert werden, kann das 3D-Modell einfacher und effizienter erzeugt werden als mit herkömmlichen Mitteln (z. B. unter Verwendung eines 3D-Scanners zum Abbilden der Umgebung). Ebenso können Aktualisierungen oder Neukonfigurationen von Objekten innerhalb der Prozesssteuerungsumgebung schneller und einfacher durchgeführt werden. Darüber hinaus kann die AR-Plattform unter Verwendung des hierin beschriebenen Kartierungsprozesses und durch Verfolgen der Bewegung von AR-Mobilgeräten oder -benutzern, wie hierin beschrieben, bestimmen, wann einem Benutzer erweiterte Informationen bereitgestellt werden sollen, ohne dass ein Kosten- und/oder Zeitaufwand für die Nachrüstung entsteht oder dass Objekte in anderer Weise mit Nahbereichskommunikationstechnologien (z. B. Bluetooth- oder Nahfeldkommunikationsgeräten (NFC)) ausgestattet werden müssen und ohne dass zeitaufwändige Aktionen von Benutzern, die sich durch die Umgebung bewegen, erforderlich sind (z. B. Scannen von QR-Codes auf Objekten, manuelle Dateneingabe von Objektkennungen, physische Verbindung zu Objekten usw.). Somit können konventionelle Hindernisse für den Einsatz eines AR-Systems, insbesondere in einer Prozesssteuerungsumgebung, verringert oder beseitigt werden.
Als weiteres Beispiel kann die AR-Plattform im Allgemeinen einen Marktplatz bereitstellen, auf dem Dritte neue, angepasste Arten oder Klassen von „Knotenerfahrungen“, die unterschiedlichen Benutzerinteraktionen mit Objekten/Knoten entsprechen, und/oder neue Inhalte für vorhandene Knoten anbieten können. Instrumentenanbieter oder andere Unternehmen können beispielsweise Abonnements für Hilfeinformationen oder AR- oder videobasierte Arbeitsanweisungen für bestimmte Objekte anbieten. In einigen Ausführungsformen kann ein virtueller „App-Store“ Kunden ermöglichen, verschiedene Anwendungen zu lizenzieren und/oder bestimmte Arten von Inhalten zu abonnieren, die für die mobile Belegschaft eines Kunden gewünscht werden.
Darüber hinaus können die Funktionen, die das Anzeigen/Betrachten erweiterter Informationen für verdeckte, entfernte und/oder eingeschränkt zugängliche Knoten erleichtern, zu Zeit- und somit Kosteneinsparungen bei Benutzern führen und in einigen Implementierungen und/oder Szenarien können sie die Arbeitssicherheit verbessern, indem die Notwendigkeit vermieden wird, sich in gefährliche Gebiete zu begeben.
Darüber hinaus kann die AR-Plattformarchitektur sehr flexibel sein. Die AR-Plattform kann die Anzeige relevanter Informationen für Benutzer auf einer Vielzahl verschiedener Plattformen erleichtern, beispielsweise auf intelligenten Helmen, intelligenten Schutzbrillen, Smartphones, Tablets usw. Die AR-Plattform kann auch die Interaktivität mit einer Reihe anderer Softwareanwendungen erleichtern (z. B. mit Prozesssteuerungssoftware, die Daten zu Steuerlogik, Gerätemesswerten usw. abrufen kann) und/oder sie kann die einfache Bereitstellung neuer Erfahrungen, Inhalte oder anderer Funktionen ermöglichen.
Wie oben erwähnt, müssen bestimmte hier beschriebene Implementierungen und/oder Merkmale nicht in einem AR-System verwendet werden und/oder sie müssen nicht in einer Prozesssteuerungsumgebung verwendet werden. Beispielsweise können einem Benutzer mit einem Smartphone, Tablet oder einem anderen Mobilgerät „Knotenerfahrungen“, basierend auf den kartierten 3D-Positionen von Objekten innerhalb einer Anlage und der aktuellen Position und Ausrichtung des Benutzers, präsentiert werden, ohne diese Erfahrungen notwendigerweise als AR-Anzeige bereitzustellen (z. B. über eine Virtual-Reality-Anzeige oder einfach eine GUI). Als weiteres Beispiel können die hier beschriebenen Techniken in anderen Umgebungen als Prozesssteuerungsumgebungen angewendet werden, wie beispielsweise in Büroräumen, Lagern, Krankenhäusern usw.
Figurenliste

1 ist ein Blockdiagramm, das ein beispielhaftes Augmented-Reality-(AR)-System zeigt, das eine AR-Plattform bereitstellt, die verschiedene hier beschriebene Verfahren, Techniken, Funktionen und/oder Merkmale unterstützen kann.
2 ist ein Blockdiagramm, das Komponenten einer beispielhaften Prozesssteuerungsumgebung zeigt, in der das AR-System aus 1 verwendet werden kann.
3 zeigt beispielhaft eine dreidimensionale Karte (3D-Karte) von Knoten in einer Prozesssteueru ngsum gebung.
4A bis 4H zeigen beispielhaft Benutzerschnittstellen, die über ein Sichtfeld gelegt sein können, das von einem AR-Mobilgerät bereitgestellt wird.
5A und 5B zeigen beispielhaft Elemente einer Datenbank, die in der AR-Plattform verwendet werden kann.
6 zeigt beispielhaft eine Ausführungsform und ein Szenario, in dem einem Benutzer eines AR-Mobilgeräts ein Röntgenblick ermöglicht wird.
7A und 7B zeigen beispielhaft Benutzerschnittstellen, die überein Sichtfeld gelegt sein können, das von einem AR-Mobilgerät bereitgestellt wird, um eine virtuelle Nähe zwischen einem Benutzer und einem Objekt bereitzustellen, das vom Benutzer entfernt oder auf andere Weise schwer zugänglich ist.
8 ist ein Flussdiagramm eines beispielhaften Verfahrens zum Kartieren einer realen Prozesssteuerungsumgebung unter Verwendung eines Mobilgeräts.
9 ist ein Flussdiagramm eines beispielhaften Verfahrens zum Bereitstellen einer virtuellen erweiterten Sicht für einen Benutzer eines AR-Mobilgeräts in einer realen Prozesssteueru ngsum gebung.
10 ist ein Flussdiagramm eines beispielhaften Verfahrens zum Erleichtern der Interaktion zwischen einem Benutzer eines mobilen AR-Mobilgeräts und einem realen Objekt, das sich in einem entfernten oder eingeschränkt zugänglichen Bereich einer Prozesssteuerungsumgebung befinden kann.

DETAILLIERTE BESCHREIBUNG
Beispielhaftes System für erweiterte Realität (Augmented-Reality-System)
1 zeigt beispielhaft ein Augmented-Reality-(AR)-System 10, das im Allgemeinen eine AR-Plattform zum Bereitstellen einer AR-Erfahrung in einer Umgebung (z. B. einer Prozesssteuerungsumgebung) bereitstellen kann. Das AR-System 10 beinhaltet ein AR-Mobilgerät 12 eines Benutzers und einen Back-End-Server 14, der über ein Netzwerk 16 kommunikativ mit dem AR-Mobilgerät 12 verbunden sein kann. Das AR-Mobilgerät 12 kann ein beliebiges Computergerät sein, das geeignete Verarbeitungs- und Erfassungsfähigkeiten aufweist und von einem Benutzer getragen oder auf andere Weise mitgeführt werden kann. Beispielsweise kann das AR-Mobilgerät 12 ein speziell für AR konfiguriertes Gerät sein, wie beispielsweise ein AR-Helm (z. B. der von DAQRI® entwickelte Smart Helmet®) oder eine AR-Schutzbrille. Alternativ kann das AR-Mobilgerät 12 ein Gerät sein, das auch über Nicht-AR-Anwendungen verfügt (z. B. ein Tablet, ein Smartphone, eine Smart-Brille, eine Smartwatch usw.), aber eine Softwareanwendung ausführt, die das Gerät 12 so konfiguriert, dass es AR-Funktionen aufweist. Während 1 nur ein AR-Mobilgerät 12 zeigt, versteht es sich, dass eine größere Anzahl von AR-Mobilgeräten, die mit dem AR-Mobilgerät 12 identisch oder verschieden sind, in dem AR-System 10 auf ähnliche Weise verwendet werden kann.
Das AR-Mobilgerät 12 ist im Allgemeinen so konfiguriert, dass es dem Benutzer eine AR-Erfahrung zur Verfügung stellt, indem die reale Sicht des Benutzers mit Kontextinformationen (z. B. Text, Grafiken, Animationen usw.) erweitert wird. Im Allgemeinen fördert der Back-End-Server 14 die AR-Erfahrung für den Benutzer und für die Benutzer anderer AR-Mobilgeräte, indem er Daten verwaltet, die angeben, wie die reale Sicht eines Benutzers in bestimmten Situationen erweitert werden soll, indem er Daten von AR-Mobilgeräten empfängt, die den aktuellen Status und/oder die aktuelle Umgebung des AR-Geräts und/oder des Benutzers anzeigen und indem er den AR-Mobilgeräten nach Bedarf Daten bereitstellt.
Das Netzwerk 16 beinhaltet ein oder mehrere drahtlose Netzwerke und möglicherweise auch ein oder mehrere drahtgebundene Netzwerke. In der beispielhaften Ausführungsform von 1 verwendet die AR-Plattform des AR-Systems 10 eine Cloud-basierte Architektur, und das Netzwerk 16 umfasst das Internet. Wenn das AR-System 10 in Innenräumen verwendet wird, kann das Netzwerk 16 auch drahtlose Netzwerke beinhalten, die keine direkte Kommunikation mit einem entfernten Turm oder einer Basisstation erfordern, wie beispielsweise ein IEEE-802.11- oder„WiFi“-Netzwerk. In anderen Ausführungsformen umfasst das Netzwerk 16 jedoch ein Mobilfunknetzwerk (z. B. LTE, GSM usw.). Wie weiter unten erläutert, kann das AR-System 10 auch einen oder mehrere andere Server 18 beinhalten, die kommunikativ mit dem Back-End-Server 14 und/oder dem AR-Mobilgerät 12 verbunden sind und die gemeinsam eine oder mehrere Anwendungen 19 speichern und ausführen.
Wie in der beispielhaften Ausführungsform aus 1 zu sehen ist, kann das AR-Mobilgerät 12 eine Netzwerkschnittstelle 20, eine Anzeige 22, eine Kamera 24, eine Trägheitsmesseinheit (engl. inertial measurement unit, IMU) 26 und einen Speicher 30 umfassen, in dem eine AR-Anwendung 32 gespeichert ist. Die Netzwerkschnittstelle 20 ist dafür konfiguriert, die Kommunikation mit entfernten Computergeräten und -systemen, einschließlich des Back-End-Servers 14, unter Verwendung eines drahtlosen Kommunikationsprotokolls von mindestens einem Teil des Netzwerks 16 (z. B. eines WiFi- oder Mobilfunknetzes) zu ermöglichen.
Die Anzeige 22 kann Hardware und zugehörige Firmware und/oder Software beinhalten, die gemäß einem geeigneten Typ einer digitalen Anzeigetechnologie konfiguriert sind. Beispielsweise kann die Anzeige 22 eine Flüssigkristallanzeigetechnologie (LCD), eine Leuchtdiodentechnologie (LED), eine organische Leuchtdiodentechnologie (OLED) usw. verwenden. Die Anzeige 22 kann im Allgemeinen transparent oder durchscheinend sein oder sie kann undurchsichtig sein. Die Struktur oder der Formfaktor der Anzeige 22 und die Frage, ob die Anzeige transparent/durchscheinend oder undurchsichtig ist, hängt im Allgemeinen vom Typ des AR-Mobilgeräts 12 ab. Wenn das AR-Mobilgerät 12 beispielsweise ein Helm ist, kann die Anzeige 22 die Form eines Visiers haben und sie kann durchscheinend sein, sodass alle von der Anzeige 22 angezeigten Informationen über die direkte, reale Sicht des Benutzers gelegt werden (d. h. ein „Heads-up-Display“ oder „HUD“). Wenn umgekehrt das AR-Mobilgerät 12 ein Tablet oder Smartphone ist, kann die Anzeige 22 einen herkömmlichen rechteckigen Formfaktor aufweisen und möglicherweise nur indirekte Ansichten der realen Welt zulassen (z. B. wie von der Kamera 24 erfasst).
Die Kamera 24 kann ein beliebiger geeigneter Typ eines optischen Sensors sein, wie beispielsweise ein CCD-Bildsensor (engl. charge-coupled device (CCD), dt. ladungsgekoppelte Vorrichtung). In alternativen Ausführungsformen ist die Kamera 24 stattdessen ein anderer Typ einer Abbildungsvorrichtung oder sie beinhaltet einen solchen anderen Abbildungsvorrichtungstyp, wie beispielsweise einen Lichterfassungs- und Entfernungssensor (Lidar) oder einen Radarsensor. Die IMU 26 kann einen oder mehrere Sensoren (z. B. Beschleunigungsmesser und/oder Gyroskope) umfassen, die Daten erzeugen, die die Bewegung des AR-Mobilgeräts 12 in drei Dimensionen anzeigen. Obwohl nicht in 1 nicht gezeigt, kann das AR-Mobilgerät auch andere Komponenten aufweisen, wie z. B. Mikrofon und/oder Lautsprecher.
Der Speicher 30, in dem die AR-Anwendung 32 gespeichert ist, kann ein beliebiger geeigneter Typ eines persistenten Speichers sein, wie beispielsweise ein Nur-Lese-Speicher (ROM) in Festkörper- oder Festplattenform. Die AR-Anwendung 32 koordiniert im Allgemeinen die AR-Erfahrung für den Benutzer des AR-Mobilgeräts 12, indem sie zum Beispiel die geeigneten erweiterten Informationen auf der Anzeige 22 erzeugt und nach Bedarf mit dem Back-End-Server 14 kommuniziert. 1 zeigt einen Satz von Modulen, die beispielhaften Funktionen oder Merkmalen entsprechen, die von der AR-Anwendung 32 ausgeführt oder bereitgestellt werden können, einschließlich eines Rollenidentifikationsmoduls 40, eines Registrierungsmoduls 42, eines Positionsbestimmungs- und Orientierungsmoduls 44, eines Knotenerfahrungsmoduls 46, eines Knotenerstellungsmoduls 48, eines Sichtverbesserungsmoduls 50 und eines positionsbasierten Warnungsmoduls 52. Jedes der Module 40 bis 52 wird weiter unten im Zusammenhang mit dem Betrieb des AR-Systems 10 erörtert. In einigen Ausführungsformen beinhaltet die AR-Anwendung 32 weniger, mehr und/oder andere Module als die in 1 gezeigten. Beispielsweise kann die AR-Anwendung 32 ein Spracherkennungsmodul zum Erkennen von Benutzersprachbefehlen umfassen.
In der beispielhaften Ausführungsform aus 1 beinhaltet der Back-End-Server 14 auch eine Webdienstschnittstelle 60, eine Erfahrungsbereitstellungseinheit 62, eine 3D-Modellerstellungseinheit 64, eine Sichtverbesserungseinheit 66, eine Warnungserzeugungseinheit 68 und eine Benutzerüberwachungseinheit 70. Im Allgemeinen kann die Webdienstschnittstelle 60 eine objektorientierte, webbasierte Schnittstelle zu einer AR-Datenbank 72 bereitstellen, die mit dem Back-End-Server 14 gekoppelt oder in diesem enthalten ist. In einigen Ausführungsformen stellt die Webdienstschnittstelle 60 eine Anwendungsprogrammierschnittstelle (API) für entfernte Geräte bereit, wie beispielsweise das AR-Mobilgerät 12.
Die AR-Datenbank 72 speichert im Allgemeinen Informationen, die eine 3D-Karte einer bestimmten Umgebung definieren (z. B. durch Speichern von Knotenkennungen, Positionen der Knoten innerhalb der 3D-Karte relativ zum Orientierungspunkt und möglicherweise andere Informationen, die den Knoten zugeordnet sind) und sie wird weiter unten (gemäß einer besonderen Ausführungsform) in Verbindung mit den 5A und 5B detaillierter erörtert. Die AR-Datenbank 72 kann eine einzelne Datenbank oder eine Sammlung von Datenbanken sein und sie kann in einem einzelnen physischen Speicher gespeichert oder auf mehrere Speicher an einem oder mehreren geografischen Orten verteilt sein. Eine(s), einige oder alle der Elemente/Einheiten 60 bis 70 können als Softwareanweisungen implementiert werden, die in einem persistenten Speicher (z. B. ROM) gespeichert sind. In anderen Ausführungsformen beinhaltet der Back-End-Server 14 weniger, mehr und/oder andere Elemente/Einheiten als die in 1 gezeigten.
Im Betrieb kann ein Benutzer, der das AR-Mobilgerät 12 trägt oder auf andere Weise mitführt, veranlassen, dass das AR-Mobilgerät 12 die AR-Anwendung 32 startet. Die AR-Anwendung 32 kann beispielsweise durch manuelles Auswählen eines Symbols auf der Anzeige 22, Ausgeben eines Sprachbefehls oder einfaches Einschalten des AR-Mobilgeräts 12 gestartet werden.
In einigen Ausführungsformen beispielsweise fordert das Rollenidentifikationsmodul 40 der AR-Anwendung 32 den Benutzer zu Beginn (z. B. beim Start) auf, eine bestimmte „Rolle“ anzugeben, die der beruflichen Position des Benutzers entspricht und/oder die der bestimmten Aufgabe (oder den bestimmten Aufgaben) entsprechen kann, die der Benutzer mithilfe des AR-Systems 10 ausführen möchte. In anderen Ausführungsformen wird der Benutzer erst später aufgefordert, seine Rolle anzugeben (z. B. nach der Registrierung an einem Orientierungspunkt, wie unten erörtert). Eine beispielhafte Benutzerschnittstelle, die das Rollenidentifikationsmodul 40 über die reale Sicht legen kann, die auf oder durch die Anzeige 22 gesehen wird (z. B. über von der Kamera 24 aufgenommene Bilderrahmen oder über die direkte reale Sicht des Benutzers) wird unten in Verbindung mit 4A diskutiert. In einer alternativen Ausführungsform fordert das Rollenidentifikationsmodul 40 den Benutzer nicht zur Auswahl einer Rolle auf und bestimmt stattdessen eine vorab zugewiesene Rolle des Benutzers basierend auf einer Kennung des AR-Mobilgeräts 12 und/oder einer Identifikation (z. B. Name, Mitarbeiternummer usw.), die vom Benutzer eingegeben oder ausgesprochen wird.
Die ausgewählte oder zugewiesene Benutzerrolle kann verschiedene Aspekte der AR-Erfahrung anpassen, die dem Benutzer bereitgestellt werden, wie weiter unten erläutert wird. Abhängig von der Ausführungsform kann die Benutzerrolle unveränderlich festgelegt werden, sobald sie ausgewählt oder zugewiesen wurde, oder sie kann von einem Benutzer im laufenden Betrieb geändert werden, wenn er sich durch die Umgebung bewegt. In einigen Ausführungsformen ist das Rollenidentifikationsmodul 40 nicht in der AR-Anwendung 32 enthalten und innerhalb des AR-Systems 10 werden keine Benutzerrollen ausgewählt oder zugewiesen.
Vor dem Kartieren einer Umgebung oder vor dem Aktualisieren oder Erkunden einer zuvor kartierten Umgebung kann es in bestimmten Ausführungsformen erforderlich sein, dass der Benutzer das AR-Mobilgerät 12 an einem „Orientierungspunkt“ registriert, dessen Standort dann als Referenzpunkt für die zukünftige Bewegung des AR-Mobilgeräts 12 (und somit des Benutzers) verwendet wird. Derselbe Orientierungspunktstandort wird auch als Referenzpunkt für die Positionen von jeglichen Objekten in der Umgebung verwendet, die bereits als Knoten der 3D-Karte eingerichtet wurden (oder eingerichtet werden), wodurch die Position des AR-Mobilgeräts 12 relativ zu jeglichen kartierten Objekten bestimmt werden kann. Der Orientierungspunktstandort kann beispielsweise als {0,0,0} in einem {x,y,z}-Koordinatensystem dargestellt sein, oder es können andere Koordinatensysteme (z. B. Polarkoordinaten) verwendet werden.
Um das AR-Mobilgerät 12 zu registrieren, kann das Registrierungsmodul 42 ein oder mehrere Bilder/Frames verarbeiten, die von der Kamera 24 aufgenommen wurden. Der Orientierungspunkt-Standort kann beispielsweise ein QR-Code oder eine andere geeignete Art von Bild oder Text sein, der/das physisch am Orientierungspunktstandort aufgedruckt ist (z. B. an einer Wand oder Tür in der Nähe eines Eingangs zu einem Bereich innerhalb einer Prozesssteuerungsanlage). In einigen Ausführungsformen kann das Registrierungsmodul 42 oder ein anderer Teil der AR-Anwendung 32 ein Fadenkreuz über die dem Benutzer bereitgestellte, reale Sicht legen (z. B. wie nachstehend in Verbindung mit 4E erörtert), um dem Benutzer zu helfen, den QR-Code, das Bild usw. zu fokussieren. In einigen Ausführungsformen wird eine andere Technologie verwendet, um den Orientierungspunkt zu erkennen, wie beispielsweise komplementäre Bluetooth- oder NFC-Kommunikationseinheiten des AR-Mobilgeräts 12 und eines anderen Geräts, das am Orientierungspunktstandort befestigt ist.
In einigen Ausführungsformen leitet das Registrierungsmodul 42, wenn der Benutzer das AR-Mobilgerät 24 an einem bestimmten Orientierungspunkt registriert, Daten, die eine Kennung des Orientierungspunkts anzeigen (z. B. durch Senden einer binären Darstellung des QR-Codes oder Senden des Bildes des QR-Code vor dem Decodieren des Bildes) an den Back-End-Server 14 über das Netzwerk 16 und die Webdienstschnittstelle 60 weiter. Der Back-End-Server 14 kann dann die Orientierungspunktkennung mit Orientierungspunktkennungen (falls vorhanden) vergleichen, die in der AR-Datenbank 72 gespeichert sind. Wenn die Kennung nicht bereits gespeichert ist, kann der Back-End-Server 14 eine Fehlermeldung über die Webdienstschnittstelle 60 und das Netzwerk 16 an das Registrierungsmodul zurückgeben oder, in einigen Ausführungsformen, veranlassen, dass die AR-Datenbank einen neuen Orientierungspunkt-Kennungseintrag erstellt, der mit einer neuen 3D-Karte verbunden ist. Wenn umgekehrt die Orientierungspunktkennung bereits in der AR-Datenbank 72 vorhanden ist, kann der Back-End-Server 14 dem AR-Mobilgerät 12 einige oder alle der entsprechenden 3D-Karten- und zugehörigen Daten zur Verfügung stellen und eine Nachricht, die eine erfolgreiche Registrierung anzeigt, an das Registrierungsmodul 42 über die Webdienstschnittstelle 60 und das Netzwerk 16 zurückgeben.
Die AR-Datenbank 72 kann eine Anzahl verschiedener Orientierungspunktkennungen speichern, die jeweils einer anderen 3D-Karte zugeordnet sind, wobei jede Karte einer anderen Knotenbibliothek zugeordnet ist. Mehrere Karten können derselben Umgebung zugeordnet sein (z. B. durch Hinzufügen verschiedener Objekte innerhalb der einzelnen Umgebung als Knoten der verschiedenen Karten) und/oder verschiedene Karten können verschiedenen Umgebungen zugeordnet sein (z. B. eine Karte für einen ersten Bereich von einer Prozesssteuerungsanlage, eine weitere Karte für einen zweiten Bereich der Anlage usw.).
In einigen Ausführungsformen bewirkt eine erfolgreiche Registrierung des AR-Mobilgeräts 12 an dem Orientierungspunkt, dass das Positionsbestimmungs- und Orientierungsmodul 44 den Ort des AR-Mobilgeräts 12 gleich dem Orientierungspunktstandort setzt (z. B. {0,0,0}). Für eine größere Präzision kann das Registrierungsmodul 42 jedoch das von der Kamera 24 aufgenommene Bild des Orientierungspunkts unter Verwendung einer Tiefenerfassungstechnik verarbeiten, um den Abstand zwischen dem AR-Mobilgerät 12 und dem Orientierungspunkt zu bestimmen. Das Positionsbestimmungs- und Orientierungsmodul 44 kann dann die Startposition des AR-Mobilgeräts 12 von der bekannten oder Referenzposition des Orientierungspunkts auf der Grundlage sowohl des bestimmten Abstands vom Orientierungspunkt als auch der Ausrichtung des AR-Mobilgeräts 12 relativ zum Orientierungspunkt berechnen. Wenn der Orientierungspunkt ein QR-Code oder eine andere visuelle Kennung ist, kann die relative Ausrichtung des AR-Mobilgeräts 12 basierend auf der Richtung angenommen werden, in die der Orientierungspunkt zeigt. Alternativ kann die relative Ausrichtung aus dem aufgenommenen Bild bestimmt werden (z. B. durch Bestimmen eines Einfallswinkels der Kameraansicht relativ zum Orientierungspunkt usw.).
Sobald der Benutzer des AR-Mobilgeräts 12 registriert ist, kann er beginnen, sich durch die Umgebung zu bewegen, wobei eine reale Sicht (bereitgestellt über die Anzeige 22) im Allgemeinen durch digitalen Text, Tabellen, Grafiken, Animationen und/oder andere Arten von Informationen erweitert wird, die der 3D-Karte zugeordnet sind, die dem Orientierungspunkt entspricht. Um die Position und Orientierung des Benutzers (d. h. des AR-Mobilgeräts 12) zu verfolgen, kann das Positionsbestimmungs- und Orientierungsmodul 44 auf die IMU 26, die Kamera 24 und/oder auf einen oder mehrere andere Sensoren des AR-Mobilgeräts 12 zugreifen, die nicht in 1 gezeigt sind. In einigen Ausführungsformen verwendet das Positionsbestimmungs- und Orientierungsmodul 44 die gesammelten Sensordaten, um Positionen und Orientierungen zu bestimmen, ohne sich auf GPS, GNSS, WiFi-Positionierung (z. B. Trilateration) oder andere Standorterfassungstechnologien zu stützen, die eine Kommunikationsverbindung zwischen dem AR-Mobilgerät 12 und anderen Geräten oder Systemen erfordern. „Position“ oder „Ort“ kann sich auf einen bestimmten Satz von Koordinaten in einem 3D-Koordinatensystem beziehen (z. B. kartesisch oder polar) und „Orientierung“ kann sich auf eine bestimmte Richtung beziehen (z. B. in einem horizontalen/azimutalen 360-Grad-Bereich plus Erhebung oder Höhe). In einigen Ausführungsformen kann sich „Orientierung“ ferner auf die Neigung des AR-Mobilgeräts 12 beziehen, unabhängig von der Richtung, in die das Gerät 12 zeigt. Da nur relative Positionen verfolgt werden (z. B. im Sinne einer „Koppelnavigation“), bestimmt das Positionsbestimmungs- und Orientierungsmodul 44 die Positionen des AR-Mobilgeräts oder -benutzers relativ zum Ort des Orientierungspunkts, an dem die Registrierung stattgefunden hat.
In einigen Ausführungsformen verarbeitet das Positionsbestimmungs- und Orientierungsmodul 44 eine Zusammenstellung von Daten von mindestens der Kamera 24 und der IMU 26, um die mit beiden Sensortypen verbundenen Unzulänglichkeiten zu überwinden, wenn sie isoliert verwendet werden. Beispielsweise kann das Positionsbestimmungs- und Orientierungsmodul 44 die von Qualcomm® entwickelte VIO-Technologie (visuell-inertiale Odometrie) verwenden, um Position und Orientierung des AR-Mobilgeräts 12 zu verfolgen. Eine solche Technologie kann dazu beitragen, die Genauigkeit zu verbessern, die „Positionsverschiebung“ in bestimmten Positionen zu verringern und/oder andere Vorteile zu liefern.
Da die Position und Ausrichtung der Kamera 24 relativ zu dem AR-Mobilgerät 12 selbst bekannt ist, kann die AR-Anwendung 32 das Sichtfeld des AR-Mobilgeräts 12 (das in einigen Ausführungsformen auch dem realen Sichtfeld des Benutzers entsprechen kann) für jede gegebene Position und Orientierung bestimmen, die durch das Positionsbestimmungs- und Orientierungsmodul 44 bestimmt wird. Basierend auf der bestimmten Position und Orientierung und unter Verwendung der in der AR-Datenbank 72 für die 3D-Karte gespeicherten Knotenpositionen kann die AR-Anwendung 32 daher bestimmen, welche kartierten Objekte sich zu einem bestimmten Zeitpunkt innerhalb des Sichtfelds befinden. In einigen Ausführungsformen kann ein Objekt als „innerhalb des Sichtfelds“ einer Kamera betrachtet werden, wenn sich das Objekt innerhalb des horizontalen und vertikalen Bereichs oder der horizontalen und vertikalen Ausdehnung des Kamerasensors befindet (z. B. innerhalb bestimmter azimutaler, vertikaler oder Höhenwinkel), unabhängig von der Entfernung zwischen dem Objekt und dem AR-Mobilgerät, das die Bilder aufzeichnet, und unabhängig davon, ob das Objekt unter Umständen durch Hindernisse in der Umgebung blockiert wird. Beispielsweise kann ein Objekt direkt und unmittelbar vor der Kamera 24 als „innerhalb des Sichtfelds“ der Kamera 24 betrachtet werden, selbst wenn das Objekt durch ein Gehäuse, eine Barriere, ein anderes Objekt usw. abgeschirmt ist. In anderen Ausführungsformen wird ein Objekt nur dann als „innerhalb des Sichtfelds“ der Kamera betrachtet, wenn das Objekt nicht verdeckt ist, d. h. wenn die Kamera Bilder des Objekts aufnehmen kann.
Um die Positionen von kartierten Objekten zu bestimmen, kann die AR-Anwendung 32 periodisch über das Netzwerk 16 und die Webdienstschnittstelle 60 auf Knotenpositionen in der AR-Datenbank zugreifen. Beispielsweise kann die AR-Anwendung 32 periodisch anfordern, dass der Back-End-Server 14 Standortdaten für Knoten innerhalb eines Schwellenabstands zum AR-Mobilgerät 12 (und/oder innerhalb des Sichtfelds des Geräts 12 usw.) bereitstellt, wobei die Anforderung die aktuelle Position (und/oder Ausrichtung) des AR-Mobilgeräts 12 angibt. Alternativ kann die AR-Anwendung 32 anfordern, dass der Back-End-Server 14 alle Knotenpositionen (und möglicherweise andere Informationen, wie z. B. Knotenbeschreibungen usw.) für die 3D-Karte sendet, die dem für die Registrierung verwendeten Orientierungspunkt zugeordnet ist, z. B. zum Zeitpunkt der Registrierung. In anderen Ausführungsformen kann der Back-End-Server 14 automatisch alle relevanten Knotenpositionen senden, wenn sich das AR-Mobilgerät 12 erfolgreich am Orientierungspunkt registriert.
Die AR-Anwendung 32 kann bestimmen, dass eine Realitätserweiterung für ein, mehrere oder keines der kartierten Objekte/Knoten im aktuellen Sichtfeld des Benutzers bereitgestellt werden soll. Um diese Bestimmung vorzunehmen, kann das Knotenerfahrungsmodul 46 ein oder mehrere Kriterien anwenden. In einigen Ausführungsformen kann das Knotenerfahrungsmodul 46 beispielsweise bestimmen, dass eine Realitätserweiterung für alle kartierten Objekte in dem aktuellen Sichtfeld des Benutzers bereitgestellt werden soll, unabhängig von der Entfernung zwischen dem Objekt und dem Benutzer und unabhängig davon, ob das Objekt innerhalb des Sichtfelds des Benutzers durch Hindernisse verdeckt wird. Alternativ kann das Knotenerfahrungsmodul 46 bestimmen, dass keine Realitätserweiterung für kartierte Objekte bereitgestellt werden soll, die sich im Sichtfeld befinden, sondern mehr als einen Schwellenabstand vom Benutzer entfernt sind (z. B. wie aus der aktuellen Benutzerposition bestimmt, die durch das Positionsbestimmungs- und Orientierungsmodul 44 und durch den entsprechenden Knotenstandort, der in der AR-Datenbank 72 gespeichert ist, festgestellt wurde).
Das Knotenerfahrungsmodul 46 kann auch oder stattdessen bestimmen, dass für kartierte Objekte, die sich im Sichtfeld des AR-Mobilgeräts 12 befinden, aber verdeckt sind, keine Realitätserweiterung zur Verfügung gestellt werden soll. Ob kartierte Objekte verdeckt sind, kann abhängig von der Ausführungsform auf unterschiedliche Weise bestimmt werden. Beispielsweise kann ein Feld in der AR-Datenbank 72 angeben, ob ein bestimmter Knoten einem Objekt entspricht, das im Allgemeinen verdeckt wäre. Beispielsweise hat der entsprechende Knoten für eine Komponente, die in einem Schrank eingeschlossen ist, ein Feld, das die Beziehung zwischen der Komponente und dem Schrank angibt. In anderen Ausführungsformen können die AR-Anwendung 32 und/oder der Back-End-Server 14 eine komplexere Analyse von Knotenkonfigurationen, Knotentypen und/oder Knotengrößen durchführen, um zu bestimmen, ob aus der aktuellen Perspektive des Benutzers ein bestimmtes kartiertes Objekt wahrscheinlich sichtbar wäre.
In einigen Ausführungsformen wird zur Verringerung der Gefahr einer sensorischen Überlastung für den Benutzer keine Realitätserweiterung für bestimmte Arten von kartierten Objekten bereitgestellt, es sei denn, dass der Benutzer eine bestimmte Handlung durchführt, die über das einfache Bewegen und/oder Neuausrichten des AR-Mobilgeräts 12 hinausgeht. Beispielsweise ist es möglich, dass das Knotenerfahrungsmodul 46 keine Realitätserweiterung für eine große Anzahl relativ kleiner Komponenten innerhalb eines Schranks bereitstellt, die jeweils einem anderen kartierten Objekt entsprechen, es sei denn, der Benutzer wählt ein Symbol oder eine andere grafische Darstellung des Schranks aus und/oder er wählt eine Option zum Anzeigen von Schrankinhalten aus usw.
Ferner kann in einigen Ausführungsformen das Knotenerfahrungsmodul 46 bestimmen, ob eine Realitätserweiterung für ein bestimmtes kartiertes Objekt im Sichtfeld des Benutzers, basierend auf der Rolle des Benutzers, bereitgestellt werden soll, wie durch das Rollenidentifikationsmodul 40 bestimmt. Somit kann das Knotenerfahrungsmodul 46 die Webdienstschnittstelle 60 speziell nach Knoten abfragen, die sowohl dem Orientierungspunkt als auch der ausgewählten oder zugewiesenen Rolle zugeordnet sind. In einer Prozesssteuerungsumgebung kann beispielsweise ein Netzschalter für einen Benutzer mit einer „Instandhalter“-Rolle erweitert werden, nicht jedoch für einen Benutzer mit einer „Bediener“-Rolle.
Für Objekte, die erweitert werden sollen, kann das Knotenerfahrungsmodul 46 anfänglich eine Knoten-„Markierung“ über einem Bereich der Anzeige 22 legen, wie z. B. Text (z. B. eine Gerätekennung, einen Status und/oder eine Beschreibung) und/oder ein Symbol oder eine andere Grafik usw., die dem Benutzer so erscheint, als ob sie sich an oder nahe der Koordinaten des Objekts in der realen Sicht des Benutzers befindet. Die Markierung kann zum Beispiel in der realen Sicht so erscheinen, als ab sie mit einer auf der Anzeige 22 gerenderten Linie mit dem kartierten Objekt verbunden wäre. In anderen Ausführungsformen ist die Markierung ein Kreis oder eine andere Form, die über dem Objekt gerendert wird, ein rechteckiger Umriss, der das Objekt grob umschließt, oder eine andere Form von Indikator.
Wenn der Benutzer einen bestimmten Knoten auswählt (z. B. durch Fokussieren eines virtuellen Fadenkreuzes auf die Knotenmarkierung oder durch Ausgeben eines Sprachbefehls usw.), kann das Knotenerfahrungsmodul 46 dem Benutzer eine oder mehrere „Knotenerfahrungen“ zur Verfügung stellen. Eine „Knotenerfahrung“ - im Gegensatz zu einer allgemeineren „AR-Erfahrung“ eines entsprechend ausgestatteten Benutzers, der sich durch eine kartierte Umgebung bewegt - bezieht sich auf bestimmte Arten von Benutzerinteraktion mit dem Objekt/Knoten. Das Knotenerfahrungsmodul 46 kann dem Benutzer die Option bieten, bestimmte Knotenerfahrungen auszuwählen, indem es beispielsweise ein Menü oder eine andere interaktive Anzeige über die reale Sicht legt und/oder indem es konfiguriert ist, um Sprachbefehle des Benutzers zu erkennen. Ein Benutzer kann Menüoptionen auf ähnliche Weise wie Knotenmarkierungen auswählen (z. B. durch Fokussieren eines virtuellen Fadenkreuzes auf die Option, den Sprachbefehl usw.) oder auf eine andere geeignete Weise.
Wenn eine bestimmte Knotenerfahrung ausgewählt wurde, kann das Knotenerfahrungsmodul 46 die Auswahl über das Netzwerk 16 an die Webdienstschnittstelle 60 weiterleiten. Als Antwort kann die Erfahrungsbereitstellungseinheit 62 Daten (z. B. Text, Grafiken usw.), die dem ausgewählten Knoten und der ausgewählten Erfahrung zugeordnet sind, aus der AR-Datenbank 72 (und/oder von anderen Orten, wie z. B. Servern 18) abrufen und die abgerufenen Daten über die Webdienstschnittstelle 60 an das AR-Mobilgerät 12 zurücksenden, damit das Knotenerfahrungsmodul 46 die reale Sicht des Benutzers entsprechend erweitern kann.
Eine Knotenerfahrung kann relativ einfach oder komplex sein. Die Knotenmarkierung selbst kann beispielsweise als Standard-„Knotenerfahrung“ betrachtet werden. Als andere Beispiele kann das Knotenerfahrungsmodul 46 mittels der Anzeige 22 anderen Text und/oder Tabellen (d. h. Informationen, die dem entsprechenden Objekt zugeordnet sind), eine einfache Grafik oder ein Symbol des Objekts, ein hyperrealistisches oder pseudorealistisches 3D-Modell des Objekts, ein Bild des Objekts, eine Animation, die das Objekts umfasst (z. B. ein rotierendes 3D-Modell des Objekts), usw. über die reale Sicht des Benutzers legen.
Knotenerfahrungen können auch oder stattdessen andere Arten von Interaktivität beinhalten. Beispielsweise kann das Knotenerfahrungsmodul 46 einen Link (z. B. eine URL) zu einem Video, das ein Tutorial über das Objekt und/oder dessen Betrieb in der Umgebung (z. B. innerhalb einer bestimmten Prozesssteuerungsroutine) bereitstellt, zu einem Arbeitsauftrag, der das Objekt betrifft, oder zu einem Remote-Experten überlagert darstellen. Alternativ oder zusätzlich kann der Benutzer Sprachbefehle für einige oder alle dieser Knotenerfahrungen ausgeben. In einer Ausführungsform, in der Inhalte wie ein Video oder ein Arbeitsauftrag ausgewählt oder aufgerufen werden, kann das Knotenerfahrungsmodul 46 den Inhalt über die reale Sicht des Benutzers legen. Wenn ein Remote-Experte oder eine andere Person ausgewählt oder angerufen wird, kann das Knotenerfahrungsmodul 46 bewirken, dass die Netzwerkschnittstelle 20 oder eine andere geeignete Netzwerkschnittstelle eine Kommunikationsverbindung mit der Person (z. B. über das Netzwerk 16) herstellt, und in einigen Fällen Ausführungsformen können ein Standbild oder Video der Person überlagert dargestellt werden, bis die Kommunikation endet.
Andere Knotenerfahrungen können bestimmte Arten von Beziehungen zwischen dem ausgewählten Objekt/Knoten und anderen Objekten/Knoten auflisten und/oder grafisch darstellen. Für eine Knotenerfahrung kann das Knotenerfahrungsmodul 46 beispielsweise eine Liste von Objekten/Knoten, die sich auf das ausgewählte Objekt oder den ausgewählten Knoten beziehen (z. B. übergeordnete und/oder untergeordnete Objekte/Knoten), über die reale Sicht des Benutzers legen. Eine „Beziehung“ kann auf jede gewünschte Weise definiert und von einem Benutzer beim Hinzufügen eines neuen Knotens manuell oder auf eine andere geeignete Weise festgelegt werden. Beispielsweise können sich einige Beziehungen darauf beziehen, ob ein Objekt eine Komponente eines anderen Objekts ist und/oder selbst eine Reihe von Komponenten beinhaltet. Ein Ventil kann beispielsweise einem Knoten entsprechen, der einer Gruppe von Knoten übergeordnet ist, die jeweils Komponenten des Ventils entsprechen.
Das Knotenerfahrungsmodul 46 kann Beziehungen bestimmen, indem die Erfahrungsbereitstellungseinheit 62 über die Webdienstschnittstelle 60 abgefragt wird, wobei die Erfahrungsbereitstellungseinheit 62 Kennungen der verwandten Knoten aus der AR-Datenbank 72 abruft und dem Knotenerfahrungsmodul 46 eine Angabe zu diesen Knoten bereitstellt. Indem standardmäßig keine Knotenmarkierungen und/oder Knotenerfahrungen für alle einzelnen Ventilkomponenten angezeigt werden (es sei denn, dass ein Knoten oder eine bestimmte Option vom Benutzer speziell ausgewählt wird), kann verhindert werden, dass dem Benutzer eine zu hohe Menge von visuellen Informationen auf einmal angezeigt wird.
Einige Arten von Beziehungen können dem Benutzer grafisch dargestellt werden. Beispielsweise kann das Knotenerfahrungsmodul 46 eine grafische Darstellung einer physischen oder logischen Verbindung zwischen dem Objekt, das dem ausgewählten Knoten entspricht, und einem oder mehreren anderen Objekten, die anderen Knoten entsprechen, bereitstellen. Das Knotenerfahrungsmodul 46 kann Verbindungen bestimmen, indem es die Erfahrungsbereitstellungseinheit 62 über die Webdienstschnittstelle 60 abgefragt, wobei die Erfahrungsbereitstellungseinheit 62 Kennungen der verbundenen Knoten aus der AR-Datenbank 72 abruft und dem Knotenerfahrungsmodul 46 eine Angabe zu diesen Knoten bereitstellt. Das Knotenerfahrungsmodul 46 kann dann eine Anzeige erzeugen, die Linien darstellt, die mit den entsprechenden Objekten verbunden sind, und die Linien über die reale Sicht des Benutzers legen. Ein Beispiel für eine solche Knotenerfahrung ist in 4H dargestellt, die unten diskutiert wird.
Die angezeigten Verbindungen und/oder anderen Beziehungen können auch abhängig von der ausgewählten oder zugewiesenen Rolle des Benutzers variieren. In einer Prozesssteuerungsumgebung kann beispielsweise einem „Bediener“ eine Linie von einer Sensor- oder Sendevorrichtung zu einem Behälter gezeigt werden, wobei die Linie anzeigt, dass der Sensor/Transmitter den Druck im Behälter misst. Umgekehrt kann einem „Ingenieur“ stattdessen (oder zusätzlich) eine Linie vom Sensor/Sender zu einem anderen Gerät gezeigt werden, das die Sensorübertragungen empfängt, und einem „Instandhalter“ kann stattdessen (oder zusätzlich) eine Linie vom Sensor/Sender zu einer Stromquelle für das Gerät gezeigt werden (z. B. damit der Instandhalter leicht herausfinden kann, wo die Stromversorgung abzuschalten ist, bevor das Gerät gewartet, repariert oder ausgetauscht wird).
In einigen Ausführungsformen verwendet die Erfahrungsbereitstellungseinheit 62 Daten und/oder Funktionen von anderen Servern 18 und/oder Anwendungen 19, um eine oder mehrere Knotenerfahrungen bereitzustellen, und/oder eine oder mehrere der Anwendungen 19 können als Reaktion auf die Daten, die von der Erfahrungsbereitstellungseinheit 62 gesendet wurden, gezeigt werden. Einige Beispiele solcher Ausführungsformen in einer Prozesssteuerungsumgebung werden nachstehend in Verbindung mit 2 diskutiert.
Wie oben erwähnt, kann das Knotenerfahrungsmodul 46 bestimmen, ob die reale Sicht des Benutzers eines bestimmten kartierten Objekts basierend auf der ausgewählten oder zugewiesenen Rolle des Benutzers (z. B. Bediener, Instandhalter usw.) erweitert werden soll. Zusätzlich oder alternativ können die Arten von Knotenerfahrungen und/oder der Inhalt oder die Interaktivität, die durch eine bestimmte Erfahrung bereitgestellt werden, abhängig von der Benutzerrolle variieren. Beispielsweise kann einem Benutzer, der die Rolle eines „Instandhalters“ hat und eine Pumpe in seiner realen Sicht sieht, eine Knotenerfahrung angezeigt werden, die eine geplante Wartungserinnerung für die Pumpe zeigt, während einem Benutzer, der die Rolle eines „Bedieners“ oder „Ingenieurs“ hat, stattdessen Informationen zu logischen Verbindungen der Pumpe innerhalb einer Prozesssteuerungsroutine angezeigt werden können. Dem Instandhalter kann zum Beispiel eine Warnung angezeigt, wenn die geplante Wartung überfällig ist, während dem Bediener oder Ingenieur möglicherweise nur in anderen Szenarien eine Warnung angezeigt wird (z. B. wenn die Pumpe ausfällt).
Das Knotenerstellungsmodul 48 unterstützt das Hinzufügen neuer Knoten innerhalb der 3D-Karte, die dem Orientierungspunkt entspricht, der zum Registrieren des AR-Mobilgeräts 12 verwendet wird. In einigen Ausführungsformen kann jeder Benutzer neue Knoten zu einer 3D-Karte hinzufügen. In anderen Ausführungsformen ist es möglich, dass nur bestimmte Benutzerrollen und/oder nur bestimmte AR-Geräte verwendet werden, um neue Knoten hinzuzufügen. Um einen neuen Knoten hinzuzufügen, kann ein Benutzer das Sichtfeld des AR-Mobilgeräts 12 (z. B. ein innerhalb des Sichtfelds zentriertes Fadenkreuz) auf ein reales Objekt richten, das kartiert werden soll, und eine Option auswählen, um das Objekt als neuen Knoten hinzuzufügen.
Dies kann abhängig von der Ausführungsform auf unterschiedlichen Wegen erreicht werden. Beispielsweise kann der Benutzer einen überlagerten Menüpunkt auswählen (z. B. eine virtuelle Schaltfläche „Knoten hinzufügen“) oder er kann einen Sprachbefehl ausgeben und das Knotenerstellungsmodul 48 kann als Reaktion darauf ein Fadenkreuz über die reale Sicht des Benutzers legen. Während der Benutzer das Fadenkreuz auf das Objekt richtet, kann der Benutzer eine andere Steuerung aktivieren (z. B. eine virtuelle Schaltfläche „Bestätigen“) oder einen zweiten Sprachbefehl ausgeben. Als Antwort kann das Knotenerstellungsmodul 48 eine Position des Objekts bestimmen und den Benutzer auffordern, einen Knotennamen und/oder eine Beschreibung einzugeben. Das Knotenerstellungsmodul 48 kann dann die Position, den eingegebenen oder gesprochenen Namen usw. über das Netzwerk 16 an die Webdienstschnittstelle 60 senden und die 3D-Modellerstellungseinheit 64 kann zumindest die Position und eine Knotenkennung (z. B. den vom Benutzer eingegebenen oder gesprochenen Knotennamen) zu der AR-Datenbank 72 hinzufügen.
Um die Position des zu kartierenden Objekts zu bestimmen, kann das Knotenerstellungsmodul 48 die aktuelle Position des AR-Mobilgeräts 12 (wie durch das Positionsbestimmungs- und Orientierungsmodul 44 festgestellt) verwenden und diese Position basierend sowohl auf dem Abstand zwischen dem AR-Mobilgerät 12 und dem Objekt als auch basierend auf der Orientierung des AR-Mobilgeräts 12 berechnen. Dies kann auf ähnliche Weise erreicht werden wie das Bestimmen der anfänglichen 3D-Position des AR-Mobilgeräts 12 bei der Registrierung an dem Orientierungspunkt, wie oben beschrieben. Beispielsweise kann das Knotenerstellungsmodul 48 das von der Kamera 24 aufgenommene Bild des Objekts unter Verwendung einer Tiefenerfassungstechnik verarbeiten, um den Abstand zwischen dem AR-Mobilgerät 12 und dem Objekt zu bestimmen. Das Positionsbestimmungs- und Orientierungsmodul 44 kann dann die Objektposition von der Position des AR-Mobilgeräts 12 basierend sowohl auf der festgestellten Entfernung als auch basierend auf der Ausrichtung des AR-Mobilgeräts 12 berechnen (z. B. basierend auf der Entfernung und der Richtung, in die das AR-Mobilgerät 12 zeigte, als das Bild des Objekts aufgenommen wurde).
In einigen Ausführungsformen kann das Knotenerstellungsmodul 48 auch verwendet werden, um vorhandene Knoten zu aktualisieren oder zu modifizieren. Beispielsweise kann ein Menü, das von dem Knotenerfahrungsmodul 46 bereitgestellt wird, eine Option zum Aktualisieren von Knoteninformationen beinhalten. Das Knotenerstellungsmodul 48 kann, wenn es ausgewählt wird, ein oder mehrere Menüs oder andere Benutzerschnittstellen über die reale Sicht des Benutzers legen, damit der Benutzer Informationen bezüglich des Knotens ändern kann (z. B. den Knotennamen, die Knotenbeschreibung usw.). Alle Änderungen können über das Netzwerk 16 an die Webdienstschnittstelle 60 gesendet werden, und die 3D-Modellerstellungseinheit 64 kann die AR-Datenbank 72 entsprechend aktualisieren.
In einigen Ausführungsformen konfiguriert die AR-Anwendung 32 das AR-Mobilgerät 12, um die virtuelle Sicht des Benutzers über die oben beschriebenen Realitätserweiterungsmerkmale hinaus zu bereichern. Beispielsweise kann das Sichtverbesserungsmodul 50 für bestimmte Knotentypen bestimmen, ob sich ein kartiertes Objekt in einem Bereich befindet, der durch das aktuelle Sichtfeld des Benutzers erfasst wird (z. B. wie oben für das Knotenerfahrungsmodul 46 erörtert), jedoch durch ein oder mehrere andere Objekte verdeckt wird, und dem Benutzer einen virtuellen „Röntgenblick“ bereitstellen. Es ist möglich, den virtuellen Röntgenblick nur dann bereitzustellen, wenn ein oder mehrere andere Kriterien erfüllt sind (z. B. wenn das Sichtverbesserungsmodul 50 feststellt, dass sich das versteckte Objekt oder die verdeckten Objekte innerhalb eines Schwellenabstands von dem AR-Mobilgerät 12 befinden) oder der virtuelle Röntgenblick kann unabhängig von anderen Kriterien bereitgestellt werden.
In einer solchen Ausführungsform beinhaltet die AR-Datenbank 72 für jeden von den mindestens einigen Knoteneinträgen eine Flagge oder einen anderen Sichtbarkeitsindikator, der angibt, dass der Knoten wahrscheinlich vor der Sicht eines Benutzers verborgen ist. Dieser Sichtbarkeitsindikator kann automatisch basierend auf einer bekannten Beziehung von Objekten erzeugt worden sein (z. B. wenn die 3D-Modellerstellungseinheit 64 auf ein Steuersystem zugreift, um zu erfahren, dass das dem Knoten entsprechende Objekt in einem Schrank positioniert ist) oder manuell von einem Benutzer festgelegt werden (z. B. beim Hinzufügen des Knotens über eine Benutzerschnittstelle, die das Knotenerstellungsmodul 48 über die reale Sicht des Benutzers legt). Wenn sich ein bestimmtes kartiertes Objekt innerhalb des Sichtfelds des Benutzers befindet, kann das Sichtverbesserungsmodul 50 die Sichtverbesserungseinheit 66 des Back-End-Servers 14 über das Netzwerk 16 und die Webdienstschnittstelle 60 abfragen, und die Sichtverbesserungseinheit 66 kann im Gegenzug auf die AR-Datenbank 72 zugreifen, um den relevanten Sichtbarkeitsindikator abzurufen. Die Sichtverbesserungseinheit 66 kann dann die Webdienstschnittstelle 60 verwenden, um den Sichtbarkeitsindikator oder andere Daten, die anzeigen, ob das Objekt verdeckt ist, an das Sichtverbesserungsmodul 50 zu senden.
Alternativ können das Sichtverbesserungsmodul 50 und/oder die Sichtverbesserungseinheit 66 die Sichtbarkeitsprüfung auf andere Weise vornehmen. Beispielsweise kann sich ein bestimmtes kartiertes Objekt oder eine bestimmte Gruppe von Objekten in einem Schrank befinden, der mit einer Modellnummer, einem QR-Code oder einem anderen visuellen Indikator gekennzeichnet ist. Das Sichtverbesserungsmodul 50 kann ein Bild des visuellen Indikators verarbeiten, der von der Kamera 24 erfasst wird, um eine Kennung (z. B. eine Knotenkennung) des Schranks zu bestimmen, und die Kennung über die Webdienstschnittstelle 60 an die Sichtverbesserungseinheit 66 senden. Die Sichtverbesserungseinheit 66 kann dann die Kennung verwenden, um zu bestimmen, welche kartierten Objekte (z. B. Feldgeräte, E/A-Karten usw.) sich im Schrank befinden, und Daten zurücksenden, die anzeigen, dass die Objekte, die sich im Schrank befinden, verdeckt sind.
Um den Effekt des virtuellen Röntgenblicks für ein gegebenes Objekt bereitzustellen, kann das Sichtverbesserungsmodul 50 ein hyperrealistisches oder pseudorealistisches 2D- oder 3D-Modell des Objekts oder ein digitales Bild oder Video des Objekts abrufen und dieses Modell, Bild oder Video über das Objekt (oder in der Nähe des Objekts) im Sichtfeld des Benutzers legen. Entweder standardmäßig oder als Reaktion auf eine Benutzerauswahl des 2D- oder 3D-Modells oder als Reaktion auf einen Sprachbefehl usw. kann das Knotenerfahrungsmodul 46 auch visuelle Menüoptionen oder eine Sprachbefehlserkennung bereitstellen, damit der Benutzer verschiedene Erfahrungen für den Knoten auswählen kann, wie oben beschrieben. Auf diese Weise kann der Benutzer mit dem verdeckten Objekt auf eine Weise interagieren, die der Interaktion mit dem realen Objekt sehr ähnlich erscheint und sich sehr ähnlich zu dieser „anfühlt“, während es sich direkt in seinem Sichtfeld befindet.
Das Sichtverbesserungsmodul 50 kann die virtuelle Sicht eines Benutzers auch oder stattdessen auf andere Weise bereichern. Befindet sich ein Objekt beispielsweise in einem eingeschränkt zugänglichen und/oder gefährlichen Bereich (z. B. an einem sehr hohen Ort, einem versperrten Ort, einem Hochspannungs- oder toxischen Bereich usw.) und/oder weit vom Benutzer entfernt, kann das Sichtverbesserungsmodul 50 dem Benutzer ermöglichen, einen „Avatar“ abzurufen, der das Objekt in seinem Sichtfeld darstellt. Der Avatar kann mit dem oben für das Röntgenblickbeispiel beschriebenen 2D- oder 3D-Modell, Bild, Video usw. identisch sein oder sich in einigen Punkten unterscheiden. In einigen Ausführungsformen ist der virtuelle Röntgenblick einfach einer von mehreren Anwendungsfällen zum Abrufen eines Avatars eines realen Objekts.
Ein Avatar kann je nach Ausführungsform und/oder Szenario auf unterschiedliche Weise abgerufen werden. In einigen Ausführungsformen legt das Sichtverbesserungsmodul 50 zuerst einen visuellen Indikator über die reale Sicht des Benutzers (wenn bestimmte Kriterien erfüllt sind), wobei der visuelle Indikator einen Hinweis auf die Position des entsprechenden Objekts relativ zur realen Sicht des Benutzers gibt. Zum Beispiel kann der visuelle Indikator dargestellt werden, wenn sowohl (1) das AR-Mobilgerät 12 innerhalb eines bestimmten Schwellenabstands zum Objekt liegt als auch (2) wenn der Knoten als eingeschränkt zugängliches Objekt gekennzeichnet ist. Die AR-Datenbank 72 kann Daten speichern, die beispielsweise einen solchen Status anzeigen (z. B. basierend auf einer manuellen Benutzereingabe, als der Knoten von einem Benutzer hinzugefügt wurde), oder der Status kann abgeleitet werden (z. B. wenn die Sichtverbesserungseinheit 66 feststellt, dass sich das Objekt in einem Bereich befindet, den der Back-End-Server 14 als „Gefahrenbereich“ gekennzeichnet hat, oder wenn das Sichtverbesserungsmodul 50 oder die Sichtverbesserungseinheit 66 feststellt, dass die Position des Objekts mindestens einen Schwellenabstand in z-Richtung vom AR-Mobilgerät 12 beträgt und sich damit auf einer gänzlich anderen Höhe befindet usw.). Der visuelle Indikator kann einen Pfeil beinhalten, der in Richtung des Objekts zeigt, eine Linie, die zum Objekt führt, oder eine andere Ortsangabe. Ein Beispiel eines visuellen Indikators wird unten in Verbindung mit 7A diskutiert. Wenn der Benutzer den Indikator auswählt oder eine andere geeignete Aktion ausführt (z. B. in einigen Ausführungsformen, wenn der Benutzer sein Sichtfeld ändert, um das Objekt zu erfassen), kann das Sichtverbesserungsmodul 50 den Avatar über die reale Ansicht des Benutzers legen.
In anderen Ausführungsformen beinhaltet der Indikator für den Standort des Objekts den Avatar selbst (z. B. mit einem Pfeil/Zeiger auf den Objektstandort über dem oder in der Nähe des Avatars). In anderen Ausführungsformen und/oder Szenarien legt das Sichtverbesserungsmodul 50 den Avatar über das Sichtfeld des Benutzers, ohne einen visuellen Indikator für den Standort des Objekts zu präsentieren. Beispielsweise kann das Sichtverbesserungsmodul 50 dem Benutzer den Avatar als Reaktion darauf präsentieren, dass der Benutzer das entsprechende Objekt anfordert oder nach ihm sucht (z. B. durch Ausgeben eines Sprachbefehls oder manuelles Eingeben von Daten) oder als Reaktion darauf, dass der Benutzer eine Knotenmarkierung für ein relativ weit entferntes Objekt auswählt (z. B. mehr als eine bestimmte Schwellenentfernung entfernt) usw. In einer solchen Ausführungsform erscheint der Avatar nicht sofort in voller Größe. Beispielsweise kann das Sichtverbesserungsmodul 50 einen visuellen Effekt erzeugen, bei dem der Avatar dem Benutzer so erscheint, als ob er sich vom Objektort (z. B. weit vor dem Benutzer) zu einer Position direkt vor dem Benutzer bewegt. Der Avatar kann sich vergrößern, um beispielsweise den Effekt des Annäherns an den Benutzer zu simulieren.
Das Knotenerfahrungsmodul 46 kann dem Benutzer automatisch eine bestimmte Knotenerfahrung für das Objekt bereitstellen (zusätzlich zum Anzeigen des Avatars des Objekts) und/oder es kann dem Benutzer ermöglichen, eine oder mehrere Knotenerfahrungen auszuwählen, nachdem der Avatar zum ersten Mal präsentiert wurde (z. B. durch Ausgabe eines Sprachbefehls oder Auswahl von Menüoptionen). Beispielsweise können eine oder mehrere der oben diskutierten Knotenerfahrungen bereitgestellt werden. Ein Beispiel für eine Erfahrung, die mit einem Avatar verbunden sein kann, wird unten in Verbindung mit 7B diskutiert.
In einigen Ausführungsformen konfiguriert die AR-Anwendung 32 das AR-Mobilgerät 12 so, dass Warnungen basierend auf der aktuellen Position des Benutzers und/oder basierend auf aktuellen Umständen in bestimmten Bereichen (z. B. bestimmten Regionen einer Prozessanlage, die einer Warnung zugeordnet sind) generiert werden. Die Warnungserzeugungseinheit 68 kann periodisch oder kontinuierlich überprüfen, ob sich die aktuelle Position des AR-Mobilgeräts 12 in einem Bereich befindet, für den eine Warnung vorgesehen ist, z. B. durch Vergleichen von Positionen, die von dem Positionsbestimmungs- und Orientierungsmodul 44 (über die Webdienstschnittstelle 60) gemeldet werden, mit den Grenzen eines oder mehrerer geografisch eingezäunter Gebiete. Wenn sich der Benutzer oder das Gerät in einem Bereich befindet, dem eine Warnung zugeordnet ist, kann die Warnungserzeugungseinheit 68 einen Indikator der Warnung über die Webdienstschnittstelle 60 an das positionsbasierte Warnungsmodul 52 senden, und das positionsbasierte Warnungsmodul 52 kann eine Anzeige der Warnung (z. B. Text und/oder eine Grafik) über die reale Sicht des Benutzers legen, einen anderen visuellen Effekt (z. B. ein blinkendes rotes Licht oder einen Farbton, der die gesamte reale Sicht bedeckt) generieren und/oder eine akustische Warnung an den Benutzer (über einen Lautsprecher des AR-Mobilgeräts 12 (nicht in 1 gezeigt)) ausgeben. Alternativ oder zusätzlich kann die Warnungserzeugungseinheit 68 eine Warnungsanzeige basierend auf der Nähe des AR-Mobilgeräts 12 zu einem bestimmten kartierten Objekt senden (z. B. wenn das Objekt eine Fehlfunktion aufweist und gewartet werden muss oder gemieden werden sollte usw.). Die Warnungserzeugungseinheit 68 kann die Ausgabe von Warnungen auch von der ausgewählten oder zugewiesenen Rolle des Benutzers abhängig machen.
In einigen Ausführungsformen kann der Back-End-Server 14 die 3D-Positionen von AR-Mobilgeräten (und damit Benutzern) in der kartierten Umgebung überwachen. Zu diesem Zweck kann die Benutzerüberwachungseinheit 70 aktuelle und/oder historische Positionen von Benutzern aufzeichnen, die ihre AR-Mobilgeräte an einem Orientierungspunkt registriert haben, basierend auf Daten, die vom Positionsbestimmungs- und Orientierungsmodul 44 über die Webdienstschnittstelle 60 empfangen wurden.
Die Überwachung des Benutzerstandorts kann abhängig von der Ausführungsform und/oder dem Bedarf für verschiedene Zwecke verwendet werden. Beispielsweise kann die Benutzerüberwachungseinheit 70 Benutzerstandorte auf einer Anzeige oder einem Terminal darstellen, die/das mit dem Back-End-Server 14 verbunden ist (nicht in 1 gezeigt), und ein Bediener der Anzeige oder des Terminals kann Mitarbeiterstandorte in einem Notfallereignis feststellen oder Benutzer einfach unter typischeren Bedingungen beobachten, um festzustellen, ob Mitarbeiter medizinische Hilfe benötigen. Der Gesundheitszustand der Mitarbeiter kann auch unter Verwendung anderer Daten überwacht werden, beispielsweise biometrischer Daten, die von einem oder mehreren Sensoren des AR-Mobilgeräts 12 erfasst werden (z. B. zum Erfassen von Puls, Blutdruck, Temperatur usw.). Als weitere Beispiele können Mitarbeiter- oder Benutzerstandorte zu Mitarbeiterschulungsprotokollen hinzugefügt werden, die von Managern oder Personalmitarbeitern zur Überwachung der Einhaltung von Protokollen usw. verwendet werden. In anderen Ausführungsformen und/oder Szenarien können 3D-Positionen bestimmter nichtmenschlicher, mobiler Vermögenswerte innerhalb der kartierten Umgebung verfolgt werden. Beispielsweise kann eine Einheit des Back-End-Servers 14 3D-Positionen von mobilen Reaktoren, Wägen, Außendienstlastkraftfahrzeugen und/oder anderen Objekten für verschiedene Zwecke überwachen.
Es versteht sich, dass 1 und die obige Beschreibung nur einige mögliche Ausführungsformen darstellen und dass auch andere möglich sind. Beispielsweise kann es möglich sein, dass die AR-Plattform keine Cloud-basierte Architektur oder webbasierte Dienste verwendet. Als ein anderes Beispiel kann die Funktionalität einiger oder aller der Einheiten 62 bis 68 des Back-End-Servers 14 und/oder der AR-Datenbank 72 selbst stattdessen teilweise oder vollständig in dem AR-Mobilgerät 12 integriert sein. Als ein weiteres Beispiel können Knotenmarkierungen und/oder Knotenerfahrungen in einem Nicht-AR-Kontext bereitgestellt werden, z. B. in einem VR-Kontext (Virtual Reality) oder in Verbindung mit grafischen Nicht-AR-Nicht-VR-Benutzeroberflächen (GUIs).
Darüber hinaus kann die AR-Plattform noch andere Merkmale bereitstellen, die oben nicht diskutiert wurden. Beispielsweise können Benutzer von AR-Mobilgeräten Feldnotizen hinzufügen (z. B. unter Verwendung von Sprachbefehlen), die in Verbindung mit verschiedenen Knoten/Objekten in der AR-Datenbank 72 gespeichert sind, und/oder sie können neue Arbeitsaufträge initiieren, die verschiedenen Knoten/Objekten zugeordnet sind, und so weiter.
Beispielhafte Prozesssteuerungsumgebung
2 ist ein Blockdiagramm einer beispielhaften Prozesssteuerungsumgebung 100, in der das AR-System 10 von 1 verwendet werden kann. Die Prozesssteuerungsumgebung 100 (die hier austauschbar auch als Prozesssteuerungssystem 100 oder Prozessanlage 100 bezeichnet wird) beinhaltet eine oder mehrere Prozesssteuerungen, die Signale empfangen, die von Feldgeräten durchgeführte Prozessmessungen angeben, die diese Informationen verarbeiten, um eine Steuerroutine umzusetzen, und die Steuersignale erzeugen, die über drahtgebundene oder drahtlose Prozesssteuerungskommunikationsverbindungen oder - netzwerke an andere Feldgeräte gesendet werden, um den Betrieb eines Prozesses in der Anlage 100 zu steuern. Typischerweise führt mindestens ein Feldgerät eine physische Funktion aus (z. B. Öffnen oder Schließen eines Ventils, Veranlassen der Beförderung von Material durch einen Förderer, Erhöhen oder Verringern einer Temperatur, Vornahme einer Messung, Erfassen einer Bedingung usw.), um den Betrieb eines Prozesses zu steuern. Einige Arten von Feldgeräten kommunizieren mit Steuerungen über E/A-Geräte. Prozesssteuerungen, Feldgeräte und E/A-Geräte können verkabelt oder drahtlos sein, und jede beliebige Anzahl und Kombination von verkabelten und drahtlosen Prozesssteuerungen, Feldgeräten und E/A-Geräten kann in der Prozessanlagenumgebung oder dem Prozessanlagensystem 100 beinhaltet sein.
Beispielsweise zeigt 2 eine Prozesssteuerung 111, die über Eingangs- oder Ausgangskarten (E/A-Karten) 126 und 128 kommunikativ mit drahtgebundenen Feldgeräten 115-122 verbunden ist. Die Prozesssteuerung 111 beinhaltet einen Prozessor 130, einen Speicher 132 und eine oder mehrere Prozesssteuerungsroutinen 138, die nachstehend ausführlicher erörtert werden. Die Steuerung 111 ist ferner über ein Prozesssteuerungskommunikationsnetzwerk oder Backbone 110 und ein drahtloses Gateway 135 kommunikativ mit den drahtlosen Feldgeräten 140-146 verbunden. Das Backbone 110 kann eine oder mehrere drahtgebundene und/oder drahtlose Kommunikationsverbindungen beinhalten und es kann mit jedem gewünschten oder geeigneten Kommunikationsprotokoll, wie z. B. einem Ethernet-Protokoll, umgesetzt werden. In einigen Konfigurationen (nicht in 2 gezeigt) kann die Steuerung 111 über ein oder mehrere andere Kommunikationsnetzwerke außer dem Backbone 110 kommunikativ mit dem Wireless-Gateway 135 verbunden sein, z. B. durch die Verwendung einer beliebigen Anzahl anderer drahtgebundener oder drahtloser Kommunikationsverbindungen, die ein oder mehrere Kommunikationsprotokolle unterstützen, z. B. ein IEEE-802.11-konformes drahtloses lokales Netzwerkprotokoll, ein Mobilkommunikationsprotokoll (z. B. WiMAX, LTE etc.), Bluetooth®, HART®, WirelessHART®, Profibus, FOUNDATION® Fieldbus usw.
Die Steuerung 111, die z. B. die von Emerson Process Management vertriebene DeltaV™-Steuerung sein kann, kann betrieben werden, um einen Batch-Prozess oder einen kontinuierlichen Prozess unter Verwendung mindestens einiger der Feldgeräte 115-122 und 140-146 zu implementieren. In einer Ausführungsform ist die Steuerung 111 nicht nur kommunikativ mit dem Backbone 110 verbunden, sondern auch mit mindestens einigen der Feldgeräte 115-122 und 140-146, wobei jede gewünschte Hard- und Software verwendet wird, die z. B. mit 4-20-mA-Standardgeräten, den E/A-Karten 126, 128 und/oder jedem geeigneten intelligenten Kommunikationsprotokoll, wie z. B. dem FOUNDATION®-Fieldbus-Protokoll, dem HART®-Protokoll, dem WirelessHART®-Protokoll usw. verbunden ist. In 2 sind die Steuerung 111, die Feldgeräte 115-122 und die E/A-Karten 126, 128 drahtgebundene Geräte, während die Feldgeräte 140-146 drahtlose Feldgeräte sind. Natürlich könnten die drahtgebundenen Feldgeräte 115-122 und die drahtlosen Feldgeräte 140-146 auch jedem anderen gewünschten Standard oder Protokoll, wie z. B. jedem drahtgebundenen oder drahtlosen Protokoll, einschließlich allen künftig entwickelten Standards oder Protokollen, entsprechen.
Der Prozessor 130 der Prozesssteuerung 111 implementiert oder überwacht die eine oder mehreren Prozesssteuerungsroutinen oder -module 138, die in dem Speicher 132 gespeichert sein können. Hierfür ist der Prozessor 130 konfiguriert, um mit den Feldgeräten 115-122 und 140-146 und mit anderen Knoten zu kommunizieren, die kommunikativ mit der Steuerung 111 verbunden sind. Zu beachten ist, dass jegliche der hier beschriebenen Steuerungsroutinen oder Module in Teilen von verschiedenen Steuerungen oder anderen Geräten umgesetzt oder ausgeführt werden können, sofern dies gewünscht ist. Ebenso können die Steuerungsmodule 138, die innerhalb des Prozesssteuerungssystems 100 zu implementieren sind, jede Form aufweisen, einschließlich Software, Firmware, Hardware usw. Die Steuerungsroutinen können in jedem gewünschten Softwareformat implementiert werden, wie z. B. durch objektorientierte Programmierung, Kontaktplan, Ablaufsprache, Funktionsblockdiagramm oder durch Einsatz jedweder anderen Softwareprogrammiersprache oder jedweden anderen Design-Paradigmas. Der Speicher 132, auf dem einige oder alle Steuerungsmodule 138 gespeichert sein können, kann ein beliebiger geeigneter Speichertyp, wie beispielsweise ein Direktzugriffsspeicher (RAM) und/oder ein Nur-Lese-Speicher (ROM) sein. Ebenso können die Steuerungsmodule 138 beispielsweise in ein oder mehrere EPROMs, EEPROMs, anwendungsspezifische integrierte Schaltungen (ASICs) oder andere Hardware- oder Firmware-Elemente fest einprogrammiert werden. Somit kann die Steuerung 111 auf jede gewünschte Weise konfiguriert sein, um eine Steuerstrategie, Steuerroutine oder ein Steuermodul auf jegliche gewünschte Weise zu implementieren.
Die Steuerung 111 implementiert eine Steuerungsstrategie mit Hilfe von sogenannten Funktionsblöcken, wobei jeder Funktionsblock ein Objekt oder ein anderer Teil (z. B. ein Unterprogramm) einer übergreifenden Steuerungsroutine ist und in Verbindung mit anderen Funktionsblöcken (über Kommunikationswege, die als Links bezeichnet werden) arbeitet, um Prozesssteuerungskreise innerhalb des Prozesssteuerungssystems 100 umzusetzen. Steuerungsbasierte Funktionsblöcke führen typischerweise eines von Folgendem aus: eine Eingangsfunktion, wie z. B. eine solche, die mit einem Sender, einem Sensor oder einem anderen Prozessparameter-Messgerät verknüpft ist; eine Steuerfunktion, wie z. B. eine solche, die mit einer Steuerroutine verknüpft ist, die eine PID-, Unschärfelogik- oder eine andere Steuerung ausführt; oder eine Ausgangsfunktion, die den Betrieb einiger Geräte, wie z. B. eines Ventils oder Förderermotors, steuert, um eine physische Funktion innerhalb des Prozesssteuerungssystems 100 auszuführen. Natürlich gibt es auch hybride und andere Arten von Funktionsblöcken. Funktionsblöcke können von der Steuerung 111 gespeichert und ausgeführt werden, was typischerweise der Fall ist, wenn diese Funktionsblöcke für 4-20-mA-Standardgeräte und einige Typen von intelligenten Feldgeräten, wie z. B. HART^®-Geräte, verwendet oder mit solchen Geräten verknüpft werden, oder sie können in den Feldgeräten selbst gespeichert und implementiert sein, was bei FOUNDATION^®-Fieldbus-Geräten der Fall sein kann. Das eine oder die mehreren Steuerungsmodule 138 in der Steuerung 111 können einen oder mehrere Steuerungskreise implementieren, die durch die Ausführung eines oder mehrerer Funktionsblöcke ausgeführt werden.
Die drahtgebundenen Feldgeräte 115-122 können beliebige Arten von Geräten sein, wie z. B. Sensoren, Ventile, Förderermotoren, Sender, Stellungsregler usw., und die E/A-Karten 126 und 128 beliebige Arten von E-/A-Geräten sein können, die einem beliebigen gewünschten Kommunikations- oder Steuerungsprotokoll entsprechen. Zum Beispiel können die Feldgeräte 115-118 4-20-mA-Standardgeräte oder HART^®-Geräte sein, die über analoge Leitungen oder kombinierte analoge und digitale Leitungen mit der E/A-Karte 126 kommunizieren, und die Feldgeräte 119-122 können intelligente Geräte, wie z. B. FOUNDATION^®-Fieldbus-Feldgeräte sein, die über einen digitalen Bus mit der E/A-Karte 128 unter Verwendung eines FOUNDATION^®-Fieldbus-Kommunikationsprotokolls kommunizieren. In einigen Ausführungsformen jedoch kommunizieren mindestens einige der drahtgebundenen Feldgeräte 115-122 und/oder mindestens eine der E/A-Karten 126, 128 zusätzlich oder alternativ mit der Steuerung 111 unter Verwendung des Backbones 110 und eines geeignetes Steuerungssystemprotokolls (z. B. Profibus, DeviceNet, Foundation Fieldbus, ControlNet, Modbus, HART usw.).
In 2 kommunizieren die drahtlosen Feldgeräte 140-146 über ein drahtloses Prozesssteuerungskommunikationsnetzwerk 170 unter Verwendung eines drahtlosen Protokolls, wie z. B. des WirelessHART^®-Protokolls. Solche drahtlosen Feldgeräte 140-146 können direkt mit einem oder mehreren anderen Geräten oder Knoten des drahtlosen Netzwerks 170 kommunizieren, die ebenfalls für die drahtlose Kommunikation konfiguriert sind. Zur Kommunikation mit einem oder mehreren anderen Knoten, die nicht für die drahtlose Kommunikation konfiguriert sind, können die drahtlosen Feldgeräte 140-146 ein drahtloses Gateway 135 verwenden, das mit dem Backbone 110 oder mit einem anderen Prozesssteuerungskommunikationsnetzwerk verbunden ist. Das drahtlose Gateway 135 bietet über das Backbone 110 Zugriff auf verschiedene drahtlose Geräte 140-158 des drahtlosen Kommunikationsnetzwerks 170. Insbesondere sorgt das drahtlose Gateway 135 für die kommunikative Kopplung zwischen den drahtlosen Geräten 140-158, den drahtgebundenen Geräten 115-122 und/oder anderen Knoten oder Geräten der Prozesssteuerungsanlage 100.
Ähnlich den drahtgebundenen Feldgeräten 115-122 übernehmen die drahtlosen Feldgeräte 140-146 des drahtlosen Netzwerks 170 physische Steuerungsfunktionen innerhalb der Prozessanlage 100, z. B. Öffnen oder Schließen von Ventilen oder Vornahme von Messungen von Prozessparametern usw. Die drahtlosen Feldgeräte 140-146 sind jedoch so konfiguriert, dass sie über das drahtlose Protokoll des Netzwerks 170 kommunizieren. Daher können die drahtlosen Feldgeräte 140-146, das drahtlose Gateway 135 und andere drahtlose Knoten 152-158 des drahtlosen Netzwerks 170 Erzeuger und Verbraucher von drahtlosen Kommunikationspaketen sein.
In einigen Konfigurationen der Prozessanlage 100 beinhaltet das drahtlose Netzwerk 170 auch nichtdrahtlose Geräte. Beispielsweise kann in 2 ein Feldgerät 148 ein älteres 4-20-mA-Gerät sein und ein Feldgerät 150 kann ein drahtgebundenes HART^®-Gerät sein. Um innerhalb des Netzwerks 170 zu kommunizieren, sind die Feldgeräte 148 und 150 über einen der jeweiligen drahtlosen Adapter 152A, 152B mit dem drahtlosen Kommunikationsnetzwerk 170 verbunden. Die drahtlosen Adapter 152A, 152B unterstützen ein drahtloses Protokoll, wie z. B. WirelessHART, und können auch ein oder mehrere andere Kommunikationsprotokolle wie Foundation^®-Fieldbus, PROFI BUS, DeviceNet, etc. unterstützen. Darüber hinaus beinhaltet das drahtlose Netzwerk 170 in einigen Konfigurationen einen oder mehrere Netzwerkzugangspunkte 155A, 155B, die separate physische Geräte in drahtgebundener Kommunikation mit dem drahtlosen Gateway 135 oder in das drahtlose Gateway 135 integriert sein können. Das drahtlose Netzwerk 170 kann auch einen oder mehrere Router 158 umfassen, um Pakete zwischen drahtlosen Geräten innerhalb des drahtlosen Kommunikationsnetzwerks 170 weiterzuleiten. Die drahtlosen Geräte 140-146 und 152-158 können miteinander und mit dem drahtlosen Gateway 135 über drahtlose Verbindungen 160 des drahtlosen Kommunikationsnetzwerks 170 und/oder über das Backbone 110 kommunizieren.
In 2 beinhaltet das Prozesssteuerungssystem 100 eine oder mehrere Bediener-Workstations 171, die kommunikativ mit dem Backbone 110 verbunden sind. Über die Bediener-Workstation(s) 171 können menschliche Bediener den Laufzeitbetrieb der Prozessanlage 100 überwachen und nach Bedarf erforderliche Diagnose-, Korrektur-, Wartungs- und/oder sonstige Maßnahmen ergreifen. Zumindest ein Teil der Bediener-Workstations 171 kann sich an verschiedenen, geschützten Bereichen in oder in der Nähe der Anlage 100 befinden, z. B. in einer Back-End-Umgebung der Anlage 100, und in einigen Situationen kann zumindest ein Teil der Bediener-Workstations 171 entfernt liegen (aber dennoch in kommunikativer Verbindung mit der Anlage 100 stehen). Bediener-Workstation(s) 171 können drahtgebundene oder drahtlose Computergeräte sein.
Das beispielhafte Prozesssteuerungssystem 100 ist in 2 noch eingehender beschrieben, indem es eine oder mehrere Konfigurationsanwendungen 172A und eine oder mehrere Konfigurationsdatenbanken 172B beinhaltet, von denen jede auch kommunikativ mit dem Backbone 110 verbunden ist. Verschiedene Instanzen der Konfigurationsanwendung(en) 172A können auf einem oder mehreren Computergeräten (nicht in 2 gezeigt) ausgeführt werden, um dem Benutzer die Erstellung oder Änderung von Prozesssteuerungsmodulen und den Download dieser Module über das Backbone 110 zu den Prozesssteuerungen 111 und/oder zu anderen Prozesssteuerungen zu ermöglichen, und sie können dem Benutzer die Erstellung oder Änderung von Bedienerschnittstellen ermöglichen, über die ein Bediener Daten einsehen und Dateneinstellungen innerhalb von Prozesssteuerungsroutinen ändern kann. Die Konfigurationsdatenbank(en) 172B speicherten die konfigurierten Module und/oder Bedienerschnittstellen. Im Allgemeinen können die Konfigurationsanwendung(en) 172A und die Konfigurationsdatenbank(en) 172B zentralisiert sein und ein einheitliches logisches Erscheinungsbild für das Prozesssteuerungssystem 100 aufweisen (obwohl es möglich ist, dass mehrere Instanzen der Konfigurationsanwendung 172A gleichzeitig innerhalb des Prozesssteuerungssystems 100 ausgeführt werden) und die Konfigurationsdatenbank(en) 172B kann/können in einem einzigen physischen Datenspeichergerät oder in mehreren Datenspeichergeräten gespeichert sein. Die Konfigurationsanwendung(en) 172A, die Konfigurationsdatenbank(en) 172B und zugehörige Benutzerschnittstellen (in 2 nicht gezeigt) bilden zusammen ein Konfigurations- oder Entwicklungssystem 172 zum Erstellen/Konfigurieren von Steuerungs- und/oder Anzeigemodulen. Typischerweise, aber nicht notwendigerweise, unterscheiden sich die Benutzerschnittstellen für das Konfigurationssystem 172 von den Bediener-Workstations 171, wobei die Benutzerschnittstellen für das Konfigurationssystem 172 von Konfigurations- und Entwicklungsingenieuren verwendet werden, unabhängig davon, ob die Anlage 100 in Echtzeit in Betrieb ist, und wobei die Bediener-Workstations 171 von den Bedienern während des Echtzeitbetriebs (oder der „Laufzeit“) der Prozessanlage 100 verwendet werden.
Das beispielhafte Prozesssteuerungssystem 100 beinhaltet auch eine oder mehrere Data-Historian-Anwendung(en) 173A und eine oder mehrere Data-Historian-Datenbank(en) 173B, von denen jede kommunikativ mit dem Backbone 110 verbunden ist. Die Data-Historian-Anwendung(en) 173A sammelt/-n einige oder alle über das Backbone 110 bereitgestellten Daten und legt die Daten in den Data-Historian-Datenbank(en) 173B zur Langzeitspeicherung ab. Ähnlich wie die Konfigurationsanwendung(en) 172A und die Konfigurationsdatenbank(en) 172B können die Daten-Historian-Anwendung(en) 173A und die Data-Historian-Datenbank(en) 173B zentralisiert sein und ein einheitliches logisches Erscheinungsbild für das Prozesssteuerungssystem 100 aufweisen (obwohl es möglich ist, dass mehrere Instanzen einer Data-Historian-Anwendung 173A gleichzeitig innerhalb des Prozessteuerungssystems 100 ausgeführt werden), und die Daten-Historian-Datenbank(en) 173B kann/können in einem einzigen physischen Datenspeichergerät oder in mehreren Datenspeichergeräte gespeichert sein. Die Data-Historian-Anwendung(en) 173A, die Data-Historian-Datenbank(en) 173B und die zugehörigen Benutzerschnittstellen (nicht in 2 gezeigt) bilden zusammen ein Data-Historian-System 173.
In einigen Konfigurationen beinhaltet das Prozesssteuerungssystem 100 einen oder mehrere andere drahtlose Zugangspunkte 174, die mit anderen Geräten unter Verwendung von anderen drahtlosen Protokollen kommunizieren, wie z. B. IEEE-802.11-konformen drahtlosen lokalen Netzwerkprotokollen, mobilen Kommunikationsprotokollen, wie z. B. WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution) oder anderen ITU-R-(International Telecommunication Union, Radiocommunication Sector)-kompatiblen Protokollen, kurzwelligen Funkkommunikationen, wie z. B. NFC (Nahfeldkommunikation) und Bluetooth und/oder anderen drahtlosen Kommunikationsprotokollen. Typischerweise ermöglichen solche drahtlosen Zugangspunkte 174 mobilen oder anderen tragbaren Rechengeräten (z. B. Benutzerschnittstellengeräten 175) über ein entsprechendes drahtloses Prozesssteuerungskommunikationsnetzwerk, das sich vom drahtlosen Netzwerk 170 unterscheidet und das ein anderes drahtloses Protokoll als das drahtlose Netzwerk 170 unterstützt, zu kommunizieren. Zum Beispiel kann ein drahtloses oder tragbares Benutzerschnittstellengerät 175 eine mobile Workstation oder ein Diagnosetestgerät sein, das von einem Bediener innerhalb der Prozessanlage 100 verwendet wird (z. B. eine Instanz der Bediener-Workstations 171). In einigen Szenarien kommunizieren neben tragbaren Rechengeräten auch ein oder mehrere Prozesssteuerungsgeräte (z. B. die Steuerung 111, die Feldgeräte 115-122 oder die drahtlosen Geräte 135, 140-158) unter Verwendung des von den Zugangspunkt(en) 174 unterstützten drahtlosen Protokolls.
Es wird angemerkt, dass dies nur eine veranschaulichende und nichteinschränkende Ausführungsform ist, obwohl 2 nur eine einzelne Prozesssteuerung 111 und eine bestimmte Anzahl von Feldgeräten 115-122 und 140-146, drahtlosen Gateways 35, drahtlosen Adaptern 152, Zugangspunkten 155, Routern 1158 und drahtlosen Prozesssteuerungskommunikationsnetzwerken 170, die in der beispielhaften Prozessanlage 100 enthalten sind, darstellt. Zum Beispiel kann jede beliebige Anzahl von Steuerungen 111 in die Prozesssteuerungsanlage oder das Prozesssteuerungssystem 100 einbezogen werden, und jede der Steuerungen 111 kann mit einer beliebigen Anzahl von drahtgebundenen oder drahtlosen Geräten und Netzwerken 115-122, 140-146, 135, 152, 155, 158, und 170 kommunizieren, um einen Prozess in der Anlage 100 zu steuern.
Unter erneuter Bezugnahme auf 1 können die Objekte, die unter Verwendung von AR-Mobilgeräten (z. B. dem AR-Mobilgerät 12) kartiert wurden, einen Teil oder alles von der Steuerung 111, den Geräten 115-122 und 140-158, den E/A-Karten 126, 128, des drahtlosen Gateways 135 und/oder anderen Geräten und/oder Ausrüstungsgegenständen in der Anlage 100 beinhalten, sodass ihre 3D-Positionen innerhalb der Anlage 100 (und möglicherweise ihre Beziehungen zueinander, ihre Avatare usw.) in der AR-Datenbank 72 gespeichert sind. In einigen Ausführungsformen können der/die Back-End-Server 14 kommunikativ mit dem Backbone 110 gekoppelt sein, und der/die anderen Server 18 können die Bediener-Workstation(s) 171, das Konfigurationssystem 172, das Data-Historian-System 173 und/oder andere Computergeräte oder -systeme der Prozesssteuerungsumgebung 100 beinhalten oder mit diesen gekoppelt sein.
Die von dem/den Server(n) 18 ausgeführte(n) Anwendung(en) 19 können eine oder mehrere DeltaV™-Anwendungen, Diagnose- und Wartungsanwendungen und/oder andere Anwendungen oder softwarebasierte Systeme beinhalten. Die Anwendung(en) 19 können somit Knotenerfahrungen unterstützen, die den Laufzeitstatus und/oder Messdaten von Feldgeräten anzeigen, Laufzeitsteuerungen für Feldgeräte bereitstellen, Diagnose- oder Wartungsinformationen für Maschinen anzeigen und so weiter. Als nur ein Beispiel können HART®- und/oder Feldbusinformationen, die verschiedenen Geräten zugeordnet sind, dem Benutzer des AR-Mobilgeräts 12 präsentiert werden. Die Erfahrungsbereitstellungseinheit 62 kann die geeignete(n) Anwendung(en) 19 (z. B. über das Backbone 110) starten und/oder sich mit dieser/-n verbinden, um die erforderlichen Anzeigedaten zu sammeln, die dann an das Knotenerfahrungsmodul 46 weitergeleitet werden. Die Erfahrungsbereitstellungseinheit 62 kann auch oder stattdessen alle Benutzereingaben, die von dem Knotenerfahrungsmodul 46 empfangen wurden, an die Steuerung 111 weiterleiten, um zu bewirken, dass die geeigneten Feldgeräte entsprechend gesteuert werden usw.
Beispielhafte 3D-Karte
Aus der obigen Beschreibung von 1 sollte ersichtlich sein, dass die 3D-„Karte“ des AR-Systems 10 kein vollständiges Modell der Umgebung sein muss und möglicherweise nur 3D-Positionen von Knoten innerhalb dieser Umgebung beinhaltet. Eine stark vereinfachte, beispielhafte 3D-Karte 200, die nur vier Objekte/Knoten enthält, ist in 3 gezeigt. In 3 entspricht die z-Achse der Höhe (z. B. über dem Boden). Wie oben erörtert, kann ein Orientierungspunktstandort 202 einen Referenzpunkt für alle anderen Orte (z. B. Knoten- und Benutzer- oder AR-Gerätestandorte) innerhalb der Umgebung bereitstellen.
In der Beispielkarte 200 befindet sich ein erster Ort 204 eines ersten Objekts/Knotens geringfügig (höhenmäßig) über dem Orientierungspunktstandort 202 am Versatz {x1,y1,z1}, der zweite und dritte Ort 206, 208 des zweiten und dritten Objekts/Knoten sind am Versatz {x2,y2,z2} bzw. {x3,y3,z3} noch etwas höher gelegen, und ein dritter Ort 210 eines dritten Objekts/Knotens ist noch höher am Versatz {x4,y4,z4} gelegen. In einigen Szenarien kann der Versatz in x-, y- und/oder z-Richtung für bestimmte Objekte/Knoten natürlich negativ sein.
Innerhalb der Karte 200 entspricht ein Ort 220 bei {x5,y5,z5} einem aktuellen Ort eines AR-Mobilgeräts, wie beispielsweise des AR-Mobilgeräts 12 aus 1. 3 zeigt auch (in gestrichelten Linien) ein Sichtfeld 222 des AR-Mobilgeräts, das einer bestimmten Ausrichtung des Geräts entspricht. Das Sichtfeld 222 kann durch das Positionsbestimmungs- und Orientierungsmodul 44 aus 1 bestimmt werden, beispielsweise unter Verwendung von Sensordaten von der IMU 26 (und möglicherweise Bilddaten von der Kamera 26, z. B. mit VIO-Technologie) und einem bekannten Azimutbereich oder -winkel der Kamera 26. Obwohl nicht in 3 dargestellt, kann das Positionsbestimmungs- und Orientierungsmodul 44 auch die Ausdehnung des Sichtfelds 222 in z-Richtung kennen, z. B. dass das Sichtfeld 222 eine kegelförmige Form hat, anstatt eine unendliche Abdeckung in z-Richtung anzunehmen.
In diesem Beispielszenario befinden sich die Objekte an den Orten 206 und 208 innerhalb des aktuellen Sichtfelds 222 des Geräts/Benutzers, während sich die Objekte an den Positionen 204 und 210 nicht darin befinden. Die Erfahrungsbereitstellungseinheit 62 aus 1 kann diese Feststellung beispielsweise vornehmen basierend auf den Knotenpositionen (wie in der AR-Datenbank 72 gespeichert), dem Ort 220 und der Ausrichtung des AR-Mobilgeräts (wie durch das Positionsbestimmungs- und Orientierungsmodul 44 festgestellt und über die Webdienstschnittstelle 60 weitergeleitet) und den bekannten oder geschätzten Eigenschaften des Sichtfeldes für die Kamera 24. Basierend auf der Bestimmung, welche Objekte/Knoten sich innerhalb des Sichtfelds 222 befinden, kann die Erfahrungsbereitstellungseinheit 62 Daten an das AR-Mobilgerät 12 senden, die anzeigen, dass eine Knotenmarkierung (und/oder eine bestimmte Knotenerfahrung) nur für die Objekte an den Orten 206 und 208 angezeigt werden soll. Das Knotenerfahrungsmodul 46 kann diese Daten verarbeiten und als Antwort Knotenmarkierungen und/oder andere Informationen an oder in der Nähe von Punkten auf der Anzeige 22 überlagern, die den Orten 206 und 208 entsprechen.
Beispielhafte AR-Benutzerschnittstellen
Ein Satz von beispielhaften Benutzerschnittstellen, die über eine AR-Anzeige gelegt werden können (z. B. über die Anzeige 22 des AR-Mobilgeräts 12 aus 1), wird nun in Verbindung mit den 4A bis 4H beschrieben. Zur Vereinfachung der Erklärung wird auch auf das AR-System 10 aus 1 Bezug genommen, obwohl die gezeigten Benutzerschnittstellen stattdessen auch in anderen Systemen verwendet werden können. Bei Benutzerschnittstellen, bei denen Benutzerauswahlen getroffen werden können, kann die Auswahl durch den Benutzer getroffen werden, der direkt auf eine bestimmte Menüoption sieht (z. B. wenn die Benutzerschnittstellen eine feste Position relativ zur Umgebung haben, anstatt eine feste Position relativ zur Mitte der Anzeige 22). In anderen Ausführungsformen kann die Auswahl dadurch getroffen werden, dass der Benutzer einen geeigneten Sprachbefehl ausgibt, Daten auf einer Tastatur oder einem Touchscreen eingibt oder auf eine andere geeignete Weise.
Bezugnehmend auf 4A ermöglicht eine Benutzerschnittstelle 200 dem Benutzer, eine bestimmte „Rolle“ auszuwählen, wie oben in Verbindung mit 1 diskutiert. Die Benutzerschnittstelle 200 kann dem Benutzer beim Starten der AR-Anwendung 32 oder zu einem anderen geeigneten Zeitpunkt angezeigt werden. Die AR-Anwendung 32 kann die verfügbaren Rollen im Voraus kennen oder über die verfügbaren Rollen informiert werden, indem der Back-End-Server 14 über die Webdienstschnittstelle 60 abgefragt wird. Sobald eine Rolle ausgewählt ist, kann das Rollenidentifikationsmodul 40 Daten, die die Rolle anzeigen, über die Webdienstschnittstelle 60 an den Back-End-Server 14 senden. Die Erfahrungsbereitstellungseinheit 62, die Warnungserzeugungseinheit 68 und/oder andere Komponenten des Back-End-Servers 14 können dann die ausgewählte Rolle verwenden, um geeignete, zu erweiternde Knoten, geeignete Arten von Erfahrungen und/oder Inhalte zur Bereitstellung für bestimmte Knoten zu bestimmen und so weiter, wie oben diskutiert.
4B zeigt eine Benutzerschnittstelle 220, die als Knotenmarkierung für jedes der einigen oder aller Objekte innerhalb des aktuellen Sichtfelds des Benutzers fungieren kann (vorbehaltlich anderer Kriterien wie der Nähe oder Benutzerrolle). Die beispielhafte Benutzerschnittstelle 220 beinhaltet ein Symbol (eingekreistes „X“) und einen Deskriptor („StatusWort“), der einen Status des Objekts/Knotens angibt, einen Knotennamen (z. B. eine Gerätekennung innerhalb einer Prozesssteuerungsanlage, wie z. B. „ESD-3“ usw.), eine kurze Beschreibung des Knotens (z. B. „Not-Aus-Schalter“ usw.) und eine vertikale Linie, die von diesen Informationen zu einem gefüllten Kreis am unteren Rand der Benutzeroberfläche 220 führt. Der gefüllte Kreis (oder ein anderer Indikator) kann an der {x,y,z}-Position des entsprechenden Objekts in der realen Sicht des Benutzers platziert werden, z. B. an der realen {x,y,z}-Position, auf die der Benutzer (oder ein anderer Benutzer) fokussiert, wenn er den Knotens zur 3D-Karte hinzufügt. Der Text und die Linie können nach Bedarf gedreht werden, um mit der vertikalen Achse des AR-Mobilgeräts 12 und des Benutzers ausgerichtet zu bleiben, oder sie können beispielsweise immer mit der z-Achse ausgerichtet sein.
Das Statussymbol und der Deskriptor können angeben, ob in Bezug auf das Objekt Maßnahmen ergriffen werden sollten und/oder ob in Bezug auf das Objekt eine Gefahr besteht. Zum Beispiel kann das in 4B gezeigte, eingekreiste „X“ einem Status „Kritisch“ entsprechen, das „!“ in einem Dreieck kann einem Status „Warnung“ entsprechen, das „i“ in einer Raute kann einem Status „Hinweis“ entsprechen und es kann sein, dass kein Symbol dem Status „Normal“ entspricht. Obwohl 4B eine Reihe möglicher Statussymbole zeigt, versteht es sich, dass die Benutzerschnittstelle 220 für diese spezielle Ausführungsform und/oder dieses Szenario nur das eingekreiste „X“-Symbol beinhaltet. Der für ein bestimmtes Objekt oder einen bestimmten Knoten dargestellte Status und die Bedeutung dieses Status können je nach Benutzerrolle variieren.
Die Knotenmarkierung (d. h. in 4B der Text, die Linie und der gefüllte Kreis) der Benutzerschnittstelle 220 kann entsprechend dem Abstand von dem AR-Mobilgerät 12 in der Größe skaliert werden, sodass nähere Objekte größere Knotenmarkierungen und weiter entfernte Objekte kleinere Knotenmarkierungen aufweisen. In einigen Ausführungsformen beispielsweise stellt die Benutzerschnittstelle 220 weitere Informationen durch zusätzlichen Text, zusätzliche Grafiken und/oder eine Farbcodierung bereit (z. B. roter Text und eine rote Linie für den Status „Kritisch“, grüner Text und eine grüne Linie für den Status „Normal“ etc.).
4C zeigt eine Benutzerschnittstelle 240, die erscheinen kann, nachdem eine Benutzerrolle an der Benutzerschnittstelle 200 oder zu einem anderen geeigneten Zeitpunkt ausgewählt wurde. Das „+“-Symbol in der Benutzerschnittstelle 240 kann vom Benutzer ausgewählt werden, um der 3D-Karte einen neuen Knoten hinzuzufügen, wie oben in Verbindung mit 1 erläutert. Das Helmsymbol kann vom Benutzer ausgewählt werden, um eine andere Rolle auszuwählen, und das dritte Symbol kann vom Benutzer ausgewählt werden, um bestimmte Einstellungen zu verwalten, wie nachstehend erläutert. Das rechteckige Feld in der Benutzerschnittstelle 240 kann dem Benutzer Systemmeldungen anzeigen. Beispielsweise kann das Meldungsfeld verwendet werden, um Warnungen anzuzeigen, die von der Warnungserzeugungseinheit 68 und/oder dem positionsbasierten Warnungsmodul 52 erzeugt werden.
4D zeigt eine Benutzerschnittstelle 260, die erscheinen kann, wenn der Benutzer das Einstellungssymbol in der Benutzerschnittstelle 240 auswählt. Wie in 4D zu sehen ist, ermöglicht die Benutzerschnittstelle 260 dem Benutzer, den Namen oder die Kennung des AR-Mobilgeräts 12, die Orientierungspunktkennung und einen Namen oder eine IP-Adresse des Back-End-Servers 14 zu ändern. Einige oder alle dieser Werte können vom AR-Mobilgerät 12 beispielsweise beim Tätigen von Webdienstaufrufen an die Webdienstschnittstelle 60 verwendet werden.
4E zeigt eine einfache Benutzerschnittstelle 280, die erscheinen kann, wenn der Benutzer das „+“-Symbol (Knoten hinzufügen) in der Benutzeroberfläche 240 auswählt. In diesem Beispiel ist die Benutzerschnittstelle 280 einfach ein Fadenkreuz (z. B. in der Mitte der Anzeige 22 des Benutzers), das der Benutzer auf jeden Ort in der realen Umgebung fokussieren kann, indem er sich einfach umsieht (z. B. wenn das AR-Mobilgerät 12 ein AR-Helm, eine AR-Schutzbrille oder eine intelligente Brille ist) oder durch anderweitiges Zielen der Kamera 24 des AR-Mobilgeräts 12 (z. B. wenn es sich um ein Tablet oder Smartphone handelt). Das Knotenerstellungsmodul 48 der AR-Anwendung 32 kann erfordern, dass der Benutzer bestätigt, wann das Fadenkreuz angemessen platziert ist (z. B. durch Ausgeben eines Sprachbefehls), oder es kann annehmen, dass eine geeignete Platzierung erfolgt ist, wenn sich das Sichtfeld der Kamera 24 innerhalb einer bestimmten Zeitdauer nicht wesentlich ändert usw.
4F zeigt eine Benutzerschnittstelle 300, die erscheinen kann, nachdem der Benutzer das Fadenkreuz der Benutzerschnittstelle 280 positioniert hat und nachdem das Positionsbestimmungs- und Orientierungsmodul 44 die erforderlichen Positions- und/oder Orientierungsinformationen zum Platzieren des neuen Objekts/Knotens bestimmt hat (z. B. die Position des AR-Mobilgeräts 12, die Ausrichtung des Geräts 12 und den Abstand vom Gerät 12 zum Objekt). Die beispielhafte Benutzerschnittstelle 300 beinhaltet ein Textfeld, in das der Benutzer einen Knotennamen und/oder eine Knotenbeschreibung eingeben kann. Alternativ können einige oder alle dieser Informationen per Sprachbefehl bereitgestellt werden (z. B. wenn der Benutzer das Mikrofonsymbol auswählt). In anderen Ausführungsformen können der Knotenname und/oder die Beschreibung durch Verarbeiten eines Bildes eines Teils des Objekts unter Verwendung der optischen Zeichenerkennungstechnologie (OCR) bestimmt werden. Beispielsweise kann der Benutzer die Kamera 24 auf ein Etikett oder einen Aufkleber richten, das/der an dem Objekt angebracht ist und eine Seriennummer, Modellnummer oder eine andere Kennung enthält. Die Kennung kann dann über die Webdienstschnittstelle 60 an den Back-End-Server 14 gesendet und mit Informationen verglichen werden, die auf dem Back-End-Server 14 oder in einem anderen System oder einer anderen Datenbank (z. B. auf einem der anderen Server 18) gespeichert sind, um den Knotennamen und/oder die Knotenbeschreibung zu bestimmen.
4G zeigt eine Benutzerschnittstelle 320, die für ein bestimmtes Objekt oder einen bestimmten Knoten erscheinen kann, wenn der Benutzer dieses Objekt oder diesen Knoten ausgewählt hat (z. B. durch Auswahl der Knotenmarkierung der Benutzerschnittstelle 220). Die Benutzerschnittstelle 320 kann durch das Knotenerfahrungsmodul 46 basierend auf Daten erzeugt werden, die verfügbare Erfahrungen für den Knoten anzeigen, die beispielsweise von der Erfahrungsbereitstellungseinheit 62 des Back-End-Servers 14 bereitgestellt werden. Die beispielhafte Benutzerschnittstelle 320 beinhaltet den Knotennamen und die Knotenbeschreibung, die auf der Knotenmarkierung in der Benutzerschnittstelle 220 gezeigt wurden, sowie zwei rechteckige Bereiche. Der gefüllte Kreis am unteren Rand der Benutzerschnittstelle 320 kann an derselben Position auf dem Objekt (innerhalb der realen Ansicht) bleiben, an der er sich in der Benutzerschnittstelle 220 befand. Ein erster „Arbeitsbereich“, der in 4G als leeres Rechteck dargestellt ist, kann zusätzliche Informationen zum ausgewählten Objekt/Knoten anzeigen, wie z. B. Statusinformationen für das Objekt, detaillierte Warninformationen für das Objekt usw. (z. B. abhängig von der Art der bereitgestellten Knotenerfahrung und/oder der Rolle des Benutzers).
Der Benutzer kann den gewünschten Typ der Knotenerfahrung aus dem zweiten Bereich auswählen und diejenigen auflisten, die für den Knoten (und möglicherweise für die Rolle des Benutzers) verfügbar sind. Wie in 4G zu sehen ist, beinhalten die verfügbaren Knotenerfahrungen in diesem Beispiel „Weitere Informationen“ (z. B. um zusätzliche Arten von textbasierten Informationen im Arbeitsbereich bereitzustellen), „Verbindungen“ (z. B. um physische oder logische Verbindungen zu anderen Objekten/Knoten anzuzeigen, wie unten in Verbindung mit 4H erörtert), „Info-Link“ (z. B. um im Arbeitsbereich Informationen aus einem „Hilfedokument“, einem Anleitungsvideo oder einer anderen Webseite unter einer bestimmten URL anzuzeigen), „Untergeordnete Objekte“ (z. B. um im Arbeitsbereich Beziehungen zu anderen Objekten/Knoten anzuzeigen, die als „untergeordnete Objekte“ des ausgewählten Objekts/Knotens verknüpft sind), „Prozesswerte“ (z. B. um im Arbeitsbereich Steuerprozesswerte anzuzeigen, die von einem der anderen Server 18 und Anwendungen 19 erhalten wurden) und „Arbeitsauftrag“ (z. B. um im Arbeitsbereich den Text eines Arbeitsauftrags anzuzeigen, der dem ausgewählten Objekt/Knoten zugeordnet ist).
4H zeigt eine Benutzerschnittstelle 340, die erscheinen kann, wenn der Benutzer das Symbol „Verbindungen“ in der Benutzerschnittstelle 320 ausgewählt hat. Für die Benutzerschnittstelle 340 rendert das Knotenerfahrungsmodul 46 eine Linie zwischen der Position {x,y,z} des aktuell ausgewählten Objekts/Knotens und der Position {x,y,z} eines Objekts/Knotens, mit dem das aktuell ausgewählte Objekt oder der aktuell ausgewählte Knoten physisch und/oder logisch in Verbindung steht (z. B. wie oben in Verbindung mit 1 erläutert). Der gefüllte Kreis am unteren Ende der Benutzerschnittstelle 340 kann sich an der ersteren Position befinden, während sich der gefüllte Kreis am oberen Ende der Benutzerschnittstelle 340 an der letzteren Position befinden kann. Natürlich können sich die relativen Positionen der gefüllten Kreise je nach Szenario ändern (z. B. kann der Kreis für das ausgewählte Objekt oder den ausgewählten Knoten in der realen Ansicht höher erscheinen als der Kreis für das verbundene Objekt oder den verbundenen Knoten).
In der Ausführungsform von 4H rendert das Knotenerfahrungsmodul 46 die Verbindungslinie in drei Segmenten: einem ersten Segment (beginnend an dem aktuell ausgewählten Objekt/Knoten), das den Abstand und die Richtung entlang der y-Achse angibt, einem zweiten Segment (beginnend am Ende des ersten Segments), das den Abstand und die Richtung entlang der x-Achse angibt, und einem dritten Segment (beginnend am Ende des zweiten Segments), das den Abstand und die Richtung entlang der z-Achse angibt und am verbundenen Objekt/Knoten endet. Die Liniensegmente können farbcodiert, nach Linienformat (gestrichelt, durchgehend usw.) codiert und/oder auf andere Weise codiert sein, um zusätzliche Informationen bereitzustellen (z. B. eine rote Linie, um eine Kommunikationsverbindung anzuzeigen, die derzeit nicht funktioniert). In anderen Ausführungsformen kann die Verbindung auf eine andere Weise dargestellt werden, wie beispielsweise als ein einzelnes Liniensegment zwischen den Objekten/Knoten (wobei die Linie beispielsweise breiter oder schmaler wird, um die Entfernung vom Benutzer darzustellen). In verschiedenen Ausführungsformen können Verbindungen zu mehreren verschiedenen Objekten/Knoten in der Benutzerschnittstelle 340 gezeigt werden, oder es kann erforderlich sein, dass der Benutzer jede einzelne Verbindung auswählen muss, für die eine Visualisierung gewünscht wird.
Beispiel AR-Datenbank
Die 5A und 5B zeigen zusammen eine Datenbankstruktur 400, die von der AR-Datenbank 72 in 1 verwendet werden kann (z. B. wenn sie in der Prozesssteuerungsumgebung 100 in 2 verwendet wird). In der Datenbankstruktur 400 stellt jedes Feld eine Tabelle dar, das in der AR-Datenbank 72 gespeichert sein kann, wobei die oberste Zeile jedes Felds dem Tabellennamen entspricht (z. B. „Knoten“, „KnotenStatus“ usw.). Die Tabellen sind unter Verwendung von Primärschlüsseln verknüpft, von denen jeder in den 5A und 5B durch ein Schlüsselsymbol und die Buchstaben „PK“ gekennzeichnet ist.
Die Datenbankstruktur 400 ermöglicht einen effizienten Querverweis von Datenelementen und sie ermöglicht Benutzer- und Systemaktualisierungen, ohne vorhandene Links aufgebrochen oder umfangreiche Aktualisierungen durchgeführt werden müssen. Durch die Verwendung des Primärschlüssels „Knoten-ID“ kann der Benutzer beispielsweise den „Knotennamen“ für einen vorhandenen Knoten ändern, ohne andere verwandte Tabellen aktualisieren zu müssen. Die „AbrufOPCDA“-Tabelle in 5B kann der Knotenerfahrung „Prozesswerte“ entsprechen, die oben in Verbindung mit 4G beschrieben wurde.
Beispiel für eine verbesserte virtuelle Sicht
Die 6 und 7 beziehen sich auf Ausführungsformen, bei denen eine AR-Plattform (z. B. bereitgestellt durch das AR-System 10 aus 1) Merkmale bereitstellt, die die „virtuelle Sicht“ des Benutzers verbessern. 6 zeigt ein spezifisches Szenario, in dem eine „virtueller Röntgenblick“-Funktion (oben in Verbindung mit 1 erörtert) verwendet wird, um in einen geschlossenen Schrank innerhalb einer Prozesssteuerungsumgebung (z. B. innerhalb der Prozesssteuerungsumgebung 100 aus 2) zu „sehen“, während die 7A und 7B ein spezifisches Szenario darstellen, in dem ein „Avatar“ (ebenfalls oben in Verbindung mit 1 erörtert) für eine Sensor- oder Sendevorrichtung vorgesehen ist, die sich in einem eingeschränkt zugänglichen Bereich befindet (z. B. in einem schwer zugänglichen oder gefährlichen Bereich) und/oder die vom aktuellen Standort des Benutzers entfernt liegt.
Unter Bezugnahme auf das Beispiel aus 6 kann ein geschlossener (und möglicherweise verriegelter) Schrank 500 eine Anzahl von inneren Komponenten enthalten (in 6 nicht zu sehen), wie z. B. E/A-Karten, Leistungsschalter usw. Wenn eines der Kriterien, die oben in Verbindung mit 1 erörtert wurden, erfüllt ist (z. B. wenn sich die inneren Komponenten innerhalb eines Sichtfeldes des AR-Mobilgeräts 12 und innerhalb eines Schwellenabstands befinden und/oder wenn der Schrank 500 vom Benutzer ausgewählt wird usw.) und wenn festgestellt wird, dass der Schrank 500 verdeckte Objekte/Knoten enthält (wie ebenfalls oben erörtert, z. B. basierend auf einer bekannten Beziehung zwischen dem Schrank und den inneren Komponenten und/oder durch Scannen eines QR-Codes usw.), kann das Sichtverbesserungsmodul 50 von 1 eine Benutzerschnittstelle 520 über die reale Ansicht des Benutzers legen.
Die Benutzerschnittstelle 520 beinhaltet eine Darstellung 522 der Innenkomponenten. Die Darstellung 522 kann ein Bild der tatsächlichen Komponenten innerhalb des Schranks 500 in ihrer tatsächlichen Anordnung relativ zueinander sein. In anderen Ausführungsformen beinhaltet die Darstellung 522 hyper- oder pseudorealistische grafische Darstellungen der Komponenten (z. B. 3D-Modelle, 2D-Modelle usw.), entweder einzeln oder auf eine Weise, die ihre relative Anordnung innerhalb des Schranks 500 darstellt. In jedem Fall kann die Darstellung 522 dem Benutzer eine AR-Erfahrung bieten, die der Erfahrung ähnlich ist, die er haben würde, wenn er die tatsächlichen inneren Komponenten betrachten würde.
Die Benutzerschnittstelle 520 kann in der realen Sicht des Benutzers direkt über den Schrank 500 gelegt und entsprechend skaliert werden, um die Darstellung 522 über den tatsächlichen Positionen der verdeckten inneren Komponenten auszurichten. Alternativ kann die Benutzerschnittstelle 520 in der realen Sicht des Benutzers vom Schrank 500 versetzt und möglicherweise durch eine Linie oder ein anderes Mittel verbunden sein.
Die Darstellung 522 kann Knotenmarkierungen (z. B. ähnlich der Benutzerschnittstelle 220 von 4B) für einzelne der internen Komponenten beinhalten oder auch nicht, sofern diese Komponenten zuvor kartiert wurden. Darüber hinaus kann die Benutzerschnittstelle 520 es dem Benutzer ermöglichen, verschiedene Knotenerfahrungen auszuwählen, indem eine solche Knotenmarkierung ausgewählt wird, indem die Darstellung 522 selbst ausgewählt wird oder indem ein geeigneter Sprachbefehl ausgegeben wird. Die Darstellung 522 oder die Benutzerschnittstelle 520 kann auch eine Steuerung (z. B. ein „X“ in einer Ecke) beinhalten, die der Benutzer auswählen kann, um die Darstellung 522 aus seiner Ansicht zu entfernen, oder es kann ein geeigneter Sprachbefehl verwendet werden.
Unter Bezugnahme auf 7A umfasst ein Richtungsindikator 550 eine Darstellung eines bestimmten Objekts (hier einer Sensor-/Sendevorrichtung) zusammen mit einem Pfeil, der die allgemeine Richtung des Objekts relativ zur realen Sicht des Benutzers zeigt. Das Sichtverbesserungsmodul 50 aus 1 kann beispielsweise den Richtungsindikator 550 als Reaktion auf eine der oben beschriebenen Bedingungen (in Verbindung mit 1) in Bezug auf Avatare von entfernten und/oder eingeschränkt zugänglichen Objekten über die reale Ansicht des Benutzers legen. Die Darstellung des Geräts in dem beispielhaften Richtungsindikator 550 ist ein realistisches Modell oder Bild, obwohl natürlich auch andere Formate möglich sind (z. B. eine Gliederung, eine Animation, ein Video usw.).
Wenn der Benutzer den Richtungsindikator 550 auswählt, kann das Sichtverbesserungsmodul 50 einen „Avatar“ 560 über die reale Ansicht des Benutzers legen, wie in 7B gezeigt. Obwohl der in 7B gezeigte Avatar 560 mit der Darstellung des Objekts in dem Richtungsindikator 550 identisch ist, ist der Avatar 560 in anderen Ausführungsformen detaillierter und/oder realistischer als die Darstellung (falls vorhanden) in dem Richtungsindikator 550. Ähnlich wie in der Darstellung 522 in 6 kann der Avatar 560 dem Benutzer eine AR-Erfahrung bieten, die derjenigen ähnelt, die er oder sie hätte, wenn er das tatsächliche Objekt (hier eine Sensor-/Sendevorrichtung) in unmittelbarer Nähe betrachten würde. In der Tat kann, wie oben erwähnt, das Merkmal des virtuellen Röntgenblicks von 6 einfach ein Sonderfall der in 7B gezeigten Sichtverbesserung sein, wobei die Darstellung 522 von 6 eine Sammlung von Avataren für die verschiedenen Komponenten ist, die in dem Schrank 510 eingeschlossen sind.
Wenn der Benutzer den Avatar 560 auswählt oder einen geeigneten Sprachbefehl ausgibt, kann das Sichtverbesserungsmodul 50 eine Benutzerschnittstelle 570 in der Nähe des Avatars 560 über die reale Sicht des Benutzers legen. Alternativ kann die Benutzerschnittstelle 570 standardmäßig mit dem Avatar 560 dargestellt werden, ohne dass eine Benutzerauswahl des Avatars 560 oder ein Sprachbefehl erforderlich ist. Die beispielhafte Benutzerschnittstelle 570 von 7B entspricht einer Knotenerfahrung, die Prozesswerte (hier Sensorablesungen) bereitstellt und eine Benutzersteuerung des Geräts ermöglicht (hier durch Initiieren eines Kalibrierungsprozesses). Um diese Knotenerfahrung zu ermöglichen, kann die Erfahrungsbereitstellungseinheit 62 von 1 mit einer oder mehreren der Anwendungen 19 kommunizieren, die von den anderen Servern 18 ausgeführt werden, wie oben erläutert. Beispielsweise kann die Erfahrungsbereitstellungseinheit 62 bewirken, dass eine Prozesssteuerungsanwendung gestartet wird, oder eine Schnittstelle mit einer ausführenden Prozesssteuerungsanwendung unter Verwendung einer API usw. herstellen.
Beispielhafte 3D-Kartierungsmethode
8 zeigt ein beispielhaftes Verfahren 600 zum Kartieren einer realen Prozesssteuerungsumgebung (z. B. der Prozesssteuerungsumgebung 100 von 2) unter Verwendung eines Mobilgeräts. Das Verfahren 600 kann beispielsweise unter Verwendung des AR-Mobilgeräts 12 von 1 oder unter Verwendung eines anderen geeigneten Mobilgeräts durchgeführt werden. In einigen Ausführungsformen kann ein Mobilgerät ohne AR-Fähigkeit verwendet werden.
In Block 602 wird das Mobilgerät an einem Referenz- oder „Orientierungspunkt“-Standort in der Prozesssteuerungsumgebung registriert. Die Registrierung kann die Verwendung einer Kamera des Mobilgeräts (z. B. Kamera 24 von 1) beinhalten, um eine visuelle Darstellung eines Codes (z. B. eines QR-Codes oder eines anderen Bildes) zu scannen, der sich am Referenzort befindet. Der Code kann sich beispielsweise an einer Wand befinden (z. B. auf einer Platte oder einem Plakat).
In Block 604 wird mindestens eine IMU des Mobilgeräts (z. B. die IMU 26 von 1) verwendet, um 3D-Positionen des Mobilgeräts relativ zum Referenzort und Orientierungen des Mobilgeräts zu verfolgen, während das Mobilgerät vom Benutzer durch die Prozesssteuerungsumgebung bewegt wird. Block 604 kann unbegrenzt fortgesetzt werden (z. B. gleichzeitig mit den Blöcken 606 bis 610), bis der Benutzer die AR-Erfahrung beendet (z. B. durch Ausschalten des Mobilgeräts oder Schließen einer auf dem Mobilgerät ausgeführten Anwendung usw.). Die Verfolgung in Block 604 kann auch die Kamera des Mobilgeräts verwenden. Beispielsweise kann VIO-Technologie verwendet werden, um die Position und Ausrichtung des Mobilgeräts zu verfolgen.
In Block 606 wird auf dem Mobilgerät eine Benutzereingabe erfasst, die angibt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll. Die Benutzereingabe kann beispielsweise ein Benutzersprachbefehl (z. B. „Knoten hinzufügen“) oder eine Benutzerauswahl einer Menüoption sein (z. B. durch Fokussieren der Kamera des Mobilgeräts auf einen bestimmten Ort oder Eingeben von Daten über eine Tastatur oder einen Touchscreen).
In Block 608 wird eine 3D-Position eines realen Objekts (relativ zum Referenzort) bestimmt oder eine solche Bestimmung wird veranlasst, basierend auf mindestens einer verfolgten 3D-Position des Mobilgeräts und einer verfolgten Ausrichtung des Mobilgeräts. In einer Ausführungsform beinhaltet Block 608 das Erfassen eines Bildes eines realen Objekts unter Verwendung der Kamera des Mobilgeräts (z. B. zum Zeitpunkt der Eingabe der Benutzereingabe oder kurz danach). Der Abstand zwischen dem Mobilgerät und dem Objekt kann dann aus dem Bild bestimmt werden, zumindest durch Verarbeiten des Kamerabildes unter Verwendung einer Tiefenerfassungstechnik. Die 3D-Position kann dann basierend auf der verfolgten 3D-Position und Ausrichtung des Mobilgeräts sowie der bestimmten Entfernung festgestellt werden oder eine solche Feststellung kann veranlasst werden.
In einigen Ausführungsformen wird die 3D-Position des Objekts direkt am Block 608 von dem Gerät, dem System usw. bestimmt, das das Verfahren 600 ausführt. In anderen Ausführungsformen bewirkt das Gerät, das System usw., das das Verfahren 600 ausführt, dass ein anderes Gerät, ein anderes System usw. die 3D-Position des Objekts bestimmt, z. B. indem es eine Abfrage über eine Webdienstschnittstelle (z. B. die Webdienstschnittstelle 60 von 1) durchführt.
In Block 610 wird eine Knotendatenbank oder -bibliothek veranlasst, den neuen Knoten zur 3D-Karte hinzuzufügen, zumindest indem es veranlasst, dass die 3D-Position des Objekts in Verbindung mit dem neuen Knoten gespeichert wird. Block 610 kann beispielsweise das Verwenden einer Webdienstschnittstelle beinhalten, um zu bewirken, dass ein Remote-Server (z. B. der Back-End-Server 14 von 1) mindestens die 3D-Position des neuen Knotens in der Knotendatenbank (z. B. in der AR-Datenbank 72 von 1) speichert.
Das Verfahren 600 kann einen oder mehrere Blöcke umfassen, die nicht in 8 gezeigt sind. Beispielsweise kann das Verfahren 600 einen Block beinhalten, in dem eine andere Benutzereingabe (z. B. ein Sprachbefehl, eine Tastatureingabe usw.) auf dem Mobilgerät empfangen wird, wobei die Benutzereingabe eine Kennung (z. B. einen Namen) und/oder eine Beschreibung des neuen Knotens angibt. In einer solchen Ausführungsform kann Block 610 ferner umfassen, dass die Kennung und/oder Beschreibung des neuen Knotens in Verbindung mit dem neuen Knoten in der Knotendatenbank gespeichert wird.
Als ein anderes Beispiel kann das Verfahren 600 zusätzliche Blöcke beinhalten, die späteren Operationen eines anderen Mobilgeräts entsprechen (oder späteren Operationen desselben Mobilgeräts, das die Blöcke 602 bis 610 ausführt), das sich in einem Bereich der Prozesssteuerungsumgebung bewegt, nachdem der neue Knoten zur 3D-Karte hinzugefügt wurde. In einem ersten Block kann beispielsweise ein zweites Mobilgerät (z. B. ein AR-Mobilgerät 12 oder ein ähnliches Gerät) am Referenzort registriert werden. Danach können 3D-Positionen des zweiten Mobilgeräts (relativ zum Referenzort) und die Ausrichtung des zweiten Mobilgeräts unter Verwendung mindestens einer IMU des zweiten Mobilgeräts (z. B. unter Verwendung der VIO-Technologie) verfolgt werden. Eine Auslösebedingung kann dann beispielsweise erfasst werden, indem festgestellt wird (z. B. basierend auf einer verfolgten Ausrichtung des zweiten Mobilgeräts), dass sich das Objekt innerhalb eines Bereichs innerhalb eines Sichtfelds einer Kamera des zweiten Mobilgeräts befindet, und/oder indem festgestellt wird (z. B. basierend auf einer verfolgten Position des zweiten Mobilgeräts), dass sich das physische Objekt beispielsweise in der Nähe des zweiten Mobilgeräts befindet. Als Reaktion auf das Erfassen der Auslösebedingung können digitale Informationen, die dem neuen Knoten zugeordnet sind, über eine reale Ansicht gelegt werden, die auf oder durch eine Anzeige des zweiten Mobilgeräts sichtbar ist (z. B. eine Knotenmarkierung oder gemäß einer oben erörterten Knotenerfahrung).
Beispielmethode für die Bereitstellung eines virtuellen Röntgenblicks
9 zeigt ein beispielhaftes Verfahren 620 zum Bereitstellen einer virtuellen Sichterweiterung (z. B. eines virtuellen „Röntgenblicks“) für einen Benutzer eines AR-Mobilgeräts in einer realen Prozesssteuerungsumgebung (z. B. in der Prozesssteuerungsumgebung 100 von 2). Das Verfahren 620 kann beispielsweise von einem oder mehreren Prozessoren eines Computersystems oder -geräts, wie z. B. dem Back-End-Server 14 von 1 und/oder einem AR-Mobilgerät wie dem AR-Mobilgerät 12 von 1, ausgeführt werden.
In Block 622 wird festgestellt, dass ein bestimmter Knoten („erster Knoten“), der einer Karte der Prozesssteuerungsumgebung zugeordnet ist, einem bestimmten realen Objekt („erstes Objekt“) entspricht, das sich derzeit innerhalb des Sichtfelds einer Kamera des AR-Mobilgeräts (z. B. der Kamera 24 von 1) befindet. Das erste Objekt kann beispielsweise eine Vorrichtung sein, die in Verbindung mit 2 gezeigt oder beschrieben ist, oder ein anderer physischer Gegenstand, der zumindest teilweise undurchsichtig ist. In einigen Ausführungsformen ist das erste Objekt ein Gehäuse, wie beispielsweise ein Schrank, der dafür konfiguriert ist, eine Anzahl kleinerer Vorrichtungen oder Komponenten zu enthalten.
In einigen Ausführungsformen beinhaltet der Block 622 das Erfassen einer aktuellen Ausrichtung des AR-Mobilgeräts und das Bestimmen, basierend auf der aktuellen Ausrichtung des AR-Mobilgeräts und ferner basierend auf der Position des ersten Knotens, wie durch die Karte angegeben, dass sich das erste Objekt derzeit im Sichtfeld der Kamera befindet. Der Block 622 kann auch das Feststellen umfassen, dass sich das erste Objekt innerhalb eines bestimmten Schwellenabstands zum AR-Mobilgerät befindet (z. B. 10 Meter, 50 Meter usw.), basierend auf der aktuellen Position des AR-Mobilgeräts und der ersten Knotenposition.
In Block 624 wird eine spezifische Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten bestimmt, die ebenfalls der Karte zugeordnet sind. Die Beziehung zeigt (explizit oder implizit) an, dass ein oder mehrere andere reale Objekte, die dem einen oder den mehreren anderen Knoten entsprechen, vom ersten Objekt zumindest teilweise verdeckt werden. Beispielsweise kann eine Knotendatenbank (z. B. die AR-Datenbank 72 oder ein Teil davon) Daten speichern, die anzeigen, dass der erste Knoten einem Schrank oder einem anderen Gehäuse entspricht, das das Objekt oder die Objekte enthält, die dem anderen Knoten oder den anderen Knoten entsprechen (z. B Steuerungen, E/A-Karten, Schalter usw.) und Block 624 kann den direkten Zugriff auf die Knotendatenbank (z. B. in einem lokalen Speicher) oder über ein anderes Computersystem beinhalten. In einigen Ausführungsformen ist das erste Objekt mit einem QR-Code oder einem anderen visuellen Code markiert und Block 624 umfasst sowohl das Scannen des Codes zum Bestimmen einer Knotenkennung als auch das Verwenden der Knotenkennung zum Bestimmen der Beziehung (z. B. unter Verwendung der Kennung als Schlüssel zu einer Datenbank).
In Block 626 werden ein oder mehrere digitale Modelle/Bilder aus dem Speicher abgerufen (z. B. aus einem lokalen oder entfernten persistenten Speicher), wobei das Modell/Bild oder die Modelle/Bilder das Objekt oder die Objekte darstellen, die mindestens teilweise durch das erste Objekt verdeckt sind. Beispielsweise können ein oder mehrere hyperrealistische oder pseudorealistische 3D-Modelle, 2D-Modelle, animierte Modelle, digitale Bilder oder digitale Videos des Objekts oder der Objekte aus dem Speicher abgerufen werden.
In Block 628 wird eine Anzeige des AR-Mobilgeräts (z. B. die Anzeige 22 von 1) veranlasst, dem Benutzer das abgerufene Modell/Bild oder die abgerufenen Modelle/Bilder zu präsentieren, während sich das erste Objekt noch im Sichtfeld der Kamera befindet. Beispielsweise können das Modell/Bild oder die Modelle/Bilder über eine reale Ansicht gelegt werden, die dem Benutzer auf der Anzeige präsentiert oder vom Benutzer durch die Anzeige gesehen wird. Block 628 kann beispielsweise das Übertragen von mindestens einem Teil des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an das AR-Mobilgerät (z. B. über die Webdienstschnittstelle 60 von 1) beinhalten.
Das Verfahren 620 kann einen oder mehrere Blöcke umfassen, die nicht in 9 gezeigt sind. Beispielsweise kann das Verfahren 620 einen Block beinhalten, in dem dem Benutzer eine oder mehrere Knotenerfahrungen für die verdeckten Objekte präsentiert werden (z. B. gleich zu Beginn mit dem Modell/Bild oder den Modellen/Bildern oder als Reaktion auf eine weitere Aktion, z. B. eine Benutzerauswahl des Modells oder Bilds eines bestimmten verdeckten Objekts).
Beispielmethode zur Visualisierung von Objekten mit eingeschränktem Zugriff
10 zeigt ein beispielhaftes Verfahren 640 zum Erleichtern der Interaktion zwischen einem Benutzer eines AR-Mobilgeräts und einem realen Objekt („erstes Objekt“), das sich in einem eingeschränkt zugänglichen Bereich (z. B. gefährlich, versperrt usw.) der Prozesssteuerungsumgebung (z. B. der Prozesssteuerungsumgebung 100 von 2) befinden kann. Das Verfahren 640 kann beispielsweise von einem oder mehreren Prozessoren eines Computersystems oder -geräts, wie dem Back-End-Server 14 von 1, und/oder von einem AR-Mobilgerät, wie dem AR-Mobilgerät 12 von 1, ausgeführt werden.
In Block 642 wird eine Anzeige des AR-Mobilgeräts (z. B. die Anzeige 22 von 1) dazu veranlasst, digitale Informationen über Teile der Umgebung zu legen, die sich innerhalb des Sichtfelds einer Kamera des AR-Mobilgeräts (z. B. der Kamera 24 von 1) befinden, während sich der Benutzer durch die Prozesssteuerungsumgebung bewegt. Die überlagerten Informationen werden Knoten in einer Karte (z. B. der 3D-Karte) der Prozesssteuerungsumgebung zugeordnet, wobei die Knoten anderen realen Objekten in der Umgebung entsprechen. Block 642 kann beispielsweise das Übertragen von wenigstens einem Teil des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an das AR-Mobilgerät (z. B. über die Webdienstschnittstelle 60 von 1) beinhalten.
In Block 644 wird die Anzeige des AR-Mobilgeräts veranlasst, eine Richtung zum ersten Objekt anzuzeigen, während sich das erste Objekt nicht im Sichtfeld der Kamera befindet. Die Anzeige kann beispielsweise Text, einen Pfeil, eine Linie und/oder eine Animation umfassen. Ähnlich wie Block 642 kann Block 644 beispielsweise das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigeanweisungen an das AR-Mobilgerät (z. B. über die Webdienstschnittstelle 60 von 1) beinhalten.
In Block 646 wird nach dem Erkennen einer Benutzereingabe, die über das AR-Mobilgerät vorgenommen wurde und die Auswahl des ersten Objekts anzeigt (z. B. ein Sprachbefehl, der eine Benutzerschnittstelle für das erste Objekt anfordert), veranlasst, dass die Anzeige ein digitales Modell oder Bild des ersten Objekts (d. h. einen „Avatar“ des ersten Objekts) sowie eine Benutzerschnittstelle für das erste Objekt über einen Teil der Prozesssteuerungsumgebung legt, die sich derzeit im Sichtfeld befindet, jedoch das erste Objekt nicht enthält. Der Avatar kann beispielsweise ein hyperrealistisches oder pseudorealistisches 3D-Modell, ein 2D-Modell, ein animiertes Modell, ein digitales Bild oder ein digitales Video des Objekts sein. Die Benutzerschnittstelle kann eine oder mehrere virtuelle Steuerungen beinhalten, die die Benutzersteuerung des ersten Objekts ermöglichen (z. B. um das erste Objekt zu kalibrieren, Betriebsparameter des ersten Objekts einzustellen usw.), und/oder eine oder mehrere Anzeigen, die Informationen anzeigen, die mit dem Status (z. B. Diagnosestatus, Wartungsstatus, Betriebsstatus usw.), den Einstellungen und/oder den Ausgängen (z. B. Sensorwerten usw.) des ersten Objekts in Verbindung stehen. In einigen Ausführungsformen wird die Benutzerschnittstelle nicht gleichzeitig mit dem Avatar dargestellt und erscheint stattdessen (zusammen mit dem Avatar) als Antwort auf eine Benutzerauswahl des Avatars oder als Antwort auf einen Sprachbefehl.
In einigen Ausführungsformen erfolgt die Richtungsangabe in Block 644 vor dem Erfassen der Benutzereingabe, die die Auswahl des ersten Objekts anzeigt (d. h. die in 10 gezeigte Sequenz). In einigen solchen Ausführungsformen kann der Richtungsindikator (z. B. ein Pfeil, der auf einen Bereich außerhalb der Anzeige zeigt, der das erste Objekt enthält) erzeugt und als Reaktion darauf, dass festgestellt wurde, (1) dass sich das erste Objekt innerhalb eines Schwellenabstands zum AR-Mobilgerät befindet, und (2) dass sich das erste Objekt derzeit nicht im Sichtfeld der Kamera befindet, angezeigt werden. Andere geeignete Auslöser oder Kriterien für den Richtungsindikator sind ebenfalls möglich. Beispielsweise kann der Indikator nur Benutzern mit einer bestimmten Benutzerrolle bereitgestellt werden, die für das erste Objekt relevant ist.
In anderen Ausführungsformen erfolgt die Richtungsangabe stattdessen nach dem Erfassen der Benutzereingabe, die die Auswahl des ersten Objekts angezeigt hat. Beispielsweise kann der Benutzer einen Sprachbefehl ausgeben, der anfordert, dass eine Benutzerschnittstelle für das erste Objekt abgerufen wird (z. B. eine „Suche“ des Benutzers nach dem ersten Objekt), wonach der Richtungsindikator (und möglicherweise der Avatar) über die reale Sicht des Benutzers gelegt wird.
Das digitale Modell oder Bild kann, ungeachtet dessen, ob es mit dem Richtungsindikator und/oder zu einem späteren Zeitpunkt angezeigt wird, aus einer Datenbank unter Verwendung einer Webdienstschnittstelle (z. B. aus der AR-Datenbank 72 von 1 unter Verwendung der Webdienstschnittstelle 60) abgerufen werden.
Allgemeine Überlegungen
Bei der Implementierung in Software können alle der hier beschriebenen Anwendungen und Funktionen in jeglichem greifbaren, nichtflüchtigen, computerlesbaren Speicher, wie z. B. auf einer Magnetplatte, einer Laserplatte, einem Festkörperspeicher, einem Molekularspeichergerät oder einem anderen Speichermedium, in einem RAM oder ROM eines Computers oder Prozessors usw. gespeichert werden. Obwohl die hierin offengelegten Beispielsysteme neben anderen Komponenten auch Software und/oder Firmware beinhalten, die auf Hardware ausgeführt werden, ist zu beachten, dass solche Systeme lediglich der Veranschaulichung dienen und nicht als einschränkend zu betrachten sind. Beispielsweise wird in Betracht gezogen, dass einige oder alle dieser Hardware-, Software- und Firmwarekomponenten ausschließlich in Hardware, ausschließlich in Software oder in einer beliebigen Kombination aus Hardware und Software enthalten sein können. Dementsprechend werden die hier beschriebenen Beispielsysteme zwar als in Software implementiert beschrieben, die auf einem Prozessor eines oder mehrerer Computergeräte ausgeführt wird, aber ein Durchschnittsfachmann leicht erkennen, dass die angegebenen Beispiele nicht die einzige Möglichkeit sind, solche Systeme zu implementieren.
Obwohl die vorliegende Erfindung unter Bezugnahme auf spezifische Beispiele beschrieben wurde, die nur veranschaulichend sein und die Erfindung nicht einschränken sollen, ist es für den Durchschnittsfachmann offensichtlich, dass Änderungen, Hinzufügungen oder Streichungen zu den offenbarten Ausführungsformen möglich sind, ohne vom Geist und Umfang der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62564074 [0001]

Claims

Verfahren zum Bereitstellen einer virtuellen, erweiterten Sicht für einen Benutzer eines Mobilgeräts für erweiterte Realität (auch: Augmented-Reality-(AR)-Mobilgerät) in einer realen Prozesssteuerungsumgebung, das Verfahren Folgendes umfassend: Feststellen durch einen oder mehrere Prozessoren eines AR-Systems, dass ein erster Knoten, der einer Karte der Prozesssteuerungsumgebung zugeordnet ist, einem ersten realen Objekt entspricht, das sich derzeit in einem Sichtfeld einer Kamera des AR-Mobilgeräts befindet; Bestimmen durch einen oder die mehrere Prozessoren einer Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, wobei die Beziehung anzeigt, dass ein oder mehrere andere reale Objekte, die dem einen oder den mehreren anderen Knoten entsprechen, zumindest teilweise durch das erste reale Objekt verdeckt sind; zumindest teilweise als Reaktion auf das Bestimmen der Beziehung zwischen dem ersten Knoten und den anderen Knoten: Abrufen, aus dem Speicher und durch den einen oder die mehreren Prozessoren, eines oder mehrerer digitaler Modelle oder Bilder, die das eine oder die mehreren anderen realen Objekte darstellen; Bewirken durch den einen oder die mehreren Prozessoren, dass eine Anzeige des AR-Mobilgeräts die abgerufenen digitalen Modelle oder Bilder dem Benutzer präsentiert, während sich das erste reale Objekt im Sichtfeld der Kamera befindet.
Verfahren nach Anspruch 1, wobei das Feststellen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit im Sichtfeld der Kamera befindet, Folgendes beinhaltet: Erfassen mindestens einer aktuellen Ausrichtung des AR-Mobilgeräts; und Feststellen, zumindest basierend auf der aktuellen Ausrichtung und einer Position des ersten Knotens, der durch die Karte angegeben wird, dass sich das erste reale Objekt derzeit im Sichtfeld der Kamera befindet.
Verfahren nach Anspruch 1, wobei das Feststellen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit im Sichtfeld der Kamera befindet, Folgendes beinhaltet: Feststellen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich (i) derzeit in einem Sichtfeld der Kamera und (ii) derzeit in einem Schwellenabstand zum AR-Mobilgerät befindet.
Verfahren nach Anspruch 1, wobei das Bestimmen einer Beziehung zwischen dem ersten Knoten und dem einen oder den mehreren anderen Knoten Folgendes beinhaltet: Zugriff auf eine Knotendatenbank, die die Beziehung spezifiziert.
Verfahren nach Anspruch 1, wobei das Bestimmen einer Beziehung zwischen dem ersten Knoten und dem einen oder den mehreren anderen Knoten Folgendes beinhaltet: Bestimmen einer Knotenkennung, die von dem AR-Mobilgerät aus dem ersten realen Objekt erhalten wird; und Verwenden der Knotenkennung zum Bestimmen der Beziehung.
Verfahren nach Anspruch 5, wobei das Bestimmen einer Knotenkennung Folgendes beinhaltet: Bestimmen einer Knotenkennung, die von dem AR-Mobilgerät erhalten wird, indem ein QR-Code auf dem ersten realen Objekt gescannt wird.
Verfahren nach Anspruch 1, wobei das Abrufen, aus dem Speicher, eines oder mehrerer digitaler Modelle oder Bilder, die das eine oder die mehreren anderen realen Objekten darstellen, Folgendes beinhaltet: Abrufen eines oder mehrerer dreidimensionaler, digitaler Modelle, die das eine oder die mehreren realen Objekte darstellen, aus dem Speicher.
Verfahren nach Anspruch 1, wobei das Abrufen, aus dem Speicher, eines oder mehrerer digitaler Modelle oder Bilder, die ein oder mehrere Objekte der realen Welt darstellen, Folgendes beinhaltet: Abrufen des einen oder der mehreren digitalen Bilder, die das eine oder die mehreren realen Objekte darstellen.
Verfahren nach Anspruch 1, wobei das Bestimmen einer Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, Folgendes beinhaltet: Feststellen, dass das erste reale Objekt ein Schrank ist, in dem sich das eine oder die mehreren anderen realen Objekte befinden.
Server zum Bereitstellen einer virtuellen, erweiterten Sicht für einen Benutzer eines Augmented-Reality-(AR)-Mobilgeräts in einer realen Prozesssteuerungsumgebung, wobei der Server für Folgendes konfiguriert ist: Feststellen, dass ein erster Knoten, der einer Karte der Prozesssteuerungsumgebung zugeordnet ist, einem ersten realen Objekt entspricht, das sich derzeit in einem Sichtfeld einer Kamera des AR-Mobilgeräts befindet; Bestimmen einer Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, wobei die Beziehung anzeigt, dass ein oder mehrere andere reale Objekte, die dem einen oder den mehreren anderen Knoten entsprechen, zumindest teilweise durch das erste reale Objekt verdeckt sind; zumindest teilweise als Reaktion auf das Bestimmen der Beziehung zwischen dem ersten Knoten und den anderen Knoten: Abrufen aus dem Speicher eines oder mehrerer digitaler Modelle oder Bilder, die das eine oder die mehreren anderen realen Objekte darstellen; Bewirken, dass eine Anzeige des AR-Mobilgeräts die abgerufenen digitalen Modelle oder Bilder dem Benutzer präsentiert, während sich das erste reale Objekt im Sichtfeld der Kamera befindet.
Server nach Anspruch 10, wobei der Server zumindest durch Folgendes dafür konfiguriert ist, zu bestimmen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit innerhalb eines Sichtfelds der Kamera befindet: Feststellen, zumindest basierend auf einer aktuellen Ausrichtung des AR-Mobilgeräts und einer Position des ersten Knotens, der durch die Karte angegeben wird, dass sich das erste reale Objekt derzeit im Sichtfeld der Kamera befindet.
Server nach Anspruch 10, wobei der Server zumindest durch Folgendes dafür konfiguriert ist, zu bestimmen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit innerhalb eines Sichtfelds der Kamera befindet: Feststellen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich (i) derzeit in einem Sichtfeld der Kamera und (ii) derzeit in einem Schwellenabstand zum AR-Mobilgerät befindet.
Server nach Anspruch 10, wobei der Server zumindest durch Folgendes dafür konfiguriert ist, eine Beziehung zwischen dem ersten Knoten und dem einen oder den mehreren anderen Knoten zu bestimmen: Bestimmen einer Knotenkennung, die von dem AR-Mobilgerät aus dem ersten realen Objekt erhalten wird; und Verwenden der Knotenkennung zum Bestimmen der Beziehung.
Server nach Anspruch 10, wobei der Server zumindest durch Folgendes dafür konfiguriert ist, eine Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, zu bestimmen: Feststellen, dass das erste reale Objekt ein Schrank ist, in dem sich das eine oder die mehreren anderen realen Objekte befinden.
Augmented-Reality-(AR)-Mobilgerät zur Bereitstellung einer virtuellen, erweiterten Sicht für einen Benutzer in einer realen Prozesssteuerungsumgebung, wobei das AR-Mobilgerät eine Kamera und eine Anzeige beinhaltet, und wobei das AR-Mobilgerät für Folgendes konfiguriert ist: Feststellen, dass ein erster Knoten, der einer Karte der Prozesssteuerungsumgebung zugeordnet ist, einem ersten realen Objekt entspricht, das sich derzeit in einem Sichtfeld der Kamera befindet; Bestimmen einer Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, wobei die Beziehung anzeigt, dass ein oder mehrere andere reale Objekte, die dem einen oder den mehreren anderen Knoten entsprechen, zumindest teilweise durch das erste reale Objekt verdeckt sind; zumindest teilweise als Reaktion auf das Bestimmen der Beziehung zwischen dem ersten Knoten und den anderen Knoten: Abrufen aus dem Speicher eines oder mehrerer digitaler Modelle oder Bilder, die das eine oder die mehreren anderen realen Objekte darstellen; Anzeigen der abgerufenen digitalen Modelle oder Bilder über die Anzeige an den Benutzer, während sich das erste reale Objekt im Sichtfeld der Kamera befindet.
AR-Mobilgerät nach Anspruch 15, wobei das AR-Mobilgerät ferner eine Trägheitsmesseinheit beinhaltet und wobei das AR-Mobilgerät zumindest durch Folgendes dafür konfiguriert ist, zu bestimmen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit im Sichtfeld der Kamera befindet: Ermitteln mindestens einer aktuellen Ausrichtung des AR-Mobilgeräts unter Verwendung der Trägheitsmesseinheit; und Feststellen, zumindest basierend auf der aktuellen Ausrichtung des AR-Mobilgeräts und einer Position des ersten Knotens, der durch die Karte angegeben wird, dass sich das erste reale Objekt derzeit im Sichtfeld der Kamera befindet.
AR-Mobilgerät nach Anspruch 15, wobei das AR-Mobilgerät zumindest durch Folgendes dafür konfiguriert ist, zu bestimmen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich derzeit im Sichtfeld der Kamera befindet: Feststellen, dass der erste Knoten einem ersten realen Objekt entspricht, das sich (i) derzeit in einem Sichtfeld der Kamera und (ii) derzeit in einem Schwellenabstand zum AR-Mobilgerät befindet.
AR-Mobilgerät nach Anspruch 15, wobei das AR-Mobilgerät zumindest durch Folgendes dafür konfiguriert ist, eine Beziehung zwischen dem ersten Knoten und dem einen oder den mehreren anderen Knoten zu bestimmen: Bestimmen einer Knotenkennung, die von dem AR-Mobilgerät aus dem ersten realen Objekt erhalten wird; und Verwenden der Knotenkennung zum Bestimmen der Beziehung.
AR-Mobilgerät nach Anspruch 18, wobei das AR-Mobilgerät dafür konfiguriert ist, die Knotenkennung zu bestimmen, indem es die Kamera verwendet, um einen QR-Code auf dem ersten realen Objekt zu scannen.
AR-Mobilgerät nach Anspruch 15, wobei das AR-Mobilgerät zumindest durch Folgendes dafür konfiguriert ist, eine Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die der Karte zugeordnet sind, zu bestimmen: Feststellen, dass das erste reale Objekt ein Schrank ist, in dem sich das eine oder die mehreren anderen realen Objekte befinden.