DE102018123635A1

DE102018123635A1 - 3d-kartierung einer prozesssteuerungsumgebung

Info

Publication number: DE102018123635A1
Application number: DE102018123635.2A
Authority: DE
Inventors: James Aaron Crews; Trevor Duncan Schleiss; Benjamin Michael Bishop
Original assignee: Fisher Rosemount Systems Inc
Current assignee: Fisher Rosemount Systems Inc
Priority date: 2017-09-27
Filing date: 2018-09-25
Publication date: 2019-03-28
Also published as: GB201814200D0; GB2568138A; GB2568138B

Abstract

In einem Verfahren zum Mapping einer realen Prozesssteuerungsumgebung wird ein mobiles Gerät an einem Referenzort registriert, und 3D-Positionen und -Ausrichtungen des mobilen Geräts werden mit einer Trägheitsmesseinheit verfolgt. Eine Benutzereingabe, die angibt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll, erfasst wurde, und eine 3D-Position eines realen Objekts in Bezug auf den Referenzort bestimmt wurde oder bestimmt werden soll, basierend auf einer verfolgten 3D-Position und Ausrichtung des mobilen Gerätes. Eine Knoten-Datenbank wird veranlasst, den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung hinzuzufügen, zumindest indem die 3D-Position des realen Objekts in Verbindung mit dem neuen Knoten gespeichert wird.

Description

BEREICH DER TECHNOLOGIE
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf die Erweiterte-Realität-Technologie und insbesondere auf eine Erweiterte-Realität-Plattform, die in der Prozesssteuerung oder anderen Umfeldern eingesetzt werden kann.
HINTERGRUND
Erweiterte Realität (Augmented Reality, AR) Systeme, die eine digitale Überlagerung von Informationen (z. B. Texte, Bilder, Animationen, etc.) in realen Umfeldern ermöglichen, werden immer häufiger eingesetzt, da neue Anwendungen für diese Technologie erforscht werden. AR-Systeme liefern typischerweise Informationen, die spezifisch für den Kontext der aktuellen realen Umgebung des Benutzers sind. Für solche Systeme sind im allgemeinen Erkenntnisse der Realität gefordert, wie z. B. das Wissen über physikalische Dinge, die sich gegenwärtig in der Sicht eines Benutzers befinden, und das physikalische Layout am und um den derzeitigen Standort des Benutzers. Um diese Art von Informationen dem AR-System zur Verfügung zu stellen, wird in der Regel ein dreidimensionales (3D-)digitales Modell erstellt, das die Umgebung des Benutzers und die darin enthaltenen Objekte darstellt. Das 3D-Modell kann dann um bestimmte Datentypen (z. B. Beschreibungen), Grafiken (z. B. Ikonen) usw. ergänzt werden, die sich auf bestimmte Standorte und/oder bestimmte Objekte in der Umgebung beziehen. Wenn sich ein Benutzer, der mit dem entsprechenden AR Gerät ausgestattet ist, durch die gemappte Umgebung bewegt, können die erweiterten Teile für den Benutzer wiedergegeben/angezeigt werden, indem digitale Informationen über die reale Ansicht des Benutzers (z. B. eine Echtzeit-Kameraansicht oder als Head-up-Display (HUD), durch das der Benutzer die Umgebung beobachtet), ohne den Rest des 3D-Modells zu wiederzugeben/anzeigen.
Normalerweise werden solche 3D-Modelle manuell von menschlichen Designern und/oder mit einem 3D-Scanner hergestellt. Beide Vorgehensweisen können jedoch sehr zeit- und arbeitsintensiv sein, wenn es sich um Umgebungen mit komplexen Layouts und/oder einer großen Anzahl von Objekten handelt. Zudem können Änderungen an der Umgebung (z. B. durch Verschieben oder Ersetzen/Aktualisieren von Objekten innerhalb der Umgebung) eine Wiederholung des gesamten Modellierungsprozesses oder andere zeit- und arbeitsintensive Vorgänge erfordern.
Wie auch die bisherigen AR-Systeme andere Nachteile haben können. Bei Verwendung in relativ dichten Umgebungen (z. B. Umgebungen mit mehreren Objekten, die sich in enger Nähe befinden und/oder eine große Menge an Informationen in der AR-Ansicht anzuzeigen haben), können AR-Systeme den Benutzer eine große Menge an Informationen unterwerfen, die leicht zu einer sensorischen Überlastung führen könnte, und/oder der Benutzer könnte den Kontext aller Informationen nicht leicht wahrnehmen. Zudem könnten einige Objekte in der AR-Ansicht verdeckt sein. Beispielsweise können sich Objekte innerhalb eines Gehäuses befinden oder sich an einem unzugänglichen oder ungünstigen (z. B. entfernten) Standort befinden.
ZUSAMMENFASSUNG
Techniken, Systeme, Vorrichtungen, und Verfahren zur Bereitstellung eines Augmented-Reality-Erlebnis werden hier veröffentlicht. Die genannten Techniken, Systeme, Vorrichtungen und Verfahren können sich zum Beispiel auf industrielle Prozessleitsysteme, Umgebungen und/oder Anlagen beziehen, die hier austauschbar als „Prozesssteuersysteme“ oder „Prozess“-Systeme, Umgebungen und/oder Anlagen bezeichnet werden können. Typischerweise bieten solche Systeme und Anlagen eine dezentralisierte Steuerung eines oder mehrerer Prozesse, die durch die Fertigung, Veredelung oder sonstige Umwandlung von Rohstoffen, Produkte erzeugen oder herstellen. Dennoch können die hier beschriebenen Techniken, Systeme, Vorrichtungen und Verfahren in anderen Umgebungen und/oder in einem anderen Kontext als der Augmented Reality (z. B. in einem Virtual Reality (VR)-Kontext) eingesetzt werden.
Generell können Prozesssteuerungsumgebungen zu vielen der oben im Abschnitt „Hintergrund“ beschriebenen Schwierigkeiten führen, die mit der Erzeugung und Verwendung eines konventionellen Augmented Reality (AR)-Systems oder -Plattform verbunden sind. Zum Beispiel enthalten solche Umgebungen oft eine große Anzahl verschiedener Objekte (z. B. Tanks, Pumpen, Ventile, Motoren, Transmitter usw.), die sich in engem Kontakt befinden und/oder mit großen Mengen an Informationen verbunden sind (z. B. Sensorwerte, Diagnosestatus usw.). Außerdem können diese Objekte häufig verschoben oder ersetzt werden.
Eine hier beschriebene AR-Plattform kann einige oder alle dieser Schwierigkeiten überwinden oder verbessern und ist daher für den Einsatz in Prozesssteuerungsumgebungen gut geeignet. Mit der AR-Plattform wird ein dreidimensionales (3D-)Modell von einem Benutzer erzeugt, der ein AR-Mobilgerät einsetzt. Das AR-Mobilgerät kann ein AR-Helm, ein AR-Headset, eine AR-Brille, eine Smart-Brille, ein Smartphone, ein Tablett oder ein anderes geeignetes Mobilgerät sein, das in der Lage ist, eine Standortverfolgung zu unterstützen (wie unten beschrieben) und einem Benutzer ein AR-Erlebnis zu bieten.
Das 3D-Modell zeigt 3D-Orte/Positionen von Interessenpunkte innerhalb der Prozesssteuerungsumgebung an, die verschiedenen Objekten der Realität (z. B. Feldgeräten, Tanks, Förderanlagen, Steuerungen, Schaltanlagen, usw.) entsprechen. Objekte, die dem 3D-Modell hinzugefügt werden, werden hier als „Knoten“ der AR-Plattform oder des Systems bezeichnet. Da der Begriff hier verwendet wird, kann ein „Objekt“ (auch als „reales Objekt“ bezeichnet) jede physische Sache (z. B. ein Gerät, eine Komponente, eine Ausrüstung, eine Struktur, usw.), ein Teil einer Sache (z. B. ein Element eines Geräts oder einer Komponente, usw.) oder eine Kombination von Sachen (z. B. eine Gruppe von zusammenhängenden Geräten oder Komponenten, usw.) sein. In einer Prozesssteuerungsumgebung kann ein Objekt z. B. ein Feldgerät (z. B. Ventil, Pumpe, Sensor, usw.), ein Anlagenteil (z. B. ein Förderer, Tank, usw.), ein Prozessregler, ein Schalter, usw.
In einigen Implementierungen, wenn eine AR-Anwendung auf einem AR-Mobilgerät gestartet wird (z. B. wenn sie vom Benutzer ausdrücklich aktiviert wird oder durch das Einschalten des Geräts), kann der Benutzer das AR-Mobilgerät an einer Referenz- oder „Landmark“-Standort einchecken oder registrieren. Der Benutzer kann z. B. einen QR-Code oder eine andere visuelle Darstellung eines Codes/Identifizierung mit einer Kamera des AR-Mobilgeräts am Ort der Landmarke scannen. Der Scan-Vorgang kann eine Startposition für den Benutzer/Gerät einrichten (z. B. die Koordinaten {0,0,0} in einem {x,y,z} Raum).
Nach der Registrierung kann der Benutzer beginnen, sich mit dem AR-Mobilgerät körperlich durch die Prozesssteuerungsumgebung zu bewegen. Durch geeignete Positionierungstechnologie (z. B. durch das AR-Mobilgerät des Benutzers) kann die Bewegung des Benutzers durch die Prozessanlage erfasst werden. Da GPS- oder GNSS-Geräte in den meisten Umgebungen der Prozessanlagen nicht gut funktionieren und keine Ausrichtungsdaten oder genaue Erhebungsdaten liefern können (insbesondere bei Prozesssteuerumgebungen, die in Innenräumen installiert sind), müssen andere Positionierungs- und/oder Orientierungstechnologien verwendet werden. Beispielsweise kann der Standort des AR-Mobilgeräts im Verhältnis zur Position der Landmarke und die Ausrichtung des AR-Mobilgeräts (z. B. die Richtung eines Sichtfeldes einer Kamera des AR-Mobilgeräts, die der Richtung des Benutzers entsprechen kann) durch eine Fusion von Inertialmessdaten (z. B. durch Beschleunigungsmesser, Gyroskope usw.) und Kamerabilddaten verfolgt werden. In einer Implementierung wird beispielsweise die von Qualcomm® entwickelte Visual-Inertial-Odometry (VIO) Technologie eingesetzt, um Position und Ausrichtung zu verfolgen.
Bei der Annäherung an oder in der Nähe eines realen Objekts, das als Knoten hinzugefügt werden soll, und mit Blick in Richtung des Objekts (z. B. beim Tragen eines AR-Helms oder einer AR-Brille) oder wenn die Kamera des Geräts auf das Objekt gerichtet wird (z. B. wenn das Gerät ein Tablett oder ein Smartphone ist), kann der Benutzer eine Option auswählen, um einen neuen Knoten hinzuzufügen. Beispielsweise kann das AR-Mobilgerät den Sprachbefehl „Knoten hinzufügen“ erkennen, wenn er vom Benutzer ausgesprochen wird, oder (z. B. wenn das Gerät ein Tablett oder Smartphone ist) das AR-Mobilgerät kann dem Benutzer erlauben, einen „Knoten hinzufügen“ oder eine ähnliche Option/Steuerung auf einer grafischen Benutzerschnittstelle (GUI) des Displays des AR-Mobilgeräts auszuwählen. Das AR-Mobilgerät kann daraufhin ein Bild des Objekts aufnehmen und das Bild verarbeiten, um den Abstand zwischen dem AR-Mobilgerät und dem Objekt abzuschätzen. Alternativ können auch andere Sensoren (z. B. Lidar, Radar, etc.) eingesetzt werden, um den Abstand zwischen dem AR-Mobilgerät und dem Objekt festzustellen. Das AR-Mobilgerät kann dann die Position des Objekts relativ zu dem Landmarkenposition basierend auf der aktuellen Position und Ausrichtung des AR-Mobilgeräts sowie der Entfernung zwischen dem AR-Mobilgerät und dem Objekt bestimmen. Alternativ kann ein Fernserver oder ein anderes Computergerät/System die vom AR-Mobilgerät erfassten Bilddaten verarbeiten, um die Objektposition relativ zum Standort der Landmarke zu bestimmen.
Der Benutzer kann auch den Namen oder Typ des neuen Knotens (z. B. Ventil, Pumpe usw.) und/oder andere Informationen (z. B. eine Modellnummer oder eine andere Kennung für das Objekt, eine kurze Beschreibung des Objekts usw.) eintragen. Die angegebenen Informationen können dann dem neuen Knoten in einer Backend-Datenbank des AR-Systems zugeordnet werden. Die Backend-Datenbank kann eine Bibliothek von Knoten enthalten, die vom Benutzer (und möglicherweise auch von anderen Benutzern) hinzugefügt wurden, mit den zugehörigen 3D-Positionen in Bezug auf die Position der Landmarke, um gemeinsam eine virtuelle, dreidimensionale „Karte“ von Objekten/Anlagen in der Prozesssteuerungsumgebung zu erstellen. Die Datenbank kann auch andere Konteninformationen speichern, wie z. B. Verzeichnisse von verwandten und/oder verbundenen Knoten.
Nachdem mindestens ein Objekt von Interesse in einer bestimmten Prozesssteuerungsumgebung gemappt wurde (d. h. der Knotenbibliothek mit einem AR-Mobilgerät hinzugefügt wurde), können alle Benutzer, die ihre AR-Mobilgeräte am Standort der Landmarke registrieren (einschließlich der Mapping-Benutzer), eine virtuelle Tour durch die Prozesssteuerungsumgebung machen. Wenn ein Benutzer mit einem registrierten AR-Mobilgerät ein Sichtfeld einer Kamera des AR-Mobilgeräts auf einen Bereich richtet, der ein bestimmtes reales Objekt enthält (z. B., wenn der Benutzer den Bereich betrachtet, während er einen AR-Helm oder eine AR-Brille trägt), und wenn das Objekt bereits einem Knoten in der Knotenbibliothek zugeordnet ist, kann das AR-Mobilgerät die vom Benutzer beobachtete reale Szene um einen Knoten „Marker“ (z. B. Text, ein Symbol, eine Grafik usw.) erweitern, der dem Benutzer so erscheint, als ob er sich an oder nahe den Koordinaten des Objekts in der realen Ansicht des Benutzers befindet.
Wenn der Benutzer einen bestimmten Knoten auswählt (z. B. indem er auf den Knotenmarker fokussiert oder durch eines Sprachbefehls, usw.), kann das AR-Mobilgerät dem Benutzer ein oder mehrere „Knotenerlebnisse“ zur Verfügung stellen. Beispielsweise kann ein Knotenerlebnis Text (Knotenname, Beschreibung, usw.), Tabellen und/oder Grafiken/Ikonen der realen Ansicht des Benutzers überlagern. Andere Knotenerlebnisse können Webinhalte von einer bestimmten URL einblenden („Hilfe“-Video) oder Visualisierungen von physikalischen oder logischen Verbindungen und/oder Beziehungen zu anderen Objekten/Knoten überlagern. Weitere Knotenerlebnisse können das Abrufen eines mit dem Objekt/Knoten verbundenen Arbeitsauftrags sein, das Herstellen einer Kommunikationsverbindung zwischen dem Benutzer und einem geeigneten Experten an einem entfernten Standort, usw. Mindestens ein Knotenerlebnis startet (oder verlinkt zu) in einigen Implementierungen, eine oder mehrere andere Softwareanwendungen oder -systeme in dem spezifischen Kontext des Objekts, der vom Benutzer beobachtet wird. Beispielsweise kann das AR-Mobilgerät Sensordaten, Status und/oder virtuelle Steuerelemente für ein ausgewähltes Objekt/Knoten (z. B. ein Feldgerät) im Sichtfeld überlagern, wo die Daten von einer anderen Anwendung empfangen werden (und wo Benutzereingaben an die Steuerelemente übertragen werden).
Die Erfahrungen, die einem Benutzer für einen bestimmten Knoten zur Verfügung stehen, die Art des Inhalts, der innerhalb eines bestimmten Knotenerlebnis angezeigt wird, und/oder, in einigen Implementierungen, ob für einen bestimmten Benutzer überhaupt erweiterte Informationen für einen bestimmten Knoten verfügbar sind, können zumindest teilweise auf der Grundlage der „Rolle“ des Benutzers bestimmt werden. Ein bestimmter Benutzer kann beispielsweise mit dem AR-Mobilgerät eine „Betreiber“-Rolle, eine „Wartungsrolle“ oder eine „Ingenieur“-Rolle auswählen oder er kann eine solche Rolle vordefiniert bekommen.
Den Benutzern kann eine Reihe weiterer Eigenschaften zur Verfügung gestellt werden. Beispielsweise kann in einigen Implementierungen dem Benutzer zur Verfügung ein virtuelles „Röntgenbild“ gestellt werden, indem hyperrealistische oder pseudorealistische 3D-Modellvisualisierungen erstellt werden, die, wenn sie der realen Ansicht des Benutzers überlagert werden, so aussehen können, als ob der Benutzer versteckte Objekte in Gehäusen (z. B. in einem Schrank) oder hinter Barrieren sehen würde. Auch kann das AR-Mobilgerät dem Benutzer bestimmte Knotenerlebnisse bieten, die mit versteckten Objekten verbunden sind, wie z. B. die Anzeige von Statusdaten oder Warnungen, die mit den versteckten Objekten verbunden sind, oder die Erteilung von Sprachbefehlen zur Steuerung des Betriebs der versteckten Objekte usw., (und/oder dem Benutzer die Selektion ermöglichen).
Als weiteres Beispiel, kann das AR-Mobilgerät einen „Avatar“ eines eingeschränkten Zugriffs und/oder eines entfernten Objekts/Knotens in die reale Ansicht des Benutzers überlagern. So kann sich das Objekt z. B. an der Spitze eines hohen Turms oder in einem toxischen oder Hochspannungsbereich etc. befinden. Wie bei den ausgeblendeten Objekten können dem Benutzer bestimmte Knotenerlebnisse zur Verfügung gestellt werden, die verschiedene Arten von Wechselwirkungen mit dem Objekt mit eingeschränktem Zugriff und/oder entfernten Objekten ermöglichen. Sowohl beim versteckten Objekt („Röntgenblick“) als auch bei den Implementierungen/Szenarien mit begrenztem Zugriff/Fernobjekten kann dem Benutzer ein umfassendes Erlebnis geboten werden, das ähnlich ist, wie wenn sich das Objekt/Knoten direkt vor dem Benutzer befindet und für ihn deutlich sichtbar ist, während er mit dem Objekt interagiert.
Die AR-Plattform kann auch andere Funktionalitäten unterstützen. Beispielsweise können aktuelle Positionen von Benutzern verschiedene Alarme auslösen (z. B. eine Warnung, dass sich der Benutzer in einem Gefahrenbereich befindet) und/oder andere Informationen anzeigen. Als weiteres Beispiel können aktuelle und/oder historische 3D-Positionen von Benutzern innerhalb einer Prozessanlage für verschiedene Zwecke aufgezeichnet werden, z. B. um die Evakuierung von Mitarbeitern in einer Notsituation sicherzustellen, um zu gewährleisten, dass Mitarbeiter nicht verletzt werden oder in irgendeiner Weise medizinische Hilfe benötigen, oder um die Schulung von bestimmten Mitarbeitern zu überwachen.
Die AR-Plattform, die oben und nachfolgend beschrieben wird, kann je nach der spezifischen Implementierung eine Reihe von Vorteilen bieten. Durch das Mapping nur der relativen 3D-Positionen bestimmter Objekte kann z. B. das 3D-Modell einfacher und effizienter erzeugt werden als mit herkömmlichen Mitteln (z. B. mit einem 3D-Scanner zur Kartierung der Umgebung). Updates oder Rekonfigurationen von Objekten innerhalb der Prozesssteuerungsumgebung können ebenfalls schneller und einfacher durchgeführt werden. Darüber hinaus kann die AR-Plattform durch die Verwendung des hier beschriebenen Mapping-Prozesses und durch die Verfolgung der Bewegung von AR-Mobilgeräten/Benutzern, wie hier beschrieben, bestimmen, wann sie einem Benutzer erweiterte Informationen gibt, ohne Kosten und/oder die Zeit für die Nachrüstung zu verlangen oder andernfalls sonstige Objekten mit Nahbereich-Kommunikationstechnologien (z. B. Bluetooth oder NFC-Einheiten) und ohne zeitraubende Aktionen von Benutzern, die in der Umgebung navigieren (z. B. Scannen von QR-Codes auf Objekten, manuelle Dateneingabe von Objekt-Identifikatoren, physische Verbindung mit Objekten usw.), ausstatten. So können konventionelle Barrieren für den Einsatz eines AR-Systems, insbesondere in einer Prozesssteuerungsumgebung, abgebaut oder beseitigt werden.
Als weiteres Beispiel kann die AR-Plattform in der Regel einen Marktplatz bieten, auf dem Dritte neue, angepasste Typen oder Klassen von „Knotenerfahrungen“ anbieten könnten, die unterschiedlichen Benutzerinteraktionen mit Objekten/Knoten entsprechen, und/oder neue Inhalte für bestehende Knotenerlebnise anbieten könnten. Instrumentierungsanbieter oder andere Unternehmen können beispielsweise Abonnements für „Hilfe“-Informationen oder AR- oder videobasierte Arbeitsanweisungen für bestimmte Objekte anbieten. In einigen Ausführungsformen kann ein virtueller „App Store“ den Kunden erlauben, verschiedene Anwendungen zu lizenzieren und/oder bestimmte Arten von Inhalten zu abonnieren, die für die mobilen Mitarbeiter eines Kunden wünschenswert sind.
Darüber hinaus sparen die Eigenschaften, die die Anzeige oder Anzeige erweiterter Informationen für verdeckte, entfernte und/oder schwer zugängliche Knoten erleichtern, Zeit (und damit Kosten) und können in einigen Implementierungen und/oder Szenarien die Sicherheit der Mitarbeiter erhöhen, indem sie den Zutritt zu gefährlichen Bereichen vermeiden.
Die AR-Plattform-Architektur kann darüber hinaus sehr flexibel sein. Die AR-Plattform kann die Anzeige relevanter Informationen für Benutzer auf verschiedenen Plattformen erleichtern, wie z. B. Smart Helme, Smart Goggles, Smartphones, Tablets, etc. Die AR-Plattform kann auch die Interaktivität mit einer Reihe von anderen Softwareanwendungen (z. B. Prozesssteuerungssoftware, die in der Lage ist, Daten abzurufen, die die Steuerlogik, Gerätemesswerte usw. anzeigen) oder neue Erlebnisse, Inhalte oder andere Funktionen einfach zur Verfügung zu stellen.
Wie bereits erwähnt, müssen bestimmte hier beschriebene Implementierungen und/oder Eigenschaften nicht in einem AR-System verwendet werden und/oder nicht in eine Prozesssteuerungsumgebung verwendet werden. Ein Benutzer mit einem Smartphone, Tablett oder einem anderen mobilen Gerät kann z. B. „Knotenerfahrungen“ auf Basis der gemappten 3D-Positionen von Objekten innerhalb einer Anlage und der aktuellen Position und Ausrichtung des Benutzers erhalten, ohne diese Erlebnise zwangsläufig als AR-Darstellung (z. B. mit einem Virtual-Reality-Display oder einfach einer GUI) zur Verfügung zu stellen. Die hierin beschriebenen Techniken können auch in anderen Umgebungen als der Prozesssteuerung eingesetzt werden, z. B. in Büroräumen, Lagern, Krankenhäusern usw.
Figurenliste

ist ein Blockschaltbild, das ein Augmented Reality (AR)-System als Beispiel darstellt, welches eine AR-Plattform bietet, die verschiedene hier beschriebene Verfahren, Techniken, Funktionen und/oder Eigenschaften unterstützen kann.
ist ein Blockschaltbild, das Komponenten einer beispielhaften Prozesssteuerungsumgebung darstellt, in der das AR-System von verwendet werden kann.
zeigt ein Beispiel für eine dreidimensionale (3D) Abbildung von Knoten in einer Prozesssteuerungsumgebung.
Die bis zeigen beispielhafte Benutzerschnittstellen, die über ein Sichtfeld eines AR-Mobilgeräts überlagert werden können.
Die und zeigen Beispielelemente einer Datenbank, die in der AR-Plattform eingesetzt werden können.
enthält ein Beispiel für eine Ausführungsform und ein Szenario, in dem ein Benutzer eines AR-Mobilgeräts mit einem virtuellen Röntgenblick ausgestattet wird.
und zeigen beispielhafte Benutzerschnittstellen, die einem Sichtfeld überlagert werden können, das von einem mobilen AR-Gerät bereitgestellt wird, um eine virtuelle Nähe zwischen einem Benutzer und einem Objekt bereitzustellen, das vom Benutzer entfernt ist oder auf andere Weise schwer zugänglich ist.
ist ein Flussdiagramm eines Beispielverfahrens zur Abbildung einer realen Prozesssteuerungsumgebung mit dem Einsatz eines mobilen Geräts.
ist ein Flussdiagramm eines Beispielverfahren, um einem Benutzer eines AR-Mobilgeräts in einer realen Prozesssteuerungsumgebung eine virtuelle verbesserte Sicht zu ermöglichen.
zeigt ein Flussdiagramm eines Beispielverfahrens zur Erleichterung der Interaktion zwischen einem Benutzer eines AR-Mobilgeräts und einem realen Objekt, das sich in einem entfernten oder eingeschränkt zugänglichen Bereich einer Prozesssteuerungsumgebung befinden kann.

DETAILLIERTE BESCHREIBUNG
Beispiel Augmented Reality System
zeigt ein beispielhaftes Augmented Reality (AR) -System 10, das im Allgemeinen eine AR-Plattform zum Bereitstellen eines AR-Erlebnisses in einer Umgebung (z. B. einer Prozesssteuerungsumgebung) liefern kann. Das AR-System 10 umfasst ein AR-Mobilgerät 12 von einem Benutzer und einen Backend-Server 14, der über ein Netzwerk 16 mit dem AR-Mobilgerät 12 kommunikativ gekoppelt werden kann. Das mobile AR-Gerät 12 kann jedes Computergerät sein mit geeigneten Verarbeitungs- und Sensingfähigkeiten, das von einem Benutzer getragen oder anderweitig transportiert werden kann. Das AR-Mobilgerät 12 kann z. B. ein speziell für AR konfiguriertes Gerät sein, wie ein AR-Helm (z. B. das von DAQRI® entwickelte Smart Helmet®) oder eine AR-Brille. Alternativ kann das AR-Mobilgerät 12 ein Gerät sein der ebenfalls Nicht-AR-Anwendungen hat (z. B. ein Tablett, Smartphone, Smart Brillen, Smart Watch, etc.), aber eine Softwareanwendung ausführt, die das Gerät 12 so konfiguriert, dass es AR-fähig wird. Während nur ein AR-Mobilgerät 12 abbildet, versteht man, dass eine größere Anzahl von AR-Mobilgeräten, die mit dem AR-Mobilgerät 12 identisch oder verschieden sind, in ähnlicher Weise im AR-System 10 verwendet werden können.
Das AR-Mobilgerät 12 ist in allgemeinen so konfiguriert, dass es dem Benutzer ein AR-Erlebnis bietet, indem es die reale Ansicht des Benutzers mit kontextbezogenen Informationen (z. B. Text, Grafiken, Animationen usw.) erweitert. Der Backend-Server 14 unterstützt im Allgemeinen das AR-Erlebnis für den Benutzer und für die Benutzer anderer AR-Mobilgeräte, da er die Daten verwaltet, die festlegen, wie die reale Ansicht eines Benutzers in bestimmten Situationen erweitert werden soll, indem er Daten von den AR-Mobilgeräten erhält, die den aktuellen Zustand und/oder die Umgebung des AR-Geräts und/oder Benutzers anzeigen, und wobei er den AR-Mobilgeräten bei Bedarf Daten zur Verfügung stellt.
Das Netzwerk 16 umfasst ein oder mehrere drahtlose Netzwerke und eventuell auch ein oder mehrere verdrahtete Netzwerke. Die AR-Plattform des AR-Systems 10 nutzt im Beispiel der eine Cloud-basierte Architektur und das Netzwerk 16 umfasst das Internet. Wenn das AR System 10 in Innenräumen eingesetzt wird, kann das Netzwerk 16 auch drahtlose Netzwerke enthalten, die keine direkte Kommunikation mit einem entfernten Tower oder einer Basisstation erfordern, wie z. B. ein IEEE 802.11 oder „Wi-Fi“ Netzwerk. In anderen Ausführungsformen beinhaltet das Netz 16 jedoch ein Mobilfunknetz (z. B. LTE, GSM, etc.). Das AR-System 10 kann, wie weiter unten dargestellt, auch einen oder mehrere andere Server 18 enthalten, die kommunikativ mit dem Backend-Server 14 und/oder dem AR-Mobilgerät 12 gekoppelt sind und gemeinsam eine oder mehrere Anwendungen 19 speichern und ausführen.
Wie in der beispielhaften Ausführungsform von 1 zu sehen ist, kann das AR-Mobilgerät 12 eine Netzwerkschnittstelle 20, eine Anzeige 22, eine Kamera 24, eine Trägheitsmesseinheit (IMU) 26 und einen Speicher 30, der eine AR-Anwendung 32 speichert, enthalten. Die Netzwerkschnittstelle 20 ist konfiguriert, um Kommunikationen mit entfernten Computergeräte und -systemen einschließlich des Back-End-Servers 14 unter Verwendung eines drahtlosen Kommunikationsprotokolls von mindestens einem Teil des Netzwerks 16 (z. B. einem Wi-Fi oder Mobilfunknetz) zu ermöglichen.
Die Anzeige 22 kann Hardware und zugehörige Firmware und/oder Software enthalten, die nach jeder geeigneten Art von digitaler Anzeigetechnologie konfiguriert sind. Beispielsweise kann das Anzeigefeld 22 Flüssigkristallanzeigen (LCD), Leuchtdioden (LED), organische Leuchtdioden (OLED) Technologie usw. verwenden. Das Display 22 kann generell transparent oder lichtdurchlässig oder auch undurchsichtig sein. Die Struktur oder der Formfaktor des Displays 22 und ob das Display transparent/lichtdurchlässig oder undurchsichtig ist, hängt in der Regel vom Typ des AR-Mobilgerät 12 ab. Wenn das AR-Mobilgerät 12 z. B. ein Helm ist, kann das Display 22 die Form eines Visiers haben und so durchscheinend sein, dass alle vom Display 22 angezeigten Informationen der direkten, realen Ansicht des Benutzers überlagert werden (z. B. ein „Heads-up-Display“ oder „HUD“). Ist das AR-Mobilgerät 12 dagegen ein Tablett oder Smartphone, kann das Display 22 einen konventionellen, rechteckigen Formfaktor haben und nur indirekte Ansichten der Realität erlauben (z. B. wie von der Kamera 24 aufgenommen).
Die Kamera 24 kann jeder geeignete optische Sensortyp sein, wie z. B. ein CCD-Bildsensor (Charge-Couple-Device). In alternativen Ausführungsformen ist die Kamera 24 stattdessen oder umfasst auch, eine andere Art von Bildgebungsgerät, wie z. B. einen Lichterfassungssensor (LIDAR) oder Radarsensor. Die IMU 26 kann einen oder mehrere Sensoren (z. B. Beschleunigungsmesser und/oder Gyroskope) besitzen, die Daten erzeugen, die die Bewegung des AR-Mobilgeräts 12 in drei Dimensionen anzeigen. Das AR-Mobilgerät kann auch andere Komponenten enthalten, obwohl in nicht dargestellt, wie etwa ein Mikrofon und/oder ein Lautsprecher.
Der Speicher 30, der die AR-Anwendung 32 speichert, kann jeder geeignete Typ von Dauerspeicher sein, wie z. B. ein Festwertspeicher (ROM) in Festkörper- oder Festplattenform. Die AR-Anwendung 32 koordiniert in der Regel das AR-Erlebnis für den Benutzer des AR-Mobilgerätes 12, indem sie z. B. die entsprechenden erweiterten Informationen auf dem Display 22 generiert und bei Bedarf mit dem Backend-Server 14 kommuniziert. Die veranschaulicht ein Satz von Modulen, die Beispielfunktionen oder -eigenschaften entsprechen, die von der AR-Anwendung 32 ausgeführt oder bereitgestellt werden können, darunter ein Rollenidentifikationsmodul 40, ein Registriermodul 42, ein Positionierungs- und Ausrichtungsmodul 44, ein Knotenerlebnismodul 46, ein Knotenerstellungsmodul 48, ein Vision-Erweiterungsmodul 50 und ein positionsbasiertes Alarmmodul 52. Jedes der Module 40-52 wird später im Rahmen des Betriebs des AR-Systems 10 näher behandelt. In einigen Ausführungsformen umfasst die AR-Anwendung 32 weniger, mehr und/oder verschiedene Module als in dargestellt ist. Zum Beispiel kann die AR-Anwendung 32 ein Spracherkennungsmodul für die Erkennung von Benutzersprachbefehlen enthalten.
Der Backend Server 14 enthält auch in der Beispiel-Ausführungsfom von eine Webservices-Schnittstelle 60, eine Erlebnisbereitstellungseinheit 62, eine 3D-Modellgenerierungseinheit 64, eine Sehverbesserungseinheit 66, eine Alarmgenerierungseinheit 68 und eine Benutzerüberwachungseinheit 70. Im Allgemeinen kann die Webservices-Schnittstelle 60 eine objektorientierte webbasierte Schnittstelle zu einer AR-Datenbank 72 bereitstellen, die mit dem Backend-Server 14 gekoppelt ist, (oder in diesem enthalten ist). In einigen Ausführungsformen bietet die Webservices-Schnittstelle 60 eine Anwendungsprogrammierschnittstelle (API) zu entfernten Geräten, wie z. B. dem AR-Mobilgerät 12.
Die AR-Datenbank 72 speichert im Allgemeinen Informationen, die eine 3D-Karte einer bestimmten Umgebung definieren (z. B. durch Speichern von Knotenbezeichnungen, Standorte der Knoten innerhalb der 3D-Karte in Bezug auf die Landmarke und möglicherweise andere Informationen, die mit den Knoten assoziiert sind), und wird im Folgenden (entsprechend einer bestimmten Ausführungsform) in Verbindung mit den und näher erläutert. Die AR-Datenbank 72 kann eine einzelne Datenbank oder eine Sammlung von Datenbanken sein und kann in einem einzigen physischen Speicher gespeichert oder über mehrere Speicher an einem oder an mehreren geografischen Standorten verteilt werden. Ein, einige oder alle der Elemente/Einheiten 60 bis 70 können als Softwarebefehle auf einem Dauerspeicher (z. B. ROM) implementiert werden. In anderen Ausführungsformen enthält der Backend-Server 14 weniger, mehr und/oder andere Elemente/Einheiten als die in gezeigten.
Im Betrieb kann ein Benutzer, der das AR-Mobilgerät 12 trägt oder anderweitig transportiert, verursachen, dass das AR-Mobilgerät 12 die AR-Anwendung 32 startet. Die AR-Anwendung 32 könnte durch manuelles Auswählen eines Symbols auf dem Display 22 gestartet werden, durch Ausgabe eines Sprachbefehls oder zum Beispiel durch einfaches Einschalten des AR-Mobilgerätes 12.
In einigen Ausführungsformen fordert das Rollenidentifizierungsmodul 40 der AR-Anwendung 32 den Benutzer zu Beginn (z. B. beim Start) auf, eine bestimmte „Rolle“ anzugeben, die der Arbeitsposition des Benutzers entsprechen kann, und/oder der bestimmten Aufgabe oder den Aufgaben, die der Benutzer z. B. mit dem AR-System 10 zu erledigen versucht. In anderen Ausführungsformen wird der Benutzer zuerst aufgefordert, seine Rolle nachträglich anzugeben (z. B. nach der Registrierung an einem Ort, wie unten erläutert). Ein Beispiel für eine Benutzerschnittstelle, welche das Rollenidentifizierungsmodul 40 über eine reale Ansicht auf oder durch das Display 22 (z. B. über von der Kamera 24 aufgenommene Bilderrahmen oder über die direkte reale Ansicht des Benutzers) überlagern kann, wird im Folgenden in Verbindung mit erläutert. In einer alternativen Ausführungsform wird der Benutzer durch das Rollenidentifizierungsmodul 40 nicht aufgefordert, eine Rolle auszuwählen, stattdessen wird eine vorab zugewiesene Rolle des Benutzers anhand einer Kennung des AR-Mobilgeräts 12 und/oder einer vom Benutzer eingegebenen oder gesprochenen Kennung (z. B. Name, Mitarbeiternummer, etc.) bestimmt.
Die ausgewählte oder zugewiesene Benutzerrolle kann verschiedene Aspekte das dem Benutzer zur Verfügung gestellte AR-Erlebnis konditionieren, wie weiter unten erläutert wird. Abhängig von der Ausführungsform kann die Benutzerrolle festgelegt werden, nachdem sie ausgewählt oder zugewiesen wurde, oder sie kann von einem Benutzer spontan geändert werden, während er sich durch die Umgebung bewegt. In einigen Ausführungsformen ist das Rollenidentifikationsmodul 40 nicht in der AR-Anwendung 32 enthalten, und es werden keine Benutzerrollen im AR-System 10 selektiert oder zugewiesen.
Vor dem Mapping einer Umgebung oder vor dem Aktualisieren oder Erforschen einer zuvor gemappten Umgebung muss der Benutzer möglicherweise in einigen Ausführungsformen das AR-Mobilgerät 12 an einem „Landmark“ registrieren, dessen Standort dann als Referenzpunkt für die zukünftige Bewegung des AR-Mobilgeräts 12 (und dementsprechend des Benutzers) verwendet wird. Dieselbe Landmarkenposition wird auch als Bezugspunkt für die Standorte von jeglichen Objekten in der Umgebung verwendet, die bereits als Knoten der 3D-Karte eingerichtet wurden (oder noch eingerichtet werden), wodurch eine Bestimmung der Position des AR-Mobilgeräts 12 relativ zu jeglichen gemappten Objekten gewährleistet wird. Der Landmark-Standort kann z. B. {0,0,0} in einem {x,y,z} Koordinatensystem darstellen, es können aber auch andere Koordinatensysteme (z. B. Polarkoordinaten) verwendet werden.
Um das AR-Mobilgerät 12 zu registrieren, muss das Registriermodul 42 ein oder mehrere Bilder/Frames verarbeiten, die von der Kamera 24 aufgenommen wurden. Die Landmarke kann ein QR-Code oder eine andere geeignete Bild- oder Schriftart sein, die am Standort der Landmarke gedruckt wird (z. B. an einer Wand oder Tür in der Nähe eines Eingangs zu einem Bereich innerhalb einer Prozesssteuerungsanlage). In einigen Ausführungsformen kann das Registrierungsmodul 42 oder ein anderer Teil der AR Applikation 32 ein Fadenkreuz auf die reale Ansich überlagern (z. B. wie unten in Verbindung mit beschrieben), um dem Benutzer zu helfen, sich auf den QR-Code, das Bild usw. zu konzentrieren. Bei einigen Ausführungen wird eine andere Technologie verwendet, um die Landmarke zu erkennen, z. B. komplementäre Bluetooth oder NFC-Kommunikationseinheiten des AR-Mobiltelefons 12 und ein anderes am Standort der Landmarke befestigtes Gerät.
In einigen Ausführungsformen übermittelt das Registriermodul 42, wenn der Benutzer das AR-Mobilgerät 24 an einer bestimmten Landmarke registriert, Daten, die eine Kennung der Landmarke anzeigen, z. B. indem es eine binäre Darstellung des QR-Codes überträgt oder das Bild des QR-Codes vor der Decodierung des Bildes an den Backend-Server 14 über das Netzwerk 16 und die Webservice-Schnittstelle 60 sendet. Anschließend vergleicht der Backend-Server 14 den Landmarken-Identifikator mit Landmarken-Identifikatoren (falls vorhanden), die in der AR-Datenbank 72 gespeichert sind. Wenn der Identifikator noch nicht gespeichert ist, kann der Backend-Server 14 eine Fehlermeldung an das Registrierungsmodul über die Webservices-Schnittstelle 60 und das Netzwerk 16 zurückschicken oder in einigen Ausführungsformen die AR-Datenbank dazu veranlassen, einen neuen Eintrag für den Identifikator von Landmarken zu erstellen, der mit einer neuen 3D-Karte verknüpft ist. Andererseits, wenn der Landmarken-Identifikator bereits in der AR-Datenbank 72 existiert, kann der Backend-Server 14 dem AR-Mobilgerät 12 einen Teil oder die gesamte entsprechende 3D-Karte (und die dazugehörigen Daten) zur Verfügung stellen und eine Nachricht zurücksenden, die eine gelungene Registrierung an das Registrierungsmodul 42 über die Webservices-Schnittstelle 60 und das Netzwerk 16 angibt.
Die AR-Datenbank 72 kann eine Reihe von unterschiedlichen Landmarken-Identifikatoren speichern, der jeweils eine andere 3D-Karte zugeordnet ist, wobei jede Karte einer anderen Bibliothek von Knoten zugeordnet ist. Verschiedene Karten können einer gleichen Umgebung zugeordnet werden (z. B. indem unterschiedliche Objekte innerhalb der einzelnen Umgebung als Knoten der verschiedenen Karten eingefügt werden), und/oder verschiedene Karten können verschiedenen Umgebungen zugeordnet werden (z. B. eine Karte für einen ersten Bereich einer Prozesssteuerungsanlage, eine andere Karte für einen zweiten Bereich der Anlage, etc.).
Die erfolgreiche Registrierung des AR-Mobilgeräts 12 an der Landmarke bewirkt in einigen Ausführungsformen, dass das Positionierungs- und Ausrichtungsmodul 44 den Standort des AR-Mobilgeräts 12 gleich dem Standort der Landmarke (z. B. {0,0,0}) einstellt. Das Registrierungsmodul 42 kann jedoch für eine höhere Genauigkeit das Bild der von der Kamera 24 aufgenommenen Landmarke unter Verwendung einer Tiefenmesstechnik verarbeiten, um den Abstand zwischen dem AR-Mobilgerät 12 und der Landmarke zu ermitteln. Das Positionierungs- und Ausrichtungsmodul 44 versetzt dann die Startposition des AR-Mobilgeräts 12 von der bekannten/referenzierten Position der Landmarke, basierend sowohl auf dem ermittelten Abstand von der Landmarke als auch auf der Ausrichtung des AR-Mobilgeräts 12 in Bezug auf die Landmarke. Falls es sich bei der Landmarke um einen QR-Code oder einen anderen visuellen Identifikator handelt, kann die relative Ausrichtung des mobilen AR-Geräts 12 angenommen werden, basierend auf der Ausrichtung, in die die Landmarke gerichtet ist. Die Relativausrichtung kann alternativ auch aus dem aufgenommenen Bild ermittelt werden (z. B. durch Bestimmen eines Einfallswinkels der Kameraansicht in Bezug auf die Landmarke, etc.).
Nach der Registrierung kann sich der Benutzer des AR-Mobilgeräts 12 mit einer realen Ansicht (die über das Display 22 bereitgestellt wird) durch die Umgebung bewegen, welche im Allgemeinen durch digitalen Text, Tabellen, Grafiken, Animationen und/oder andere Arten von Informationen, die der 3D-Karte, die der Landmarke entspricht, zugeordnet sind, erweitert wird. Um die Position und Ausrichtung des Benutzers (d. h. des AR-Mobilgerätes 12) zu verfolgen, kann das Positionierungs- und Ausrichtungsmodul 44 auf die IMU 26, die Kamera 24 und/oder einen oder mehrere andere Sensoren des AR-Mobilgeräts 12 zugreifen, die in nicht dargestellt sind. In einigen Ausführungsformen verwendet das Positionierungs- und Ausrichtungsmodul 44 die erhobenen Sensordaten, um Positionen und Orientierungen zu ermitteln, ohne dabei auf GPS, GNSS, Wi-Fi-Positionierung (z. B. Trilateration) oder andere Positionierungstechnologien angewiesen zu sein, die eine Kommunikationsverbindung zwischen das AR-Mobilgerät 12 und anderen Vorrichtungen oder Systemen erfordern. „Position“ oder „Standort“ kann sich auf einen bestimmten Satz von Koordinaten in einem 3D-Koordinatensystem beziehen (z. B. kartesianisch oder polar), und „Ausrichtung“ kann sich auf eine bestimmte Richtung beziehen (z. B. in einem 360-Grad horizontalen/azimutalen Bereich, plus Erhebung oder Höhenlage). In einigen Ausführungsformen kann sich „Ausrichtung“ auch auf die Neigung des mobilen AR-Geräts 12 unabhängig von der Richtung, in die das Gerät 12 gerichtet ist, beziehen. Da nur Relativpositionen verfolgt werden (z. B. im Sinne von „Koppelnavigation“), bestimmt das Positionierungs- und Ausrichtungsmodul 44 die Positionen von AR-Mobilgeräten/Benutzern in Bezug auf den Standort der Landmarke, an dem die Registrierung stattgefunden hat.
In einigen Ausführungsformen verarbeitet das Positionierungs- und Ausrichtungsmodul 44 eine Verschmelzung von Daten aus mindestens der Kamera 24 und der IMU 26, um bei isoliertem Einsatz die mit beiden Sensortypen verbundenen Defizite zu beheben. Das Positionierungs- und Ausrichtungsmodul 44 kann beispielsweise die von Qualcomm® entwickelte Visual-Inertial-Odometry (VIO)-Technologie zur Verfolgung der Position und Ausrichtung des AR-Mobilgeräts 12 einsetzen. Diese Technologie kann zur Verbesserung der Genauigkeit, zur „Drift“ Reduzierung in bestimmten Positionen und/oder mit anderen Vorteilen beitragen.
Da die Position und Ausrichtung der Kamera 24 in Bezug auf das mobile AR-Gerät 12 selbst bekannt ist, kann die AR-Anwendung 32 das Sichtfeld des mobilen AR-Geräts 12 (das in manchen Ausführungsformen auch der realen Ansicht des Benutzers entsprechen kann) für jede beliebige Position und Ausrichtung ermitteln, die vom Positionierungs- und Orientierungsmodul 44 bestimmt wird. Basierend auf der ermittelten Position und Ausrichtung und mit Hilfe der in der AR-Datenbank 72 gespeicherten Knotenpositionen für die 3D-Karte kann die AR-Anwendung 32 somit bestimmen, welche gemappten Objekte sich jederzeit innerhalb des Sichtfeldes aufhalten. In einigen Ausführungsformen kann ein Objekt als „im Sichtfeld“ einer Kamera angesehen werden, wenn sich das Objekt im horizontalen und vertikalen Bereich/Ausdehnung der Kamerasensorik befindet (z. B. innerhalb bestimmter Azimut- und Vertikal-Höhenlage-/Erhebungswinkel), unabhängig von der Distanz zwischen dem Objekt und des AR-Mobilgerätes, welches die Bilder aufnimmt, und ungeachtet dessen, ob das Objekt zufällig durch Hindernisse in der Umgebung geblockt ist. Ein Objekt direkt und unmittelbar vor der Kamera 24 kann beispielsweise als „im Sichtfeld“ der Kamera 24 betrachtet werden, auch wenn das Objekt durch ein Gehäuse, eine Barriere, ein anderes Objekt usw. verdeckt ist. In anderen Ausführungsformen gilt ein Objekt nur dann als „im Sichtfeld“ der Kamera, wenn das Objekt nicht verdeckt ist, d. h. während die Kamera in der Lage ist, Bilder des Objekts zu erfassen.
Zum Bestimmen der Positionen von gemappten Objekten kann die AR-Anwendung 32 regelmäßig über das Netzwerk 16 und die Webservice-Schnittstelle 60 auf Knotenpositionen in der AR-Datenbank zugreifen. Die AR-Anwendung 32 kann beispielsweise periodisch verlangen, dass der Backend-Server 14 Standortdaten für Knoten bereitstellt, die sich innerhalb eines Schwellenabstandes des AR-Mobilgeräts 12 (und/oder innerhalb des Sichtfeldes des Geräts 12 usw.) befinden, mit der Anforderung, dass die aktuelle Position (und/oder Ausrichtung) der AR-Mobilvorrichtung 12 angezeigt wird. Alternativ kann die AR-Anwendung 32 anfordern, dass der Backend-Server 14 alle Knotenstandorte (und möglicherweise weitere Informationen, wie Knotenbeschreibungen usw.) für die 3D-Karte, die mit dem für die Registrierung verwendeten Landmarken verknüpft ist, z.B. zum Zeitpunkt der Registrierung. In noch anderen Ausführungsformen kann der Backend-Server 14 automatisch alle relevanten Knotenpositionen senden, wenn sich das AR-Mobilgerät 12 bei der Landmarke erfolgreich registriert.
Die AR-Anwendung 32 kann festlegen, dass eine Augmentation für ein, mehreren oder keinem der zugeordneten Objekte/Knoten im aktuellen Sichtfeld des Benutzers bereitgestellt werden soll. Um diese Bestimmung durchzuführen, kann das Knotenerlebnis-Modul 46 ein oder mehrere Kriterien anwenden. In einigen Ausführungsformen kann beispielsweise das Knotenerlebnis-Modul 46 bestimmen, dass eine Augmentation für alle abgebildeten Objekte im aktuellen Sichtfeld des Benutzers vorgesehen werden soll, unabhängig von der Distanz zwischen dem Objekt und dem Benutzer und unabhängig davon, ob das Objekt durch irgendwelche Hindernisse aus der Sicht des Benutzers blockiert ist. Alternativ kann das Knotenerlebnis-Modul 46 bestimmen, dass keine Augmentation für gemappte Objekte vorgesehen werden soll, die sich im Sichtfeld befinden, aber länger als eine Schwellenentfernung vom Benutzer entfernt sind (z.B nach der Bestimmung aus der aktuellen Benutzerposition, die durch das Positionierungs- und Ausrichtungsmodul 44 bestimmt wird, und aus der entsprechenden Knotenposition, die in der AR-Datenbank 72 gespeichert ist).
Das Knotenerlebnis-Modul 46 kann auch oder stattdessen bestimmen, dass keine Augmentation für gemappte Objekte vorgesehen werden soll, die sich im Sichtfeld der AR-Mobilgeräte 12 befinden, jedoch von der Sicht ausgeschlossen sind. Ob gemappte Objekte verdeckt werden, kann je nach Ausführungsform auf unterschiedliche Weise bestimmt werden. Zum Beispiel kann in der AR-Datenbank 72 ein Feld angeben, ob ein bestimmter Knoten einem Objekt entspricht, das im Allgemeinen verdeckt ist. Zum Beispiel, für eine Komponente, die in einem Schrank eingeschlossen ist, verfügt der entsprechende Knoten über ein Feld, das die Beziehung zwischen der Komponente und dem Schrank anzeigt. In anderen Ausführungsformen können die AR-Anwendung 32 und/oder der Backend-Server 14 eine komplexere Analyse von Knotenkonfigurationen, Knotentypen und/oder Knotengrößen vornehmen, um zu ermitteln, ob aus der gegenwärtigen Perspektive des Benutzers ein bestimmtes gemapptes Objekt wahrscheinlich zu sehen sein würde.
In einigen Ausführungsformen ist zur Verringerung der Gefahr einer sensorischen Überlastung für den Benutzer keine Augmentation für bestimmte Arten von gemappte Objekten vorgesehen, es sei denn, der Benutzer ergreift eine bestimmte Maßnahme (außer das einfache Bewegen und/oder Neuausrichten des AR-Mobilgeräts 12 an sich). So kann es beispielsweise sein, dass das Knoten-Erlebnismodul 46 keine Augmentation für eine große Anzahl von relativ kleinen Komponenten innerhalb eines Schrankes zur Verfügung stellt, die jeweils einem anderen gemappten Objekt entsprechen, es sei denn, der Benutzer wählt ein Symbol oder eine andere grafische Darstellung des Schrankes und/oder er wählt eine Option, um Schrankinhalte anzuzeigen, usw.
Außerdem kann das Knotenerlebnis-Modul 46 in einigen Ausführungsformen bestimmen, ob eine Augmentation für ein bestimmtes gemapptes Objekt im Sichtfeld des Benutzers basierend auf der Rolle des Benutzers erfolgen soll, wie sie durch das Rollenidentifikationsmodul 40 bestimmt wird. Daher kann das Knotenerlebnis-Modul 46 die Webservice-Schnittstelle 60 speziell für Knoten abfragen, die sowohl der Landmarke als auch der gewählten oder zugeteilte Rolle zugeordnet sind. In einer Prozesssteuerungsumgebung kann zum Beispiel ein Netzschalter für einen Benutzer mit der Rolle „Instandhalter“ augmentiert werden, nicht aber für einen Benutzer mit der Rolle „Betreiber“.
Für zu augmentierende Objekte kann das Knotenerlebnis-Modul 46 anfänglich einen Knoten „Marker“ überlagern, wie z. B. Text (z. B. eine Gerätekennung, Status und/oder Beschreibung) und/oder ein Symbol oder eine sonstige Grafik usw., und zwar auf einem Bereich des Displays 22, der dem Benutzer erscheint, als ob er sich an (oder nahe) den Koordinaten des Objekts in der realen Ansicht des Benutzers befinden würde. Der Marker könnte zum Beispiel in der realen Ansicht mit dem gemappten Objekt durch eine auf dem Display 22 dargestellte Linie verbunden zu sein erscheinen. In anderen Ausführungsformen ist die Marke ein Kreis oder eine andere Form, die über dem Objekt dargestellt wird, ein rechteckiger Umriss, der das Objekt grob eingrenzt, oder eine andere Art von Indikator.
Wählt der Benutzer einen bestimmten Knoten aus (z. B. durch Fokussierung eines virtuellen Fadenkreuzes auf den Knotenmarker oder durch Ausgabe eines Sprachbefehls usw.), kann das Knotenerlebnis-Modul 46 dem Benutzer eine oder mehrere „Knotenerlebnisse“ zur Verfügung stellen. Ein „Knotenerlebnis“ bezieht sich - im Gegensatz zum allgemeineren „AR-Erlebnis“ eines ordnungsgemäß ausgestatteten Benutzers, der sich durch eine gemappte Umgebung bewegt - auf eine bestimmte Art oder Arten von Benutzerinteraktion mit dem Objekt/Knoten. Das Knotenerlebnis-Modul 46 kann dem Benutzer die Option bieten, bestimmte Knotenerlebnisse auszuwählen, indem beispielsweise ein Menü oder ein anderes interaktives Display der realen Ansicht überlagert wird oder indem es so konfiguriert wird, dass es Sprachbefehle des Benutzers erkennt. Ein Benutzer kann Menüoptionen ähnlich wie die Auswahl von Knotenmarkern (z. B. Fokussierung eines virtuellen Fadenkreuzes auf die Option, Sprachbefehl, etc.) oder auf eine andere geeignete Weise auswählen.
Wenn eine spezifische Knotenerlebniserfahrung ausgewählt ist, kann das Knotenerlebnis-Modul 46 die Auswahl über das Netzwerk 16 an die Webservice-Schnittstelle 60 übermitteln. In Antwort darauf kann die Erlebnisbereitstellungseinheit 62 Daten (z. B. Text, Grafiken usw.) abrufen, die mit dem ausgewählten Knoten und ausgewählten Erlebnis aus der AR-Datenbank 72 (und/oder anderen Standorte, wie der/die z. B. Server(n) 18) assoziiert sind, und sendet die abgerufenen Daten über die Webservices-Schnittstelle 60 zurück an das AR-Mobilgerät 12, um zu ermöglichen, dass das Knotenerlebnis-Modul 46 die reale Ansicht des Benutzers entsprechend augmentiert.
Ein Knoten-Erlebnis kann relativ einfach oder auch komplex sein. Die Knotenmarkierung selbst kann zum Beispiel als voreingestelltes „Knotenerlebnis“ angesehen werden. Als weitere Beispiele kann das Knotenerlebnis-Modul 46 andere Texte und/oder Tabellen (z. B. Informationen, die dem entsprechenden Objekt zugeordnet sind) auf die reale Ansicht des Benutzers (über Display 22), überlagern, wie z. B. eine simple Grafik oder ein Symbol des Objekts, ein hyperrealistisches oder pseudorealistisches 3D-Modell des Objekts, ein Bild des Objekts, eine Animation mit dem Objekt (z. B. ein rotierendes 3D-Modell des Objekts) usw.
Knotenerlebnisse können auch oder stattdessen andere Arten von Interaktivität umfassen. So kann zum Beispiel das Knotenerlebnis-Modul 46 einen Link (z. B. eine URL) auf ein Video überlagern, das ein Tutorial über das Objekt und/oder seine Bedienung in der Umgebung (z. B. in einer bestimmten Prozesskontrollroutine), auf einen Arbeitsauftrag, der das Objekt beinhaltet, oder an einen entfernten Experten. Alternativ oder zusätzlich kann der Benutzer Sprachbefehle für einige oder alle dieser Knotenerlebnisse ausgeben. In einer Ausführungsform, in der Inhaltselemente wie Videos oder Arbeitsaufträge ausgewählt oder aufgerufen werden, kann das Knotenerlebnis-Modul 46 die Inhalte der realen Ansicht des Benutzers überlagern. Wenn ein Fernexperte oder eine andere Person ausgewählt oder angerufen wird, kann das Knoten-Erlebnis-Modul 46 bewirken, dass die Netzwerkschnittstelle 20 oder eine andere geeignete Netzwerkschnittstelle eine Kommunikationsverbindung mit der Person herstellt (z. B. über Netzwerk 16), und in einigen Ausführungsformen kann ein Standbild oder Video der Person bis zur Beendigung der Kommunikation eingeblendet werden.
Andere Knoten-Erlebnisse können bestimmte Beziehungsarten zwischen dem gewählten Objekt/Knoten und anderen Objekten/Knoten auflisten und/oder grafisch darstellen. Für ein Knotenerlebnis zum Beispiel, kann das Knotenerlebnismodul 46 eine Reihe von Objekten/Knoten, die sich auf das ausgewählte Objekt/Knoten beziehen (z. B. übergeordnete und/oder untergeordnete Objekte/Knoten), über die reale Ansicht des Benutzers überlagern. Eine „Beziehung“ kann auf jede gewünschte Weise definiert werden und kann von einem Benutzer manuell beim Hinzufügen eines neuen Knotens oder durch eine andere geeignete Art und Weise festgelegt werden. Zum Beispiel können sich einige Beziehungen darauf beziehen, ob ein Objekt eine Komponente eines anderen Objekts ist und/oder selbst eine Reihe von Komponenten umfasst. Ein Ventil kann einem Knoten entsprechen, der ein übergeordneter Knoten einer Gruppe ist, die jeweils einzelnen Komponenten des Ventils entsprechen, zum Beispiel.
Das Knotenerfahrungsmodul 46 kann Beziehungen bestimmen, indem es die Erlebnisbereitstellungseinheit 62 über die Webservice-Schnittstelle 60 abfragt, wobei die Erlebnisbereitstellungseinheit 62 Identifikatoren der zugehörigen Knoten aus der AR-Datenbank 72 entnimmt und dem Knotenerfahrungsmodul 46 einen Hinweis auf diese Knoten bereitstellt. Da Knotenmarker und/oder Knotenerlebnisse für alle einzelnen Ventilkomponenten standardmäßig nicht angezeigt werden (z. B. es sei denn, ein Knoten oder eine bestimmte Option wird vom Benutzer speziell ausgewählt), kann es dem Benutzer erspart bleiben, eine überwältigende Menge an visuellen Informationen auf einmal zu erhalten.
Einige Typen von Beziehungen können dem Benutzer grafisch präsentiert werden. Zum Beispiel kann das Knotenerlebnis-Modul 46 eine grafische Darstellung einer physikalischen oder logischen Verbindung zwischen dem Objekt, das dem gewählten Knoten entspricht, und einem oder mehreren anderen Objekten, die anderen Knoten entsprechen, liefern. Das Knotenerfahrungsmodul 46 kann Verbindungen bestimmen, indem es die Erlebnisbereitstellungseinheit 62 über die Webservice-Schnittstelle 60 abfragt, wobei die Erlebnisbereitstellungseinheit 62 Identifikatoren der verbundenen Knoten aus der AR-Datenbank 72 entnimmt und dem Knotenerfahrungsmodul 46 einen Hinweis auf diese Knoten bereitstellt. Das Knotenerlebnis-Modul 46 kann anschließend eine Anzeige erzeugen, die Linien darstellt, die die entsprechenden Objekte miteinander verbinden, und die Linien der realen Ansicht des Benutzers überlagern. Ein Beispiel für eine derartiges Knotenerlebnis ist in 4H dargestellt, wie im Folgenden erläutert.
Die dargestellten Verbindungen und/oder sonstigen Beziehungen können auch je nach der gewählten oder zugewiesenen Rolle des Benutzers unterschiedlich sein. In einer Prozesssteuerungsumgebung kann zum Beispiel einem „Betreiber“ eine Linie von einem Sensor/Transmitter-Vorrichtung zu einem Tank angezeigt werden, wobei die Linie anzeigt, dass der Sensor/Transmitter den Druck im Tank erfasst. Andererseits kann einem „Ingenieur“ stattdessen (oder zusätzlich) eine Leitung vom Sensor/Transmitter zu einer anderen Vorrichtung angezeigt werden, die die Sensorübertragungen empfängt, und einem „Instandhalter“ stattdessen (oder zusätzlich) eine Leitung vom Sensor/Transmitter zu einer Stromquelle für die Vorrichtung (z. B. damit, der Instandhalter leicht finden kann, wo er die Stromversorgung vor der Wartung, Reparatur oder dem Austausch der Vorrichtung abschalten kann).
In einigen Ausführungsformen verwendet die Erlebnisbereitstellungseinheit 62 Daten und/oder Funktionen von anderen Servern 18 und/oder Anwendungen 19, um eine oder mehrere Knotenerfahrungen zur Verfügung zu stellen, und/oder eine oder mehrere der Anwendungen 19 können als Antwort auf die von der Erlebnisbereitstellungseinheit 62 gesendeten Daten gestartet werden. Einige Beispiele für solche Ausführungsformen in einer Prozesssteuerungsumgebung werden im Folgenden in Verbindung mit behandelt.
Wie bereits erwähnt, kann das Knotenerlebnis-Modul 46 bestimmen, ob die reale Ansicht des Benutzers auf ein bestimmtes gemapptes Objekt basierend auf der ausgewählten oder zugewiesenen Rolle des Benutzers (z. B. Betreiber, Instandhalter, etc.) erweitert werden soll. Außerdem oder alternativ können die Arten von Knoten-Erlebnissen und/oder der Inhalt oder die Interaktivität, die durch ein bestimmtes Erlebnis bereitgestellt werden, je nach Benutzerrolle variieren. So kann zum Beispiel einem Benutzer, der eine Rolle als „Instandhalter“ hat und eine Pumpe in seiner realen Ansicht hat, ein Knotenerlebnis präsentiert werden, das eine geplante Wartungserinnerung für die Pumpe anzeigt, während einen Benutzer, der eine Rolle als „Betreiber“ oder „Ingenieur“ spielt, stattdessen Informationen über logische Verbindungen der Pumpe in einer Prozesskontrollroutine präsentiert werden können. Dem Instandhalter kann eine Warnung mitgeteilt werden, wenn die planmäßige Wartung überfällig ist, während dem Betreiber oder Ingenieur eine Warnung nur in anderen Szenarien mitgeteilt werden kann (z. B. bei Ausfall der Pumpe).
Das Knotenerstellungsmodul 48 unterstützt das Hinzufügen neuer Knoten innerhalb der 3D-Karte entsprechend der Landmarke, mit der das AR-Mobilgerät 12 registriert wurde. In einigen Ausführungsformen kann jeder Benutzer neue Knoten zu einer 3D-Karte hinzufügen. In anderen Ausführungsformen können nur bestimmte Benutzerrollen und/oder nur bestimmte AR-Geräte dazu verwendet werden, neue Knoten hinzuzufügen. Um einen neuen Knoten einzufügen, kann ein Benutzer das Sichtfeld des AR-Mobilgeräts 12 (z. B. ein im Sichtfeld zentriertes Fadenkreuz) auf ein reales Objekt richten, das gemappt werden soll, und eine Option auswählen, um das Objekt als neuen Knoten aufzunehmen.
Je nach Ausführungsform kann diese Aufgabe auf unterschiedliche Weise erfüllt werden. Beispielsweise kann der Benutzer ein überlagertes Menüelement (z. B. eine virtuelle Schaltfläche „Knoten hinzufügen“) auswählen oder einen Sprachbefehl ausgeben, und das Knotenerstellungsmodul 48 kann als Antwort darauf ein Fadenkreuz auf die reale Ansicht des Benutzers aufbringen. Beim Richten des Fadenkreuzes auf das Objekt kann der Benutzer ein anderes Bedienelement aktivieren (z. B. eine virtuelle „Bestätigungstaste“) oder einen zweiten Sprachbefehl ausführen. Als Antwort darauf kann das Knotenerstellungsmodul 48 eine Position des Objekts ermitteln und den Benutzer auffordern, einen Knotennamen und/oder eine Beschreibung einzugeben. Das Knotenerstellungsmodul 48 kann dann über das Netzwerk 16 die Position, den eingegebenen oder gesprochenen Namen usw. an die Webservice-Schnittstelle 60 senden, und die 3D-Modellgenerierungseinheit 64 kann zumindest die Position und eine Knotenkennung (z. B. den vom Benutzer eingegebenen oder gesprochenen Knotennamen) in die AR-Datenbank 72 einfügen.
Um die Position des zu mappenden Objekts zu bestimmen, kann das Knotenerstellungsmodul 48 die gegenwärtige Position des AR-Mobilgeräts 12 (bestimmt durch das Positions- und Orientierungsmodul 44) benutzen zum Versetzen dieser Position basierend sowohl auf dem Abstand zwischen dem AR-Mobilgerät 12 und dem Objekt als auch auf der Ausrichtung des AR-Mobilgeräts 12. Das kann ähnlich wie das Bestimmen der anfänglichen 3D-Position des AR-Mobilgeräts 12 erfolgen bei der Registrierung an der Landmarke, wie oben beschrieben. So kann beispielsweise das Knotenerstellungsmodul 48 das Bild des von der Kamera 24 erfassten Objekts unter Verwendung einer Tiefenmesstechnik verarbeiten, um den Abstand zwischen dem AR-Mobilgerät 12 und dem Objekt zu bestimmen. Das Positionierungs- und Ausrichtungsmodul 44 kann dann die Position des Objekts von der Position des AR-Mobilgeräts 12 aus versetzen, basierend sowohl auf dem ermittelten Abstand als auch auf der Ausrichtung des AR-Mobilgeräts 12 (z. B. basierend auf dem Abstand und der Richtung, in die das Sichtfeld des AR-Mobilgeräts 12 gerichtet war, zur Zeit der Aufnahme des Bildes des Objekts).
In einigen Ausführungsformen kann das Knotenerstellungsmodul 48 auch dazu verwendet werden um bestehende Knoten zu aktualisieren/modifizieren. So zum Beispiel kann ein Menü, das vom Knotenerlebnis-Modul 46 bereitgestellt wird, eine Option zum Aktualisieren von Knoteninformationen beinhalten. Wenn ausgewählt, wird das Knotenerstellungs-Modul 48 ein oder mehrere Menüs oder andere Benutzerschnittstellen in die reale Ansicht des Benutzers überlagern, damit der Benutzer Informationen über den Knoten ändern kann (z. B. Knotenname, Knotenbeschreibung, etc.). Jegliche Änderungen können über das Netzwerk 16 an die Webservice-Schnittstelle 60 gesendet werden, und die 3D-Modellgenerierungseinheit 64 kann die AR-Datenbank 72 entsprechend aktualisieren.
In einigen Ausführungsformen konfiguriert die AR-Anwendung 32 das AR-Mobilgerät 12, um die virtuelle Sicht des Benutzers zu verbessern, und zwar über die oben beschriebenen Augmentations-Eigenschaften hinaus. Beispielsweise kann das Sehverbesserungsmodul 50 für bestimmte Knotentypen bestimmen, wann sich ein gemapptes Objekt innerhalb eines Bereichs befindet, das vom aktuellen Sichtfeld des Benutzers erfasst wird (z. B. wie vorstehend für das Knotenerlebnismodul 46 erläutert), aber von einem oder mehreren anderen Objekten verdeckt wird, und dem Benutzer ein virtuelles „Röntgenbild“ zu liefern. Die virtuelle Röntgensicht darf nur dann erfolgen, wenn ein oder mehrere andere Kriterien festgelegt sind (z. B. wenn das Sehverbesserungsmodul 50 bestimmt, dass sich das/die versteckte(n) Objekt(e) innerhalb eines Schwellenabstandes von dem mobilen AR-Gerät 12 befindet/befinden), oder kann unabhängig von anderen Kriterien geliefert werden.
In einer solchen Ausführungsform beinhaltet die AR-Datenbank 72 bei jedem von mindestens einigen der Knoteneinträge ein Flaggen- oder anderes Sichtbarkeitsindikator, mit dem angezeigt wird, dass der Knoten möglicherweise nicht sichtbar aus der Perspektive irgendeines Benutzers ist. Diese Sichtbarkeitsanzeige kann automatisch basierend auf einem bekannten Verhältnis von Objekten erzeugt worden sein (z. B. wenn die 3D-Modellgenerierungseinheit 64 auf ein Steuersystem zugreift, um herauszufinden, dass das dem Knoten korrespondierende Objekt in einem Schrank positioniert ist), oder sie kann manuell von einem Benutzer gesetzt worden sein (z. B. beim Hinzufügen des Knotens über eine Benutzerschnittstelle, die das Knotenerstellungsmodul 48 der realen Ansicht des Benutzers überlagert). Wenn sich ein bestimmtes gemapptes Objekt im Sichtfeld des Benutzers befindet, kann das Sehverbesserungsmodul 50 die Sehverbesserungseineit 66 des Backend-Servers 14 über das Netzwerk 16 und die Web Services Schnittstelle 60 abfragen, und die Sehverbesserungseinheit 66 kann ihrerseits auf die AR-Datenbank 72 zugreifen, um die entsprechende Sichtbarkeitsanzeige abzurufen. Die Sehverbesserungseinheit 66 kann dann die Webservices-Schnittstelle 60 nutzen, um die Sichtbarkeitsanzeige oder andere Daten, die anzeigen, ob das Objekt verdeckt ist, an das Sehverbesserungsmodul 50 zu übertragen.
Alternativ kann das Sehverbesserungsmodul 50 und/oder die Sehverbesserungseinheit 66 die Sichtbarkeitsbestimmung auch auf andere Arten durchführen. Zum Beispiel kann sich ein bestimmtes gemapptes Objekt oder eine Reihe von Objekten in einem Schrank befinden, der mit einer Modellnummer, einem QR-Code oder einer anderen optischen Anzeige bezeichnet ist. Das Sehverbesserungsmodul 50 kann ein Bild der optischen Anzeige verarbeiten, das von der Kamera 24 erfasst wird, um einen Identifikator (z. B. Knotenidentifikator) des Schrankes zu bestimmen und den Identifikator über die Webservice-Schnittstelle 60 an die Sehverbesserungseinheit 66 zu senden. Die Sehverbesserungseinheit 66 kann dann anhand des Identifikators bestimmen, welche gemappten Objekte (z. B. Feldgeräte, E/A-Karten usw.) sich im Schrank befinden, und Daten zurücksenden, die anzeigen, dass die Objekte, die sich im Schrank befinden, verdeckt sind.
Um die Wirkung der virtuellen Röntgensicht für ein bestimmtes Objekt zu erzielen, kann das Sehverbesserungsmodul 50 ein hyperrealistisches oder pseudorealistisches 2D- oder 3D-Modell des Objekts oder ein digitales Bild oder Video des Objekts abrufen und dieses Modell, Bild oder Video über das Objekt (oder in der Nähe des Objekts) im Sichtfeld des Benutzers überlagern. Entweder standardmäßig oder als Antwort auf eine Benutzerauswahl des 2D- oder 3D-Modells oder eines Sprachbefehls usw. kann das Knotenerlebnis-Modul 46 auch visuelle Menü Optionen oder eine Sprachbefehlserkennung bereitstellen, damit der Benutzer, wie oben beschrieben, verschiedene Erlebnisse für den Knoten auswählen kann. Somit kann der Benutzer mit dem versteckten Objekt in einer Weise interagieren, die der Interaktion mit dem realen Objekt sehr ähnelt und sich „anfühlt“, während es sich direkt in seinem oder ihrem Sichtfeld befindet.
Das Sehverbesserungsmodul 50 kann auch oder stattdessen die virtuelle Sicht eines Benutzers auf andere Weise verbessern. Befindet sich ein Objekt in einem schwer zugänglichen und/oder gefährlichen Bereich (z. B. in einem sehr hohen Standort, einem verbarrikadierten Standort, einem Hochspannungs- oder toxischen Bereich usw.) und/oder weit entfernt vom Benutzer, kann das Sehverbesserungsmodul 50 dem Benutzer ermöglichen, einen „Avatar“ abzurufen, der das Objekt in sein Blickfeld bringt. Der Avatar kann dasselbe sein wie das oben für das Röntgenbild beschriebene 2D- oder 3D-Modell, Bild, Video usw. oder er kann sich in einigen Aspekten unterscheiden. Tatsächlich ist in einigen Ausführungsformen das virtuelle Röntgenbild einfach einer von mehreren Anwendungsfällen, bei denen ein Avatar eines realen Objekts aufgerufen wird.
Ein Avatar kann auf verschiedene Weise aufgerufen werden, abhängig von der Ausführungsform und/oder dem Szenario. In einigen Ausführungsformen überlagert das Sehverbesserungsmodul 50 zunächst eine optische Anzeige auf die reale Ansicht des Benutzers, wenn bestimmte Kriterien erfüllt werden, mit eine optische Anzeige, die einen Hinweis auf die Position des entsprechenden Objekts im Verhältnis zur realen Ansicht des Benutzers gibt. Beispielsweise kann die optische Anzeige angezeigt werden, wenn sich sowohl (1) das AR-Mobilgerät 12 innerhalb eines Schwellenabstands zum Objekt befindet als auch (2) der Knoten als eingeschränkt zugängliches Objekt gekennzeichnet ist. Die AR-Datenbank 72 kann Daten speichern, die beispielsweise einen solchen Status anzeigen (z. B. basierend auf einer manuellen Benutzereingabe, wenn der Knoten von einem Benutzer hinzugefügt wurde), oder der Status kann abgeleitet werden (z. B. wenn die Sehverbesserungseinheit 66 feststellt, dass sich das Objekt in einem Bereich befindet, den der Backend-Server 14 als „Gefahren“-Bereich gekennzeichnet hat, oder wenn das Sehverbesserungsmodul 50 oder die Sehverbesserungseinheit 66 bestimmt, dass die Position des Objekts mindestens ein Schwellenabstand von dem AR-Mobilgerät 12 in z-Richtung und damit in einer sehr unterschiedlichen Erhebung ist, usw.). Die optische Anzeige kann ein Pfeil umfassen, welcher in Richtung des Objekts zeigt, eine Linie, die zu dem Objekt führt, oder eine andere Positionsanzeige. Ein Beispiel für eine optische Anzeige wird im Folgenden in Verbindung mit erläutert. Wenn der Benutzer den Indikator auswählt oder eine andere geeignete Maßnahme ergreift (z. B. in einigen Ausführungsformen, wenn der Benutzer sein oder ihr Sichtfeld ändert, um das Objekt einzubeziehen), kann das Sehverbesserungsmodul 50 den Avatar in die reale Ansicht des Benutzers überlagern.
In anderen Ausführungsformen umfasst der Indikator für den Standort des Objekts den Avatar selbst (z. B. mit einem Pfeil/Zeiger auf die Position zu dem Objekt, das über oder in der Nähe des Avatars liegt). In noch weiteren Ausführungsformen und/oder Szenarien überlagert das Sehverbesserungsmodul 50 den Avatar im Sichtfeld des Benutzers, ohne eine optische Anzeige für die Position des Objekts vorzugeben. So kann beispielsweise das Sehverbesserungsmodul 50 dem Benutzer den Avatar als Antwort auf die Anforderung oder Suche nach dem entsprechenden Objekt (z. B. durch einen Sprachbefehl oder eine manuelle Dateneingabe) oder als Antwort darauf, dass der Benutzer eine Knotenmarkierung für ein relativ entferntes Objekt (z. B. länger als eine bestimmte Schwellenentfernung) auswählt, präsentieren usw. In einer solchen Ausführungsform erscheint der Avatar nicht sofort in voller Größe. So kann beispielsweise das Sehverbesserungsmodul 50 einen visuellen Effekt erzeugen, bei dem der Avatar dem Benutzer erscheint, als ob er sich von dem Objektposition (z. B. weit vor dem Benutzer) zu einer Position direkt vor dem Benutzer bewegt. Der Avatar kann sich in der Größe erweitern, um z. B. den Effekt zu simulieren, dass er sich dem Benutzer nähert.
Das Knotenerlebnis-Modul 46 kann dem Benutzer automatisch ein bestimmtes Knotenerlebnis für das Objekt liefern (zusätzlich zur Anzeige des Avatars des Objekts) und/oder es dem Benutzer ermöglichen, ein oder mehrere Knotenerlebnisse auszuwählen, nachdem der Avatar zum ersten Mal präsentiert wurde (z. B. durch Ausgabe eines Sprachbefehls oder Auswahl von Menüoptionen). So können beispielsweise eine oder mehrere der oben genannten Knotenerlebnisse geliefert werden. Ein Beispiel für ein Erlebnis, das mit einem Avatar verbunden werden kann, wird im Folgenden in Verbindung mit erläutert.
In einigen Ausführungsformen konfiguriert die AR-Anwendung 32 das AR-Mobilgerät 12 so, dass es Alarme basierend auf der aktuellen Position des Benutzers und/oder basierend auf aktuellen Umständen in bestimmten Bereichen (z. B. bestimmte Regionen einer Prozessanlage, die mit einer Warnung verbunden sind) erzeugt. Die Alarmgenerierungseinheit 68 kann periodisch oder kontinuierlich bestimmen, ob sich die aktuelle Position des AR-Mobilgeräts 12 in einem Bereich befindet, der einer Alarm- oder Warnung ausgesetzt ist, z. B. durch Vergleichen von Positionen, die vom Positionierungs- und Ausrichtungsmodul 44 (über die Webservice-Schnittstelle 60) gemeldet werden, mit den Grenzen eines oder mehrerer geo-umzäunter Bereiche. Wenn sich der Benutzer/Gerät in einem Bereich befindet, der mit einer Warnung verbunden ist, kann die Alarmgenerierungseinheit 68 über die Webservice-Schnittstelle 60 eine Anzeige der Warnung an das positionsbasierte Alarmmodul 52 senden, und das positionsbasierte Alarmmodul 52 kann eine Anzeige der Warnung in der realen Ansicht des Benutzers überlagern (z. B, Text und/oder eine Grafik), einen anderen visuellen Effekt erzeugen (z. B. ein blinkendes rotes Licht oder eine Tönung, die die gesamte reale Ansicht umfasst), und/oder dem Benutzer einen Audioalarm liefern (über einen Lautsprecher des AR-Mobilgeräts 12, der nicht in dargestellt ist). Alternativ oder zusätzlich kann die Alarmgenerierungseinheit 68 basierend auf der Nähe des AR-Mobilgeräts 12 zu einem bestimmten gemappten Objekt einen Alarmindikator senden (z. B. wenn das Objekt eine Funktionsstörung aufweist und gewartet werden muss oder vermieden werden sollte, usw.). Die Alarmgenerierungseinheit 68 kann auch die Zustellung von Alarmen an die ausgewählte oder zugewiesene Rolle des Benutzers konditionieren.
In einigen Ausführungsformen kann der Backend-Server 14 die 3D-Standorte von AR-Mobilgeräten (und damit auch von Benutzern) in der gemappten Umgebung überwachen. Zu diesem Zweck kann die Benutzerüberwachungseinheit 70 aktuelle und/oder historische Positionen von Benutzern erfassen, die ihre AR-Mobilgeräte an einer Landmarke registriert haben, basierend auf Daten, die vom Positionierungs- und Ausrichtungsmodul 44 über die Webservice-Schnittstelle 60 empfangen wurden.
Die Überwachung des Benutzerstandortes kann je nach Ausführungsform und/oder Bedarf für verschiedene Zwecke eingesetzt werden. So kann zum Beispiel die Benutzerüberwachungseinheit 70 Benutzerstandorte auf einem mit dem Backend-Server 14 gekoppelten Display oder Terminal darstellen (und nicht in dargestellt), und ein Betreiber der Anzeige oder des Terminals kann im Falle einer Notsituation die Mitarbeiterstandorte berücksichtigen oder Benutzer einfach unter typischeren Bedingungen überwachen, um festzustellen, ob Mitarbeiter medizinische Hilfe benötigen. Die Gesundheit der Angestellten kann auch anhand anderer Daten überwacht werden, wie beispielsweise biometrischer Daten, die von einem oder mehreren Sensoren des AR-Mobilgeräts 12 gesammelt wurden (z. B. zur Erkennung von Puls, Blutdruck, Temperatur usw.). Als weitere Beispiele können Angestellte/Benutzerstandorte zu den Schulungsprotokollen der Angestellten hinzugefügt werden, die von Führungskräften oder Personalverantwortlichen zur Überwachung der Einhaltung von Protokollen verwendet werden, und so weiter. In noch weiteren Ausführungsformen und/oder Szenarien können 3D-Positionen bestimmter nichtmenschlicher mobiler Vermögenswerte innerhalb der gemappten Umgebung verfolgt werden. So kann beispielsweise eine Einheit des Backend-Servers 14 3D-Positionen von mobilen Reaktoren, Karren, Felddienstfahrzeugen und/oder anderen Objekten für unterschiedliche Zwecke überwachen.
Es versteht sich, dass 1 und die obige Beschreibung nur einige mögliche Ausführungsformen darstellen und dass auch andere möglich sind. So kann z. B. die AR-Plattform keine Cloud-basierte Architektur oder webbasierte Dienste verwenden. Als weiteres Beispiel kann die Funktionalität einiger oder aller Einheiten 62 bis 68 des Backend-Servers 14 und/oder der AR-Datenbank 72 selbst, stattdessen ganz oder teilweise in das mobile AR-Gerät 12 integriert sein. Als ein weiteres Beispiel können Knotenmarker und/oder Knotenerlebnisse in einem Nicht-AR-Kontext geliefert werden, z. B. in einem Virtual Reality (VR)-Kontext oder in Verbindung mit Nicht-AR, Nicht-VR grafischen Benutzerschnittstellen (GUIs).
Darüber hinaus kann die AR-Plattform noch weitere Funktionen bieten, die oben nicht erläutert wurden. So können zum Beispiel Benutzer von AR-Mobilgeräten Feldnotizen (z. B. durch Sprachbefehle) hinzufügen, die in Verbindung mit verschiedenen Knoten/Objekten in der AR-Datenbank 72 gespeichert werden, und/oder können neue Arbeitsaufträge initiieren, die mit verschiedenen Knoten/Objekten verknüpft sind, und so weiter.
BEISPIEL PROZESSSTEUERUNGSUMGEBUNG
ist ein Blockschaltbild, einer exemplarischen Prozesssteuerungsumgebung 100, in der das AR-System 10 aus verwendet werden kann. Die Prozesssteuerungsumgebung 100 (die im Folgenden auch austauschbar als Prozesssteuerungssystem 100 oder Prozessanlage 100 bezeichnet wird) beinhaltet eine oder mehrere Prozesssteuerungen, die Signale empfangen, die Prozessmessungen von Feldgeräten angeben, diese Informationen verarbeiten, um eine Steuerroutine zu implementieren, und Steuersignale erzeugen, die über drahtgebundene und/oder drahtlose Kommunikationsverbindungen oder Netzwerke der Prozesssteuerung an andere Feldgeräte gesendet werden, um den Betrieb eines Prozesses in der Anlage 100 zu steuern. Typischerweise führt mindestens ein Feldgerät eine physikalische Funktion aus (z. B. Öffnen oder Schließen eines Ventils, wodurch ein Förderer Materialien bewegt, eine Temperatur steigt oder sinkt, eine Messung durchgeführt wird, einen Zustand erfasst usw.), um den Betrieb eines Prozesses zu steuern. Einige Arten von Feldgeräten kommunizieren mit Steuerungen über E/A-Geräte. Prozesssteuerungen, Feldgeräte und E/A-Geräte können drahtgebunden oder drahtlos sein, und jede beliebige Anzahl und Kombination von drahtgebundenen und drahtlosen Prozesssteuerungen, Feldgeräten und E/A-Geräten können in die Prozessanlagenumgebung oder das System 100 aufgenommen werden.
So zeigt beispielsweise eine Prozesssteuerung 111, die über die Ein-/Ausgabe-(E/A)-Karten 126 und 128 kommunikativ mit den verdrahteten Feldgeräten 115-122 verbunden ist. Die Prozesssteuerung 111 umfasst einen Prozessor 130, einen Speicher 132 und eine oder mehrere Prozesssteuerungsroutinen 138, die im Folgenden detaillierter erläutert werden. Die Steuerung 111 ist auch kommunikativ mit den drahtlosen Feldgeräten 140-146 über ein Prozesssteuerungs-Kommunikationsnetzwerk oder Backbone 110 und ein drahtloses Gateway 135 verbunden. Das Backbone 110 kann eine oder mehrere drahtgebundene und/oder drahtlose Kommunikationsverbindungen umfassen und kann mit jedem geeigneten Kommunikationsprotokoll, wie zum Beispiel einem Ethernet-Protokoll, implementiert werden. In einigen Konfigurationen (nicht in dargestellt) kann die Steuerung 111 über ein oder mehrere andere Kommunikationsnetzwerke als das Backbone 110 kommunikativ mit dem drahtloses Gateway 135 verbunden werden, wie beispielsweise über eine beliebige Anzahl anderer drahtgebundener oder drahtloser Kommunikationsverbindungen, die ein oder mehrere Kommunikationsprotokolle unterstützen, z. B. ein IEEE 802.11- konformes drahtloses lokales Netzwerkprotokoll, ein Mobilkommunikationsprotokoll (z. B. WiMAX, LTE, etc.), Bluetooth®, HART®, WirelessHART®, Profibus, FOUNDATION® Feldbus, etc.
Die Steuerung 111 (die beispielsweise die von Emerson Process Management verkaufte DeltaV™Steuerung sein kann) kann einen Batch-Prozess oder einen kontinuierlichen Prozess mithilfe von mindestens einigen der Feldgeräte 115-122 und 140-146 durchführen. In einer Ausführungsform ist die Steuerung 111 zusätzlich zur kommunikativen Verbindung mit dem Backbone 110 auch kommunikativ mit mindestens einigen der Feldgeräte 115-122 und 140-146 verbunden, unter Verwendung beliebiger Hard- und Software, die beispielsweise mit Standard 4-20 mA-Geräten, E/A-Karten 126, 128 und/oder einem geeigneten intelligenten Kommunikationsprotokoll wie dem FOUNDATION^® Feldbusprotokoll, dem HART^® Protokoll, dem WirelessHART^® Protokoll, etc. assoziiert sind. In sind die Steuerung 111, die Feldgeräte 115-122 und die E/A-Karten 126, 128 verdrahtete Geräte und die Feldgeräte 140-146 sind drahtlose Feldgeräte. Natürlich könnten sich die verkabelten Feldgeräte 115-122 und die drahtlosen Feldgeräte 140-146 an alle anderen gewünschten Normen oder Protokolle anpassen, wie beispielsweise alle geeigneten verkabelten oder drahtlosen Protokolle, sowie an alle geeigneten Standards oder Protokolle, die in Zukunft entwickelt werden.
Der Prozessor 130 der Prozesssteuerung 111 implementiert oder überwacht die eine oder mehreren Prozesssteuerungsroutinen oder Module 138, die im Speicher 132 gespeichert werden können. Zu diesem Zweck ist der Prozessor 130 konfiguriert, um mit den Feldgeräten 115-122 und 140-146 sowie mit anderen Knoten zu kommunizieren, die kommunikativ mit der Steuerung 111 verbunden sind. Es ist zu beachten, dass alle hierin beschriebenen Steuerroutinen oder Module Teile davon von verschiedenen Steuerungen oder anderen Vorrichtungen implementiert oder ausgeführt werden können, falls dies gewünscht wird. Ebenso können die Steuermodule 138, die innerhalb des Prozesssteuerungssystems 100 zu implementieren sind, jede Form annehmen, einschließlich Software, Firmware, Hardware usw. Steuerroutinen können in jedem beliebigen Softwareformat implementiert werden, wie z. B. durch objektorientierte Programmierung, Leiterlogik, sequenzielle Funktionspläne, Funktionsblockschaltbilder oder durch Verwendung irgendeiner anderen Softwareprogrammiersprache oder Designparadigma. Der Speicher 132, auf dem einige oder alle Steuermodule 138 gespeichert werden können, kann jede geeignete Art von Speicher oder Speichern sein, wie beispielsweise Direktzugriffsspeicher (RAM) und/oder Nur-LeseSpeicher (ROM). Außerdem können die Steuermodule 138 hartcodiert werden, beispielsweise in ein oder mehrere EPROMs, EEPROMs, anwendungsspezifische integrierte Schaltungen (ASICs) oder irgendwelche andere Hardware- oder Firmwareelemente. Somit kann die Steuerung 111 auf beliebige Weise konfiguriert werden, um eine Steuerstrategie oder eine Steuer-Routine/Modul zu implementieren.
Die Steuerung 111 implementiert eine Steuerungsstrategie unter Verwendung von sogenannten Funktionsblöcken, wobei jeder Funktionsblock ein Objekt oder ein anderer Teil (z. B. ein Unterprogramm) einer Gesamtsteuerungsroutine ist und in Verbindung mit anderen Funktionsblöcken (über Kommunikationen, sogenannte Links) arbeitet, um Prozessregelkreise innerhalb des Prozesssteuersystems 100 zu realisieren. Steuerungsbasierte Funktionsblöcke führen typischerweise eine von einer Eingangsfunktion aus, wie diejenige, die mit einem Transmitter, einem Sensor oder einer anderen Prozessparameter-Messvorrichtung verbunden ist; eine Steuerfunktion, wie diejenige, die mit einer Steuerroutine assoziiert ist, die eine PID-, Fuzzy-Logik- usw. Steuerung durchführt; oder eine Ausgangsfunktion, die den Betrieb einer Vorrichtung, wie beispielsweise einem Ventil oder Fördermotor, steuert, um eine physikalische Funktion innerhalb des Prozesssteuerungssystems 100 auszuführen. Natürlich gibt es Hybrid- und andere Arten von Funktionsblöcken. Funktionsblöcke können in der Steuerung 111 gespeichert und ausgeführt werden, was typischerweise der Fall ist, wenn diese Funktionsblöcke für Standard 4-20 mA-Geräte und bestimmte Arten von intelligenten Feldgeräten (z. B. HART^® Geräte) verwendet werden oder mit diesen verbunden sind, oder in den Feldgeräten selbst gespeichert und implementiert werden können, was bei FOUNDATION^® Feldbusgeräten der Fall sein kann. Das eine oder mehrere Steuermodule 138 in der Steuerung 111 können einen oder mehrere Regelkreise realisieren, die durch Ausführen eines oder mehrerer Funktionsblöcke ausgeführt werden.
Die verdrahteten Feldgeräte 115-122 können jede Art oder jeder Typ von Geräten sein, wie Sensoren, Ventile, Fördermotoren, Transmitter, Stellungsregler usw., während die E/A-Karten 126 und 128 jede Art von E/A-Geräten sein können die einem geeigneten Kommunikations- oder Steuerungskonzept entsprechen. Zum Beispiel können die Feldgeräte 115-118 Standardgeräte 4-20 mA oder HART^®-Geräte sein, die über analoge Leitungen (oder kombinierte analoge und digitale Leitungen) mit der E/A-Karte 126 kommunizieren, während die Feldgeräte 119-122 intelligente Geräte sein können, wie beispielsweise FOUNDATION^® Feldbus-Feldgeräte, die über einen digitalen Bus mit der E/A-Karte 128 mithilfe eines Kommunikationsprotokolls FOUNDATION^® Feldbus kommunizieren. In einigen Ausführungsformen kommunizieren jedoch zumindest einige der verdrahteten Feldgeräte 115-122 und/oder mindestens eine der E/A-Karten 126, 128 zusätzlich oder alternativ mit der Steuerung 111 unter Verwendung des Backbones 110 und eines geeigneten Steuerungsprotokolls (z. B. Profibus, DeviceNet, Foundation Feldbus, ControlNet, Modbus, HART, etc.).
In kommunizieren die drahtlosen Feldgeräte 140-146 über ein drahtloses Kommunikationsnetzwerk 170 zur Prozesssteuerung mit Hilfe eines drahtlosen Protokolls, wie beispielsweise dem WirelessHART^® Protokoll. Solche drahtlosen Feldgeräte 140-146 können direkt mit einem oder mehreren anderen Geräten oder Knoten des drahtlosen Netzwerks 170 kommunizieren, die ebenfalls für eine drahtlose Kommunikation konfiguriert sind. Um mit anderen Knoten zu kommunizieren, die nicht für die drahtlose Kommunikation konfiguriert sind, können die drahtlosen Feldgeräte 140-146 ein drahtloses Gateway 135 nutzen, das mit dem Backbone 110 oder einem anderen Kommunikationsnetzwerk der Prozesssteuerung verbunden ist. Das drahtlose Gateway 135 bietet vom Backbone 110 aus Zugriff auf verschiedene drahtlose Geräte 140-158 des drahtlosen Kommunikationsnetzes 170. Insbesondere stellt das drahtlose Gateway 135 eine kommunikative Kopplung zwischen den drahtlosen Geräten 140-158, den drahtgebundenen Geräten 115-122 und/oder anderen Knoten oder Geräten der Prozesssteuerungsanlage 100 her.
Ähnlich zu den drahtgebundenen Feldgeräten 115-122 übernehmen die drahtlosen Feldgeräte 140-146 des drahtlosen Netzwerks 170 physikalische Steuerungsfunktionen innerhalb der Prozessanlage 100, z. B. das Öffnen oder Schließen von Ventilen, das Messen von Prozessparametern, etc. Die drahtlosen Feldgeräte 140-146 sind jedoch so konfiguriert, dass sie über das drahtlose Protokoll des Netzwerks 170 kommunizieren. Somit können die drahtlosen Feldgeräte 140-146, das drahtlose Gateway 135 und andere drahtlose Knoten 152-158 des drahtlosen Netzwerks 170 Hersteller und Verbraucher von drahtlosen Kommunikationspaketen sein.
In einigen Konfigurationen der Prozessanlage 100 beinhaltet das drahtlose Netzwerk 170 nicht-drahtlose Geräte. In kann zum Beispiel ein Feldgerät 148 ein veraltetes 4-20 mA-Gerät sein und ein Feldgerät 150 ein verdrahtetes HART^® Gerät sein. Um innerhalb des Netzwerks 170 zu kommunizieren, werden die Feldgeräte 148 und 150 über je einen der Funkadapter 152A, 152B mit dem drahtlosen Kommunikationsnetzwerk 170 verbunden. Die Funkadapter 152A, 152B unterstützen ein drahtloses Protokoll, wie z. B. WirelessHART, und können auch ein oder mehrere andere Kommunikationsprotokolle wie Foundation^® Feldbus, PROFIBUS, DeviceNet, etc. unterstützen. Darüber hinaus beinhaltet das drahtlose Netzwerk 170 in einigen Konfigurationen einen oder mehrere Netzwerkzugangspunkte 155A, 155B, die separate physikalische Geräte in drahtgebundener Kommunikation mit dem drahtlosen Gateway 135 sein können oder die in das drahtlose Gateway 135 integriert sein können. Das drahtlose Netzwerk 170 kann auch einen oder mehrere Router 158 beinhalten, um Pakete zwischen drahtlosen Geräten innerhalb des drahtlosen Kommunikationsnetzwerks 170 zu übermitteln. Die drahtlosen Geräte 140-146 und 152-158 können miteinander und mit dem drahtlosen Gateway 135 über drahtlose Verbindungen 160 des drahtlosen Kommunikationsnetzes 170 und/oder über das Backbone 110 kommunizieren.
In beinhaltet das Prozesssteuersystem 100 eine oder mehrere Betreiberarbeitsplätze 171, die kommunikativ mit dem Backbone 110 verbunden sind. Über ein oder mehrere Betreiberarbeitsplätze 171 können menschliche Bediener den Laufzeitbetrieb der Prozessanlage 100 überwachen sowie sämtliche Diagnose-, Korrektur-, Wartungs- und/oder sonstige Maßnahmen ergreifen, die erforderlich sein könnten. Mindestens ein Teil der Bedienerarbeitsplätze 171 kann sich an verschiedenen, geschützten Bereichen in oder in der Nähe der Anlage 100 befinden, z. B. in einer Backend-Umgebung der Anlage 100, und in einigen Situationen können mindestens einige der Betreiberarbeitsplätze 171 entfernt platziert sein (aber dennoch in kommunikativer Verbindung mit der Anlage 100). Die Betreiberarbeitsplätze 171 können verkabelte oder drahtlose Computergerät sein.
Das Beispiel des Prozessleitsystems 100 ist in noch weiter veranschaulicht, da es eine oder mehrere Konfigurationsanwendungen 172A und eine oder mehrere Konfigurationsdatenbanken 172B beinhaltet, die jeweils auch kommunikativ mit dem Backbone 110 verbunden sind. Verschiedene Instanzen der Konfigurationsanwendung(en) 172A können auf einem oder mehreren Computergerät (nicht in dargestellt) ausgeführt werden, um Benutzern das Erstellen oder Ändern von Prozesssteuerungsmodulen zu ermöglichen und diese Module über das Backbone 110 auf die Prozesssteuerung 111 und/oder andere Prozesssteuerungen herunterzuladen, sowie um Benutzern das Erstellen oder Ändern von Betreiberschnittstellen zu ermöglichen, über die ein Betreiber Daten anzeigen und Dateneinstellungen innerhalb von Prozessregelungsroutinen ändern kann. Die Konfigurationsdatenbank(en) 172B speichern die konfigurierten Module und/oder Betreiberschnittstellen. Im Allgemeinen können die Konfigurationsanwendung(en) 172A und die Konfigurationsdatenbank(en) 172B zentralisiert sein und ein einheitliches logisches Erscheinungsbild für das Prozessleitsystem 100 aufweisen (obwohl mehrere Instanzen einer Konfigurationsanwendung 172A gleichzeitig innerhalb des Prozessleitsystems 100 ausgeführt werden können), und die Konfigurationsdatenbank(en) 172B können in einer einzigen physikalischen Datenspeichervorrichtung oder über mehrere Datenspeichervorrichtungen gespeichert werden. Die Konfigurationsanwendung(en) 172A, die Konfigurationsdatenbank(en) 172B und deren Benutzerschnittstellen (nicht in dargestellt) bilden zusammen ein Konfigurations- oder Entwicklungssystem 172 zum Erstellen/Konfigurieren von Steuerungs- und/oder Anzeigemodulen. Typischerweise, aber nicht unbedingt, unterscheiden sich die Benutzerschnittstellen für das Konfigurationssystem 172 von den Betreiberarbeitsplätzen 171, wobei die Betreiberschnittstellen für das Konfigurationssystem 172 stattdessen von Konfigurations- und Entwicklungsingenieuren genutzt werden, unabhängig davon, ob die Anlage 100 in Echtzeit arbeitet, und wobei die Betreiberarbeitsplätze 171 von den Betreibern während des Echtzeit- (oder „Runtime“-) Betriebs der Prozessanlage 100 genutzt werden.
Das exemplarische Prozesssteuersystem 100 beinhaltet auch eine oder mehrere Data-Historian-Anwendung(en) 173A und eine oder mehrere Data-Historian-Datenbank(en) 173B, die jeweils kommunikativ mit dem Backbone 110 verbunden sind. Die Data-Historian-Anwendung(en) 173A arbeiten, um einige oder alle über das Backbone 110 bereitgestellten Daten zu sammeln und diese in der Data-Historian-Datenbank(en) 173B zur Langzeitspeicherung zu speichern. Ähnlich wie die Konfigurationsanwendung(en) 172A und die Konfigurationsdatenbank(en) 172B können die Data-Historian-Anwendung(en) 173A und die Data-Historian-Datenbank(en) 173B zentralisiert sein und ein einheitliches logisches Erscheinungsbild für das Prozessleitsystem 100 aufweisen (obwohl mehrere Instanzen einer Data-Historian-Anwendung 173A gleichzeitig innerhalb des Prozesssteuersystems 100 ausgeführt werden können), und die Data-Historian-Datenbank(en) 173B können in einer einzigen physikalischen Datenspeichervorrichtung oder über mehrere Datenspeichergeräte gespeichert werden. Die Data-Historian-Anwendung(en) 173A, die Data-Historian-Datenbank(en) 173B und deren Benutzerschnittstellen (nicht in dargestellt) bilden zusammen ein Data-Historian-System 173.
In einigen Konfigurationen umfasst das Prozesssteuersystem 100 einen oder mehrere andere drahtlose Zugangspunkte 174, die mit anderen Geräten über andere drahtlose Protokolle kommunizieren, wie beispielsweise IEEE 802.11- konforme drahtlose lokale Netzwerkprotokolle, mobile Kommunikationsprotokolle wie WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution) oder andere ITU-R (International Telecommunication Union Radiocommunication Sector) kompatible Protokolle, kurzwellige Funkkommunikation wie Near Field Communications (NFC) oder Bluetooth und/oder andere drahtlose Kommunikationsprotokolle. Typischerweise ermöglichen derartige drahtlose Zugangspunkte 174 die Kommunikation von Handheld- oder anderen tragbaren Rechengeräten (z. B. Benutzerschnittstellengeräten 175) über ein entsprechendes drahtloses Kommunikationsnetzwerk zur Prozesssteuerung, das sich vom drahtlosen Netzwerk 170 unterscheidet und ein anderes drahtloses Protokoll als das drahtlose Netzwerk 170 unterstützt. Zum Beispiel kann ein drahtloses oder tragbares Benutzerschnittstellengerät 175 ein mobiler Arbeitsplatz oder ein Diagnosetestgerät sein, das von einem Betreiber innerhalb der Prozessanlage 100 verwendet wird (z. B. eine Instanz eines der Betreiberarbeitsplätze 171). In einigen Szenarien kommunizieren neben tragbaren Rechengeräten auch eine oder mehrere Prozesssteuergeräte (z. B. Steuerung 111, Feldgeräte 115-122, drahtlose Geräte 135, 140-158 usw.) über das von den drahtlosen Zugangspunkten 174 unterstützte drahtlose Protokoll.
Es wird darauf hingewiesen, dass, obwohl nur eine einzelne Prozesssteuerung 111 und eine bestimmte Anzahl von Feldgeräten 115-122 und 140-146, drahtlose Gateways 35, Funkadapter 152, Zugangspunkte 155, Router 1158 und drahtlose Prozesssteuerungskommunikationsnetzwerke 170 veranschaulicht, die in der exemplarischen Prozessanlage 100 enthalten sind, dies nur eine illustrative und nicht einschränkende Ausführungsform ist. Z. B. kann eine beliebige Anzahl von Steuerungen 111 in die Prozesssteuerungsanlage oder das System 100 einbezogen werden, und jede der Steuerungen 111 kann mit einer beliebigen Anzahl von drahtgebundenen oder drahtlosen Geräten und Netzwerken 115-122, 140-146, 135, 152, 155, 158 und 170 kommunizieren, um einen Prozess in der Anlage 100 zu steuern.
Mit Rückbezug auf können die mit AR-Mobilgeräten (z. B. AR-Mobilgerät 12) gemappten Objekte einige oder alle Steuerungen 111, die Geräte 115-122 und 140-158, die E/A-Karten 126, 128, das drahtlose Gateway 135 und/oder andere Geräte und/oder Einzelteile von Vorrichtungen in der Anlage 100 beinhalten, sodass ihre 3D-Positionen innerhalb der Anlage 100 (und möglicherweise ihre Beziehungen zueinander, ihre Avatare usw.) in der AR-Datenbank 72 gespeichert werden. In einigen Ausführungsformen kann der Backend-Server 14 kommunikativ mit dem Backbone 110 gekoppelt werden, und die anderen Server 18 können die Betreiberarbeitsplätze(en) 171, das Konfigurationssystem 172, das Data-Historian-System 173 und/oder andere Rechengeräte oder -systeme der Prozesssteuerungsumgebung 100 umfassen oder mit diesen gekoppelt sein.
Die Anwendung(en) 19, die von den Servern 18 ausgeführt wird, kann/können eine oder mehrere DeltaV™ Anwendungen, Diagnose- und Wartungsanwendungen und/oder andere Anwendungen oder softwarebasierte Systeme umfassen. Die Anwendung(en) 19 können daher Knotenerlebnisse unterstützen, die den Laufzeitstatus und/oder die Messdaten von Feldgeräten anzeigen, Laufzeitkontrollen für Feldgeräte bereitstellen, Diagnose-/Wartungsinformationen für Maschinen anzeigen und so weiter. Nur als ein Beispiel können HART®- und/oder Feldbusinformationen, die verschiedenen Geräten zugeordnet sind, dem Benutzer des AR-Mobilgeräts 12 präsentiert werden. Die Erlebnisbereitstellungseinheit 62 kann die jeweilige(n) Anwendung(en) 19 (z. B. über das Backbone 110) starten und/oder mit ihr koppeln, um die erforderlichen Anzeigedaten zu sammeln, die dann an das Knotenerlebnis-Modul 46 übermittelt werden. Zusätzlich oder stattdessen kann die Erlebnisbereitstellungseinheit 62 alle Benutzereingaben, die vom Knoten-Erlebnismodul 46 empfangen wurden, an die Steuerung 111 weiterleiten, um eine entsprechende Steuerung der jeweiligen Feldgeräte zu veranlassen, etc.
Beispiel 3D-Karte
Es ist aus der Beschreibung von oben zu entnehmen, dass die 3D „Karte“ des AR-Systems 10 kein vollständiges Modell der Umgebung sein muss und nur 3D-Positionen von Knoten innerhalb dieser Umgebung beinhalten darf. In ist eine stark vereinfachte exemplarische 3D-Karte 200 dargestellt, die nur vier Objekte/Knoten enthält. In entspricht die z-Achse der Erhebung (z. B. über Grund). Wie bereits erwähnt, kann eine Landmarkenposition 202 einen Bezugspunkt für alle anderen Standorte (z. B. Knoten- und Benutzer-/AR-Gerätepositionen) in der Umgebung liefern.
In der Beispielkarte 200 liegt eine erste Position 204 eines ersten Objekts/Knotens geringfügig über (in der Erhebung) der Landmarkenposition 202 am Versatz {xl,yl,zl}, zweite und dritte Positionen 206, 208 von zweiten und dritten Objekten/Knoten sind jeweils noch etwas höher an den Versätzen {x2,y2,z2} und {x3,y3,z3}, und eine dritte Position 210 von einem dritten Objekt/Knoten ist noch höher an dem Versatz {x4,y4,z4}. Natürlich können in einigen Szenarien die Versätze in x-, y- und/oder z-Richtungen für bestimmte Objekte/Knoten negativ sein.
Innerhalb der Karte 200 entspricht ein Standort 220 bei {x5,y5,z5} einem aktuellen Standort eines AR-Mobilgeräts, wie beispielsweise dem AR-Mobilgerät 12 aus . zeigt außerdem in gestrichelten Linien ein Sichtfeld 222 des AR-Mobilgeräts, das einer bestimmten Ausrichtung des Geräts entspricht. Das Sichtfeld 222 kann durch das Positionierungs- und Ausrichtungsmodul 44 von beispielsweise mithilfe von Sensordaten aus der IMU 26 (und möglicherweise Bilddaten von der Kamera 26, z. B. mit VIO-Technologie) und einem bekannten azimutalen Bereich/Winkel der Kamera 26 bestimmt werden. Obwohl in nicht dargestellt, kann das Positionierungs- und Ausrichtungsmodul 44 auch die Ausdehnung des Sichtfeldes 222 in z-Richtung erkennen, z. B. so, dass das Sichtfeld 222 eine kegelartige Form aufweist, anstatt eine unendliche Abdeckung in z-Richtung anzunehmen.
In diesem Beispielszenario befinden sich die Objekte an den Standorten 206 und 208 im aktuellen Sichtfeld 222 des Geräts/Benutzers, wohingegen die Objekte an den Standorten 204 und 210 nicht enthalten sind. Die Erlebnisbereitstellungseinheit 62 in kann diese Bestimmung beispielsweise basierend auf den Knotenpositionen (wie in der AR-Datenbank 72 gespeichert), dem Standort 220 und der Ausrichtung des AR-Mobilgeräts (wie durch das Positionierungs- und Orientierungsmodul 44 ermittelt und über die Webservice-Schnittstelle 60 weitergeleitet) und den bekannten oder geschätzten Eigenschaften des Sichtfeldes für die Kamera 24 vornehmen. Auf Basis der Bestimmung, welche Objekte/Knoten sich im Sichtfeld 222 befinden, kann die Erlebnisbereitstellungseinheit 62 Daten an das AR-Mobilgerät 12 senden, die anzeigen, dass eine Knotenmarkierung (und/oder ein bestimmtes Knotenerlebnis) nur für die Objekte an den Standorten 206 und 208 dargestellt werden soll. Das Knotenerlebnis-Modul 46 kann diese Daten bearbeiten und daraufhin Knotenmarker und/oder andere Informationen an oder in der Nähe von Punkten auf dem Display 22, die die Standorte 206 und 208 entsprechen, überlagern.
Beispiel AR Benutzerschnittstellen
Eine Reihe von exemplarischen Benutzerschnittstellen, die einem AR-Display überlagert werden können (z. B. die Anzeige 22 des AR-Mobilgeräts 12 in ), wird jetzt in Verbindung mit den bis beschrieben. Um die Erläuterung zu erleichtern, wird auch auf das AR-System 10 in verwiesen, obwohl die dargestellten Benutzerschnittstellen stattdessen in anderen Systemen verwendet werden können. Bei Benutzerschnittstellen, bei denen Benutzerauswahlen vorgenommen werden können, kann die Auswahl durch den Benutzer getroffen werden, indem er direkt auf eine bestimmte Menüoption schaut (z. B. wenn die Benutzerschnittstellen eine feste Position in Bezug auf die Umgebung und nicht eine feste Position in Bezug auf die Mitte des Displays 22 haben). In anderen Ausführungsformen kann die Auswahl durch den Benutzer mit einem entsprechenden Sprachbefehl, der Eingabe von Daten auf einer Tastatur oder einem Touchscreen oder auf andere geeignete Art und Weise erfolgen.
Bezogen zuerst auf , ermöglicht eine Benutzerschnittstelle 200 dem Benutzer die Auswahl einer bestimmten „Rolle“, wie zuvor in Verbindung mit erläutert. Die Benutzerschnittstelle 200 kann dem Benutzer beim Start der AR-Anwendung 32 oder zu einem anderen passenden Zeitpunkt angezeigt werden. Die AR-Anwendung 32 kann die verfügbaren Rollen a Apriori kennen oder über die verfügbaren Rollen informiert werden, wenn sie den Backend-Server 14 über die Webservice-Schnittstelle 60 abfragt. Sobald eine Rolle ausgewählt wurde, kann das Rollenidentifikationsmodul 40 Daten, die die Rolle anzeigen, über die Webservice-Schnittstelle 60 an den Backend-Server 14 senden. Die Erlebnisbereitstellungseinheit 62, die Alarmgenerierungseinheit 68 und/oder andere Komponenten des Backend-Servers 14 können dann die ausgewählte Rolle nutzen, um geeignete Knoten zur Augmentierung, geeignete Arten von Erlebnis und/oder Inhalten zur Bereitstellung bestimmter Knoten usw., wie vorstehend erläutert, zu ermitteln.
stellt eine Benutzerschnittstelle 220 dar, die als Knotenmarkierung für jedes einzelne oder alle Objekte im aktuellen Sichtfeld des Benutzers dienen kann (vorbehaltlich aller anderen Kriterien, wie z. B. Nähe oder Benutzerrolle). Die beispielhafte Benutzerschnittstelle 220 beinhaltet ein Symbol (umkreist „X“) und einen Deskriptor („StatusWord“), die einen Status des Objekts/Knotens, einen Knotennamen (z. B. eine Gerätekennung innerhalb einer Prozesssteuerungsanlage, wie „ESD-3“, etc.), eine kurze Beschreibung des Knotens (z. B. „Not-Aus-Schalter“, etc.) und eine vertikale Linie, die von diesen Informationen zu einem Vollfüllkreis an der Unterseite der Benutzerschnittstelle 220 führt. Der Vollfüllkreis (oder ein anderer Indikator) kann auf die Position {x,y,z} des entsprechenden Objekts innerhalb der realen Ansicht des Benutzers platziert werden, z. B. an den realen Standort {x,y,z}, auf den sich der Benutzer (oder ein anderer Benutzer) beim Hinzufügen des Knotens zur 3D-Karte fokussiert hat. Der Text und die Linie können sich nach Bedarf drehen, um mit der vertikalen Achse des AR-Mobilgeräts 12 und des Benutzers ausgerichtet zu bleiben, oder sie werden beispielsweise immer mit der z-Achse ausgerichtet.
Das Statussymbol und der Deskriptor können angeben, ob eine Maßnahme in Bezug auf das Objekt getroffen werden soll und/oder ob eine Gefahr in Bezug auf das Objekt vorliegt. Z. B. kann das in eingekreiste „X“ einem Status von „Kritisch“ entsprechen, das „!“ in einem Dreieck einem Status von „Warnung“, das „i“ in einem Diamanten einem Status von „Beratung“, und kein Symbol darf mit einem Status von „Normal“ korrespondieren. Obwohl eine Reihe möglicher Statussymbole zeigt, ist es verständlich, dass die Benutzerschnittstelle 220 für diese spezielle Ausführungsform und/oder dieses Szenario nur das umrandete „X“-Symbol enthält. Der für ein bestimmtes Objekt/Knoten beschriebene Status und die Bedeutung dieses Status können je nach Rolle des Benutzers variieren.
Die Knotenmarkierung (d. h. in der Text, die Linie und der Vollfüllkreis) der Benutzerschnittstelle 220 kann mit Abstand von dem AR-Mobilgerät 12 in ihrer Größe skaliert werden, sodass nähere Objekte größere Knotenmarkierungen aufweisen und entferntere Objekte kleinere Knotenmarkierungen besitzen. In einigen Ausführungsformen enthält die Benutzerschnittstelle 220 weitere Informationen, z. B. durch Zusatztexte, zusätzliche Grafiken und/oder Farbcodierung (z. B. roter Text und Zeile für den Status „Kritisch“, grüner Text und Zeile für den Status „Normal“, etc.), zum Beispiel.
stellt eine Benutzerschnittstelle 240 dar, die erscheinen kann, nachdem eine Benutzerrolle auf der Benutzerschnittstelle 200 ausgewählt wurde, oder zu einem anderen geeigneten Zeitpunkt. Das Symbol „+“ in der Benutzerschnittstelle 240 kann vom Benutzer ausgewählt werden, um einen neuen Knoten zur 3D-Karte hinzufügen, wie vorstehend in Verbindung mit erläutert wurde. Das Helmsymbol kann vom Benutzer gewählt werden, um eine andere Rolle auszuwählen, und das dritte Symbol kann vom Benutzer gewählt werden, um bestimmte Einstellungen zu verwalten, wie nachfolgend erläutert. Das rechteckige Feld in der Benutzerschnittstelle 240 kann Systemmeldungen an den Benutzer anzeigen. Zum Beispiel kann das Nachrichtenfeld verwendet werden, um Alarme anzuzeigen, die von der Alarmgenerierungseinheit 68 und/oder dem positionsbasierten Alarmmodul 52 erzeugt wurden.
stellt eine Benutzerschnittstelle 260 dar, die erscheinen kann, wenn der Benutzer das Einstellungssymbol in der Benutzerschnittstelle 240 wählt. Wie in dargestellt kann der Benutzer mit der Benutzerschnittstelle 260 den Namen oder die Kennung des AR-Mobilgeräts 12, die Landmarken-Kennung und einen Namen oder eine IP-Adresse des Backend-Servers 14 ändern. Einige oder alle diese Werte können von dem AR-Mobilgerät 12 verwendet werden, wenn z. B. Webservice-Aufrufe an die Webservice-Schnittstelle 60 erfolgen.
zeigt eine einfache Benutzerschnittstelle 280, die erscheinen kann, wenn der Benutzer das Symbol „+“ (Knoten hinzufügen) in der Benutzerschnittstelle 240 wählt. In diesem Beispiel ist die Benutzerschnittstelle 280 einfach ein Fadenkreuz (z. B. in der Mitte des Displays 22 des Benutzers), das der Benutzer an jeden beliebigen Standort in der realen Umgebung zentrieren kann, wenn er sich einfach umsieht (z. B. wenn das AR-Mobilgerät 12 ein AR-Helm oder eine AR-Brille oder eine Smart Brillen ist), oder wenn er die Kamera 24 des AR-Mobilgeräts 12 anderweitig ausrichtet (z. B. wenn es ein Tablett oder Smartphone ist). Das Knotenerstellungsmodul 48 der AR-Anwendung 32 kann verlangen, dass der Benutzer bestätigt, wann das Fadenkreuz richtig platziert ist (z. B. durch Erteilen eines Sprachbefehls), oder kann eine angemessene Platzierung annehmen, wenn sich das Sichtfeld der Kamera 24 für eine bestimmte Schwellenzeit nicht wesentlich ändert, etc.
stellt eine Benutzerschnittstelle 300 dar, die angezeigt werden kann, nachdem der Benutzer das Fadenkreuz der Benutzerschnittstelle 280 platziert hat und nachdem das Positionierungs- und Ausrichtungsmodul 44 die notwendigen Positions- und/oder Orientierungsinformationen für das Platzieren des neuen Objekts/Knotens bestimmt hat (z. B. die Position des AR-Mobilgeräts 12, die Ausrichtung des Geräts 12 und der Abstand von dem Gerät 12 zum Objekt). Die exemplarische Benutzerschnittstelle 300 umfasst ein Textfeld, in dem der Benutzer einen Knotennamen und/oder eine Knotenbeschreibung eingeben kann. Alternativ können einige oder alle dieser Informationen per Sprachbefehl übermittelt werden (z. B. wenn der Benutzer das Mikrofonsymbol wählt). In anderen Ausführungsformen kann der Knotenname und/oder die Beschreibung durch Verarbeitung eines Bildes von einem Teil des Objekts unter Verwendung der OCR-Technologie (Optical Character Recognition) bestimmt werden. Zum Beispiel kann der Benutzer die Kamera 24 auf ein Etikett oder Tag ausrichten, das auf dem Objekt angebracht ist und eine Seriennummer, Modellnummer oder eine andere Kennung umfasst. Der Identifikator kann dann über die Webservice-Schnittstelle 60 an den Backend-Server 14 gesendet werden, um mit den auf dem Backend-Server 14 gespeicherten Informationen zu vergleichen oder in einem anderen System oder einer anderen Datenbank (z. B. einem der anderen Server 18) gespeichert zu werden, um den Knotennamen und/oder die Beschreibung zu ermitteln.
stellt eine Benutzerschnittstelle 320 dar, die für ein bestimmtes Objekt/Knoten auftreten kann, wenn der Benutzer dieses Objekt/Knoten ausgewählt hat (z. B. durch Auswahl des Knotenmarkers der Benutzerschnittstelle 220). Die Benutzerschnittstelle 320 kann durch das Knotenerlebnismodul 46 generiert werden, basierend auf Daten, die verfügbare Erlebnisse für den Knoten anzeigen, die beispielsweise durch die Erlebnisbereitstellungseinheit 62 des Backend-Servers 14 bereitgestellt werden. Die beispielhafte Benutzerschnittstelle 320 enthält den Knotennamen und die Beschreibung, die auf dem Knotenmarker in der Benutzerschnittstelle 220 gezeigt wurden, sowie zwei rechteckige Felder. Der Vollfüllkreis am unteren Ende der Benutzerschnittstelle 320 kann an der gleichen Position auf dem Objekt (innerhalb der realen Ansicht) bleiben, an welcher es sich in der Benutzerschnittstelle 220 befand. Ein erster, „arbeitender“ Bereich, der in als leeres Rechteck dargestellt ist, kann weitere Informationen zu dem ausgewählten Objekt/Knoten zeigen, wie Statusinformationen für das Objekt, detaillierte Warninformationen für das Objekt usw. (z. B. abhängig von der Art der bereitgestellten Knotenerfahrung und/oder der Rolle des Benutzers).
Der Benutzer kann die gewünschte Art der Knotenerfahrung aus dem zweiten Bereich auswählen und diejenigen auflisten, die für den Knoten (und gegebenenfalls für die Rolle des Benutzers) verfügbar sind. Wie in zu sehen ist, sind in diesem Beispiel folgende Knotenerlebnisse verfügbar: „Mehr Info“ (z. B. um zusätzliche Arten von textbasierter Information in dem Arbeitsbereich bereitzustellen), „Verbindungen“ (z. B. um physikalische oder logische Verbindungen zu anderen Objekten/Knoten anzuzeigen, wie unten in Verbindung mit erläutert), „Info Link“ (z. B. um im Arbeitsbereich Informationen aus einem „Hilfe“-Dokument, Lehrvideo oder einer anderen Webseite unter einer bestimmten URL anzuzeigen), „untergeordnete Objekte“ (z. B. um im Arbeitsbereich Beziehungen zu anderen Objekten/Knoten anzuzeigen, die als „Kinder“ des ausgewählten Objekts/Knotens verwandt sind), „Prozesswerte“ (z. B. um im Arbeitsbereich Prozesswerte anzuzeigen, die von einem der anderen Server(n) 18 und Anwendung(en) 19) erhalten wurden, und „Arbeitsauftrag“ (z. B. um im Arbeitsbereich den Text eines Arbeitsauftrags anzuzeigen, der dem ausgewählten Objekt/Knoten zugeordnet ist).
stellt eine Benutzerschnittstelle 340 dar, die erscheint, wenn der Benutzer das „Verbindungen“ Symbol in der Benutzerschnittstelle 320 gewählt hat. Für die Benutzerschnittstelle 340 erbringt das Knotenerlebnismodul 46 eine Linie zwischen der {x,y,z}-Position des aktuell ausgewählten Objekts/Knotens und der {x,y,z}-Position eines Objekts/Knotens, mit dem das aktuell ausgewählte Objekt/Knoten physikalisch und/oder logisch verbunden ist (z. B. wie oben in Verbindung mit beschrieben). Der Vollfüllkreis am unteren Ende der Benutzerschnittstelle 340 kann sich an der ersten Position befinden, während der Vollfüllkreis am oberen Ende der Benutzerschnittstelle 340 sich an der zweiten Position befinden kann. Die relativen Positionen der Vollfüllkreise können sich natürlich je nach Szenario ändern (z. B. kann der Kreis für das ausgewählte Objekt/Knoten in der realen Ansicht höher erscheinen als der Kreis für das verbundene Objekt/Knoten).
In der Ausführungsform von stellt das Knotenerlebnismodul 46 die Verbindungslinie in drei Segmenten dar: ein erstes Segment zum Anzeigen des Abstands und der Richtung entlang der y-Achse (beginnend mit dem aktuell ausgewählten Objekt/Knoten), ein zweites Segment zum Anzeigen des Abstands und der Richtung entlang der x-Achse (beginnend mit dem Ende des ersten Segments) und ein drittes Segment zum Anzeigen des Abstands und der Richtung entlang der z-Achse (beginnend mit dem Ende des zweiten Segments) und endend bei dem verbundenen Objekt/Knotenpunkt. Die Liniensegmente können farblich kodiert, nach Linienformat (gestrichelt, durchgezogen usw.) und/oder auf andere Weise kodiert werden, um zusätzliche Informationen bereitzustellen (z. B. eine rote Linie zur Kennzeichnung einer derzeit nicht funktionierenden Kommunikationsverbindung). In anderen Ausführungsformen kann die Verbindung anders dargestellt werden, z. B. als ein einzelnes Liniensegment zwischen den Objekten/Knoten (z. B. wenn die Linie breiter oder schmaler wird, um die Entfernung zum Benutzer zu verdeutlichen). In verschiedenen Ausführungsformen können Verbindungen zu mehreren verschiedenen Objekten/Knoten in der Benutzerschnittstelle 340 dargestellt werden, oder der Benutzer muss jede einzelne Verbindung auswählen, für die eine Visualisierung gewünscht ist.
Beispiel AR-Datenbank
Die und stellen zusammen eine Datenbankstruktur 400 dar, die von der AR-Datenbank 72 von verwendet werden kann (z. B. bei Verwendung in der Prozesssteuerungsumgebung 100 von ). In der Datenbankstruktur 400 stellt jede Box eine Tabelle dar, die in der AR-Datenbank 72 gespeichert werden kann, wobei die obere Zeile jeder Box der Tabellenname ist (z. B. „Knoten“, „KnotenStatus“, usw.). Die Tabellen sind über Primärschlüssel verknüpft, die in den und jeweils durch ein Schlüsselsymbol und die Buchstaben „PK“ gekennzeichnet sind.
Die Datenbankstruktur 400 ermöglicht ein effizientes Querverweisen von Datenelementen und ermöglicht Benutzer- und Systemaktualisierungen, ohne bestehende Verbindungen zu unterbrechen oder umfangreiche Aktualisierungen zu erfordern. So ermöglicht beispielsweise die Verwendung des Primärschlüssels „Knoten-ID“ dem Benutzer, den „Knotennamen“ für einen bestehenden Knoten zu ändern, ohne weitere, verknüpfte Tabellen aktualisieren zu müssen. Die Tabelle „GetOPCDA“ in kann das oben beschriebene Knotenerlebnis „Prozesswerte“ in Verbindung mit entsprechen.
Beispiel verbesserte virtuelle Vision
Die und beziehen sich auf Ausführungsformen, in denen eine AR-Plattform (z. B. durch das AR-System 10 in geliefert) liefert Eigenschaften, die das „virtuelle Sehen“ des Benutzers verbessern. zeigt ein spezifisches Szenario, in dem ein „virtuelles Röntgenbild“ (siehe oben in Verbindung mit ) verwendet wird, um in einen geschlossenen Schrank innerhalb einer Prozesssteuerungsumgebung zu „sehen“ (z.B, innerhalb der Prozesssteuerungsumgebung 100 von 2), während die und ein spezifisches Szenario zeigen, in dem ein „Avatar“ (ebenfalls oben in Verbindung mit 1 erläutert) für ein Sensor-/Sendegerät vorgesehen ist, der sich in einem begrenzten Zugangsbereich (z. B. schwer zugänglichen oder gefährlichen) der Prozesssteuerungsumgebung befindet, und/oder vom aktuellen Standort des Benutzers entfernt ist.
Unter Berufung auf das Beispiel von kann ein geschlossener (und möglicherweise verriegelter) Schrank 500 eine Reihe von Innenkomponenten (in nicht zu sehen) enthalten, wie beispielsweise E/A-Karten, Schutzschalter usw. Wenn eines der oben in Verbindung mit genannten Kriterien erfüllt ist (z. B. die Innenkomponenten befinden sich in einem Sichtfeld des AR-Mobilgeräts 12 und in einem Schwellenabstand, und/oder der Schrank 500 wird vom Benutzer ausgewählt, usw.), und wenn der Schrank 500 so bestimmt ist, dass er verdeckte Objekte/Knoten enthält (auch wie oben beschrieben, z.B, basierend auf einer bekannten Beziehung zwischen dem Schrank und den Innenkomponenten und/oder durch Scannen des QR-Codes usw.), kann das Sehverbesserungsmodul 50 aus eine Benutzerschnittstelle 520 der realen Sicht des Benutzers überlagern.
Die Benutzerschnittstelle 520 beinhaltet eine Darstellung 522 der Innenkomponenten. Die Darstellung 522 kann ein Abbild der tatsächlichen Komponenten im Schrank 500 in ihrer tatsächlichen Anordnung gegeneinander sein. In weiteren Ausführungsformen beinhaltet die Darstellung 522 hyper- oder pseudorealistische grafische Darstellungen der Komponenten (z. B. 3D-Modelle, 2D-Modelle usw.), entweder einzeln oder in einer Weise, die ihre relative Anordnung im Schrank 500 wiedergibt. In beiden Fällen kann die Darstellung 522 dem Benutzer ein AR-Erlebnis bieten, ähnlich dem, das er beim Betrachten der eigentlichen Innenteile erleben würde.
Die Benutzerschnittstelle 520 kann in der realen Ansicht des Benutzers direkt über den Schrank 500 überlagert und entsprechend skaliert werden, um die Darstellung 522 auf die tatsächlichen Positionen der versteckten Innenteile auszurichten. Alternativ kann die Benutzerschnittstelle 520 gegenüber dem Schrank 500 in der realen Ansicht des Benutzers versetzt sein, gegebenenfalls durch eine Leitung oder ein anderes Mittel verbunden.
Die Darstellung 522 kann oder auch nicht Knotenmarkierungen (z. B. ähnlich der Benutzerschnittstelle 220 von 4B) für einzelne der internen Komponenten beinhalten, sofern diese Komponenten zuvor gemappt wurden. Darüber hinaus kann die Benutzerschnittstelle 520 dem Benutzer ermöglichen, durch Auswahl eines solchen Knotenmarkers, durch Auswahl der Darstellung 522 selbst oder durch Ausgabe eines geeigneten Sprachbefehls, verschiedene Knotenerlebnisse zu selektieren. Die Darstellung 522 oder die Benutzerschnittstelle 520 kann auch ein Steuerelement (z. B. ein „X“ in einer Ecke) beinhalten, das der Benutzer auswählen kann, um die Darstellung 522 aus seiner Sicht zu deaktivieren, oder es kann ein geeigneter Sprachbefehl verwendet werden.
Bezogen nun auf beinhaltet ein Richtungsanzeiger 550 eine Darstellung eines bestimmten Objekts (hier eine Sensor-Transmitter) zusammen mit einem Pfeil, der die allgemeine Richtung des Objekts in Bezug auf die reale Ansicht des Benutzers anzeigt. Das Sehverbesserungsmodul 50 von kann den Fahrtrichtungsanzeiger 550 über die reale Ansicht des Benutzers überlagern, als Antwort auf eine der oben beschriebenen Bedingungen (in Verbindung mit ) in Bezug auf Avatare von entfernten und/oder schwer zugänglichen Objekten, zum Beispiel. Die Darstellung des Gerätes im Beispiel Richtungsanzeiger 550 ist ein realistisches Modell oder Bild, wobei natürlich auch andere Formate möglich sind (z. B. Kontur, Animation, Video, etc.).
Wenn der Benutzer den Richtungsindikator 550 auswählt, kann das Sehverbesserungsmodul 50 der realen Ansicht des Benutzers einen „Avatar“ 560 überlagern, wie in dargestellt ist. Während der in gezeigte Avatar 560 identisch mit der Darstellung des Objekts im Richtungsanzeiger 550 ist, in anderen Ausführungsformen ist der Avatar 560 detaillierter und/oder realistischer als die Darstellung (falls vorhanden) im Richtungsanzeiger 550. Ähnlich wie in der Darstellung 522 in , kann der Avatar 560 dem Benutzer ein AR-Erlebnis bieten, das dem entspricht, was er hätte, wenn er das eigentliche Objekt (hier Sensor-Transmitter) in unmittelbarer Nähe betrachtet. Tatsächlich kann das virtuelle Röntgenbild in , wie bereits erwähnt, einfach ein Sonderfall der in dargestellten Sehverbesserung sein, wobei die Darstellung 522 in eine Sammlung von Avataren für die verschiedenen Komponenten ist, die in dem Schrank 510 eingeschlossen sind.
Wenn der Benutzer den Avatar 560 auswählt oder einen entsprechenden Sprachbefehl auslöst, kann das Sehverbesserungsmodul 50 eine Benutzerschnittstelle 570 in der Nähe des Avatars 560 in der realen Ansicht des Benutzers überlagern. Alternativ kann die Benutzerschnittstelle 570 standardmäßig mit dem Avatar 560 dargestellt werden, ohne dass eine Benutzerauswahl des Avatars 560 oder ein Sprachbefehl erforderlich ist. Die beispielhafte Benutzerschnittstelle 570 von entspricht einer Knotenerlebnis, die Prozesswerte (hier Sensormesswerte) bereitstellt und dem Benutzer, die Steuerung des Geräts ermöglicht (hier durch Einleiten eines Kalibriervorgangs). Um dieses Knotenerlebnis zu ermöglichen, kann die Erlebnisbereitstellungseinheit 62 von mit einer oder mehreren der Anwendungen 19 kommunizieren, die von dem/den anderen Server(n) 18 ausgeführt werden, wie bereits zuvor erläutert. So kann zum Beispiel die Erlebnisbereitstellungseinheit 62 bewirken, dass eine Prozesssteuerungsanwendung gestartet wird oder mithilfe einer API, etc. mit einer ausführenden Prozesssteuerungsanwendung verbunden wird.
Beispiel 3D-Kartierungsverfahren
zeigt ein Beispielverfahren 600 zum Mapping einer realen Prozesssteuerungsumgebung (z. B. Prozesssteuerungsumgebung 100 aus ) unter Verwendung eines mobilen Gerätes. Das Verfahren 600 kann beispielsweise mit dem AR-Mobilgerät 12 aus oder mit einem anderen geeigneten Mobilgerät durchgeführt werden. In einigen Ausführungsformen kann ein mobiles Gerät ohne AR-Funktion verwendet werden.
Das mobile Gerät wird bei Block 602 an einer Referenz- oder „Landmarken“-Standort in der Prozesssteuerungsumgebung registriert. Die Registrierung kann die Verwendung einer Kamera des mobilen Geräts (z. B. Kamera 24 aus ) zum Scannen einer visuellen Darstellung eines Codes (z. B. eines QR-Codes oder eines anderen Bildes) das sich am Bezugsort befindet, beinhalten. Der Code kann beispielsweise an einer Wand (z. B. auf einem Schild oder Plakat) angebracht sein.
Bei Block 604 wird mindestens eine IMU (Inertiale Messeinheitseinheit) des mobilen Geräts (z. B. die IMU 26 von ) verwendet, um 3D-Positionen des mobilen Geräts relativ zum Referenzstandort zu verfolgen und Ausrichtungen des mobilen Geräts zu verfolgen, wenn das mobile Gerät vom Benutzer durch die Prozesssteuerungsumgebung bewegt wird. Block 604 kann unbegrenzt fortgesetzt werden (z. B. gleichzeitig mit den Blöcken 606 bis 610), bis der Benutzer das AR-Erlebnis beendet (z. B. durch Ausschalten des mobilen Geräts oder durch Schließen einer auf dem mobilen Gerät laufenden Anwendung usw.). Die Verfolgung bei Block 604 kann auch die Kamera des Mobilgeräts verwenden. So kann beispielsweise die VIO-Technologie verwendet werden, um die Position und Ausrichtung des mobilen Geräts zu verfolgen.
Bei Block 606 wird eine Benutzereingabe, die anzeigt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll, auf dem mobilen Gerät erfasst. Die Benutzereingabe kann ein Benutzer-Sprachbefehl (z. B. „Knoten hinzufügen“) oder eine Benutzerauswahl einer Menüoption sein (z. B. durch Fokussierung der Kamera des Mobilgeräts auf einen bestimmten Standort oder durch Eingabe von Daten auf einer Tastatur oder einem Touchscreen).
Bei Block 608 wird eine 3D-Position eines realen Objekts (relativ zum Bezugsort) ermittelt oder veranlasst zu ermitteln, basierend mindestens auf einer verfolgten 3D-Position des mobilen Gerätes und einer verfolgten Ausrichtung des mobilen Gerätes. In einer Ausführungsform umfasst Block 608 das Erfassen eines Bildes eines realen Objekts mit der Kamera des mobilen Geräts (z. B. zum Zeitpunkt der Eingabe der Benutzereingabe oder kurz danach). Der Abstand zwischen dem mobilen Gerät und dem Objekt kann dann aus dem Bild ermittelt werden, zumindest durch Verarbeitung des Kamerabildes unter Verwendung einer Tiefenmesstechnik. Die 3D-Position kann anschließend basierend auf der verfolgten 3D-Position und Ausrichtung des mobilen Geräts sowie der bestimmten Entfernung ermittelt werden oder zur Ermittlung veranlasst werden.
In einigen Ausführungsformen wird die 3D-Position des Objekts direkt bei Block 608 durch das Gerät, System usw. bestimmt, das das Verfahren 600 durchführt. In anderen Ausführungsformen bewirkt das Gerät, System usw., das das Verfahren 600 ausführt, dass ein anderes Gerät, System usw. die 3D-Position des Objekts ermittelt, z. B. durch eine Anforderung über eine Webservice-Schnittstelle (z. B. Webservice-Schnittstelle 60 aus ).
Bei Block 610 wird eine Knoten-Datenbank oder -Bibliothek veranlasst, den neuen Knoten zur 3D-Karte hinzuzufügen, zumindest indem bewirkt wird, dass die 3D-Position des Objekts in Verbindung mit dem neuen Knoten gespeichert wird. Block 610 kann die Verwendung einer Webservice-Schnittstelle einschließen, um einen Fernserver (z. B. Backend-Server 14 von ) zu veranlassen, mindestens die 3D-Position des neuen Knotens in der Knoten-Datenbank (z. B. AR-Datenbank 72 von ) zu speichern.
Das Verfahren 600 kann einen oder mehrere Blöcke beinhalten, die nicht in zu sehen sind. Zum Beispiel kann das Verfahren 600 einen Block beinhalten, in dem eine andere Benutzereingabe (z. B. Sprachbefehl, Tastatureingabe, etc.) an das mobile Gerät gesendet wird, wobei die Benutzereingabe einen Identifikator (z. B. Name) und/oder eine Beschreibung des neuen Knotens angibt. In einer solchen Ausführungsform kann Block 610 ferner bewirken, dass der Identifikator und/oder die Beschreibung des neuen Knotens in Verbindung mit dem neuen Knoten in der Knoten-Datenbank gespeichert wird.
Als ein weiteres Beispiel kann das Verfahren 600 zusätzliche Blöcke beinhalten, die späteren Operationen eines anderen mobilen Geräts entsprechen (oder späteren Operationen desselben mobilen Geräts, das die Blöcke 602 bis 610 durchführt), das einen Bereich der Prozesssteuerungsumgebung durchsucht, nachdem der neue Knoten in die 3D-Karte eingefügt wurde. In einem ersten Block zum Beispiel kann ein zweites mobiles Gerät (z. B. AR-Mobilgerät 12 oder ein ähnliches Gerät) am Referenzstandort registriert werden. Danach können die 3D-Positionen des zweiten mobilen Geräts (relativ zum Referenzstandort) und die Ausrichtung des zweiten mobilen Geräts mit mindestens einer IMU des zweiten mobilen Geräts (z. B. unter Verwendung der VIO-Technologie) verfolgt werden. Eine Auslösebedingung kann dann erfasst werden, indem (z. B. basierend auf einer verfolgten Ausrichtung des zweiten mobilen Geräts) bestimmt wird, dass sich das Objekt in einem Bereich innerhalb eines Sichtfeldes einer Kamera des zweiten mobilen Geräts befindet, und/oder indem bestimmt wird (z. B. basierend auf einer verfolgten Position des zweiten mobilen Geräts), dass sich das physische Objekt beispielsweise in der Nähe des zweiten mobilen Geräts befindet. Als Antwort auf das Erkennen der Auslösebedingung können digitale Informationen, die mit dem neuen Knoten verbunden sind, einer realen Ansicht überlagert werden, die auf oder durch ein Display des zweiten mobilen Geräts zu sehen ist (z. B. eine Knotenmarkierung oder in Übereinstimmung mit einer der oben beschriebenen Knotenerlebnisse).
Beispielverfahren zur Bereitstellung von virtuellem Röntgenblick
zeigt ein exemplarisches Verfahren 620 zum Bereitstellen von virtueller verbesserter Sicht (z. B. virtuelles „Röntgensehen“) für einen Benutzer eines AR-Mobilgeräts in einer realen Prozesssteuerungsumgebung (z. B. der Prozesssteuerungsumgebung 100 von ). Das Verfahren 620 kann von einem oder mehreren Prozessoren eines Computersystems oder -geräts, wie beispielsweise dem Backend-Server 14 von , und/oder einem AR-Mobilgerät, wie beispielsweise dem AR-Mobilgerät 12 von , durchgeführt werden.
Bei Block 622 wird bestimmt, dass ein bestimmter Knoten („erster Knoten“), der einer Karte der Prozessteuerungsumgebung zugeordnet ist, einem bestimmten realen Objekt („erstes Objekt“) entspricht, das sich gegenwärtig im Sichtfeld einer Kamera des AR-Mobilgeräts (z. B. Kamera 24 aus ) befindet. Das erste Objekt kann jedes Gerät sein, das beispielsweise in Verbindung mit gezeigt oder beschrieben wird, oder jede andere physikalische Sache, die zumindest teilweise undurchsichtig ist. In einigen Ausführungsformen ist das erste Objekt ein Gehäuse, wie beispielsweise ein Schrank, der konfiguriert ist, um eine Reihe kleinerer Geräte oder Komponenten aufzunehmen.
In einigen Ausführungsformen beinhaltet Block 622 das Erfassen einer aktuellen Ausrichtung des AR-Mobilgeräts und das Bestimmen, basierend auf der aktuellen Ausrichtung des AR-Mobilgeräts, und ferner basierend auf der Position des ersten Knotens, wie in der Karte angegeben, dass sich das erste Objekt derzeit im Sichtfeld der Kamera befindet. Block 622 kann auch das Bestimmen beinhalten, dass sich das erste Objekt innerhalb eines gewissen Schwellenwerts von dem AR-Mobilgerät befindet (z. B. 10 Meter, 50 Meter, etc.), basierend auf der aktuellen Position des AR-Mobilgeräts und der ersten Knotenposition.
Bei Block 624 wird eine spezifische Beziehung zwischen dem ersten Knoten und einem oder mehreren anderen Knoten, die ebenfalls der Karte zugeordnet sind, bestimmt. Das Verhältnis zeigt (explizit oder implizit), dass ein oder mehrere andere reale Objekte, die dem einen oder mehreren anderen Knoten entsprechen, zumindest teilweise durch das erste Objekt verdeckt ist/sind. So kann zum Beispiel eine Knoten-Datenbank (z. B. AR-Datenbank 72 oder ein Teil davon) Daten speichern, die anzeigen, dass der erste Knoten einem Schrank oder einem anderen Gehäuse entspricht, in dem sich ein oder mehrere Objekte befinden, welche den anderen Knoten entsprechen (z. B. Steuerungen, E/A-Karten und Schalter usw.), und Block 624 kann den direkten Zugriff auf die Knoten-Datenbank (z. B. in einem lokalen Speicher) oder über ein anderes Computersystem umfassen. In einigen Ausführungsformen wird das erste Objekt mit einem QR-Code oder einem anderen visuellen Code markiert, und Block 624 beinhaltet sowohl das Scannen des Codes zum Bestimmen eines Knotenbezeichners als auch das Verwenden des Knotenbezeichners für die Bestimmung des Verhältnisses (z. B. durch Verwenden des Bezeichners als Schlüssel zu einer Datenbank).
Bei Block 626 werden ein oder mehrere digitale Modelle oder digitale Bilder aus dem Speicher abgerufen (z. B. ein lokaler oder entfernter Dauerspeicher), wobei das/die Modell(e) oder die Bilder das/die Objekt(e) darstellen, das/die zumindest teilweise durch das erste Objekt verdeckt ist/sind. So können beispielsweise ein oder mehrere hyperrealistische oder pseudorealistische 3D-Modelle, 2D-Modelle, animierte Modelle, digitale Bilder oder digitale Videos des/der Objekte aus dem Speicher abgerufen werden.
Bei Block 628 wird eine Anzeige des AR-Mobilgeräts (z. B. die Anzeige 22 von ) dazu veranlasst, dem Benutzer das/die abgerufene(n) Modell(e) oder Bild(er) zu präsentieren, während sich das erste Objekt noch im Sichtfeld der Kamera befindet. So können beispielsweise das/die Modell(e) oder das/die Bild(er) einer realen Ansicht überlagert werden, die dem Benutzer auf dem Display präsentiert oder vom Benutzer über dem Display gesehen wird. Block 628 kann das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigebefehlen an das AR-Mobilgerät umfassen (z. B. über die Webservice-Schnittstelle 60 von ).
Das Verfahren 620 kann einen oder mehrere Blöcke beinhalten, die nicht in zu sehen sind. So kann zum Beispiel das Verfahren 620 einen Block umfassen, in dem dem Benutzer eine oder mehrere Knotenerlebnisse für die verdeckten Objekte präsentiert werden (z. B. zunächst mit dem/den Modell(en) oder Bild(er) oder als Antwort auf eine weitere Aktion, wie z. B. eine Benutzerauswahl des Modells oder des Bildes eines bestimmten verdeckten Objekts).
Beispiel Verfahren zur Visualisierung von Objekten mit eingeschränktem Zugriff
zeigt ein exemplarisches Verfahren 640 zur Erleichterung der Interaktion zwischen einem Benutzer eines AR-Mobilgeräts und einem realen Objekt („erstes Objekt“), das sich in einem Bereich einer Prozesssteuerungsumgebung (z. B. die Prozesssteuerungsumgebung 100 aus ) mit begrenztem Zugriff (z. B. gefährlich, verbarrikadiert, etc.) befinden kann. Das Verfahren 640 kann von einem oder mehreren Prozessoren eines Computersystems oder -geräts, wie beispielsweise dem Backend-Server 14 von , und/oder einem AR-Mobilgerät, wie beispielsweise dem AR-Mobilgerät 12 von , durchgeführt werden.
Bei Block 642 wird eine Anzeige des AR-Mobilgeräts (z. B. die Anzeige 22 von ) dazu veranlasst, um beim Durchlaufen der Prozesssteuerungsumgebung digitale Informationen über Teile der Umgebung zu überlagern, die sich im Sichtfeld einer Kamera des AR-Mobilgeräts (z. B. die Kamera 24 von ) befinden. Die überlagerten Informationen werden den Knoten in einer Karte (z. B. 3D-Karte) der Prozesssteuerungsumgebung zugeordnet, wobei die Knoten anderen realen Objekten in der Umgebung entsprechen. Block 642 kann das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigebefehlen an das AR-Mobilgerät umfassen (z. B. über die Webservice-Schnittstelle 60 von ).
Bei Block 644 wird die Anzeige des AR-Mobilgeräts dazu veranlasst, eine Richtung zum ersten Objekt anzuzeigen, während sich das erste Objekt nicht im Sichtfeld der Kamera befindet. Die Anzeige kann beispielsweise Text, ein Pfeil, eine Linie und/oder eine Animation umfassen. Ähnlich wie Block 642, kann Block 644 das Übertragen mindestens eines Teils des Anzeigeinhalts und/oder das Übertragen von Anzeigebefehlen an das AR-Mobilgerät umfassen (z. B. über die Webservice-Schnittstelle 60 von ).
Bei Block 646 nach dem Erkennen einer Benutzereingabe, die über das AR-Mobilgerät erfolgt ist und die Auswahl des ersten Objekts anzeigt (z. B. ein Sprachbefehl, der eine Benutzerschnittstelle für das erste Objekt anfordert), wird die Anzeige veranlasst, einem Teil der Prozesssteuerungsumgebung, der sich derzeit im Sichtfeld befindet, aber nicht das erste Objekt beinhaltet, ein digitales Modell oder Bild des ersten Objekts (d. h. einen „Avatar“ des ersten Objekts) und eine Benutzerschnittstelle für das erste Objekt zu überlagern. Der Avatar kann beispielsweise ein hyperrealistisches oder pseudorealistisches 3D-Modell, 2D-Modell, animiertes Modell, digitales Bild oder digitales Video des Objekts sein. Die Benutzerschnittstelle kann ein oder mehrere virtuelle Steuerungen umfassen, die es dem Benutzer ermöglichen, das erste Objekt zu steuern (z. B. Kalibrierfunktion für das erste Objekt, Betriebsparameter des ersten Objekts einstellen usw.), und/oder ein oder mehrere Anzeigen, die Informationen über den Status (z. B. Diagnosezustand, Wartungszustand, Betriebszustand usw.), Einstellungen und/oder Ausgaben (z. B. Sensormesswerte usw.) des ersten Objekts darstellen. In einigen Ausführungsformen wird die Benutzerschnittstelle nicht gleichzeitig mit dem Avatar dargestellt, stattdessen erscheint sie (zusammen mit dem Avatar) als Antwort auf eine Benutzerauswahl des Avatars oder des Sprachbefehls.
In einigen Ausführungsformen erfolgt die Anzeige der Richtung bei Block 644 vor dem Erfassen der Benutzereingabe, die die Auswahl des ersten Objekts anzeigt (d. h. die in dargestellte Sequenz). In einigen dieser Ausführungsformen kann der Richtungsanzeiger (z. B. ein Pfeil, der auf einen Nichtanzeigebereich zeigt, der das erste Objekt enthält) erzeugt und angezeigt werden, als Antwort auf das Erfassen (1), dass sich das erste Objekt innerhalb eines Schwellenabstands von dem mobilen AR-Gerät befindet, und (2) dass sich das erste Objekt derzeit nicht im Sichtfeld der Kamera befindet. Andere geeignete Auslöser oder Kriterien für die Richtungsanzeige sind ebenfalls möglich. Zum Beispiel kann der Indikator nur Benutzern mit einer bestimmten Benutzerrolle zur Verfügung gestellt werden, für die das erste Objekt relevant ist.
In anderen Ausführungsformen erfolgt die Richtungsanzeige stattdessen nach Erfassen der Benutzereingabe, die die Auswahl des ersten Objekts angezeigt hatte. So kann der Benutzer beispielsweise einen Sprachbefehl erteilen, der den Abruf einer Benutzerschnittstelle für das erste Objekt fordert (z. B. ein Benutzer „sucht“ nach dem ersten Objekt), woraufhin der Richtungsanzeiger (und möglicherweise der Avatar) auf die reale Ansicht des Benutzers überlagert wird.
Das digitale Modell oder Bild, ob mit dem Richtungsanzeiger und/oder in einem späteren Stadium angezeigt, kann über eine Webservice-Schnittstelle aus einer Datenbank abgerufen werden (z. B. aus der AR-Datenbank 72 von über die Webservice-Schnittstelle 60).
Allgemeine Erwägungen
Bei der Implementierung in Software können alle hierin beschriebenen Anwendungen und Funktionen als Anweisungen in jedem greifbaren, nicht transitorischen, computerlesbaren Speicher gespeichert werden, wie beispielsweise auf einer Magnetplatte, einer Laserplatte, einer Festkörperspeichergerät, einem molekularen Speichergerät oder einem anderen Speichermedium, in einem RAM oder ROM eines Computers oder Prozessors usw. Auch wenn die hier gezeigten Beispielsysteme neben anderen Komponenten auch Software und/oder Firmware enthalten, die auf Hardware ausgeführt werden, ist darauf hinzuweisen, dass diese Systeme lediglich illustrativ sind und nicht als einschränkend betrachtet werden sollten. So ist beispielsweise vorgesehen, dass eine oder alle dieser Hardware-, Software- und Firmware-Komponenten ausschließlich in Hardware, ausschließlich in Software oder in einer beliebigen Kombination von Hardware und Software enthalten sein können. Dementsprechend während die hierin beschriebenen Beispielsysteme als in Software implementiert beschrieben werden, die auf einem Prozessor eines oder mehrerer Computergeräte ausgeführt wird, werden Personen mit einer gewöhnlichen Kompetenz in der Technik problemlos erkennen, dass die angegebenen Beispiele nicht die einzige Möglichkeit sind, solche Systeme zu implementieren.
Während die vorliegende Erfindung mit Bezug auf spezifische Beispiele beschrieben wurde, die nur zur Veranschaulichung dienen und die Erfindung nicht einschränken sollen, werden Personen mit einer gewöhnlichen Kompetenz problemlos erkennen, dass Änderungen, Ergänzungen oder Streichungen an den offenbarten Ausführungsformen vorgenommen werden können, ohne vom Geist und Umfang der Erfindung abzuweichen.

Claims

Verfahren zum Mapping einer realen Prozesssteuerungsumgebung unter Verwendung eines mobilen Geräts, wobei das Verfahren umfasst: Registrieren des mobilen Geräts an einem Referenzort in der Prozesssteuerungsumgebung; Verfolgen unter Verwendung mindestens einer Trägheitsmesseinheit des mobilen Geräts, (i) dreidimensionalen (3D) Positionen des mobilen Geräts in Bezug auf den Bezugsort und (ii) Ausrichtungen des mobilen Geräts; Erfassen an dem mobilen Gerät einer Benutzereingabe, die anzeigt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll; Ermitteln einer 3D-Position eines realen Objekts in Bezug auf die Referenzposition oder Veranlassen, das die 3D-Position des realen Objekts bestimmt wird, basierend mindestens auf (i) einer verfolgten 3D-Position des mobilen Gerätes und (ii) einer verfolgten Ausrichtung des mobilen Gerätes; und Veranlassen einer Knoten-Datenbank, den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung hinzuzufügen, zumindest indem die 3D-Position des realen Objekts in Verbindung mit dem neuen Knoten gespeichert wird.
Verfahren nach Anspruch 1, wobei das Registrieren des mobilen Geräts am Referenzort Folgendes beinhaltet: Benutzung einer Kamera des mobilen Gerätes zum Scannen einer visuellen Darstellung eines Codes, wobei sich die visuelle Darstellung am Referenzort befindet, und/oder wobei die Benutzung einer Kamera des mobilen Geräts zum Scannen einer visuellen Darstellung eines Codes, Folgendes beinhaltet: Benutzung der Kamera des mobilen Geräts zum Scannen eines QR-Codes, der sich am Referenzort befindet.
Verfahren nach Anspruch 1 oder 2, insbesondere nach Anspruch 1, wobei das Verfolgen der 3D-Positionen des mobilen Geräts und der Ausrichtungen des mobilen Geräts Folgendes beinhaltet: Verfolgen der 3D-Positionen des mobilen Gerätes und der Ausrichtungen des mobilen Gerätes unter Verwendung der Trägheitsmesseinheit und einer Kamera des mobilen Gerätes.
Verfahren nach einem der Ansprüche 1 bis 3, insbesondere nach Anspruch 1, wobei das Erfassen einer Benutzereingabe, die anzeigt, dass ein neuer Knoten der 3D-Karte hinzugefügt werden soll, folgendes beinhaltet: Erkennung eines Sprachbefehls, einer Tastatureingabe oder einer Touchscreen-Eingabe.
Verfahren nach einem der Ansprüche 1 bis 4, insbesondere nach Anspruch 1, wobei das Bestimmen der 3D-Position des realen Objekts oder das Bewirken, dass die 3D-Position des realen Objekts bestimmt wird, Folgendes beinhaltet: Erfassen eines Bildes des realen Objekts unter Verwendung einer Kamera des mobilen Geräts; Bestimmung eines Abstands zwischen dem mobilen Gerät und dem realen Objekt, zumindest durch Verarbeitung des Bildes des realen Objekts mithilfe einer Tiefenmesstechnik; und Ermittlung der 3D-Position des realen Objekts oder Veranlassen, das die 3D-Position des realen Objekts bestimmt wird, basierend mindestens auf (i) der verfolgten 3D-Position des mobilen Geräts, (ii) der Entfernung zwischen dem mobilen Gerät und dem realen Objekt und (iii) der verfolgte Ausrichtung des mobilen Geräts.
Verfahren nach einem der Ansprüche 1 bis 5, insbesondere nach Anspruch 1, zusätzlich umfassend: Empfang einer Benutzereingabe auf dem mobilen Gerät, die einen Identifikator und/oder eine Beschreibung des neuen Knotens anzeigt, wobei das Veranlassen der Knoten-Datenbank, den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung hinzuzufügen, ferner das Veranlassen umfasst, dass der Identifikator und/oder die Beschreibung des neuen Knotens in Verbindung mit dem neuen Knoten gespeichert wird.
Verfahren nach einem der Ansprüche 1 bis 6, insbesondere nach Anspruch 1, wobei das mobile Gerät ein mobiles Augmented Reality (AR)-Gerät ist, das digitale Informationen einer realen Ansicht überlagert, die über ein Display des mobilen AR-Geräts dargestellt wird.
Verfahren zum Mapping und Navigieren einer realen Prozesssteuerungsumgebung unter Verwendung von Mobilgeräten, wobei das Verfahren umfasst: Registrieren eines ersten mobilen Geräts an einem Referenzort in der Prozesssteuerungsumgebung; Verfolgen unter Verwendung mindestens einer Trägheitsmesseinheit des ersten mobilen Geräts, (i) dreidimensionalen (3D) Positionen des ersten mobilen Geräts in Bezug auf den Referenzort und (ii) Ausrichtungen des ersten mobilen Geräts; Erfassen an dem ersten mobilen Gerät einer Benutzereingabe, die anzeigt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll; Ermitteln einer 3D-Position eines realen Objekts in Bezug auf die Referenzposition oder Veranlassen, das die 3D-Position des realen Objekts bestimmt wird, basierend mindestens auf (i) einer verfolgten 3D-Position des ersten mobilen Gerätes und (ii) einer verfolgten Ausrichtung des ersten mobilen Gerätes; Veranlassen einer Knoten-Datenbank, den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung hinzuzufügen, zumindest indem die 3D-Position des realen Objekts in Verbindung mit dem neuen Knoten gespeichert wird; Verfolgen unter Verwendung mindestens einer Trägheitsmesseinheit des zweiten mobilen Geräts, (i) (3D) Positionen des zweiten mobilen Geräts und (ii) Ausrichtungen des zweiten mobilen Geräts; Erfassen einer Auslösebedingung durch eines von beiden von (i) Bestimmen, basierend auf einer verfolgten Ausrichtung des zweiten mobilen Geräts, dass sich das reale Objekt in einem Bereich innerhalb eines Sichtfeldes einer Kamera des zweiten mobilen Geräts befindet, und (ii) Bestimmen, basierend auf einer verfolgten Position des zweiten mobilen Geräts, dass das reale Objekt in der Nähe des zweiten mobilen Geräts ist; und als Antwort auf das Erkennen der Auslösebedingung, wodurch digitale Informationen, die dem neuen Knoten zugeordnet sind, einer realen Ansicht überlagert werden, die über ein Display des zweiten mobilen Geräts dargestellt wird.
Verfahren nach Anspruch 8, zusätzlich umfassend: Registrieren des mobilen Geräts am Referenzort, wobei das Verfolgen von 3D-Positionen des zweiten mobilen Geräts das Verfolgen der 3D-Positionen des zweiten mobilen Geräts in Bezug auf den Referenzort beinhaltet.
Verfahren nach Anspruch 8 oder 9, insbesondere nach Anspruch 8, wobei das Registrieren des ersten mobilen Geräts am Referenzort Folgendes beinhaltet: Benutzung einer Kamera des ersten mobilen Gerätes zum Scannen einer visuellen Darstellung eines Codes, wobei sich die visuelle Darstellung am Referenzort befindet.
Verfahren nach einem der Ansprüche 8 bis 10, insbesondere nach Anspruch 8, wobei das Erfassen einer Benutzereingabe, die anzeigt, dass ein neuer Knoten der 3D-Karte hinzugefügt werden soll, folgendes beinhaltet: Erkennung eines Sprachbefehls, einer Tastatureingabe oder einer Touchscreen-Eingabe.
Verfahren nach einem der Ansprüche 8 bis 11, insbesondere nach Anspruch 8, wobei das Bestimmen der 3D-Position des realen Objekts oder das Bewirken, dass die 3D-Position des realen Objekts bestimmt wird, Folgendes beinhaltet: Erfassen eines Bildes des realen Objekts unter Verwendung einer Kamera des ersten mobilen Geräts; Bestimmen eines Abstands zwischen dem ersten mobilen Gerät und dem realen Objekt, zumindest durch Verarbeitung des Bildes des realen Objekts mithilfe einer Tiefenmesstechnik; und Ermittlen der 3D-Position des realen Objekts oder Veranlassen, das die 3D-Position des realen Objekts bestimmt wird, basierend mindestens auf (i) der verfolgten 3D-Position des ersten mobilen Geräts, (ii) der Entfernung zwischen dem ersten mobilen Gerät und dem realen Objekt und (iii) der verfolgten Ausrichtung des ersten mobilen Geräts.
Verfahren nach einem der Ansprüche 8 bis 12, insbesondere nach Anspruch 8, zusätzlich umfassend: Empfang einer Benutzereingabe auf dem ersten mobilen Gerät, die einen Identifikator und/oder eine Beschreibung des neuen Knotens anzeigt, wobei das Veranlassen der Knoten-Datenbank, den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung hinzuzufügen, ferner das Veranlassen umfasst, dass der Identifikator und/oder die Beschreibung des neuen Knotens in Verbindung mit dem neuen Knoten gespeichert wird.
Verfahren nach einem der Ansprüche 8 bis 13, insbesondere nach Anspruch 8, wobei das erste mobile Gerät und das zweite mobile Gerät Augmented Reality (AR)-Mobilgeräte sind, die den realen Ansichten digitale Informationen überlagern, die über Displays der AR-Mobilgeräte präsentiert werden.
System zum Mapping einer realen Prozesssteuerungsumgebung, wobei das System Folgendes umfasst: einen Server; und ein mobiles Gerät, das eine Trägheitsmesseinheit umfasst, wobei das mobile Gerät konfiguriert ist um eine Registrierung an einem Referenzort in der Prozesssteuerungsumgebung durchzuführen, Verfolgung unter Verwendung mindestens der Trägheitsmesseinheit, (i) dreidimensionale (3D)-Positionen des mobilen Geräts in Bezug auf den Referenzort und (ii) Ausrichtungen des mobilen Geräts, und Erfassen einer Benutzereingabe, die anzeigt, dass ein neuer Knoten zu einer 3D-Karte der Prozesssteuerungsumgebung hinzugefügt werden soll, wobei entweder das mobile Gerät oder der Server konfiguriert ist, um eine 3D-Position eines realen Objekts in Bezug auf den Referenzort zu bestimmen, basierend auf (i) einer verfolgten 3D-Position des mobilen Geräts und (ii) einer verfolgten Ausrichtung des mobilen Geräts, und wobei der Server konfiguriert ist, um den neuen Knoten zur 3D-Karte der Prozesssteuerungsumgebung zu einer Knoten-Datenbank hinzuzufügen, die die 3D-Position des realen Objekts in Verbindung mit dem neuen Knoten speichert.
System nach Anspruch 15, wobei: das mobile Gerät ferner eine Kamera umfasst; und das mobile Gerät ist konfiguriert, um sich an dem Referenzort zumindest durch Verwenden der Kamera zum Scannen einer visuellen Darstellung eines Codes zu registrieren, wobei sich die visuelle Darstellung an dem Referenzort befindet.
System nach Anspruch 15 oder 16, insbesondere nach Anspruch 15, wobei das mobile Gerät konfiguriert ist, um eine Benutzereingabe zu erfassen, die anzeigt, dass ein neuer Knoten der 3D-Karte hinzugefügt werden soll, mindestens durch: Erkennung eines Sprachbefehls, einer Tastatureingabe oder einer Touchscreen-Eingabe.
System nach einem der Ansprüche 15 bis 17, insbesondere nach Anspruch 15, wobei: das mobile Gerät ferner eine Kamera umfasst; das mobile Gerät ist konfiguriert, um ein Bild des realen Objekts unter Verwendung der Kamera aufzunehmen; und das mobile Gerät oder der Server ist konfiguriert, um einen Abstand zwischen dem mobilen Gerät und dem realen Objekt zu bestimmen, zumindest durch Verarbeiten des Bildes des realen Objekts unter Verwendung einer Tiefenmesstechnik; und das mobile Gerät oder der Server ist konfiguriert, um die 3D-Position des realen Objekts basierend auf mindestens (i) der verfolgten 3D-Position des mobilen Geräts, (ii) der Entfernung zwischen dem mobilen Gerät und dem realen Objekt und (iii) der verfolgten Ausrichtung des mobilen Geräts zu bestimmen.
System nach einem der Ansprüche 15 bis 18, insbesondere nach Anspruch 15, wobei das mobile Gerät ein Augmented Reality (AR)-Mobilgerät ist, das ferner ein Display umfasst, das digitale Informationen den realen Ansichten überlagert.
Computer-lesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 14 zu implementieren, wenn die Instruktionen durch mindestens einen Prozessor ausgeführt werden.